Произвольное число независимых переменных

Рассмотренные выше положения и понятия легко могут быть обобщены применительно к ситуации, когда исследователь изучает влияние произвольного числа независимых переменных на одну зависимую.

Уравнение линейной регрессии (9.1) для к независимых переменных при условии z-трансформации сырых данных примет следующий вид:

Общая методология расчета регрессионных коэффициентов в ситуации сложной регрессии с одной зависимой и k независимыми переменными принципиально не отличается от того, что нам уже известно на примере простой линейной регрессии, рассмотренной в гл. 7. По сути, нам необходимо провести прямую линию в пространстве размерностью k + 1 по точкам, координаты для которых были получены в эксперименте. Число этих точек определяется числом испытуемых, принявших участие в эксперименте, а конкретная размерность пространства — числом независимых переменных, к которому добавляется еще одно измерение, заданное зависимой переменной. Оптимальным считается решение, при котором сумма квадратов разностей оказывается минимальной. Это достигается с помощью метода дифференциального исчисления, известного как метод наименьших квадратов. При этом ищется минимальное значение для следующей суммы, определяющей ошибку регрессии:

Частная производная для каждого значения? j устанавливается равной нулевому значению. Таким образом, для нахождения всех значений коэффициента регрессии требуется решить систему уравнений следующего вида:

Перепишем эту систему уравнений несколько по-другому:

Очевидно, что правая часть этой системы уравнений представляет собой вектор бивариативных корреляций зависимой переменной Y со всеми независимыми переменными, а левая часть — результат произведения матрицы корреляций всех независимых переменных друг с другом на вектор значений всех искомых регрессионных коэффициентов. Иными словами, рассматриваемая система уравнений, используя аппарат векторной алгебры, может быть переписана в такой векторной форме:

Таким образом, для нахождения искомого вектора значений регрессионных коэффициентов? j нам достаточно умножить вектор корреляций rij на инвертиро?ванную матрицу интеркорреляций Rjj. Тогда искомое решение для вектора стандартизированных коэффициентов регрессии будет выглядеть следующим образом:

Понятно, что задача инвертирования матрицы интеркорреляций может оказаться довольно сложной в «ручных» вычислениях, особенно если число независимых переменных оказывается достаточно большим. Современные компьютерные программы, однако, легко справляются с ней, не требуя больших вычислительных ресурсов.

Имея значения стандартизированных регрессионных коэффициентов ?, можно рассчитать и значения коэффициентов регрессии В в уравнении сложной линейной регрессии (9.1). Это можно сделать по формуле.

Коэффициенты R и R2 для k независимых переменных определяются точно так же, как и в рассмотренном нами случае, когда число независимых переменных было ограничено двумя. Иными словами, множественный коэффициент корреляции R оценивается как обычная бивариативная корреляция между наблюдаемыми и предсказанными значениями Y (формула (9.4)), а коэффициент детерминации R2 - как отношение дисперсии предсказанных значений Y к наблюдаемым значениям зависимой переменной (формула (9.5)).

Эти же коэффициенты могут быть выражены и с помощью коэффициентов регрессии? и величин бивариативной корреляции зависимой переменной с каждой из независимых переменных:

Следует, однако, иметь в виду, что получаемый описанным образом коэффициент детерминации R2 не является несмещенной оценкой коэффициента детерминации р2 для генеральной совокупности. Поэтому, чтобы получить более реалистическую оценку р2, следует внести некоторые коррективы в расчеты R2. Это достигается с помощью формулы.

Скорректированный таким образом коэффициент детерминации часто называют «усохшим», так как его значение оказывается несколько меньшим, чем значение R2.

Корреляция части в случае k независимых переменных рассматривается аналогично тому, что нам уже известно на примере двух независимых переменных. Так, коэффициент sr2 понимается как та часть дисперсии зависимой переменной Y, которая оказывается связанной с дисперсией независимой переменной Хj, за вычетом той части дисперсии Y, которая одновременно связана с дисперсией других независимых переменных. Это можно выразить следующим уравнением:

Здесь обозначает долю дисперсии зависимой переменной Y, связанной с дисперсией всех независимых переменных, за исключением той ее части, которая связана с дисперсией Xj. Иными словами, величина означает величину коэффициента детерминации без учета вклада рассматриваемой переменной, для которой вычисляется корреляция части. Если эту величину вычесть из единицы, то получим величину толерантности переменной Xj:

Само значение корреляции чести для переменной Хj можно найти на основании стандартизированного коэффициента регрессии? j и соответствующего значения толерантности:

Также значение корреляции части может быть вычислено на основе имеющихся значений коэффициентов частной корреляции для исследуемой переменной Xj и коэффициента детерминации R2:

Формулы (8.7) и (8.8) могут оказаться полезными, если статистическая программа, с помощью которой осуществляется регрессионный анализ, непосредственно не выдает значения корреляции части.

Частные корреляции для k независимых переменных интерпретируются точно так же, как и в случае двух независимых переменных. Как мы помним, рr2 представляет собой отношение той части дисперсии зависимой переменной, которая связана с дисперсией данной независимой переменной и одновременно не связана с дисперсией других независимых переменных, к остаточной дисперсии зависимой переменной, т. е. той дисперсии зависимой переменной, которая не связана ни с одной независимой переменной. Формально это определение частной корреляции можно выразить следующим соотношением:

Часть дисперсии зависимой переменной, которая связана с дисперсией рассматриваемой независимой переменной и для которой вычисляется значение частной корреляции и одновременно она не связана с дисперсией других независимых переменных, по определению является квадратом корреляции части. Таким образом, квадрат частной корреляция рr2 переменной Xj с зависимой переменной Y может быть выражен следующим образом:

(9.8).

Заметим, что формула (9.8) демонстрирует, среди прочего, тот факт, что частная корреляция ни при каких условиях не может оказаться меньше, чем корреляция части. Напротив, ее значение практически всегда оказывается больше, чем значение корреляции части.