Корреляционно-регрессионный анализ

В итогах корреляционной таблицы по строкам и столбцам приводятся два распределения – одно по X, другое по У. Рассчитаем для каждого Х_i среднее значение У, т.е.   , как

Последовательность точек (X_i,   ) дает график, который иллюстрирует зависимость среднего значения результативного признака У от факторного X, – эмпирическую линию регрессии, наглядно показывающую, как изменяется У по мере изменения X.

По существу, и корреляционная таблица, и корреляционное поле, и  эмпирическая линия регрессии предварительно уже характеризуют взаимосвязь, когда выбраны факторный и результативный признаки и требуется сформулировать предположения о форме и направленности связи. В то же время количественная оценка тесноты связи требует дополнительных расчетов.

Практически для количественной оценки тесноты связи широко используют линейный коэффициент корреляции. Иногда его называют просто коэффициентом корреляции. Если заданы значения переменных Х и У, то он вычисляется по формуле

Можно использовать и  другие формулы, но результат должен быть одинаковым для всех вариантов расчета.

Коэффициент корреляции принимает  значения в интервале от -1 до + 1. Принято  считать, что если  |r| < 0,30, то связь слабая;

                                       при  |r| = (0,3÷0,7) – средняя;

                                       при  |r| > 0,70 – сильная, или тесная.

                                   Когда  |r| = 1 – связь функциональная.

Если же r принимает  значение около 0, то это дает основание  говорить об отсутствии линейной связи  между У и X. Однако в этом случае возможно нелинейное взаимодействие. что требует дополнительной проверки и других измерителей, рассматриваемых ниже.

Для характеристики влияния  изменений Х на вариацию У служат методы регрессионного анализа. В случае парной линейной зависимости строится регрессионная модель:

Где n – число наблюдений; 
а₀, а₁ – неизвестные параметры уравнения;  
e_i – ошибка случайной переменной У.

Уравнение регрессии  записывается как:

где У_iтеор – рассчитанное выравненное значение результативного признака после подстановки в уравнение X.

Параметры а₀ и а₁ оцениваются с помощью процедур, наибольшее распространение из которых получил метод наименьших квадратов. Его суть заключается в том, что наилучшие оценки ag и а, получают, когда

т.е. сумма квадратов  отклонений эмпирических значений зависимой переменной от вычисленных по уравнению регрессии должна быть минимальной. Сумма квадратов отклонений является функцией параметров а₀ и а₁. Ее минимизация осуществляется решением системы уравнений

Можно воспользоваться  и другими формулами, вытекающими  из метода наименьших квадратов, например:

Аппарат линейной регрессии  достаточно хорошо разработан и, как  правило, имеется в наборе стандартных  программ оценки взаимосвязи для  ЭВМ. Важен смысл параметров: а₁ – это коэффициент регрессии, характеризующий влияние, которое оказывает изменение Х на У. Он показывает, на сколько единиц в среднем изменится У при изменении Х на одну единицу. Если а, больше 0. то наблюдается положительная связь. Если а имеет отрицательное значение, то увеличение Х на единицу влечет за собой уменьшение У в среднем на а₁. Параметр а₁ обладает размерностью отношения У к X.

Параметр a₀ – это постоянная величина в уравнении регрессии. На наш взгляд, экономического смысла он не имеет, но в ряде случаев его интерпретируют как начальное значение У.

Например, по данным об инвестициях в нефинансовые активы Х и величины ВВП У методом наименьших квадратов получено уравнение

У = 1648,8 + 6,2545Х.

Коэффициент а, означает, что увеличение инвестиций в нефинансовые активы на 1 млрд. руб. ведет в среднем к росту ВВП на 6,2545 млрд. руб.

Значение функции У = a₀ + а₁Х называется расчетным значением и на графике образует теоретическую линию регрессии.

Смысл теоретической  регрессии в том, что это оценка среднего значения переменной У для заданного значения X.

Парная корреляция или  парная регрессия могут рассматриваться  как частный случай отражения  связи некоторой зависимой переменной, с одной стороны, и одной из множества независимых переменных – с другой. Когда же требуется охарактеризовать связь всего указанного множества независимых переменных с результативным признаком, говорят о множественной корреляции или множественной регрессии.

Величина влияния фактора  на исследуемый отклик может быть оценена при помощи коэффициента линейной парной корреляции, характеризующего тесноту (силу) линейной связи между двумя переменными.

Коэффициент можно определить по формуле:

.

(6.4)

Коэффициент обладает следующими свойствами:

1) не имеет размерности,  следовательно, сопоставим для величин различных порядков;

2) изменяется в диапазоне  от –1 до +1. Положительное значение  свидетельствует о прямой линейной  связи, отрицательное – об  обратной. Чем ближе абсолютное  значение коэффициента к единице,  тем теснее связь. Считается, что связь достаточно сильная, если коэффициент по абсолютной величине превышает 0,7, и слабая, если он менее 0,3.

Значение коэффициента легко вычисляется при помощи MS Excel (функция КОРРЕЛ).

Величина r² называется коэффициентом детерминации. Он определяет долю вариации одной из переменных, которая объясняется вариацией другой переменной.

В тех случаях, когда  необходимо оценить влияние нескольких факторов на исследуемую величину, строится уравнение множественной  регрессии.

Если связь является линейной, то уравнение линейной множественной регрессии запишется в виде:

i = a0 + a1xi1 + a2xi2 + ... + amxim,

где m - число учитываемых  факторов (независимых переменных),

      n - объем выборки.

   Рассмотрим случай, когда y зависит от двух переменных – x₁ и x₂.

   Уравнение с оцененными параметрами будет иметь вид:

i = a0 + a1xi1 + a2xi2,

Чтобы определить значения коэффициентов a₀, a₁ и a₂, воспользуемся методом наименьших квадратов.

Как и ранее, задача формулируется  следующим образом:

Q =    =     →  min.

Приравняв частные производные нулю и выполнив преобразования, получим систему уравнений:

na0 + a1 xi1 + a2 xi2 =  yi,  a0 xi1 + a1  + a2 xi1xi2 =  yixi1,  a0 xi2 + a1 xi1xi2 + a2  =  yixi2.

Решив систему, можно  получить формулы для расчета коэффициентов уравнения множественной линейной регрессии (a₀, a₁, a₂).

Рассмотрим более общий  случай - зависимость переменной y от m факторов.

Обозначим:

A = {a_j}, j = 0, 1, 2, ..., m - вектор оценок параметров регрессии;

Y = {y_i},   - вектор значений зависимой переменной;

X = {x_ij},  ,  j = 0, 1, 2, ..., m - матрица значений независимых переменных;

при этом m - количество независимых переменных, n - объем выборки.

Уравнение регрессии  может быть представлено в следующим  образом.

Для конкретного y_i:

i = a0 + a1xi1 + a2xi2 + ... + amxim,

(6.5)

или в матричном виде:

Y = A ∙ X,

где X = 1   x11   x12    ...     x1m  1   x21   x22    ...     x2m            ... 1   xn1   xn2    ...     xnm .

Обратите внимание на то, что в матрицу X дополнительно  введен столбец, все элементы которого равны 1, т.е. условно полагается, что в уравнении (6.5) свободный член a₀ умножается на фиктивную переменную x_i0, принимающую значение 1 для всех i.

Можно показать, что для  общего случая множественной линейной регрессии, коэффициенты уравнения могут быть определены из следующего соотношения:

A = (Xт∙X)-1∙Xт∙Y.

(6.6)

5. Сравнение коэффициентов  регрессии

Допустим, в результате анализа получено следующее уравнение  регрессии:

y = 2,4 + 0,8x1 + 3,2x2.

Если величины x₁ и x₂ являются соизмеримыми, то мы можем сопоставить влияние факторов x₁ и x₂ путем непосредственного сравнения соответствующих коэффициентов. В нашем примере можно сказать, что фактор x₂ воздействует на y в четыре раза сильнее.

В тех случаях, когда x₁ и x₂ измеряются в разных величинах для сравнения степени их влияния прибегают к нормированию коэффициентов регрессии и определяют так называемый бета-коэффициент ( ):

j = aj ∙   ,

(6.7)

где a_j - соответствующий коэффициент уравнения регрессии;

,    - среднеквадратическое отклонение значений переменной x_j (m – число учитываемых факторов);

 

- среднеквадратическое отклонение  значений переменной y.

Математически бета-коэффициент  показывает, на какую часть величины среднеквадратического отклонения меняется среднее значение зависимой переменной с изменением независимой переменной на одно среднеквадратическое отклонение при фиксированном на постоянном уровне значении остальных независимых переменных.

Заметим, что некоторые  авторы именуют бета-коэффициент стандартизированным коэффициентом регрессии.

Для целей сравнения  коэффициентов регрессии (сравнения  силы влияния каждого фактора  на отклик) также может быть использован коэффициент эластичности (Э):

Эj = aj ∙   .

(6.8)

Коэффициент эластичности показывает, на сколько процентов изменяется зависимая переменная при изменении соответствующего фактора на один процент.

6. Коэффициент множественной  корреляции

Экономические явления  чаще всего адекватно описываются  именно многофакторными моделями. Поэтому  возникает необходимость обобщить рассмотренное выше корреляционное отношение (6.4) на случай нескольких переменных.

Теснота линейной взаимосвязи между  переменной y и рядом переменных x_j, рассматриваемых в целом, может быть определена с помощью коэффициента множественной корреляции.

Предположим, что переменная y испытывает влияние двух переменных - x и z. В этом случае коэффициент множественной корреляции может быть определен по формуле:

.

(6.9)

где r_yx, r_yz, r_xz - простые коэффициенты линейной парной корреляции, определенные из соотношения (6.4).

Коэффициент множественной корреляции заключен в пределах 0 ≤ R ≤ 1. Он не меньше, чем абсолютная величина любого парного  или частного коэффициента корреляции с таким же первичным индексом.

С помощью множественного коэффициента (по мере приближения R к 1) делается вывод о тесноте взаимосвязи, но не о ее направлении. Величина R², называемая множественным коэффициентом детерминации, показывает, какую долю вариации исследуемой переменной (y) объясняет вариация остальных учтенных переменных (x, z).

Иногда представляет интерес измерение частных зависимостей (между y и x_j) при условии, что воздействие других факторов, принимаемых во внимание, устранено. В качестве соответствующих измерителей приняты коэффициенты частной корреляции.

Рассмотрим порядок расчета коэффициента частной корреляции для случая, когда во взаимосвязи находятся три случайные переменные – x, y, z. Для них могут быть получены простые коэффициенты линейной парной корреляции – r_yx, r_yz, r_xz. Однако большая величина этого коэффициента может быть обусловлена не только тем, что y и x действительно связаны между собой, но и в силу того, что обе переменные испытывают сильное действие третьего фактора – z.