Метод наименьших квадратов для множественной линейной регрессии.Понятие временного ряда. Основные составляющие временного ряда

Эконометрика

Билет №12

1. Метод наименьших квадратов для множественной  линейной регрессии

     Регрессио́нный (линейный) анализ — статистический метод исследования зависимости между зависимой переменной Y и одной или несколькими независимыми переменными X₁,X₂,...,X_p. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

     Строго  регрессионную зависимость можно  определить следующим образом. Пусть  Y, X₁,X₂,...,X_p — случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений X₁ = x₁,X₂ = x₂,...,X_p = x_p определено условное математическое ожидание

     y(x₁,x₂,...,x_p) = E(Y | X₁ = x₁,X₂ = x₂,...,X_p = x_p) (уравнение линейной регрессии в общем виде),

     то  функция y(x₁,x₂,...,x_p) называется регрессией величины Y по величинам X₁,X₂,...,X_p, а её график — линией регрессии Y по X₁,X₂,...,X_p, или уравнением регрессии.

     Зависимость Y от X₁,X₂,...,X_p проявляется в изменении средних значений Y при изменении X₁,X₂,...,X_p. Хотя при каждом фиксированном наборе значений X₁ = x₁,X₂ = x₂,...,X_p = x_p величина Y остаётся случайной величиной с определённым рассеянием.

     Для выяснения вопроса, насколько точно  регрессионный анализ оценивает  изменение Y при изменении X₁,X₂,...,X_p, используется средняя величина дисперсии Y при разных наборах значений X₁,X₂,...,X_p (фактически речь идет о мере рассеяния зависимой переменной вокруг линии регрессии). 

     Метод наименьших квадратов (расчёт коэффициентов)

     На  практике линия регрессии чаще всего  ищется в виде линейной функции Y = b₀ + b₁X₁ + b₂X₂ + ... + b_NX_N (линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых Y от их оценок (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):

     

     (M — объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда Y = y(x₁,x₂,...x_N).

     Для решения задачи регрессионного анализа  методом наименьших квадратов вводится понятие функции невязки:

     

     Условие минимума функции невязки:

     

     Полученная  система является системой N + 1 линейных уравнений с N + 1 неизвестными b₀...b_N

     Если  представить свободные члены  левой части уравнений матрицей

     

     а коэффициенты при неизвестных в  правой части матрицей

     

     то  получаем матричное уравнение: , которое легко решается методом Гаусса. Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии:

     

     Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий  Гаусса−Маркова). В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators) − наилучшие линейные несмещенные 

     Интерпретация параметров регрессии

     Параметры b_i являются частными коэффициентами корреляции; (b_i)² интерпретируется как доля дисперсии Y, объяснённая X_i, при закреплении влияния остальных предикторов, то есть измеряет индивидуальный вклад X_i в объяснение Y. В случае коррелирующих предикторов возникает проблема неопределённости в оценках, которые становятся зависимыми от порядка включения предикторов в модель. В таких случаях необходимо применение методов анализа корреляционного и пошагового регрессионного анализа.

     Говоря  о нелинейных моделях регрессионного анализа, важно обращать внимание на то, идет ли речь о нелинейности по независимым  переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым  параметрам (вызывающей серьёзные вычислительные трудности). При нелинейности первого  вида с содержательной точки зрения важно выделять появление в модели членов вида X₁X₂, X₁X₂X₃, свидетельствующее о наличии взаимодействий между признаками X₁, X₂ и т. д.

     2. Понятие временного ряда. Основные  составляющие временного ряда. Примеры

     Временной ряд — это совокупность значений какого-либо показателя за несколько последовательных моментов или периодов времени.

     Каждый  уровень временного ряда формируется  под воздействием большого числа факторов, которые условно можно подразделить на три группы:

     - факторы, формирующие тенденцию  ряда;

     - факторы, формирующие циклические  колебания ряда;

     - случайные факторы.

     При различных сочетаниях в изучаемом  явлении или процессе этих факторов зависимость уровней ряда от времени  может принимать различные формы.

     Каждый  временной ряд   складывается из следующих основных компонентов:

     1) большинство временных рядов экономических показателей имеют тенденцию, характеризующую совокупное долговременное воздействие множества факторов на динамику изучаемого показателя. Очевидно, что эти факторы, взятые в отдельности, могут оказывать разнонаправленное воздействие на исследуемый показатель. Однако в совокупности они формируют его возрастающую или убывающую тенденцию. Аналитически тенденция выражается  некоторой функцией времени, называемой трендом (T).

     2)  изучаемый показатель может быть подвержен циклическим колебаниям. Эти колебания могут носить сезонный характер, поскольку экономическая деятельность ряда отраслей экономики зависит от времени года. При наличии больших массивов данных за длительные промежутки времени можно выделить циклические колебания, связанные с общей динамикой конъюнктуры рынка и т.п.  Например: значения макроэкономических показателей зависят от того, в какой фазе бизнес-цикла находится экономика. Объем продаж некоторых товаров подвержен сезонным колебаниям (S).

      3) некоторые временные ряды не содержат тенденции и циклической компоненты, а каждый следующий их уровень образуется как сумма среднего уровня ряда и некоторой (положительной или отрицательной) случайной компоненты (Е).

     В большинстве случаев фактический уровень временного ряда можно представить как сумму или произведение трендовой, циклической и случайной компонент. Модель, в которой временной ряд представлен как сумма перечисленных компонент, называется аддитивной моделью временного ряда. Модель, в которой временной ряд представлен как произведение перечисленных компонент, называется мультипликативной моделью временного ряда.

     Основная  задача эконометрического исследования отдельного временного ряда — выявление и придание количественного выражения каждой из перечисленных выше компонент с тем, чтобы использовать полученную информацию для прогнозирования будущих значений ряда или при построении моделей взаимосвязи двух или более временных рядов.

     Примерами временного ряда являются данные о  преступности в регионе за несколько  лет; об уровне безработицы за несколько  лет; динамика успешности учащихся по математике и т. п.  
 
 

     3. Задача. В таблице приведены данные  отражающие спрос  на некоторый  товар за восьмилетний период (усл.ед), то есть временной ряд  спроса.  Найти среднее значение, среднее квадратическое отклонение, коэффициент автокорреляции с  лагом ι = 2

 

     Решение:

     Среднее значение = (213+171+291+309+317+362+351+361)/8 = 2375/8 = 296,9

     Среднее квадратическое отклонение найдем по формуле:

     (83,9² + 125,9²+ 5,9²+ 11,1²+19,1²+64,1²+53,1²+63,1²)/8 = (7039,21+15850,8+ 34,8+ 123,2 + 364,8+ 4108,8+ 2819,6+ 3981,6 )/8 = 4290,4

      = 65,5

     Cреднее квадратическое отклонение = 65,5

     Коэффициент автокорреляции с лагом 2.

     Коэффициент автокорреляции второго порядка рассчитывается по формуле:

     Число периодов, по которым определяется коэффициент автокорреляции, называют лаг автокорреляции. С ростом лага число пар значений, по которым рассчитывается коэффициент автокорреляции, уменьшается.

     2611+ 2417+(-207)+960+ 768+ 114,2 = 6663,2

     (4096+11236+196+ 1024+ 1600+ 7225)х(1664,6+ 519,8+ 219+ 912+ 368,6+ 8526)= = 159,3х110,5=17602,6

     Коэффициент автокорреляции второго порядка = 6663,2/17602,6 = 0,379