Обобщенный метод наименьших квадратов

МИНИСТЕРСТВО  СЕЛЬСКОГО ХОЗЯЙСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ 

КЕМЕРОВСКИЙ ГОСУДАРСТВЕННЫЙ СЕЛЬСКОХОЗЯЙСТВЕННЫЙ

ИНСТИТУТ 

ЭКОНОМИЧЕСКИЙ ФАКУЛЬТЕТ 
 

Кафедра информационные системы в экономике 
 
 
 
 
 
 

КОНТРОЛЬНАЯ РАБОТА

по дисциплине «Эконометрике»

на тему Обобщенный метод наименьших квадратов 
 
 
 
 
 
 
 
 

                                                                               Выполнила студентка

                                                                               Экономического  факультета                         

                                                                               Специальности 

                                                                               Бух учет анализ аудит

                                                                               Камалова Р.Р

          Проверил

          Пирожкова Т.В 
 
 
 
 
 
 

Кемерово 2010

Содержание 

Предпосылки метода наименьших квадратов…………………………………….…3

Обобщенный  метод наименьших квадратов………………………………………...9

  Список использованной литературы………………………………………….14 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Обобщенный  метод наименьших квадратов

Предпосылки метода наименьших квадратов 

     При оценке параметров уравнения регрессии применяется метод наименьших квадратов. При этом делаются определенные предпосылки относительно случайной составляющей .

      В модели случайная составляющая представляет собой ненаблюдаемую величину. После того как проведена оценка параметров модели, рассчитав разности фактических и теоретических значений результативного признака у, можно определить оценки случайной составляющей у — у_х. Их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т. е. . 
При изменении спецификации модели, добавлении в нее новых 
наблюдений выборочные оценки остатков  ,могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений, т.е остаточных величин. 

     Коэффициенты регрессии, найденные из системы нормальных уравнений, представляют собой выборочные оценки характеристики силы связи. Их несмещенность является желательным свойством, так как только в этом случае они могут иметь практическую значимость. Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний остатки не будут накапливаться и найденный параметр регрессии  b, можно рассматривать как среднее значение из возможного большого количества несмещенных оценок. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным выборкам.

  Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. Поэтому несмещенность оценки должна дополняться минимальной дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

  Степень реалистичности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только не смещенными и эффективными, но и состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительны интервал ожидаемого значения параметра регрессии b   имеет предел значений вероятности, равный единице. Иными словами вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.

  Указанные критерии оценок (несмещенность, состоятельность, эффективность), обязательно учитываются при разных способах оценивания. Метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать поведение остаточный величин регрессии . Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдение которых желательно для получения достоверных результатов регрессии.

  Исследования  остатков предполагают проверку наличия следующих пяти предпосылок МНК:    

• случайный характер остатков;
• нулевая средняя величина остатков, не зависящая от х;
• гомоскедастичность - дисперсия каждого отклонения  
  одинакова для всех значений х;
• отсутствие автокорреляции остатков. Значения остатков  
  распределены независимо друг от друга;
• остатки подчиняются нормальному распределению.

В тех случаях, когда все пять предпосылок выполняются, оценки, полученные по МНК и по методу максимального правдоподобия, совпадают между собой. Если распределение случайных остатков не соответствует некоторым предпосылкам метода наименьших квадратов, то следует корректировать модель.

      Прежде всего проверяется случайный характер остатков - предпосылка МНК. С этой целью стоится график зависимости остатков от теоретических значений результативного признака у (рис. 3.2). 

Если на графике  нет направленности в расположении точек  , то остатки , представляют собой случайные величины и МНК оправдан, теоретические значения у_х хорошо аппроксимируют фактические значения у.

     Вторая предпосылка МНК относительно нулевой средней личины остатков означает, что . Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. Для моделей, нелинейных по оцениваемым: параметрам и приводимых к линейному виду логарифмированием, средняя ошибка равна нулю для логарифмов исходных данных.

С целью проверки выполнения этой предпосылки строится график зависимости случайных остатков от факторов, включенных в регрессию х, (рис. 3.4).

Если  расположение  остатков   на  графике   не  имеет навленности, то они независимы от значений хj. 
     Если же график показывает наличие зависимости и х, то модель неадекватна. Причины неадекватности могут быть разные. 
       Возможно, нарушена третья предпосылка МНК и дисперсия остатков 
непостоянна для каждого значения фактора хj. Скопление точек в определенных участках значений фактора хj говорит о наличии систематической погрешности модели.

       Корреляция случайных остатков с факторными признаками позволяет проводить корректировку модели, в частности использовать кусочно-линейные модели.

  Совершенно  необходимым для получения по МНК cocтоятельных оценок параметров регрессии является соблюдение третьей и четвертой предпосылок.

    В соответствии с третьей предпосылкой метода наименьших квадратов требуется, чтобы дисперсия остатков была гомоскедатичной. Это значит, что для каждого значения фактора хj остатки имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность (рис. 3.5).

 
 
 

Гомоскедастичность  остатков означает, что дисперсия  остатков одинакова для каждого значения х. Используя трехмерное изображение, получим графики, иллюстрирующие гомо- и гетероскедастичность (рис3.6, 3.7).

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

                      Обобщенный метод наименьших квадратов 
 

       Обобщенный метод наименьших квадратов применяется к преобразованным данным и позволяет получать оценки, которые обладают не только свойством несмещенности, но и имеют меньшие выборочные дисперсии. Специфика обобщенного МНК применительно к корректировке данных при автокорреляции остатков.

       Предположим, что среднее значение остатков равно нулю, а дисперсия их пропорциональна величине т. е

Где  — дисперсия ошибки при конкретном i-м значении фактора;

σ² — постоянная дисперсия ошибки при соблюдении предпосылки

    гомоскедастичности  остатков;

        — коэффициент пропорциональности, меняющийся с изменением

величины фактора, что и обусловливает неоднородность дисперсии.

  При этом предполагается, что σ² неизвестна, а в отношении величины К выдвигаются гипотезы, характеризующие структуру гетероскедастичности.

В общем виде для уравнения

             y_i = а + b*х, + при

     модель примет вид:

   

  В данной модели остаточные величины гетероскедастичны. Предположив в них отсутствие автокорреляции, перейдем к уравнению с гомоскедастичными остатками, поделив все переменные, зафиксированные в ходе i-го наблюдения, на . Дисперсия остатков будет величиной постоянной, т. е . Иными словами, от регрессии у по х мы перейдем к регрессии на новых переменных: и

    Уравнение регрессии примет вид:

       По отношению к обычной регрессии уравнение с новыми, преобразованными переменными представляет собой взвешенную регрессию, в которой переменные у и х взяты с весами . Оценка параметров уравнения с преобразованными переменными дается с помощью взвешенного метода наименьших квадратов, для которого необходимо минимизировать сумму квадратов отклонений вида

      Соответственно получим следующую систему нормальных уравнений:

     Если преобразованные переменные х и у взять в отклонениях от средних уровней, то коэффициент регрессии b можно определить как

  При обычном  применении метода наименьших квадратов  к уравнению линейной регрессии  для переменных в отклонениях от средних уровней коэффициент регрессии b определяется по формуле

     Как видим, при использовании обобщенного МНК с целью корректировки гетероскедастичности коэффициент регрессии b представляет собой взвешенную величину по отношению к обычному методу наименьших квадратов с весами 1/К.

     Аналогичный подход возможен не только для уравнения парной, но и для уравнения множественной регрессии. Предположим, что рассматривается модель вида

  

для которой  дисперсия остатков оказалась пропорциональна  K²j.

Kj представляет собой коэффициент пропорциональности, принимающий различные значения для соответствующих i значений факторов х1 и х₂. Ввиду того, что рассматриваемая модель примет вид:

y_i = а + b1* xi, + b2* xi+Ki* где остатки гетероскедастичны.

  Для того чтобы получить уравнение, где остатки гомоскедастичны, перейдем к новым, преобразованным переменным, разделив все члены исходного уравнения на коэффициент пропорциональности Ki, Уравнение с преобразованными переменными составит:

 

     Это уравнение не содержит свободного члена. Вместе с тем, найдя переменные в новом, преобразованном, виде и применив к ним обычный МНК, получим иную спецификацию модели:

   Параметры такой модели зависят от гипотезы, принятой для коэффициента пропорциональности Ki. В эконометрических исследованиях довольно часто выдвигается гипотеза, что остатки пропорциональны значениям фактора. Например, если в уравнении