Метод найменших квадратів

Метод найменших  квадратів

 

У процесі вивчення різних питань природознавства, економіки  і техніки, соціології, педагогіки доводиться на основі великої кількості дослідних  даних виявляти суттєві фактори, які впливають на досліджуваний  об’єкт, а також встановлювати форму зв’язку між різними зв’язаними одна з одною величинами (ознаками).

Нехай у результаті досліджень дістали таку таблицю деякої функціональної залежності:

x	x1	x2	…	xn
y	y1	y2	…	yn

Таблиця 1

 

 

 

Треба знайти аналітичний вигляд функції , яка добре відображала б цю таблицю дослідних даних. Функцію можна шукати у вигляді інтерполяційного поліному. Але інтерполяційні поліноми не завжди добре відображають характер поведінки таблично заданої функції. До того ж значення дістають у результаті експерименту, а вони, як правило, сумнівні. У цьому разі задача інтерполювання табличної функції втрачає сенс. Тому шукають таку функцію , значення якої при досить близькі до табличних значень . Формулу називають емпіричною, або рівнянням регресії на . Емпіричні формули мають велике практичне значення, вдало підібрана емпірична формула дає змогу не тільки апроксимувати сукупність експериментальних даних, «згладжуючи» значення величини , а й екстраполювати знайдену залежність на інші проміжки значень .

Процес побудови емпіричних формул складається з двох етапів: встановлення загального виду цієї формули  і визначення найкращих її параметрів.

Щоб встановити вигляд емпіричної формули, на площині будують точки з  координатами . Деякі з цих точок сполучають плавною кривою, яку проводять так, щоб вона проходила якомога ближче до всіх даних точок. Після цього візуально визначають, графік якої з відомих нам функцій найкраще підходить до побудованої кривої. Звичайно, намагаються підібрати найпростіші функції: лінійну, квадратичну, дробово-раціональну, степеневу, показникову, логарифмічну.

Встановивши вигляд емпіричної формули, треба знайти її параметри (коефіцієнти). Найточніші значення коефіцієнтів емпіричної формули визначають методом найменших квадратів. Цей метод запропонували відомі математики К. Гаусс і А. Лежандр.

Розглянемо суть методу найменших квадратів.

Нехай емпірична формула має  вигляд

,                                                 (1)

де  , , …, ─ невідомі коефіцієнти. Треба знайти такі значення коефіцієнтів , за яких крива (1) якомога ближче проходитиме до всіх точок , , …, , знайдених експериментально. Зрозуміло, що жодна з експериментальних точок не задовольняє точно рівняння (1). Відхилення від підстановки координат у рівняння (1) дорівнюватимуть величинам .

За методом найменших  квадратів найкращі значення коефіцієнтів ті, для яких сума квадратів відхилень

                                             (2)

дослідних даних  від обчислених за емпіричною формулою (1) найменша. Звідси випливає, що величина (2), яка є функцією від коефіцієнтів , повинна мати мінімум. Необхідна умов мінімуму функції багатьох змінних ─ її частинні похідні мають дорівнювати нулю, тобто

, , …, .

Диференцюючи вираз (2) по невідомих параметрах , матимемо відносно них систему рівнянь:

Система  (3) називається нормальною. Якщо вона має розв’язок, то він єдиний, і буде шуканим.

Якщо емпірична функція (1) лінійна  відносно параметрів , то нормальна система (3) буде системою з лінійних рівнянь відносно шуканих параметрів.

Будуючи емпіричні формули, припускатимемо, що експериментальні дані додатні.

Якщо серед значень  і є від’ємні, то завжди можна знайти такі додатні числа і , що і .

Тому розв’язування поставленої  задачі завжди можна звести до побудови емпіричної формули для додатних значень .

Побудова лінійної емпіричної формули. Нехай між даними існує лінійна залежність. Шукатимемо емпіричну формулу у вигляді

,                                                                       (4)

де коефіцієнти  і невідомі.

Знайдемо значення і , за яких функція матиме мінімальне значення. Щоб знайти ці значення, прирівняємо до нуля частинні похідні функції

                                

Звідси, врахувавши, що , маємо

                                                                                                         (5)

Розв’язавши відносно і останню систему, знайдемо

                                         ,                                                  (6)

                                        .                                             (7)

Зазначимо, що, крім графічного, є ще й аналітичний критерій виявлення  лінійної залежності між значеннями і .

Покладемо , , .

Якщо  , то залежність між і лінійна, бо точки лежатимуть на одній прямій. Якщо , то між і існує майже лінійна залежність, оскільки точки лежатимуть близько до деякої прямої.

Побудова квадратичної емпіричної залежності. Нехай функціональна залежність між та ─ квадратична. Шукатимемо емпіричну формулу у вигляді

                                            .                                                   (8)

Тоді формулу (2) запишемо наступним чином

Для знаходження коефіцієнтів , , , за яких функція мінімальна, обчислимо частинні похідні , , і прирівняємо їх до нуля. В результаті дістанемо систему рівнянь

                                    

Після рівносильних перетворень  маємо систему

                                                                           (9)

Розв’язок цієї системи  і визначає єдину параболу, яка  краще від усіх інших парабол (8) подає на розглядуваному проміжку задану таблично функціональну залежність.

Сформулюємо аналітичний  критерій для квадратичної залежності. Для цього введемо поділені різниці  першого і другого порядку

і   , де .

Точки розміщені на параболі (8) тоді і тільки тоді, коли всі поділені різниці другого порядку зберігають сталі значення.

Якщо точки  рівновіддалені, тобто , то для існування квадратичної залежності (8) необхідно і достатньо, щоб була сталою скінченна різниця другого порядку  , причому .

Побудова  емпіричних формул найпростіших нелінійних залежностей. Нехай у системі координат маємо нелінійну залежність , неперервну і монотонну на відрізку .

Введемо змінні , так, щоб у новій системі координат задана емпірична нелінійна залежність стала лінійною

                                               .                                                     (10)

Тоді точки з координатами в площині лежатимуть на прямій лінії.

Покажемо, як від нелінійних залежностей

1) ,            2) ,             3) ,

  4) ,          5) ,         6)

перейти до лінійних.

1) Розглянемо степеневу  залежність  , де , , .

Логарифмуючи її, знаходимо  . Звідси, поклавши , , , , маємо .

2) Логарифмуючи показникову  залежність  , маємо . Поклавши , , , в системі координат дістанемо залежність (10).

Зазначимо, що замість  показникової залежності часто шукають залежність . Остання перетвориться в лінійну, якщо позначити , , , .

3) Щоб перейти від логарифмічної залежності до лінійної , досить зробити підстановку , .

4) У гіперболічній  залежності замінимо змінні  , . Тоді гіперболічна залежність перетвориться в лінійну (10), в якій , .

5) Розглянемо дробово-лінійну  функцію  . Знайдемо обернену функцію . Тоді ввівши нові координати , , дістанемо лінійну залежність (10), де , .

6) Нехай маємо дробово-раціональну  залежність  . Оберненою до неї буде залежність . Ввівши нові змінні , , дістанемо лінійну залежність (10) з коефіцієнтами , .

Отже, для побудови будь-якої з емпіричних формул 1)-6) треба:

а) за вихідною таблицею даних  побудувати нову таблицю , використавши відповідні формули переходу до нових координат;

б) за новою таблицею даних  знайти методом найменших квадратів  коефіцієнти  і лінійної функції (10);

в) за відповідними формулами  знайти коефіцієнти  і даної нелінійної залежності.

Вибрати емпіричну формулу  для нелінійних залежностей графічним  методом часто буває важко. Тоді вдаються до перевірки аналітичних  критеріїв існування певної залежності. Для цього зводять її до лінійної і перевіряють виконання критерію лінійної залежності між перетвореними вихідними даними . Але є й власні аналітичні критерії наявності кожної з розглянутих вище нелінійних залежностей. Найпростіші необхідні умови їх наявності подано в табл. 2.

Таблиця 2

№ пор.	Емпірична формула			Спосіб вирівнювання
1
2				, де  , , ,
3				, де , ,
4				, де
5				, де
6				, де
7				, де  ,

 

Умови перевіряють у  такий спосіб. На заданому відрізку зміни незалежної змінної вибирають дві точки, досить надійні і розміщені якомога далі одна від одної. Нехай, наприклад, це будуть точки , . Потім,  залежно від типу емпіричної формули, що перевіряється, обчислюють значення , яке є або середнім арифметичним, або середнім геометричним, або середнім гармонічним значень , . Маючи значення і аналогічно обчислюють і відповідне значення . Далі, користуючись даною таблицею значень , для значення знаходять відповідне йому значення . Якщо немає в таблиці, то знаходять наближено з побудованого графіка даної залежності або за допомогою лінійної інтерполяції ,  де і ─ проміжні значення, між якими лежить . Обчисливши , знаходять величину . Якщо ця величина велика, то відповідна емпірична формула не придатна для апроксимації заданих табличних даних. З кількох придатних емпіричних формул перевагу надають тій, для якої відхилення якомога менше.

                  Таблиця 1                        Таблиця 2                            Таблиця 3                               Таблиця 4

x	y	x	y	x	y	x	y
0,43 0,48 0,55 0,62 0,70 0,75	1,63597 1,73234 1,87686 2,03345 2,22846 2,35973	0,02 0,08 0,12 0,17 0,23 0,30	1,02316 1,09590 1,14725 1,21483 1,30120 1,40976	0,35 0,41 0,47 0,51 0,56 0,64	2,73951 2,30080 1,96864 1,78776 1,59502 1,34310	0,41 0,46 0,52 0,60 0,65 0,72	2,57418 2,32513 2,09336 1,86203 1,74926 1,62098