Сущность метода наименьших квадратов

Сущность метода наименьших квадратов

Метод наименьших квадратов – один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов  применяется также для приближённого  представления заданной функции  другими (более простыми) функциями  и часто оказывается полезным при обработке геодезических измерени.

Метод наименьших квадратов  содержит в себе 2 основных способа: коррелатный и параметрический, которые при строгом уравнивании дают одинаковые результаты. Выбор способа обычно зависит от объема вычислений, определяемого в основном количеством совместно решаемых уравнений, т.е. конфигурацией сети. Коррелатный способ более оптимален для свободных сетей и сетей с небольшим числом исходных пунктов и большим числом определяемых – по-скольку количество уравнений равно числу избыточных измерений. Параметрический способ, наоборот, выгоден для сетей с большим числом исходных и малым числом определяемых, по-скольку количество уравнений будет равно числу необходимых измерений.

Идея коррелатного способа заключается в отыскании поправок к измеренным величинам через вспомогательные неопределенные множители, называемые коррелатами. Сущность уравнивания коррелатным способом состоит в том, что задачу нахождения минимума функции уравнения разложенного по ряду Тейлора решают по способу Лагранжа с определенными коррелатами, в результате чего получают коррелатные уравнения поправок (векторы поправок). Преобразовав уравнения поправок получают нормальные уравнения коррелат, через которые находят вероятнейшие значения поправок.

Параметрический способ подразумевает  вычисление поправок не к измеренным величинам, а к каким-то приближенным значениям (параметрам), т.е. к конечным результатам уравнения, которыми в  геодезических сетях являются координаты или высоты пунктов, и непосредственное получение вероятнейших значений параметров, минуя вероятнейшее значение измеренных элементов сети.

Метод наименьших квадратов  был предложен К. Ф. Гауссом (1794-95) и А. Лежандром (1805-06). Первоначально  этот метод использовался для  обработки результатов астрономических  и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости метода наименьших квадратов даны            А. А. Марковым и А. Н. Колмогоровым. Ныне способ представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.

Пусть в результате эксперимента мы получили ряд измерений величины  :  , соответствующих значениям аргумента ,  , …,  , которые могут быть представлены на графике в виде точек (рис2). Нам необходимо установить эмпирическую зависимость между   и  .

Очевидно, если соединить  последовательно эти точки, то получим  ломаную линию, не имеющую ничего общего с искомой зависимостью  . Это следует хотя бы из того, что форма этой ломаной линии не будет воспроизводиться при повторных сериях измерений.

 

Рис. 2

Измеренные значения   будут в общем случае смещены относительно искомой кривой как в сторону больших, так и в сторону меньших значений, вследствие статистического разброса (рис 3)

 

Рис. 3

Задача состоит в том, чтобы по данным экспериментальным  точкам найти гладкую кривую (или  прямую), которая проходила бы как  можно ближе к графику “истинной” функциональной зависимости  .

Теория вероятностей показывает, что наилучшим приближением будет  такая кривая (или прямая) линия, для которой сумма квадратов  расстояний по вертикали от экспериментальных  точек до этой кривой будет минимальной.

Этот метод нахождения эмпирической зависимости получил  название метода наименьших квадратов. Сущность этого метода состоит в  следующем.

Предположим, что искомая  зависимость выражается функцией  , где   – параметры. Значения этих параметров определяются так, чтобы точки   располагались по обе стороны этой кривой как можно ближе к последней, то есть, чтобы сумма квадратов отклонений измеренных значений    от функции   была наименьшей. (Это соответствует предположению, что разброс точек относительно кривой   подчиняется закону нормального распределения).

Мерой этого разброса является дисперсия   или ее приближенное выражение   – средний квадрат отклонений:

.

Этот средний квадрат  отклонений и должен принять минимальное  значение. Как известно, функция   принимает минимальное значение при  , если ее первая производная равна нулю. а вторая производная положительна при значении  . Для функции многих переменных эти условия заменяются требованием, чтобы частные производные, то есть производные по параметру   удовлетворяли вышеупомянутым условиям (при этом остальные параметры     при вычислении производных считаются постоянными).

Таким образом, из условий  минимума мы получаем систему уравнений  для определения наилучших значений параметров.

Рассмотрим применение метода наименьших квадратов на примере  отыскания эмпирической зависимости  пути, проходимого грузиками на машине Атвуда, от времени.

Полагая, что “истинная” зависимость пути от времени имеет  вид

.

можно рассмотреть случайные  отклонения:

где    – измеренные положения правого грузика в моменты времени  .

Запишем квадратичную форму

и потребуем, чтобы эта  квадратичная форма, описывающая сумму  квадратов отклонений точек    от искомой кривой, была минимальной:

.

Тогда из равенства нулю частных производных от   по параметрам   и   получим два уравнения

Эти уравнения можно переписать в виде

Решение этой системы позволяет  найти значения   и  , а затем определить ускорение  .