Метод наименьших квадратов
Пусть известно, что величины и
связаны некоей функциональной зависимостью.







,
, (1)
называют интерполяцией.
Однако такое решение проблемы не всегда является удовлетворительным, поскольку из-за случайных ошибок измерения и, возможно, случайной природы самих величин x и y. Т.о., можно записать, что
(2)
где – некоторая случайная ошибка.
Задача аппроксимации решается следующим образом. В декартовой прямоугольной системе координат наносят точки . По виду расположения этих точек делается предположение о принадлежности искомой функции к определенному классу. Например, линейная
, квадратичная
и т.п. В общем случае
. Неизвестные параметры функции
определяются из требования минимума суммы квадратов случайных ошибок, т.е. минимума величины
. (3)
Величина называется также суммарной невязкой. Необходимым условием минимума функции нескольких переменных является обращение в нуль частных производных невязки:
,
. (4)
Решая систему уравнений (4), находят неизвестные параметры и тем самым полностью определяют функцию, которая наилучшим образом (в смысле наименьших квадратов отклонений от исходных точек или наименьшей суммарной невязки) аппроксимирует искомую функцию
.
Рассмотрим подробнее линейную зависимость .
Дифференцируя (3), получим следующую систему уравнений
(5)
Из первого уравнения находим , где
,
. (6)
Подставляя выражение для во второе уравнение, найдем
, (7)
где
,
. (8)
Таким образом,
(9)
есть искомая линейная функция.
Ввиду простоты расчетов аппроксимация линейной зависимости используется довольно часто. Кроме того, многие функции, зависящие от двух параметров, можно линеаризовать путем замены переменных.
Для этого необходимо подобрать такое преобразование исходной зависимости , в результате которого она приобретает линейный вид
. Далее решается задача линейной аппроксимации для новой зависимости и вычисленные коэффициенты
и
пересчитываются в коэффициенты
и
.
Для ряда часто встречающихся двухпараметрических зависимостей возможные замены переменных (а также, обратные замены для пересчета и
в
и
) приведены в табл. 1.
Таблица 1.
Вид зависимости | Замена переменных | Ограничения | Обратная замена переменных | ||
Гиперболическая | | ![]() | ![]() | | ![]() |
Логарифмическая | | ![]() | ![]() | | ![]() |
Показательная | | ![]() | ![]() | ![]() | ![]() |
Степенная | ![]() | ![]() | ![]() ![]() ![]() | ![]() | ![]() |
Комбинированная | ![]() | ![]() | ![]() | ![]() | ![]() |
Более полное изложение этой темы – в [7], c.164-200.
Вопросы для самопроверки по теме 1.4
1. Что называется суммарной невязкой?
2. В чём состоит условие минимума функции нескольких переменных?