3.4. Метод скорейшего спуска решения нелинейных систем
Сущность метода скорейшего спуска заключается в том, что искомое решение системы рассматривается как минимум некоторой функции
в
-мерном пространстве
, и этот минимум ищется в направлении, противоположном направлению градиента функции
, то есть в направлении скорейшего убывания этой функции.


.
Пусть точка является начальным приближением к искомому решению. Через эту точку проводится поверхность уровня
, а также нормаль к данной поверхности, которая указывает направление скорейшего убывания функции
. Точка, в которой нормаль касается новой поверхности уровня
, будет следующим приближением к исходному решению. Нормаль, проведенная к этой поверхности через точку
, даёт возможность дойти до точки
, в которой нормаль касается какой-то другой поверхности
, и т.
Так как
, где
то последовательность точек
,
,
… приведет к минимальному значению функции
, т. е. к искомому решению исходной системы.
Последовательные приближения определяются из матричного равенства , где через
обозначен вектор в
-мерном пространстве, указывающий координаты точки
, т. е. значение
-го приближения;
– параметр, характеризующий изменение функции
вдоль соответствующей нормали,
– градиент функции
в точке
.
В общем случае параметр может быть найден из уравнения:
, (1)
где – скалярная функция, определяющая изменение функции
.
Если считают малой величиной и не учитывают членов, содержащих
во второй и высших степенях, то приближенно искомое решение можно найти из матричных равенств
,
,
, где
,
,
.
Важным достоинством метода скорейшего спуска является его неизбежная сходимость. Поэтому его рекомендуется применять для уточнения решения в тех случаях, когда другие итерационные методы расходятся.
Пример. Методом скорейшего спуска приближенно вычислить корни системы:
Решение. Пусть .
Здесь и
.
Подставляя нулевое приближение, будем иметь
,
,
,
,
,
.
Вычислим .
Аналогично найдем второе приближение
.
Тогда .
Для контроля вычислим невязку: и так далее.
Получаем решение системы: