Московский физико-технический институт
Опубликован: 25.10.2007 | Доступ: свободный | Студентов: 3791 / 1086 | Оценка: 4.50 / 4.33 | Длительность: 24:00:00
ISBN: 978-5-9556-0065-9
Специальности: Программист, Математик
Лекция 5:

Численные методы решения экстремальных задач

4.2. Методы спуска

Основная идея методов спуска состоит в том, чтобы построить алгоритм, позволяющий перейти из точки начального приближения u_0 = \{u_0^1, \ldots ,u_0^n\} в следующую точку u_1 = \{u_1^1, \ldots ,u_1^n\} таким образом, чтобы значение целевой функции приблизилось к минимальному.

4.2.1. Метод покоординатного спуска

Этот метод является редукцией поиска функции многих переменных к последовательности поиска минимумов функции одной переменной. Пусть u^0 \in U — начальное приближение к минимуму \Phi (u).

Рассмотрим \Phi (u_0) = \Phi (u_0^1, \ldots ,u_0^n) как функцию одной переменной u1 при фиксированных u_2^0, \ldots , u_n^0 и находим одним из приведенных методов поиска минимума функции одной переменной

\min\limits_{u_1 \in U}\Phi (u^1,u_0^2, \ldots , u_0^n).

Полученное значение u1, доставляющее минимум \Phi (u_{1}), обозначим u_1^1 ; при этом

\Phi (u_1^1,u_0^2, \ldots ,u_0^n ) \le \Phi (u_0^1,  \ldots ,u_0^n ).

Далее, при фиксированных значениях u_1^1, u_3^0, \ldots , u_n^0 ищем

\min\limits_{u_2 \in U}\Phi (u_1^1,u_1^2,x_0^3, \ldots ,u_0^n ),

как функции от u2 ; соответствующее значение u2 обозначим u_2^1 ; при этом

\Phi (u_1^1,u_1^2, \ldots ,u_0^n ) \le \Phi (u_1^1,u_0^2, \ldots ,u_0^n ).

Этот процесс продолжаем аналогичным образом и для оставшихся координат; в результате получим

\Phi (u_1^1, \ldots ,u_1^n ) \le \Phi (u_1^1, \ldots ,u_0^n).

Таким образом, переходим из точки u0 в точку u1. Этот процесс повторяется до тех пор, пока не будет выполнено условие выхода из итераций, например:

\left|{\Phi (u_{k + 1}) - \Phi (u_k )}\right| \le \varepsilon,

где \varepsilon   > 0 — заданная точность.

Пример. Найти минимум функции двух переменных

\Phi (u) = u_1^2 + u_2^2

Рис. 4.2.

Выбрав некоторую точку начального приближения, например, u0 = (2,2), получим минимум целевой функции за два шага, так как ее линии уровня — окружности с центром в начале координат (рис. 4.2).

Если же целевой функцией является, например

\Phi (u) = 5u_1^2 + 5u_2^2 + 8u_1 u_2,

которая поворотом системы координат на угол - 45^{\circ} и преобразованием

$ 
u_1 = \frac{v_1 + v_2}{\sqrt{2}} ;
u_2 = \frac{(- v_1 + v_2)}{\sqrt{2}}
 $

приводится к виду \Phi^{\prime}(v) = v_1^2 + 9v_2^2, то ее линиями уровня являются эллипсы v_1^2/9 + v_2^2 = c^2 поэтому спуск будет иметь иной характер (рис. 4.3).


Рис. 4.3.