Метод найшвидшого спуску
Розглянемо задачу безумовної мінімізації:
обчислити вектор x* = arg min{ (x) | x Rm}
де функціонал (x) задовольняє умові опуклості.
Для опуклих функціоналів метод дозволяє знайти глобальний максимум, а для не опуклих - локальний. Для обчислення точки мінімуму будується послідовність, що до неї збігається: { xk} з елементами xk = xk + рk ,
де рk - напрям руху з точки xk, - величина кроку у напрямі рk
Вибір напряму рk визначає механізм відповідного методу знахождення оптимуму. В нашому випадку рk визначається, як вектор антиградієнту функціоналу в точці "хk " k-того кроку:
рk=- =- (хk), де
вище застосовано антиградієнт, тобто минус ( - ), так як шукаємо мінимум а не максимум.
Таким чином кінцево маємо
xk = xk - (**)
Залишається питання вибору величини кроку , так як ця величина забезпечує факт збіжності процесу.
Теорема про збіжність методу найшвидшого спуску
Нехай виконані умови:
1.Функціонал (x) обмежений знизу (тобто мінімум існує)
2. Градієнт функціоналу (x) задовольняє умові Ліпшиця
|| (x) - (y) || L|| x - y|| x, y Rm
яка забезпечує рівномірну безперервність функції, що необхідно для існування процесу збіжності.
Більш детально про рівномірну безперервність нижче:
Рівномірна безперервність, це властивість функції бути однаково безперервної у всіх точках області визначення.
Математично це означає, що якщо задані 2 метричних простору - для аргументу х та функції у= (x), тобто заданий простір Х з мірою і простір У з мірою , то функція у= (x) (відображення) називається рівномірно безперервною на підмножині якщо
Причому підкреслюю - це для любої пари - у тому і іде мова про рівномірність безперервності
Достарыңызбен бөлісу: |