Méthodes quasi-Newton : BFGS • Matrice hessienne coûteuse • Adapter les méthodes quasi-Newton pour les équations à l’optimisation • Approximer ∇ 2 f ( x) en utilisant Broyden H k = H k-1 + (y k-1 − H k-1 d k-1 )d T k-1 d T k-1 d k-1 , avec d k-1 = x k − x k-1 y k-1 = ∇f (x k ) −∇f (x k-1 ). M ´ ethodes Quasi-Newton – p. 1
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Méthodes quasi-Newton : BFGS
• Matrice hessienne coûteuse
• Adapter les méthodes quasi-Newton pour les équations àl’optimisation
• Approximer ∇2f(x) en utilisant Broyden
Hk = Hk−1 +(yk−1 −Hk−1dk−1)d
Tk−1
dTk−1dk−1,
avecdk−1 = xk − xk−1
yk−1 = ∇f(xk)−∇f(xk−1).
Methodes Quasi-Newton – p. 1
Méthodes quasi-Newton : BFGS
• Hk vérifie l’équation sécante
• Hk n’est pas nécessairement symétrique
• Hk n’est pas nécessairement définie positive
On désire forcer Hk à être symétrique et définie positive
Hk = LkLTK
Idée : travailler sur Lk plutôt que sur Hk.Mise à jour de Lk en Ak.
Methodes Quasi-Newton – p. 2
Méthodes quasi-Newton : BFGS
Equation sécante (oublions les indices k) :
AAT d = y
ou encoreAx = y
AT d = x
Considérons Ax = y comme équation sécanteMise à jour de Broyden de L
A = L+(y − Lx)xT
xTx.
(p. 312)
Methodes Quasi-Newton – p. 3
Méthodes quasi-Newton : BFGS
Mise à jour BFGSSoient une fonction f : Rn → R continument différentiable, et deux itérés
xk−1 et xk, tels que dTk−1yk−1 > 0, avec dk−1 = xk − xk−1 et yk−1 =
∇f(xk)−∇f(xk−1).
Soit une matrice symétrique définie positive Hk−1 ∈ Rn×n.
La mise à jour BFGS est définie par
Hk = Hk−1 +yk−1y
Tk−1
yTk−1dk−1−
Hk−1dk−1dTk−1Hk−1
dTk−1Hk−1dk−1.
Methodes Quasi-Newton – p. 4
Méthodes quasi-Newton : BFGS
Elle tient son nom des initiales des mathématiciens C. G. Broyden,R. Fletcher, D. Goldfarb et D. F. Shanno, qui l’ont découverteindépendamment à la fin des années 60.
Methodes Quasi-Newton – p. 5
Méthodes quasi-Newton : BFGS
Lemme 1 Soit d, y ∈ Rn, d 6= 0. Alors il existe une matrice A ∈ R
n×n nonsingulière telle que
AAT d = y
si et seulement si
dT y > 0.
(p. 314)
Cette condition est toujours vérifiée si la seconde condition de Wolfeest utilisée (p. 315).
Methodes Quasi-Newton – p. 6
Méthodes quasi-Newton : BFGS
• Méthode de Newton avec recherche linéaire
• Remplaçons ∇2f(xk) par Hk
• Garantie que Hk est définie positive
• Nécessité de résoudre Hkdk = −∇f(xk)
• On peut calculer H−1k analytiquement
H−1k =(
I −dk−1y
Tk−1
dTk−1
yk−1
)H−1
k−1
(I −
dk−1yTk−1
dTk−1
yk−1
)+
dk−1dTk−1
dTk−1
yk−1
Methodes Quasi-Newton – p. 7
Algorithme : quasi-Newton : BFGS
ObjectifTrouver une approximation d’un minimum local du problème
minx∈Rn
f(x). (1)
Input
• La fonction f : Rn → R différentiable;• Le gradient de la fonction ∇f : Rn → R
n;• Une première approximation de la solution x0 ∈ R
n;
Methodes Quasi-Newton – p. 8
Algorithme : quasi-Newton : BFGS
Input (suite)
• Une première approximation de l’inverse du hessienH−1
0 ∈ Rn×n symétrique définie positive. Par défaut,
H−10 = I.
• La précision demandée ε ∈ R, ε > 0.
OutputUne approximation de la solution x∗ ∈ R
Methodes Quasi-Newton – p. 9
Algorithme : quasi-Newton : BFGS
Initialisationk = 0
Iterations
• Calculer dk = −H−1k ∇f(xk)
• Déterminer αk en appliquant la recherche linéaire avecα0 = 1.