Optimisation non lin eaire: Th eorie - GERAD

Introduction Sans contraintes Avec contraintes Extensions References

Optimisation non lineaire: Theorie

MTH8415

S. Le Digabel, Polytechnique Montreal

H2020(v5)

MTH8415: Optimisation non lineaire 1/46


Plan

1. Introduction et definitions

2. Optimisation sans contraintes

3. Optimisation avec contraintes

4. Extensions

References






4. Extensions

References



Probleme et solutionsI On cherche a resoudre

minx∈Rnf(x) : x ∈ Ω

avec f : Rn → R differentiable et Ω ⊆ Rn

I Un point realisable x∗ ∈ Ω est un minimum global de lafonction f sur le domaine Ω si

f(x∗) ≤ f(x) pout tout x ∈ Ω

I Un point realisable x∗ ∈ Ω est un minimum local de f sur Ωs’il existe ε > 0 tel que

f(x∗) ≤ f(x) pout tout x ∈ Ω ∩ Bε(x∗)

avec Bε(x∗) = x ∈ Rn : ‖x− x∗‖ < ε



DeriveesI Gradient de f en x = (x1, x2, . . . , xn) ∈ Rn :

∇f(x) =

(∂f(x)

∂x1,∂f(x)

∂x2, . . . ,

∂f(x)

∂xn

)∈ Rn

I Derivee directionnelle de f en x ∈ Rn dans la directionunitaire d ∈ Rn :

f ′d(x) = limt↓0

f(x + td)− f(x)

t= d>∇f(x)

I Si les derivees secondes de f existent et sont continues, alorsla matrice hessienne en x s’ecrit

∇2f(x) =

(∂2f

∂xi∂xj(x)

)ij



Direction de descente

I d ∈ Rn est une direction (stricte) de descente de f en x ∈ Rnsi

f ′d(x) = d>∇f(x) < 0

I Pour tout α ∈ R petit, on aura h(α) = f(x + αd) < f(x) eth′(0) < 0

I Principe de la line search (recherche lineaire) : Trouver α telque h′(α) = 0



Signe d’une matrice

A ∈ Rn×n symetrique est dite

I Semi-definie positive si x>Ax ≥ 0 pour tout x ∈ Rn

I Definie positive si x>Ax > 0 pour tout x ∈ Rn 6= 0

I Semi-definie negative si x>Ax ≤ 0 pour tout x ∈ Rn

I Definie negative si x>Ax < 0 pour tout x ∈ Rn 6= 0

I Indefinie sinon

En pratique, on peut verifier le signe d’une matrice en examinantses valeurs propres ou ses mineurs principaux dominants






4. Extensions

References



Optimisation sans contraintes : CN1Dans le cas Ω = Rn :

Condition necessaire d’optimalite de premier ordre

Si x∗ est un minimum local de f sur Rn, alors ∇f(x∗) = 0 (x∗ estun point critique)

I Attention : Ce n’est pas une condition suffisante : Un pointcritique peut etre un minimum local, un maximum local, ouun bien un point de selle

I Un point critique x est un point de selle si pour tout ε > 0 ilexiste a,b ∈ Bε(x) tels que f(a) < f(x) < f(b)

I Si x n’est pas un point critique, il ne peut pas etre unminimum ou un maximum



Optimisation sans contraintes : CN2

Condition necessaire de second ordreSi x∗ est un minimum local de f sur Rn, alors ∇f(x∗) = 0 et lamatrice hessienne ∇2f(x∗) est semi-definie positive

Preuve : Soit x∗ un minimum local. Pour toute direction unitaired ∈ Rn et pour t ∈ R suffisamment petit :

f(x∗) ≤ f(x∗ + td) ' f(x∗) + td>∇f(x∗) + t2

2 d>∇2f(x∗)d

= f(x∗) + t2

2 d>∇2f(x∗)d

⇒ d>∇2f(x∗)d ≥ 0

Si la matrice hessienne en un point critique est indefinie, alors ils’agit d’un point de selle



Optimisation sans contraintes : CS2

Condition suffisante de second ordresi x∗ ∈ Rn est un point critique et si ∇2f(x∗) est :

I Definie positive : x∗ est un minimum local

I Definie negative : x∗ est un maximum local

I Indefinie : x∗ est un point de selle

I Semi-definie positive ou semi-definie negative : on ne peutrien dire



Optimisation sans contraintes : Convexite

f : Rn → R est convexe si :

I pour tout x,y ∈ Rn et tout λ ∈ [0; 1],f(λx + (1− λ)y) ≤ λf(x) + (1− λ)f(y)

I ou si sa matrice hessienne ∇2f(x) est semi-definie positivepour tout x ∈ Rn

I Si f est convexe, la CN1 devient suffisante : Il suffit detrouver un point critique pour minimiser f

I f est concave si −f est convexe



Optimisation sans contraintes : Methode du gradient

Pour la minimisation d’une fonction f : Rn → R sans contraintes

[0] InitialisationPoint de depart : x0 ∈ Rnk ← 0

[1] Iteration kCalculer dk = −∇f(xk) (dir. de descente)Si (dk = 0) : Stop (point critique)Trouver αk ∈ arg min

α≥0h(α) = f(xk + αdk)

xk+1 ← xk + αkdk

k ← k + 1Aller en [1]



Methode du gradient : RemarquesI Lorsque la minimisation de h est faite de facon exacte, les

directions consecutives dk et dk+1 sont perpendiculaires : ons’arrete toujours de facon tangente a une courbe de niveau

I La methode peut prendre un nombre considerable d’iterationsavant de converger a un point critique



Methode de Newton

I Soit le modele quadratique de f autour de x :

m(d) = f(x) + d>∇f(x) +1

2d>∇2f(x)d

I Si ∇2f(x) est definie positive, alors m est une fonctionconvexe et on peut identifier son minimum global avec

∇m(d) = ∇f(x) +∇2f(x)d = 0

I Au lieu de considerer dk = −∇f(xk) comme direction de

descente, on prend donc dk = −(∇2f(xk)

)−1∇f(xk)(direction de Newton)



Methode quasi-Newton

I La direction de Newton n’est pas definie si la matricehessienne n’est pas definie positive

I Calculer (et inverser) la matrice hessienne peut aussi etre trescouteux

I On peut considerer la direction quasi-Newton

d = −B(x)−1∇f(x)

avec B(x) definie positive qui remplace la matrice hessienne

I Une methode quasi-Newton sera d’autant plus efficace quandelle pourra integrer l’information de second-ordre dans B






4. Extensions

References



Optimisation avec contraintes


TheoremeSi Ω est ferme et borne et si f est continue sur Ω, alors il existe unminimum global atteint en un point de Ω et un maximum globalatteint en un point de Ω

En pratique, cela signifie que pour resoudre le probleme, on peutenumerer tous les candidats (les points critiques) et les comparerafin de trouver les optima



Optimisation avec une contrainte egalite

Avec Ω = x ∈ Rn : c(x) = 0 ⊆ Rn :

CN1Si x∗ est un minimum local de f dans Ω, et si ∇c(x∗) 6= 0, alorsc(x∗) = 0 et il existe λ ∈ R tel que

∇f(x∗) = λ∇c(x∗)

I Un point x∗ satisfaisant cette condition est appele un pointcritique

I Exemple 1 : minx1,x2

3x1 − 2x2 s.c. x21 + 2x2

2 = 44



Optimisation avec une contrainte inegalite

Avec Ω = x ∈ Rn : c(x) ≥ 0 ⊆ Rn :

CN1Si x∗ est un minimum local de f dans Ω, alors il existe λ ≥ 0 telque ∇f(x∗) = λ∇c(x∗) et c(x∗)λ = 0

I Un point x∗ satisfaisant ces conditions est appele un pointcritique

I Si c(x∗) > 0, la condition devient ∇f(x∗) = 0

I Exemple 2 : minx1,x2

(x1 − 1)2 + (x2 − 2)2 s.c. x21 + x2

2 ≤ 45



Optimisation avec plusieurs contraintes egaliteAvec Ω = x ∈ Rn : ci(x) = 0, i ∈ E ⊆ Rn et |E| = m :

CN1Si x∗ est un minimum local de f dans Ω ou ∇ci(x∗) : i ∈ E estun ensemble lineairement independant, alors ci(x

∗) = 0 pour touti ∈ E et il existe λ ∈ Rm tel que

∇f(x∗) =∑i∈E

λi∇ci(x∗)

I Un point x∗ satisfaisant cette condition est appele un pointcritique

I Exemple 3 : minx∈R3

x1 − x2 + x3

s.c.

x2

1 + x22 + x2

3 = 1x2

1 + (x2 − 1)2 + (x3 − 2)2 = 4



Multiplicateurs de Lagrange

I Les λ des conditions necessaires sont appeles lesmultiplicateurs de Lagrange

I Ils peuvent servir a effectuer des analyses de sensibilite sur lesmembres de droite des contraintes

I En effet, un λ represente la variation de f lorsque le mdd dela contrainte associee augmente d’une unite



Optimisation avec contraintes : Cas general


avec

Ω =

x ∈ Rn

∣∣∣∣ ci(x) = 0, i ∈ Eci(x) ≥ 0, i ∈ I

⊆ Rn

et|E| = m , |I| = p

I Les fonctions decrivant le probleme sont toutes differentiableset Ω est un ensemble ferme et borne

I On va decrire les conditions d’optimalite de ce probleme. Troisingredients sont necessaires : Le cone tangent, le cone normal,et la qualification des contraintes



Geometrie de l’ensemble realisableI d ∈ Rn, d 6= 0, est une direction realisable a partir de x ∈ Ω

s’il existe ε > 0 tel que pour tout t ∈]0; ε[, x + td ∈ Ω

I Un ensemble K ⊆ Rn est appele un cone si pour tout d ∈ Ket tout λ ≥ 0, λd ∈ K

I L’ensemble de toutes les directions realisables a partir dex ∈ Ω forme un cone

I Le cone polaire du cone K ⊆ Rn est

K∗ =d ∈ Rn : d>v ≤ 0 : v ∈ K

I Le polaire du polaire est le cone de depart : K∗∗ = K



Ensemble des contraintes actives

Ω =

x ∈ Rn

∣∣∣∣ ci(x) = 0, i ∈ Eci(x) ≥ 0, i ∈ I

⊆ Rn, |E| = m, |I| = p

I Pour tout x ∈ Rn, l’ensemble des contraintes actives A(x) estl’ensemble des indices des contraintes inegalite satisfaites aegalite en x :

A(x) = i ∈ I : ci(x) = 0

I Attention : Meme si les contraintes egalite sont toujoursactives, elles ne sont pas representees par A(x)



Qualification de contraintes (1/2)I Permet d’exprimer le cone tangent en linearisant les

contraintes et d’obtenir des formulations analytiques descones tangent et normal

I Condition basique de qualification de contraintes : Avec

Λ(x) =

λ ∈ Rm+p

∣∣∣∣∣∣λi ∈ R i ∈ Eλi ≥ 0 i ∈ A(x)λi = 0 i ∈ I \ A(x)

la condition basique de qualification de contraintes estsatisfaite en x ∈ Ω ssi le seul λ ∈ Λ(x) tel que∑

i∈Eλi∇ci(x)−

∑i∈A(x)

λi∇ci(x) = 0

est 0



Qualification de contraintes (2/2)

I Cette condition n’est pas facile a verifier et d’autres conditions(plus fortes) peuvent etre employees : Par exemple, la LICQ(Linear Independence Constraint Qualification) est satisfaiteen x ∈ Ω si ∇ci(x) : i ∈ E ∪ A(x) est un ensemble devecteurs lineairement independants

I Dans tout ce qui suit, on suppose que la condition basique estverifiee



Cone tangentI Definition geometrique :

I d ∈ Rn est un vecteur tangent a Ω en x ∈ Rn s’il existe unesuite zk de points realisables avec zk → x et une suite dereels positifs tk avec tk → 0 tels que

limk→∞

zk − x

tk= d

I L’ensemble des vecteurs tangents forme le cone tangent TΩ(x)

I Definition algebrique :

TΩ(x) =

d ∈ Rn

∣∣∣∣ d>∇ci(x) = 0 i ∈ Ed>∇ci(x) ≥ 0 i ∈ A(x)

I Le cone tangent correspond aux directions realisables de

premier ordre (i.e. lorsque tout est linearise)



Cone normal

I Definition geometrique : Le cone normal est le polaire du conetangent :

N∗Ω(x) = TΩ(x)

I Definition algebrique :

NΩ(x) =

∑i∈E

λi∇ci(x)−∑

i∈A(x)

λi∇ci(x)

∣∣∣∣ λi ∈ R i ∈ Eλi ≥ 0 i ∈ A(x)



Exemples de cones tangent et normal [Orban, 2010]

I Les cones tangents sont en bleu et les cones normaux enrouge

I Dans le 3eme cas, le cone normal est reduit a 0

I La pointe de chaque cone devrait correspondre a l’origine,mais ils sont ici translates



Condition necessaire d’optimalite de premier ordre

Idee : Si x∗ est un minimum local, alors il n’existe pas de directiond ∈ TΩ(x∗) (' dir. realisable) qui soit une direction de descente,i.e. telle que d>∇f(x∗) < 0

CN1Si x∗ est un minimum local de f dans Ω, alors

−∇f(x∗) ∈ NΩ(x∗)



Interpretation graphique (1/2)

&%'$.

...............................

............................

.........................

......................

....................

..................

................

..............

........

....

........

...

......................

............. ................ .................. ..................... .......................

.............................

.........................

...........................................

................. .............. ............. ............ ........................

...............

........

........

.

........

........

...

. ........................... .................................................

...........................................

....................

..................

....................

.....................

......................

........................

.........................

...........................

. ...................................... ........................................................................

.................................................................

..............................

.............................

...........................

..........................

..........................

............................

.............................

..............................

................................

.................................

..................................

....................................

. ..............................................................................

......................................

......................................

.....................................

.....................................

....................................

....................................

...................................

.....................................

........................................

..........................................

............................................

..............................................

.................................................

..........................................

..........................................

...........................................

............................................

.............................................

..............................................

...............................................

................................................

.................................................

....................................................

.......................................................

..........................................................

.............................................................

.

..................................................

................................................

..............................................

............................................

..........................................

........................................

......................................

...................................

................................................................

............................. ........................... . ..................... ........................................

....................

....................

.....................

.......................

..........................

............................

...............................

.................................

....................................

......................................

.

.................................................

...............................................

.............................................

...........................................

.........................................

.......................................

........................................................................

................................. ............................... ............................... ..........................................................

..... ............... .............. .............. ..............

...............

...............

..................

.....................

........................

...........................

..............................

.................................

....................................

.......................................

.........................................

............................................

.............................

..............................

..................................................................

.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................

...................

...................

....................

......................

.........................

............................

...............................

.................................

....................................

.......................................

..........................................

............................................

...............................................

5

6

76

5 43

2

1c2(x) = 0

c1(x) = 0

Ω

..........................................

........................................

...............................................................................

............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................

..........................................

............................................

.............................................

..............................................

............................................

.....

......................................

....................................

.................................. ................................. ............................... ............................. ............................ ..........................................................

............................................................

.

....................................

.................................

...............................

.............................

..........................

.............

...........

.............

.........

.....................

.....................

....................

....................

...................

.....................

........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................

............................................................................

....................................................................

...............................

.............................

............................

...........................

Attention : Les contraintes sont c1 ≤ 0 et c2 ≤ 0 (pas ≥ 0)




&%'$.

...............................

............................

.........................

......................

....................

..................

................

..............

........

....

........

...

......................

............. ................ .................. ..................... .......................

.............................

.........................

...........................................

................. .............. ............. ............ ........................

...............

........

........

.

........

........

...

. ........................... .................................................

...........................................

....................

..................

....................

.....................

......................

........................

.........................

...........................

. ...................................... ........................................................................

.................................................................

..............................

.............................

...........................

..........................

..........................

............................

.............................

..............................

................................

.................................

..................................

....................................

. ..............................................................................

......................................

......................................

.....................................

.....................................

....................................

....................................

...................................

.....................................

........................................

..........................................

............................................

..............................................

.................................................

..........................................

..........................................

...........................................

............................................

.............................................

..............................................

...............................................

................................................

.................................................

....................................................

.......................................................

..........................................................

.............................................................

.

..................................................

................................................

..............................................

............................................

..........................................

........................................

......................................

...................................

................................................................

............................. ........................... . ..................... ........................................

....................

....................

.....................

.......................

..........................

............................

...............................

.................................

....................................

......................................

.

.................................................

...............................................

.............................................

...........................................

.........................................

.......................................

........................................................................

................................. ............................... ............................... ..........................................................

..... ............... .............. .............. ..............

...............

...............

..................

.....................

........................

...........................

..............................

.................................

....................................

.......................................

.........................................

............................................

.............................

..............................

..................................................................

.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................

...................

...................

....................

......................

.........................

............................

...............................

.................................

....................................

.......................................

..........................................

............................................

...............................................

5

6

76

5 43

2

1c2(x) = 0

c1(x) = 0

Ω

..........................................

........................................

...............................................................................

............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................

..........................................

............................................

.............................................

..............................................

............................................

.....

......................................

....................................

.................................. ................................. ............................... ............................. ............................ ..........................................................

............................................................

.

....................................

.................................

...............................

.............................

..........................

.............

...........

.............

.........

.....................

.....................

....................

....................

...................

.....................

........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................

............................................................................

....................................................................

...............................

.............................

............................

...........................

• xa





&%'$.

...............................

............................

.........................

......................

....................

..................

................

..............

........

....

........

...

......................

............. ................ .................. ..................... .......................

.............................

.........................

...........................................

................. .............. ............. ............ ........................

...............

........

........

.

........

........

...

. ........................... .................................................

...........................................

....................

..................

....................

.....................

......................

........................

.........................

...........................

. ...................................... ........................................................................

.................................................................

..............................

.............................

...........................

..........................

..........................

............................

.............................

..............................

................................

.................................

..................................

....................................

. ..............................................................................

......................................

......................................

.....................................

.....................................

....................................

....................................

...................................

.....................................

........................................

..........................................

............................................

..............................................

.................................................

..........................................

..........................................

...........................................

............................................

.............................................

..............................................

...............................................

................................................

.................................................

....................................................

.......................................................

..........................................................

.............................................................

.

..................................................

................................................

..............................................

............................................

..........................................

........................................

......................................

...................................

................................................................

............................. ........................... . ..................... ........................................

....................

....................

.....................

.......................

..........................

............................

...............................

.................................

....................................

......................................

.

.................................................

...............................................

.............................................

...........................................

.........................................

.......................................

........................................................................

................................. ............................... ............................... ..........................................................

..... ............... .............. .............. ..............

...............

...............

..................

.....................

........................

...........................

..............................

.................................

....................................

.......................................

.........................................

............................................

.............................

..............................

..................................................................

.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................

...................

...................

....................

......................

.........................

............................

...............................

.................................

....................................

.......................................

..........................................

............................................

...............................................

5

6

76

5 43

2

1c2(x) = 0

c1(x) = 0

Ω

..........................................

........................................

...............................................................................

............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................

..........................................

............................................

.............................................

..............................................

............................................

.....

......................................

....................................

.................................. ................................. ............................... ............................. ............................ ..........................................................

............................................................

.

....................................

.................................

...............................

.............................

..........................

.............

...........

.............

.........

.....................

.....................

....................

....................

...................

.....................

........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................

............................................................................

....................................................................

...............................

.............................

............................

...........................

• xa∇f(xa)=0





&%'$.

...............................

............................

.........................

......................

....................

..................

................

..............

........

....

........

...

......................

............. ................ .................. ..................... .......................

.............................

.........................

...........................................

................. .............. ............. ............ ........................

...............

........

........

.

........

........

...

. ........................... .................................................

...........................................

....................

..................

....................

.....................

......................

........................

.........................

...........................

. ...................................... ........................................................................

.................................................................

..............................

.............................

...........................

..........................

..........................

............................

.............................

..............................

................................

.................................

..................................

....................................

. ..............................................................................

......................................

......................................

.....................................

.....................................

....................................

....................................

...................................

.....................................

........................................

..........................................

............................................

..............................................

.................................................

..........................................

..........................................

...........................................

............................................

.............................................

..............................................

...............................................

................................................

.................................................

....................................................

.......................................................

..........................................................

.............................................................

.

..................................................

................................................

..............................................

............................................

..........................................

........................................

......................................

...................................

................................................................

............................. ........................... . ..................... ........................................

....................

....................

.....................

.......................

..........................

............................

...............................

.................................

....................................

......................................

.

.................................................

...............................................

.............................................

...........................................

.........................................

.......................................

........................................................................

................................. ............................... ............................... ..........................................................

..... ............... .............. .............. ..............

...............

...............

..................

.....................

........................

...........................

..............................

.................................

....................................

.......................................

.........................................

............................................

.............................

..............................

..................................................................

.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................

...................

...................

....................

......................

.........................

............................

...............................

.................................

....................................

.......................................

..........................................

............................................

...............................................

5

6

76

5 43

2

1c2(x) = 0

c1(x) = 0

Ω

..........................................

........................................

...............................................................................

............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................

..........................................

............................................

.............................................

..............................................

............................................

.....

......................................

....................................

.................................. ................................. ............................... ............................. ............................ ..........................................................

............................................................

.

....................................

.................................

...............................

.............................

..........................

.............

...........

.............

.........

.....................

.....................

....................

....................

...................

.....................

........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................

............................................................................

....................................................................

...............................

.............................

............................

...........................

•xb





&%'$.

...............................

............................

.........................

......................

....................

..................

................

..............

........

....

........

...

......................

............. ................ .................. ..................... .......................

.............................

.........................

...........................................

................. .............. ............. ............ ........................

...............

........

........

.

........

........

...

. ........................... .................................................

...........................................

....................

..................

....................

.....................

......................

........................

.........................

...........................

. ...................................... ........................................................................

.................................................................

..............................

.............................

...........................

..........................

..........................

............................

.............................

..............................

................................

.................................

..................................

....................................

. ..............................................................................

......................................

......................................

.....................................

.....................................

....................................

....................................

...................................

.....................................

........................................

..........................................

............................................

..............................................

.................................................

..........................................

..........................................

...........................................

............................................

.............................................

..............................................

...............................................

................................................

.................................................

....................................................

.......................................................

..........................................................

.............................................................

.

..................................................

................................................

..............................................

............................................

..........................................

........................................

......................................

...................................

................................................................

............................. ........................... . ..................... ........................................

....................

....................

.....................

.......................

..........................

............................

...............................

.................................

....................................

......................................

.

.................................................

...............................................

.............................................

...........................................

.........................................

.......................................

........................................................................

................................. ............................... ............................... ..........................................................

..... ............... .............. .............. ..............

...............

...............

..................

.....................

........................

...........................

..............................

.................................

....................................

.......................................

.........................................

............................................

.............................

..............................

..................................................................

.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................

...................

...................

....................

......................

.........................

............................

...............................

.................................

....................................

.......................................

..........................................

............................................

...............................................

5

6

76

5 43

2

1c2(x) = 0

c1(x) = 0

Ω

..........................................

........................................

...............................................................................

............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................

..........................................

............................................

.............................................

..............................................

............................................

.....

......................................

....................................

.................................. ................................. ............................... ............................. ............................ ..........................................................

............................................................

.

....................................

.................................

...............................

.............................

..........................

.............

...........

.............

.........

.....................

.....................

....................

....................

...................

.....................

........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................

............................................................................

....................................................................

...............................

.............................

............................

...........................

•xb

∇f(xb)=−λ∇c1(xb)

∇c1(xb)





&%'$.

...............................

............................

.........................

......................

....................

..................

................

..............

........

....

........

...

......................

............. ................ .................. ..................... .......................

.............................

.........................

...........................................

................. .............. ............. ............ ........................

...............

........

........

.

........

........

...

. ........................... .................................................

...........................................

....................

..................

....................

.....................

......................

........................

.........................

...........................

. ...................................... ........................................................................

.................................................................

..............................

.............................

...........................

..........................

..........................

............................

.............................

..............................

................................

.................................

..................................

....................................

. ..............................................................................

......................................

......................................

.....................................

.....................................

....................................

....................................

...................................

.....................................

........................................

..........................................

............................................

..............................................

.................................................

..........................................

..........................................

...........................................

............................................

.............................................

..............................................

...............................................

................................................

.................................................

....................................................

.......................................................

..........................................................

.............................................................

.

..................................................

................................................

..............................................

............................................

..........................................

........................................

......................................

...................................

................................................................

............................. ........................... . ..................... ........................................

....................

....................

.....................

.......................

..........................

............................

...............................

.................................

....................................

......................................

.

.................................................

...............................................

.............................................

...........................................

.........................................

.......................................

........................................................................

................................. ............................... ............................... ..........................................................

..... ............... .............. .............. ..............

...............

...............

..................

.....................

........................

...........................

..............................

.................................

....................................

.......................................

.........................................

............................................

.............................

..............................

..................................................................

.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................

...................

...................

....................

......................

.........................

............................

...............................

.................................

....................................

.......................................

..........................................

............................................

...............................................

5

6

76

5 43

2

1c2(x) = 0

c1(x) = 0

Ω

..........................................

........................................

...............................................................................

............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................

..........................................

............................................

.............................................

..............................................

............................................

.....

......................................

....................................

.................................. ................................. ............................... ............................. ............................ ..........................................................

............................................................

.

....................................

.................................

...............................

.............................

..........................

.............

...........

.............

.........

.....................

.....................

....................

....................

...................

.....................

........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................

............................................................................

....................................................................

...............................

.............................

............................

...........................•xc





&%'$.

...............................

............................

.........................

......................

....................

..................

................

..............

........

....

........

...

......................

............. ................ .................. ..................... .......................

.............................

.........................

...........................................

................. .............. ............. ............ ........................

...............

........

........

.

........

........

...

. ........................... .................................................

...........................................

....................

..................

....................

.....................

......................

........................

.........................

...........................

. ...................................... ........................................................................

.................................................................

..............................

.............................

...........................

..........................

..........................

............................

.............................

..............................

................................

.................................

..................................

....................................

. ..............................................................................

......................................

......................................

.....................................

.....................................

....................................

....................................

...................................

.....................................

........................................

..........................................

............................................

..............................................

.................................................

..........................................

..........................................

...........................................

............................................

.............................................

..............................................

...............................................

................................................

.................................................

....................................................

.......................................................

..........................................................

.............................................................

.

..................................................

................................................

..............................................

............................................

..........................................

........................................

......................................

...................................

................................................................

............................. ........................... . ..................... ........................................

....................

....................

.....................

.......................

..........................

............................

...............................

.................................

....................................

......................................

.

.................................................

...............................................

.............................................

...........................................

.........................................

.......................................

........................................................................

................................. ............................... ............................... ..........................................................

..... ............... .............. .............. ..............

...............

...............

..................

.....................

........................

...........................

..............................

.................................

....................................

.......................................

.........................................

............................................

.............................

..............................

..................................................................

.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................

...................

...................

....................

......................

.........................

............................

...............................

.................................

....................................

.......................................

..........................................

............................................

...............................................

5

6

76

5 43

2

1c2(x) = 0

c1(x) = 0

Ω

..........................................

........................................

...............................................................................

............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................

..........................................

............................................

.............................................

..............................................

............................................

.....

......................................

....................................

.................................. ................................. ............................... ............................. ............................ ..........................................................

............................................................

.

....................................

.................................

...............................

.............................

..........................

.............

...........

.............

.........

.....................

.....................

....................

....................

...................

.....................

........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................

............................................................................

....................................................................

...............................

.............................

............................

...........................•xc∇c2(xc)

∇c1(xc)

∇f(xc)= −λ1∇c1(xc)−λ2∇c2(xc)





I ∇f(xa) = 0, A(xa) = ∅, NΩ(xa) = 0, TΩ(xa) = R2

I A(xb) = 1, NΩ(xb) est reduit a la demi-droite dans ladirection ∇c1(xb), TΩ(xb) est l’union de 0 et dudemi-espace orthogonal a ∇c1(xb)

I A(xc) = 1, 2,NΩ(xc) = λ1∇c1(xc) + λ2∇c2(xc) : λ1, λ2 ≥ 0



CN1 : Conditions de KKTLa CN1 peut se reformuler comme les conditions deKarush-Kuhn-Tucker (KKT) :

CN1Si x∗ est un minimum local de f dans Ω, alors il existe λ ∈ Rm+p

tel que

∇f(x∗)−∑

i∈E∪Iλi∇ci(x∗) = 0

λici(x∗) = 0 i ∈ I

ci(x∗) = 0 i ∈ E

ci(x∗) ≥ 0 i ∈ Iλi ≥ 0 i ∈ I

Comme pour toutes les conditions necessaires, les conditions deKKT ne sont pas suffisantes et peuvent aussi correspondre a desmaximums et des points de selle



DualiteFonction Lagrangienne (ou Lagrangien) :

L(x, λ) = f(x)−∑i∈E∪I

λici(x)

(la 1ere equation des conditions KKT peut s’ecrire ∇xL(x, λ) = 0)

Theoreme de dualite faibleSoit x∗ ∈ arg min

x∈Ωf . Pour tout λ ∈ Rm+p avec λi ≥ 0 pour i ∈ I,

on aL(λ) = min

x∈ΩL(x, λ) ≤ f(x∗)

La meilleure borne inferieure est donc donnee par le probleme dual

maxλ∈Rm+p

λi≥0, i∈I

L(λ)



Cas de l’optimisation lineaire (1/3)

minx∈Rn

c>x s.c.

Ax ≥ bx ≥ 0

avec c ∈ Rn, b ∈ Rm, A ∈ Rm×n

I Le Lagrangien est considere avec les variables x ∈ Rn,µ ∈ Rm et λ ∈ Rn :

L(x, λ, µ) = c>x−µ>(Ax−b)−λ>x = b>µ+x>(c− λ−A>µ

)

I Une borne inferieure est donnee par

minx∈Ω

b>µ+ x>(c− λ−A>µ

)avec λ, µ ≥ 0



Cas de l’optimisation lineaire (2/3)Les conditions KKT sont

∇xL(x, λ, µ) = c− λ−A>µ = 0µi(A

>i x− bi) = 0 i ∈ 1, 2, . . . ,m

λjxj = 0 j ∈ 1, 2, . . . , nAx− b ≥ 0

x ≥ 0λj ≥ 0 j ∈ 1, 2, . . . , nµi ≥ 0 i ∈ 1, 2, . . . ,m

Obtenir la meilleure borne inferieure revient donc a resoudre

maxλ,µ≥0

b>µ s.c.c− λ−A>µ = 0



Cas de l’optimisation lineaire (3/3)

En considerant les λ comme des variables d’ecart, on obtient leprobleme dual

maxµ∈Rn

b>µ

s.c.

A>µ ≤ cµ ≥ 0

qui correspond a ce qui a ete vu en OL

Note : Les conditions KKT redonnent le theoreme des ecartscomplementaires



Methodes de penalites

I Les methodes de penalites sont des algorithmes iteratifs qui, achaque iteration, considerent la minimisation sans contraintesd’une fonction critere dans laquelle les violations descontraintes sont associees a des couts

I Ces couts vont etre augmentes au fil des iterations

I On espere ainsi generer une suite de points tendant arespecter les contraintes



Exemples de penalitesI Penalite quadratique :

f(x) +µ

2

∑i∈E

c2i (x) +

µ

2

∑i∈I

min0, ci(x)2

I Avantage : Formulation lisse

I Inconvenients : Non exacte, mal conditionnee

I Penalite `1 :

f(x) + µ∑i∈E|ci(x)|+ µ

∑i∈I|min0, ci(x)|

I Avantage : Exacte : Il existe µ tel que l’optimum sanscontraintes correspond a l’optimum avec contraintes

I Inconvenient : Formulation non-lisse



Algorithme du Lagrangien augmente (1/2)I On considere I = ∅ a des fins de simplicite

I Methode de penalite basee sur la penalite quadratique, doncqui donne une formulation lisse, mais qui reduit le mauvaisconditionnement grace a l’emploi des multiplicateurs deLagrange

I Le Lagrangien augmente pour contraintes egalite est

La(x, λ, µ) = L(x, λ) + µ2

∑i∈E

c2i (x)

= f(x)−∑i∈E

λici(x) + µ2

∑i∈E

c2i (x)

I L’algorithme suivant converge vers un point critique (selon lesconditions KKT) et fournit egalement les multiplicateurs deLagrange



Algorithme du Lagrangien augmente (2/2)

[0] InitialisationPoint de depart : x0 ∈ Rn, λ0 ∈ RmPrecision initiale : τ0 > 0Penalite initiale : µ0 > 0k ← 1

[1] Iteration kTrouver approximativement xk+1 ∈ arg min

x∈Rn

La(x, λk, µk)

avec ‖∇xLa(xk+1, λk, µk)‖ ≤ τk comme critere d’arretSi (test de convergence) : Stop (point critique)

λk+1i ← λki − µkci(xk+1) i ∈ E

Choisir µk+1 ≥ µkChoisir τk+1

k ← k + 1Aller en [1]






4. Extensions

References



Extensions

I Cas sans contrainte : Methodes de regions de confiance

I Avec contraintes : Conditions de second ordre (CN2 et CS2)

I Methode de point interieurs

I Optimisation globale

I Optimisation sans derivees : Que faire quand f n’est pasdifferentiable ?






4. Extensions

References



References I

Audet, C. (2011).

Notes de cours, MTH1101, Calcul I.

Gauvin, J. (1995).

Lecons de programmation mathematique.

Editions de l’Ecole Polytechnique de Montreal.

Nocedal, J. and Wright, S. (2006).

Numerical Optimization.

Springer Series in Operations Research and Financial Engineering.Springer, Berlin, second edition.

Orban, D. (2010).

Numerical Methods for Nonlinear Optimization and Optimal Control,notes du cours MTH8408.


Optimisation non lin eaire: Th eorie - GERAD

Documents