Optimisation. Définition zLoptimisation dun problème ou dune fonction consiste à chercher la...

of 24 /24
Optimisation

Embed Size (px)

Transcript of Optimisation. Définition zLoptimisation dun problème ou dune fonction consiste à chercher la...

  • Page 1
  • Optimisation
  • Page 2
  • Dfinition zLoptimisation dun problme ou dune fonction consiste chercher la valeur des variables de la fonction qui minimise (ou qui maximise) sa valeur. zLoptimisation est gnralement un problme compliqu, et il existe de multiples techniques, dont lutilisation doit tre adapt au type du problme.
  • Page 3
  • Caractrisation des techniques doptimisation zOptimisation globale/locale yLoptimisation globale consiste chercher le maximum de la fonction sur lensemble de dfinition yLoptimisation locale consiste chercher le maximum de la fonction au voisinage dun point. zMthode dterministe/stochastique yUne mthode stochastique parcourt lespace de recherche de faon alatoire . Deux excutions successives peuvent donner deux rsultats diffrents. yUne mthode dterministe parcourt toujours lespace de recherche de la mme faon.
  • Page 4
  • x 2 +y 2
  • Page 5
  • Page 6
  • Page 7
  • Page 8
  • Page 9
  • Page 10
  • Page 11
  • Page 12
  • Page 13
  • Page 14
  • Mthode de la drive zLorsque lon sait calculer explicitement les zros de la drive (ou du gradient), on sait que f(X)=0 est une condition ncessaire pour que X soit un point extrmal hors des frontires de lespace de dfinition. zCette mthode ne fonctionne que pour des fonctions analytiques simples.
  • Page 15
  • Mthodes dterministes locales: le gradient Soit f(X) fonction dun vecteur X, valeurs relles, et son gradient f(X). On calcule la suite: X n+1 = X n - a f(X n ), a>0 Le choix de a est idalement fait en minimisant pour a>0: G(a)=f(X n a f(X n )) Ceci nest gnralement pas possible, et on utilise pour trouver a des mthodes approches.
  • Page 16
  • Mthodes dterministes locales dordre 2 zPour acclrer la descente, on utilise les informations apportes par la drive seconde de la fonction (le Hessien pour les fonctions plusieurs variables) zCes mthodes ncessitent de calculer la drive et le Hessien simultanment.
  • Page 17
  • Mthodes dterministes locales dordre 2 zf(y) = f(x) + f(x) (y-x) + f(x) (y-x) 2 + d zEn minimisant la forme quadratique en y: yf(x)+f(x)(y-x)=0 soit y = x f(x)/f(x) zAlgorithme: yx n+1 = x n f(x n ) / f(x n ) zMthode connue en gnral sous le nom de mthode de Newton. zSa convergence est plus rapide que la mthode de gradient.
  • Page 18
  • Mthodes dterministes locales dordre 2 (Newton)
  • Page 19
  • Mthodes dterministes locales: BFGS zBFGS est une mthode qui approxime la matrice du hessien par analyse des gradients successifs zElle ne ncessite que la connaissance du gradient. zElle est plus rapide que le gradient, et moins rapide que la mthode de Newton zCest une mthode trs utilise en pratique.
  • Page 20
  • BFGS
  • Page 21
  • Mthodes locales: le simplexe de Nelder-Mead zMthode travaillant sur un polytope: pour une fonction de n variables, on choisit n+1 points et on les fait voluer par extension et contraction. zMthode qui ne ncessite pas le calcul du gradient ou du hessien, et donc trs pratique sur les fonctions complexes. zLes preuves de convergence sont peu claires zLalgorithme est simple et pratique.
  • Page 22
  • Le simplexe de Nelder- Mead zChoix de n+1 points (x 1,..x n+1 ) zTri du simplexe: f(x 1 )