Notes de cours d'analyse numérique et d'optimisation ...€¦ · Une fois la mise en forme d'un...

Notes de cours d'analyse numérique

et d'optimisation continue.

TELECOM BRETAGNE

S1, MTS 435 et préparation Master SISEA (Rennes I)

Thierry CHONAVEL

[email protected]

Mai 2011

Table des matières

1 Introduction 8

2 Un exemple introductif 13

I Analyse numérique matricielle 20

3 Rappels sur les matrices et les systèmes d'équations linéaires 21

3.1 Applications linéaires et matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2 Changement de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.3 Quelques familles de matrices importantes . . . . . . . . . . . . . . . . . . . . . . 24

3.4 Déterminant et inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.4.1 Valeurs propres et vecteurs propres . . . . . . . . . . . . . . . . . . . . . . 26

3.4.2 Image et noyau d'une matrice . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.4.3 Changement de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.4.4 Factorisation de matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.5 Produits scalaires et normes vectorielles et matricielles . . . . . . . . . . . . . . . 28

3.5.1 Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.6 Notions générales sur les algorithmes numériques . . . . . . . . . . . . . . . . . . 29

3.6.1 Complexité algorithmique . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

1

TABLE DES MATIÈRES 2

3.6.2 Conditionnement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4 Systèmes d'équations sur-déterminés et sous-déterminés 32

4.1 Systèmes sur-déterminés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

4.2 Systèmes sous-déterminés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4.3 Cas général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4.4 Matrices blocs et résolution partielle des systèmes linéaires . . . . . . . . . . . . . 35

5 Résolution directe des systèmes linéaires 36

5.1 Méthodes de Gauss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.1.1 Principe général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.1.2 Stabilité et pivot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

5.1.3 Coût de calcul, déterminant et inverse . . . . . . . . . . . . . . . . . . . . 38

5.1.4 Méthode de Cholesky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

5.2 Triangularisation par orthonormalisation . . . . . . . . . . . . . . . . . . . . . . . 40

5.2.1 Méthode de Householder . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

5.2.2 Méthode des rotations de Givens . . . . . . . . . . . . . . . . . . . . . . . 41

5.2.3 Méthode de Gram-Schmidt . . . . . . . . . . . . . . . . . . . . . . . . . . 42

6 Résolution itérative des systèmes linéaires 43

7 Décompositions en valeurs propres et en valeurs singulières 45

7.1 Diagonalisation des matrices symétriques : la méthode de Jacobi . . . . . . . . . 46

7.2 Forme Hessenberg des matrices carrées . . . . . . . . . . . . . . . . . . . . . . . . 47

7.3 Décomposition en valeurs propres : le cas général . . . . . . . . . . . . . . . . . . 49

7.3.1 Aspects algorithmiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49


7.3.2 Lien avec la décomposition de Jordan . . . . . . . . . . . . . . . . . . . . 49

7.4 Décomposition en valeurs singulières . . . . . . . . . . . . . . . . . . . . . . . . . 50

7.4.1 Réalisation de la décomposition en valeurs singulières . . . . . . . . . . . . 51

II Introductionaux opérateurs linéaires 55

8 Introduction 56

9 Espaces de Hilbert 57

9.1 Dénition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

9.1.1 produit scalaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

9.1.2 Espace de Hilbert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

9.2 Théorème de projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

9.3 Bases orthonormées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

9.4 Séparabilité et isométrie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

9.4.1 Séparabilité et bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

9.4.2 Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

9.4.3 Isométrie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

10 Opérateurs linéaires 62

10.1 Norme d'un opérateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

10.2 Représentation matricielle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

III Interpolation et intégration 67

11 Interpolation et intégration 68


11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

11.2 Interpolation polynomiale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

11.2.1 Interpolation de Lagrange . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

11.2.2 Le phénomène de Runge . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

11.3 Intégration de Newton-Cotes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

11.4 Méthode de Gauss-Legendre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

11.5 Méthode de Clenshaw-Curtis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

11.6 Calcul d'erreur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

IV Optimisation 76

12 Introduction 77

13 Eléments de calcul diérentiel 80

13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

13.2 Rappels sur les espaces L(X,Y ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

13.3 Dérivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

13.3.1 Application dérivée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

13.3.2 Dérivation pour f dénie sur des espaces produits . . . . . . . . . . . . . 81

13.3.3 Composition des applications dérivables . . . . . . . . . . . . . . . . . . . 82

13.4 Dérivée seconde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

13.5 Formules de Taylor et théorème des fonctions implicites . . . . . . . . . . . . . . 83

13.6 Accroissements nis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

13.7 Formules de taylor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

14 Optimisation sans contraintes : critères d'optimalité 85


14.1 Dénitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

14.1.1 Optimalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

14.1.2 directions admissibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

14.2 Conditions nécessaires d'optimalité . . . . . . . . . . . . . . . . . . . . . . . . . . 86

14.3 Conditions susantes d'optimalité . . . . . . . . . . . . . . . . . . . . . . . . . . 88

14.4 Convexité et optimalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

14.4.1 Dénitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

14.4.2 Caractérisations de la convexité . . . . . . . . . . . . . . . . . . . . . . . . 89

14.4.3 Exemples de fonctions convexes . . . . . . . . . . . . . . . . . . . . . . . . 90

14.4.4 Minima des fonctions convexes . . . . . . . . . . . . . . . . . . . . . . . . 90

14.5 Fonctions quadratiques et elliptiques . . . . . . . . . . . . . . . . . . . . . . . . . 91

15 Algorithmes d'optimisation sans contraintes 93

15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

15.2 Méthode de relaxation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

15.3 Algorithme du gradient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

15.3.1 Choix du pas et convergence . . . . . . . . . . . . . . . . . . . . . . . . . . 94

15.4 Méthode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

15.4.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

15.4.2 Autre interprétation dans le cas scalaire . . . . . . . . . . . . . . . . . . . 97

15.4.3 Méthodes de type quasi-Newton . . . . . . . . . . . . . . . . . . . . . . . 97

15.4.4 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

15.4.5 L'algorithme de Levenberg-Marquart . . . . . . . . . . . . . . . . . . . . . 99

15.5 L'algorithme du gradient conjugué . . . . . . . . . . . . . . . . . . . . . . . . . . 99


16 Optimisation sous contraintes : critères d'optimalité 100

16.1 Le théorème des fonctions implicites . . . . . . . . . . . . . . . . . . . . . . . . . 100

16.2 Points réguliers et espace tangent . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

16.2.1 Contraintes d'égalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

16.2.2 Contraintes d'égalité et d'inégalité . . . . . . . . . . . . . . . . . . . . . . 102

16.3 conditions d'optimalité en présence de contraintes d'égalité . . . . . . . . . . . . . 102

16.3.1 Condition nécessaire d'optimalité . . . . . . . . . . . . . . . . . . . . . . . 102

16.4 Conditions d'optimalité en présence de contraintes d'égalité et d'inégalité . . . . 106

16.4.1 Condition nécessaire du premier ordre . . . . . . . . . . . . . . . . . . . . 106

16.4.2 Conditions du second ordre . . . . . . . . . . . . . . . . . . . . . . . . . . 107

16.5 Lagrangien, points selles, et dualité . . . . . . . . . . . . . . . . . . . . . . . . . . 108

16.5.1 Points selles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

16.5.2 Problèmes primal et dual . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

17 Optimisation sous contraintes : algorithmes 110

17.1 Extension des méthodes sans contraintes . . . . . . . . . . . . . . . . . . . . . . . 110

17.1.1 Méthode de relaxation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

17.1.2 Théorème de projection et gradient projeté . . . . . . . . . . . . . . . . . 110

17.1.3 Méthode de point intérieur . . . . . . . . . . . . . . . . . . . . . . . . . . 111

17.1.4 Méthode de pénalisation externe . . . . . . . . . . . . . . . . . . . . . . . 112

17.1.5 Méthode d'Uzawa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

18 Programmation linéaire 114

18.1 Le problème . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

18.2 Bases réalisables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114


18.2.1 Solutions de base réalisables optimales . . . . . . . . . . . . . . . . . . . . 115

18.3 Changement de base réalisable . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

18.4 algorithme du simplexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

18.5 Programmation linéaire et dualité . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

18.5.1 Problème primal et problème dual . . . . . . . . . . . . . . . . . . . . . . 117

18.6 Equivalence du problème primal et du problème dual . . . . . . . . . . . . . . . . 117

18.7 Théorème de dualité pour la programmation linéaire . . . . . . . . . . . . . . . . 118

A Master SISEA

Corrigé des examens

sessions de janvier 2006 à 2010 122

Chapitre 1

Introduction

L'analyse numérique et l'optimisation constituent deux aspects importants et souvent complé-mentaires des mathématiques de l'ingénieur. Une connaissance de notions de base dans ces deuxdomaines est indispensable pour une ingénierie de bon niveau. Les développements rapides del'informatique ont fait de ces branches des mathématiques des outils universellement utilisés dansl'industrie et les services.

De nombreux logiciels utilisent divers algorithmes performants d'analyse numérique et d'opti-misation, mais avant de pouvoir les utiliser, il faut déjà avoir conscience de leur existence, desproblèmes qu'ils peuvent résoudre, avec leurs performances et leurs limitations. Avant mme cela,il faut savoir mettre en forme le problème étudié sous la forme mathématique appropriée à lamise en oeuvre d'algorithmes.

Une fois la mise en forme d'un problme eectue et les techniques gnrales pour le rsoudre connues,il peut tre utile, pour des implémentations spéciques qui peuvent concerner par exemple la miseen oeuvre sur des processeurs de traitement de signal ou pour des adaptations des algorithmesdans le cadre d'activités de R&D, d'être capable de 'décortiquer' le fonctionnement d'un algo-rithme, ce qui suppose un minimum de familiarité avec les principes sur lesquels ils reposent.Aussi, mme si l'essentiel des algorithmes n'est pas dtaill en cours ou n'est que rapidement testlors des travaux pratiques, un certain nombre de mthodes standard est prcis dans le polycopi. Lescodes fournis visent en particulier montrer que souvent l'implmentation informatique conduit uncode simple et concis.

Ce cours vise d'abord à rappeler quelques notions élémentaires d'analyse numérique matricielleet d'optimisation et à donner les grandes lignes de méthodes classiques importantes pour lesproblèmes d'ingénierie courants. La partie relative aux matrices est complétée par une partied'introduction aux opérateurs linéaires qui étendent naturellement en dimension innie les no-tions de fonctions linéaires et de matrice. Cette dernière partie est encore incomplète et seradéveloppée dans les versions ultérieures du polycopié.

On présente également ici quelques notions de base sur l'interpolation polynomiale des fonctionset leur intégration numérique qui constituent des outils standards d'ingénierie. Pour l'analyse

8

CHAPITRE 1. INTRODUCTION 9

numérique matricielle, on envisagera surtout les outils classiques de résolution des systèmesd'équations linéaires et on donnera quelques indications sur la diagonalisation des matrices.Pour ce qui concerne l'optimisation, on indiquera les méthodes de recherche d'optima à utiliserselon les propriétés des critères à optimiser et la nature des contraintes.

Précisons maintenant un peu plus la nature des problèmes que l'on va envisager.

Commençons par reproduire ici la dénition de l'analyse numérique fournie par l'encyclopédieen ligne Wikipedia :l'analyse numérique est l'étude des algorithmes permettant de résoudre les problèmes de math-ématiques continues (distinguées des mathématiques discrètes). Cela signie qu'elle s'occupeprincipalement de répondre numériquement à des questions à variable réelle ou complexe commel'algèbre linéaire numérique sur les champs réels ou complexes, la recherche de solution numériqued'équations diérentielles et d'autres problèmes liés survenant dans les sciences physiques etl'ingénierie.

Comme on l'a déjà indiqué plus haut, on se limite essentiellement ici à l'analyse numériquematricielle. Le premier but de ce cours est de mettre en évidence l'intérêt de la mise en formematricielle de problèmes classiques rencontrés en traitement statistique de l'information. L'é-tude de la résolution exacte ou approchée des systèmes linéaires d'équations sera l'occasion deprésenter un certain nombre de résultats sur la décomposition des matrices, utiles à l'étude denombreux problèmes. On distinguera, comme c'est généralement le cas dans ce genre d'exposé lesméthodes directes qui fournissent une solution au prix d'un nombre limité xé d'opérations desméthodes itératives qui fournissent une solution approchée à chaque itération, la solution exacten'étant généralement obtenue qu'asymptotiquement. On s'intéressera également au problème dela décomposition en valeurs propres des matrices, qui n'a pas de solution numérique exacte engénéral puisqu'il s'apparente au problème de recherche des racines d'un polynôme (en l'occurencele polynôme caractéristique de la matrice).

Dans le domaine de l'intégration numérique, les techniques généralement envisagées visent àconstruire des approximations des intégrales par l'intégration d'interpolants polynomiaux desfonctions à intégrer. Cela conduit à des formules de quadrature de la forme∫ b

af(x)dx ≈

n∑k=1

wkf(xk)n, (1.1)

où le choix des noeuds xk et les poids wk de la quadrature conditionnent la précision de laquadrature. On présentera quelques solutions classiques à ce problme.

Dans le cadre de l'optimisation, on s'intéressera ici essentiellement à des problèmes d'optimisationcontinue, à variables réelles ou complexes et de forme générale

minx f(x)fi(x) ≤ bi i = 1, . . . ,m

(1.2)

qui consiste à rechercher les valeurs de x qui minimisent f(x) dans l'ensemble des contraintesU = x; fi(x) ≤ bi i = 1, . . . ,m.

Notons ici que la recherche de la solution d'un problème d'optimisation d'un critère fonction d'unevariable vectorielle peut souvent faire appel aux outils de l'analyse numérique matricielle. Consid-


érons en eet l'exemple simple suivant : en l'absence de contrainte, un problème d'optimisationquadratique du type f(x) =‖ Ax−b ‖, où ‖ x ‖2= xTx est la norme euclidienne, le minimumdu critère est donné par la résolution du système d'équations linéaires (ATA)x = ATb. Larecherche du vecteur x par ce critère fournit une approximation du vecteur b sous la forme Axet est connue sous le nom de méthode des moindres carrés.

Cependant, tous les problèmes d'optimisation ne se ramènent pas à des problèmes d'analysenumérique matricielle et la théorie de l'optimisation mathématique recense des classes de prob-lèmes importants pour lesquels on sera en mesure de fournir des résultats théoriques en termede conditions ncessaires et/ou susantes sur l'existence de solutions ainsi que des algorithmespratiques performants permettant de les calculer.

Ce cours est donc essentiellement constitué de deux parties, traitant respectivement de d'anal-yse numérique matricielle (et plus particulièrement de la résolution des systèmes d'équationslinéaires) et d'optimisation, avec un accent particulier mis sur l'optimisation convexe dont on aévoqué l'importance ci dessus. Pour ce qui concerne les prérequis, ce cours suppose acquis unniveau de mathématiques générales bac+2. Par ailleurs, des connaissances de bases en probabil-ités et en statistiques seront nécessaires pour appréhender certains des exemples présentés.

Les résultats sont souvent justiés de manière succinte et on pourra trouver des complémentsutiles dans la littérature et sur le WEB. Chacune des parties analyse numérique et optimisationpossède sa propre bibliographie. Aussi, les numéros de référence correspondent t'ils à la bibli-ographie de la partie concernée. Pour ce qui concerne la partie relative à l'analyse numérique, laréférence [2] constitue une bonne référence en français dans laquelle les principaux algorithmesd'analyse numérique matricielle sont expliqués. La référence [3] constitue un outil très utile pourl'ingénieur qui doit implémenter des algorithmes. De nombreuses méthodes sont détaillées et lesimplémentations en pseudo-code sont fournies. Notons que la référence [2] constitue une bonneintroduction à l'analyse numérique de même qu'à l'optimisation, tout comme la référence [1].Tout comme pour l'analyse numérique, il existe de nombreux ouvrages généralistes et d'excel-lente qualité sur l'optimisation, tels que [7], [8] ou [9]. Pour le cas important de l'optimisationconvexe, on pourra par exemple se référer à [3], [4] ou [5].


Notations et Abréviations

|a|, |M| module d'un nombre complexe, déterminant d'une matrice

vT , MT transposé d'un vecteur, d'une matrice

a∗, v∗, M∗ valeur conjuguée d'un scalaire, d'un vecteur, ou d'une matrice

vH , MH valeur transposée et conjugué d'un vecteur ou d'une matrice

< x,y > produit scalaire de x et de y

Tr(M) trace d'une matrice

sign(a) sign(x) = +1,−1, 0, selon que a est positif, négatif, nul

δa,b δa,b = 1 si a = b, et 0 sinon (symbôle de Kronecker)

[v]i, [M]ij élément d'indices i, ou (i, j), d'un vecteur ou d'une matrice

‖M ‖ norme de M (la norme choisie est dénie par le contexte)

Re[z], Im[z] partie réelle, imaginaire, de z

a = b mod[p] a est le reste de la division de b par p

N, Z, R, C ensembles des nombres entiers, entiers relatifs, réels, et complexes

D disque unité ouvert

Ck ensemble des fonctions k fois dérivables, de dérivées continues

C∞(K) ensemble des fonctions inniment dérivables,de support compact et contenu dans K

L(X,Y ), L(X) ensembles des applications linéaires continuesde X dans Y , de X dans X

L(X,R) = X ′ espace dual de X

L2(X,Y ) applications bilinéaires continues bijectives de X ×X dans Y


Isom(X,Y ) applications linéaires continues bijectives de X dans Y ,et d'inverses continues (isométries de X dans Y )

ε(h) fonction telle que lim‖h‖→0 ε(h) = 0

O ensemble ouvert

V espace vectoriel normé

Vx voisinage du point x

B(a, r) boule ouverte de centre a et de rayon r

B(Rn) tribu borélienne de Rn

vect(Xi)i∈I espace vectoriel engendré par les combinaisons linéaires nies des Xi

vect(Xi)i∈I prolongement de vect(Xi)i∈I en un espace complet

1IA fonction indicatrice de l'ensemble A

Chapitre 2

Un exemple introductif

Dans ce chapitre, on présente un exemple introductif qui illustre un certain nombre de notionssur lesquelles on reviendra dans les chapitres suivants. On y présente, sous la forme d'un exerciceun exemple d'application qui met en oeuvre un certain nombre de concepts d'analyse numériquematricielle et d'optimisation dans le cadre du traitement déterministe ou statistiques de signaux.

On considère une équation de convolution de la forme y = h ∗ x, où h représente la réponseimpulsionnelle d'un ltre, x son entrée et y sa sortie. L'chantillonnage de l'quation intgralede convolution y = h ∗ x donne par y(t) =

∫ Th0 h(u)x(t − u)du (Th est la dure de la rponse

impulsionnelle du ltre causal h) conduit l'criture yn =∑

k=0,L hkxn−k, o xn = x(nT ) et hn =

T−1h(nT ) sont obtenus par l'chantilonnage de l'quation de convolution avec un pas gal T .

On suppose dans un premier temps que le ltre h est connu mais que le signal x est inconnu.On cherche à retrouver les valeurs de xn, . . . , xn+N à partir de l'observation de y sur le mêmeintervalle de temps, c'est à dire l'observation de yn, . . . , yn+N .

Question 1 Ecrivez la relation matricielle qui lie le vecteur observé y = [yn, . . . , yn+N ]T à

l'entrée x et vériez que du fait de l'étalement temporel introduit par le ltrage, elle fait intervenir

le vecteur [xn−L, . . . , xn, . . . , xn+N ]T . Cette relation matricielle est dite sous-déterminée car elle

fait intervenir plus d'inconnues que d'équations. Indiquez la forme générale de l'ensemble des

solutions pour x = [xn, . . . , xn+N ]T en montrant qu'on peut la paramétrer par xn−L, . . . , xn.(Il s'agit d'un cas particulier d'un résultat plus général connu sous le nom de théorème des

fonctions implicites.)

Réponse Les relations de convolution s'écrivent

yn+k =∑j=0,L

hjxn+k−i,

13

CHAPITRE 2. UN EXEMPLE INTRODUCTIF 14

pour k = 0, . . . , N . Mises sous forme matricielle, elles s'écriventynyn+1...

yn+N

=

hL hL−1 . . . h0 0 . . . 00 hL hL−1 . . . h0 0 . . .... 00 . . . 0 hL hL−1 . . . h0

×xn−Lxn−L+1

...xn+N

. (2.1)

Notons maintenant que dans un système d'équations général de la forme y = Ax où A a l ligneset c colonnes, on peut écrire A sous la forme A = [A1|A2] où A1 et A2 sont de tailles respectivesl × c1 et l × c2, avec c1 + c2 = c. De même x s'écrit comme xT = [xT1 |xT2 ], où les sous vecteurssont de tailles c1 et c2. Il résulte de cette écriture que l'on peut représenter y sous la forme

y = A1x1 + A2x2.

En appliquant ce principe à notre problème, on voit que

ynyn+1...

yn+N

=

hL hL−1 . . . h10 hL . . . h2...

. . . hL . . .0 0 hL

0...

...0 . . . 0

×

xn−L...xn−1

+

h0 0 . . . 0h1 h0 0 . . . 0...hL hL−1 . . . h0 0 . . . 00 hL hL−1 . . . h0 0 . . .... 00 . . . 0 hL hL−1 . . . h0

×

xn...

xn+N

(2.2)

En reformulant cette égalité sous la forme plus compacte suivante,

y = H0

xn−L...xn−1

+ Hx, (2.3)

on voit que l'ensemble des vecteurs x recherché est de la forme

x = H−1[y −H0

xn−L...xn−1

]. (2.4)

x est bien paramétré par xn−L, . . . , xn−1.

Question 2 Reformulez le problème dans le cas particulier où on suppose que xn−L = . . . =xn−1 = 0.Vériez qu'alors x est obtenu par la résolution d'un système linéaire d'équations faisant


intervenir une matrice triangulaire. Montrez que ce système se résoud simplement avec un faible

coût de calcul.

Réponse Lorsque xn−L = . . . = xn−1 = 0, la représentation (2.3) prend la forme plus simpley = Hx, avec

H =

h0 0 . . . 0h1 h0 0 . . . 0...hL hL−1 . . . h0 0 . . . 00 hL hL−1 . . . h0 0 . . .... 00 . . . 0 hL hL−1 . . . h0

On voit alors que les système d'équations se résoud simplement de façon itérative puisqu'on aalors

xn = yn/h0,xn+1 = [yn+1 − h1xn]/h0,...

xn+k = [yn+k −∑maxk,L

i=1 hixn+k−i]/h0, pour k = 1, . . . , N.

(2.5)

On voit que le calcul de x réclame ici de l'ordre de 1 + 2 + 3 . . . + (N + 1) multiplications, soitenviron N2/2 opérations.

Question 3 Plus généralement, on verra dans le cours qu'une matrice carrée A inversible peut

s'écrire sous la forme A = LU, où L et U sont respectivement triangulaire inférieure et trian-

gulaire supérieure. Vériez que A est inversible si et seulement si les diagonales de L et de U ne

contiennent pas de termes nuls. Dans ce cas, si L et U sont connues, indiquez comment on peut

résoudre le système d'équations y = Ax et donnez un ordre de grandeur du nombre d'opérations

que requiert cette résolution. En fait, on verra que c'est la mise en forme LU de A qui représente

le coût de calcul prépondérant (de l'ordre de N3 opérations).

De même, la matrice A peut s'écrire sous la forme A = QR, où Q et R sont respectivement

orthogonale (c'est à dire que QQT = I) et triangulaire supérieure. Là encore, si Q et R sont

connues, indiquez comment on peut résoudre le système d'équations y = Ax.

Réponse |A| = |L| × |U| = Πi=1,NLiiUii. A est inversible si et seulement si |A| 6= 0, c'est àdire si les termes diagonaux de L et de U sont non nuls.Si y = Ax et A = LU, alors y = L(Ux) et on voit en posant z = Ux que x peut être calculéen résolvant successivement les deux systèmes d'équations triangulaires y = Lz puis z = Ux, cequi demandera environ N2 opérations (en ne comptant que les multiplications).

De même, si A = QR avec QQT = I, on voit que QTy = Rx et l'on est simplement amené àcalculer QTy, ce qui demande environ N2 opérations, puis à résoudre le système triangulaire,soit au total 3N2/2 opérations.

Question 4 Reprenons notre problème de départ et supposons que le signal x est constitué d'un

préambule, qui reproduit les derniers symboles de la séquence xn, . . . , xn+N , c'est à dire que l'on


a

(xn−L, . . . , xn−1) = (xn+N−L+1, . . . , xn+N ). (2.6)

Ce genre de technique est utilisée dans certaines méthodes de transmissions numériques, telle

l'OFDM (Orthogonal Frequency Division Multiplexing). Reformulez le problème sous forme ma-

tricielle et montrez que maintenant les inconnues xn, . . . , xn+N sont liées à y par une relation

qui fait intervenir une matrice circulante, c'est à dire que chaque ligne de la matrice se déduit

de la précédente par une permutation circulaire. Montrez que les vecteurs propres d'une matrice

circulante sont les vecteurs de la transformée de Fourier discrète, c'est à dire de la forme

Wk = [1, e2iπk/(N+1), e2iπ2k/(N+1), . . . , e2iπNk/(N+1)]T /sqrtN + 1. (2.7)

Calculez les valeurs propres correspondantes et indiquez la forme de la décomposition en valeurs

propres d'une telle matrice. En déduire une technique simple pour calculer x. Montrez comment

ces résultats sont liés avec la formulation fréquentielle de l'opération de convolution.

Réponse On vérie facilement que l'introduction du préambule a pour eet de conduire ausystème d'équations y = Cx, avec

C =

h0 0 . . . 0 hL . . . h1

h1 h0 0 . . . 0. . .

.... . .

hL−1 . . . h0 0 . . . 0 hLhL hL−1 . . . h0 0 . . . 00 hL hL−1 . . . h0 0 . . ....

. . .0 . . . 0 hL hL−1 . . . h0

On observe que C est une matrice circulante : on passe d'une ligne à l'autre de la matrice parpermutation circulaire vers la droite de ses coecients.

En remarquant que e2iπnk/(N+1) = e2iπ(n−N−1)k/(N+1), on vérie facilement que la tème com-posante du vecteur CWk vaut [

∑p=0,L hpe

−2iπpk/(N+1)]e2iπtk/(N+1). Finalement, on voit que

CWk = [∑p=0,L

hpe−2iπpk/(N+1)]Wk. (2.8)

Remarquons que∑

p=0,L hpe−2iπpk/(N+1) est la kème composante de la transformée de Fourier

discrète du vecteur de taille N + 1 [h0, h1, . . . , hL, 0, . . . , 0]T , qui est obtenu en complétant levecteur h avec N − L coecients nuls. Notons hk =

∑p=0,L hpe

−2iπpk/(N+1). Le vecteur h =

[h0, h1, . . . , hN ] représente la réponse fréquentielle du ltre h échantillonnée sur N + 1 points surla bande d'échantillonnage.

NotonsW = [W0, . . . ,WN ], la matrice de transformée de Fourier et diag(h) la matrice diagonaledont les termes diagonaux sont les composantes de h. On voit que les relations (2.8) conduisentà

CW = Wdiag(h),


et comme W est une matrice unitaire, c'est à dire que WWH = I,

C = Wdiag(h)WH .

Mais alors, le système d'équations y = Cx s'écrit encore (WHy) = diag(h)(WHx) et WHx etWHy représentent respectivement les transformées de Fourier discrètes de x et de y que l'onnotera x et y. Finalement, on a y = diag(h)x, ce qui s'exprime composante par composantecomme

yk = hkxk k = 0, . . . , N. (2.9)

Ces relations ne font qu'exprimer le fait qu'en passant dans le domaine de Fourier l'opération deconvolution devient une simple multiplication.

Notons que partant du système d'équations y = Cx obtenu en circularisant l'opération deconvolution (c'est à dire en périodisant x), les opérations de transformées de Fourier discrètes dey et de h requièrent chacune de l'ordre de N log2N opérations par l'emploi de l'algorithme deFFT (Fast Fourier Transform). Les relations (2.9) permettent alors de calculer x directement. xs'en déduit par transformée de Fourier inverse. Au total, on voit donc que la résolution du systèmed'équations est seulement de l'ordre de 3N log2N opérations, grâce au passage dans le domainede Fourier que l'on a justié ici en passant par la décomposition en valeurs propres de la matriceC. On voit sur cet exemple comment des notions d'analyse (la convolution et la transforméede Fourier) et d'algèbres (la décomposition en valeurs propres des matrices circulantes) peuvents'éclairer mutuellemnt.

Question 5 Supposons maintenant que le signal x soit connu et que l'on observe

ym =

L∑k=0

hkxm−k + vm, m = n, n+ 1, . . . , n+N, (2.10)

où les coecients du ltre h sont maintenant inconnus, et v est un bruit d'observation. Exprimez

la relation matricielle qui lie l'observation y au vecteur h = [h0, . . . , hL]T sous la forme y =Xh + v.

Réponse On a clairementynyn+1...

yn+N

=

xn xn−1 . . . xn−Lxn+1 xn . . . xn+1−L

...xn+N−L xn+N−L+1 . . . xn+N

×h0...hL

+

vnvn+1...

vn+N

, (2.11)

ce que l'on note simplement sous la forme y = Xh + v.

Question 6 Supposons que N > L. Le système comporte alors plus d'équations que d'inconnues ;

Il est dit sur-déterminé. Lorsque v est nul, il est clair que l'on obtient un système d'équations

redondantes mais il n'est cependant pas évident de savoir a priori pour un système sur-déterminé

quelles équations éliminer pour se ramener à un système carré inversible (en supposant que la

matrice intervenant dans la relation initiale soit de rang plein). De plus, lorsque v 6= 0, le système

y = Xh n'aura pas de solution en général du fait de la présence de bruit qui introduit une erreur

de modélisation dans la description de y comme un élément de l'espace image de la matrice X.


A défaut d'une solution exacte, on cherche une solution approchée et un critère naturel consiste

à chercher la valeur de h pour laquelle le modèle y = Xh est, en un certain sens, le moins

erroné possible. Dans de nombreuses situations, on cherche à minimiser la norme de l'erreur de

modélisation, c'est à dire qu'on choisi pour h la grandeur

hMC = arg minh‖ y −Xh ‖2 . (2.12)

Calculez hMC . La minimisation du critère ‖ y − Xh ‖2 est appelée méthode des moindres

carrés.

Réponse Le critère à minimiser s'écrit

‖ y −Xh ‖2 = (y −Xh)T (y −Xh)

= yTy − hTXTy − yTXh + hTXTXh

= hT (XTX)h− 2hT (XTy) + yTy.

(2.13)

Rappelons maintenant que la minimisation d'une fonction dérivable f d'une variable vectorielleu ∈ Rn peut être envisagée en considérant la condition nécessaire fournie par l'annulation dugradient de f au point où la fonction prend sa valeur minimale. Rappelons aussi que le gradientde f est déni par

∇f = [∂f

∂u1, . . . ,

∂f

∂up]T .

En laissant de côté le terme constant yTy, la minimisation de ‖ y −Xh ‖2 vis à vis de h estéquivalente à celle de J(h) = hT (XTX)h− 2hT (XTy) qui s'exprime encore comme

J(h) =

L∑i,j=0

(XTX)ijhihj − 2

L∑i=0

(XTy)ihi.

Calculons les dérivées partielles de J . Pour k = 0, . . . , L,

∂J

∂hk= 2

∑Li=0(X

TX)kjhj − 2(XTy)k

= [2(∑L

i=0(XTX)kjhj − 2(XTy)k)]k

= [2(XTX)h− 2XTy]k.

(2.14)

Le gradient de J(h) prend donc la forme simple suivante :

∇J(h) = 2[(XTX)h−XTy]

La condition d'annulation du gradient de J(h) est donc donnée par (XTX)h−XTy = 0, soit

hMC = (XTX)−1XTy. (2.15)

Les équations (XTX)h = XTy sont appelées les équations normales du critère des moindrescarrés ‖ Xh− y ‖2.


Remarque Une façon plus directe d'aboutir au résultat consiste à utiliser le théorème de pro-jection qui indique en particulier que dans Rn la diérence entre un vecteur et sa projection or-thogonale sur un sous espace vectoriel quelconque est orthogonale à tous les éléments de l'espacesur lequel la projection est eectuée. Ici, XhMC représente le vecteur de l'espace VX engendrépar les colonnes de la matrice X qui est le plus proche de y. En d'autres termes XhMC estla projection orthogonale de y sur VX. L'orthogonalité de y −XhMC et de VX se traduit parl'orthogonalité de y−XhMC et des colonnes de X, qui forment une base de VX. Cela se traduitpar

XT [y −XhMC ] = 0

et conduit directement à la relation (2.15).

Question 7 Supposons maintenant que v soit un vecteur de loi connue : v ∼ N (0,Σv). Donnezla loi du vecteur y et calculez l'estimateur du maximum de vraisemblance de h. Montrez l'intérêtde cet estimateur par rapport à hMC dans le cas particulier où la matrice Σv est diagonale.Que se passe t'il si Σv est proportionnelle à la matrice identité ? Déduisez en une interprétationstatistique de hMC .

Réponse

hMV = (XTΣ−1v X)−1XTΣ−1v y. (2.16)

Question 8 Supposons enn que h n'est plus décrit comme un paramètre inconnu mais commeune variable aléatoire de loi connue, appelée loi a priori. On se place donc ici dans le cadre desméthodes dites d'estimation bayesienne. On suppose que h ∼ N (0,Σh). Calculez, en utilisantla formule de Bayes, la densité de probabilité p(h|y), appelée densité de probabilité de la loi aposteriori, et donnez l'expression de l'estimateur du maximum de vraisemblance a posterioride h déni par

hMAP = arg maxh

p(h|y). (2.17)

Réponse

hMV = (XTΣ−1v X + Σ−1h )−1XTΣ−1v y. (2.18)

Première partie

Analyse numérique matricielle

20

Chapitre 3

Rappels sur les matrices et les systèmes

d'équations linéaires

Revenons rapidement sur les origines de la notion de matrice. On se limite ici au cas des espacesvectoriels de type Rn, même si l'extension de la présentation à Cn est immédiate.

3.1 Applications linéaires et matrices

Soit f une application de Rm dans Rn. Soient (ei)i=1,m une base de Rm et (ki)i=1,n une base deRn. On suppose que f est linéaire, c'est à dire que pour tous x1, x2 ∈ Rm et a1, a2 ∈ R,

f(a1x1 + a2x2) = a1f(x1) + a2f(x2).

Soit x ∈ Rm et notons y = f(x). On souhaite exprimer les composantes de y dans la base(ki)i=1,n en fonction des composantes de x dans la base (ei)i=1,m. On va montrer qu'une telleexpression s'obtient facilement en fonction des composantes des vecteurs (f(ei))i=1,m dans labase (ki)i=1,n.

Si on notef(ej) =

∑i=1,n

Aijki,

et que l'on représente les coecients Aij dans un tableau noté A, de taille n × m et appelématrice, dont le terme qui se trouve à l'intersection de la ième ligne et de la jème colonne estprécisemment Aij , il apparaït que la jème colonne de A contient les composantes du vecteur ejexprimées dans la base (ki)i=1,n.

Considérons maintenant la relation y = f(x). Les expressions de x et de y dans les basesrespectives (ei)i=1,m et (ki)i=1,n sont données par

x =∑j=1,m

xjej et y =∑i=1,n

yiki,

21

CHAPITRE 3. RAPPELS SUR LESMATRICES ET LES SYSTÈMES D'ÉQUATIONS LINÉAIRES22

et la linéarité de f permet d'écrire que

f(x) = f(∑

j=1,m xjej)

=∑

j=1,m xjf(ej)

=∑

j=1,m xj [∑

i=1,nAijki]

=∑

i=1,n[∑

j=1,mAijxj ]ki.

(3.1)

Comme la représentation de y = f(x) sous la forme y =∑

i=1,n yiki est unique, la relation

y =∑i=1,n

yiki =∑i=1,n

[∑j=1,m

Aijxj ]ki

entraîne queyi =

∑j=1,m

Aijxj , pour i = 1, . . . , n. (3.2)

On voit que yi s'exprime comme le produit scalaire des vecteurs [Ai1, Ai2, . . . , Aim]T et x, ce quis'exprime classiquement par l'écriture

yi =[Ai1 Ai2 . . . Aim

]×

x1x2...xm

. (3.3)

En concaténant ces relations pour i = 1, . . . , n, on obtient l'expression des coordonnées de ydans la base (ki)i=1,n :

y1y2...yn

=

A11 Ai2 . . . A1m

A21 A22 . . . A2m...

An1 An2, . . . Anm

×x1x2...xm

. (3.4)

Il faut interpréter cette expression comme un résumé des relations (3.2).

Notons que souvent, lorsqu'il n'y a pas d'ambiguité sur les bases choisies on identie les vecteursx et y avec leurs représentations

x1x2...xm

et

y1y2...yn

(3.5)

dans ces bases et on note la relation (3.4) sous la forme compacte

y = Ax. (3.6)


3.2 Changement de base

On a vu que la matrice A caractérise une application linéaire f pour des bases xées des espacesde départ et d'arrivée. On peut se demander comment l'expression de A se trouve modiée lorsd'un changement de base.

Limitons nous ici au cas d'une application f de Rn dans Rn et supposons que A représente lamatrice de A pour la base (ei)i=1,n de Rn. Considérons une autre base de Rn, notée (e′i)i=1,n etnotons A′ la représentation matricielle de f dans cette nouvelle base.

On va voir que la relation entre A et A′ peut être exprimée en fonction des relations de passagede la base (ei)i=1,n à la base (e′i)i=1,n. Posons

e′j =∑i=1,n

Pijei. (3.7)

Dans la matrice P, de terme général Pij , la jème colonne contient donc les coecients du vecteure′j exprimé dans la base (ei)i=1,n.

Soit maintenant un vecteur u et v = f(u). On désignera par x et x′ les vecteurs de coordonnéesde u dans les bases respectives (ei)i=1,n et (e′i)i=1,n. De façon analogue, les composantes de vdans ces bases seront notées y et y′ :

u =∑

i=1,n xiei =∑

i=1,n x′ie′i

v =∑

i=1,n yiei =∑

i=1,n y′ie′i.

(3.8)

Considérons par exemple la première relation. D'après la relation (3.7),∑i=1,n xiei =

∑j=1,n x

′je′j

=∑

j=1,n x′j [∑

i=1,nPijei]

=∑

i=1,n[∑

i=1,nPijx′j ]ei.

(3.9)

Ainsi, xi =∑

i=1,nPijx′j pour i = 1, . . . , n et donc x = Px′. De façon tout à fait identique, on

peut établir que y = Py′.

Les représentations matricielles de la relation v = f(u) dans les deux bases s'écrivent y = Axet y′ = A′x′. Mais la relation y = Ax associée aux relations x = Px′ et y = Py′ conduit à

Py′ = APx′,

soit y′ = (P−1AP)x′, ce qui montre clairement que

A′ = P−1AP.

Dans le cadre de la résolution des systèmes d'équations linéaires, notons que le système d'équa-tions y′ = A′x′, où x′ est inconnue, peut être plus simple à résoudre que le système d'équations


initial y = Ax. Comme on le verra plus loin, l'idée consistant à mettre en évidence une représen-tation équivalente d'un système d'équations linéaires pour laquelle la matrice mise en jeu estsimple (typiquement triangulaire ou diagonale) est à la base de nombreuses méthodes d'analysenumérique matricielle.

Exercice On considère l'application linéaire donnée dans la base canonique de R3 (repère or-thonormé orienté dans le sens direct), notée (e1, e2, e3) par

A =

1 2 00 1 02 3 1

. (3.10)

On considère maintenant la nouvelle base de R3 dénie par e′1 = e3, e′2 = e1 et e′3 = e2. Calculezla matrice de passage P de la première à la seconde base et vériez que dans la nouvelle base onobtient une matrice A′ triangulaire. Déduisez en l'expression du vecteur x tel que Ax = y poury = [1, 1, 1]T .

3.3 Quelques familles de matrices importantes

Etant donnée une matrice A de coecients réels ou complexes, de terme général d'indice (i, j)noté Aij , on notera A = (Aij). La transposée et conjuguée hermitienne ou transposée-

conjuguée de A sont dénies respectivement par

AT = (Aji), et AH = (A∗ji). (3.11)

Pour une matrice carrée A, de taille n, rappelons maintenant la dénition de quelques matricesparticulières importantes

matrice symétrique réelle AT = Amatrice hermitienne complexe AH = Amatrice orthogonale réelle AAT = ATA = Imatrice unitaire complexe AAH = AHA = Imatrice normale AHA = AAH .

(3.12)

Les matrices hermitiennes et unitaires peuvent être vues comme les analogues à valeurs com-plexe des matrices symétriques et orthogonales respectivement. Les matrices orthogonales (resp.unitaires) sont celles dont les colonnes (ai)i=1,n forment une base orthonormée, c'est à dire queaTi aj = δi,j (resp. aHi aj = δi,j , où δi,j = 1 si i = j, et 0 sinon).

Notons que les matrices symétriques réelles et complexes hermitiennes constituent des cas par-ticuliers de matrices normales. De plus, les matrices symétriques (resp. hermitiennes) jouent unrôle important dans de nombreuses situations, en particulier en probabilité et en statistiquespuisque la matrice de covariance d'un vecteur aléatoire réel X (resp. complexe), dénie parRX = E[XXT ] − E[X]E[X]T (resp. RX = E[XXH ] − E[X]E[X]H) est clairement symétrique(resp. hermitienne).


3.4 Déterminant et inverse

Rappelons que le déterminant de la matrice A de taille n est déni par

|A| =∑σ∈Gn

εσAσ(1),1 × . . .×Aσ(n),n, (3.13)

où Gn représente l'ensemble des permutations de l'ensemble 1, . . . , n dans lui même, et εσ la sig-nature de la permutation σ, qui vaut +1 ou -1 selon que le nombre de permutations élémentairesde deux coecients successifs qu'il faut réaliser pour passer du vecteur (1, 2, . . . , n) au vecteur(σ(1), σ(2), . . . , σ(n)) est pair ou impair. Notons une propriété importante du déterminant :

|AB| = |A|.|B| (3.14)

Si (et seulement si) |A| 6= 0, alors, la matrice A est inversible pour la multiplication matricielle,c'est à dire qu'il existe une matrice, notée A−1, telle que

AA−1 = A−1A = I, (3.15)

où I représente la matrice identité (ici de taille n). On sait que

A−1 = |A|−1Com(A)T , (3.16)

où Com(A) est la comatrice de A : Com(A)ij est le déterminant de la matrice de taille n− 1formée de A privée de sa ligne i et de sa colonne j, multiplié par (−1)i+j :

Com(A)ij = (−1)i+j |matrice A privée de la ligne i et de la colonne j| .

Arrétons nous un instant sur cette formule. Pour calculer A−1, il faut multiplier n − 1 termespour chacune des (n − 1)! permutations de chacun des n2 termes de Com(A). Au total, onobtient de l'ordre de n2n! multiplications. Rappelons de plus que d'après la formule de Stierling,n! = nne−n

√2πn(1+ε(n)), avec limn→∞ ε(n) = 0. On dit que la complexité algorithmique du

calcul de l'inverse est exponentielle, c'est à dire que le coût de calcul croït exponentiellement avecla taille n du problème. En pratique, cela signie que pour des problèmes même de taille réduite(pour n de l'ordre de quelques dizaines), un ordinateur puissant serait dans l'impossibilité decalculer l'inverse d'une matrice en un temps raisonable. En fait, les algorithmes de complexitéexponentielle sont considérés comme irréalisables en pratique et on cherche généralement desalgorithmes de complexité polynomiale. On verra qu'il est possible de réaliser l'inversionmatricielle au moyen d'algorithmes dont la complexité est de l'ordre de n3.

Exercice Vériez le lemme d'inversion matricielle : si les matrices B et D sont inversibleset A = B + CDE, alors

A−1 = B−1 −B−1C(D−1 + EB−1C)−1EB−1. (3.17)

Appliquez cette formule au calcul itératif de l'inverse de la matrice N−1∑

n=1,N xnxTn qui

représente l'estimateur empirique de la matrice de covariance d'un vecteur aléatoire centré X,associée à une séquence de vecteurs d'observation (xn)n=1,N . Si les xn sont des réalisations in-dépendantes de la matrice de covariance d'un vecteur aléatoire X = au+B, où u est un vecteur


connu, a une amplitude inconnue, et B un vecteur de bruit de matrice de covariance σ2BI, calculezlorsque N varie la formule itérative de l'estimateur du maximum de vraisemblance de a, notéaN .

Un autre opérateur qui apparaït souvent en calcul matriciel est l'opérateur de trace, déni par

Tr(A) =∑i

Aii. (3.18)

On vérie aisément que Tr(AB) = Tr(BA) et Tr(A + B) = Tr(A) + Tr(B).

3.4.1 Valeurs propres et vecteurs propres

Les valeurs propres de la matrice A sont les racines du polynôme caractéristique de A déni parP (A) = |A − λI|. L'ensemble des valeurs propres de A dénit le spectre de la matrice A,noté

Sp(A) =⋃i=1,n

λi(A) ⊂ C. (3.19)

3.4.2 Image et noyau d'une matrice

Etant donnée une application linéaire f : Cm → Cn et A = [A1, . . . ,Am] la matrice de f pourdes bases xées des espaces de départ et d'arrivée. L'espace image et le noyau de f , que l'ondénira aussi par extension comme l'espace image et le noyau de A sont dénis respectivementpar

Im(f) = Im(A) = Au ∈ Cn;u ∈ Cm = vectA1, . . . ,Am

Ker(f) = Ker(A) = u ∈ Cm;Au = 0.(3.20)

Rappelons le résultat suivant :

dim(Im(A)) + dim(Ker(A)) = m. (3.21)

Le rang de la matrice A est déni par

rang(A) = dim(Im(A)) (3.22)

On dira que la matrice A est de rang plein si rang(A) = min(m,n).

Notons qu'en anglais rang(A) s'exprime par rank(A) tandis que Im(A) s'écrit range(A) etKer(A) s'exprime par Null(A).

3.4.3 Changement de base

Comme on l'a vu au paragraphe 3.2, si A est une matrice carrée de taille n, correspondant àl'expression d'une application linéaire dans une base B∞ = (x1, . . . ,xn) et si B2 = (y1, . . . ,yn)


représente une autre base, avec [y1, . . . ,yn] = P [x1, . . . ,xn], alors, l'expression de la transforma-tion linéaire dans la base B2 est A2 = P−1AP. Le changement de base conduit donc à factoriserla matrice A sous la forme A = PA2P

−1.

En analyse numérique, il est souvent utile de factoriser une matrice A sous la forme d'un produitde matrices an d'obtenir des problèmes plus simples à résoudre. C'est en particulier le cas,comme on le verra, pour la résolution des systèmes d'équations linéaires. Le paragraphe suivantliste les principales factorisations de matrices utilisées pour la résolution des systèmes d'équationslinéaires, ou la décomposition en valeurs propres.

3.4.4 Factorisation de matrices

Le théorème de Schur montre que pour une matrice A il est toujours possible de trouver unchangement de base unitaire, c'est à dire pour lequel la matrice de changement de base P estunitaire, tel que dans la nouvelle base la matrice soit triangulaire.

Notons déjà qu'un des avantages des changements de base unitaires est que le facteur P−1 quiapparaît dans la transformation se ramène simplement à P−1 = PH, ce qui fournit sans calcull'inverse de P.

Théorème 1 (théorème de Schur) Soit A une matrice carrée. Alors, il existe une matrice uni-

taire U telle que UHAU soit une matrice triangulaire.

Corollaire 1 Soit A une matrice normale. Alors, il existe une matrice unitaire U telle que

UHAU soit une matrice diagonale.

Exercice Démontrer le théorème de Schur et le corrolaire.

Le corrolaire indique que les matrices normales, et en particulier les matrices symétriques réelleset les matrices complexes hermitiennes, admettent une décomposition en valeurs propres et quela base des vecteurs propres est une base orthonormée.

Lorsque A est une matrice non normale ou non carrée, on peut cependant toujours trouver unefactorisation de A avec des matrices unitaires et une matrice diagonale. Simplement les facteursunitaires de droite et de gauche ne sont plus conjugués l'un de l'autre. L'obtention de cette dé-composition, appelée décomposition en valeurs singulières, provient du fait que les matricesAAH et AHA sont hermitiennes. Elles admettent donc respectivement des décompositions envaleurs propres de la forme UDUH et VD′VH et on peut établir que D = D′ et A = UDVH.Les termes diagonaux de D sont appelés valeurs singulières de la matrice A.

Donnons maintenant la liste des princiales décompositions matricielles : décomposition LU : A = LU (L, UT triangulaire inférieure) factorisation de Cholesky : A = LLT (A symétrique) décomposition QR : A = QR, QHQ = I, R triangulaire


décomposition en valeurs propres : A = MDM−1

décomposition de Jordan : A = MJM−1 et J bi-diagonale décomposition en valeurs singulières : A = UDVH (A de dimensions quelconques !) forme Schur : QHAQ = T (T triangulaire supérieure) forme Hessenberg : QHAQ = T+ sous diagonale (T(i+ k, i) = 0 pour k ≥ 2)Notons que la forme Hessenberg constitue une forme particulière qui peut être obtenue parun calcul direct et sert à l'initialisation des techniques itératives qui permettent de calculer ladécomposition de Schur. On reviendra au chapitre IV sur les décompositions LU , de Choleskyet QR et sur les autres au chapitre VI.

3.5 Produits scalaires et normes vectorielles et matricielles

Dans Rn, on dénit le produit scalaire des vecteurs x et y par

< x,y >= yTx =∑k=1,n

xkyk. (3.23)

Le produit scalaire des matrices A et B par

< A,B >= Tr(ABH). (3.24)

Dans le cas de vecteurs et de matrices complexes ces formules deviennent

< x,y >= yHx et < A,B >= Tr(ABH). (3.25)

A ces produits scalaires, on peut associer le normes scalaires quadratiques et de Frobénius re-spectivement, dénies par

‖ x ‖22=√xTx, et ‖ A ‖2F=

√Tr(ATA). (3.26)

Plus généralement, on dénit la norme lp d'un vecteur x par

‖ u ‖p= (∑|ui|p)1/p (0 < p <∞). (3.27)

On pourra vérier l'inégalité triangulaire pour la norme (encore appelée ici inégalité de Minkowski)à titre d'exercice. Rappelons également au passage l'inégalité de Hölder, qui généralise l'iné-galité de Cauchy Schwarz : si p−1 + q−1 = 1,

|yHx| ≤‖ x ‖p × ‖ y ‖q . (3.28)

Pour les matrices, de taille n×m, où Rm (resp. Cm) est muni de la norme la et Rn resp. Cn) estmuni de la norme lb on peut dénir des normes matricielles sous la forme

‖ A ‖ab= supx

‖ Ax ‖2b‖ x ‖2a

= supx,‖x‖a=1

‖ Ax ‖2b (3.29)


On notera simplement la norme ‖ . ‖aa par ‖ . ‖a. Bien sûr, toutes ces normes sont équivalentespuisqu'en dimension nie toutes les normes sont équivalentes (rappelons que deux normes sontéquivalentes si à un facteur près la première est toujours inférieure à la deuxième, et réciproque-ment).

Pour des matrices carrées, ‖ . ‖ désignant une norme opérateur quelconque, on peut vérier que

‖ AB ‖a≤‖ A ‖a × ‖ B ‖a . (3.30)

Indiquons maintenant la forme prise par quelques unes des normes matricielles.

‖ A ‖1 = maxj∑

i |Aij |

‖ A ‖2 = [ρ(AHA)]1/2 =‖ AH ‖2

‖ A ‖∞ = maxi∑

j |Aij |.

(3.31)

Exercice Vérier les équations (3.30) et (3.31).

Notons enn que la norme ‖ . ‖2 est invariante par transformation orthogonale sur les matrices :si U est une matrice unitaire, ‖ UA ‖2=‖ A ‖2.

3.5.1 Projection

Etant donné un sous espace vectoriel de Cn dont une base est donnée par les vecteurs A1, . . . ,Am,la matrice de projection sur ce sous-espace s'exprime à partir de la matrice A = [A1, . . . ,Am]par

ΠA = A(AHA)−1AH . (3.32)

I − ΠA représente clairement le projecteur sur l'espace orthogonal à celui engendré par lescolonnes de A, de sorte que tout vecteur x se décompose sous la forme x = xA + x⊥A, avecxA = ΠAx ∈ Im(A) et x⊥A = (I−ΠA)x ∈ Im(A)⊥.

Exercice Vériez que(Im(A))⊥ = Ker(AT ). (3.33)

3.6 Notions générales sur les algorithmes numériques

3.6.1 Complexité algorithmique

La complexité d'un algorithme s'exprime généralement en fonction du nombre d'opérations àréaliser pour obtenir la solution du problème qu'il doit résoudre. En fait, si ce paramètre esttrès important, dans certaines applications, la quantité de mémoire informatique nécessaire autraitement peut également s'avérer cruciale pour le choix d'un algorithme.


La complexité d'un algorithme est dénie comme le terme dominant de la formule qui exprimele nombre d'opérations à réaliser lorsque la dimension caractéristique (par exemple la taille de lamatrice) du problème croit. Pour un problème de dimension n, on pourra dénir cette complexitécomme une grandeur Φ(n) telle que

limn→∞

nombre d'opérations en dimension nΦ(n)

= 1. (3.34)

Dans de nombreuses situations, on se contente d'un ordre de grandeur de la complexité algorith-mique. Rappelons que g(n) = O(Φ(n)) si limn→∞(g(n)/Φ(n)) = C, où C est une constante nie.Notons que souvent, on ne compte que le nombre de multiplications et de divisions, les additionset les soustraction n'étant pas prises en compte.

Exercice Calculez la complexité algorithmique liée à la résolution d'un système d'équationsAx = b lorsque A est une matrice triangulaire.

3.6.2 Conditionnement

Un autres aspect important lié à la résolution algorithmique réside dans la robustesse de lasolution du problème obtenue vis à vis d'erreurs sur la connaissance précise des valeurs desparamètres du problème et sur la précision des calculs en machine.

Un problème sera dit bien conditionné lorsque sa solution variera peu lors d'une faible perturba-tion de ses paramètres. Considérons plus particulièrement le cas simple et qui nous intéresse icides systèmes d'équations linéaires et prenons l'exemple des deux systèmes déquations suivants

2x1 + 6x2 = 82x1 + (6 + 10−5)x2 = 8 + 10−5

et

2x1 + 6x2 = 82x1 + (6− 10−5)x2 = 8 + 2.10−5.

(3.35)

On voit bien que la variation relative des paramètres entre ces deux systèmes est très faible(inférieure à 10−5) et que malgrè cela les solutions obtenues sont très éloignées.

Exercice Expliquez géométriquement pourquoi les solutions des deux systèmes sont très dif-férentes.

Pour quantier la notion de robustesse d'un système linéaire d'équations Ax = b, on va chercherà exprimer la variation relative de la norme de la solution lorsqu'on introduit une perturbationdes paramètres qui conduit à un nouveau système noté

(A + εF)x(ε) = b + εf . (3.36)

En notant x(ε) la solution de ce système, un développement limité de x autour de ε = 0 conduità

x(ε) = x + εx′(0) +O(ε2) = x + εA−1(f − Fx) +O(ε2) (3.37)

d'où il vient que‖ x(ε)− x ‖‖ x ‖

≤ εK(A)

(‖ f ‖‖ b ‖

+‖ F ‖‖ A ‖

)+O(ε2). (3.38)


On voit donc que la solution sera d'autant plus insensible aux erreurs relatives sur les paramètresA et b que le paramètre K(A) =‖ A ‖‖ A−1 ‖ appelé paramètre de conditionnement, ousimplement conditionnement du système sera faible. Notons que la valeur de K(A) dépendde la norme choisie. Cependant, si on note K2(A) la valeur du conditionnement obtenue pour lanorme ‖ . ‖2, on peut vérier que l'on a toujours K(A) ≥ K2(A) ≥ 1.

Lorsque K(A) est grand, on dit que le système est mal conditionné.

Exercice Vériez l'équation (3.38) et montrez que pour une matrice A hermitienne, K2(A) =λmax(A)/λmin(A).

Chapitre 4

Systèmes d'équations sur-déterminés et

sous-déterminés

Dans ce chapitre, on reviend rapidement sur les notions de systèmes d'équations sur-déterminéset sous-déterminés, déjà envisagées au chapitre 2.

Par opposition à un système dit régulier d'équations linéaires Ax = b pour lequel la matriceA est carrée et inversible, auquel cas on a clairement x = A−1b, les systèmes sur-déterminés etles systèmes sous-déterminés qui comportent plus de lignes que de colonnes ou au contraire plusd'inconnues que d'équations ne permettent pas de trouver une solution exacte, ou au contrairefournissent tout un sous espace vectoriel de solutions. On rappelle ici brièvement les approchesclassiques retenues dans ce genre de stuation. On se limite ici au cas réel. Le cas complexe setraite de façon analogue et pourra être envisagé à titre d'exercice.

Notons que la recherche des solutions envisagée ici met en oeuvre quelques notions d'optimisation.Ces notions seront détaillées dans la seconde partie du cours. Pour l'instant, il sut de savoirqu'une condition d'optimalité nécessaire pour une fonction dérivable d'une variable vectoriellef(x) est fournie par l'annulation de son gradient ∇f(x) aux points ou elle prend sa valeuroptimale. On pourra ici justier du caractère susant du critère d'optimalité ∇f(x) = 0 eninvoquant le théorème de projection qui assure qu'à tout vecteur v (resp. à tout point M) deRn correspond un vecteur (resp. un point) unique de tout sous-espace vectoriel (resp. de toutsous-espace ane) dont la distance à v (resp. à M) est minimale parmi l'ensemble des points dusous-espace.

4.1 Systèmes sur-déterminés

Lorsque A est inversible, on a clairement x = A−1b, mais dans de nombreuses situations on estconduit à une suite d'observation (bi)i=1,m issues des combinaisons linéaires

∑i=1,nAijxj des

quantitées inconnues (xj)j=1,n et des coecients supposés connus de la matrice A. Dans ce typede situation, pour un nombre important d'observations, c'est à dire pour m > n la matrice A

32

CHAPITRE 4. SYSTÈMES D'ÉQUATIONS SUR-DÉTERMINÉS ET SOUS-DÉTERMINÉS33

est généralement de rang plein, c'est à dire ici de rang n. Compte tenu notament des erreurs demesures ou des imperfections du modèle linéaire utilisé il est rare que les équations du systèmesoient compatibles. En d'autres termes le système d'équations Ax = b n'admet pas de solution.

An d'accéder à une valeur approchée de x un critère naturel consiste à rechercher le vecteur xtel que la norme de l'erreur de reconstruction de b sous la forme Ax soit la plus faible possible.En général, on considère la norme l2 qui a l'avantage de pouvoir être interprétée physiquementcomme une énergie, mais surtout qui conduit à une solution qui se formule très simplement. Eneet la solution de

minx‖ Ax− b ‖22 (4.1)

doit vérier le système d'équationsATAx = ATb. (4.2)

Exercice Montrez ce résultat de deux manières diérentes : en annulant le gradient du critèreet en utilisant le théorème de projection. Montrez de plus que comme m > n et que la matriceest de rang plein la matrice ATA est inversible.

Finalement la solution fournie par la méthode des moindres carrés est donnée par

x = (ATA)−1ATb. (4.3)

Notons que même lorsque les équations du système ne sont pas incompatibles, la recherche de lasolution des moindres carrés reste utile pour caractériser la solution du système lorsque m > n etque A est de rang plein, car il n'est pas nécessaire ici de rechercher quelles équations redondantespeuvent être éliminées du système pour se ramener à un système carré inversible.

Exercice Montrez que la solution des moindres carrés fournit l'estimateur du maximum de

vraisemblance de x pour un modèle d'observation de la forme b = Ax+w, où w est un vecteuraléatoire gaussien dont les composantes sont décoréllées et de même variance.

4.2 Systèmes sous-déterminés

lorsque le système Ax = b comporte plus de colonnes que de de lignes (m < n) et est de rangplein, l'ensemble des solutions du système constitue un espace ane de dimension n−m. En eet,si on décompose (au besoin en permutant des colonnes) la matrice A sous la forme A = [A1|A2],où A1 est une matrice carrée inversible, et de façon correspondante le vecteur x sous la formex = [xT1 |xT2 ]T , l'équation Ax = b, se reformule comme

A1x1 + A2x2 = b, (4.4)

soit x1 = A−11 b − A−11 A2x2. on voit donc que l'ensemble des solutions est l'espace ane dedimension n−m déni par

E =

u ∈ Rn|u =

(A−11 b0

)+

(−A−11 A2

I

)y, y ∈ Rn−m

. (4.5)


Parmi toutes ces solutions, on est souvent amené à choisir une solution particulière. On choisitalors souvent de considérer la solution de norme minimale. On peut montrer que la solution dusystème Ax = b dont la norme quadratique est minimale est donnée par

x = AT (AAT )−1b, (4.6)

Notons que la solution (4.6) est celle du problème d'optimisation sous contraintesminx x

TxAx = b.

(4.7)

On verra en cours d'optimisation comment résoudre de façon systématique ce genre de problèmeen utilisant les multiplicateurs de Lagrange. La caractérisation (4.5) de l'ensemble des so-lutions de Ax = b peut cependant être utilisée pour obtenir de façon directe, bien qu'un peulaborieuse, la solution de norme minimale.

Exercice En utilisant la carcatérisation (4.5) de l'ensemble des solutions du système Ax = b,démontrez que la solution de norme minimale vaut x = AT (AAT )−1b. (Indication : utiliser lelemme d'inversion matricielle pour simplier la formule obtenue).

4.3 Cas général

Dans le cas général la matrice A du système Ax = b n'est pas forcément de rang plein. On peutse ramener à un système de rang plein de diverses façons. Ainsi, par exemple, la décompositionen valeurs singulières de A s'écrit A = UDVH, où les matrices unitaires U et V sont de taillesrespectives m et n. Si A n'est pas de rang plein, certains des termes diagonaux de la matrice Dsont nuls. Considérons le système équivalent DVHx = UHb. La matrice D de taille m × n seréécrit sous la forme

D = D1, D =

[D1

0

], D =

[D1 0

], ouD =

[D1 00 0

], (4.8)

où D1 est une matrice diagonale inversible de taille p. La matrice A est de rang plein si p =minm,n ce qui correspond aux trois premièrs cs de gure décrits par les relations (4.8). Ennotant U1 et V1 les matrices constituées des p premières colonnes de U et de V respectivement,on voit clairement que les solutions des moindres carrés vérient

D1VH1 x = UH

1 b. (4.9)

Si n = p, x est déni de façon unique. Sinon, parmi les valeurs de x solutions de (4.9), on peutmontrer que l'approximation de norme minimale est donnée par

x = V1D−11 UH

1 b. (4.10)

Exercice Vériez que la solution des moindres carrés de norme minimale est bien donnée par(4.10).


4.4 Matrices blocs et résolution partielle des systèmes linéaires

On considère la matrice

A =

(A11 A12

A21 A22

). (4.11)

avec A11 inversible. On vérie facilement que

A =

(I 0

A21A−111 I

)(A11 0

0 A22 −A21A−111 A12

)(I A−111 A12

0 In

). (4.12)

Le coecient A22−A21A−111 A12 est appeleé complément de Schur du bloc A11 de la matrice

A. Il est clair que A est une matrice symétrique positive si et seulement si le complément deSchur est une matrice symétrique positive.

On suppose maintenant de plus que A22 est inversible. Le lemme d'inversion matricielle appliquéau complément de Schur conduit à

(A22 −A21A11A12)−1 = A−122 + A−122 A21(A11 −A12A

−122 A21)

−1A12A−122 (4.13)

D'après la relation (4.12), on peut alors vérier que

A−1 =

(I −A−111 A12

0 I

)

×(

A−111 0

0 A−122 + A−122 A21(A11 −A12A−122 A21)

−1A12A−122

)(I 0

−A21A−111 I

).

(4.14)On peut également vérier que Ces formules sont connues sous le nom de lemme d'inversionmatriciel.

Il peut arriver que dans un problème on cherche à résoudre partiellement un système d'équationslinéaires. Ainsi, si on considère le système d'équations(

A11 A12

A21 A22

)(x1

x2

)=

(b1

b2

), (4.15)

et que l'on cherche simplement la solution pour x1. On vériera à titre d'exercice que

x1 = (A11 −A12A−122 A21)

−1(b1 −A12A−122 b2). (4.16)

Chapitre 5

Résolution directe des systèmes

linéaires

Considérons un système linéaire régulier d'équations Ax = b. Par opposition aux méthodesitératives, les méthodes de résolution directe permettent d'obtenir la solution exacte d'un telsystème (aux erreurs numériques près) après un nombre d'opérations xé, fonction de la tailledu système. Les méthodes directes assurent la résolution des systèmes d'équations linéaires detaille n pour un coût de calcul de l'ordre de n3 opérations.

Les méthodes de résolution directe visent à ramener la résolution du système Ax = b à la réso-lution d'un système d'équations triangulaire Tx = b′, pour lequel la matrice T est triangulaireet la complexité de n2 opérations. Il apparaït en fait que c'est la transformation du systèmeAx = b en le système Tx = b′ qui sera la plus couteuse en termes de coût de calcul. Pour lesystème triangulaire Tx = b′, si on suppose par exemple que T est triangulaire supérieure, c'està dire que Tij = 0 pour i > j, on vérie facilement que x est fourni par l'algorithme itératifsuivant, présenté en utilisant la syntaxe de Scilab [10] :

for k=n:-1:1,

x(k) = (b(k)-T(k,k+1:n)*x(k+1:n))/T(k,k);

end;

Dont la complexité est Φ(n) = n2/2.

On distingue deux types de méthodes directes : celles qui conduisent à une factorisation deA sousla forme A = LU, où les matrices L et U sont respectivement triangulaire inférieure et triangu-laire supérieure (de l'anglais L comme 'lower' et U comme 'upper'), et celles de type A = QRpour lesquelles la matrice Q est orthogonale (unitaire dans le cas complexe) et R est triangu-laire supérieure. On vérie aisément qu'une telle écriture constitue une orthogonalisation de

Gram-Schmidt des colonnes de A. En eet,

Dans la suite, on va détailler les algorithmes qui permettent d'obtenir les décompositions LU et

36

CHAPITRE 5. RÉSOLUTION DIRECTE DES SYSTÈMES LINÉAIRES 37

QR

5.1 Méthodes de Gauss

5.1.1 Principe général

La méthode de Gauss consiste à éliminer successivement pour k = 1, . . . , n− 1 les contributionsde la variable xk dans les équations k + 1, . . . , n du système, en les combinant avec la kème

équation. Sous réserve que les divisions mises en jeux soient possibles (pas de division par 0), onobtient nalement le schéma algorithmique suivant

for k=1:n-1,

for l=k+1:n,

A(l,k:n) = A(l,k:n) - (A(l,k)/A(k,k))*A(k,k:n);

b(l) = b(l) - (A(l,k)/A(k,k))*b(k);

end

end

A la n de cet algorithme, la matrice A est devenue triangulaire grâce à la succession descombinaisons de ses lignes.

Notons que la kème boucle de l'algorithme revient à multiplier à gauche les deux membres dusystème courant par la matrice Mk qui possède des 1 sur sa diagonale et des zéros partoutailleurs, sauf pour ses termes d'indice (k, l), lorsque l > k, pour lesquels [Mk]kl = −A(k)

lk /A(k)kk .

On construit ainsi la suite de matrices

A(1) = A,A(2) = M1(1)A(1), . . . ,A(k+1) = MkA

(k), . . . , (5.1)

et on obtient nalement le système

M1..Mn−1Ax = Ux = M1..Mn−1b = b′. (5.2)

La résolution du systèmeUx = b′ est immédiate puisqueU est triangulaire supérieure. Penchonsnous un instant sur l'égalité M1 . . .Mn−1A = U. Notons que A = [M−1n−1 . . .M

−12 ]U. Une

propriété remarquable de la matrice M−1k est quel s'obtient simplement à partir de Mk parun changement de signe des coecients placés sous la diagonale, ce que l'on pourra vérierà titre d'exercice. De plus, on vérie facilement en procédant par récurrence que le produitL = [M−1n−1 . . .M

−12 ] est tel que la kème colonne de L coïncide avec la kème colonne de Mk au

signe près des termes sous-diagonaux. Finalement L est triangulaire inférieure, avec

Lkl =

= 0 si k < l= 1 si k = l

= A(k)lk /A

(k)kk si k > l,

(5.3)


soit,

L =

1 0 0 · · · 0

A(1)21 /A

(1)11 1

. . ....

......

. . . 0

A(1)n1 /A

(1)11 A

(2)n2 /A

(2)22 · · · 1

(5.4)

On a donc bien réalisé la décomposition LU de la matrice A, avec L triangulaire inférieure etU triangulaire supérieure.

5.1.2 Stabilité et pivot

Comme on l'a vu précédemment, la méthode de Gauss ne vaut que s'il n'y a pas de division par0, c'est à dire si la séquence des coecients (A

(k)kk )k=1,n−1 n'a pas de terme nul. En pratique,

si A(k)kk a une valeur non nulle mais proche de 0, cela peut entraîner des erreurs numériques qui

aectent de façon importante la solution obtenue.

La méthode du pivot de Gauss permet de remédier à ce problème de la façon suivante : à la kème

itération de l'algorithme, on vient prélever le terme du bloc d'indices A(k)(k : n, k : n) de plusgrand module et on vient le placer en position (k, k) au moyen d'une permutation Pck sur lescolonnes k à n de A(k) et d'une permutation Plk sur les lignes k à n. Finalement, la suite destransformations de la matrice A peut se résumer comme suit :

(Mn−1Pln−1 . . .M1Pl1)A(Pc1 . . .Pcn−1) = U, (5.5)

où U est triangulaire supérieure. En fait, cette stratégie est appelée pivot total, par oppositionà une méthode plus simple, dite de pivot partiel, qui consiste simplement à permuter leslignes k à n de la matrice pour venir remplacer la ligne k par la ligne j, avec j ≥ k, pourlaquelle le coecient |A(k)

lk | est maximum. Cette stratégie moins performante vis à vis des erreursnumériques est également moins coûteuse puisque le nombre de comparaisons entre coecientsà eectuer est nettement plus faible.

5.1.3 Coût de calcul, déterminant et inverse

L'obtention de la suite des systèmes d'équationsA(k)x = b(k) nécessite de l'ordre de∑

k=1,n−1(n−k)2 multiplications, soit Φ(n) = n3/3 pour la résolution du système, puisque l'inversion du sys-tème triangulaire obtenu ne réclame qu'environ n2/2 multiplications.

Notons maintenant que la connaissance de la décomposition LU de A fournit directement ledéterminant de A :

|A| = Πk=1,nA(k)kk (5.6)

On peut également ainsi obtenir l'inverse de la matriceA puisque si on noteA−1 = [A1, . . . , An],les colonnes de A−1 sont fournies par la résolution des n systèmes d'équations LUAk = ek, quipeuvent chacun se ramener à la résolution successive de deux systèmes triangulaires :


Lyk = ek → Φ(n) = n3/6,

UAk = yk → Φ(n) = n3/2,(5.7)

où les vecteurs ek sont les vecteurs de la base canonique ([ek]i = δk,i). Le premier système réclamemoins de calcul que le second du fait de la présence de 0 sur les k − 1 premières composantesdu vecteur ek. La résolution des équations matricielles (5.7) réclame donc un total de 2n3/3opérations. Mais comme la factorisation LU elle même requiert n3/3 opérations, on obtientΦ(n) = n3 multiplications pour le calcul de l'inverse de A.

5.1.4 Méthode de Cholesky

Dans le cas particulier où la matrice A est symétrique réelle (AT = A) positive , on peutvérier que A = LLT avec L triangulaire inférieure. L'adaptation de la méthode de Gauss àcette situation conduit à l'algorithme suivant, connu sous le nom de factorisation de Cholesky.On note que

A =

(L211 L11a

T1

L11a1 An−1

)=

(L11 0a1 I

)(1 00 An−1 − a1a

T1

)(L11 aT10 I

). (5.8)

On procéde de même sur la matrice positive An−1 − a1aT1 et on itére la procédure.

Exercice Justiez la formule (5.8) et la positivité de la matrice An−1 − a1aT1 .

La construction de la matrice L de la factorisation de Cholesky peut nalement être résumée parles relations ci dessous :

L =

Ljj =

√Ajj −

∑i=1,j−1 L

2ji

Lij = L−1jj (Aij −∑

k=1,j−1 LikLjk) (i = j + 1, . . . , n),(5.9)

procédure dont le coût de calcul est Φ(n) = n3/6. Notons de plus que la positivité de la matriceA assure la stabilité de la méthode.

En pratique, le code informatique correspondant pourra prendre la forme suivante :

L = zeros(n,n);

L(1,1) = sqrt(A(1,1));

for k=1:n-1,

L(k+1:n,k) = (A(k+1:n,k) - L(k+1:n,1:k-1)*(L(k,1:k-1))')/L(k,k);

L(k+1,k+1) = sqrt(A(k+1,k+1)-L(k+1,1:k)*L(k+1,1:k)');

end;

La factorisation LDLT relativement proche permet d'éviter la division par L2jj et les éventuels

problèmes de stabibilité associés à cette division. Elle s'écrit

A =

(d1 L1a

T1

L1a1 An−1

)=

(1 0a1 I

)(d1 00 An−1 − d1a1aT1

)(d1 aT10 I

)(5.10)


Notons que pour une matrice A hermitienne complexe (AH = A), on a un résultat analogue.Il sut alors de remplacer les transpositions par des transpositions-conjugaisons dans ce quiprécède, et A = LLH

5.2 Triangularisation par orthonormalisation

Rappelons que pour une matrice Q orthogonale (QQT = I) on a pour toute matrice A

K2(QA) = K2(A). (5.11)

Le conditionnement du système Ax = b n'est donc pas aecté par une transformation orthogo-nale et il ne sera pas nécessaire de prendre de précautions telles que la méthode du pivot vue dansle cadre de la factorisation LU lorsqu'on triangularise le système. On va maintenant indiquerdeux techniques importantes de triangularisation par orthonormalisation.

5.2.1 Méthode de Householder

Pour un vecteur normé u (‖ u ‖= 1), on dénit la matrice de réexion de Householder

associée parHu = I− 2uuT . (5.12)

Notons que HuHTu = I et Hux = x− 2u(xTu). Ainsi, pour u = λ(x± ‖ x ‖ e1),

Hux = ∓ ‖ x ‖ e1, (5.13)

où [ek]i = δi,k et λ =‖ x± ‖ x ‖ e1 ‖−1

On peut appliquer cette méthode à la triangularisation de la matrice A de taille n en considérantune séquence de n − 1 transformations de Householder. On pose A(1) = A et on construitsuccessivement des transformations Hk (k = 1, . . . , n−1) qui annulent les termes sous diagonauxde la colonne k de A(k) = Hk−1A

(k−1) :

Hk =

(Ik−1 0

0 Hk

), (5.14)

où Ik−1 est la matrice identité de taille k−1, et Hk une matrice de Householder de taille n−k+1qui annule les n− k derniers termes de la colonne k de la matrice A(k). Ainsi,

(Hn−1 × . . .×H1)A = QTA = R, (5.15)

avec QQT = In et R triangulaire supérieure. Ainsi, A = QR.

Pour ce qui est du coût de calcul, pour la construction de la kème matrice et sa multiplicationpar Ak, il faut compter de l'ordre de 2(n − k)2 + O(n − k) opérations, soit au total, pour lesn− 1 itérations de la procédure, Φ(n) = 2n3/3 opérations (

∑k 2(n− k)2).


5.2.2 Méthode des rotations de Givens

Au lieu d'essayer de construire des matrices qui éliminent une sous colonne d'une matrice commes'était le cas avec la méthode de Householder, on se limite ici à l'élimination d'un unique coef-cient de la matrice à chaque opération grâce à une rotation dans un sous espace de dimensiondeux, appelée rotation de Givens. L'avantage de cette approche réside dans le fait que pourdes matrices A creuses, c'est à dire des matrices présentant un grand nombre de coecientsnuls, le coût de calcul de la triangularisation de A peut devenir nettement plus faible que pour laméthode de Householder. Pour un vecteur u de composantes (ui,uj) dans le sous espace dénipar les indices i et j, on considère la rotation Gij(θ) qui agit dans ce sous espace et dont l'angleθ est choisi de sorte à annuler la composante de u selon la direction j. Le vecteur transformév = Gij(θ)u est tel que

vj = Gij(θ)ui :

vi = cui − sujvj = sui + cujvk = xk k 6= i, j.

(5.16)

avec c = cos θ et s = sin θ. Pour tan θ = −uj/ui, on aura vi =√u2i + u2

j et vj = 0.

On peut appliquer cette méthode à la triangularisation de la matrice A de taille n en considérantune séquence de (n−1)+(n−2)+. . .+1 = n(n−1)/2 rotations de Givens ; Ces rotations agissentsur des sous espaces d'indices (i, i+ 1) et vise à éliminer successivement les coecients d'indices(n, 1), (n − 1, 1), . . . (2, 1), puis (n, 2), (n − 1, 2), . . . (3, 2), . . ., (n, k), (n − 1, k), . . . (k + 1, k), . . .,et enn (n, n− 1) de la matrice A. On construit ainsi la matrice QTA = R, avec

QT = Gn−1,n(θn−1,n)×Gn−2,n−1(θn−2,n−1)Gn−1,n(θn−1,n)× . . .. . .×G1,2(θ1,2) . . .Gn−1,n(θn−1,n).

(5.17)

Finalement, A = QR, avec QQT = In et R est triangulaire supérieure.

On peut vérier facilement que la complexité de la méthode est de Φ(n) = 4n3/3 (∑

k(n− k)2).

Voici une implémentation informatique de la factorisation QR d'une matrice carrée A au moyende rotations de Givens :

Q = eye(n,n);

R = A;

for k1=1:n-1,

for k2=n-1:-1:k1,

x = R(k2,k1);

y = R(k2+1,k1);

if y~=0 then

rho = sqrt(x^2+y^2);

Cos = x/rho;

Sin = y/rho;

R(k2,k1) = rho;


R(k2+1,k1) = 0.0;

for u=k1+1:n,

R_aux = Cos*R(k2,u) + Sin*R(k2+1,u);

R(k2+1,u) = -Sin*R(k2,u) + Cos*R(k2+1,u);

R(k2,u) = R_aux;

end;

for v=1:n,

Q_aux = Cos*Q(v,k2) + Sin*Q(v,k2+1);

Q(v,k2+1) = -Sin*Q(v,k2) + Cos*Q(v,k2+1);

Q(v,k2) = Q_aux;

end;

end;

end;

end;

Dans cette procédure, à chaque itération, on a A = QR avec la matrice R qui devient pro-gressivement triangulaire, les rotations à gauche appliquées à chaque étape à la matrice R étantcmpensées par des rotations à droite en sens inverse appliquées à Q.

5.2.3 Méthode de Gram-Schmidt

On peut chercher à appliquer directement la procédure d'orthogonalisation de Gram-Schmidtsur les colonnes de la matrice A pour obtenir la décomposition QR. On obtient alors une procé-dure qui peut être résumée comme suit : Pour k = 1, . . . , n,

Rik = QTi Ak, i = 1, . . . , k − 1

Zk = Ak −∑

i=1,k−1RikQi

Rkk =‖ Zk ‖Qk = Zk/Rkk.

(5.18)

avec la notation M = [M1, . . . ,Mn].

Pour comprendre cette procédure, notons que Zk = (I−∑

i=1,k−1QiQHi )Ak. On pourra aisément

vérier que I−∑

i=1,k−1QiQHi est la matrice de projection sur l'orthogonal de l'espace engen-

dré par Q1, . . . ,Qk−1. Donc, comme vectQ1, . . . ,Qk−1 = vectA1, . . . ,Ak−1, Zk apparaîtcomme la projection de Ak sur l'othogonal de vectA1, . . . ,Ak−1. De plus, Qk est simplementune version normalisée du vecteur Zk.

Notons pour nir que cette approche n'est pas très stable numériquement et on lui préfèregénéralement une méthode de Gram-Schmidt modiée [3].

Chapitre 6

Résolution itérative des systèmes

linéaires

Les méthodes de résolution itérative des systèmes d'équations linéaires consistent à représenterle système d'équations sous la forme d'une équation matricielle récurrente qui permet, à partird'un vecteur initial xé de construire une suite de vecteurs dont on espère qu'elle converge versla solution du système. Plus précisemment, pour le système linéaire d'équations Ax = b, si ondécompose A sous la forme A = M−N, il apparaît que la solution x de Ax = b est égalementsolution de Mx = Nx + b. En d'autres termes, x est un point xe de l'équation de récurrence

Mx(t) = Nx(t−1) + b, t = 1, 2, . . . , (6.1)

pour laquelle x(0) est une valeur initiale xée quelconque. Bien sûr, pour trouver x(t) connaissantx(t−1), il serait souhaitable que l'inversion de M soit simple, ce qui conduit souvent à choisir Mégale à la partie diagonale ou à la partie triangulaire, par exemple inférieure, de A. Ces choixconduisent respectivement aux méthodes de Jacobi et de Gauss-Siedel.

Notons que si l'algorithme converge, à la convergence on doit avoir Mx = Nx + b, et donc, pardiérence avec l'équation (6.1)

(x(t) − x) = (M−1N)t(x(0) − x). (6.2)

On voit donc que la convergence se traduit par le fait que les valeurs propres de la matriceM−1N sont de modules inférieurs à un. Cela permet d'obtenir les conditions de convergencesuivantes pour les algorithmes itératifs en général et les algorithmes de Jacobi et de Gauss Siedelen particulier [2] : l'algorithme (6.1) converge vers la solution de Ax = b si et seulement si les valeurs propresde M−1N sont de modules inférieurs à un.

Si ‖M−1N ‖< 1, alors l'algorithme (6.1) converge vers la solution de Ax = b. Si |Aii| > |

∑j 6=i |Aij |, ∀i, la méthode de Jacobi converge.

Si A est symétrique dénie positive (A = AT et A > 0), la méthode de Gauss-Siedel converge.En pratique, la méthode de Jacobi peut prendre la forme du code suivant :

x = zeros(n,1);

43

CHAPITRE 6. RÉSOLUTION ITÉRATIVE DES SYSTÈMES LINÉAIRES 44

dA = diag(A);

A_ = -A+diag(dA);

for nb=1:nb_iter,

x = (A_*x +b)./dA;

end;

La méthode de Gauss-Siedel, quant à elle, peut être programmée sous la forme suivante :

x = zeros(n,1);

for nb=1:nb_iter,

for k=1:nb_symb,

x(k) = x(k) + (-A(k,:)*x+b(k))/A(k,k);

end;

end;

Il est possible d'accélerer l'algorithme de Gauss-Siedel au moyen d'une technique dite de sur-relaxation dont le fonctionnement général est décrit ci dessous :

x(t+1)i = −

∑j<iAijx

(t+1)j −

∑j>iAijx

(t)j + bi

x(t+1)i = ωx

(t+1)i + (1− ω)x

(t)i

(6.3)

On peut montrer que si A est symétrique dénie positive la convergence est assurée pour 0 <ω < 2 et que la vitesse de convergence est optimale pour une valeur de ω comprise en un et deux.

Chapitre 7

Décompositions en valeurs propres et

en valeurs singulières

On s'intéresse ici au problème du calcul pratique des valeurs propres d'une matrice. On verraque le problème de la décomposition en valeurs singulières est étroitement lié au précédent. Iln'existe pas en général de formule qui permette de calculer de façon exacte les valeurs pro-pres d'une matrice puisque ce sont les racines de son polynôme caractéristique et que pour desdegrés supérieur à 4 les racines équations polynômiales n'admettent pas en général de formeexplicite. Il faut donc mettre en oeuvre des techniques itératives pour obtenir la décomposi-tion en valeurs propre des matrices. Notons ici qu'en général on ne cherche pas les racines dupolynôme caractéristique pour trouver les valeurs propres d'une matrice mais qu'on travailleraplutôt sur la recherche d'un changement de base permettant d'obtenir une forme diagonale dela matrice, ou du moins triangulaire (décomposition de Schur). Pour justier de l'équivalenceentre les racines d'un polynôme et les valeurs propres d'une matrice, notons que les racines dupolynôme P (x) = a0 + a1x+ a2x

2 + . . .+ an−1xn−1 + xn coïncident avec les valeurs propres de

sa matrice companion, dénie par :−an−1 −an−2 . . . a0

1 0 . . . 00 1 0 . . . 0

. . .0 . . . 0 1 0

. (7.1)

Exercice Vérier que les valeurs propres de la matrice (7.1) coïncident bien avec les racines deP (x) = a0 + a1x+ a2x

2 + . . .+ an−1xn−1 + xn .

45

CHAPITRE 7. DÉCOMPOSITIONS EN VALEURS PROPRES ET EN VALEURS SINGULIÈRES46

7.1 Diagonalisation des matrices symétriques : la méthode de Ja-

cobi

On se limitera ci dessous au cas de matrices symétriques à valeurs rélles. L'extension au cas desmatrices hermitiennes suppose la prise en compte d'un terme exponentiel complexe supplémen-taire dans les matrices de rotation de Givens qui ne modie pas le principe de la démarche.

La méthode repose sur l'emploi des rotations de Givens, déjà rencontrées dans le paragraphe surla décomposition QR des matrices. Commençons par considérer une matrice symétrique 2× 2

A =

[A11 A12

A21 A22

]. (7.2)

et, en appliquant les notations du paragraphe 5.2.2, appliquons la rotation G12(θ) á gauche deA et G12(θ)

T = G12(−θ) à droite de A, on obtient, en prenant en compte la relation A12 = A21,

G12(θ)AG12(θ)T =A11 cos2(θ) +A22 sin2(θ)−A12 sin(2θ) A12 cos(2θ) +

A11 −A22

2sin(2θ)

A12 cos(2θ) +A11 −A22

2sin(2θ) A11 sin2(θ) +A22 cos2(θ) +A12 sin(2θ)

. (7.3)

On voit donc que la matrice obtenue est diagonale dès lors que

cot(2θ) =A22 −A11

2A12. (7.4)

Exercice An de construire la matrice de rotation précédente, montrer que cos(θ) = (1+t2)−1/2

et sin(θ) = t(1+t2)−1/2, où t est la racine de module inférieur ou égal à 1 de t2+(A22−A11A12

)t−1 = 0.

Plus généralement, pour une matrice A de taille n on pourra appliquer successivement desrotations à droite et à gauche dans les sous-espaces d'indice (i, j) an d'annuler les termes d'indice(i, j) de la matrice. On vérie facilement que dans cette opération, la somme des carrés des termesdiagonaux est augmentée de deux fois le carré du terme précédemment situé en position (i, j).Comme la norme de Frobenius de la matrice reste invariante par les transformations orthogonalesque sont les rotations de Givens, il apparaît qu'á chaque itération l'énergie hors diagonale dansla matrice décroit et que l'énergie de la diagonale croît d'autant.

On peut soit à chaque itération chercher à annuler le terme hors diagonal le plus grand (méthodede Jacobi classique), soit balayer successivement chaque composante hors diagonale (méthode dejacobi cyclique), par exemple colonne par colonne. En pratique, on n'exécute la rotation que sil'amplitude du terme diagonal considéré reste supérieure à un certain seuil. On peut établir laconvergence de la méthode de Jacobi [2].

Voici un exemple d'implémentation de la procédure de Jacobi sur une matrice A symétrique detaille n qui annule à chaque itération le terme hors diagonale de plus grande amplitude.

V = eye(n,n); //initialisation de la matrice des vecteurs propres


D = A; //initialisation de la matrice des valeurs propres

test = 2*seuil;

while test>seuil,

[test,ind] = max(abs(D-diag(diag(D))));

p = ind(1); // (p,q): indices du terme hors diagonal \`a \'eliminer

q = ind(2);

coef = (D(q,q)-D(p,p))/(2*D(p,q));

t = - coef + sqrt(coef^2+1);

Cos = 1/sqrt(1+t^2);

Sin = t*Cos;

// rotation a gauche sur D

Daux = D(p,:);

D(p,:) = Cos*D(p,:) - Sin*D(q,:);

D(q,:) = Sin*Daux + Cos*D(q,:);

// rotation a droite sur D

Daux = D(:,p);

D(:,p) = Cos*D(:,p) - Sin*D(:,q);

D(:,q) = Sin*Daux + Cos*D(:,q);

// rotation a droite sur V

Vaux = V(:,p);

V(:,p) = Cos*V(:,p) - Sin*V(:,q);

V(:,q) = Sin*Vaux + Cos*V(:,q);

end;

7.2 Forme Hessenberg des matrices carrées

On va voir qu'il est particulièrement intéressant, pour calculer les valeurs propres d'une matriceA de se ramener à la forme Hessenberg de la matrice qui consiste à appliquer un changement debase orthonormée de telle sorte que la nouvelle matrice, notée H soit tridiagonale, c'est à diretelle que [H]ij = 0 pour |i− j| > 1. La factorisation de Hessenberg est obtenue simplementen appliquant une suite de rotations de Givens à droite et à gauche de la matrice A.

Cette décomposition s'applique aussi bien aux matrices symétriques qu'aux matrices carréesquelconques. On obtient nalement une représentation de A sous la forme A = UTriVT , oùTri est une matrice tridiagonale. Dans le cas où A est symétrique, cette représentation devientsimplement A = UTriUT .

Il est remarquable que la forme Hessenberg, à la diérence de la forme diagonalisée de la matrice,puisse être obtenue avec un nombre ni d'opérations. On peut y parvenir soit au moyen d'unesuite de n − 2 transformations de Householder, soit au moyen d'une suite de (n − 1)(n − 2)/2rotations de Givens..

Voici un exemple de programme permettant d'obtenir la forme Hessenberg dans le cas d'unematrice carrée quelconque par la méthode des rotations de Givens. Dans le cas symétrique, la


procédure se simplie du fait que U = V et la matrice Tri est également symétrique.

U = eye(n,n);

V = eye(n,n);

Tri = A;

for p=1:n-2

for q=n:-1:p+2

// traitement de la partie sous-diagonale

if abs(Tri(q,p))>0,

rho = sqrt(Tri(q-1,p)^2+Tri(q,p)^2);

Cos = Tri(q-1,p)/rho;

Sin = -Tri(q,p)/rho;

// rotation a gauche sur Tri

Taux = Tri(q-1,:);

Tri(q-1,:) = Cos*Tri(q-1,:) - Sin*Tri(q,:);

Tri(q,:) = Sin*Taux + Cos*Tri(q,:);

// rotation a droite sur U

Uaux = U(:,q-1);

U(:,q-1) = Cos*U(:,q-1) - Sin*U(:,q);

U(:,q) = Sin*Uaux + Cos*U(:,q);

end;

// traitement de la partie sur-diagonale

if abs(Tri(p,q))>0,

rho = sqrt(Tri(p,q-1)^2+Tri(p,q)^2);

Cos = Tri(p,q-1)/rho;

Sin = -Tri(p,q)/rho;

// rotation a droite sur Tri

Taux = Tri(:,q-1);

Tri(:,q-1) = Cos*Tri(:,q-1) - Sin*Tri(:,q);

Tri(:,q) = Sin*Taux + Cos*Tri(:,q);

// rotation a droite sur V (a gauche sur V')

Vaux = V(:,q-1);

V(:,q-1) = Cos*V(:,q-1) - Sin*V(:,q);

V(:,q) = Sin*Vaux + Cos*V(:,q);

end;

end;

end;

Tri = Tri.*(abs(Tri)>1.0e-10);

Exercice Dans le cas où la matrice A est symétrique, Simplier le programme scilab précédent.

Il existe plusieurs situations où il est utile d'exploiter la forme Hessenberg de la matrice A, enparticulier pour la réalisation des décompositionsen valeurs propres. Ainsi, pour une matricesymétrique, la forme Hessenberg peut être exploitée pour calculer plus rapidement les valeurspropres de la matrice A par la méthode de Jacobi. Dans le cas général, la forme Hessenbergpermet d'initialiser la méthode itérative basée sur la décomposition QR présentée ci dessouspour le calcul de la décomposition de Schur de la matrice.


7.3 Décomposition en valeurs propres : le cas général

7.3.1 Aspects algorithmiques

Soit A une matrice diagonalisable. La méthode des puissances permet de calculer un vecteurpropre associé à la valeur propre de module le plus élevé de façon itérative : à partir d'un vecteurinitial u0, on construit itérativement la suite de vecteurs

un+1 =Aun‖ Aun ‖

, (7.5)

qui converge vers un vecteur propre associé à la valeur propre de module le plus élevé. On peuts'en convaincre en exprimant Aun en fonction de la décomposition en valeurs propres de A.

En fait, cette méthode peut se généraliser pour construire une matrice de vecteurs propres commelimite asymptotique d'une suite de matrice. La procédure itérative est résumée ci dessous :

Zn+1 = AQn

Qn+1Rn+1 = Zn+1( décomposition QR).(7.6)

QHn AQn converge vers la décomposition de Schur de A. Cet algorithme nécessite de l'ordre de

n3 opérations par itération.

Cependant, ce coût de calcul peut être réduit en utilisant la forme Hessenberg H de la matrice Adécrite plus haut. Une fois la forme Hessenberg obtenue la complexité numérique des itérationsla décomposition de Schur se trouve réduite. La proccédure s'écrit ainsi

H0 = QH0 AQ0 (initialisation : forme Hessenberg )

Hk−1 − µI = QkRk (décomposition QR )Hk = RkQk + µI

, (7.7)

où µ est un coecient qui permet d'accélerer la vitesse de convergence. En eet, si on note λ(k)ila ième valeur propre obtenue à l'itération k, alors on peut montrer que

|(λi)(k) − λi| ∼∣∣∣∣λi+1(−µ)

λi(−µ)

∣∣∣∣k . (7.8)

La suite des formes Hessenberg calculées converge vers la matrice triangulaire T de la formeSchur. Le coût de calcul de chaque itération est maintenant de l'ordre de n2 opérations dans lecas général et de seulement n opérations si A est symétrique ou hermitienne car alors H0 estalors une matrice tridiagonale.

7.3.2 Lien avec la décomposition de Jordan

Pour une matrice carrée A, il existe une matrice orthogonale Q telle que QHAQ = T avec Ttriangulaire supérieure. La représentation de A sous la forme QTQH est appelée décomposition


de Schur de A. On peut montrer que la diagonale de T contient les valeurs propres de A. On avu précédemment qu'une telle représentation peut être obtenue comme lmimite d'une suite deformes Hessenberg. T est alors simplement bi-diagonale : elle ne possède de termes non nulsque sur la diagonale et la première parallèle à la diagonale, ici la parallèle supérieure, dénie parles termes d'indices (i, i+ 1).

Exercice Montrez que la diagonale de T contient les valeurs propres de A.

La décomposition en valeurs propres d'une matrice carrée A peut ne pas exister (considérerpar exemple la matrice triangulaire supérieure 2 × 2 dont tous les termes non nuls sont égauxà 1), mais que par contre il existe toujours une forme, dite de Jordan dénie comme suit :∀A ∈ Cn × Cn, ∃P, P−1AP = J = diag(J1, . . . ,Jp), avec

Ji =

λi 1 0 · · ·

0. . . . . .

λi 1λi

. (7.9)

Une même valeur propre peut dénir plusieurs matrices blocs Jk. Notons que le nombre d'oc-curences d'une valeur propres dans J correspond à son degré comme solution du polynômecaractéristique de A. Donc, si les valeurs propres sont distinctes A est diagonalisable puisque lesblocs dégénèrent alors en matrices de taille 1.

ExerciceMontrez que si A est normale, alors elle est diagonalisable dans une base orthonormée.

7.4 Décomposition en valeurs singulières

Rappelons que pour la matrice A, il existe toujeours deux matrices unitaires, U et V telles quela matrice UHAV soit diagonale et à valeurs positive. Les valeurs diagonales de A sont appeleéesvaleurs singulières de A.

Notons que si A = UDVH , alors

AAH = UD2UH et AHA = VD2VH . (7.10)

On voit donc que les valeurs singulières de A sont les racines carrées des valeurs propres deAAH (et de AHA). De plus, U et V sont les matrices de vecteurs propres de AAH et de AHArespectivement.

Clairement, à la diérence de la décomposition en valeurs propres, la décomposition en valeurssingulières est dénie même pour des matrices qui ne sont pas carrées. De plus, on voit facilementque les colonnes de U associées aux valeurs singulières non nulles dénissent une base orthonor-mée de l'espace image de A, tandis que les colonnes de V associées à la valeur singulière nulledénissent une base du noyau de A.

Ainsi, on peut par exemple décrire facilement le projecteur sur un espace vectoriel S = vectx1, .,xp


en considérant la matrice A = [x1, . . . ,xp] = UDVH . Le projecteur est donné simplement parPS =

∑i,Dii 6=0UiU

Hi .

Comme on l'a vu, on peut également formuler aisément la résolution des systèmes linéairesd'équations sur-déterminés et sous-déterminés à partir de la décomposition en valeurs singulièresde la matrice A.

Autre intérêt de la décomposition en valeurs singulières, elle peut être employée pour approximerune matrice par une matrice de rang plus faible. Ce type d'approximation peut être exploitée,par exemple, en traitement d'images. Etant donnée une matrice A on cherche la matrice B derang r′, inférieur au rang de A telle que ‖ A−B ‖2F= Tr[(A−B)(A−B)H ] soit minimale. Lasolution est fournie par le résultat suivant :

Proposition 1 Si la décomposition en valeurs singulières de A sécrit UDVH , avec rang(A) = r,pour r′ < r, minrang(B)=r′ ‖ A−B ‖2F est obtenu pour B = UD′VH , où D′ est obtenu en forçant

à 0 les r − r′ plus petites valeurs singulières non nulles de A dans D.

Exercice Démontrer la proposition précédente.

La décvomposition en valeurs singulières sert aussi à décrire la distance entre sous-espaces vecto-riels : pour deux sous espaces S1 et S2 dont des bases orthonormées sont dénies par les colonnes

des matrices U1 et U2 est dénie comme suit : d(S1, S2) =‖ PS1−PS2 ‖=√

1−mini Σii(UH1 U2)

7.4.1 Réalisation de la décomposition en valeurs singulières

Matrices symétriques

Pour une matrice symétrique positive, la décomposition en valeurs singulières est équivalenteet pour une matrice symétrique non positive, on passe très facilement d'une forme à l'autre (levérier à titre d'exercice). Dans le cas d'une matrice symétrique, on pourra chercher à accélererla vitesse de convergence de la méthode de Jacobi en commençant par se ramener à formeHessenberg et en exploitant les spécicités du cas symétrique dans la démarche présentée cidessous pour le cas de matrices carrées quelconques.

Matrices quelconques

Notons d'abord qu'on pourrait obtenir la décomposition en valeurs singulières d'une matrice Aquelconque en réalisant les décompositions en valeurs propres des matrices symétriques AAT etATA. On peut cependant procéder de façon plus directe, comme on va le voir.

En partant de la forme Hessenberg d'une matrice A = UTriVT quelconque, on peut faire laremarque suivante : l'élimination de la première sous diagonale de A par une séquence de n− 1


rotations de Givens transforme la matrice en une matrice triangulaire supérieure qui possède destermes non nuls sur les deux premières sur-diagonales. On reviend à une matrice tridiagonaleen éliminant la deuxième sur-diagonale (termes d'indices (i, i + 2)) par une séquence de n − 2rotations de Givens appliquées à droite. On applique alors de même une technique d'éliminationde la première sur-diagonale de A par une séquence de n − 1 rotations de Givens appliquéesà droite suivie de l'élimination des termes de la deuxième sous-diagonale au moyen de n − 2rotations de Givens.

En partant de la forme Hessenberg A = UTriVT , cela peut se traduire par un code de la formesuivante :

D = Tri;

while max(abs(D-diag(diag(D))))>1.0e-15,

// Reduction de la 1ere // sous-diagonale

for p=1:n-1,

if abs(D(p+1,p))>1.0e-15,

rho = sqrt(D(p,p)^2+D(p+1,p)^2);

Cos = D(p,p)/rho;

Sin = -D(p+1,p)/rho;


Daux = D(p,:);

D(p,:) = Cos*D(p,:) - Sin*D(p+1,:);

D(p+1,:) = Sin*Daux + Cos*D(p+1,:);


Uaux = U(:,p);

U(:,p) = Cos*U(:,p) - Sin*U(:,p+1);

U(:,p+1) = Sin*Uaux + Cos*U(:,p+1);

end;

end;

// traitement de la 2eme // sur-diagonale

for p=1:n-2,

if abs(D(p,p+2))>1.0e-15,

rho = sqrt(D(p,p+1)^2+D(p,p+2)^2);

Cos = D(p,p+1)/rho;

Sin = -D(p,p+2)/rho;


Daux = D(:,p+1);

D(:,p+1) = Cos*D(:,p+1) - Sin*D(:,p+2);

D(:,p+2) = Sin*Daux + Cos*D(:,p+2);


Vaux = V(:,p+1);

V(:,p+1) = Cos*V(:,p+1) - Sin*V(:,p+2);

V(:,p+2) = Sin*Vaux + Cos*V(:,p+2);

end;

end;

// traitement de la 1ere // sur-diagonale

for p=1:n-1,


if abs(D(p,p+1))>1.0e-15,

rho = sqrt(D(p,p)^2+D(p,p+1)^2);

Cos = D(p,p)/rho;

Sin = -D(p,p+1)/rho;


Daux = D(:,p);

D(:,p) = Cos*D(:,p) - Sin*D(:,p+1);

D(:,p+1) = Sin*Daux + Cos*D(:,p+1);


Vaux = V(:,p);

V(:,p) = Cos*V(:,p) - Sin*V(:,p+1);

V(:,p+1) = Sin*Vaux + Cos*V(:,p+1);

end;

end;

// traitement de la 2eme // sous-diagonale

for p=1:n-2,

if abs(D(p+2,p))>1.0e-15,

rho = sqrt(D(p+1,p)^2+D(p+2,p)^2);

Cos = D(p+1,p)/rho;

Sin = -D(p+2,p)/rho;


Daux = D(p+1,:);

D(p+1,:) = Cos*D(p+1,:) - Sin*D(p+2,:);

D(p+2,:) = Sin*Daux + Cos*D(p+2,:);


Uaux = U(:,p+1);

U(:,p+1) = Cos*U(:,p+1) - Sin*U(:,p+2);

U(:,p+2) = Sin*Uaux + Cos*U(:,p+2);

end;

end;

end;

D = D.*(abs(D)>1.0e-15);

On pourrait bien sûr réduire la longueur de ce code en réalisant par exemple les rotations dansune fonction spécique, mais les appels à cette fonction peuvent réduire la vitesse d'execution.Notons également qu'on a supposé ici que la matrice A est carrée. On peut toujours se ramenerà ce cas, au besoin en complétant la matrice A par des lignes ou des colonnes nulles, même sid'un point de vue pratique, il vaut mieux aner l'écriture de l'algorithme pour éviter d'alourdirles calculs et de stockage entraînés une telle complétion de la matrice A par des 0.

Bibliographie

[1] G. Allaire, Analyse numérique et optimisation, Éditions de l'École Polytechnique, 2005.

[2] P.G. Ciarlet, Introduction à l'Analyse Numérique Matricielle et à l'Optimisation, Masson,1982.

[3] G.H. Golub, C.F. Van Loan, Matrix Computation, The John Hopkins University Press, 1989.

[4] S.A. Teulkoski,W.T. Vetterling,B.P. Flannery, Numerical Recipes in C : the Art of Scientic

Computing, W.H.Press, Cambridge University Press.

[5] http ://www.univ-lille1.fr/ eudil/jbeuneu/index.html (analyse numerique, cours et pro-grammes C, en français)

[6] http ://www.indiana.edu/∼rac/hpc/numerics.html (site de ressources pour le calcul nu-merique)

[7] http ://dmawww.ep.ch/rappaz.mosaic/Support/support/ (cours d'analyse numérique del'EPFL)

[8] http ://www.netlib.org/lapack/lug/lapack_lug.html (bibliothèque Fortran LAPACK ; gra-tuit)

[9] http ://hpux.connect.org.uk/hppd/hpux/Maths/LinAlgebra/CLAPACK-1.0/ (télécharge-ment de la version C de LAPACK nommée CLAPACK ; gratuit)

[10] http ://www.scilab.org/ (Scilab langage homepage)

54

Deuxième partie

Introduction

aux opérateurs linéaires

55

Chapitre 8

Introduction

L'objectif de cette partie est d'étendre la notion de matrice au cas de transformations linéairessur des espaces de dimension innie. Lorsqu'on considère des fonctions dénies sur des espacesvectoriels de dimension innie (c'est dire qui admettent des familles innies de vecteurs linéaire-ment indépendants), on parle d'opérateur plutôt que de fonction, même s'il s'agit au fond dela même chose ; simplement, il est un peu plus commode de parler d'un opérateur déni sur unespace de fonctions que d'une fonction dénie sur un espace de fonctions.

On se limite ici à une présentation des opérateurs sur des espaces de Hilbert. Les espacesde Hilbert généralisent la notion d'espace hermitien, un espace hermitien étant un espacevectoriel de dimension nie sur le corps des complexes muni d'un produit scalaire. Les espaceshermitiens constituent eux même une généralisation au cas complexe des espaces euclidiensqui eux sont dénis sur le corps des réels. Un des intérêts des espaces de Hilbert réside dans le faitque les propriétés géométriques usuelles des espaces euclidiens ou hermitiens s'y transposent, cequi contribue à faciliter la résolution de nombreux problèmes et à en fournir une interprétationgéométrique simple.

Dans le chapitre 9, on présente rapidement la notion d'espace de Hilbert et de base ortogonalesur ces espaces. Le chapitre 10 fournit des notions de base importantes sur les opérateurs linéairesdes espaces de Hilbert.

56

Chapitre 9

Espaces de Hilbert

9.1 Dénition

9.1.1 produit scalaire

Rappelons tout d'abord qu'un produit scalaire hermitien x, y →< x, y > sur un espacevectoriel E sur le corps des nombres complexes est une application de E × E dans C caractriséepar les propriétés suivantes qui généralisent celles du produit scalaire euclidien :

1. < x, x > ≥ 0, avec < x, x >= 0⇒ x = 0

2. < x, y >= < y, x >

3. < αx, y >= α < x, y >

4. < x+ y, z >=< x, z > + < y, z >

Bien entendu, le produit scalaire hermitien induit une norme et une distance sur E :

d(x, y) =‖ x− y ‖=√< x− y, x− y >. (9.1)

9.1.2 Espace de Hilbert

Un espace de Hilbert est un espace vectoriel normé H, complet et muni d'un produit scalairehermitien qui induit la norme de H. Rappelons ici que par dénition H est complet si toute suitede Cauchy (xn)n∈N de H, c'est dire telle que limm,n→∞ ‖ xm − xn ‖= 0, est convergente.

Exemples

(i) L'espace l2 des suites x = (xk)k∈N telles que∑

k∈N |xk|2 < ∞ est un espace de Hilbert pourle produit scalaire hermitien déni par

< x, y >=∑k∈N

xky∗k. (9.2)

57

CHAPITRE 9. ESPACES DE HILBERT 58

Pour la démonstration du caractère complet de l2, on pourra se référer à [3] (chap. I).(ii) De même, l'espace L2([a, b]) des fonctions f de carré intégrable sur [a, b] (

∫ ba |f(t)|2dt < ∞)

est un espace de Hilbert pour le produit scalaire hermitien déni par

< f, g >=

∫ b

af(t)g(t)∗dt, (9.3)

dès lors que l'on identie les fonctions égales presque partout par rapport à la mesure de Lebesgue,c'est à dire égales partout sauf éventuellement sur un ensemble de mesure nulle par rapport à lamesure de Lebesgue, car < f, f >= 0⇒ f = 0 p.p.

9.2 Théorème de projection

On retrouve pour le produit scalaire dans les espaces de Hilbert des propriétés analogues àcelles du produit scalaire classique. Ainsi, le théorème de projection se généralise aux espaces deHilbert :

Théorème 2 Si K est un sous ensemble convexe fermé d'un espace de Hilbert H, alors

∀x ∈ H, ∃!y ∈ K, ‖ x− y ‖= infz∈M

‖ x− z ‖ . (9.4)

De plus, y est caractérisé par la relation suivante :

∀z ∈ K, < x− y, z − x >≤ 0. (9.5)

Si K est un sous-espace vectoriel fermé de H, l'inégalité (9.5) devient une égalité.

On pourra trouver la démonstration de ce résultat dans [2] (chap. V).

Exemple : Espérance conditionnelleDans un espace probabilisé (Ω,A, P ), l'ensemble L2(Ω,A, P )des variables aléatoires X à valeurs complexes et telles que E[|X|2] < ∞ forme un espace deHilbert, muni du produit scalaire < X,Y >= E[XY ∗]. Par ailleurs, l'ensemble

L2(PY ) =

h; h(Y ) ∈ (Ω,A, P ),

∫|h(y)|2PY (dy) <∞

(9.6)

est un sous-espace fermé de L2(Ω,A, P ), ce qui assure l'existence d'un unique optimum auproblème

minh∈L2(PY )

‖ X − h(Y ) ‖, (9.7)

avec ‖ Z ‖=√E[|Z|2]. Cet optimum h, qui est caractérisé par les relations (voir l'équation (9.5))

∀g ∈ L2(PY ), E[(X − h(Y )) g(Y )∗] = 0, (9.8)

dénit l'espérance conditionnelle de X sachant Y : E[X|Y ] = h(Y ). Concernant la justicationdu caractère complet des espaces L2(µ), où µ est une mesure bornée, on pourra se référer [5](chap. 3, p. 58). Concernant l'espérance conditionnelle dans L2(Ω,A, P ), on pourra par exemplese référer à [1] (chap. 4).


9.3 Bases orthonormées

Dans toute la suite, H désigne un espace de Hilbert.

Dénition 1 Une famille F = (φk)k∈K de H, avec K ni ou dénombrable, est dite libre si toute

sous famille de taille nie de F est une famille libre. F est une famille orthonormée de H si ses

éléments vérient

< φk, φl >= δk,l. (9.9)

dans la suite, pour simplier les notations, on prendra K = N∗ et simplement K = 1, 2, . . . , npour un espace de dimension nie.

Notons la propriété suivante : x ⊥ y ⇒ ‖ x + y ‖=‖ x ‖ + ‖ y ‖, dont la démonstration estimmédiate. De plus, il est clair que l'inégalité de Cauchy-Schwarz | < x, y > | ≤‖ x ‖ . ‖ y ‖s'applique aussi dans les espace de Hilbert. Indiquons également la propriété suivante :

Proposition 2 Dans un espace de Hilbert, si xn → x et yn → y, alors < xn, yn >→< x, y >.

Exercice Démontrer la propriété précédente.

Les résultats précédents permettent d'établir les propriétés suivantes des familles orthonormées :

Théorème 3 Si F = (φk)k∈K (K ⊂ N) est une famille orthonormée de H, alors pour tout

x ∈ H,1.∑

k | < x, φk > | ≤‖ x ‖2 (ingalité de Bessel)

2.∑

k < x, φk > φk converge

3.∑

k ckφk converge si et seulement si∑

k |ck|2 <∞4. Si x =

∑k ckφk, alors ck =< x, φk >.

Exercice Démontrer les propriétés énonces dans le théorème.

On dit qu'une famille orthonormée F = (φk)k∈K de H est une base orthonormée si toutélément x de H peut se représenter sous la forme x =

∑k ckφk. Notons que d'après le théorème

précèdent ck =< x, φk > (proprité 4).

Théorème 4 Si F = (φk)k∈K de H est une famille orthonormée de H, les propriétés suivantessont équivalentes

1. F est une base de H2. (∀k, < x, φk >= 0) ⇒ x = 0

3. L'ensemble vect(F ) des combinaisons linéaires nies d'élèments de F est dense dans H


4. ∀x ∈ H, ‖ x ‖2=∑

k | < x, φk > |2 (égalité de Parseval)

5. ∀x, y ∈ H, < x, y >=∑

k < x, φk > < y, φk >∗

Preuve (1)⇒(5) : Si x =∑∞

k=1 xkφk et y =∑∞

k=1 ykφk, la continuité du produit scalaire donne,en notant xn =

∑nk=1 xkφk et yn =

∑nk=1 ykφk :

< x, y >= limn→∞

< xn, yn >= limn→∞

n∑k=1

xkyk, (9.10)

La conclusion vient du fait que xk =< x, φk > et yk =< y, φk >.

(5)⇒(4) : prendre x = y dans (5).

(4)⇒(3) : ‖ x −∑n

k=1 < x, φk > φk ‖=‖ x ‖ −∑n

k=1 | < x, φk > |2 et le terme de droite del'égalité tend vers 0.

(3)⇒(2) :∑n

k=1 < x, φk > φk → x et∑n

k=1 < x, φk > φk = 0, donc x = 0.

(2)⇒(1) : ∀i, < x−∑

k < x, φk > φk, φi >= 0 ⇒ x =∑

k < x, φk > φk.

Exemple Les polynômes de Legendre (Ln)n∈N

Ln(x) =

√2n+ 1

n

1

2nn!

dn

dxn(x2 − 1)n (9.11)

forment une base orthonormale de L2([−1, 1)]. Nous aurons l'occasion d'utiliser ces polynômesdans le chapitre de ce document consacré l'intégration numérique. On pourra vérier à titred'exercice que les polynômes de Legendre forment une base orthonormée de l'ensemble despolynômes sur [−1, 1]. De plus, le théorème d'approximation de Weierstrass (voir paragraphe11.2.2), l'ensemble des polynômes est dense dans l'ensemble des fonctions continues. Enn,l'ensemble des fonctions continues sur [−1, 1] est dense dans L2([−1, 1)] ([4], chap. I, p. 42). D'où,d'aprés la relation (3) précédente, le fait que (Ln)n∈N est une base orthonormale de L2([−1, 1)].

Exercice Montrer que si (φn)n∈N∗ et (ψn)n∈N∗ sont des bases de L2([a, b]), alors les fonctions(Φmn)m,n∈N∗ , avec Φmn = φmψn forment une base de L2([a, b]× [a, b]).

9.4 Séparabilité et isométrie

9.4.1 Séparabilité et bases

Un espace de HilbertH est dit séparable s'il possède une famille nie ou dénombrable d'élémentsqui est dense dans H.

Théorème 5 H contient une base orthonormée dénombrable si et seulement si il est séparable.


Preuve Si H est séparable, on peut construire itérativement, par orthogonalisation de Schmidt,une famille orthonormée de H qui engendre un espace dense dans H, ce qui établit que cettefamille orthonormale est une base de H d'après le théorème 4 (proprité 3). Réciproquement,d'après ce même théorème, toute base orthonormée dénombrable engendre par combinaisonslinéaires nies un sous espace dénombrable dense de H.

Notons que tous les espaces de Hilbert ne sont pas séparables. Ainsi, les fonctions dénies surR par t 7→ eiλt, avec λ ∈ R forment une famille orthonormée non dénombrable pour le produitscalaire

< f, g >= limT→∞

1

2T

∫ T

−Tf(t)g(t)∗dt (9.12)

et engendrent donc un espace de Hilbert non séparable. Comme en général on s'intéresse cepen-dant essentiellement aux espaces de Hilbert séparables, les bases mises en oeuvre seront nies oudénombrables.

9.4.2 Projection

D'après ce qui précède, un sous espace fermé séparable H′ de H possède une base orthonormaledénombrable (ψk)k∈K . Si y ∈ H, il est aisé de vérier d'après le théorème de projection que laprojection de y sur H′, notée y|H′, est donnée par

y|H′ =∑k

< y,ψk > ψk. (9.13)

9.4.3 Isométrie

Théorème 6 Deux espaces de Hilbert H1 et H2 de dimensions innies et séparables sont linéaire-

ment isométriques, c'est dire qu'il existe une application linéaire A : H1 → H2, telle que pour

tout x de H1, ‖ Ax ‖=‖ x ‖.

Preuve (φk)k et (ψk)k désignant des bases de H1 et H2 respectivement, il sut de prendre Atelle que

Ax =∑k

< x, φk > ψk. (9.14)

L'inégalité de Parseval permet alors de conclure.

Notons en particulier que tout espace de Hilbert séparable de dimension innie est isométriquel2 : l'application A : H → l2 associe à x =

∑∞k=1 < x, φk > φk la suite (< x, φk >)k∈N∗ de ses

coecients. Notons que les coecients < x, φk > sont appelés coecients de Fourier de xassociés à la base (φk)k.

Remarque Parfois, on utilise plutôt l'isométrie de H avec l2(Z), l'ensemble des suite indicéespar Z dont les carrés sont absolument sommables. Ceci est utile en particulier pour identier lesfonctions x de L2([−1/2, 1/2]) à la suite de leurs coecients de Fourier xk =

∫ π−π x(t)e−2iπktdt,

avec k ∈ Z.

Chapitre 10

Opérateurs linéaires

On considère ici des opérateurs linéaires A : H1 → H2, o H1 et H2 sont des espaces de Hilbertsur le corps des complexes. La notion d'opérateur linéaire permet la généralisation de la notionde matrice au cas de dimensions innies.

10.1 Norme d'un opérateur

On dénit la norme de A par

‖ A ‖= sup‖x‖

‖ Ax ‖‖ x ‖

= sup‖x‖≤1

‖ Ax ‖ . (10.1)

Notons que la norme d'un opérateur ainsi dénie dénit eectivement une norme sur l'espacevectoriel L(H1,H2) des opérateurs linéaires de H1 dans H2.

Si ‖ A ‖< ∞, l'opérateur est dit borné. Comme en dimension nie, la linéarité entraîne uneéquivalence entre le caractère borné d'un opérateur et son caractère continu :

Théorème 7 l'opérateur linéaire A : H1 → H2 est borné si et seulement si il est continu, sa

continuité étant elle même équivalente à sa continuité uniforme sur H1.

On pourra démontrer l'équivalence des trois propriétés à titre d'exercice.

62

CHAPITRE 10. OPÉRATEURS LINÉAIRES 63

10.2 Représentation matricielle

Les espaces de Hilbert séparables de dimension innie étant isométriques, on peut les identier.Considérons donc maintenant un opérateur borné A de H dans lui même. Comme

Ax =∑

j < x, φj > Aφj

=∑

j < x, φj > (∑

i < Aφj , φi > φi)(10.2)

on a[Ax]i =

∑j

< Aφj , φi >< x, φj > . (10.3)

On voit donc que l'opérateur A peut être représenté par la matrice de taille innie de coecientgénéral (i, j) égal à < Aφj , φi >. Notons que selon que la base est indicée par N∗ ou par Z, onobtiendra respectivement une matrice "innie vers la droite et vers la gauche" ou "doublementinnie".

Exemple On considère

Ax =

∫ b

ak(t, s)x(s)ds, (10.4)

déni sur L2([a, b]). En utilisant l'ingalité de Cauchy Schwarz, il apparaît que

‖ A ‖≤∫[a,b]×[a,b]

|k(t, s)|2dsdt. (10.5)

A est donc borné dès lors que k ∈ L2([a, b]2). Dans ce cas, la matrice associée A est de termegénéral

aij =

∫[a,b]×[a,b]

|k(t, s)|2φi(s)φj(t)∗dsdt =< k,Φji >, (10.6)

où Φij(s, t) = φi(s)φj(t)∗, est parfaitement dénie. Comme (Φij)ij est une base de L2([a, b]2), il

est clair que les coecients aijsont de carrés absolument sommables :∑ij

|aij |2 =∑ij

| < k,Φji > |2 =‖ k ‖2<∞ (10.7)

Les notions d'image et de noyau d'un opérateur linéaire sont dénies exactement comme endimension nie. Lorsque Im(A) est un espace de dimension n nie, on dit que A est de rang n.

Exemple Si φ1, . . . , φn et ψ1, . . . , ψn sont des familles deH1 et deH2 respectivement, l'opérateurx 7→

∑nk=1 < x, φk > ψk est de rang ni, au plus égal n. Réciproquement, on a le résultat suivant :

Théorème 8 Si un opérateur linéaire borné A : H1 → H2 est de rang ni n, il existe des

familles de vecteurs φ1, . . . , φn et ψ1, . . . , ψn, dans H1 et H2 respectivement, telles que

Ax =

n∑k=1

< x, φk > ψk. (10.8)


La preuve de ce théorème fait appel au théorème important de représentation de Riesz :

Théorème 9 (Riesz) Toute forme linéaire bornée ϕ : H → C est caractrisée par un unique

élément y ∈ H tel que

ϕ(x) =< x, y >, ∀x ∈ H (10.9)

De plus, ‖ ϕ ‖=‖ y ‖.

Preuve Commençons par édmontrer le théorème de Riesz. Si ϕ = 0, alors y = 0. Supposonsdonc que ϕ 6= 0. Kerϕ est clairement un sous espace vectoriel de H. De plus Kerϕ est ferméd'après la continuité du produit scalaire. Il existe v 6= 0 dans (Kerϕ)⊥. En eet, il existe unvecteur u ∈ H qui n'appartient pas à Kerϕ (sinon, on aurait ϕ = 0). Notons u la projectionorthogonale de u sur Kerϕ. D'après le théorème de projection, le vecteur v = u− u appartient à(Kerϕ)⊥ et est non nul car u /∈ Kerϕ. Notons y = vϕ(v)∗/ ‖ v ‖2. Pour tout x ∈ H, notons que

x = yϕ(x)

ϕ(y)+ (x− yϕ(x)

ϕ(y)), (10.10)

où le deuxième terme de la somme appartient à Kerϕ et est donc orthogonal à y. On a donc

< x, y >=< yϕ(x)

ϕ(y)+ (x− yϕ(x)

ϕ(y)), y >=< y

ϕ(x)

ϕ(y), y >=‖ y ‖2 ϕ(x)

ϕ(y)= ϕ(x), (10.11)

car la relation y = vϕ(v)∗/ ‖ v ‖2 entraîne que ϕ(y) =‖ y ‖2. L'unicité de y provient du fait quesi y′ vérie également ϕ(x) =< x, y′ > pour tout x, alors < x, y − y′ >= 0 en particulier pourx = y − y′. Par suite ‖ y − y′ ‖= 0 et y = y′. Enn, ‖ ϕ ‖=‖ y ‖ d'après l'ingalité de CauchySchwarz, ce qui achève la démonstration du théorème de représentation de Riesz.

Démontrons maintenant le théorème 8 Prenons pour ψ1, . . . , ψn une base ortonormée de ImA.Comme Ax ∈ ImA,

Ax =

n∑k=1

< Ax, ψk > ψk. (10.12)

Comme ϕk : x 7→< Ax, ψk > est une forme linéaire bornée, on peut encore écrire d'après lethéorème de représentation de Riesz que ϕk(x) =< x, φk > pour un certain élément φk de H1,d'où le résultat.

Exemple : ltrage Le théorème de représentation de Riesz montre en particulier que touteforme linéaire borne A : L2(R) → C se représente pour toute fonction x ∈ L(R) de de façonunique sous la forme intégrale Ax =

∫R x(s)g(s)∗ds, o g ∈ L2(R). Ainsi, il apparaît qu'un ltre,

qui à un instant t associe à un signal d'entrée x d'énergie nie une valeur en sortie y(t), peutêtre mis sous la forme

y(t) =

∫Rx(s)gt(s)

∗ds. (10.13)

Un ltre étant un dispositif linéaire et de plus invariant par translation temporelle, l'expression

z(t) =

∫Rx(s− τ)gt(s)

∗ds (10.14)


impose que z(t) = y(t− τ), soit

y(t− τ) =

∫Rx(s)gt(s+ τ)∗ds. (10.15)

En posant t − τ = u et h(v) = gt(t − v)∗, comme gt(s + τ)∗ = gt(t − (u − s))∗ = h(u − s), onobtient nalement

y(u) =

∫Rx(s)h(u− s)ds, (10.16)

et on retrouve le résultat bien connu de l'expression du ltrage comme une convolution.

Bibliographie

[1] M. Benam, N. El Karoui, Promenade aléatoire - chaînes de Markov et simulations, martin-

gales et stratégies, Ed. Ecole Polytechnique, 2004.

[2] H. Brezis, Analyse fonctionnelle, masson, 1992.

[3] I. Gohberg, S. Golberg, M. A. Kaashoek, Basic classes of linear operators, Birkhäuser, 2003.

[4] V. Trenoguine, Analyse fonctionnelle, Ed. MIR, Moscou, 1980.

[5] M. Willem, Analyse harmonique réelle, Hermann, 1995.

[6] K. Yosida, Functional analysis, Springer Verlag, 1980.

66

Troisième partie

Interpolation et intégration

67

Chapitre 11

Interpolation et intégration

11.1 Introduction

En général, l'intégrale sur un intervalle [a, b] d'une fonction g(x) est approchée en considérantl'intégration exacte d'un approximant polynomial de cette fonction. Aussi, nous allons envisagerici quelques aspects classiques de l'interpolation polynomiale et de l'intégration. Notons qu'enposant f(x) = g(a+b2 + b−a

2 x), avec x ∈ [−1, 1] on transfert le problème de l'interpolation ou del'intégration sur [a, b] en un problème analogue sur l'intervalle [−1, 1]. Ainsi, dans la suite, on serestreindra sans perte de généralités à des fonctions dénies sur [−1, 1].

11.2 Interpolation polynomiale

Les formules de quadrature classiques sont connues pour assurer l'intégration exacte des fonctionspolynomiales jusqu' un degré au moins égal `à n − 1, où n représente le nombre de points,ou noeuds, de la quadrature. Nous allons montrer qu'en d'autres termes cela signie que laquadrature ∫

[−1,1]f(x)dx ≈

n∑k=1

wkf(xk) (11.1)

est dénie de sorte à assurer l'intégration exacte de l'interpolant de Lagrange de f aux pointsxk.

11.2.1 Interpolation de Lagrange

An de préciser les choses, commençons par rappeler ici la notion d'interpolant polynomial deLagrange d'une fonction. Etant donnés n points xk (k = 1, . . . , n) on dénit les polynômes

68

CHAPITRE 11. INTERPOLATION ET INTÉGRATION 69

suivants :w(x) = Πk=1,n(x− xk)

wk(x) = Πj=1,n

j 6=k(x− xj)

lk(x) = wk(x)wk(xk)

(11.2)

Il est clair que lk(xk) = 1 et lk(xj) = 0 pour xj 6= xk : lk(xj) = δk,j .

Etant donnée une fonction f(x) dénie sur [−1, 1] il est alors clair que le polynôme de degré nqui passe par les points (xk, f(xk))k=1,n est donné par

fn(x) =

n∑k=1

lk(x)f(xk). (11.3)

fn(x) est appelé polynôme d'interpolation de Lagrange de f(x) aux points x1, . . . , xn.

11.2.2 Le phénomène de Runge

Malheureusement, lorsqu'on calcule un interpolant de Lagrange pour des points xk régulièrementespacés dans [−1, 1], on observe que son comportement tend se dégrader du fait de l'apparitiond'oscillations vers les extrémités de l'intervalle, qui tendent croître avec le degré n de l'interpo-lation. Ce phénomène est connu sous le nom de phénomène de Runge [2, 9]. En pratique, cephénomène devient três marqué pour des valeurs de n de l'ordre de 10, même pour des fonctionsinniment dérivables variant lentement, telle la fonction f(x) = (1 + 16x2)−1 considérée parRunge pour mettre en évidence le phénomène.

Dans ces conditions, il apparaît que l'emploi d'un interpolant polynomial de Lagrange calculésur des points régulièrement espacés pour approcher l'intégrale d'une fonction f via l'intégrationde cet interpolant ne conduit pas à de bons résultats.

Cela ne signie cependant pas qu'on ne puisse pas utiliser d'approximant polynomial pour in-tégrer une fonction de façon précise. En eet, le théorème de Weierstrass indique que pourtoute fonction f continue sur [−1, 1], si Pn représente l'ensemble des polynômes de degré inférieurou égal à n, alors il existe une séquence (qn)n∈N, avec qn ∈ Pn, telle que [7]

limn→∞

suppn∈Pn, |x|≤1

|f(x)− pn(x)| = 0. (11.4)

Une façon d'obtenir une telle suite de polynômes consiste à considérer des interpolants de La-grange de f(x) dénis en des points xk irrégulièrement espacés. Plus précisemment, si on choisit

pour n xé des points (x(n)k )k=1,n tels que lorsque n augmente ces points soient asymptotiquement

distribués dans [−1, 1] selon la densité suivante [2]

ρ(x) =1

π√

1− x2, (11.5)

alors, la suite correspondante des interpolants de Lagrange converge uniformément vers f sur[−1, 1].


11.3 Intégration de Newton-Cotes

L'intégration de Newton-Cotes consiste à remplacer l'intégration de la fonction f par cellede son interpolant polynomial de Lagrange calculé pour des points xk régulièrement espacés.L'interpolant est donné par fn(x) =

∑nk=1 lk(x)f(xk) de l'équation (11.3), avec par exemple

xk = (2k − n− 1)/n, et k = 1, . . . , n.

La formule de quadrature pour f(x) est donc donnée par∫ 1

−1f(x)dx ≈

∫ 1

−1fn(x)dx =

n∑k=1

(∫ 1

−1lk(x)dx

)fn(xk). (11.6)

Comme fn(xk) = f(xk), les poids de la quadrature∑n

k=1wkf(xk) qui assurent une quadratureexacte de l'interpolant de Lagrange sont donnés par

wk =

∫ 1

−1lk(x)dx. (11.7)

En particulier, les polynômes 1, x, x2, . . . , xn−1 sont égaux à leurs interpolants de Lagrangeobtenus sur n points. Donc les poids dénis par (11.7) vérient également les équations linéaires∫ 1

−1xmdx =

n∑k=1

wkxmk , m = 0, . . . , n− 1, (11.8)

soit 1 1 ... 1x1 x2 ... xn...

......

xn−11 xn−12 ... xn−1n

w1

w2...wn

=

a1a2...an

, (11.9)

avec

ak =

∫ 1

−1xk−1dx =

1− (−1)k

k. (11.10)

On vérie que pour des points xk régulièrement espacés la matrice précédente est mal condi-tionnée et que l'amplitude des coecients wk est très uctuante. L'amplitude des oscillationsdes coecients wk augmente d'ailleurs exponentiellement avec n [2]. Ce mauvais comportementnumérique limite l'ordre de quadrature envisageable pour la méthode de Newton-Cotes et en pra-tique, on la met souvent en oeuvre en découpant l'intervalle [−1, 1] en plusieurs sous-intervalleset en appliquant la quadrature de Newton Cotes avec un petit nombre de noeuds sur chacund'eux. De plus, compte tenu de la mauvaise qualité de l'approximation fournie par l'interpola-tion polynomiale pour un échantillonnage régulier (phénomène de Runge), on comprend que laquadrature de Newton-Cotes qui est basée sur cette approximation fournisse des résultats assezmédiocres. On donne ci dessous un programme Matlab simple pour réaliser la quadrature deNewton-Cotes. On pourra y vérier l'inuence de la valeur de n sur les poids

f = @(t) cos(pi*t); % fonction a intégrer

n = 20; % nombre de noeuds de quadrature


x = linspace(-1,1,n); % noeuds

M = flipud(vander(x)'); % matrice de VanderMonde de calcul des poids

w = inv(M)*((1-(-1).^(1:n))./(1:n))'; % poids

I = f(x)*w % calcul de l'intégrale par la méthode

% de Newton Cotes

11.4 Méthode de Gauss-Legendre

On peut chercher corriger les eets du phénomène de Runge associé au choix de noeuds régulière-ment espacés pour le polynôme d'interpolation de Lagrange d'une fonction en considérant unerépartition irrégulière des noeuds xk. Les méthodes de Gauss, basées sur le choix de noeuds dequadrature égaux aux zéros de polynômes orthogonaux constituent un choix approprié. On selimitera ici au cas des polynômes orthonormés sur [−1, 1] dénis par∫ 1

−1pn(x)pm(x)dx = δm,n, (11.11)

avec pn de degré n, et qui dénissent les polynômes de Legendre. Ceux ci se caractérisent dediverses manières [10]. On peut en particulier dénir les versions non normalisés de ces polynômesau moyen de la récurrence à trois termes suivante :

p0(x) = 1

p1(x) = x

(n+ 1)Pn+1(x) = (2n+ 1)xPn(x)− nPn−1(x).

(11.12)

La normalisation peut ensuite être obtenue en notant que∫ 1−1 p

2n(x)dx = 2/(2n+1). Considérons

maintenant la quadrature dont les noeuds sont dénis par les zéros de pn(x) et dont les poidscorrespondants sont solution des quations (11.9). Ces paramètres dénissent la quadrature deGauss-Legendre sur n points. On a alors la propriété remarquable suivante :

Théorème 10 La quadrature de Gauss-Legendre sur n points est une formule de quadrature

exacte pour tous les polynômes de degré inférieur ou égal 2n− 1.

Preuve Comme les paramètres de la quadrature satisfont aux équations (11.9), il apparaît qu'elleest exacte pour tout polynôme de degré inférieur ou égal à n − 1. Maintenant, tout polynômeq(x) de degré inférieur ou égal à 2n− 1 pourra s'écrire

q(x) =∑

k=0,n−1akx

k + pn(x)(∑

l=0,n−1blx

k). (11.13)

La relation (11.13) provient simplement de la division euclidienne de q(x) par pn(x) et de lacontrainte de degré sur q(x). Donc∫ 1

−1q(x)dx =

∫ 1

−1(∑

k=0,n−1akx

k)dx+

∫ 1

−1pn(x)(

∑k=0,n−1

bkxk)dx. (11.14)


La quadrature de Gauss-Legendre de la première intégrale du terme de droite de l'égalité (11.14)est exacte car le polynôme intgré est de degré inférieur ou égal à n− 1. Notons maintenant quele polynôme pn est orthogonal aux polynômes p0, p1, . . . , pn−1. Or, ces derniers engendrent lemême espace vectoriel que les polynômes 1, x, . . . , xn−1. Donc

∫ 1−1 pn(x)(

∑k=0,n−1 bkx

k)dx = 0.De plus, ∑

j=1,n

wjpn(xj)

∑k=0,n−1

akxkj

= 0, (11.15)

puisque les xj sont les zéros de pn. Donc, la quadrature de Gauss-Legendre est encore exactepour la seconde intégrale du terme de droite de l'égalité (11.14), ce qui termine la démonstration.

En pratique, on observe un excellent comportement pour la quadrature de Gauss-Legendre.Notons également que la quadrature de Gauss correspond bien à l'intégration de l'interpolantpolynomial de Lagrange associé aux zéros de pn(x) puisque les poids satisfont aux équations(11.9) et donc aux équations (11.7). On peut de plus montrer [8] que les zéros de pn(x) sontasymptotiquement distribués suivant la densité donnée par l'équation (11.5), ce qui conrme lacapacité de la méthode à échapper au phénomène de Runge.

Indiquons ici qu'une évaluation approchée des poids peut être obtenue à partir de la formulesuivante ([4] p.89)

xk = cos

(4(n− k)− 1

4n+ 2π +

n− 1

8n3cot(

4(n− k)− 1

4n+ 2π) + o(

1

n4)

), k = 1, . . . , n. (11.16)

Ces valeurs des noeuds peuvent éventuellement être améliorées par un algorithme de Newton derecherche des zéros de pn(x) et initialisé successivement par chacune des valeurs xk de la relation(11.16).

Le programme suivant utilise l'approximation précédente et pourra être employé pour mettre enévidence le meileur comportement de la méthode de Gauss-Legendre comparé à la mthode deNewton-Cotes.



x = pi*(4*(n:-1:1)-1)/(4*n+2);

x = cos(x+((n-1)/(8*n^3))*cot(x)); % noeuds approchés

M = flipud(vander(x)'); % matrice de VanderMonde

w = inv(M)*((1-(-1).^(1:n))./(1:n))'; % poids

I = f(x)*w % calcul de l'intégrale par la méthode

% de Gauss-Legendre approchée

Il s'agit cependant ici d'une écriture sous-optimale du programme à objectif purement péda-gogique. Ainsi, on vériera que lorsque n augmente, le conditionnement de la matrice M sedégrade, ce que l'on peut tester avec la commande Matlab 'cond(M)'.

Il est établi dans la littérature que la ércurrence (11.12) permet d'obtenir les noeuds et les poidscomme solution d'un probèlme de valeurs propres d'une matrice tridiagonale [6], pour un coût


de calcul de l'ordre de O(n2) opérations. Sans entrer dans le détail de cet algorithme, indiquonsque sa mise en oeuvre conduit au code suivant proposé dans [8] et dont on pourra comparer labonne robustesse à celle du programme précédent :



m = n-1;

T = diag(0.5./sqrt(1-(2*(1:m)).^(-2)),1);

T = T + T'; % matrice de Jacobi

[V,D] = eig(T); % diagonalisation

x = diag(D);

[x,a] = sort(x); % noeuds classés par ordre croissant

w = 2*V(1,a).^2; % poids

I = w*f(x) % calcul de l'intégrale par la méthode

% de Gauss-Legendre

On pourra vérier qu'à la diérence de ce que l'on observe avec la méthode de Newton-Cotes ladispersion des valeurs des poids croît lentement avec n. Avec ce code, on vérie que l'erreur dequadrature décroit rapidement vers le bruit de calcul lorsque n augmente.

Notons enn que la méthode de Gauss Legendre se généralise pour des intégrales sur des in-tervalles semi-innis au moyen des polynômes de Laguerre et pour des intégrales sur R aumoyen des polynômes d'Hermite [1].

11.5 Méthode de Clenshaw-Curtis

Nous terminons cet exposé en évoquant la méthode de quadrature de Clenshaw-Curtis,introduite en 1960 [3] et qui est devenue très populaire ces dernières années compte tenu de safacilité de mise en oeuvre. Cette méthode, pour n noeuds de quadrature, n'est exacte que pourles polyonmes de degré au plus égal à n − 1, mais le calcul de ses noeuds et de ses poids estextrèmement simple. De plus, pour l'intégration de nombreuses fonctions standard, il apparaîtque son comportement dière três peu de celui de la quadrature de Gauss-Legendre [8]. Celatient en particulier au fait qu'ici, comme pour la méthode de Gauss-Legendre, la distributionasymptotique des noeuds dans [−1, 1] satisfait l'équation 11.5.

Pour la méthode de Clenshaw-Curtis, les poids sont simplement choisis de la forme

xk = cos(n− kn− 1

π), k = 1, . . . , n. (11.17)

On notera, pour n grand, la ressemblance des poids de Gauss-Legendre (Eq. (11.16)) avec ceuxde Clenshaw-Curtis. Gentleman [5] a montré que les poids peuvent être obtenus par transforméede Fourier rapide, et donc avec un coût de calcul de O(n.log2(n)), contre O(n2) opérations pourcalculer les paramètres de Gauss-Legendre [6]. Ceci explique l'intérêt porté à la méthode deClenshaw-Curtis qui fournit donc pour un coût de calcul nettement moindre une quadrature de


précision souvent comparable à celle de Gauss-Legendre. Le code Matlab suivant, propoés dans[8] implémente la méthode de calcul des poids de [5].



m = n-1;

x = cos(pi*(0:m)'/(m)); % poids

fx = f(x)/(2*m);

g = real(fft(fx([1:m+1 m:-1:2]))) % transforme de Fourier rapide

a = [g(1); g(2:m)+g(2*m:-1:m+2) ;g(m+1)]; % coefficients de Chebychev

w = 0*a'; w(1:2:end) = 2./(1-(0:2:m).^2); % poids

I = w*a % calcul de l'intégrale par la méthode

% de Clenshaw-Curtis

11.6 Calcul d'erreur

Indiquons pour terminer que pour les méthodes précédentes il est possible d'exprimer de façonprécise l'erreur liée à la quadrature. Pour une quadrature sur n points qui est exacte pour lespolynômes de degré inférieur ou égal à M et une fonction f , au moins m fois continuementdérivable, avec m ≤M , on peut montrer que la fonction d'erreur de quadrature, notée E(f), estdonnée par ([4], p. 218)

E(f) =∫ 1−1 f(x)dx−

∑nk=1wkf(xk)

=∫ 1−1 f

(m+1)(x)Km(x)dx,

(11.18)

où Km(x) est le noyau de Peano, déni par

Km(x) =(1− x)m

m!−

n∑k=1

wk(max(xk − x, 0))m−1

(m− 1)!. (11.19)

Exercice Démontrer la formule d'erreur précédente (indication : utiliser la formule de Tayloravec reste intégrale).

Bibliographie

[1] M. Abramowitz and I.A. Stegun. Handbook of Mathematical Functions with Formulas,

Graphs, and Mathematical Tables. Dover, New York, ninth dover printing, tenth gpo printingedition, 1964.

[2] J.P. Berrut and L.N. Trefethen. Barycentric lagrange interpolation. SIAM rev., pages 501517, 2004.

[3] A.R. Curtis C.W. Clenshaw. A method for numerical integration on an automatic computer.Numer. Math. 2, pages 197205, 1960.

[4] P.J. Davis and P. Rabinowitz. Methods of Numerical Integration. N.Y. : Academic Press,1975.

[5] W.M. Gentleman. Implementing clenshaw-curtis quadrature, i- computing the cosine trans-formation. Communications of the ACM, 15(5) :337342, Feb. 1972.

[6] G.H. Golub and J.H. Welsch. Calculation of gauss quadrature rules. Math. Comp., 23 :221230, 1969.

[7] H. Jereys and B.S. Jereys. Weierstrass's Theorem on Approximation by Polynomials, P14.08 in Methods of Mathematical Physics, 3rd Ed. England : Cambridge University Press,1988.

[8] L.N. Trefethen. Is gauss quadrature better than clenshaw-curtis ? SIAM Rev., Society for

Industrial and Applied Mathematics, 50(1) :6787, 2008.

[9] wikipedia. Phénomène de runge. http ://fr.wikipedia.org/wiki/Ph%C3%A9nom%C3%A8ne_de_Runge.

[10] wikipedia. polynômes de legendre. http ://fr.wikipedia.org/wiki/Polyn%C3%B4me_de_Legendre.

75

Quatrième partie

Optimisation

76

Chapitre 12

Introduction

Lorsqu'on cherche à résoudre un problème de la forme infv∈Uadf(v), on parlera de problème

d'optimisation contraint lorsque U est un sous ensemble particulier inclu dans le domaine dedénition de f . Si Uad coïncide avec le plus grand domaine sur lequel on peut dénir f on parlerade problème d'optimisation non contraint.

On s'intéresse dans cette partie à des problèmes d'optimisation continue, à variables réelles oucomplexes, de forme générale

minx f(x)fi(x) ≤ 0 i = 1, . . . ,m.

(12.1)

Le problème (12.1) consiste à rechercher les valeurs de x qui minimisent f(x) dans l'ensembledes contraintes U = x; fi(x) ≤ 0 i = 1, . . . ,m. Notons qu'une contrainte d'égalité de la formefi(x) = bi peut toujours se reformuler dans ce contexte par les inégalités fi(x) − bi ≤ 0 et−fi(x) + bi ≤ 0. Dans la suite, on sera cependant souvent amené à distinguer les situations decontraintes de type inégalité et de type égalité.

On a déjà rencontré un problème de ce type dans le cours d'analyse numérique matricielle,pésenté en première partie, lors de la recherche de la solution de norme minimale d'un systèmesous-déterminé, problème qui s'écrit

minx xTx

Ax = b.(12.2)

Plus généralement, les problèmes de la formeminx

12x

TQx + xT rAx = bGx ≤ h

(12.3)

où Q est une matrice symétrique positive et u ≤ v signie que uk ≤ vk pour chaque composantedes vecteurs u et v, sont appelés programmes quadratiques. En présence de contraintesd'inégalité, l'obtention de la solution est généralement moins directe qu'avec les seules contraintesd'égalité. Dans ce dernier cas on dispose d'une forme analytique directe du problème tandis quedans le premier il faut faire appel à des algorithmes itératifs d'optimisation.

77


Lorsque les fonctions f et (fi)i=1,m sont linéaires, le problème est appelé problème de program-mation linéaire. Il existe des algorithmes performants pour résoudre ce genre de problème,même si le nombre d'opérations à réaliser n'est pas bien maîtrisé en général. Notons égalementqu'il peut être un peu plus délicat d'identier un problème de programmation linéaire qu'unproblème d'optimisation quadratique. Ainsi, la minimization de la norme l1 de Ax − b, déniepar f(x) =‖ Ax−b ‖1=

∑i |Aix−bi|, où Ai représente ici la i-ème ligne de la matrice A peut

se reformuler sous la forme du programme linéaire suivant :mint

∑i ti

−ti ≤ 0 i = 1, . . . ,mAix− bi − ti ≤ 0 i = 1, . . . ,m−Aix + bi − ti ≤ 0 i = 1, . . . ,m.

(12.4)

Pour un problème pour lequel le critère f ou certaines des contraintes (fi)i=1,m ne sont paslinéaires, on parlera d'un problème de programmation non linéaire. Une diculté essentielledu problème d'optimisation (12.1) dans le cas non linéaire réside dans fait que des conditionsnécessaires bien connues d'optimalité telles que l'annulation de la dérivée (du gradient dans lecas d'une fonction de plusieurs variables) ne permettent généralement que d'établir l'optimalitélocale d'une solution.

Il existe une exception remarquable à ce fait qui est celui de l'optimisation convexe pourlequel les fonction f et (fi)i=1,m sont convexes. Dans ce cas, non seulement on est en mesure decaractériser la nature globale d'optima locaux, mais de plus, il existe des algorithmes performantsde recherche de telles solutions. En particulier, les méthodes de point intérieur, égalementutilisées en programmation linéaire, ou les méthodes de plans sécants, orent une solutionperformante pour l'optimisation de problèmes d'optimisation convexe. En fait, la diculté essen-tielle des problèmes d'optimisation convexe réside souvent dans la diculté que l'on peut avoirà identier le problème étudié comme un problème convexe.

Si, comme on l'a indiqué, pour un problème d'optimisation non convexe il est souvent facile decaractériser des optima locaux dès lors que l'on dispose d'hypothèses de régularité, telle que ladiérentiabilité, sur les fonctions mises en jeux, on ne pourra pas en général trouver d'algorithmequi assure la convergence vers un optimum global. On verra cependant que l'utilisation desrésultats de l'optimisation convexe peuvent être utilisés pour fournir des approximations souventintéressantes de la solution.

Pour le problème minu∈U f(u) Les conditions d'optimalité dépendent de la nature de U . Pourles conditions nécessaires, on peut citer les conditions suivantes qui seront développées dans leschapitres suivants : équations d'Euler : f ′(u) = 0 inéquations d'Euler : f ′(u)(v − u) ≥ 0 multiplicateurs de Lagrange lorsque U = v; fk(v) = 0, k = 1,m conditions de Kuhn et Tucker lorsque U = v; fk(v) ≤ 0, k = 1,m.Les conditions susantes font souvent appel à la convexité de f pour l'optimalité globale et plussimplement au comportement de la dérivée seconde de f au voisinage de u pour l'optimalitélocale.

Outre l'étude des conditions d'optimalité on se penchera sur les aspects algorithmiques de la


recherche d'optima. Pour les problèmes sans contraintes, on considérera en particulier les algo-rithmes de relaxation, de Newton, du gradient ou du gradient conjugué. Pour les problèmes aveccontraintes, on envisagera la possibilité d'extension des méthodes sans contraintes ainsi que desalgorithmes généralistes tels que les méthodes d'Uzawa, les méthodes de plans sécants ou encoreles méthodes de points intérieurs. L'algorithme du simplexe important pour le cas particulier dela programmation linéaire sera également présenté.

Le chapitre 9 présente quelques rappels de calcul diérentiel sur lesquels reposent les conditionsd'optimalité développées par la suite. Le chapitre 10 traite des conditions d'optimalité pour lesproblèmes non contraints et le chapitre 11 des algorithmes classiques pour traiter ce type deproblèmes. Le chapitre 12 traite des conditions d'optimalité pour les problèmes contraints et lechapitre 13 des algorithmes correspondants. Le cas particulier de la programmation linéaire estabordé au chapitre 14.

Les version antérieures de ces notes de cours s'inspiraient en particulier de [6] où l'optimisationest abordée sous un angle très général. Pour l'optimisation avec contraintes, la version actuelleemprunte plus à la présentation de [8] qui traite de façon allégée, quoi que rigoureuse, la théoriepour des problèmes dans les espaces de type Rn. Pour les algorithmes, [9] et [4] constituentégalement des références intéressantes. Les autres références indiquées constituent égalementdes sources d'information enrichissantes. Les notes de cours [5] ou le livre [10] constituent desréférences plus approfondies sur la notion de convexité.

Chapitre 13

Eléments de calcul diérentiel

13.1 Introduction

Les conditions d'existence d'optima locaux pour les problèmes contraints ou non contraints fontintervenir les dérivées d'ordres un et deux de la fonction à optimiser. Ainsi, la condition de dérivéenulle est à la base d'une méthode importante, la méthode de Newton, qui sera étudiée plus loin.

On fait ici quelques rappels concernant la dérivation dans des espaces généraux car la variablevis à vis de laquelle on eectue l'optimisation peut être une fonction. C'est le cas par exemplelorsqu'on cherche la surface d'aire minimale qui s'appuye sur un contour xé de R3, auquelcas la variable recherchée est la fonction qui décrit cette surface. Dans ce chapitre, on va doncdévelopper un formalisme général pour la notion de dérivation. Pour xer les idées, le lecteurpourra considérer le cas particulier d'espaces X et Y tels que X = Rn et Y = Rm. On se limiterad'ailleurs à ce cadre dans les chapitres suivants.

13.2 Rappels sur les espaces L(X, Y )

Soient X et Y deux espaces vectoriels normés, de normes notées respectivement ‖ ‖X et ‖ ‖Y .L'ensemble L(X,Y ) des applications linéaires continues de X dans Y , noté simplement L(X) siX = Y , est normé par

∀A ∈ L(X,Y ), ‖ A ‖= supx∈X

‖ Ax ‖Y‖ x ‖X

= supx∈X, ‖x‖X≤1

‖ Ax ‖Y . (13.1)

L(X,Y ) est complet si Y est complet. Dans l'ensemble L2(X,Y ) des applications bilinéairescontinues de X ×X dans Y , la norme est dénie par

∀A ∈ L2(X,Y ), ‖ A ‖= supx1,x2∈X

‖ A(x1, x2) ‖Y‖ x1 ‖X × ‖ x2 ‖X

. (13.2)

80

CHAPITRE 13. ELÉMENTS DE CALCUL DIFFÉRENTIEL 81

13.3 Dérivation

Soit O un ensemble ouvert etf : O ⊂ X → Y, (13.3)

Soit a ∈ O. La dérivée en a, lorsqu'elle existe, est dénie par f ′(a) ∈ L(X,Y ) telle que

f(a + h) = f(a) + f ′(a)h+ ‖ h ‖ ε(h). (13.4)

Si f ′(a) existe, elle est unique. Remarquons que f ′(a)h est une notation simpliée pour f ′(a)(h),c'est à dire la valeur prise par l'application linéaire f ′(a) en h.

13.3.1 Application dérivée

L'application dérivée de f est dénie par

f ′ : O → L(X,Y ); x 7→ f ′(x). (13.5)

Exercices.1) Si f(x) = B(x,x), où B est bilinéaire et continue, monrer que

f ′(x)h = B(x,h) +B(h,x). (13.6)

2) Calculez le gradient de f dénie sur Rn par f(x) = xTAx. Que devient cette formule lorsqueA est symétrique ?

13.3.2 Dérivation pour f dénie sur des espaces produits

Sif : O ⊂ X → Y = Y1 × . . .× Ym; x 7→ f(x) = [f1(x), . . . , fm(x)]T , (13.7)

f est dérivable en a ∈ O si et seulement si f ′k(a) existe pour k = 1,m.

f ′(a) =[f ′1(a), . . . , f ′m(a)

](f ′k(a) ∈ L(X,Yi)). (13.8)

Le vecteur ∇f(a) = [f ′(a)]T est appelé gradient de f au point a. Si maintenant

f : O ⊂ X = X1 × . . .×Xn → Y ; x 7→ f(x) (13.9)

avec O = O1 × . . .×On, produit d'ouverts, on dénit les applications partielles par

fk : Ok ⊂ Xk → Y ; u 7→ f(x1, . . . ,xk−1,u,xk+1, . . . ,xn) (13.10)

Si f est dérivable en a, les applications partielles le sont et

f ′(a)h =∑k=1,n

∂kf(a)hk, (13.11)


où h = [h1, . . . ,hn]T et ∂kf(a) est la dérivée de la kème application partielle (∂kf(a) ∈ L(Xk, Y )).La réciproque est fausse ; Ainsi, pour f(x1,x2) = 1 − δ0,x1x2 , ∂1f(0, 0) = ∂2f(0, 0) = 0, mais fn'est pas dérivable en 0.

Plus généralement, soit

f : O ⊂ X = X1 × . . .×Xn → Y = Y1 × . . .× Ym, ; x 7→ f(x) = [f1(x), . . . , fm(x)]T , (13.12)

avec O = O1 × . . . × On et notons k = f ′(a)h. Les coordonnées de h et de k sont liées par lesrelations

ki =∑j=1,n

∂jfi(a)hj , i = 1,m j = 1, n. (13.13)

Ainsi, si f : Rn → Rm est de classe C1, de X = Rn dans Y = Rm, k = Mfh, où Mf est lamatrice des dérivées partielles de f en a :

[Mf ]ij =∂fi(a)

∂xj= ∂jfi(a). (13.14)

On note alors Mf = [∇f ]T . ∇f est la matrice jacobienne, dénie par

∇f(a) =

∂1f1(a) . . . ∂1fm(a)...

∂nf1(a) . . . ∂nfm(a)

. (13.15)

Notons également que dans le cas où m = n, le déterminant |∇f | de la matrice jacobienne estappelé jacobien.

13.3.3 Composition des applications dérivables

Soit f : O ⊂ X → Y , dérivable en a et g : O′ ⊂ Y → Z, avec f(O) ⊂ O′, dérivable en b = f(a).Alors h(x) = g(f(x)) = (gof)(x) est dérivable en a et

h′(a) = g′(b)f ′(a). (13.16)

Dans le cas réel, X = Rn, Y = Rm, et Z = Rl. On a alors Mh = MgMf , soit

∂jhi(a) =∑k=1,m

∂kgi(b)∂jfk(a) i = 1,m j = 1, n, (13.17)

ou encore ∇h = ∇f ×∇g.

13.4 Dérivée seconde

On dénit, si elle existe, l'application dérivée seconde par

f ′′(a) = (f ′(a))′ ∈ L(X,L(X,Y )). (13.18)


Notons que les espaces L(X,L(X,Y )) et L(X ×X,Y ), encore noté L2(X,Y ), sont isomorphes,c'est à dire que l'on peut passer de l'un à l'autre au moyen d'une transformation linéaire bijective.f ′′(a) dénit donc une application bilinéaire continue de X ×X dans Y . On montre de plus quecette application bilinéaire est symétrique, c'est à dire que f ′′(a)(k,h) = f ′′(a)(h,k). Pourle calcul pratique des dérivées secondes, remarquons que f ′′(a)(h,k) est la dérivée en a dex→ f ′(x)k, appliquée au point h.

Exemples. Si f(x) = B(x,x) + C(x) + d, où B est bilinéaire, et C linéaire,

f ′(x)k = B(x,k) +B(k,x) + C(k)

f ′′(x)(k,h) = B(h,k) +B(k,h).(13.19)

Dans le cas réel, si X = Rn, et Y = R, on obtient

f ′′(a)(h,k) =∑n

i,j=1 hikjf′′(a)(ei, ej)

=∑n

i,j=1 hikj∂i,jf(a).(13.20)

Les vecteurs ei de la base canonique sont dénis par [ei]k = δi,k. La matrice ∇2f , de termegénéral [∇2f(a)]ij = ∂ijf(a) est appelée matrice hessienne, ou hessien de f au point a.Ainsi,

f ′′(a)(h,k) = kT∇2f(a)h. (13.21)

13.5 Formules de Taylor et théorème des fonctions implicites

Les formules de Taylor qui permettent d'obtenir des approximations polynomiales locales desfonctions exprimées à partir de leurs dérivées successives et sont utiles pour justier certainesconditions d'optimalité présentées au chapitre suivant. Même si les preuves des conditions d'op-timalité ne seront pas développées pour la plupart il est intéressant de comprendre les notionsauxquelles elles se rattachent, ce qui motive ce paragraphe. On pourra par exemple trouver ladémonstration des formules de Taylor dans [2, 6]

13.6 Accroissements nis

Soit f : R→ R, continue et dérivable sur ]a, b[.

∃c ∈]a, b[, f(b)− f(a) = f ′(c)(b− a). (13.22)

La généralisation aux dimensions supérieures n'est pas directe. Pour s'en convaincre on peut parexemple considérer la fonctionf(t) = [cos t, sin t]T , sur [0, 2π].


13.7 Formules de taylor

Soitf : O ⊂ X → Y , avec [a,a + h] ⊂ O. (13.23)

Théorème 11 (dérivée première)

1) Si f est dérivable en a, f(a + h) = f(a) + f ′(a)h+ ‖ h ‖ ε(h).2) Accroissements nis. Si f est continue sur O et dérivable sur ]a,a + h[,

‖ f(a + h)− f(a) ‖≤ supx∈]a,a+h[

‖ f ′(x) ‖‖ h ‖ . (13.24)

3) Taylor-Mac Lauri. Si f est continue sur O, dérivable sur ]a,a + h[ et Y = R,

f(a + h) = f(a) + f ′(a + θh)h 0 < θ < 1. (13.25)

4) Taylor avec reste intégrale. Si f ∈ C1(O) et Y complet,

f(a + h) = f(a) +

∫[0,1]

(f ′(a + th)h)dt. (13.26)

Théorème 12 (dérivée seconde).

Taylor-Young. Si f est dérivable dans O et deux fois en a,

f(a + h) = f(a) + f ′(a)h +1

2f ′′(a)(h,h)+ ‖ h ‖2 ε(h). (13.27)

Accroissements nis généralisés. Si f ∈ C1(O) et deux fois dérivable sur ]a,a + h[,

‖ f(a + h)− f(a)− f ′(a)h ‖≤ 1

2

(sup

x∈]a,a+h[‖ f ′′(x) ‖L2(X,Y )

)‖ h ‖2 . (13.28)

Taylor-Mac Laurin. Si f ∈ C1(O), deux fois dérivable sur ]a,a + h[ et Y = R,

f(a + h) = f(a) + f ′(a)h +1

2f ′′(a + θh)(h,h) 0 < θ < 1. (13.29)

Taylor avec reste intégral. Si f ∈ C2(O) et Y complet,

f(a + h) = f(a) + f ′(a)h +

∫[0,1]

(1− t)(f ′′(a + th)(h,h))dt. (13.30)

Chapitre 14

Optimisation sans contraintes : critères

d'optimalité

Des critères portant sur les dérivées première et seconde ou la convexité de f permettent d'obtenirdes conditions nécessaires mais aussi des conditions susantes d'optimalité et de préciser lecaractère minimum ou maximum d'un extremum, voir même de préciser si c'est un optimumglobal. Les conditions portant sur la dérivée première sont classiquement appelées conditionsdu premier ordre et celles portant sur les dérivées secondes conditions du second ordre.

14.1 Dénitions

14.1.1 Optimalité

Soit f : U ⊂ Rn → R. On dit que u est un minimum local de f , s'il existe un voisinage de uVu ⊂ U tel que f(u) ≤ f(v) (resp. f(u) ≥ f(v)), ∀v ∈ Vu. On dénit de même un maximumlocal par la relation f(u) ≥ f(v), ∀v ⊂ Vu ∈ U . Bien sûr, on dira de même que u représente unmaximum local de f si −f possède un minimum local en u.

Si ∀v ∈ U , f(u) ≤ f(v), on parlera alors de minimum global. Un extremum local est encoreappelé extremum relatif et un extremum global est encore appelé extremum strict.

Lorsque sur un voisinage pointé Vu − u de u on a f(u) < f(v), ∀v ∈ Vu − u, on dit que uest un minimum local strict de f .

85

CHAPITRE 14. OPTIMISATION SANS CONTRAINTES : CRITÈRES D'OPTIMALITÉ 86

14.1.2 directions admissibles

On dit que d est une direction admissible de f en u si

∃α > 0, ∀v ∈ [u,u + αd[, u ∈ U. (14.1)

On dira de plus que d est une direction de descente de f en u si

∃γ < α, ∀t ∈ [0, γ], f(u + td) ≤ f(u). (14.2)

14.2 Conditions nécessaires d'optimalité

Fonctions continues

Considérons d'abord le cas d'une fonction continue. Le théorème de Weierstrass fournit lerésultat suivant :

Théorème 13 (Weierstrass) étant donnée une fonction continue f : K ⊂ Rn → R, où K est

compact, c'est à dire, puisque K ⊂ Rn un fermé borné de Rn. L'image de K par f est un

intervalle fermé de R. Il existe donc un point u∗ ∈ K tel que f(u) soit minimum sur K en u∗.

Pour des fonctions dont la valeur tend vers l'inni lorsque ‖ u ‖→ ∞, et dénies sur Rn toutentier on a un résultat analogue :

Dénition 2 On dit que la fonction f : U ⊂ Rn → R est coercive si

lim‖u‖→∞; u∈U

f(u) = 0. (14.3)

Corollaire 2 Soit une fonction f continue et coercive f : Rn → R. Il existe un minimum u∗ def(u) sur Rn.

Fonctions dérivables

Pour les fonctions dérivables, on peut préciser une condition nécessaire pour qu'un point donnéde U soit un optimum local.

Théorème 14 (condition nécessaire du premier ordre) Soit f : O ⊂ Rn → R, avec O un

ensemble ouvert. Si f a un extremum local en u et est dérivable en u, f ′(u) = 0. Cette égalité

est appelée équation d'Euler.


Démonstration Supposons par exemple que f est un minimum en un point u. Soit h un vecteurxé et g(t) = f(u + th). g doit être minimale en 0. Donc, pour t > 0, (g(t)− g(0))/t > 0 et

limt→0

g(t)− g(0)

h= g′(0) > 0, (14.4)

et de même, pour t < 0, (g(t)− g(0))/t < 0 et

limt←0

g(t)− g(0)

h= g′(0) < 0. (14.5)

Donc nalement, f ′(u)h = g′(0) = 0. Cette relation étant vériée pour tout h xé, on a f ′(u) = 0.

Dans le cas où le domaine de dénition de f n'est pas forcément un ouvert, on a une conditionnécessaire d'optimalité plus générale :

Théorème 15 (condition nécessaire du premier ordre) Si u∗ est minimum local de f :U ⊂ Rn → R, pour toute direction admissible d en u∗,

[∇f(u∗)]Td ≥ 0. (14.6)

Cette inégalité est appelée inégalité d'Euler.

Démonstration La démonstration de ce résultat est assez directe ; Il sut de considérer ledéveloppement de Taylor du premier ordre de f . En changeant le signe de l'inégalité d'Euler, onvérie facilement que si u∗ est un point intérieur de U , alors toutes les directions sont admissibleset par suite le théorème conduit à la condition nécessaire bien connue d'optimalité en un pointd'un ensemble ouvert, donnée par ∇f(u∗) = 0, présentée dans le théorème 14.

Fonctions deux fois dérivables

De la même façon que le développement de Taylor au premier ordre permet d'exprimer une con-dition nécessaire d'optimalité, le développement de Taylor au second ordre permet de compléterce résultat pour les fonctions deux fois dérivables, en précisant le caractère minimal ou maximalde l'optimum considéré.

Théorème 16 (condition nécessaire du second ordre) Si u∗ est minimum local de f :U ⊂ Rn → R, pour toute direction admissible d en u∗, une des deux conditions suivantes est

nécéssairement vériée

1. [∇f(u∗)]Td ≥ 0,

2. [∇f(u∗)]Td = 0 et dT∇2f(u∗)d ≥ 0.

Notons que la condition nécessaire du théorème 16 n'est pas susante, comme on peut le voirpar exemple pour la fonction f : R→ R, f(v) = v3 au point v = 0.


14.3 Conditions susantes d'optimalité

On a vu que si f : U ⊂ Rn → R est deux fois dérivable en u ∈ U et si u est un minimumrelatif de f , alors pour toute direction admissible d, dT∇2f(u)d ≥ 0. On peut montrer quel'existence de dérivées secondes permet d'obtenir des conditions non seulement nécessaires maisencore susantes :

Théorème 17 (conditions susantes du second ordre) Soit f : O ⊂ Rn → R, dérivabledans l'ensemble ouvert O, et u ∈ O tel que ∇f(u) = 0. Alors, si f est deux fois dérivable en u et si

∃α > 0, ∀d ⊂ Rn, dT [∇2f(u)]d ≥ α ‖ d ‖2, (14.7)

alors f admet un minimum local strict en u.

Si f est deux fois dérivable sur une boule B(u, r) ⊂ O, avec

∀d ⊂ Rn, dT [∇2f(v)]d ≥ 0, (14.8)

alors f admet un minimum local en u.

Remarque On voit que la deuxième partie de l'énoncé est rendue nécessaire car la condition(14.7) n'est plus valable pour α = 0. En eet, il sut pour s'en convaincre de considérer lafonction f : R→ R, f(v) = v4 en 0.

14.4 Convexité et optimalité

L'objectif est ici de rappeler les dénitions et propriétés de base associées à la convexité et montrerqu'elles permettent de préciser le caractère global d'un optimum. Ce caractère global d'optimauxlocaux constitue probablement la propriété la plus remarquable des fonctions convexes.

14.4.1 Dénitions

Commençons par quelques dénitions.

Dénition 3 On dit qu'un ensemble U est convexe si pour x,y ∈ U le segment [x,y] est dansU , c'est à dire que

∀ x,y ∈ U, ∀α ∈ [0, 1], αx + (1− α)y ∈ U. (14.9)

Les sous espaces vectoriels et les boules ouvertes ou fermées sont des exemples d'ensemblesconvexes.


Dénition 4 Une fonction f est convexe sur l'ensemble convexe U si

∀u,v ∈ U,∀θ ∈ [0, 1], f(θu + (1− θ)v) ≤ θf(u) + (1− θ)f(v). (14.10)

Notons que la dénition de la convexité d'une fonction est généralement associée (comme s'estici le cas pour notre dénition) à la convexité de son ensemble de dénition. C'est en eet dansce cadre que les propriétés des fonctions convexes sont les plus riches.

On dit que f est strictement convexe si

∀ u,v ∈ U,u 6= v,∀θ ∈]0, 1[, f(θu + (1− θ)v) < θf(u) + (1− θ)f(v). (14.11)

On dit que f est concave si −f est convexe. Les résultats suivants permettent de caractériser laconvexité pour des fonctions une ou deux fois dérivables.

14.4.2 Caractérisations de la convexité

Les théorèmes suivant permettent de caractériser la convexité des fonctions à partir de propriétésde leurs dérivées première et seconde.

Théorème 18 (Convexité et dérivées premières) Soit f : U ⊂ Rn ⇒ R, dérivable, avec Uconvexe.

f convexe ⇔ ∀u,v ∈ U, f(v) ≥ f(u) + f ′(u)(v − u)

f strictement convexe ⇔ ∀u,v ∈ U, u 6= v f(v) > f(u) + f ′(u)(v − u).

Ce théorème indique que le graphe d'une fonction convexe se trouve au dessus des tangeantes enchacun de ses points.

Théorème 19 (convexité et dérivées secondes) Soit f : U ⊂ Rn ⇒ R, deux fois dérivable,

avec U convexe.

f convexe ⇔ ∀u,v ∈ U, (v − u)T [∇2(f)(u)](v − u) ≥ 0,

f strictement convexe ⇐ ∀u,v ∈ U, u 6= v (v − u)T [∇2f(u)](v − u) > 0.

Notons que la réciproque de la dernière implication est fauss, comme on l'a vu dans l'exemple dela remarque à la n du paragraphe 14.3 (prendre par exemple f : R→ R, f(v) = v4, en v = 0).

Pour un point u intérieur à U , il apparaït donc que la convexité correspond à la positivité de lamatrice ∇2f(u).


Exemple f(v) = (1/2)vTAv − vTb. f est convexe si et seulement si A ≥ 0 et strictementconvexe si et seulement si A > 0.

Soit f : U ⊂ Rn → R, avec U convexe. On notrera que l'ensemble des directions admissibles enun point u de U est donné par les vecteurs v − u, avec v ∈ U .

14.4.3 Exemples de fonctions convexes

Les diverses propriétes des fonctions convexes énoncées plus haut permettent de vérier la con-vexité d'une fonction donnée. Notons qu'il n'est pas toujours aisé de vérier qu'une fonction esteectivement convexe. On pourra démontrer la convexité des fonctions suivantes à titre d'exer-cice.

Les fonctions suivantes f : R→ R sont convexes :

f(x) = ax+ b, x log x. (14.12)

Les fonctions suivantes f : Rn,→ R sont convexes :

f(x) = Ax + b avec A ≥ 0, ‖ x ‖, maxi=1,n

xi, log(∑i=1,n

xi), −(Πi=1,nxi). (14.13)

La fonction matricielle suivante f : Sn++,→ R, f(m) = log |M |, où Sn++ est l'ensemble desmatrices dénies positives de taille n, est convexe.

14.4.4 Minima des fonctions convexes

Dans le cas des fonctions convexes, l'inégalité d'Euler f ′(u)d ≥ 0, pour toute direction admissibled devient simplement

f ′(u)(v − u) ≥ 0,∀v ∈ U. (14.14)

De plus, le théorème suivant montre le fait remarquable que dans le cas convexe le caractère néces-saire de cette condition d'optimalité est également susant. Le caractère susant ne nécessitepas ici de faire intervenir explicitement de condition du second ordre. Cela est bien compréhen-sible car les conditions susantes d'optimalité du second ordre décrites au pagraphe 14.3 sontimplicitement satisfaites par la convexité de la fonction f d'après le théorème (19). Le caractèreglobal des optima locaux dans le cas convexe est également mis en évidence par le théorèmesuivant :

Théorème 20 (Condition nécessaire et susante d'optimalité des fonctions convexes)

Soit f : U ⊂ Rn → R, avec U et f convexes.

Un minimum relatif de f sur U est un minimum global.


Si f est strictement convexe, elle admet un minimum au plus, et c'est alors un minimum strict.

Si f est dérivable en u ∈ U , f est minimum en u par rapport à U si et seulement si ∀v ∈ U ,f ′(u)(v − u) ≥ 0.

Si U est un ouvert, la condition 3) est équivalente à l'équation d'Euler f ′(u) = 0.

Exemple Si u ∈ Rn, c ∈ Rm, avec m ≥ n, et f(u) =‖ Bu − c ‖2. f est convexe, f ′(u) =BTBu −BT c, et tout optimum global vérie BTBu = BT c. Si B est de rang n, il s'agit d'unoptimum strict, et il est égal à u∗ = (BTB)−1BT c. Ce résultat conrme l'optimalité globale deu∗ comme minimum du critère des moindre carrés étudié dans le cadre de l'analyse numériquematricielle.

14.5 Fonctions quadratiques et elliptiques

On va maintenant s'intéresser à des fonctions convexes particulières que sont les fonctions quadra-tiques coercive et leurs extensions que constituent les fonctions elliptiques. Les fonctions ellip-tiques présentent l'avantage de pouvoir être optimisées aux moyens d'algorithmes d'optimisationitératifs généraux qui seront décrits au chapitre suivant.

Fonctions quadratiques

Soit f(v) = (1/2)vTAv − vTb, avec A est dénie positive, c 'est à dire que ∃α > 0, A ≥ αI.Alors, il est clair que f est strictement convexe puisque ∇2f = A > 0. f admet donc un minimumglobal unique.

Fonctions elliptiques

Dénition 5 Une fonction f : U → R, avec U convexe, est dite elliptique si f est continuement

dérivable

∃α > 0, ∀u,v ∈ U, (∇f(v)−∇f(u))T (v − u) ≥ α ‖ v − u ‖2 . (14.15)

Bien entendu, la fonction quadratique f(v) = (1/2)vTAv − vTb, avec A > 0 est elliptique.Notons que parfois cette dénition ne suppose pas la convexité de U , que l'on rajoute alorscomme hypothèse dans le théorème suivant qui montre que l'ellipticité est une propriété trèsforte, impliquant en particulier la convexité :

Théorème 21 1. Si f est elliptique, elle est strictement convexe et coercive, avec de plus

∃α, ∀u,v ∈ U, f(v) ≥ f(u) +∇f(u)T (v − u) +α

2‖ v − u ‖2 . (14.16)


2. Si U est non vide et fermé, et f elliptique, le problème f admet une solution unique.

3. f , deux fois dérivable, est elliptique si et seulement si

∀u,v ∈ U, (v − u)T [∇2f(u)](v − u) ≥ α ‖ v − u ‖2 . (14.17)

Bien entendu, du fait de sa convexité une fonction elliptique bébécie en particulier de toutesles propriétés dévellopées au paragraphe 14.4. Notons de plus que la propriété (14.16) est unepropriété équivalente à la propriété de convexité forte[5] qui est dénie par

∃α, ∀u,v ∈ U, ∀θ ∈ [0, 1] f(θu+(1−θ)v) ≤ θf(u)+(1−θ)f(v)+α

2θ(1−θ) ‖ v−u ‖2 . (14.18)

Chapitre 15

Algorithmes d'optimisation sans

contraintes

15.1 Introduction

En l'absence de contraintes sur le support de la fonction f , on s'intéresse à des algorithmes derecherche de racines de l'équation d'Euler f ′(u) = 0. L'algorithme de Newton et ses variantes(appelées algorithmes quasi-Newton) permettent d'atteindre un tel point. Parmi ces variantes,l'algorithme du gradient est réputé pour sa simplicité de mise en oeuvre. De façon générale, lesalgorithmes abordés ici visent à construire une suite de points (uk)k≥0, tels que

uk+1 = uk + αkdk, (15.1)

où dk est une direction de descente de l'algorithme.

Direction de descente et choix du pas

Les diérents algorithmes présentés ci dessous seront essentiellement caractérisés par leur direc-tion de descente.

Le choix du pas αk de l'algorithme de descente constitue le deuxième élément à prendre encompte pour la construction d'un algorithme de descente. Ainsi, au point uk, pour une directionde descente dk, le choix particulier d'un pas optimum conduit à prendre

αk = arg minρf(uk + ρdk). (15.2)

Ce choix est intéressant du point de vue de la vitesse de convergence en terme de nombred'itérations de l'algorithme à eectuer sur l'indice k, mais exige à chaque fois la résolution d'unproblème de minimisation scalaire, pouvant lui même être résolu de façon itérative. Par suite,cette stratégie peut s'avérer moins rapide

93

CHAPITRE 15. ALGORITHMES D'OPTIMISATION SANS CONTRAINTES 94

15.2 Méthode de relaxation

Face au problème du choix d'une direction de descente, une stratégie simple consiste à considéreritérativement chaque axe de coordonnées comme direction de déplacement. On cherche alors àminimiser la fonction vis à vis de chacune de ses composantes itérativement puis à répéter laprocédure jusqu'à la convergence de l'algorithme qui est obtenue lorsque la valeur du critère fn'évolue plus.

Ainsi, à l'itération k, partant d'un point courant uk = (uk,1, . . . ,uk,n), on calcul successivementuk+1,1 = arg minv f(v,u0,2, . . . ,u0,n), uk+1,2 = arg minv f(uk+1,1v,u0,3, . . . ,u0,n),. . . , uk+1,n =arg minv f(uk+1,1, . . . ,uk+1,n−1, v). On réitère ensuite l'opération en partant de uk+1 = (uk+1,1, . . . ,uk+1,n).

En l'absence de contraintes de support sur f le comportement de la méthode de relaxation estsatisfaisant comme l'indique le théorème suivant :

Théorème 22 Si f : Rn → R est elliptique, la méthode de relaxation converge.

On verra dans le cadre de l'optimisation sous contraintes que si U 6= Rn, ce résultat n'est plusvrai en général.

Dans le cas d'un critère f quadratique la méthode de relaxation conduit simplement à la réso-lution d'un système linéaire par la méthode de Gauss-Seidel, présentée dans le cadre de larésolution des systèmes d'équations linéaires. Aussi, la méthode de relaxation est encore parfoisappelée méthode de Gauss-Seidel, même quand f n'est pas une fonction quadratique.

15.3 Algorithme du gradient

On suppose ici que f est dérivable. Le développement au premier ordre de f conduit donc à

f(uk + w) = f(uk) +∇f(uk)Tw+ ‖ w ‖ ε(w), (15.3)

avec limw→0 ε(w) = 0. Il apparaît donc qu'en posant w = −αk∇f(uk), avec ‖ w ‖ susammentpetit et αk > 0, on a f(uk + w) ≤ f(uk), et −∇f(uk) est bien une direction de descente. Ainsi,on obtient la forme générale de l'algorithme du gradient qui s'écrit :

uk+1 = uk − αk∇f(uk). (15.4)

15.3.1 Choix du pas et convergence

Pas optimal

L'optimisation du pas αk conduit à la méthode du gradient à pas optimal :

αk = arg minρf(uk − ρ∇f(uk)). (15.5)


Théorème 23 Si f : Rn → R est elliptique, la méthode de gradient à pas optimal converge.

Exercice Considérons la fonction quadratique elliptique f(v) = (1/2)vTAv−bTv. Vériez quele pas optimum est donné par

αk =‖ Auk − b ‖2

(Auk − b)TA(Auk − b). (15.6)

Quel peut être l'intérêt de l'algorithme du gadient par rapport à une inversion directe des équa-tions normales ?

Pas constant et pas décroissant

D'autres stratégies, moins couteuses, mais conduisant généralement à un plus grand nombred'itérations, consistent à choisir un pas constant ou un pas décroissant.

Pas décroissant et gradient normalisé

Lorsqu'on norme le gradient à chaque itération, on dispose d'un résultat de convergence intéres-sant (voir par exemple [9]) :

Théorème 24 Pour un algorithme du gradient dont la suite des pas αk décroit vers 0, avec

limk→∞

αk = 0, et∑k=0,∞

αk = +∞, (15.7)

l'algorithme du gradient déni par

uk+1 = uk − αk∇f(uk)

‖ ∇f(uk) ‖(15.8)

converge vers un minimum local de f .

Convergence

Pour des fonctions elliptiques, on obtient le résultat de convergence suivant :

Théorème 25 . Si f : Rn → R est dérivable et si ∃α,M > 0 tels que ∀u,v ∈ Rn

(∇f(v)−∇f(v))T (v − u) ≥ α ‖ v − u ‖2

‖ ∇f(v)−∇f(v) ‖2 ≤M ‖ v − u ‖2,(15.9)

et a, b > 0 tels que 0 < a ≤ αk ≤ b < (2α/M2), la méthode du gradient converge et

∃β < 1, ‖ uk − u ‖≤ βk ‖ u0 − u ‖ . (15.10)


Notons que la première condition n'est autre que la condition d'ellipticité, tandis que la secondeénonce la caractère Lipshtzien 1 du gradient ∇f qui indique que le gradient ne doit pas variertrop rapidement.

Voici le code d'un exemple simple o on cherche le minimum de la fonction de RosenBroeckdnie par f(x, y) = 50 ∗ (y − x2)2 + (1− x)2 par la mthode du gradient pour un pas dcroissantαk = 1/

√k. Pour ce choix, la convergence est obtenue au bout de 5000 itrations

f = @(x,y) 50*(y-x^2)^2+(1-x)^2;

grad_f = @(x,y)[-200*x*(y-x^2)-2*(1-x); 100*(y-x^2)];

pt = [-2; 9]; % initialisation

pt_min = [1; 1]; % point o le critre est minimum

nb_iter = 1000;

err = norm(pt-pt_min);

for k=1:10000,

x = pt(1);

y = pt(2);

g = [-200*x*(y-x^2)-2*(1-x); 100*(y-x^2)]; % gradient du critre

pas = 1/k^0.5;

pt = pt - pas*g/(norm(g)+eps);

err = [err norm(pt-pt_min)];

end;

plot(err)

15.4 Méthode de Newton

15.4.1 Principe

La mise en oeuvre de la méthode de Newton suppose que f ∈ C2 et consiste à considérer enchaque point uk l'approximation quadratique de f fournie par son développement de Taylor àl'ordre 2 au voisinage de uk. Ainsi, si

f(v) = f(u) +∇f(u)T (v − u) +1

2(v − u)T [∇2f(u)]T (v − u)+ ‖ v − u ‖2 ε(v − u), (15.11)

avec limw→0 ε(w) = 0, l'approximation quadratique

f(v) = f(u) +∇f(u)T (v − u) +1

2(v − u)T [∇2f(u)]T (v − u), (15.12)

sera optimale au point v tel que ∇f(v) = 0, c'est à dire pour ∇f(u) +∇2f(u)T (v−u) = 0. Enposant uk = u et uk+1 = v, on obtient l'expression de l'algorithme de Ne wton :

uk+1 = uk − [∇2f(u)]−1∇f(u). (15.13)

1. une fonction g est dite Lipschitzienne de rapport M si ∀u,v, ‖ g(u)− g(v) ‖2 ≤M ‖ u− v ‖2.


Pour rester dans les conditions de validité de l'approximation quadratique, c'est à dire pourassurer que ‖ uk+1 − uk ‖ reste petit, on utilise souvent l'algorithme sous la forme uk+1 = uk −αk[∇2f(u)]−1∇f(u), avec 0 < αk < 1. Notons que pour pouvoir mettre en oeuvre l'algorithmede Newton, il faut que f soit deux fois dérivable et que ∇2f(u) soit inversible.

Nous reprennons la fonction de Rosenbroeck, f(x, y) = 50 ∗ (y−x2)2 + (1−x)2, dont on cherchemaintenant calculer le minimum par la mthode de Newton. On voit que maintenant la conver-gence est obtenue aprs quelques itrations.

f = @(x,y) 50*(y-x.^2).^2+(1-x).^2;

grad_f = @(x,y)[-200*x*(y-x^2)-2*(1-x); 100*(y-x^2)];

hess_f = @(x,y)[-200*(y-x^2)+400*x^2+2 -200*x; -200*x 100];

pt = [-2; 9]; % initialisation

pt_min = [1; 1]; % point o le critre est minimum

err = norm(pt-pt_min);

nb_iter = 10;

for k=1:nb_iter,

x = pt(1);

y = pt(2);

pt = pt - inv(hess_f(x,y))*grad_f(x,y);

err = [err norm(pt-pt_min)];

end;

plot(err)

15.4.2 Autre interprétation dans le cas scalaire

Supposons que Rn = R et posons g(u) = f ′(u). L'algorithme de Newton s'écrit alors uk+1 =uk−[g′(u)]−1g(u). Un simple graphique montre clairement que uk+1 représente l'intersection avecl'axe des x de la tangente au graphe de g au point (uk, g(uk)).L'algorithme de Newton permetdonc la recherche itérative d'une racine de l'équation g(u) = 0. C'est pourquoi les algorithmes deNewton sont présentés soit comme des algorithmes de recherche de la solution d'une équation,soit comme des algorithmes de recherche du minimum d'une fonction.

15.4.3 Méthodes de type quasi-Newton

L'inversibilité de ∇2f et la complexité du calcul de cette inverse sont deux contraintes fortes del'algorithme de Newton. Aussi, on peut envisager des simplications numériques de l'algorithme,consistant par exemple à garder la même matrice ∇2f(xk) pendant plusieurs itérations ou àprendre toujours la même matrice. Finalement, on obtient une famille d'algorithmes de formegénérale

xk+1 = xk −A−1k ∇f(xk) (15.14)

Ainsi, pour Ak = αkI, on retrouve un algorithme du gradient. En prenant Ak = I et en posant∇f(xk) = g(xk), l'algorithme xk+1 = xk−g(xk) qui cherche itérativement un zéro de la fonctiong est appelé méthode des approximations successives.


Exemple [6] Pour g(x) = x2−1/4, la convergence de la méthode des approximations successivesn'est assurée que pour x0 ∈ [−1/2, 3/2]. Plus précisémment, ] − 1/2, 3/2[ représente le bassind'attraction de la racine 1/2 et −1/2, 3/2 le domaine d'attraction de la racine −1/2.

Des conditions de convergence de l'algorithme (15.14) portant sur la séquence des matrices(Ak)k≥0 pourront être trouvées par exemple dans [6].

15.4.4 Convergence

Pour décrire la convergence les diverses variantes de la méthode de newton dans un même for-malisme, on considére des algorithmes de la forme

xk+1 = xk − [Ak(xk′)]−1∇f(xk), et 0 ≤ k′ ≤ k. (15.15)

avec Ak(x) inversible ∀x ∈ O. On indique ici des conditions susantes de convergence d'un telalgorithme.

Théorème 26 Soit f : O ⊂ Rn → R. On suppose que f ∈ C2(O). S'il existe r,M, β, tels que

B(x0, r) ⊂ O (r > 0), β < 1 et

1. supk≥0 supx∈B(x0,r) ‖ A−1k (x) ‖≤M

2. supk≥0 supx,x′∈B(x0,r) ‖ ∇2f(x)−Ak(x

′) ‖≤ β

M,

3. ‖ ∇f(x0) ‖≤ rM (1− β),

alors, la suite (xk)k≥0 est dans B(x0, r), et converge vers un zéro de ∇f qui est le seul zéro de

∇f dans B(x0, r), noté a. La convergence est géométrique :

‖ xk − a ‖≤ βk

1− β‖ x1 − x0 ‖ . (15.16)

Dans le cas où Ak(x) ne dépend pas de x, on a le résultat suivant

Théorème 27 Si f ∈ C2(O), avec ∇f(a) = 0, A = ∇2f(a) inversible et

supk≥0‖ Ak −A ‖<

(1/2)

‖ A−1 ‖, (15.17)

alors, il existe r > 0 tel que ∀x0 ∈ B(a, r) la suite

xk+1 = xk −A−1k ∇f(xk) (15.18)

soit contenue dans B(a, r) et converge vers a. De plus, a est la seule racine de ∇f = 0 dans

B(a, r). La convergence est géométrique :

∃β < 1, ‖ xk − a ‖≤ βk ‖ x0 − a ‖ . (15.19)

Remarque L'utilisation de ce dernier théorème suppose la connaissance préalable du point a.


15.4.5 L'algorithme de Levenberg-Marquart

Pour les algorithmes généraux de la forme xk+1 = xk −A−1k ∇f(xk), le développement de f auvoisinage de xk conduit à

f(xk+1) = f(xk)−∇T f(xk)[Ak(xk′)]−1∇f(xk)+ ‖ xk+1 − xk ‖ ε(xk+1 − xk), (15.20)

avec limx→0 ε(x) = 0. On voit donc que si on peut négliger les termes du second ordre, −[Ak]−1×

∇f(xk) est une direction de descente dès lors que ∇T f(xk)[Ak]−1∇f(xk) > 0. Il sut pour cela

que la matrice Ak soit positive. Or, outre le coût de calcul de ∇2f , la matrice hessienne peut,dans le cas général, ne pas être positive à chaque itération. Une façon pratique de corriger ceproblème consiste à remplacer ∇2f(xk) par ∇2f(xk)+εkI, avec εk > 0 tel que ∇2f(xk)+εkI > 0.Pour tester la positivité de la matrice Ak = ∇2f(xk) + εkI, on peut augmenter εk tant que lafactorisation de Choleski ne peut pas être calculée. On a vu en eet dans la première partie,consacrée à l'analyse numérique, que cette factorisatin n'était dénie que pour des matricespositives. De plus, la connaissance de la factorisation ∇2f(xk) + εkI = LLT , avec L triangulairepermet le calcul aisé de la direction de descente dk = −[Ak]

−1∇f(xk), car il sut alors derésoudre le double système triangulaire d'équations linéaires LLTdk = −∇f(xk).

15.5 L'algorithme du gradient conjugué

On considère pour terminer ce chapitre une technique populaire de minimisation qui consiste àutiliser plus d'information sur f pour calculer la direction de descente qu'avec la méthode dugradient, sans pour autant être conduit au coût élevé de la méthode de Newton, qui nécessitele calcul du hessien et son inversion. A partir du point courant uk, on cherche ici uk+1 tel quef(uk+1) = minv∈Gk

f(uk + v), avec

Gk = ∑i=1,k

αi∇f(ui);α1, . . . , αk ∈ R. (15.21)

Pour une fonction quadratique elliptique f(v) = (1/2)vTAv−bTv, on peut vérier que uk+1 =uk − ρkdk, avec

ρk =dTk∇f(uk)

dTkAdk

et dk = ∇f(uk) +‖ ∇f(uk) ‖2

‖ ∇f(uk−1) ‖2dk−1.

(15.22)

Théorème 28 Si f : Rn → R est quadratique et elliptique la méthode de gradient conjugué

converge en n itérations au plus.

Dans le cas général, pour une fonction f non nécesairement quadratique, on préfère souventutiliser la méthode de gradient conjugué de Polak et Ribière pour laquelle

dk = ∇f(uk) +[∇f(uk)]

T (∇f(uk)−∇f(uk−1))

‖ ∇f(uk−1) ‖2dk−1. (15.23)

Chapitre 16

Optimisation sous contraintes : critères

d'optimalité

16.1 Le théorème des fonctions implicites

Le théorème des fonctions implicites [2, 6] joue un rôle important dans la justicationde l'introduction du Lagrangien qui sera présenté un peu plus loin et constitue un outil debase pour l'étude des conditions nécessaires et susantes des problèmes d'optimisation souscontraintes d'égalité ou d'inégalité.

Soit g : Rn → Rm. On cherche ici à savoir si étant donné un point a = (a1,a2), avec f(a1,a2) = b,il existe un voisinage Va1 × Va2 de ce point tel que la courbe de niveau g(x1,x2) = b sur cevoisinage soit paramétrée par une fonction h telle que x2 = h(x1) ; C'est à dire que pour tous lescouples (x1,x2) de ce voisinage tels que g(x1,x2) = b, on ait x2 = h(x1).

Théorème 29 Soit g : O ⊂ Rn−m × Rm → Rm, (x1,x2) 7→ g(x1,x2) de classe C1. Supposonsque f(a1,a2) = b, et que la matrice jacobienne ∂2g(a1,a2), de taille m × m, soit inversible.

Alors, il existe un voisinage ouvert O1×O2 de (a1,a2) et une fonction h : Rn−m → Rm continue

appelée fonction implicite, telle que

(x1,x2) ∈ O1 ×O2; g(x1,x2) = b = (x, h(x));x ∈ O1 . (16.1)

De plus, h est dérivable et

h′(a1) = −[∂2g(a1,a2)]−1∂1g(a1,a2). (16.2)

16.2 Points réguliers et espace tangent

On considère dans la suite deux ensembles de fonctions dérivables f1, . . . , fm et fm+1, . . . , fm+pet on notera f e = (f1, . . . , fm)T et f i = (fm+1, . . . , fm+p)

T les vecteurs de fonctions associés re-

100

CHAPITRE 16. OPTIMISATION SOUS CONTRAINTES : CRITÈRES D'OPTIMALITÉ101

spectivement à des contraintes d'égalité et d'inégalité. On va maintenant préciser la notion derégularité d'un point satisfaisant un ensemble de contraintes de type égalité ou inégalité.

16.2.1 Contraintes d'égalité

L'ensemble V = x; f1(x) = 0, . . . , fm(x) = 0, où les fonctions fk sont de classe C1 est appelévariété diérentielle. et on dénira la notion de point régulier comme suit

Dénition 6 On dira qu'un point u ∈ V de V = x; f1(x) = 0, . . . , fm(x) = 0 est un point

régulier si les vecteurs ∇f1(u), . . . ,∇fm(u) forment une famille libre.

Dénition 7 L'espace tangent à V au point u est l'espace engendré par les tangentes en u aux

courbes dérivables de V passant par u.

On a le résultat suivant important pour la suite :

Théorème 30 L'espace tangent à V = x; f e(x) = 0 en un point régulier u coïncide avec

l'ensemble

Ker((f e)′(u)) = v; [∇fk(u)]Tv = 0, k = 1, . . . ,m = v; (f e)′(u)v = 0. (16.3)

Preuve Soit v un vecteur du plan tangent au point u. Il existe une courbe x(t), t ∈ R telle quex(0) = u et x′(0) = v. Comme f e(x(t)) = 0, [f e(x(t))]′ = (f e)′(x(t))x′(t) = 0. En particulier,pour t = 0, on obtient (f e)′(u)v = 0, soit v ∈ Ker((f e)′(u)).Réciproquement, soit v ∈ Ker((f e)′(u)). Montrons que v appartient au plan tangent à V en u.Soit

g : R× Rm → Rm; t×w 7→ g(t,w) = f e(u + tv +∇f e(u)w). (16.4)

Notons que g(0,0) = f e(u) et que ∇wg(t,w)|(t,w)=(0,0) = [∇f e(u)]T∇f e(u). Comme u est unpoint régulier, la matrice [∇f e(u)]T∇f e(u) est inversible. On peut donc appliquer le théorèmedes fonctions implicites : il existe une fonction w(t) dénie sur un voisinage de 0, sur lequel ona g(t,w(t)) = g(0,0) = 0.

Posons maintenantu(t) = u + tv +∇f e(u)w(t). (16.5)

Comme g(t,w(t)) = f e(u(t)) = 0,

d

dtf e(u(t))|t=0 = [∇f e(u)]T [v +∇f e(u)w(0)] = 0. (16.6)

Donc, w(0) = [(∇f e(u))T∇f e(u)]−1[∇f e(u)]Tv. Mais, comme v ∈ Ker((f e)′(u)), [∇f e(u)]Tv =0 et donc w(0) = 0. Par suite, u(t)(0) = v, ce qui montre que v appartient au plan tangent à Ven u puisque u(t) est une courbe de V dérivable sur un voisinage de u(0) = u.


16.2.2 Contraintes d'égalité et d'inégalité

Dans le cas où on est en présence de contraintes d'égalité f e(x) = 0 et d'inégalité f i(x) ≤ 0, lanotion de point régulier est dénie de façon plus générale que précédemment. En eet, pour lescontraintes de la forme f i(x) ≤ 0, en un point u xé l'égalité peut être atteinte pour certaines descomposantes de f i, auquel cas on dira que les contraintes sont actives, ou encore saturées, eton aura une inégalité stricte pour les autres équations de contrainte de f i(x). Dans ce dernier cas,on voit que le point u apparaît comme un point intérieur vis à vis des contraintes inactives en cepoint, ce qui conduira a prendre en compte cette particularité dans la description des conditionsd'optimalité, en particulier en modiant la dénition de la régularité en présence de contraintesd'inégalité.

En un point x on dénit l'ensemble

A(x) = i; fi(x) = 0, i = m+ 1, . . . ,m+ p . (16.7)

des indices des contraintes d'inégalité actives. La régularité d'un point est alors dénie commesuit

Dénition 8 On dira qu'un point u ∈ x; f e(x) = 0, f i(x) ≤ 0 est un point régulier si

l'ensemble des vecteurs ∇fi(u); i ∈ 1, . . . ,m ∪ A(u) est une famille libre.

16.3 conditions d'optimalité en présence de contraintes d'égalité

On considère le problème suivant min f(x)f e(x) = 0,

(16.8)

où f e : Rn → Rm; u 7→ f e(x) = (f1(x), . . . , fm(x))T .

16.3.1 Condition nécessaire d'optimalité

Condition nécessaire du premier ordre

Un résultat important réside dans le fait que si un point u estune solution du problème (16.8),alors le gradient de f en ce point doit être orthogonal au plan tangent. Cela ce traduit par lethéorème suivant :

Théorème 31 (Condition nécessaire du premier ordre) Si u est un point régulier et un

optimum local pour le problème (16.8), alors

∃λ ∈ Rm, ∇f(u) +∇f e(u)λ = 0. (16.9)


Dans la suite, on considérera classiquement le lagrangien du problème (16.8), déni par :

L(x, λ) = f(x) + f e(x)λ. (16.10)

Il est clair que la condition du premier ordre (16.9) précédente associée aux contraintes duproblème (16.8) s'exprime comme l'annulation du gradient du Lagrangien vis à vis de u et de λrespectivement :

∇vL(u, λ) = 0,∇λL(u, λ) = 0.

(16.11)

Les coecients (λi(u))i=1,m introduit ci dessus sont appelés multiplicateurs de Lagrange associésà l'extremum u.

Une démonstration du théorème faisant appel à la notion de dualité en programmation linéairesera présentée dans le chapitre sur la programmation linéaire. Une démonstration plus directeest fournie ici.

Preuve Considérons le plan tangent à V au point régulier u. Pour tout vecteur v de cet hyper-plan, on peut construire sur V une courbe y(t) de tangente v au point u. La condition d'opti-malité d

dtf(y(t))|t=0 = ∇f(u)Tv = 0 montre que ∇f(u) est orthogonal à l'hyperplan tangent,et donc appartient à l'espace engendré par les vecteurs colonnes de ∇f e(u), d'après le théorème30. Puisque ∇f(u) est dans l'espace image de la matrice ∇f e(u), il existe une vecteur d ∈ Rmtel que ∇f(u) = ∇f e(u)d et en posant λ = −d, on obtient nalement ∇f(u) +∇f e(u)λ = 0.

Exemple On peut vérier que pour le problèmef(v) = 1

2vTAv − vTb

U = v ∈ Rn;Cv = d,(16.12)

où A est une matrice symétrique (AT = A), la condition nécessaire d'optimalité (16.9) s'écritA CT

C 0

u

λ

=

b

d

. (16.13)

Exercice Montrez que si A est inversible et si C, de taille m × n est de rang m, la matrice del'équation (16.13) est inversible. Exprimer la solution u en fonction de A,b,C et d.

Conditions du second ordre

Si f, f e ∈ C2, les conditions nécessaires et susantes du second ordre établies dans le cadrede l'optimisation sans constraintes se généralise en des condidtions analogues portant ici sur larestriction de la dérivée seconde du lagrangien à l'espace tangent.

Rappelons que le lagrangien et ses dérivées sur u sont donnés par

L(u, λ) = f(u) + λT f e(u),∇uL(u, λ) = ∇f(u) +∇f e(u)λ,∇2

uL(u, λ) = ∇2f(u) +∑

i=1,m λi∇2fi(u).(16.14)


Théorème 32 (Conditions nécessaires du second ordre) Si u est un minimum local régulier

du problème (16.8), alors

∃λ ⊂ Rm, ∇uL(u, λ) = 0

∀v ∈ Ker((f e)′(u)), vT [∇2uL(u, λ)]v ≥ 0.

(16.15)

Preuve Soit x(t) une courbe de V = v, ; f e(v) = 0, avec x(0) = u et = x(0) = v. La conditionnécessaire du second ordre pour l'optimisation sans contrainte montre que l'on doit avoir

d2

dt2[f(x(t))]t=0 =

d

dt[(x(t))T∇f(x(t))]t=0 = vT∇2f(u)v + [x(0)]T∇f(u) ≥ 0. (16.16)

En dérivant par ailleurs deux fois la relation λT f e(x(t)) en 0, on obtient

d2

dt2[λT f e(x(t))]t=0 =

d

dt[(dx

dt)T∇f e(x(t))λ]t=0 = vT

∑i=1,m

∇2λifi(u) +d2xT

dt2(0)∇f e(u)λ ≥ 0.

(16.17)En additionnant les relations (16.16) et (16.17) et en prenant en compte la relation ∇uL(u, λ) =0, déjà établie dans le théorème 31, on obtient directement la relation vT [∇2

uL(u, λ)]v ≥ 0.

Comme pour le cas non contraint, la condition nécessaire de positivité de la matrice hessiennedevient là encore une condition susante dès lors qu'on peut en assurer la positivité stricte. Icicomme pour la condition nécessaire ce dessus il s'agit de la positivité du hessien du lagrangienrestreinte au sous espace tangent.

Théorème 33 (Conditions susantes du second ordre) Si u est un point régulier de f e etsi

∃λ ⊂ Rm, ∇uL(u, λ) = 0

∀v ∈ Ker((f e)′(u)), vT [∇2uL(u, λ)]v > 0,

(16.18)

alors, u est un minimum local strict du problème (16.8).

Preuve On va faire une démonstration par l'absurde. Si u satisfait aux hypothèses du théorèmemais n'est pas un optimum local strict, il existe une suite (uk)k≥1 de V qui converge vers u ettelle que f(uk) ≥ f(u). On pose uk = u + ρkdk, avec ‖ dk ‖= 1. La suite (dk)k≥1 étant bornée,elle admet une sous suite convergente. Pour simplier les écritures et sans perte de généralité,on pourra supposer ici que la suite (dk)k≥1 est elle même convergente vers une certaine valeur,notée d. On considère ici les formules de Taylor du second ordre appliquées aux fonctions f et(fi)i=1,m et données par

0 = fi(uk)− fi(u) = ρk∇fi(u)Tdk +ρ2k2dTk [∇2fi(u)]dk + ρ2kεi(ρk)

0 ≥ f(uk)− f(u) = ρk∇f(u)Tdk +ρ2k2dTk [∇2f(u)]dk + ρ2kε(ρk)

(16.19)


avec limρ→0 εi(ρ) pour i = 0, 1, . . . ,m. En multipliant les premières relations par les coecientsλi correspondants, en les additionnant à la dernière relation, et en prenant en compte la relation∇uL(u, λ) = 0, il vient que dTk∇2

uL(u, λ)dk + ε(ρk) ≤ 0, avec ε(ρ) = ε0(ρ) +∑

i=1,m λiεi(ρ). En

passant à la limite, il vient que limk→∞ dTk∇2uL(u, λ)dk + ε(ρk) = dT∇2

uL(u, λ)d ≤ 0.

Notons maintenant que [fi(uk) − fi(u)]/ρk = ∇fi(u)Tdk + α(ρk) = 0, avec limk→∞ ρk = 0 etlimρ→∞ α(ρ) = 0. Il apparaît donc en passant à la limite que limk→∞∇fi(u)Tdk = ∇fi(u)Td =0. Donc d ∈ Ker((f e)′(u)) et dT∇2

uL(u, λ)d ≤ 0, ce qui contradictoire avec les hypothèses duthéorème, CQFD.

Remarque En pratique, la propriété ∀v ∈ Ker((f e)′(u)),vT [∇2uL(u, λ)]v > 0 peut être vériée

en considérant une base v1, . . . ,vn−m de l'espace tangent à V au point u et en construisant lamatriceV = [v1, . . . ,vn−m] puis la matriceVT∇2

uL(u, λ)V dont il sut alors de tester la positiv-ité des valeurs propres. En eet, l'espace tangent s'écrit encore Vα; α ∈ Rn−m et la positivitéde la restriction de∇2

uL(u, λ) à cet espace s'écrit donc ∀α ∈ Rn−m−0, αVT∇2uL(u, λ)Vα > 0,

soit VT∇2uL(u, λ)V > 0.

De plus, soit il est facile de construire de façon directe une telle base V de l'orthogonal del'espace engendré par ∇f1(u), . . . ∇fm(u), soit on peut en construire une par un procédé sys-tématique par exemple à partir de la matrice de projection sur Ker((f e)′(u)). Rappelons icique la matrice de projection sur l'espace engendré par les colonnes d'une certaine matrice Ms'écrit M(MTM)−1MT (voir Eq. (3.32) de la première partie de ce document). par suite, la ma-trice de projection sur Ker((f e)′(u)) est I− (f e)′(u)

([(f e)′(u)]T (f e)′(u)

)−1[(f e)′(u)]T . On peut

en déduire une base de Ker((f e)′(u)) en extrayant par exemple une famille libre de dimensionmaximale (n−m) de la famille des vecteurs

vk =(I− (f e)′(u)

([(f e)′(u)]T (f e)′(u)

)−1[(f e)′(u)]T

)ek

= ek − (f e)′(u)([(f e)′(u)]T (f e)′(u)

)−1∇fek(u),(16.20)

où ek = (0, . . . , 0, 1, 0, . . . , 0)T est le kème vecteur de la base canaonique.

Exemple

Résoudre le problème d'optimisation suivant :min(x,y) x

2 + y2 − xyx2 + y2 − 4x− 4y + 6 = 0

(16.21)

Le lagrangien s'écrit L(x, y, λ) = x2 + y2 − xy + λ(x2 + y2 − 4x− 4y + 6) et

∇(x,y)L(x, y, λ) =

(2(1 + λ)x− y − 4λ2(1 + λ)y − x− 4λ

)= 0. (16.22)

En additionnant et en soustrayant les deux équations précédentes, on trouve que (2λ+1)(x+y) =8λ et (2λ+ 3)(x− y) = 0. De la deuxième équation, on déduit que x = y ou λ = −3/2.Si x = y,la contrainte se réécrit x2−4x+3 = (x−1)(x−3) = 0 et on en déduit que (x, y, λ) = (1, 1,−1/2)ou (x, y, λ) = (3, 3,−1/2). Si λ = −3/2, y = −x+ 8λ/(2λ+ 1) = 6− x et la contrainte se réécritx2 − 6x+ 9 = (x− 3)2 = 0, soit (x, y, λ) = (3,−3,−3/2).


Les solutions des conditions du premier ordre sont donc (x, y, λ) = (1, 1,−1/2), (x, y, λ) =(3, 3,−1/2) et (x, y, λ) = (3,−3,−3/2). La matrice hessienne s'écrit pour λ = −1/2

∇2(x,y)L(x, y, λ) =

(2(1 + λ) −1−1 2(1 + λ)

)=

(1 −1−1 1

)(16.23)

qui est positive, les valeurs propres valant 0 et 2. Le gradient de la fonction de contrainte vaut(2x − 4, 2y − 4)T . Il est donc colinéaire à (1, 1)T pour x = y et l'espace tangent est engendrépar le vecteur (1,−1)T .Comme (1,−1)T est le vecteur propre associé à la valeur propre nulle, lacondition susante du second ordre n'est pas vériée ici. De même, pour λ = −3/2, la matricehessienne a tous ses termes égaux à -1 et ses valeurs propres sont 0 et -2 ; Les conditions susantesdu second ordre ne sont donc pas vériées ici non plus.Finalement, il apparaît que les conditions nécessaires du premier ordre sont satisfaites pour (x, y)égal à (1, 1), (3, 3) ou (3,−3). Pour ces trois couples, le critère à optimiser vaut respectivement1, 9 et 27. Donc seul le point (1, 1) peut représenter le minimum global du problème. (1, 1) esteectivement la solution du problème d'après le théorème de Weierstrass (le critère est continuet la contrainte qui est une ellipse est bien un ensemble compact).

16.4 Conditions d'optimalité en présence de contraintes d'égalité

et d'inégalité

On considère mintenant le problème suivantmin f(x)f e(x) = 0,f i(x) ≤ 0,

(16.24)

où f e : Rn → Rm; x 7→ f e(x) = (f1(x), . . . , fm(x))T , et f i : Rn → Rm; u 7→ f i(x) =(fm+1(x), . . . , fm+p(x))T . On se limitera ici à l'étude de l'optimalité en des points réguliersau sens de la dénition 8, qui permet une dénition simple mais couvre un grand nombre desituations.

16.4.1 Condition nécessaire du premier ordre

Théorème 34 (conditions de Khun et Tucker) Si u est point régulier et un optimum local

du problème (16.24), alors,

∃λ ∈ Rm,∃µ ∈ Rp+, ∇f(u) +∇f e(u)λ+∇f i(u)µ = 0,f i(u)µ = 0.

(16.25)

Notons que la condition f i(u)µ = 0 associée à la positivité de µ et à la négativité de f i(u), seréécrit en fait ∀k = 1, . . . , p, µkf ik(u) = 0. Rappelons également que A(u) représente l'ensembledes indices des contraintes d'inégalité actives en u, c'est à dire les valeurs de k ∈ m+1, . . . ,m+ptelles que fk(u) = 0, les contraintes d'égalité étant quant-à elles bien entendu toujours activesen un point réalisable.


Preuve Pour les contraintes inactives, on a fk(u) < 0 et on xe µk = 0. Ainsi, on a bienf i(u)µ = 0. D'après le théorème 31, on a alors également

∃λ ∈ Rm,∃µ ∈ Rp,∇f(u) +∇f e(u)λ+∇f i(u)µ = 0. (16.26)

Il reste à vérier la positivité des composantes de µk pour k ∈ A(u). Eectuons une démon-stration par l'absurde en supposant qu'il existe k ∈ A(u) tel que µk < 0, Notons V−k(u) =v; f e(v) = 0, j ∈ A(u) − k ⇒ f ij(v) = 0. Comme u est un point régulier, ∇fk(u) n'ap-partient pas à l'espace normal au plan tangent au point u à la variété V−k(u), déni parv; [∇fj(u)]Tv = 0, j ∈ 1, . . . ,m ∪ (A(u) − k). Il existe donc un vecteur v de ce plantangent tel que ∇fk(u)Tv < 0. Comme ∇fj(u)Tv = 0 pour j ∈ 1, . . . ,m ∪ (A(u) − k) etµj = 0 pour j /∈ A(u), on trouve que

[∇f(u) +∇f e(u)λ+∇f i(u)µ]Tv = ∇f(u)Tv + µk∇fk(u)Tv = 0. (16.27)

Mais, puisque ∇fk(u)Tv < 0 et µk < 0, on doit alors avoir ∇f(u)Tv < 0. En utilisant lethéorème des fonctions implicites, on peut alors construire une courbe x(t) de V−k(u), et doncde l'ensemble des contraintes, avec t ≥ 0, telle que x(0) = u et x(0) = v. On aurait alorsl'inégalité d

dtf(x(t)) = ∇f(u)Tv < 0, qui est contraire à l'hypothèse de minimalité locale de u,CQFD.

16.4.2 Conditions du second ordre

Condition nécessaire

D'après le paragraphe précédent, il est clair que le théorème de condition nécessaire du secondordre présenté dans le cas de contraintes d'égalité s'étend directement au cas de contraintes d'iné-galité en intégrant à la condition les contraintes d'inégalité actives, ce qui conduit au théorèmesuivant :

Théorème 35 (Conditions nécessaires du second ordre) Si u est un minimum local régulier

du problème (16.24), alors

∃λ ∈ Rm, ∃µ ∈ Rp+, ∇f(u) +∇f e(u)λ+∇f i(u)µ = 0,

f i(u)µ = 0.

∀v ∈x ∇fk(u)Tx = 0, k ∈ 1, . . . ,m ∪ A(u)

, vT∇2

uL(u, λ, µ)v ≥ 0.(16.28)

Ici, le lagrangien L(u, λ, µ) est déni par L(u, λ, µ) = f(u) + f e(u)Tλ+ f i(u)Tµ, et son hessienest donné par

∇2uL(u, λ, µ) = ∇2

uf(u) +∑k=1,m

λk∇2ufek(u) +

∑k=1,p

µk∇2ufik(u). (16.29)


Remarques

i) Il se peut que pour une solution (u, λ, µ) des conditions de Khun et Tucker une contrainted'inégalité fk(u) ≤ 0 soit active, c'est à dire que fk(u) = 0, et que simultanément on ait µk = 0.ii) Pour traduire la positivité de la matrice ∇2

uL(u, λ, µ) pour les vecteurs de l'espace E(u) =v ∇fk(u)Tv = 0, k ∈ 1, . . . ,m ∪ A(u)

, il sut de dénir une base v1, . . . ,vl de cet espace

et la matriceV dont les colonnes sont constituées de ces vecteurs :V = [v1 . . .vl]. On pourra alorsmontrer à titre d'exercice que la positivité (resp. la positivité stricte) de ∇2

uL(u, λ, µ) restreinte àE(u) est équivalente à la positivité (resp. la positivité stricte) de la matrice VT [∇2

uL(u, λ, µ)]V.Cette propriété est utile en pratique pour vérier la condition susante énoncée ci dessous.

Condition susante

Théorème 36 (Conditions susantes du second ordre) Si u est un point régulier du

problème (16.24), avec f, (fk)k=1,...,m+p ∈ C2, et si

∃λ ∈ Rm, ∃µ ∈ Rp+, ∇f(u) +∇f e(u)λ+∇f i(u)µ = 0,

f i(u)µ = 0.

∀v ∈x ∇fk(u)Tx = 0, k ∈ 1, . . . ,m ∪ k;µk > 0

, vT∇2

uL(u, λ, µ)v > 0.(16.30)

alors u est un minimum local strict du problème (16.24).

Preuve On pourra faire la démonstration à titre d'exercice en reprenant, avec des notationsanalogues, la démonstration par l'absurde du théorème 33.

16.5 Lagrangien, points selles, et dualité

16.5.1 Points selles

Considérons le problème

(P )

min f(x)f i(x) ≤ 0.

(16.31)

Le lagrangien L(u, µ) est une fonction de Rn × Rp dans R. On dit que (u, µ) est un point sellede L si v→ L(v, µ) a un minimum en u et si ν → L(u, ν) a un maximum en µ.

Théorème 37 . Si (u, µ) est un point selle,

supν infv L(v, ν) = infv supν L(v, ν)

= L(u, µ).(16.32)


16.5.2 Problèmes primal et dual

Théorème 38 (problèmes primal et dual)

1. Soit L(v, µ) = f(v) +∑

i=1,p νkfik(v). Si (u, µ) ∈ Rn × Rp est un point selle de L,alors u

appartient à l'ensemble U = v; f ik(v) ≤ 0 et représente une solution du problème (16.31).

2. Si f et (f ik)i=1,p sont convexes et dérivables en un point régulier u qui est un minimum

local du problème (16.31), alors ∃µ ∈ Rp+, (u, µ) est un point selle de L.

L(v, µ) est appelé lagrangien associé au problème (P ).Si on connait la valeur de µ associée à un point selle, on est ramené au problème sans contraintesde la recherche d'un vecteur uµ tel que

(Pµ) L(uµ, µ) = infvL(v, µ). (16.33)

Pour trouver ce µ, il aura fallu résoudre

(D) ν ∈ Rp+, G(µ) = supν∈Rp

+

G(ν), avec G(µ) = infvL(v, ν). (16.34)

(P ) et (D) sont respectivement appelés problème primal et problème dual.

Théorème 39 (lien entre les problèmes primal et dual)

1) Si les (fkk )i=1,p sont continues et que ∀ν ∈ Rm+ (Pν) admet une unique solution uν , avecν → uµ continue, alors à une solution µ de (D) correspond une solution uµ qui est solution de

(P ).2) Si u est un point régulier solution de (P ), que f et les (f ik)i=1,p sont convexes et dérivables en

u, (D) admet au moins une solution.

Ainsi, avec les hypothèses précédentes,

(u, µ) est point selle de L ⇒ µ est solution de (D) µ est solution de (D) ⇒ (uµ, µ) est point selle de L.

Exemple. f(v) = 12v

TAv − vTb, et U = v;Cv ≤ d, C ∈ Rm × Rn. On a les relationssuivantes

L(v, µ) = 12v

TAv − vT (b−CTµ)− µTd

uµ = A−1(b−CTµ)

G(µ) = −12(b−CTµ)A−1(b−CTµ)− µTd

CA−1CT ≥ 0.

(16.35)

Donc −G(µ) admet un minimum, unique si C est de rang p, qui annule

∇G(µ) = −CA−1CTµ+ (CA−1b− d). (16.36)

Chapitre 17

Optimisation sous contraintes :

algorithmes

Ce chapitre, en cours de rédaction, présente quelques techniques d'optimisation pour les prob-lèmes contraints.

17.1 Extension des méthodes sans contraintes

Une première idée consiste, pour les problèmes contraints, à chercher à généraliser les techniquesdéveloppées pour les problèmes non contraints.

17.1.1 Méthode de relaxation

Théorème 40 Soit f : Rn → R elliptique. Si l'ensemble U des contraintes est de la forme

Πk=1,n[ai, bi] (ai, bi ∈ R), la méthode de relaxation converge.

L'extension du théorème à des ensembles plus généraux n'est pas immédiate (considérer parexemple le cas où f(v) = v21 + v22, et U = (v1, v2); v1 + v2 ≥ 2).

17.1.2 Théorème de projection et gradient projeté

Le théorème de projection est un outil d'usage courant pour l'optimisation dans les espaces deHilbert. Rappelons qu'un espace de Hilbert H est un espace vectoriel normé complet (c'est àdire tel que toute suite de Cauchy y est convergente) muni d'un produit scalaire. Dans un telespace, on a le résultat fondamental suivant appelé théorème de projection. On en donne iciun énonce retreint à Rn.

110

CHAPITRE 17. OPTIMISATION SOUS CONTRAINTES : ALGORITHMES 111

Théorème 41 Soit U ⊂ Rn un ensemble convexe fermé et non vide. Alors

∀x ∈ Rn, ∃!xP ∈ U, et ‖ x− xP ‖= infy∈U‖ x− y ‖ . (17.1)

xP est l'unique élément z de U tel que ∀y ∈ U , (z− x)T (y − z) ≥ 0.L'application P : x→ xP est telle que

∀x1,x2 ∈ Rn, ‖ x1P − x2P ‖≤‖ x1 − x2 ‖ . (17.2)

P est linéaire si et seulement si U est un sous espace vectoriel de Rn, auquel cas

∀y ∈ U,yT (xPx) = 0. (17.3)

Théorème 42 (Convergence de la méthode de gradient projeté). Soit f : Rn → R, et U ⊂ Rnest un ensemble convexe non vide. Si ∃α,M > 0, tels que ∀x,y ∈ Rn

(∇f(y)−∇f(x))T (y − x) ≥ α ‖ y − x ‖2

‖ ∇f(y)−∇f(x) ‖ ≤M ‖ y − x ‖,(17.4)

et a, b > 0 tels que 0 < a < ρk ≤ b < (2α/M2), la méthode du gradient projeté converge et

∃β < 1, ‖ uk − u ‖≤ βk ‖ u0 − u ‖ . (17.5)

Notons cependant que la construction de l'opérateur de projection PU est parfois dicile.

17.1.3 Méthode de point intérieur

Les méthodes de point intérieur visent à remplacer les contraintes du critère par un terme additifqui tend vers l'inni à la frontière du domaine des contraintes lorsqu'on augmente un paramètrede réglage d'adéquation aux contraintes que l'on notera ici t. Ainsi, au problème

minx f(x)

f i(x) ≤ 0, i = 1, . . . , p,(17.6)

on pourra associer le critère non contraint suivant

f(x) +1

t

∑i=1,p

ψ(−f i(x)), (17.7)

où ψ(z) est une fonction décroissante sur R+ qui présente une divergence en 0. En pratique,on cherchera à minimiser itérativement cette fonction tout en faisasnt croître la valeur de t.Typiquement, on prendra ψ(z) = log z.

La méthode de point intérieur constitue une technique de pénalisation interne qui conduit àdes algorithmes itératifs qui doivent être initialisés à l'intérieur du domaine des contraintes.


17.1.4 Méthode de pénalisation externe

On peut aussi envisager des méthodes de pénalisation externe qui consistent à remplacerles contraintes d'inégalité par une fonction nulle dans le domaine des contraintes et strictementpositive à l'extérieur. Indiquons ici un résultat de convergence pour une telle méthode.

Théorème 43 Soit f : Rn → R, coercive et strictement convexe, U ∈ Rn un ensemble non

vide, convexe et fermé, et ψ : Rn → R, continue, convexe et telle que ∀y ∈ Rn, ψ(y) ≥ 0, etψ(y) = 0⇔ y ∈ U . Alors,

∀ε > 0, ∃!ut ∈ Rn, f(ut) = infx∈Rn

[f(x) +1

εψ(x)], (17.8)

et lorsque ε→ 0, ut tend vers arg infy∈U f(y).

Notons qu'à la diérences des méthodes de points intérieur, la construction pratique de la fonctionψ peut s'avérer délicate pour une pénalisation externe.

17.1.5 Méthode d'Uzawa

Considérons de nouveau le problèmeminx f(x)

f i(x) ≤ 0, i = 1, . . . , p.(17.9)

Notons P+ la projection sur Rm+ : [P+µ]i = maxµi, 0. Le problème dual (D) peut être résolupar la méthode du gradient projeté :

µk+1 = P+(µk + ρ∇G(µk)), (17.10)

où ∇G(µ) = [f1(µ), . . . , fp(µ)]T .

Notons uµ = arg minv[f(v) +∑

i=1,p µifi(v)]. La méthode d'Uzawa consiste à calculer itéra-

tivement, à partir de µ0 xé, uk = uµk , puis µk+1 par la relation (17.10). On remplace ainsi leproblème contraint par une suite de problèmes non contraints.

Théorème 44 (convergence de la méthode d'Uzawa) Soit f : Rn → R, elliptique, et U = v ∈Rn;Cv ≤ d 6= ∅ (C ∈ Rp × Rn). Si 0 < ρ < 2α ‖ C ‖−2, où alpha satisfait la relation (14.15),

la suite (uk)k∈N converge vers l'unique solution de (P ). Si de plus C est de rang p, la suite

(µk)k∈N converge vers l'unique solution du problème dual (D).


Exemple f(v) = 12vTAv − vTb, et U = v;Cv ≤ d, C ∈ Rp × Rn. L'algorithme sécrit

uk = A−1(b−CTµk)

µk+1 = P+(µk + ρ∇G(µk))

= P+(µk + ρ(CA−1(b− fCTµk)− d))

= P+(µk + ρ(Cuk − d)).

(17.11)

Chapitre 18

Programmation linéaire

18.1 Le problème

On cherche à résoudre le problème d'estimation d'une fonction linéaire sous des contrainteslinéaires de type égalité ou inégalité :

(I)

max

∑j=1,n cjxj∑

j=1,nAijxj ≤ bi, i = 1,m

xi ≥ 0 i = 1, n

⇔

max

∑j=1,n+m cjxj∑

j=1,n+mAijxj = bi, i = 1,m

xi ≥ 0 i = 1, n+m

⇔

max z = cxAx = bx ≥ 0

⇔

maxx∈U z = cxU = x ∈ Rm+n;Ax = b,x ≥ 0

(18.1)

où on a posé, pour j > 0 Aij = δi,n+i. U est un polytope convexe, c'est à dire un sous ensembleconvexe de Rm+n dont la frontière est dénie par un nombre ni d'hyperplans. U a un nombreni de points extrèmes, c'est à dire de points qui ne se trouvent pas sur un segment ]a, b[ où aet b appartiennent à U .

Théorème 45 Si U est non vide et borné, minx∈U cx est atteint en au moins un point extrème

de U . Si le minimum est atteint en plusieurs points extrèmes, le convexe qu'ils engendrent est un

ensemble de solutions du problème.

18.2 Bases réalisables

On peut supposer que A est de rang m (sinon le système Ax = b n'a pas de solution ou estredondant, auquel cas on peut éliminer les équations redondantes). On appelle base une sous ma-trice AB de de taille m extraite de A et inversible. On note xB les composantes correspondantesde x. On a alors

z = cBxB + cBxB et Ax = ABxB + ABxB = b (18.2)

114

CHAPITRE 18. PROGRAMMATION LINÉAIRE 115

On appelle solution de base AB le vecteur x déni par xB = A−1B b et xB = 0. Une solution debase est dite réalisable si xB ≥ 0.

Théorème 46 L'ensemble des points extrèmes de U correspond à l'ensemble des solutions de

base réalisables

18.2.1 Solutions de base réalisables optimales

Le problème (I) se ramène donc à celui de la recherche des solutions de base réalisables optimales.Notons A = [ABAB] = [A1, . . . ,Am,Am+1, . . . ,Am+n].

xB + (A−1B AB)xB = A−1B b, (18.3)

doncz = cB[A−1B b− (A−1B AB)xB] + cBxB

= cBA−1B b−

∑j∈B[cBA

−1B Aj − cj ]xj .

(18.4)

Notons αj = cBA−1B Aj . On a alors le résultat suivant :

Théorème 47

[∀i ∈ B, αj − cj ≥ 0]⇒(

A−1B b0

)est une solution optimale. (18.5)

18.3 Changement de base réalisable

B étant une base réalisable, on cherche à la transformer en une nouvelle base : B → B′ =B − s + r où s et r correspondent aux indices des colonnes AS et AR de A qui sortent etentrent dans la base respectivement.

Proposition 3 B′ est une base si et seulement si [A−1B Ar]s 6= 0.

Preuve Cela provient du fait que∑i∈B,i 6=s

λiAi + λrAr = 0⇔∑

i∈B,i 6=sλiei + λrA

−1B Ar = 0. (18.6)

Cherchons à quelle condition la nouvelle base est réalisable.

[AB Ar

]×[x′Bx′r

]= b. (18.7)


avec x′s = 0. Donc,[I A−1B Ar

]×[x′Bx′r

]= A−1B b⇒ x′s + [(A−1B Ar)sx

′r] = (A−1B b)s (18.8)

Comme la base B est réalisable et que x′s = 0 est nulle pour la nouvelle solution de base,

x′r = (A−1B Ar)−1s (A−1B b)s. (18.9)

Comme la base B est réalisable, (A−1B b)s ≥ 0 et il faut que (A−1B Ar)s soit positif pour que x′r lesoit. De plus, dans la nouvelle base,∑

i∈B,i 6=sx′iei + (A−1B Ar)ix

′r = A−1B b. (18.10)

Donc,x′i = (A−1B b)i − (A−1B Ar)ix

′r, i 6= r. (18.11)

r étant xé, on choisit s tel que x′r = (A−1B Ar)−1s (A−1B b)s soit minimal. comme d'après les

relations (18.9) et (18.11) on a

x′i = (A−1B b)i

1− x′r

((A−1B b)i

(A−1B Ar)i

)−1 (18.12)

et il apparaît que le facteur de droite de légalité précédente est positif. De plus, xi = (A−1B b)i ≥ 0.POur le choix de s retenu, on assure bien la positivité de du vecteur de base x′.

18.4 algorithme du simplexe

Pour la valeur de s xée comme précédemment, cherchons r telle que B′ soit meilleure que B.B′ est meilleure que B si αr − cr > 0 (αr = cB(A−1B Ar)). En eet, d'aprés (18.4), la solution x′

dans la nouvelle base vérie

cx = = cBA−1B b−

∑j∈B′ [cBA

−1B Aj − cj ]x

′j

= cBA−1B b− (αr − cr)xr,

(18.13)

c'est à dire que z(x′) = z(x)− (αr−cr)xr. On voit donc que la décroissance du crtère est assuréesi αr − cr > 0. An de favoriser une decroissance forte du critère, on cherchera une valeurpositive minimale de αr − cr.

L'algorithme du simplexe implémente cette stratégie de façon itérative :

tant que ∃i ∈ B, αi − ci > 0,chercher r tel que |αr − cr| = max(αi−ci)>0 |αi − ci|prendre s tel que x′r = (A−1B Ar)

−1s [(A−1B b)s]

−1 soit minimal,

avec (A−1B Ar)s > 0

Notons que tous les xi de la solution de base sont alors positifs à chaque itération.


18.5 Programmation linéaire et dualité

18.5.1 Problème primal et problème dual

Considérons le programme min cTxAx = bx ≥ 0

(18.14)

Le Lagrangien associé à ce problème s'écrit

L(x, λ, µ) = cTx + λT (Ax− b) + µTx = (cT − λTA + µT )x− λTb, (18.15)

avec µ ⊂ Rn+ et µixi = 0 pur i = 1, . . . , n. La minimisation sur x du lagrangien L(x, λ, µ) admetune solution si et seulement si (cT − λTA)i ≥ 0.

On voit que l'existence d'un point selle (x, λ) se traduit par le fait que pour xi > 0 on doit avoir(cT − λTA)i ≥ 0, car sinon l'augmentation de xi se traduirait par la diminution du critère cequi est incompatible avec la dénition du point selle.

Finalement, pour le problème primal (18.14) on obtient un problème dual de la formemaxbTxATλ ≤ cx ≥ 0

(18.16)

Dans la suite, on va établir les propriétés de dualité pour les progralmes linéaires qui ont servià la démonstration du théorème (31). Mais auparavant, on va indiquer les liens existants entreproblème primal et problème dual.

18.6 Equivalence du problème primal et du problème dual

Considérons le problème primal (P ) et son dual (D) :

(P ) :

min cTxAx = bx ≥ 0

(D) :

maxbTxATλ ≤ c

(18.17)

Le Lagrangien associé à ce problème s'écrit

L(xλ, µ) = cTx + λT (Ax− b) + µTx = (cT − λTA + µT )x− λTb, (18.18)

Proposition 4 L'ensemble des problèmes primaux coïncide avec l'ensemble des problèmes duaux


Preuve Considérons le problème (P ), et notons que Ax = b peut se reformular comme les deuxinégalités Ax ≤ b et −Ax ≤ −b. Donc (P ) se reformule comme le programme dual suivant :

max−cTx A−AI

x ≤

b−b0

(18.19)

Inversemmment, en posant λ = λ1 − λ2, avec λ1 ≥ 0 et λ2 ≥ 0 on peut réécrire (D) sous laforme primale ; Pour cela, introduisons un vecteur y ≥ 0 supplémentaire tel que ATλ + y = cet notons λ = [λT1 λ

T2 yT ]T . Les composantes de y sont appelées variables d'écart. Il apparaît

nalement que (D) se réécrit : min

[−bT bT 0

]λ[

AT −AT I]λ = c

x ≥ 0,

(18.20)

qui est bien la forme d'un programme primal. Donc l'ensemble des programmes primaux coïncideavec l'ensemble des programmes duaux.

Montrons enn que le dual du programme (D) est le programme (P ). Le dual du programmedual (D) réécrit sous la forme (18.20) est

max cTu A−AI

u ≤

−bb0

. (18.21)

En posant x = −u et en ramplaçant les relations Au ≤ −b et −Au ≤ b par Ax = b, onretrouve bien le programme primal (P )

18.7 Théorème de dualité pour la programmation linéaire

Notons maintenant que si x et λ sont des valeurs réalisables (c'est à dire satisfaisant quxcontraintes) pour les problèmes (P ) et (D) respectivement, alors les conditionsAx = b,ATλ ≤ cet x ≥ 0 conduisent aux relations

λTb = λTAx ≤ cTx. (18.22)

La relation λTb ≤ cTx est connue sous le nom de propriété de dualité faible et conduit àl'énoncé suivant :

Proposition 5 L'ensemble des points réalisables du dual conduit à des valeurs du critère dual

inférieures à l'ensemble des valeurs prises par le critère primal pour ses points réalisables. En

termes mathématiques, on a donc :

∀α ∈ bTλ; ATλ ≤ c, ∀β ∈ cTx; Ax = bx ≥ 0, α ≤ β (18.23)


Cette propritété permet d'étabir le théorème suivant qui montre l'équivalence des problèmes (P )et (D).

Théorème 48 Si l'un des problèmes (P ) ou (D) admet une solution, il en est de même pour

l'autre et les valeurs de l'optimum sont identiques. Inversement (P ) n'est pas borné inférieurement

ou (D) n'est pas borné supérieurement, alors l'autre problème n'admet pas de valeur réalisable.

Démonstration Comme on a vu au paragraphe précédant que tout problème primal pouvaitprendre la forme équivalente d'un problème dual et que le dual du dual d'un problème donnécorrespond au problème primal de départ, on pourra se contenter de démontrer le résultat enconsidérant exclusivement les hypothèses énoncées pour le problème primal (P ).

Supposons donc que le problème primal admet une solution et notons z la valeur de l'optimum.L'existence d'une valeur réalisable optimale pour le problème dual (D) qui conduirait à unoptimum égal à z peut se reformuler sous la forme

∃λ ∈ Rm, ∀x ⊂ Rn+, ∀t ⊂ R+, (cT − λTA)x + t(λT b− z) ≥ 0. (18.24)

En eet, on sait que pour λ une valeur réalisable de (D) on a nécessairement λT b − z ≤ 0 ;La propriété (18.24) imposera donc pour être vériée d'avoir λT b − z = 0 (prendre x = 0 et tarbitraierement grand).

Pour montrer (18.24), notons que cette propriété se réécrit encore comme

∃λ ∈ Rm, ∀x ⊂ Rn+, ∀t ⊂ R+, −(tz − cTx) + λT (tb−Ax) ≥ 0. (18.25)

Pour établir cette dernière relation, on considère le cône convexe fermé

C =

(r,w); r = tz − cTx, w = tb−Ax, t ≥ 0, x ≥ 0. (18.26)

Si on parvient à démontrer que (1,0) /∈ C, le théorème de séparation de Han-Banach 1

permet d'établir l'existence d'un couple (s, : λ) tel que l'hyperplan d'équation

H =

(α, β) ⊂ Rm+1; sα+ λTβ = 0

(18.27)

sépare C et (1,0), avec∀(r,w) ∈ C, s1 + λT0 < 0 ≤ sr + λTw. (18.28)

Sans perte de généralité, on pourra choisir s = −1 et, compte tenu de la dénition de C, l'inégalitéde droite de (18.28) correspond alors précisemment à la relation (18.25) que l'on cherche à établir.Il nous reste donc à vérier que (1,0) /∈ C.

Si on avait (1,0) ∈ C, il devrait exister t ≥ 0 et x ≥ 0 tels que Ax = tb et tz − cTx > 0. Pourt > 0, en notant x′ = x/t, on aurait Ax′ = b et cTx′ > z, ce qui est impossible puisque z est

1. Théorème de séparation de Han-Banach : étant donné deux ensembles convexes fermés, C1 et C2, il existe unhyperplan qui sépare strictement C1 et C2, c'est à dire que C1 et C2 se trouvent de part et d'autre de cet hyperplan(séparation) et que l'un au plus de ces ensembles admet des points communs avec l'hyperplan (séparation stricte).De plus, lorsque comme ici un des deux convexes est un cône, on peut choisir un hyperplan passant par l'origine


la valeur minimale prise par le critère (P ). Pour t = 0, on aurait Ax = 0 et −cTx > 0 et donc,pour tout vecteur y ≥ 0 tel que Ay = b, on aurait

∀α ≥ 0, y + αx ≥ 0, A(y + αx) = b, et limα→∞

cT (y + αx) = −∞, (18.29)

ce qui est contradictoire avec la valeur optimale nie z de (P ). On a donc bien (1,0) /∈ C.

Si maintenant le problème (P ) n'est pas inférieurement, la propriété de dualité faible indiqueque si x et λ sont des valeurs réalisables pour les problèmes (P ) et (D) respectivement, alorsλTb ≤ cTx. Comme x peut être choisi tel que cTx soit arbitrairement petit on devra avoirλTb = −∞, ce qui est impossible. Donc le problème dual n'admet pas de valeur réalisable.

Exemple d'application A titre d'illustration de l'emploi possible du théorème de dualité,on va proposer ici une démonstration de la condition nécessaire d'optimalité du premier ordreenprogrammation non linéaire sous contrainte d'égalité basée sur son emploi. Rappelons ici l'énoncéde ce théorème :

Si u est un point régulier et un optimum local pour le problèmemin f(x)f e(x) = 0,

, (18.30)

alors∃λ ∈ Rm, ∇f(u) +∇f e(u)λ = 0. (18.31)

Voici la démonstration faisant appel à la notion de dualité en programmation linéaire

Preuve Soit u un point régulier du problème (18.30). Considérons le problème de programmationlinéaire suivant :

(PL)

max∇f(u)Tv∇f e(u)Tv = 0,

(18.32)

On va tout d'abord montrer que pour un point régulier optimal u de (18.32), [∇fe]T (u)v =0⇒ [∇f(u)]Tv = 0 ce qui établit l'existence d'un optimum du problème primal et donc, d'aprèsle théorème de dualité 48, l'existence de solutions réalisables pour le problème dual, dont onmontrera que l'ensemble de contrainte sur λ est précisémment décrit par la relation ∇f(u) +∇f e(u)λ = 0.

Commençons donc par établir que [∇fe(u)]Tv = 0 ⇒ ∇f(u)Tv = 0. Si [∇fe(u)]Tv = 0, vappartient au plan tangent à la variété feT (x) = 0 au point x = v. Il existe donc une courbet→ y(t) de V = x; f e(x) = 0, avec y(0) = u et y(0) = v. L'optimalité de u pour le problème(18.32) entraine en particulier l'optimalité de f(y(t)) en t = 0. Donc y(0) = [∇f(u)]Tv =0. Le problème (PL) admet donc une solution et la valeur optimale du critère vaut donc 0.Comme indiqué plus haut, le problème dual admet donc au moins une valeur λ qui satisfait auxcontraintes. Pour écrire ce programme dual, commençons par remttre le problème (PL) sous uneforme standard équivalente en posant v = v1 − v2, avec v1 ≥ 0 et v2 ≥ 0, et x = [vT1 vT2 ]T . Onobtient ainsi la forme

(PL) :

min

[−∇f(u) ∇f(u)

]x[

(∇f e(u))T (−∇f e(u))T]x = 0

x ≥ 0(18.33)


dont la forme duale est

(DL) :

max0Tλ[∇f e(u)−∇f e(u)

]λ ≤

[−∇f(u)∇f(u)

].

(18.34)

Il apparaît donc, en considérant les contraintes de ce problème, qu'il existe λ ∈ Rm tel que

∇f(u) +∇f e(u)λ = 0. (18.35)

Annexe A

Master SISEA

Corrigé des examens

sessions de janvier 2006 à 2010

122

ANNEXE A. MASTER SISEACORRIGÉ DES EXAMENSSESSIONS DE JANVIER 2006 À 2010123

Janvier 2010

I On veut construire une boite rectangulaire ouverte avec une surface de 192cm2 de carton.

i) Si la base doit être carrée, quelles dimensions donnent le plus grand volume ?

En notant a le coté de la base et h la hauteur, le problème s'écrit alors

max V = a2h

a2 + 4ah = 192cm2

a ≥ 0, h ≥ 0

(A.1)

Les contraintes d'ingalité devront bien sûr être inactives. Sinon on obtiendrait V = 0 qui est leminimum du problème (obtenu pour (a, h) = (

√192, 0)).

Le lagrangien s'écrit L(a, h, λ) = a2h+ λ(a2 + 4ah− 192) et son gradient

∇(a,h)L(a, h, λ) =

(2ah+ λ(2a+ 4h)

a2 + 4λa

)= 0. (A.2)

La dernière équation conduit à a = 0 ou λ = −a/4. Comme a 6= 0 du fait que a2 + 4ah = 192,on doit avoir λ = −a/4. La première équation se réécrit alors 4h − (a + 2h) = 0, soit h = a/2.La contrainte a2 + 4ah = 192 donne alors 3a2 = 192, soit a =

√64 = 8cm. On a ainsi h = 4cm

et V = 256cm3.

Les conditions nécessaires du premier ordre conduisent donc à la solution (a, h, λ) = (8, 4,−2).Cette condition est susante car on cherche ici maximiser V = a2h qui est une fonction continuesur le domaine de contraintes fermé et borné a2+4ah = 192, a ≥ 0, h ≥ 0. D'après le théorèmede Weierstrass le problème admet donc une solution qui ne peut donc être que (a, h) = (8, 4).

ii) Même question si la base peut être rectangulaire.

Dans ce cas, en notant b le second côté du rectangle, on obtientmax V = abh

ab+ 2(a+ b)h = 192a, b, h ≥ 0

(A.3)

Là encore le maximum est atteint lorsque les contraintes d'inégalité sont inactives. Le lagrangiens'écrit L(a, h, λ) = abh+ λ(ab+ 2(a+ b)h− 192) et son gradient

∇(a,h)L(a, h, λ) =

(bh+ λ(b+ 2h)

ah+ λ(a+ 2h)ab+ 2λ(a+ b)

)= 0. (A.4)


la diérence des deux premières équations donne (b−a)(h+λ) = 0. Si λ = −h, bh+λ(b+ 2h) =0 = −2h2 et le volume serait nulle. Donc a = b et le problème est équivalent à celui de la questionprécédente. La solution est encore (a, b, h) = (8, 8, 4)cm.

II Montrez qu'on peut écarter la dernière contrainte du problème suivant :minx,y 12x

2 + y

2x+ y ≥ 2x− y ≤ 1x ≥ 0

(A.5)

Les deux premières contraintes se réécrivent x ≥ 1−y/2 et y ≥ x−1. Donc, x ≥ 1−(x−1)/2, soitx ≥ 1. La dernière contrainte est donc redondante avec les deux premières et peut être écartée.

ii) Trouver la solution.

Le lagrangien s'écrit

L(x, y, µ) =1

2x2 + y2 + µ1(2− 2x− y) + µ2(x− y − 1)

avec µi ≥ 0 (i = 1, 2), et les conditions de Khun et Tucker sont données par(x− 2µ1 + µ22y − µ1 − µ2

)= 0

µ1(2− 2x− y) = 0µ2(x− y − 1) = 0

(A.6)

Si µ1 et µ2 sont non nuls, (x, y) = (1, 0) et le critère vaut 1/2.

Si µ1 = 0 et µ2 6= 0, y = x − 1 et en additionnant les deux équations de ∇L = 0, on trouvex+ 2y = 0. Donc (x, y) = (2/3,−1/3). Mais alors µ2 = −2/3, ce qui est impossible.

Si µ1 6= 0 et µ2 = 0, y = 2 − 2x et la condition ∇L = 0 conduit x = 4y. Finalement, (x, y) =(8/9, 2/9), µ1 = 4/9 > 0 et le critère vaut 4/9.

Le point (x, y) = (8/9, 2/9) est donc le point qui parmi ceux qui assurent les conditions néces-saires de Khun et Tucker conduit à la valeur minimale du critêre. La condition nécessaire est icisusante car en tout point

∇2L =

(1 00 2

)> 0. (A.7)

III Trouvez l'optimum du problème suivant en passant par les conditions de Khun et Tucker :miny

∑ni=1 yi

Πni=1yi = 1

yi ≥ 0 i = 1, . . . , n.

(A.8)


Notons que les contraintes yi ≥ 0 ne peuvent pas être actives puisqu'on doit avoir Πni=1yi = 1.

On va donc chercher simplement à résoudre le problème sans les contraintes d'ingalité en serestreignant ensuite aux solutions positives. Le lagrangien s'écrit alors

L(y, λ) = yT 1I + λ(Πni=1yi − 1) (A.9)

et son gradient est∇yL = 1I + λ(Πn

i=1yi)diag(1/y1, . . . , 1/yn)1I = 0. (A.10)

Il apparaît donc que l'on doit avoir tous les yi égaux à −λΠni=1yi. La contrainte Πn

i=1yi = yni = 1donne alors yi = 1, ∀i ∈ 1, . . . , n, compte tenu de la contrainte de positivité. Par suite, λ = −1.Notons de plus que la matrice hessienne du lagrangien vaut alors

∇2yL = (Πn

i=1yi)diag(1/y21, . . . , 1/y

2n)− [1/y1, . . . , 1/yn]T [1/y1, . . . , 1/yn]

= I− 1I1IT (A.11)

Le gradient de Πni=1yi−1 au point (1, . . . , 1) est le vecteur 1I et tout vecteur v de l'espace tangent

à la contrainte en ce point vérie donc vT 1I = 0. Il en résulte que vT (∇2yL)v = vT (I−1I1IT )v =‖

v ‖2. La restriction du hessien du lagrangien au point (1, . . . , 1) est donc strictement positive,ce qui établit que la condition nécessaire d'annulation du lagrangien en ce point est égalementsusante. Finalement, la valeur du minimum est

∑ni=1 = n.

ii) En déduire que1

n

n∑i=1

xi ≥ (Πni=1xi)

n , ∀xi ≥ 0, i = 1, . . . , n. (A.12)

L'inégalité est clairement vériée si un des xi est nul. Maintenant, si tous les xi sont non nuls, enposant yi = xi/(Π

nj=1xj)

1/n, comme Πni=1yi = 1, il est clair d'après la question précédente que∑n

i=1 yi ≥ n, ce qui conduit immédiatement au résultat désiré.

IV Pour a, b et c trois constantes strictement positives xes, on veut minimiser la somme detrois nombres positifs x, y et z sous la contrainte :

a

x+b

y+c

z= 1. (A.13)

i) Montrez qu'à l'optimum les inconnues sont strictement positives.

La contrainte d'égalité ne pourrait pas être satisfaite si un des nombres x, y ou z était nul.


ii) Trouver la solution en passant par la méthode des multiplicateurs de Lagrange et justiezvotre réponse.

Puisque les contraintes de positivité ne sont pas actives, le problème se résume à la recherchedes solutions positives parmi les solutions du problème d'optimisation sous la seule contrainted'égalité. Le lagrangien s'écrit alors

L(x, y, z, λ) = x+ y + z + λ (a

x+b

y+c

z− 1) (A.14)

et son gradient est∇xyzL(x, y, z, λ) = 1I− λ [a/x2, b/y2, c/z2]T . (A.15)

En considérant les conditions nécessaires du premier ordre ∇L = 0, on trouve donc que λ > 0 et(x, y, z) =

√(λ)(√a,√b,√c). En réinjectant ces valeurs dans l'équation de contrainte, on trouve

que√λ =√a+√b+√c. La matrice hessienne en ce point vaut

∇2xyzL(x, y, z, λ) = 2λdiag(a/x3, b/y3, c/z3) > 0. (A.16)

La condition susante est donc également satisfaite et la solution du problème est obtenue en

(x, y, z) = (√a+√b+√c)(√a,√b,√c) (A.17)

et en ce point, le critêre vaut x+ y + z = (√a+√b+√c)2.


Janvier 2009

I Trouver la solution de min (x+ y − z − 1)2 + (x+ y)2 + 5x2

2x+ z = 0(A.18)

en se ramenant un problème non contraint.

Comme z = −2x, il sut de minimiser

f(x, y) = (3x+ y − 1)2 + (x+ y)2 + 5x2 (A.19)

Le gradient de f est

∇f(x, y) = 2

(15x+ 4y − 34x+ 2y − 1

). (A.20)

L'annulation du gradient conduit à (x, y) = (1/7, 3/14). De plus, la matrice hessienne de f vaut

∇2f(x, y) = 2

(15 44 2

). (A.21)

La trace et le déterminant de cette matrice valent respectivement 17 et 14 et correspondent à lasomme et au produit de ses valeurs propres, qui sont donc positives. Donc la matrice ∇2f(x, y)est positive en tout point (x, y) et f est convexe. (x, y) = (1/7, 3/14) réalise donc le minimum(global strict) de f . On en déduit z = −2x = −2/7.

ii) En passant par le lagrangien (justiez vos réponses)


L(x, y, z, λ) = (x+ y − z − 1)2 + (x+ y)2 + 5x2 + λ(2x+ z). (A.22)

Son gradient est

∇xyzL(x, y, z, λ) =

2(7x+ 2y − z − 1 + λ)2(2x+ 2y − z − 1)−2(x+ y − z − 1) + λ

. (A.23)

L'annulation du gradient conduit à x = −λ/5 (diérence des deux premières lignes du gradient)et z = −λ−1 (combinaison des deux dernières lignes). En remplaçant ces valeurs dans l'équationde contrainte, on trouve −2λ/5− λ− 1 = 0, soit λ = −5/7 et (x, y, z) = (1/7, 3/14,−2/7).

La matrice hessienne du lagrangien est

∇2xyzL(x, y, z, λ) = 2

7 2 −12 2 −1−1 −1 1

. (A.24)


En tout point, le gradient de 2x + z est u = [2, 0, 1]T . Donc l'espace tangent à la contrainteest engendré par les vecteurs v = [0, 1, 0]T et w = [1, 0,−2]T . Pour vérier que la restiction de∇2xyzL(x, y, z, λ) l'espace tangent la contrainte est positive, il est équivalent de montrer que la

matrice

[v w]T∇2xyzL(x, y, z, λ)[v w] =

(0 1 01 0 −2

) 7 2 −12 2 −1−1 −1 1

.

0 11 00 −2

=

(2 44 15

)(A.25)

est positive, ce qui est le cas d'après la question précédente (trace=17, déterminant=14). Leminimum est donc atteint (x, y, z) = (1/7, 3/14,−2/7) et c'est un minimum global strict.

II Soit la fonction f : R3 → R, avec f(x, y, z) = x2 + y2 + z2 − 2xyz.

i) Montrer que f n'est bornée ni inférieurement ni supérieurement.

En eet, on a par exemple limx→∞ f(x, x, x) = limx→∞ 3x2−x3 = −∞ et limx→−∞ f(x, x, x) =∞.

ii) Montrer que (0, 0, 0) et (1, 1, 1) sont des points stationnaires de f et indiquer pour chacund'eux s'il s'agit d'un minimum local, d'un maximum local ou ni l'un ni l'autre.

∇f(x, y, z) = 2

x− yzy − xzz − xy

(A.26)

∇f est nul en (0, 0, 0) et (1, 1, 1). Ce sont donc des points stationnaires.

∇2f(x, y, z) = 2(I−

0 z yz 0 xy x 0

) (A.27)

En (0, 0, 0), ∇2f = 2I. Donc (0, 0, 0) est un minimum local de f . En (1, 1, 1), le développementau second ordre de f s'écrit

f(1 + δx, 1 + δy, 1 + δz) = [δx δy δz]∇2f(1, 1, 1)[δx δy δz]T

= δ2x + δ2y + δ2z − 2(δxδy + δxδz + δyδz) + o(‖ δ ‖2).(A.28)

notons que pour δx > 0 et susamment petit, f(1 + δx, 1 + δx, 1 + δx) = −3δ2x + o(δ2x) < 0 etf(1 + δx, 1, 1) = δ2x + o(δ2x) > 0. Donc, le point (1, 1, 1) n'est ni un minimum ni un maximumlocal.

III Résoudre le problème suivant : min x2 + y2

(x− 1)3 − y2 = 0(A.29)

i) Dessiner la courbe de la contrainte .


C'est la courbe en rouge ci dessous. Le point(1,0) n'est pas régulier car la courbe de contrainten'y est pas dérivable (point de rebroussement).

ii) Montrer qu'aucun point ne satisfait les conditions nécessaires du premier ordre.

Le lagrangien s'critL(x, y, λ) = x2 + y2 + λ((x− 1)3 − y2) (A.30)

et son gradient vaut

∇xyL(x, y, λ) = 2

(xy

)+ λ

(3(x− 1)2

−2y

). (A.31)

Le gradient s'annule pour (1 − λ)y = 0. La condition λ = 1 est impossible car alors, le premierterme du gradient vaut 2x + 3(x − 1)2 et est strictement positif sur la courbe de contrainte(x ≥ 1) ; Donc y = 0. Mais la contrainte impose alors x = 1, valeur pour laquelle le premierterme du gradient est non nul. Donc le gradient du lagrangien ne s'annule pas sur le domaine decontrainte et aucun point ne satisfait les conditions nécessaires du premier ordre.

iii) Quel est le point qui réalise le minimum, conclure.

En tout point de la courbe de contrainte x ≥ 1, donc x2 + y2 ≥ 1. L'égalité n'est satisfaite qu'en(x, y) = (1, 0) qui réalise donc le minimum (global stricte) du problème. On vérie ici que lesconditions nécessaires du premier ordre ne sont nécessaires que pour les points réguliers et queles points irréguliers doivent être considérés séparément.

IV Soit le problème d'optimisation suivant :

max x2 + 4xy + y2

x+ y ≤ 8−x+ 2y ≤ 4x ≥ 0y ≥ 0

(A.32)

i) Déterminer graphiquement l'ensemble des points admissibles.

L'ensemble des points admissibles est le polyhèdre indiqué en rouge.


ii) Trouver le (les) point qui satisfait les conditions nécessaires du premier ordre. En reformulantle problème comme un problème de minimisation de −(x2 + 4xy + y2) le lagrangien s'écrit

L(x, y, µ) = −(x2 + 4xy + y2) + µ1(x+ y − 8) + µ2(−x+ 2y − 4)− µ3x− µ4y (A.33)

avec µi ≥ 0, i = 1, 2, 3, 4.

Les conditions de Khun et Tucker du premier ordre sont donnes par

∇xyL(x, y, µ) =

(−2x− 4y + µ1 − µ2 − µ3−4x− 2y + µ1 + 2µ2 − µ4

)= 0

µ1(x+ y − 8) = 0µ2(−x+ 2y − 4) = 0µ3x = 0µ4y = 0.

(A.34)

Considérons les diérents cas possibles concernant les contraintes actives, directement observablessur la gure :

1. µ3 > 0, µ4 > 0 et µ1 = µ2 = 0 : x = y = 0 et en fait on doit aussi avoir µ3 = µ4 = 0.En (x, y) = (0, 0) le critêre vaut 0. C'est clairement un minimum global de x2 + 4xy + y2

puisque sur R+×R+ ce critêre est toujours positif (c'est même un minimum global strict).

2. µ4 > 0 et µ1 = µ2 = µ3 = 0 : y = 0 et −4x− 2y = 0. On retrouve (x, y) = (0, 0)

3. µ4 > 0, µ1 > 0 et µ2 = µ3 = 0 : (x, y) = (8, 0) mais l'annulation du premier terme dugradient donne µ1 = −16, ce qui est impossible.

4. µ1 > 0 et µ2 = µ3 = µ4 = 0 : −2x− 4y + µ1 = 0,−4x− 2y + µ1 = 0 et x+ y − 8 = 0 d'oùon déduit que (x, y, µ1) = (4, 4, 24) et les conditions nécessaires sont satisfaites.

5. µ1 > 0, µ2 > 0 et µ3 = µ4 = 0 : −2x−4y+µ1−µ2 = 0, −4x−2y+µ1 + 2µ2, x+y−8 = 0et −x+ 2y − 4 = 0. On trouve (x, y, µ1, µ2) = (4, 4, 24, 0) comme précédemment.

6. µ2 > 0 et µ1 = µ3 = µ4 = 0 : −2x− 4y − µ2 = 0, −4x− 2y + 2µ2 = 0 et −x+ 2y − 4 = 0.On trouve (x, y, µ2) = (−20/13, 16/13,−24/13), ce qui est impossible.

7. µ2 > 0, µ3 > 0 et µ1 = µ4 = 0 : −2x−4y−µ2−µ3 = 0, −4x−2y+2µ2 = 0 −x+2y−4 = 0et x = 0. Alors (x, y, µ2, µ4) = (0, 2, 2,−10), ce qui est impossible.

8. µ3 > 0 et µ1 = µ1 = µ4 = 0 : 2x + 4y − µ3 = 0, 4x + 2y = 0 et x = 0. Donc (x, y, µ3) =(0, 0, 0).


Finalement, (x, y, z, µ1, µ2, µ3, µ4) = 0 et (x, y, z, µ1, µ2, µ3, µ4) = (4, 4, 24, 0, 0, 0) satisfont auxconditions nécessaires du premier ordre et le premier point correspond à un minimum du prob-lème.

iii) Le point retenu satisfait-il les conditions susantes du second ordre ? Conclure.

Comme on optimise ici une fonction continue sur un fermé borné le problème admet un point quiréalise le minimum et un point qui réalise le maximum. Les conditions nécessaires d'optimalitésont donc ici également des conditions susantes, le minimum tant ralisé en (0, 0) où le critèrevaut 0 et le maximum en (4, 4) où le critère vaut 96.


Janvier 2008

I Résoudre le problème suivant : max y2 − x

x2 + y2 ≤ 1.(A.35)

en justiant votre réponse.

On résoud le problème équivalent min x− y2

x2 + y2 ≤ 1.(A.36)

Le lagrangien s'écrit :L(x, y, µ) = x− y2 + µ(x2 + y2 − 1). (A.37)

Les conditions de Khun et Tucker sont données par∇(x,y)L(x, y, µ) =

(1 + 2µx

2(µ− 1)y

)= 0

µ(x2 + y2 − 1) = 0, et µ ≥ 0

(A.38)

Comme 1 + 2µx = 0, il est clair que µ > 0 et donc que x2 + y2 = 1.

- Si µ = 1, x = −1/2 et le problème se ramène à la recherche du minimum de −y2 sous lacontrainte y2 = 1−x2 = 3/4. Les point (x, y, µ) = (−1/2,±

√3/2, 1) satisfont donc les conditions

nécessaires du premier ordre. Pour µ = 1, le hessien de L est donné par

∇2L = 2

(1µ 00 µ− 1

)=

(2 00 0

). (A.39)

La normale la contrainte au cercle unité en (x, y) est donnée par le vecteur [x y]T et sa tangentepar le vecteur [y − x]T et vaut v = [

√3/2 1/2]T en P1 = (−1/2,

√3/2) et v = [−

√3/2 1/2]T en

P2 = (−1/2,−√

3/2). La restriction de ∇2L à l'espace tangent en (−1/2,±√

3/2) est positive :pour les deux points, vT [∇2L]v = 1/2 > 0. Donc ces deux points représentent des optima locauxdu critère.

- Si y = 0, x = ±1 et la valeur correspondante de µ vaut µ = ∓1/2. Dans ce cas,

∇2L =

(∓1 00 2(∓1− 1)

)(A.40)


Dans les deux cas, l'espace tangent la contrainte est engendré par le vecteur v = [0 1]T . Si x = 1,vT [∇2L]v = −4 < 0 et on a un maximum local en P3 = (1, 0) et si x = −1, vT [∇2L]v = 0auquel cas on ne peut pas conclure directement pour le point P4 = (−1, 0).

En P1, P2 le critère vaut respectivement −1/2 − 3/4 = −5/4 et −1 en P4. Donc la solution duproblème est obtenue en P1 et en P2.

II Montrer que tous les points du domaine caractrisé par les 3 contraintesx2 + y2 ≤ 1

y ≤ 1/2y ≥ −1/2

(A.41)

sont des points réguliers.

Les points intérieurs au domaine (en marron sur la gure) sont réguliers. De plus, les gradientspour les trois contraintes sont respectivement engendrés par v1 = [y − x]T , v2 = [1 0]T etv3 = [1 0]T . Notons que si une seule contrainte est active on obtient un vecteur non nul (enparticulier v1 6= 0 car x2 + y2 = 1 lorsque la première contrainte est active). Lorsque deuxcontraintes sont actives ce sont soit la première et la seconde, soit la première et la troisième, carles frontières des contraintes 1 et 3 n'ont pas de point commun. Comme |y| = 1/2 |x| =

√3/2

dans ces deux situations, il est alors clair que (v1,v2) et (v1,v3) forment des familles libres et lespoints pour lesquels deux contraintes sont satisfaites sont réguliers. Enn, comme on l'a vu lestrois contraintes ne peuvent pas être satisfaites simultanément. Donc, tous les points du domainesont réguliers.


III Soit le problème d'optimisation suivantmin |x− 2|+ |y − 2|

x2 + y2 = 1x− y2 ≥ 0

(A.42)

1) Déterminer graphiquement l'ensemble des points admissibles.

L'ensemble des points admissibles est donné par la courbe en marron.

2) En déduire l'expression explicite de la fonction minimiser.

Comme on cherche minimiser une fonction continue sur un ensemble fermé borné, le problèmeadmet une solution (théorème de Weierstrass).

On cherche le point de la courbe de contrainte le plus proche du point (2, 2) au sens de la normeL1 (‖M−N ‖1= |Mx−Nx|+ |My−Ny|). Ce point est clairement dans le quart de plan R+×R+,ce que l'on vériera plus loin. Dans ces conditions, le problème se réécrit

min(2− x) + (2− y)

x2 + y2 = 1x− y2 ≥ 0

(A.43)

3) Trouver le minimum en justiant votre réponse.

Si seule la première contrainte est active, les conditions de Khun et Tucker conduisent à (x, y) =(1/√

2, 1/√

2) et si les deux contraintes sont actives, le point du quart de plan supérieur quivérie x = y2 et x2 + y2 = 1 est donné par la solution positive de x2 + x − 1 = 0, soit

(x, y) = ((−1+√

5)/2,√

(−1 +√

5)/2). De ces deux points, le point (x, y) = (1/√

2, 1/√

2) réalisele minimum. C'est donc nécessairement le minimum du problème, dont on a établi l'existenceprécédemment.

Notons enn que |1/√

2 − 2| + |1/√

2 − 2| = 4 − 2√

2 et que les points de la courbe situés dansR+ ×R− vérient |x− 2|+ |y− 2| > |1− 2|+ |0− 2| = 3 > 4− 2

√2 et ne peuvent donc pas être

solution du problème.


IV Un importateur dispose de Q unités d'un produit qu'il propose de vendre dans n magasins.Chaque magasin i propose d'acheter di unités à un prix pi. L'importateur maximise son revenu∑

j pjxj en jouant sur la quantité xi qu'il vend au magasin i, avec 0 ≤ xi ≤ di. On suppose que∀i, di > 0, pi > 0,

∑di > Q et pour simplier que p1 > p2 > . . . > pn−1 > pn.

1) Décrire la procédure qui permet d'obtenir les quantités optimales x∗i pour i = 1, 2, 3, . . .

Intuitivement, le gain de l'importateur est optimisé en vendant un maximum de produit aupremier acheteur, puis un maximum de la quantité restante au second, et ainsi de suite jusqu'àépuisement du produit disponible. Cela se traduit par la procédure suivante :

x∗1 = min(d1, Q)x∗2 = min(d2, Q− x∗1)

...x∗n = min(dn, Q−

∑n−1k=1 x

∗k).

(A.44)

2) Démontrer que la procédure précédente est optimale en indiquant les valeurs à donner aux3n + 1 inconnues x∗i , λi, µi, pour i = 1, . . . , n, et λ0, où λi est associé la contrainte xi ≥ 0, µixi − di ≤ 0 et λ0

∑xi = Q, dans les conditions nécessaires et susantes d'optimalité.

On cherche maximiser une fonction linéaire sur un ensemble convexe borné non vide (puisquel'hyperplan

∑xi = Q <

∑di a une intersection non vide avec le pavé Πi[0, di]). Le problème

admet donc une solution (théorème de Weierstrass) et comme on a un problème équivalentun problème de programmation convexe, les conditions de Khun et Tucker sont nécessaires etsusantes.

Le lagrangien du problème s'écrit

L =∑

pixi + λ0(∑

xi −Q)−∑

λixi +∑

µi(xi − di) (A.45)

Notons p = [p1, . . . , pn]T , λ = [λ1, . . . , λn]T ,µ = [µ1, . . . , µn]T et 1It le vecteur de taille t decomposantes toutes égales 1. Les conditions de Khun et Tucker s'écrivent

∇xL = p + λ01In − λ+ µ = 0λixi = 0µixi = µidiλi ≥ 0µi ≥ 0

(A.46)

Les relations µixi = µidi indiquent que µi = 0 ou xi = di.


Notons k la valeur telle que∑

i<k di ≤ Q et∑

i=1,k di > Q. Les conditions de Khun et Tuckersont satisfaites pour

x = [d1, . . . , dk−1, Q−∑

i=1,k−1 di, 0, . . . , 0]T

λ = [p1 − pk, . . . , pk − 1− pk, 0, . . . , 0]T

µ = [0, . . . , 0, pk − pk−1, . . . , pk − pn]T

λ0 = −pk

(A.47)

qui correspond à la solution fournie par la procédure décrite dans la question précédente.

De plus, on notera que le problème étudié consiste à minimiser une fonction linéaire sur unensemble convexe (c'est même un problème de programmation linéaire) qui de plus est fermé, cequi établit que les conditions nécessaires du premier ordre sont également susantes.


janvier 2007

I On considère le problème opt 2xy

x2 + y2 = 1.(A.48)

1) Chercher les solutions des conditions du premier ordre

Le lagrangien s'écrit :L(x, y, λ) = 2xy + λ(x2 + y2 − 1). (A.49)

Les conditions nécessaires du premier ordre s'écrivent :

∇(x,y)L =

(2y + 2λx2x+ 2λy

)=

(00

)(A.50)

(A.50)⇒ (y = −λx x = −λy)⇒ y = λ2y. Donc λ ∈ −1, 1.

Il apparaît nalement que les conditions (A.50) se traduisent par λ = ∓1 et x = ±y. Enadjoignant la condition x2 + y2 = 1, on trouve nalement comme solutions des conditions dupremier ordre

(x, y, λ) ∈

(1√2,

1√2,−1), (

−1√2,−1√

2,−1), (

1√2,−1√

2, 1), (

−1√2,

1√2, 1)

. (A.51)

2) Avec les conditions du second ordre, trouver la nature des points précédents.

∇2(x,y)L = 2

(λ 11 λ

)(A.52)

Si λ = −1, comme l'espace tangent au domaine des contraintes aux points±( 1√2, 1√

2) est engendré

par t = (1,−1), la restriction de la matrice hessienne à cet espace tangent en ces points est donnéepar

2(1 −1

)(λ 11 λ

)(1−1

)= 4(λ− 1) = −8 < 0.

Donc en (− 1√2,− 1√

2) et en ( 1√

2, 1√

2) le problème possède un maximum local (qui est global

puisque ces maxima locaux ont la même valeur).

Si λ = 1, comme l'espace tangent au domaine des contraintes aux points±( 1√2,− 1√

2) est engendré

par t = (1, 1), la restriction de la matrice hessienne à cet espace tangent en ces points est donnéepar

2(1 1

)(λ 11 λ

)(11

)= 4(λ+ 1) = 8 > 0.

Donc en (− 1√2, 1√

2) et en ( 1√

2,− 1√

2) le problème possède un minimum local (qui est global

puisque ces minima locaux ont la même valeur).


II Trouver le rectangle de périmètre donné de surface maximale. Justier la réponse

On note C le périmètre, et x et y la longueur des côtés du rectangle. Le problème s'écrit encoremaxxy

2(x+ y) = Cx ≥ 0y ≥ 0.

(A.53)

Notons que les contraintes x ≥ 0 et y ≥ 0 sont nécessairement inactives puisque sinon xy = 0.Or, la surface maximale ne peut pas valoir 0 puisque xy > 0 dès lors que x > 0 et y > 0 etque par exemple x = y = C/4 dénit un point admissible pour lequel xy > 0. Il sut donc derésoudre le problème

maxxy

2(x+ y) = C(A.54)

et de se restreindre aux solutions de composantes positives. Pour ce dernier problème,

∇L(x, y, λ) = (y + 2λ, x+ 2λ)T = (0, 0)T ,

soit x = y = −2λ. La contrainte 2(x + y) = C et la positivité de x et de y conduisent alors àx = y = C/4. La seule solution possible est donc un carré de côté C/4. Cette condition nécessaireest également susante d'après le théorème de Weierstrass puisque l'ensemble des contraintes(2(x + y) = C, x ≥ 0, y ≥ 0) est un fermé borné (segment fermé borné) et que la fonction(x, y)→ xy est continue.

III On considère le problème d'optimisation

min(x− 94)2 + (y − 2)2

x+ y ≤ 6y − x2 ≥ 0x ≥ 0y ≥ 0.

(A.55)

1) Montrer que les conditions de Khun et Tucker sont vériées en (3/2,9/4).


Les conditions de Khun et Tucker s'écrivent

∇(x,y)L(x, y, (µi)i=1,4) = ∇(x,y)

(x− 9

4)2 + (y − 2)2 + µ1(x+ y − 6) + µ2(x2 − y)− µ3x− µ4y

µ1(x+ y − 6) = µ2(x

2 − y) = µ3x = µ4y = 0.µi ≥ 0, i = 1, . . . , 4.

En (3/2, 9/4), on trouve que µ1 = µ3 = µ4 = 0 et x2 − y = 0. On obtient ainsi les conditionsnécessaires suivantes :

∇(x,y)L(x, y, (0, µ2, 0, 0)) =

[2(x− 9

4) + 2xµ22(y − 2)− µ2

]=

[00

].

Pour (x, y, µ1, µ2, µ3, µ4) = (32 ,94 , 0,

12 , 0, 0), les conditions nécessaires du premier ordre sont ef-

fectivement satisfaites.

2) Interpréter graphiquement les conditions de Khun et Tucker

Graphiquement, on voit qu'au point (3/2, 9/4) la courbe y = x2 est tangente à la courbe deniveau à la fonction (x, y) → (x − 9

4)2 + (y − 2)2 qui passe par ce point, c'est à dire au cerclecentré sur (94 , 2) qui passe par (3/2, 9/4). En d'autre termes, (3/2, 9/4) est la projection de (94 , 2)sur l'ensemble convexe fermé déni par les contraintes. On sait que cette projection existe et estunique. Enn, le problème étudié est celui de la minimisation d'une fonction strictement convexesur un ensemble de contraintes convexes, ce qui établit ici le caractère susant de la solutiontrouvée à partir des conditions nécessaires.

3) Vérier les CNS du second ordre en ce point.

Pour µ2 = 1/2,

∇2(x,y)L(x, y, (µi)i=1,4) =

(1 + 2µ2 0

0 2

)= 2I > 0,

donc la condition susante du second ordre est également vériée en (3/2, 9/4).

4) Démontrez que ce point est l'unique minimum

Cet aspect a été justié à la n de la réponse à la question 2.


IV Soit le problème max(1/3)

∑i=1,n x

3i∑

i=1,n xi = 0∑i=1,n x

2i = n

(A.56)

On note λ et µ les multiplicateurs de Lagrange respectifs.

1) Cherchez la valeur de λ et exprimez le critère et les inconnues en fonction de µ.

On a

∇Lx(x, λ, µ) =

x21...x2n

+ λ1I + 2µx

avec 1I = (1, . . . , 1)T . Comme∑

i=1,n xi = 0, on en déduit que 1IT∇Lx(x, λ, µ) = n + nλ = 0,

soit λ = −1. De plus, xT∇Lx(x, λ, µ) =∑

i=1,n x3i + 2µn = 0, donc

∑i=1,n x

3i = −2µn.

2) Réécrire les contraintes en fonction de µ et déduire du critère en fonction de µ le choix des xiqui optimise le critère, à une permutation près.

La condition ∇Lx(x, λ, µ) = 0, se réécrit

x2i + 2µxi − 1 = 0.

On trouve xi = −µ + εi√µ2 + 1, avec ε = ±1. Comme les xi ainsi dénis vérient

∑i x

2i = n

dès lors que∑

i=1,n xi = 0, le problème se réécrit nalementminµ

xi = −µ+ εi√µ2 + 1

εi = ±1∑i=1,n xi = 0

(A.57)

Les contraintes conduisent à∑

i εi = nµ(√

1 + µ2)−1 qui peut prendre les valeurs entières−n,−n+ 2,−n+ 4, . . . , n. Comme la fonction µ→ nµ(

√1 + µ2)−1 est croissante et que µ vaut

µ = ±(∑

i εi)/√n2 − (

∑i εi)

2 et n'est donc déni que pour∑

i εi ∈ −n+2,−n+4, . . . , n−2, leminimum possible pour µ est atteint pour nµ(

√1 + µ2)−1 = −n+2, soit µ = −(n−2)/(2

√n− 1).

Alors, n− 1 des coecients xi sont égaux à −µ−√µ2 + 1 = −µ− (nµ)/(2− n) = −1/

√n− 1

et le coecient restant est égal à −µ+√µ2 + 1 =

√n− 1.

3) Conrmer la solution en vériant les conditions susantes du second ordre.

La matrice hessienne du lagrangien est une matrice diagonaleD de i-ème terme diagnal 2xi+2µ =2εi√µ2 + 1. Pour xer les idées on supposera sans perte de généralité que ε1 = . . . = εn−1 = −1

et εn = 1. L'espace tangent aux contraintes est déni par la normale aux gradients des fonctionsde contrainte. Ces derniers valent respectivement 1I et x et dénissent l'espace orthogonal àl'espace tangent aux surfaces de contrainte. Comme le n-ème vecteur de la base canonique en est


le vecteur propre associé à la valeur propre positive −2√µ2 + 1 et que en ∝ 1√

n−11I + x, il estclair que l'espace tangent aux contraintes réside dans l'espace engendré par les valeurs propresnégatives de la matrice et donc que la restriction de la matrice hessienne du Lagrangien auxvecteurs de l'espace tangent aux contraintes est une matrice strictement négative. Il en résulteque l'on a bien trouvé un maximum du problème posé.


janvier 2006

I Diviser le nombre 8 en deux réels positifs x et y de façon à maximiser xy(x− y).

Le problème s'écrit encore

max xy(x− y)

x+ y = 8x ≥ 0y ≥ 0

(A.58)

Notons que, par exemple, (x, y) = (5, 3) est un point admissible pour lequel xy(x− y) > 0. Doncà l'optimum les contraintes d'inégalité ne sont pas actives (on aurait sinon xy(x − y) = 0). Ilsut donc d'étudier les conditions nécessaires du premier ordre sans les contraintes de positivité.Dans ces conditions, le lagrangien s'écrit,

L(x, y, λ) = xy(x− y) + λ(x+ y − 8) (A.59)

et les conditions nécessaires du premier ordre s'écrivent

∇xyL(x, y, λ) =

(2xy − y2 + λx2 − 2xy + λ

)= 0. (A.60)

La solution pour laquelle x > 0 et y > 0 est (x, y, λ) = (4(1 + 1/√

3), 4(1− 1/√

3),−32/√

3).

Le domaine des contraintes x + y = 8, x ≥ 0 y ≥ 0 est compact et le critêre xy(x − y)est continu ce qui assure l'existence d'une solution (théorème de Weierstrass). (x, y) = (4(1 +1/√

3), 4(1− 1/√

3)) est donc la solution du problème.

II Soit le domaine de points admissibles de R2 déni par les trois contraintes

D =

(x, y) ∈ R2|x2 + y2 ≤ 4, x2 + 3(y − 1)2 ≤ 3, x ≥ (

2

3y − 1)2 − 1

(A.61)

Etudier la régularité des points suivants : X1 = (0, 0), X2 = (0, 1), X3 = (0, 2)


En X1 les contraintes 2 et 3 sont actives et les gradients à ces contraintes valent(2x

6(y − 1)

)=

(0−6

)et

(−1

(4/3)(2y − 1)

)=

(−1−4/3

). (A.62)

Ces deux vecteurs forment une famille libre donc le point est régulier.

X2 est un point intérieur du domaine des contraintes où toutes les contraintes sont inactives.Donc X2 est un point régulier.

En X3 les contraintes 1 et 2 sont actives et les gradients à ces contraintes valent(2x2y

)=

(04

)et

(−2x

6(y − 1)

)=

(06

). (A.63)

Ces deux vecteurs forment une famille liée, donc le point n'est pas régulier.

III Soit le problème d'optimisation suivant :

max y

(3− x)3 − (y − 2) ≥ 03x+ y ≥ 92x− 3y ≥ 0

(A.64)

1) Résolvez le problème graphiquement.

Graphiquement on trouve comme solution (x, y) = (3, 2)

Ecrivez les conditions de Khun et Tucker et trouvez le point qui les satisfait en faisant le bonchoix des contraintes actives et inactives


L(x, y, µ) = y + µ1((3− x)3 − (y − 2)) + µ2(3x+ y − 9) + µ3(2x− 3y) (A.65)

avec µi ≥ 0 (i = 1, 2, 3).


L'étude graphique conduit à choisir les contraintes 1 et 3 actives et la deuxième inactive. Lesconditions de Khun et Tucker s'écrivent alors

∇xyL(x, y, µ) =

(−3µ1(3− x)2 + 3µ3

1− µ1 − 3µ3

)= 0

(3− x)3 − (y − 2) = 0µ2 = 02x− 3y = 0

(A.66)

La solution des conditions nécessaires du premier ordre est donnée par (x, y, µ) = (3, 2, 1, 0, 0).

Le domaine des contraintes étant compact et le critêre continu, on sait que le problème admet unesolution. De plus, en posant y = x−3 les contraintes 1 et 3 deviennent respectivement y ≤ 2+u3

et y ≤ 2− (2/3)u. On notera que la première condition entraîne y ≤ 2 pour u ≤ 0 et la secondey ≤ 2 pour u ≥ 0. On a donc nécessairement y ≤ 2 dans tout le domaine des contraintes, ce quiétablit que (x, y) = (3, 2) fournit bien la valeur maximale de y dans le domaine des contraintes.

3) Répétez l'analyse en enlevant la dernière contrainte. Cherchez explicitement tous les pointssatisfaisant les conditions nécessaires du premier ordre. Commentez.

Ici le domaine n'est pas borné. Ainsi, par exemple, les points de coordonnées (x = 3 − y/3, y)appartiennent tous au domaine pour y > 3 (il est alors clair que (3−x)3−(y−2) ≥ (y/3)3−y+2 >0). Donc le critêre n'est pas supérieurement borné et le problème n'a pas de solution nie.


L(x, y, µ) = y + µ1((3− x)3 − (y − 2)) + µ2(3x+ y − 9) (A.67)


avec µi ≥ 0 (i = 1, 2) et les conditions de Khun et Tucker s'écrivent∇xyL(x, y, µ) =

(−3µ1(3− x)2 + 3µ2

1− µ1 + µ2

)= 0

µ1((3− x)3 − (y − 2)) = 0µ2(3x+ y − 9) = 0

(A.68)

Les deux contraintes sont simultanément actives en (x, y, µ1, µ2) = (5,−6, 1/5, 6/5). Ce pointreprésente le minimum global du critêre. En (x, y, µ1, µ2) = (3, 2, 1, 0) seule la première contrainteest active On ne peut pas avoir une seule contrainte active en un autre point car alors les équations∇xyL(x, y, µ) = 0 sont incompatibles entre elles. Le point (x, y) = (2, 3) est singulier mais necorrespond pas une solution du problème comme on l'a vu. Les points intérieurs du domaine nesatisfont pas aux conditions de Khun et Tucker.

IV Soit

C(x, h) =1

2(ax− b)2 + h|x|, h ≥ 0 (A.69)

o a et b sont des réels positifs. On demande de trouver x∗(h) le minimum de C(x, h) en fonctionde h

Pour x 6= 0,

C ′(x, h) =d

dxC(x, h) = a(ax− b) + hsign(x). (A.70)

Sur R− on a toujoursC ′(x, h) = a(ax− b)− h < 0. (A.71)

Sur R+, C ′(x, h) = 0 pour

x∗(h) =ab− ha2

, si ab > h, (A.72)

sinon, on a toujours C ′(x, h) > 0.

Comme C(x, h) est continue, il apparaît donc que le minimum est obtenu en 0 si ab < h et enx = ab−h

a2si ab > h.

Bibliographie

[1] G. Allaire, Analyse numérique et optimisation, Editions de l'Ecole Polytechnique, 2005.

[2] J.M. Arnaudies, H. Fraysse, Cours de Mathématiques ; T2 : analyse, T3 : Compléments d'-

analyse, Dunod, 1989.

[3] D.P. Bertsekas, Nonlinear programming, Athena Scientic, 2nd nedition, 2003.

[4] S. Boyd, L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004.

[5] G. Cohen, Convexité et optimisation, polycopié de cours ENPC-INRIA, 2000-2006. www-rocq.inria.fr/metalau/cohen/documents/Ponts-cours-A4-NB.pdf

[6] P.G. Ciarlet, Introduction à l'Analyse Numérique Matricielle et à l'Optimisation, Masson,1982.

[7] J.C. Culioli, Introduction à l'optimisation, Elipse, 1994.

[8] D.G. Luenberger, Linear and nonlinear programming, 2nd edition, Kluwer, 2003.

[9] M. Minoux, Programmation Mathématique, Théorie et Algorithmes, Tome 1, Dunod, 1983.

[10] R. Rockafellar Convex Analysis, Princeton Univ. Press, 1972.

146

Index

égalitéde Parseval, 60

algorithmede Newton, 93du gradient, 93du gradient conjugué, 99

base orthonormée, 59

coecients de Fourier, 61comatrice, 25complément de Schur, 35complexité algorithmique, 25complexité exponentielle, 25complexité polynomiale, 25condition

nécessaire du second ordre, 108susante du second ordre, 109du premier ordre, 85du second ordre, 85

condition nécessairedu premier ordre, 86, 87, 103du second ordre, 87

condition susantedu second ordre, 88, 105

conditionnement, 31conditions

de Khun et Tucker, 107conjuguée hermitienne, 24contraintes

actives, 103saturées, 103

décompositionde Jordan, 50de Schur, 50

décomposition en valeurs singulières, 27direction

admissible, 86de descente, 86, 93

ensembleconvexe, 88

equationd'Euler, 86

equationsnormales, 18

espacecomplet, 57de Hilbert, 56euclidien, 56hermitien, 56séparable, 60

factorisationde Hessenberg, 47de Choleski, 99

fonctioncoercive, 86convexe, 88, 89elliptique, 91fortement convexe, 92implicite, 101Lipschitzienne, 96quadratique, 91

formulede Stierling, 25de Taylor, 83

gradient, 81gradient projeté, 111

hessien, 83

image, 26inégalité

d'Euler, 87de Bessel, 59de Hölder, 28de Minkowski, 28

interpolation de Lagrange, 68isométrie, 61

147

INDEX 148

jacobien, 82

Lagrangien, 101lagrangien, 104lemme d'inversion matriciel, 35lemme d'inversion matricielle, 25

méthodedes puissances, 49d'Uzawa, 113de Gauss-Seidel, 94de Gauss-Siedel, 43de Jacobi, 43de pénalisation, 113de point intérieur, 112de Polak et Ribière, 100des approximations successives, 98des moindres carrés, 18

méthode des moindres carrés, 10méthodes

de plans sécants, 78de point intérieur, 78

matricede Householder, 40bi-diagonale, 50de Givens, 47de Householder, 47de projection, 29de rotation de Givens, 41hessienne, 83jacobienne, 82tridiagonale, 47

matrice companion, 45maximum de vraisemblance, 33minimum

des fonctions convexes, 90multiplicateurs de Lagrange, 34

noyau, 26noyau de Peano, 74

opérateurborné, 62

optimisation convexe, 78optimisation quadratique, 10orthogonalisation de Gram-Schmidt, 36, 42

pénalisationexterne, 113

interne, 112phénomène de Runge, 69point

régulier, 102polynôme

d'interpolation de Lagrange, 69polynômes

d'Hermite, 73de Laguerre, 73de Legendre, 71

problème d'optimisationcontraint, 77non contraint, 77

produit scalaire hermitien, 57programmation

non linéaire, 78programmation linéaire, 78programme

quadratique, 77propriété

de dualité faible, 119

quadraturede Clenshaw-Curtis, 73de Gauss-Legendre, 71de Newton Cotes, 70

rang, 26rang plein, 26

spectre d'une matrice, 26système

sur-déterminé, 17système linéaire

sous-déterminé, 13

théorèmede projection, 111de représentation de Riesz, 64de séparation de Han-Banach, 120de Weierstrass, 69, 86des fonctions implicites, 13, 102

théorème de Schur, 27théorème des fonctions implicites, 101transposée, 24transposée-conjuguée, 24

valeurréalisable, 119

INDEX 149

singulière, 50variété diérentielle, 102variables d'écart, 119

Notes de cours d'analyse numérique et d'optimisation ...€¦ · Une fois la mise en forme d'un...

Documents

Transcript of Notes de cours d'analyse numérique et d'optimisation ...€¦ · Une fois la mise en forme d'un...