Controle Optimal

download Controle Optimal

If you can't read please download the document

Transcript of Controle Optimal

galement aux ditions Vuibert: Socitmathmatique deFrance, O ell sont les1nath1llatiqlles? sous ladirectiondeKANTOR,448pages Claude BOUZITAT&GillesPAGS, Enpassant par hasard.,.Lesprobabilits detOIlSlesjours,288pages Marc BRIANE&GillesPAGS, Thorie del'intgratio1l,C01/rs&exercices,licence&master,336 pages }lerre DUGAC Histoiredel'analyse, Prface de Jean-Pierre KAHANE, texte dit par BernardBRUet RogerLAURENT,432 pages H.-D.EBBINGHAUSet al., Les nombres, traduit del'allemandpar Franois GUNARD,464 pages Richard ISAAC, UlleIItiatio1lal/Xprobabilits, traduction de Roger MANStly,codition Sprnger, 256 pages Claudine ROllERT&Olivier COGlS, Thorie des graphes.Problmes.thormes, algorithmes, 256 pages Claudine ROBERT, Conteset dcomptes delastatistique, 208pages Jean-tienne ROMllALDl, 11lterpolatioll&approxmation,384 pages Henri ROUDIER, Algbre lillaire,cours&exercices,CAPES&agrgation,704 pages ... et desdizainesd'autres ouvrages de scienceset d'histoire dessciences: "\vww. vubert.fr 1l1ustraton decouverture; Hiroshige,IrisHorikiri (Cent vilesd'Edo),1857 Couverture: Vuibert 1 Arnaud Martin Composition de l'auteur Maquette &mise enpage: Arnaud Martin ISBN 271177175 X www.vuibert.fr Laloidu11mars195 n'aurors31lt aux termes des alinas 2 et 3 de l'article 41, d'une part, que les "copies oureproductions strictement rserves l'usage privdu copiste ct nondesrinesune utilisationcollective"ct,d'autre part, que lesanalyses Ctlescourees citations dansunbut d'exemple er d'illustration,"routereprsentationoureproductionintgrale, ou partielle,faitesans le consentement del'auteur ou de sesayants droit ouayants cause, est illicite)'(alina1" del'article 40).Cetre reprsentation ou reproduction,par quelqueprocd que ce soit, constituerait doncune contrefaon sanctionne par lesarticles 425et suivantsduCodepnal.Des photocopiespayantes peuvent tre ralscsavecl'accord de l'diteur.S'adresser au Centre franais d'exploitation du droit de copie: 20 rue des Grands Augnscns, F-75006 Paris.Tl.: 0144O 4 70 Vuibert - avril2005 - 20rueBerbier-du-Mers,F-75647 Paris cedex13 Sommaire Notations .................................................... 1 Avant-propos................................................. 4 1Introduction: contrle optimald'unressort..................... 8 PARTIE1 Contrle optimalde systmeslinaires.........15 2Contrlabilit ............................................ 18 3Temps-optimalit......................................... 34 4Thorielinaire-quadratique................................ 49 PARTIE2 Thorie ducontrleoptimalnonlinaire. ..... .. 79 5Dfinitionset prliminaires .................................. 81 6Contrle optimal......................................... 94 7Principedumaximum dePontryagin .......................... 97 8Thoried'Hamilton-Jacobi................................. 155 9Mthodesnumriquesen contrle optimal..................... 170 PARTIE3 Annexe. ................................ .. 191 10Rappelsd'algbre linaire .................................. 192 11Thorme deCauchy-Lipschitz............................. 196 12Modlisationd'un systmedecontrle linaire................. 205 13Stabilisationdessystmesdecontrle........................ 210 14Observabilit dessystmesdecontrle ........................ 226 Bibliographie............................................... 238 Index.................................................. 243 Tabledesmatires Notations..........................................1 Avant-propos.........................................4 Qu'est-cequelathorieducontrle?.......................... 4 IIRsumdu livre........................................... 6 1Introduction: contrle optimald'unressort.........8 Prsentation du problme .................................... 8 nModlisation mathmatique .................................. 9 l1IQuelquesremarques sur l'quation........................... 10 PARTIE1 Contrle optimalde systmeslinaires.... ........... . 15 2Contrlabilit .... ............................. .. 18 Ensemble accessible....................................... 18 IIContrlabilit dessystmeslinairesautonomes................. 25 HIContrlabilit dessystmeslinairesinstationnaires ............... 31 3Temps-optimalit .. ............................. .. 34 Existencedetrajectoirestemps-optimales ....... '.' .............. 34 IICondition ncessaired'optimalit: principedumaximum danslecaslinaire...................... 36 lUExemples............................................... 40 4Thorielinaire-quadratique................... ..49 Existencedetrajectoiresoptimales ............................ 50 IlCondition ncessaire et suffisanted'optimalit: principe dumaximum dans lecasLQ......................... 53 IIIFonctionvaleur et quation deRiccati ......................... 57 IVApplicationsdelathorieLQ............................... 64 PARTIE 2 Thorieducontrleoptimalnonlinaire..............79 5Dfinitions et prliminaires......................81 Applicationentre-sortie................................... 81 nContrlabilit ............................................ 84 IIIContrlessinguliers....................................... 90 6Contrle optimal.............................. .94 IlPrsentationdu problme ................................... 94 IlExistencedetrajectoiresoptimales ............................ 94 7PrincipedumaximumdePontryagin..............97 Cassanscontrainte sur lecontrle: principedumaximumfaible.... 97 IIPrincipe dumaximumdePontryagin ......................... 103 IIIExem pIeset exercices ..................................... 110 IVContrle optimalet stabilisationd'unenavettespatiale ........... 128 8Thoried'Hamilton-Jacobi......................155 Introduction ............................................ 155 IlSolutionsdeviscosit..................................... 156 HIEquations d'Hamilton-Jacobi encontrle optimal ............... 164 9Mthodes numriques encontrleoptimal.. .... .. 170 Mthodes indirectes...................................... 170 IIMthodesdirectes....................................... 174 TIlQuellemthode choisir? .......................... 178 PARTIE3 Annexe.........................................191 10Rappelsd'algbre linaire......................192 IIExponentielledematrice.................................. 192 IlRductiondesendomorphismes,., ...... , ., ................. 193 11ThormedeCauchy-Lipschitz................. . 196 Unnoncgnral...................................... , 196 IISystmesdiffrentielslinaires... , ...................... , ... 200 IIIApplications enthorie du contrle., ........................ 203 12Modlisationd'unsystmede contrlelinaire....205 Reprsentationinternedessystmesdecontrle linaires......... 205 IlReprsentationexterne dessystmesdecontrle linaires......... 206 13Stabilisationdessystmesde contrle............210 Systmeslinairesautonomes .. , ................. , ., ........ 210 11Interprtation entermesdematricedetransfert ............. , ... 215 IIIStabilisationdessystmesnonlinaires......... , , ........ , ... 216 14Observabilit dessystmesde contrle........ . ..226 Dfinitionet critresd'observabilit .......................... 226 11Stabilisation par retour d'tat statique ..................... , ., 230 lUObservateur asymptotiqueLuenberger..................... 231 IVStabilisationpar retour dynamique de sortie... , ., ....... , ..... 232 Bibliographie....................................238 Index.......................................... .243 V : pour tout. :3: il existe. 1ou t.q.: telque Notations A \B: ensemble Apriv del'ensemble B. COll v (A): enveloppe convexe deA. A: adhrence deA. A: intrieur de A. _0 BA: frontiredeA, i.e.A \A. max: maXImum. min: minimum. sup :borne suprieure. inf : borne infrieure. lim: limite. lim sup : limite suprieure. lm inf : limiteinfrieure. N : ensemble desentiers naturels. ~: ensemble desentiers relatifs. Q: ensemble des nombres rationnels. IR:ensemble desnombres rels. IR+: ensemble des nombresrelspositifs ou nuls. e : ensemble desnombres complexes. Re z: partie relle du nombre complexe z. lm z : partie imaginaire dunombre complexe z. Il : valeur absolue,ou module. Vect: espace vectorielengendr par. Mu,p (OC):ensembledesmatrices11lignesetpcolonnes,coefficients dans OC. Mil (lK): ensemble desmatrices carres d'ordre n, coefficients dans lK. Ker 1 : noyau del'application linaire 1. lm 1 : image del'application linaire 1. det : dterminant. tr: trace. rg ou rang: rang. e 0111(A): comatrice de lamatrice A. X.t\(X) : polynme caractristique de[amatrice A. 7r A (X): polynme minimaldelamatrice A. exp(A), ou eA :exponentielle dela matrice A. AT: transpose dela matrice A. x T:transpose du vecteur x. (11)(o(est une fonction numrique): l1-me drive dela fonction (. d((x ).11(o(estuneapplicationd'unBanachEdansunBanachF) diffrentielle de Frchet de (au point x, applique au vecteur h. ; ~(x))I)h(o(est uneapplicationdeExFdansG,etE,F,Gsontdes espaces de Banach) : diffrentielle de Frchet de (par rapport la variable x, au point (x,)')EExF, applique au vecteur hEE. \li (o (est une fonction): gradient de f. Ctl (o.,lK): ensemble desapplications den dans OC,de classeCP. LP (o.,lK):ensemble desapplications mesurables den danslK,depuissance pintgrable. Lfnc (o.,lK): ensemble des applications mesurables de n dans lK,dont lapuis-sance p est intgrable sur tout compact de n. HI (D,K):ensembledesapplicationsmesurables(den danslK,tellesque (,f' EL 1 (S1,lK) . .......'.: flchede convergence faible. 2Notations L: transformation deLaplace. ACC(XOl T): ensemble accessible entempsTdepuislepoint xo. Ace n (x 0, T): ensembleaccessibleentempsTdepuislepoint x 0,pourdes contrles valeurs dans n. Ex(),T,ou ET(silepoint Xoest sous-entendu): application entre-sortieen tempsTdepuislepoint xo. IIxllw(oxE ll{J1et \VE Mil (OC)): abbrviation pour x TWx. T xM(oMest une varit, et xEM) : espace tangent Mau point x. T ~ M: espace cotangent Mau point x. [X, YI(oXetY sont deschamps de vecteurs): crochet deLiedeschamps XetY. 3 Avant-propos PARTIE1 Qu'est-ce que lathorie ducontrle 7 Lathorieducontrleanalyselespropritsdessystmescommands, c'est--dire dessystmes dynamiques sur lesquelson peut agiraumoyen d'une commande(ou contrle).Lebutestalorsd'amenerlesystmed'untatinitialdonnuncer-tain tat final,en respectant ventuellement certains critres.Lessystmesabords sont multiples:systmesdiffrentiels,systmesdiscrets,systmesavecbruit,avec retard ... Leurs origines sont trs diverses:mcanique, lectricit, lectronique, bio-logie, chimie, conomie ...L'objectif peut tre destabiliser lesystme pour lerendre insensible certaines perturbations(stabilisation), ou encore dedterminer desso-lutions optimalespour un certain critre d'optimisation(contrle optimal). Danslesindustriesmodernesolanotionderendementestprpondrante,le rledel'automaticienestdeconcevoir,deraliseretd'optimiser,toutaumoins d'amliorerlesmthodesexistantes.Ainsilesdomainesd'applicationsontmul-tiples:arospatiale,automobile,robotique,aronautique,internet et lescommu-nicationsengnral,maisaussilesecteurmdical,chimique,gniedesprocds, etc. Dupoint devuemathmatique,un systmedecontrle estunsystmedynamique dpendantd'unparamtredynamiqueappellecontrle.Pourlemodliser,on peutavoirrecoursdesquationsdiffrentielles,intgrales,fonctionnelles,aux diffrencesfinies,auxdrivespartielles,stochastiques,etc.Pourcetteraisonla thorieducontrle est l'interconnexion denombreux domainesmathmatiques. Lescontrlessont desfonctionsoudesparamtres,habituellementsoumisdes contraintes. Contrlabilit.Unsystme de contrle est dit contrlable sion peut l'amener (en tempsfini)d'untat initialarbitraireversuntat finalprescrit.Pourlessystmes decontrlelinairesendimensionfinie,ilexisteunecaractrisationtrssimple delacontrlabilit,dueKalman.Pourlessystmesnonlinaires,leproblme mathmatique de contrlabilit estbeaucoupplusdifficile. 4Avant-propos Origineducontrle optimal.Unefoisleproblmedecontrlabilitrsolu,on peutdeplusvouloirpasserdel'tatinitiall'tat finalenminimisantuncertain critre;onparlealorsd'unproblmedecontrleoptimal.Enmathmatiques,la thorie du contrle optimal s'inscrit dans la continuit du calcul des variations. Elle est apparue aprs laseconde guerre mondiale, rpondant desbesoins pratiques de guidage, notamment dans ledomaine ciel'aronautique et dela dynamique du vol. Historiquement, lathorie du contrle optimal est trs lie la mcanique classique, enparticulier aux principesvariationnelsde lamcanique(principedeFermat,de Huygens,quationsd'Euler-Lagrange).Lepoint cldecettethorieest leprincipe du maximum dePontryagin, formulpar L. S.Pontryaginen1956, qui donneune conditionncessaired'optimalitetpermetainsidecalculerlestrajectoiresopti-males(voir[29]pourl'histoiredecettedcouverte).Lespointsfortsdelathorie ont t la dcouverte de la mthode de programmation dynamique, l'introduction de l'analyse fonctionnelle dans la thorie des systmes optimaux, la dcouverte des liens entrelessolutionsd'un problme decontrleoptimalet desrsultatsdelathorie destabilitdeLyapunov.Plustardsontapparueslesfondationsdelathoriedu contrle stochastique et du filtragedesystmesdynamiques,lathoriedesjeux, le contrle d'quations aux drivespartielles. Notonsquel'alluredestrajectoiresoptimalesdpendfortementducritre d'optimisation.Par exemple pour raliser un crneau et garer savoiture,il est bien videntquelatrajectoiresuiviediffresionralisel'oprationentempsminimal (cequiprsenteunrisque)oubienenminimisantlaquantitd'essencedpense. Leplus court chemin entre deux points n'est donc pas forcmentla lignedroite.En 1638, Galile tudie le problme suivant: dterminer la courbe sur laquelle une bille roule, sans vitesse initiale, d'un point A un point B,avec un temps de parcours mi-nimal,sousl'action de lapesanteur(tobogganoptimal).C'est lefameuxproblme delabrachisrochrone(dugrecbra/?bistos,DEplot( [sys),[x(t} ,y(t)] ,t=o .. 6,[iel ,stepsize=O.05, seene=(x(t) ,y(t)] ,lineeolor=[blue,red]); >DEplot([sys],[x(t) ,y(tl) ,t=O .. 6,(ie] .stepsize=O.05, scene=[t,x(t)] ,linecolor=(blue,red]); Introduction,contrleoptimal d'unressort Figure1.2. le ressort amorti Dans ceparagraphe on suppose que Il (t)=-; (t). L'quation(1.1)devient ;(t) + x(t) + lx(t)3 + ;(t)O. A PaidedeMaple,traonsdansleplan dephase(x,;) plusieurstrajectoiressolu-tions et le champ de vecteurs associ. >eql:::=D(x)(t)=y(tl: eq2:=D(y)(t)=-x(t)-2*X(t)A3 - y (t) sys:=eq1,eq2: ie:=[x(O)=l,y(O)=O],[x(O)=2,y(O)=O] DEplot (sys] ,(x(t) ,y (t)] ,t=o .. 15,riel, stepsize=O. 05, scene=[x(t) ,y(t)] ,linecolor=[blue,red]) i DEplot( (sys],(x(t) ,yetI] ,t=O .. 15,[ie] ,stepsize=O.05, scene=[t,x(t)],lineeolor=[blue,red]l; On observeun amortissement: lessolutions tendent versl'origine(voirfigure1.3}. Enfaitilestais,l'aidedelathoriedeLyapunov,demontrerquel'origine est globalement asymptotiquement stable.Notons cependant quececontrle Il (t) nersoutpasnotreproblme,carletempspouramenerleressortsaposition d'quilibre est infini! le ressort entretenu Dans ceparagraphe onsuppose que u(t) =_(x(t)2 - l ) . ~ ( t ) . L'quation (1.1)devient ~ ( t )+ x+ lx(t)3 + (x(tfl);(t) =O. lQuelquesremarquessurl'quation11 101214 Figure 1.3. Figure lA. C'est unequation dite deVander Pol. Al'aidedeMap[e,traonsdansleplandephase(x,;;)plusieurstrajectoiressolu-tions et lechamp de vecteurs associ,ainsiquelescourbes x (t)enfonctiont. >eqlD(x)(t)=y(t): eq2:=D(y)(t)=-x(t)-2*x(t)A3 -(x(t)A2 - 1 )*y(t): sys:=eq1,eq2: ie:[x(D)=l,y(O}",O],[x(O)",4,y(0)=0]: DEplot( (sye] JexIt) ,y(t)] ,t=D .. 10,(ie] ,stepsize=O.OS, seene=(x(t) ,yetI] ,lineeolor=[blue,red]); DEplot ((sye] J[x (t) , y(t)] ,t=O .. 10,(ie] ,stepsize=O .05, seene=(t,x(t)) ,lineeolor=[blue,red]) i 12;:i! Introduction:contrleoptimald'un ressort Numriquement(voirfigure1.4)on constatel'existence d'une solution priodique quisemble0,cequi contredirait (3.4).Donc x(T)E8Acc(xo, T), et uest extrmal.D Remarque3.4.Si11estextrmalsur[Dl TlalorsIlestaussiextrmalsur [0, t]pourtouttE[0, Tl,etdeplusp (t)estunvecteurnormalextrieur Acc(xo,t). Celadcoulefacilementdelapreuve et dela proprit(3.1). Remarque3.5.Puisquetoutcontrletemps-minimalestle thormeprcdent,quiestleprincipedumaximumdanslecaslinaire, donne une conditio11ncessaire d'optimalit. Remarque 3.6.Siltest un contrle temps-minimal joignant en temps Tune cibleMl, o.!vIleRtlestconvexe,alorsonpeutdepluschoisirlevec-teur adjoint pour que levecteur P (T)soit unitaire et normal un hyperplan sparant (au sens large) A cc (x 0, T) et M1.C'est une condition dite detra11S-versalit,obtenuefacilement danslapreuveprcdente. Comme exemplethorique d'application,montronslersultat suivant. 381:.'.':."; ':."iTemps-optimalit Proposition3.4c.ConsidronsdansRI!lesystmelinaireautonome ;;(t) =Ax(t) + Bu(t), avec BERu etlu(t)1~1, et olapaire(A,B) vrifie lacondition de Kalman. - Sitoute valeur propre de Aestrelle,alors tout contrle extrmal aau plus Il- 1 commutations sur lR:.+ ...Si toute valeur propre de Aa une partie imaginaire non nulle, alors tout contrle extrmal a un nombre infini de commutations sur Preuve.D'aprslethorme 2.4,lesystmepeut s'crire sousforme de Brunovski, et il est alors quivalent une quation diffrentielle scalare d'ordre nde laforme x(n}+ a 1X{n-l) + ... + dnX=u,lui~1. Deplus,tout contrleextrmalestdelaformeu(t)=signe/\(t),o/\(t)estla dernire coordonne du vecteur adjoint, qui vrifie l'quation diffrentielle /\(nl_d1(n-l) + ... + (-1)"an/\=O. Eneffet le vecteur adjoint vrifie p(t) =-p(t)A(t). - Sitoute valeur propre de Aest relle,alors (t) s'crit souslaforme (t) =L Pj(t)e'\Jt, j=l o Pjestunpolynme de degr infrieur ou galni1,et o1, "" sontlesrvaleurspropresdistinctesde-A,demultiplicitsrespectives n 1, ,n r.Notons quen=n 1+ ... + n,. Onmontre alors facilement,par rcurrence,que "'(t)admet auplus n- 1 zros. - Sitoute valeur propre de Aa une partie imaginaire non nulle, alors, comme prcdemment, on peut crire (t)L (Pj (t) cos /3j t+ Qj (t) sin {Ji t)etljt, j=l oi(Ii + i,Bj,et Pj,Qjsont despolynmes relsnon nuls.Enmettant en facteur unterme tk efijt deplushaut degr (i.e.domnant),onvoit facile-ment que A(t)a un nombre infini de zros. o ! Conditionncessaired'optimalit:principedumaximumdanslecaslinaire39 PARTIEIII Exemples 1.Synthseoptimalepourleproblmedel'oscillateurharmonique linaire Appliquonslathorie prcdentel'exempledel'oscillateur harmonique prsent enintroduction, pour k2 0, etrpondons aux deux questions suivantes: - Pourtouteconditioninitialex (0)=;(0)=)'0,existe-t-iluneforce extrieurehorizontale(uncontrle),vrifiantlacontrainte,quipermette d'amener lamasse ponctuelle sapositiond'quilibre x (T)= 0, ;(T)0 enun temps finiT? - Silapremireconditionest remplie,peut-ondeplusdterminer cetteforce demanire minimiser letemps? Enfin,cesdeuxproblmesrsolus,nousreprsenteronsdansleplandephasela trajectoire optimale obtenue. Contrlabilit du systme Lesystmes'crit { X- AX+Bu(0 - avecA=1 X(O)=Xo -On a facilement rg(B,A B ) =2; par ailleurs lesvaleurs propres de Asont departie rellenulle.Donc,d'aprslethorme2.3,lesystmeestcontrlable0,i.e.il existe des contrles li vrifiant la contrainte lu 11 tels que les trajectoires associes relient X 00, cequi rpond la premire question. Interprtationphysique 40- Sil'onn'appliqueaucuneforceextrieure,i.e.tl=0,alorsl'quationdu mouvement est + x=O.Lamasse ponctuelle oscille,et ne s'arrte jamais, donc neparvient pas sa position d'quilibre en un tempsfini. - Sil'on applique certainesforces on atendance amortir lesos-cillations.Lathorieprvoitqu'onparventstopperl'objetenuntemps fini. 1Temps-optimalit Calculducontrleoptimal D'aprsleparagrapheprcdent,ilexistedescontrlespermettant derelierX 0 O.Oncherchemaintenant lefaireentempsminimal.Pour cela,onappliquele thorme 3.8, selon lequel li (t)=signe(p (t)B), op (t)EJRlestsolutiondeP=-p A.PosonsP=(p l,P.2).Alors u(t)=signe(pl(t)),etPlPl,Pl=-Phd'oP2+ Pl=O.Donc P2 (t)= cos t+ fI.sn t.Enparticulier,ladureentredeuxzrosconscutifsde Pl (t)est exactement 1.Par consquentlecontrleoptimalestconstant par mor-ceaux sur desintervalles delongueur 1,et prend alternativement lesvaleurs 1. - Si1l=-l, on obtient le systme diffrentiel {~=)1, Y=-x -1. (3.5) - Si11= {X=y, y= -x + 1. (3.6) Latrajectoire optimale finale,reliant X 00, sera constitue d'arcs successifs, solu-tionsde(3.5)et (3.6). Solutionsde (3.5) .On obtient facilement(x+ 1)1+ y2este=R 1, doncles courbes solutions de(3.5)sont descerclescentrs en(1,0), et de priode 21(en fait, x(t)=-1 + R cos t,y (t)= Rsin t). Solutions de (3.6)..On obtient x (t)=1 + Reas tet JI (t )Rsin t. Les solutions sont des cercles centrs en(1,0), de priode 21. Latrajectoire optimale de X 0 0doit donc suivre alternativement unarc de cercle centr en( - 1,0), et unarcdecercle centr en( 1 ~ O ) . Quittechanger ten-t, nousallonsraisonnerentempsinverse,etconstruirela trajectoire optimale menant de0X o.Pour cela,nousallonsconsidrer toutesles trajectoires optimales partant de0,et nous slectionnerons celle quipasse par X o. EnfaisantvarierP (0),onfaitlavariertrajectoireoptimale.Eneffet,d'aprsle thormedeCauchy-Lipschitz, P (0)dtermine P (t)pourtout t, cequidfintun contrle optimalu (t), et donc unetrajectoire optimale. Prenonsdesexemplespour commencer reprsenter l'allure destrajectoiresopti-males possibles. n:!Exemples41 Ay x -1+1 Figure 3.5. SiPI(O)=1,P2(0)=0,alorsP2(t)=-sint,doncsur]O,7r[ona II (t)signe(p 2 (t))=-1. Latrajectoire optimale correspondante, partant de0,suit donc pendant untemps 7rl'arc decercle r _ solution de(3.5), pasM sant par 0(voir figure3.5). - SiPl(O)-1, Pl(O)=0,alorsPl(t)=sint,doncsur]0,1i[ona II (t)=signe(p l(t ))=+ 1.Latrajectoireoptimale correspondante,partant de0,suit donc pendant untemps li l'arc decercle l'+ soluton de(3.6),pas-sant par (voir figure3.6). x -1+1 Figure3.6. - Pourtoutautrechoixdep(O)telqueP2(0)>0,latrajectoireoptimale correspondantepartdel'origineensuivantr+jusqu'ceque Pl(t)=O. Au-deldecepoint,Pl (t)changedesigne,donclecontrlecommuteet prend lavaleur-1, pendant une dure li (i.e.jusqu' ce que P'2. (t)change nouveau de signe). La trajectoire optimale doit alors tre solution de (3.5), en partant decepoint decommutation M, et doit doncsuivreunarcdecercle centren(- 1:0),pendantuntemps1LC'estdoncundemi-cercle,vula paramtrisation descourbes de(3.5)(voir figure3.7). LatrajectoireoptimalerencontreundeuximepointdecommutationN lorsquenouveauP1 (t)changedesigne.OnremarquequeMetNsont jTemps-optimalit Figure3.7. symtriques par rapport au point ( -1,0) (en effet ce sont [es extrmits d'un demi-cercle centr en cepoint).LepointMappartenant audemi-cercle le point Nappartient au demi-cercle image depar [a symtrie par rapport aupoint(- 1,0)quiestaussi,commeonJevoitfacilement,letranslat gauche de r_ par latranslation devecteur(2,0). Poursuivonsalorsnotreraisonnement.On serendcompte quelespointsdecom-mutationdecettetrajectoireoptimalepartantde0sontsitussurlacourbe\\7 construite delamanire suivante:West l'union detouslestranslats gauche r _ par latranslation prcdente, et aussidetouslestranslats droite de r+(voir figure3.8). x Figure 3.8. Ensemble\V Lestrajectoires optimales sont alors construites delamanire suivante: on part de o et l'on suit unmorceauder -+al!r _,jusqu'unpremier point decommutation. Sipar exempleontaitsur r +,alorspartant decepoint onsuitunarcdecercle centr en ( - 1,0), au-dessusde\"\7,jusqu' cequ'onrencontre\V.De cedeuxime ,rExemples43 44

X Figure 3.9. point decommutation,onsuit unarcdecerclecentren(1,0)jusqu'rencontrer Wenuntroisimepoint de commutation, etc(voirfigure3.9). On est maintenant enmesure de rpondre la deuxime question, dumoins graphi-quement. Lebut est de relier 0 et X 0par une trajectoire optimale. La thorie prvoit qu'on peut effectvement lefaire.Unetrajectoire partant de0est,comme onvient de levoir ci-dessus, dtermine par deux choix: - partant de0, on peut sUvreun morceaudeou der_. - il faut choisir lepremier point de commutation. SimaintenantonsedonneunpointXo (xo,Yo)duplandephase,onpeut dterminer graphiquement cesdeux choix,et obtenir untracdelatrajectoire op-timale(voir figure3.10).Dans lapratique ilsuffit d'inverser letemps, i.e.de partir du point finalet d'atteindre lepoint initial. Remarque3.7.l:mplmentationnumriquedecetexempleesttrsfacile faire.NouslaferonspluttdansJecasnonlinaireoelleestplus intressante. 2.Autres exemples Exemple 3.1.[49]Considrons le systme de contrle xy+ u,y-y + u,lu 11. Lebutest de joindreentempsmnimalladroitex= 0,puisderester sur cette droite. !Temps-optimalit y x Figure 3.10. Synthseoptimale Remarquonstoutd'abordquesiunetrajectoirerestedansx=0,celaimplique y(t)-u(t), et doncIyl~1.Rciproquement detout point(O)y)avecIyl~1 partunetrajectoirerestantdanslelieux0,Iy!~1;ilsuffitdechoisir 11(t)=-ye -lt .Par consquent lacible est C'est un compact convexe. Lesystme est du type XA X+ B ltavec On vrifie facilement lacondition deKalman, et d'autre part lesvaleurspropres de Asont et -1. D'aprs lethorme 2.3 lesystme est donc contrlable 0, et donc lacible Mlest atteignable de tout point. Commedans lecas prcdent,raisonnonsentempsinverse en calculant lestrajec-toiresoptimales joignant Ml tout point final.Lesystme extrmal s'crit alors ... x= -ylt,Y=)' -Il, Px=0,Py= PxPy, ou(t)signe(tlx(t)+ py(t)).OnintgreaismentPx(t)cste=Pxet py(t)=Px+ (py(O)- px)e-tEn particulier Px+ Pl'est strictement monotone et donc lecontrle Iladmet auplus une commutation. Parailleurslaconditiondetransversalit(voirremarque3.6)imposequesi x(O)0,ly(O)1 0, il faut d'abordprendreIl+ 1,i.e.suivreunmorceaudelacourbe f, puiscommuter (avant d'arriver Xl= et suivre unarc associ tI-1. Par exemple sia> 0 est trsgrand, lepoint de commuta tiondoit tre trsproche deladroite Xl=481 Temps-optimalit CHAPITRE4 Thorielinaire-quadratique Dans ce chapitre on s'intresse aux systmes decontrle linaires avecun cot qua-dratique.Cessystmessont d'une grande importance danslapratique,commeon leverraen section4.4.Eneffetuncot quadratiqueest souventtrsnatureldans unproblme,par exemplelorsqu'onveutminimiserl'cart aucarrpar rapport une trajectoire nominale (problme de poursuite). Par ailleurs mme silessystmes decontrle sont ennon linaires,onesttrssouvent amen linariser le systme lelong d'une trajectoire,par exemple dans desproblmes destabilisation. Nous allons donc considrer unsystme decontrle linaire dans IRI1 ( t )A (t )x ( t) + B (t )li ( t),x( 0 )x 0,(4.1) muni d'un cot quadratique dutype j'T TTT C (li)=X(T)Q x ( T) +( x (t)\V (t ) x ( t)+ li (t)U ( t ) li (t )) dtl . () ( 4.2) o T> est fix, et o, pour tout tE[0, T], U (t)EMm (IR.)est symtrique dfinie positive,\V(t)EMil (IR.)est symtrique positive,et QEMu (IR.)estunematrice symtriquepositive.On supposequelesdpendancesentdeA, B,\V etUsont L'x;,sur[01 T].Par ailleurslecot tant quadratique,l'espacenaturel descontrles estL 2 ([0, TllIfl1). Le problme de contrle optimal est alors le suivant, que nous appellerons problme LQ(linaire-quadratique). ProblmelQ:Unpoint initial XoEIRn tant fix,l'objectif estdedterminer les trajectoires partant de Xoqui minimisent lecot C(u). Notonsque l'on n'impose aucune contrainte sur lepoint finalx (T).Pourtoutela suite, on pose 2T1.TT Ilx(t)llw'=x(t) Ilu(t)lIu= u(t)U(t)u(t),etg(x) =xQx, 1Exemples49 de sorte que G(Il)g(x(T)) + [+ Illl(tlllt) dt. Les matrices Q: \\7: Usont desmatrices depOl1dratiol1. Remarque4.1.ParhypothselesmatricesQ et\X1(t)sont symtriquespo-sitives,maispasncessairement dfinies.ParexemplesiQ0et\X1=0 alors lecot esttoujours minimal pour lecontrle lf= O. Remarque 4.2.Comme danslechapitre prcdent, on suppose pour allger lesnotationsqueletempsinitialestgalO.Cependanttouslesrsultats quisuiventsonttoujoursvalablessionconsidreleproblmeLQsurun intervalleIto, T.I,avecdes contrles dans l'espace L 2 ([to, TJ,lFtlll). Remarque4.3.Lesrsultatsdes 4.1et 4.2serontenfaitvalables pour des systmes linaires perturbs xA x+ Bu + r, et avec une fonction gdejRlldans:iRcontinue ouCl. Nous prciseronspour chaque rsultat les extensions possibles. Demme nous envisageronslecas o T+00. PARTIEJ Existencede trajectoires optimales Introduisonsl'hypothse suivante surU. Par exemple cette hypothse est vrifie sil'application tI-l- U (t)est continue sur [0, TletTLafonctionC est strictement convexe. Preuve du lemme Toutd'abordremarquonsquepourtouttElo, T],lafonction feu)= uTU(t)udfiniesurjRmeststrctementconvexepuisqueparhy-pothselamatriceU(t)estsymtriquedfiniepositive.Ensuite,notons x u (.)latrajectoire associe uncontrle u. Onapour tout tE[0, T], xu(t) = M(t)xo + M(t) .Iot M(S)-lB(s)u(s)ds. Par consquent, comme dans lapreuve duthorme 2.1,l'applicationqui uncontrle uassocie Xu (t) est convexe,cecipour tout tE[0, T].Lamatrice W(t)tant symtriquepositive,ceciimpliquelaconvexitdel'application quiuncontrleuassocie x(t)T W(t)w(t).Onraisonnedemmepour le terme X(T)T Qx(T). Enfin,l'intgration respectant laconvexit, on en dduit que lecot est strictement convexe enu.0 L'unicitdelatrajectoire optimale enrsulte trivialement. o Existencedetrajectoiresoptimales51 Remarque 4.4.Extension du thorme 4.9 Silafonctiongapparaissantdanslecotestunefonctioncontinuequel-conquede]Rudans]R,et/ousilesystmedecontrleestperturb parune fonctionr (t ))alors lethorme prcdent restevrai. Remarque 4.5.Cas d'un intervalle infini LethormeestencorevalablesiT+00,avecg=0,pourvuquele systme(4.1)soit contrlable (entempsquelconque). Eneffetilsuffitjustedemontrerqu'ilexistedestrajectoiressolutionsdu systme(4.1)surIO,+ ooIet decot fini.Or silesystmeestcontrlable, alors il existe uncontrle Ilet untempsT> telque latrajectoire associe lirelie Xo sur [0, T.l.On tend alors le contrle li par sur ]T,+ 00[, de sorte que latrajectoire reste en O.On a ainsi construit une trajectoire solution dusystmesur[0,+ 001"etdecotfini.Cecipermetd'affirmerl'existence d'une suite de contrles minimisants. Lesautres arguments dela preuve sont inchangs.On obtient donc lersultat suivant. Proposition4.5QConsidrons leproblme dedterminer unetrajectoire solution de ;(t) =A(t)x(t) +B(t)ll(t) +r(t) surrO)+ oo[ et minimisant lecot Silesystme est contrlable enuntemps T> 0, et sil'hypothse (4.3) est vrifie sur [0,+ 001.,alors il existeuneunique trajectoire minimisante. Remarque 4.6. - SiPonsupposedeplusquelesapplicationsA(.)etB (.)sontL 2 sur [0,+ ooI, et si\V( . ) vrifie commeUune hypothse de coercivit (4.3),alorslatrajectoireminimisantetendverslorsquettendvers l'infini. Eneffetonmontrefacilementenutilisantl'ingalitdeCauchy-Schwarzquel'application~(.)estdansLI, etpar consquent que x (t)converge.Salimite est alors forcment nulle. Dans Jecas autonome (Aet Bsont constantes), si\X!(. ) vrifie comme Uunehypothsedecoercivir(4.3),alorslatrajectoireminimisante tendvers lorsquettend vers l'infini. 52-,iThorielinaire-quadratique Eneffet il suffit d'crirel'ingalit Il;(t)11IIAllllx(t)11 + IIBllllu(t)11Cste(llx(t)1I2 + Ilu(t)111), puisenintgrantonmontredemmequel'application;( .)est dansL l, PARTIEIl Conditionncessaireet suffisante d'optimalit: principe dumaximumdanslecasLQ Thorm e4.10CIl Latrajectoirex, associeaucontrleli, est optimale pourleproblmeLQsietseulements'ilexisteunvecteuradjointp (t) vrifiant pour presque tout tE[0, Tl p(t) = -p(t)A(t) +x(t)TW(t)(4.5) et lacondition finale (4.6) De plus lecontrle optimal Ils'crit, pour presque tout tE[D, T], (4.7) Preuve.Soit uuncontrle optimalet xla trajectoire associe sur [0, Tl.le cot est doncminimalparmitouteslestrajectoires solutionsdu systme,partant de xo,le point finaltant non fix.Considrons alorsdesperturbations du contrle udans L 2([0, Tl,IRm)du type uperdt) =u(t) +Ju(t), engendrant les trajectoires xperdt) = x(t) + Jx (t) + o(llJu JILl), Jx(O)O.latrajectoirexpertdevanttresolutiondusystme xpertAXpert + BUpert,on en dduit que Jx= AJx + Bu, et par consquent, pour tout tE[0, Tl, x(t) = M(t) lat M(st1 B (s)8u(s)ds.(4.8) ..':1iConditionncessaireet suffisante d'optimalit: principe dumaximumdansle casLQ53 54 Parailleursilestbienclair que lecotC(. ) estune fonctionlissesurL 2 ([D, (elleestmmeanalytique)ausensdeFrchet.Lecontrleutant minimisant on doit avoir dC(u)D. Or et commeQ,W(t) et U(t) sont symtriques,on enddut que = X(T)T Qt5x(T)+fT(x(t)T W(t)t5x(t)+u (t)T U(t)t5u(tdt =(4.9) 2.Jo cecitant valablepour toute perturbationiSu.Cette quation vanousconduire l'expression du contrle optimal u. Mais introduisons tout d'abord le vecteur adjoint p(t) comme solution du problme de Cauchy p(t) =-p(t)A(t) +x(t)TW(n p(T) = -x(T)T Q. Laformule de variationdelaconstantenous conduit p(t)AM(tt' + lt x(s)TW(s)M(s)ds M(t)-l pour tout tEo A_X(T)T OM(T) _[T x(s)TW(s)M(s)ds . ./0 Revenonsalors l'quation(4.9). Tout d'abord, en tenant compte de(4.8)puisen intgrant par parties,il vient Or lT x(t)TW(t)iSx(t)dt =foTx(t)TW(t)M(t) lt M(st' B(s)ou(s)ds dt =fT x(s)TW(s)M(s)dsfTM(s)-' B(s)ou(s)ds Jo./0 -lT lt x(s)TW(S)M(s)dsM(t)-1B(t)iSu(t) dt. p(t)AM(tt1 =tx(s)TW(s)M(s)ds M(t)-1, ./0 et d'aprs l'expression de A onarrive l'TlT _X(T)T QM(T)M(t)-1 B(t)i5u(t)dt- p(t)B(t)iSu(t)dt ,00 Injectons cette galit dans(4.9),en tenant compte du fait que x(T)T OiSx(T)=X(T)T OM(T) .iT M(tt1 B(t)iSu(t)dt. 1 Thorielinaire-quadratique On trouve alors que 1fT dC(u).8u=Jo(U(t)TU(t) P (t)B (t))8u (t) dt cecipour touteapplication8uEL 2([0, T1IR.m).Ceciimpliquedoncl'galitpour presque tout tE[0, Tl U(t)T U(t)p(t)B(t) =0, cequiestlaconclusionsouhaite.Rciproquements'ilexisteunvecteuradjoint p (t)vrifiant (4.5)et(4.6)et silecontrleuestdonnpar (4.7),alorsilestbien clair d'aprs le raisonnement prcdent que dC(u)=O. Or C tant strictement convexe ceciimplique que uest un minimum global de C.0 Remarque 4.7.Silesystme decontrle est perturb parunefonctionr (t), alorslethormeprcdent restevrai.Ille reste,demme,silafonction g apparaissant dans le cot est une fonctionClquelconque de IR1I dans IR,sauf que la condition fna]esur levecteur adjoint (4.6)devient peT) (4.10) comme on le voit facilement dans ladmonstration. Cette condition s'appelle condition detransversalit. Remarque4.8.Danslecasd'unintervalleinfini(T devient +oo)lacondition Hmp (t)O.(4.11 ) ( ..... +00 Rentarque 4.9.Dfinissons lafonction H:]R1IXRitXIRlII -l- IRpar 1 H(X1P,U)=p(Ax + Bu) - 2 (xTWx+ uTUu), en utilisant toujours la convention que p est un vecteur ligne de IRI! . Alors les quations donnespar leprincipe du maximum LQ s'crivent et aH x=- Ax +Bu, 8p P=- aaH =-pA +xTW, x aH=0, au li! Conditionncessaireet suffisante d'optimalit: principedumaximumdanslecasLQ55 56 puisquepBliT UO.Ceciannonceleprincipedumaximumgnral. Mais en fait icidans lecas LQ onpeut dire mieux: d'une part leprincipe du maximumLQ estune condition ncessaire et suffisante deminimalit(alors que dans le cas gnral c'est une condition ncessaire seulement), d'autre part il est possibled'exprimer le contrle sous formedeboucle ferme,grce la thorie de Riccati(voir section suivante). Exemple4.3.Considrons, avecnm=1,Iesystmedecontrlex =u,x(O)= xo. et le cot C(u)=fT(X(t)2+ u(t)2)dt . ./0 SilatrajectoirexassocieaucontrleUestoptimalealorsd'aprslethorme prcdent on doit avoir x=UtP= x,p(T)~ avec Up. Onen dduit que x =X,et donc x(t) =xoch t+ p(O)sht,p(t) = xosh t+ p(O)ch t. Or p (T)=0,d'o finalement x (t)=x 0(Cht- ~ ~~sht) . Exemple4.4.Considronsleproblmeduvhiculesedplaant enlignedroite, modlis par lesystme de contrle x= u,x(O}=x(O)=O. Onsouhaite,pendantuntempsTfix,maximiserladistanceparcouruetouten minimisant l'nergie fournie. Onchoisit donc le critre C(u)-x(T) +fTu(t)2dt. Jo Enappliquant le thorme 4.10 on obtient les quations ... XYIY=UIPX=D,py-Px, et lacondition (4.10)donne 1 Px(T)=2'py(T) =o. Enintgrant on trouve le contrle et ladistanceparcourue 1 Thorielinaire-quadratique u(t) T-t 2 1 x(T) =6 Remarque4.10.Dansl'exempleprcdentonauraitpumettredespoids diffrents dans lecot, suivant qu'on accorde plus d'mportance maximiser ladistance parcourue ouminimiser l'nergie.On peut aussi choisir lecot quiconduit ll(t)x(T)(T - t) etx(T) Remarque 4.11.L'approche dveloppe dansladmonstration du thorme 4.10 est variationnelle. On trouvera une autre approche dans [49], qui permet notamment une extension au cas o on impose que lepoint final appartienne une cible.Nousavonsiciprfr l'approcheducalculdesvariationsclas-sique, car elle permet une preuve plus rapide et lgante. L'autre approche est enfaitplusgnraleet seraprivilgie dans lecasgnral(nonlinare)o elle conduit auprincipe du maximum dePontryagin gnral. PARTIEIII Fonctionvaleur et quation de Riccati 1.Dfinition delafonctionvaleur SoitT>0fix,etsoitxEIei.'l.ConsidronsleproblmeLQdetrouverune trajectoire solution de ;(t)A(t)x(t) + B(t)u(t), x(O)= Xl minimisant lecot quadratique T CT (II)=x (T)T Qx (T) +10+ 1111(t) lit) dt. (4.12) (4.13) Dfinition 4.1/!J Lafonctionvaleur STau point xestlaborneinfrieure des cots pour leproblme LQ.Autrement dit Remarque 4.12. Sous l'hypothse (4.3) on a existence d'une unique trajectoire optimale d'aprs lethorme 4.9, et dans ce cas cette borne infrieure est un mmUTIum. Fonctionvaleur et quationdeRiccati57 2.Equation de Riccati Thorme 4.11'"Sousl'hypothse(4.3),pour tout xERI!il existeune uniquetrajectoireoptimalexassocieaucontrle11pourleproblme {4.11},(4.13).Le contrle optimal semet sous formede boucle ferme (4.14) o E (t)ENCI (lEI{)est solution sur[D, T]del'quationmatricielledeRic-cati ( t) =\\7 ( t )A (t )T E (t)- E ( t ) A ( t )E ( t ) B (t ) U (t t 1 B (t )TE (t ), E(T) = (4.15) De plus,pour tout tE[0, T], lamatriceE (t)est symtrique, et 5T(x)=(D)x.(4.16) Remarque 4.13.En particuJer le thorme affirme quelecontrle optimalu semet sous formedeboucle ferme ll(t)=K(t)x(t), oK(t)=U(t)-lB(t)TE(t).Cetteformeseprtebienaux problmesde stabilisation, comme nous leverrons plus loin. Preuve du thorme 4.11.D'aprs le thorme 4.9,ilexisteune unique trajectoire optimale qui. d'aprs le thorme 4.10,est caractrisepar le systme d'quations Je=Ax+BU-1BTpT, p =-pA +xTW, avec x (0)= xet p (T)=-x(T) T O.Deplus le contrle s'crit u= U-1BTpT. Ilfaut donc montrer que l'on peut crire p(t)X(t)T E(t),oE(t)est solution de (4.15).Notons que sips'crit ainsi,alors,d'aprs l'quation vrifiepar lecouple (x}p),on trouve facilement que E(t)doit tre solution del'quation (4.1Enuti-lisantl'unicit de la trajectoireoptimale,onvamaintenant montrer que ps'crit effectivement ainsi. Soit E(t) solution de l'quation W- ATE - EAEBU--1 BT E}E(T)=-Q. Tout d'abord E(t) est symtrique car le secondmembre del'quation diffrentielle l'est, et la matrice Q est symtrique. A priori on ne sait pas cependant que lasolution est bien dfinie sur IO, T]tout entier.On montrera celaplus loin (lemme 4.4). 58i..;! Thorielinaire-quadratique posonsmaintenant Pl (t)X, (t)T E(t),Ox,est solution de x,= Ax,+ Bu" .'T p,=X,E+Xl =(Ax,+BU-'BTEx,)T E +X,T(WATEEA-EBU-lBTE) = -PlA +X,TW. Autrement dit letriplet(Xl,P 1,U, )vrifieexactementlesquationsdu thorme 4.10.ParconsquentlatrajectoireXlestoptimale,etparunicitilvient x,X, U1u, puisp,= p. Enparticulier on a doncpxTE, et u=U-, BTEx.Dduisons-enlaformule (4.16).Pour celacalculons d'abord,lelong de la trajectoire x(t), :t x( t)T E (t )x(t) d.. dtP(t)x(t) = p(t)x(t) + p(t)x(t) =(P (t)A(t) + X(t)T W(t))x(t) + p (t)(A (t)x(t) + B(t)u(t)) =X(t)TW(t)X(t) + p(t)B(t)u(t). Parailleurs de l'expression deuon ddut uT Uu= (U""BT EX)T UU-, BT Ex= xT EBU ~ 1BT Ex= pBu. Finalement on a l'galit d dtX(t)T E(t)x(t) = X(t)TW(t)x(t) + U(t)T U(t)u(t), et par consquent {Td 5T(x)X(T)T Qx(T) + .ladtx(t)T E(t)x(t) dt. Or puisque E(r) =-Q et x(O)Xt il vient 5r(x)=-xTE(O)x. Lemme 4.4f)L'application thoE(t) est bien dfinie sur [0, Tl tout entier. Preuve du lemme Sil'application E(t) n'est pasdfinie sur [0, Tlentier, alors il existe 0< t ~< T telqueIIE(t)11tend vers+00lorsquettend verst. par valeurs suprieures. Enparticulier pour tout o'> 0 ilexiste toEJt" Tlet XoERn,avecIlxo Il1, tels que (4.17) D'aprs le thorme 4.9,ilexiste une unique trajectoire optimale x( . ) pour leproblmeLQsur[to, TI,telleque x(to)Xo(voirremarque4.2).Cette trajectoire est caractrisepar le systme d'quations XAx + BU-l BT pT,x(to)Xa, p-pA +xTW, p(T)-X(T)TQ. ,,f'Fonctionvaleur et quation deRiccati59 Ilrsulteduthormede dpendancecontinuedessolutionsd'unequa-tion diffrentielle par rapport lacondition initiale que les extrmits x(T) autempsTdestrajectoiresissuesautempstode xo,sontuniformment borneslorsque0tofix.Pour tout tE[D, T]ettout xERI! , considrons leproblme LQ detrouver unetrajectoire solution de X =Ax+Bll,X(t)=x,(4.18) minimisant lecot quadratique i j i l j.y CT(t,ll)= g(x(T)) +t + dt. (4.19) Dfinition 4.2QLa fonctionvaleur S au point (t,x) est la borne infrieure descots pour ceproblme LQ. Autrement dit Sy(t,x)=inf{CT(t,u)1 XI/(t)=x}. Thorme4.120Sousl'hypothse(4.3 L pourtoutxEJR"ettout tE[0, T]ilexisteuneuniquetrajectoire optimale xassocieau contrle Ilpour leproblme (4.18),(4.19).Le contrle optimal semet sous forme deboucle ferme (4.20) pourtoutsE[t, Tl,etoE (s)EMil (R)estsolutionsur[t, T]de l'quation matricielle de Riccati (4.21 ) De plus pour tout sE[t, T] lamatrice E (5)est symtrique,et pourtout tE[0, T]on a ST(t,x)=-xTE(t)x.(4.22) Preuve. Ladiffrence par rapport au casprcdent est que l'on paramtrise le temps initial. Le seul changement est donc la formule (4.22). Comme dans la dmonstration prcdente, on a {Td ST(t,X)= X(T)T Qx(T) +.ltdSX(S)T E(s)x(s)ds. 1\"liJ,."il!iFonction valeur etquationdeRiccati61 62 Or puisque E(T)= -Q et x(t)= x, ilvient Sr(t,x)-xTE(t)x.o Remarque 4.15.L'quationdeRiccatitant fondamentale,notamment dans lesproblmesdergulateur(voirsectionsuivante),laquestiondeson implmentationnumriqueseposenaturellement.Onpeutprocderde maniredirecte:ils'agitalors,entenantcomptedufaitqueE (t)est symtrique,d'intgrerunsystmediffrentelnonlinairede11(11+ 1)/2 quations.Dansleparagraphesuivantondonneunealternativecette mthode.Ci-dessous,nous traitons enMatlabunimplmentant di-rectement l'quaton deRiccati. El$emple 4.5.Considrons le problme LQpour le systme dans x= y,y=z,z=u, et le cot Notonsquepourimplmenterl'quationdeRiccati{4.21),uneconditionfinale tant donne,oninversele tempsde faonseramener une conditioninitiale. Pourrtablir lebon sensdu temps,onutiliselafonctonflipud,clprogramme C-dessous. functionriccati1 %Systemedx/dt=y,dy/dt=z,d z / d t ~ u % min(xA2+yA2+ZA2+uA2) cIeclearaIli range[0a . 01:10J; globaltriccariccai mini t[0;0;ai0i0i0]; (tricca,ricca]= ode113(@matriccati,range,minit); ricca=flipud(ricca) ;% onremetletempsdanslebonsens xinit [t,X] [1;2;3] ode113 (systriccati,range,xinitl ; plot ( t, X ( : , 1) ) %--- ----------------------------------------functiondXdt=systriccati(t,X) globaltriccariccai x=X(1);y=X(2);z=X(3) [bla,k]=min{abs(tricca-t; e-ricca(k,5};f-riccalk,6);c-ricca{k,3}; u=e*x+f*y+c*zi%controlefeedbacku=U"'{-l}B'EX 1 Thorielinaire-quadratique dXdt=[y z ul; %------------ ------------ ----------- --------------functiondXdt::::matriccati(t,X) %BqdeRiccatidE!dt=N-A'E-EA-EBU"'{-l}B'E,E(T)=-Q, %entempsinverse a=X(l);b=X(2);c=X(3)d=X(4)ie=X(5);f=X(6)i dXdt=- [l-e .... 2 -2*d-fA2 +1 -2*f-cA2+1 -a-e*f -d-e*c -e-b-f*cl 3.Reprsentationlinaire de l'quation de Riccat On a laproprit suivante. Proposition 4.6qPlaons-nous dans lecadre du thorme 4.11. Soit la rsolvante dusystmelinaire xAx + BU-1BTpT, pT=_ATpT + Wx, tellequeR (T) =Id. Alors pour tout tE[0, T]on a Preuve.Par dfinition delarsolvante on a x(t) =R, (t)x(T) + R2(t)p(T)Tt p(t)T =R3(t)X(T) + R4(t)p(T)T. Or on sait que p(T)T=-Qx(T), donc x(t) =(R,(t)R2(t)Q)x(T)etp(t)T(R'3(t)- R4(t)Q)x(T). Onconclutenremarquantquep(t)T=E(t)x(t).Notonsquelamatrice R1(t) - R2(t)Qestinversiblesur[Q,T]carleproblmeLQestbienpos,comme nous l'avons vu prcdemment.0 :liiFonctionvaleur et quationdeRiccati63 Parconsquentpourrsoudrel'quationdeRiccati(4.15),ilsuffitd'intgrerun systmelinaire(ilfautcalculerunersolvante),cequiesttrsfacileprogram-mer.Cette mthode (dueKalman-Englar)est notamment prfrable lamthode directedanslecasstationnaire (voir[44J). PARTIEIV ApplicationsdelathorielQ 1.Problmesdergulation Leproblme durgulateur d'tat (ouproblme d'asservissement., ouproblme de poursuite, enanglaistrackingproblem ) Considrons lesystmede contrle linaire perturb .; ( t)= A (t ) x ( t) + B (t ) Il (t)+ r ( t ),x (0)= X0,(4.23) et soit E(t)une certaine trajectoire de [{IIsur [0, TJ, partant d'un point eo(et qui n'est pasforcmentsolution du systme(4.23)). Lebut est dedterminer un contrle tel que latrajectoire associe,solution de(4.23), suive lemieux possible latrajectoire derfrence e(t)(voir figure 4.1). (t) x(t) Xo.--------Figure 4.1. Problme durgulateur 64C l;oiPii; c!iThorielinaire-quadratique On introduit alors l'erreur sur [0, T] z (t )x ( t)- e(t ), quiest solution dusystme decontrle (t)=A (t ) z ( t) + B (t ) 11(t)+ rI (t),z ( 0)=z(4.24) oZoXo- oetrt(t)=A(t)"(t)-+ r(t).IIestalorsraisonnablede vouloir minimiser le cot C(u)=z(T) T Qz(T) +((11z (t + Il'' (t) lit) dt, .Jo o Q, W, Usont des matrices depondration. Pour absorber laperturbation ri, on augmentelesystme d'une dimension, enposant

desorte que l'on seramne minimiser lecot pour lesystme de contrle Z 1=A 1 Z 1 + B tll, partant du point Z1 (0). LathorieLQ faiteprcdemment prvoit alorsquelecontrle optimal existe,est unique, et s'crit li ( t)= U (t ) - 1 B l(t )TEl (t ) z 1 (t ), o El (t)est solution de l'quation de Riccati .T-1 El=W 1- AIE 1- E fA f- E f B l UBI1,El (T)-Q 1 . Posons ( E(t)h(t)) El(t) =h(t)Tnet). Enremplaantdansl'quationprcdente,ontablitfacilementlesquations diffrentielles de E,h,o:: ,'=W-ATE-EA-EBU-lB1"E, ,;=-ATh- Er)EB U-1 BTh, E(T) =-Q, h(T)0, (4.25) 6=-21'1T"-"TBU-IBTh,a(T)O. Rsumons tout cecidans laproposition suivante. !\;'1Applications delathorie LQ65 Proposition4.7IlSoit unetrajectoirede]RIJsurTI.Considronsle problme de poursuite pour lesystme de contrle ;(t)= A (t )x (t)+ B (t )1I (t)+ r (t),x (0)=x 0, o l'onveut minimiser lecot C(ll) =(x(T)_(T))TQ(x(T) -E(T)) + [(llx(t) + lIu(t)llt)dt. Alors ilexiste un unique contrle optimal, qui s'crit li (t)=U ( t ) -1 B (t )T E ( t ) (x ( t) - (t ))+ U ( t ) - 1 B (t )T b (t ), o E (t)EA'il/ (IR)et h (t)E!RITsont solutions sur [0, Tlde E\\7- A TE- E A- E BB T E, ,;-ATh-E(A-(+r)EBU-1BTh, E(T) =-Q, h(T) =0, et deplus E (t) est symtrique. Par ailleurs le cot minimal est alors gal -(x(O) - (O)? E(O)(x(D)- (O)) 2h (O)T (x(O)- (O)) laT(2(A (t)(t)-+ r(t))T h (t) + h (t )TB (t) U (t )-1 B (t) T h (t)) dt. Remarque 4 ..16.Notonsquelecontrleoptimals'critbiensousformede boucle ferme u(t)K(t)(x(t) -(t)) +H{t). Remarque 4.17.Si =A + r, i.e.latrajectoire de rfrence est solution du systmesanscontrle,alorsdanslesnotationsprcdentesonarIO, et d'aprs [es quations (4.25) on en dduit que h (t) et o:(t) sont identiquement nuls.Onretrouve alors le cadre LQ delasection prcdente.En fait, - si =0et r= 0, le problme est un problme LQ standard; - SI1'0,ils'agit d'un problme de poursuite de latrajectoire e; - si =0, c'est un problme dergulation avec ]aperturbationr. 66i'1Thorielinaire-quadratique Exercice4.8.Rsoudreleproblmedepoursuitesur[0,pourlesystmex =x+ u, x(O)0,la fonction=t, et des poids tous gaux 1. Exercice 4.9. Considronsl'oscillateur harmonique x+ x= u,x(O)= 0,x(O)= 1. Ondsireasservirlemouvement de cet oscillateur lacourbe( cos t,sin t) sur[0,20onaF(t)::::::1.Onmontrealorsfacilement,avec l'quation de z, que z(t) ::::::((t), cequi est bien cohrent: eneffet s'iln'y a pas de bruit alors on observe directement l'tat que l'on cherche estimer! Dans le cas gnral, on calcule (numriquement) z(T), ce qui fournit l'estimation de x (T)souhaite. 72.11 Thorielinare-quadratique 3.Rgulation sur unintervalle infiniet rapport avec la stabilisation ConsidronsleproblmeLQsurl'intervalle[0,+ 00[.Ild'unproblmede rgulationo l'onchercherendrel'erreur petitepour tout temps.Nous nousre-streignonsau cassystmes stationnaires. Lecadre est lesuivant. On cherche ................. J.111.J.1 .......une trajectoire solution de ;(t)=A x ( t) + B li (t)1X( 0)x 0, minimisant le cot c (u)=j':x](11x (t) I I ~ X l+ lu (t) lit) dt, .0 odemme lesmatrices\V et Usont constantes. On alarsultat suivant. Thorme 4.13QOn suppose que lesmatrices\VetUsont symtriques dfiniespositives,etquelesystmeestcontrlable.Alorsilexisteune uniquetrajectoireminimisantepour ceproblme,associesur[0,+ oo[ au contrle optimal -1T 1t( t)=UBEx ( t ), oEEMil (IR)est l'unique matrice symtriquedfiniengativesolution del'quation de Riccatistationnaire De plus le cot minimal vaut -Xo TExo. Par ailleurslesystme boud ( 4.26) est globalement asymptotiquement stable, et lafonctionV (x)-x T Ex est une fonctionde Lyapunov stricte pour cesystme. Remarque4.20.Enparticulier,latrajectoireminimisanteassocleece problme en horizoninfinitend vers0lorsque ttend versl'infini. Preuvedu thorme 4.13.Onsait dj(voir proposition 4.5et remarque4.8)qu'il existe une unique trajectoire optimale, vrifiant lesquations xAx + Bu,p = -pA +xTW,Hmp(t)0, t-+cc i\itriiApplications delathorieLQ73 74 avecu=U-1 BT pT.Demanire tout fait similaire lapreuvedu thorme 4.10 on montre, par un argument d'unicit, que p (t)x(t) TE,o E est solution, pourvu qu'elle existe,de l'quation (4.26). Il faut donc montrer l'existence d'une telle solu-tion. C'estl'objet dulemme suivant. Lemme4.6QI Ilexisteune unique matrice E symtrique dfinie ngative solu-tion del'quation (4.26). Preuve du lemme. Il est bien clair que six( . ) est minimisante pour le problme LQsur IO,+ 00[, alorsellel'est aussisurchaqueintervalle[0) T],T>O.Considronsdoncle problme LQsur[0, T] x = Ax + Bu, x(o)xo, ((T,u) =.lT+dt, et appelons E(T, t) lasolution de l'quation de Riccatiassocie =WATE-fAEBU-1BTE,E(T,T)O. OnsaitquedepluslecotminimalestC(T,u)-Xo T E(T,O)xo T.Posons alors D(T,t) =-E(T,T - t). Ilest bien clair que = W+ATD + DA- DBU .. 1 BTD,D(T,O)=O. CettequationtantenfaitindpendantedeT,onpeutposer D{t) =D(T,t),etD(t)estsolutiondel'quationdeRiccatici-dessussur IR"'.Depluspour tout T>0onaD(T)=-E(T,O),et commelamatrice West symtriquedfiniepositiveondduitdulemme4.5queD (T)est symtrique dfinie positive. Parailleursona,pour tout T>0,C(T,u)=Xa T D(T)xo.Ilestclair que si o < t1!t2alors C(t l1U)!C(t2,U), et donc Xa TD (t, )xo!xa TD (t2)Xa.Ceci est en fait indpendant de Xa,car l'quation de Riccati ne dpend nullement de ladonneinitiale.Ainspour tout xE]Rnlafonctiontx T D(t)x est croissante. Montronsqu'elleestgalementmajore.Lesystmetantcontrlable, l'argument delaremarque4.5montrequ'ilexisteaumoinsuncontrlev sur [0,+ oo[ de cot fini. Comme le contrle uest optimat on en dduit que la fonction tC(t,u) est majore (par C(v. Pour tout xEIRnlafonctiontX T D(t)xtantcroissanteetmajore, on en dduit qu'elle converge. Enappliquant cette conclusio,naux lments d'une base (e i )de IRn,on en dduit que chaque lment d ij (t) de lamatrice D(t) converge, car eneffet Ainsilamatrice D(t) convergeversunematrice -E, qui est ncessairement symtriquedfiniengativelacroissancedelafonction t\--i>xTD(t)x. ! Thorielinaire-quadratique Parailleursdel'quationdiffrentielle vrifiepar D,ondduit queD(t) converge.etcetteIimteestalorsncessairementnulle.Enpassantlali-mite dans cette quation diffrentielle on obtient finalement l'quation de Rccatistationnaire (4.26). Enfin,enpassant lalimite on a C(u) =-Xo T Exo.d'o on dduit aisment l'unicit de lasolution.0 Pourmontrerladeuximepartieduthorme,ilsuffitdevoirquelafonc-tionV(x)=-x TExestunefonctiondeLyapunovpourlesystmeboucl x=(A+ BU-1 BTE)x.Laforme quadratique V est biendfinie positivepuisque E est symtrique dfinie ngative. Par ailleurs on calcule facilement le long d'une tra-jectoire x(t) solution du systmeboucl :t V(x(t))=_X(t)T (W+EBU-1BTE)X(t). Or lamatrce West par hypothse dfinie positive, et lamatrice E B U-1 BT E est po-sitive,donc cette quantit est strictement ngative sx(t) =f=.O.Ona donc bien une fonctiondeLyapunovstricte,cequiprouvequelesystmebouclestasymptoti-quement stable.0 Renwrqlle4.2.1.Lecontrleoptimals'critsousformedeboucleferme Il=K x,avecK=U1 B TE.Onretrouvelefaitquesilesystmeest contrlablealorsileststablisableparfeedbacklinaire(voirlethorme 13.34 de placement de ples).Cependant, alors que lamthode destabilisa-tion dcrite par le thorme 13.34 consiste raliser un placement de ples, ici lamatriceKest chOisiedemanire minimiser un certain critre.On parle destabilisationparretourd'tatoptimal.C'estdoncunemthode(parmi beaucoup d'autres) de stabilisation. Remarque 4.22. En gnral l'quation (4.26) admet plusieurs solutions, mais ellen'admet qu'une seule solution symtrique dfiniengative. Exemple4.7.Considronslesystmescalairex =-x + u,x(O)=Xoetlecot C(u) =r ' ~ '(X(t)2+ u(t)2)dt. L'quation de Riccati stationnaire est -2E + El=l, ./0 et conduit E = 1 - J < O.d'o la trajectoire optimale u ( t) =(1- J)x (t),x ( t) =x0 e - Jt Exemple 4.8.Onconsidre le systme contrl xx + y+ U1\x(O)=1, Y=x- y+ u 2,y (0)=1. On dsire stabiliser la solutionde cesystme vers I/origine, enminimisant le cot C(u)=r= (x(t)2+ y(t)l + ul (t)2U2(t)2)dt . .Jo 'c([i,,- lApplicationsdelathorieLQ75 Pour cela,crivonsl'quation de Riccatistationnaire, avec lesmatrices Enposant on arrive au systme d'quations 2a+ 2c ++ c2 l, 2c- 2b + c2 + b2 1, a+ b+ ae + cbO. Enparticulier latroisime quation conduit (a+b)(l +c)0, et par consquent a-b oue=-1. Sia=-b, lesvaleurspropresdelama-trice E sont alors via 2+ c2,cequiest exclupuisque lamatrice E dOt tre dfinie ngative.Par consquent c=-1, et on trouve alors a= -1 J3,b= 1 J3. Parmi ces 4possibilits,laseule faon d'obtenir une matrice E dfinie ngative est de prendre a= -1J3 et b= 1 - J3.Donc finalement (-1 - J3-1) E =-11 - J3' et lesystmeboucl est alors x =-J3x, x(O)= 1, Y= -J3y, y(O)1. Exercice 4.11. Onconsidre le systme contrl: x+ x= u,x{O)= 0,x(O)= 1. 1.Quelest le comportement de lasolution en l'absence de contrle? 2.On dsire stabiliser lasolution de ce systme vers l'origine par lamthode de Riccati stationnaire, enminimisant le cot a.Montrer que lasolution de l'quation de Riccatistationnaire est E=(-nV'21fi). 1 - fi-0; 76..! Thorielinaire-quadratique o 0:=V2y'2 - 1. b.Donner l'expression du contrle optimal. c.Montrer que lasolution du systme boucl est () 2-.!! tf3 xt="j3e2sin '2t, o f3=V2y'2 + 1. d.Commenter brivement lesrsultats et lamthode. Exercice4.12.Montrerquelasolutionde['quationdeRiccatistationnarepourle problme LQ est la matrice _(-/3-1) E - r;. -1-y3 Exercice 4.13.Rsoudrele problme LQ .. x=y+ Ul1Y =U2, Exercice 4.14.Dterminer lasolution de x=-x + uminimisant le cot avec 0:> O.Que sepasse-t-illorsque 0:-t +00? Solutionnumriquedel'quationdeRiccatistationnaire.Onpeutcalculer numriquement lasolution de l'quation deRiccati algbrique (4.26) en employant une mthode de Schur (vor [47],[48]).Ceci est implment enMatlab dans lafonc-tionlqr.m(voir aussicare.m). Ci-dessous,voiciun exemple d'utilisation delqr,en reprenant l'exemple 4.5. functionriccati2 %Systemedx/dt=y,dy/dt=z,dz/dt=u %minint_OAT(xA2+yA2+ZA2+uA2l cIe;clearaIl; globalABWinvU %Systeme A=(010 001 000 f>H!....IiApplicationsdelathorie LQ77 78 B0 o 1] %Matricesdeponderation Weye (3); U:1invU= inv(U}i range[a:O. Dl:10]i %Utilisationdelqr globalK; [K,S,e]=lqr(A,B,W,U) :xinit[1;2i3]; [t,X]ode45(@systriccati,range,xinit) plot (t,X(: ,1i %---- ----functiondXdtsystriccati(t,X) globalK;u= -K*Xi dXdt=[X(2} X(3) u Lersultat est trac sur lafigure4.2. 1! Thorielinaire-quadratique Figure4.2 . PARTIE2 Thorie ducontrle optimalnn linaire L'objectif de cettepartie est deprsenter destechniquesd'analyse deproblmes de contrle optimal non linaires. On prsente notamment le principe du maximum de Pontryagin et la thorie d'Hamilton-Jacobi. Un chapitre est consacr aux mthodes numriques encontrle optimal. D'un point de vue global, un problme de contrle optimal se formule sur une varit M, maisnotre point de vueest local et on travaille sur unouvert Vpetit de R'l La problmatique gnrale du contrle optimal est la suivante. Considrons un systme de contrle gnral =((t,x(t),u(t)),x(to)Xo,(4.27) o f est une application declassectdelxVxUdans R/l ,lest unintervalle de lR.,Vouvert deRtl ,Uunou vert delR.1Il ,(t o,x 0)EIx V.Par ailleursonsuppose que lescontrles u ( . ) appartiennent un sous-ensemble deL c (I,RIH ). Ceshypothses assurent, pour tout contrle u, l'existence et l'unicit sur d'une so-lution maximale x Il (t)sur un intervalle]Cl, du problme de Cauchy (4.27)(voir section 11.3 enannexe). Par commodit d'criture on suppose dans toute lasuite que toO. Pour tout contrle liEL c (I,IR17l ),latrajectoire associex Il ( . ) est dfinie sur un intervalle maximal [D,te (u)[, o te (u)ElR+U {+oo}. Par exemple sitl! (u)< +00 alorslatrajectoireexploseente (u)(thormed'chappement,oud'explosion). PourtoutT>0,TEl, onnote UTl'ensembledescontrlesadmissiblessur [0, T], c'est--direl'ensembledescontrles telsquelatrajectoireassociesoit bien dfinie sur [O,T],autrement dt T< te(u). Soient funefonction declasseClsur lxVXU, et gunefonctioncontinue sur V. Pour tout contrle IlE UTon dfinit le cot de latrajectoire associe x Il ()sur l'intervalle [0, T] C(T,u)foT +g(T,x,,(T)).(4.28) Soient Moet M 1deux sous-ensemblesdeV.Leproblme decontrle optimalest de dterminer lestrajectoires x Il()solutions de ;Il(t) = {(t,Xli (t),u(t)), tellesque XfI (0)E Mo, Xtt (T)E M bet minimisant lecot C(T,u). On dit que le problme de contrle optimal est temps final non fix sile temps finalTest libre, sinon on parledeproblme tempsfinalfix. 80C hi1[liruo J1 Thorielinaire-quadratique CHAPITRE5 Dfinitions et prliminaires Unproblmedecontrleoptimal sedcomposeen deux parties: pour dterminer unetrajectoireoptimalejoignantunensembleinitialunecible,ilfautd'abord savoir sicette cible est atteignable.C'est leproblme decontrlabilit.Ensuite,une fois ce problme rsolu, il faut chercher parmi toutes ces trajectoires possibles celles qui lefont en cot minimal. Dans ce chapitre nous tudions leproblme de contrlabilit et rappelons quelques faits. 1.Dfinition PARTIE1 Applicationentre-sortie Considrons pour le systme (4.27) le problme de contrle suivant: tant donn un point xIE R11 ,trouver untempsTet un contrle Ilsur[0, T] telque latrajectoire x 11associe li, solution de(4.27), vrifie x1l(0)=Xo, .\II(T) =Xl-Ceciconduit ladfinition suivante. Dfinition5.1$SoitT>O.L'applicationentre-sortieentempsTdu systme contrl (4.27)initialis .\o est l'application ET:U li1----+XJI(T) o U est l'ensemble des contrles admissibles, i.e.l'ensembJe de contrles Iltelsque latrajectoire associe est biensur10, TI. iApplication entre-sortie81 82 Autrement dit, l'application entre-sortie en temps Tassocie un contrle tIlepoint finalde latrajectoireassocieIl.Unequestion importante enthorie ducontrle est d'tudier cette application endcrivant son image, sessingularits,etc. 2.Rgularit de l'application entre-sortie LargularitdeETdpendbienentendude systme. dedpart et delaformedu Pour un systme gnral Entoute gnralit onalersultat suivant(voirpar exemple 1:12.1,[40],[61]). Proposition5.11l'iConsidronsle(4.27)or estCIl ~P~1, etsoitUCLX([O,TI,JR1Jl)ledomainededfinitiondeE T ~c'est--dire l'ensembledescontrlesdontlatrajectoireassocieestbiendfiniesur [0, T]. Alors Uest un ouvert de L(lO, T],lRlII), et ETest C"ausens L:>O. De plusladiffrentielle(ausensdeFrchet) de ETenunpoint uEUest donne par lesystmelinaris enIldelamanire suivante. Posons, pour tout tE[0, T], ar -a (t,xu(t),u(t)). Il A (t) Lesystme decontrle linaire )1 Il (t)=A (t )Y l' (t ) + B ( t ) v (t ) Yu(O)=O estappels)'stmelinarslelongdelatrajectoireXU'Ladiffrentielle deFrchet deen11est alors l'application dET(lI)telleque, pour tout vEL,J:.j([O,TJ,lPl.nt), dET(ll).V )' fi (T)=M (T)l Tlvr- 1 (s ) B (s ) v (s ) d s Jo (5.1) o Mest larsolvantedusystme linaris,i.e.lasolution matriciellede l'V!= AM, M (0)Id. lDfinitionset prlimnaires Preuve.Pourladmonstrationdu fait que Uest ouvert,voir[61],[68],[69].Parh y ~ pothse u( . ) et sa trajectoire associe x( . ,xo,u) sont dfinis sur [0, T].l'ensemble descontrlestantlesapplicationsmesurables et bornesmunidelanormeL ':::C, l'applicationETest de classeCPsur unvoisinagedeu ( . ) en vertu des thormes de dpendance par rapport unparamtre.Exprimons sadiffrentielle au sens de Frchet.Soitv(. )uncontrle fix,onnote x( . ) + c5x(. )latrajectoireassocie u ( . ) + v ( . ),ssueen t=0de x o.Parundveloppement de Taylor,on obtient d dt (x+ Jx)(t)f(t,x(t) + 6x(t),u(t) + v(t)) f(t,x(t),u(t) + z: (t,x(t),u(t))6x(t) + EJf(t,x(t),u(t))v(t) D2f_ DxDu(t,x(t),u(t))()x(t),v(t)) + ... Par ailleurs, x(t)f(t,x(t),u (t, donc DtDf = Dx (t,x(t),u(t)r5x(t) + ou (t,x(t),u(tv(t) EncrvantJx61x+ 62x+ ...o 61xestlapartielinaireenv,lapartie quadratique, etc,et en identifiant. il vient ofDt !:) (t,x(t ),u (t) )r5,x(t) + 7)( t,x(t),u (t) )v(t)A(t)81x(t)+8(t )v(t). uxvU Or x(O)+Jx(O)Xa= x(O), donc6x(O)= 0 et la condition initiale de cette quation diffrentielle est 6,x(O)O.Enintgrant, on obtient 61x(T)= M(T) .foT M-'(s)B(s)v(s)ds o Mest larsolvante du systme homognedd(8,x)(t)~ t(t,x(t),U(t1x(t), tox c'est--direM(t)=A(t)M(t) avec A(t)=Z: (t,x(t),u(t)et M(O)ln.Onob-serveque t51x(T)est linaireet continupar rapport v(. ) en topologieL oc.C'est donc ladiffrentielle de Frchet en u ( . ) de ET'0 Remarque 5.1.Engnral ET11 'est pas dfinie sur L'X! ([0, Tl:1R11l) tout entier causedephnomnes d'explosion.Par exemplesionconsidrelesystme scalaire;x 2 + Il:X (0)=0, on voit que pour 111 latraectoire associe tt explose ent=2' et donc n'est pas dfinie sur [D, T] siT~2' ",:iApplicationentre-sortie83 84 Pour unsystmeaffine Dfinition 5.2iiiOn appelle systme affine contrl un systme de laforme 1IJ ;(t )f 0 (x (t ))+ I: li i(t ) fi (X (t ) ), i=l olesfisont deschamps de vecteursde lR" . Pour unsystme affine on peut amliorer lersultat prcdent (voir [61],l681,[69.J). Proposition5.12~Considronsunsystmeaffinelisse,etsoit Uledo-mainededfinitiondeETAlorsUestunouvertdeL 2 ([Ol T])f!1.t1I),et l'application entre-sortieETest lisseausensL 2,et est analytique siles champs de vecteurs sont analytiques. Ilest trsintressant de considrer L 2comme espace de contrles.Eneffet dans cet espace on bnficie d'une srructure hilbertienne qui permet de faire une thorie spec-trale de l'application entre-sortie, et on bnficie d'autre part de bonnesproprits decompacit faible(voir[681,[ 69]). PARTIEIl Contrlabilit On veut rpondre laqueston suivante: tant donn lesystme (4.27), o peut-on aller en temps Tenfaisant varier le contrle li? On est tout d'abord amen dfinir lanotion d'ensemble accessible. 1.Ensemble accessible Dfinition 5.3"L'ensemble accessible en temps Tpour lesystme (4.27), not A cc (x 0, T), estl'ensemble desextrmitsautempsTdessolutions du sysrme partant de x 0autemps tO.Autrement dit,c'est l'image de l'application entre-sortie entemps T. Dfinitions et prliminaires Thorme 5.14CIConsidrons lesystme de contrle ;=f(t,x,U),x (0)= XO, olafonctionfestClsurIR 1 +11+111,etlescontrlesliappartiennent l'ensembleUdesfonctonsmesurablesvaleursdansuncompact a cffi.11I.On suppose que - il existeunrelpositif btelquetoutetrajectoireassocieest uni-formment borne par bsur [0, T], i.e. ::lb> 0i VuEUVtE[O,T]Uxll(t)11h,(5.2) pour tout (t,x), l'ensemble des vecteurs vitesses V(t,x)={f(t,X,ll)1U Ea}(5.3) est convexe. Alorsl'ensembleAcc(xo,t)est compactetvariecontinmententsur [O,T]. Preuve. Notons tout d'abord que puisque n est compact alors V(t,x) est galement compact.Montronslacompacitde Acc(xo,t).Celarevientmontrerque toute suite (xn)de points de Acc(xo, t) admet une sous-suite convergente. Pour tout en-tiernsoit Ununcontrlereliant XoXn entempst ,et soit Xn (.)latrajectoire correspondante. Onadonc Xn Xn (t) =Xo+ fotf(s,xn (s),un (s))ds. Posons,pour tout entier net tout sElO, t], La suite de fonctions (gn (-))nEN est d'aprs les hypothses borne dans LOO([(), t1IR.n), et par consquent sous-suiteprselleconverge versune fonctiong(5)pourla topologie faible-*de L OO([(}, t1Jlll.n).Posons alors,pour tout 7"E [(), t], X(T)= Xo+ foT g(s)ds, ce qui construit une fonction x( . ) absolument continue sur I(},t]. Deplus on a,pour touts E[(},t1. limxn (s)=n-..+oo i.e.lasuite de fonctions(xn (.))nENconverge simplement vers x( . ).Lebut est de montrer que la trajectoire x( . ) est associe un contrle u valeurs dans n, ce qui revient montrer que pour presque tout s E[(), t] on a 9 (s)=f(s,x (s ),u (s)). li1Contrlabilt85 Pour cela, dfinissons,pour tout entier net tout sE[Olt}, et introduisons l'ensemble desortequehn EVpour toutentiern.Pourtout(t,x)l'ensembleV(t,x)est compact convexe,et par consquent Vest convexe fermdansL 0 telle que pour presque tout sE[0, t] Lasuite de fonctions (xn)converge simplement vers x( . ),donc d'aprs le thorme de convergence domine Finalement enpassant lalimite dans (5.4),ilvient it r.p(s)g(s)ds=it r.p(s)h(s)ds, pour toute fonctionr.pEL 1 ([o,t1lR),et par consquent 9=hpresque partout sur [o,t]. Enparticulier 9EV,et donc pour presque touts E[D,t]ilexiste u(s) En tel que g(5)= f(s,x(s),u(s)). Enappliquant unlemme de slectionmesurable de thorie de lamesure,onpeut montrer que l'application u ( . ) peut tre choisie mesurable sur [0, Tl(voir {49],Lem. 2A,3Ap.161). Ainsi,la trajectoire x(.) est associe sur [D,t]au contrle u valeurs dans n, etx(t) est lalimite des points Xn Cecimontre lacompacit de Acc(xo,t). 86J1Dfinitions et prliminaires Ilreste tablir lacontinuit par rapport tde l'ensemble accessible.Soient t1,t2 deux rels tels que 0temps(2.13671B750,O.Ol)i 8.737500000 ::>DEplot( [sys].[x(t) ,y(t) ,z(t) ,w(t) ,t=O .. 8.7375, ([x{0}=0,y(O)=O.z(0}=cos(2.136718750) ,w(0)=sin(2.136718750)]], stepsize=0.05.scene=[x(t) ,yetI] ,linecolor=[blue]) i Letempsminimal pour amener leressort delaposition(0,6)Pquilibre(0,0)est donc de8.7375 s. 114( Remarque7.14.Considrons lecontrle u(t) =signe(y(t)0.1)/l.33. On constate numriquement que la solution du systme associe ce contrle passebien par lepoint (0,6)au tempst=10.92.Letempsqu'ilfaut cette trajectoirepour allerde(010)au point (0,6)est biensuprieur autempsmi-nimal calcul. iiPrincipedumaxmumdePontryagin Figure 7.3. 2.Exercices Exercice 7.16.Problme du temps minimal pour une fuse mouvement rectiligne Considrons une modlisation simplifie du mouvement rectiligne d'une fuse,i.e. x(t) =U(t), y(t) =u(t)2, o x(t) reprsente lavitesse ety(t) est inversement proportionnelle lamasse de l'engin. Lecontrle u (t) est lapousseet vrifie lacontrainte lu (t) 11. Rsoudreleproblme du temps minimalpour atteindrelepoint final(Xl,Yl),enpartant del'origine. Indications:LeHamiltonien est H=pxu + pyu + pO,o Pxet Pysont constantes. Quelleque soit lavaleur de pO,ilfautmaximiser pxu + pyu2,pour ~ 1~u~1. Montrer que,selonlessignesde Pxet Py'le contrleuest constant,et prend ses valeursdans {-l, 1,- ~ } . 2py Montrer que,pour aller enun point (Xl,X2)tel que o < X2< Xl,il existe un seulcontrle optimal, singulier et constant; - x 2lx 1 1,il existe un seulcontrle optimal, constant, gal 1 ou -1 ; - X2> Xl,il existe une infinit de contrles optimaux, qui sont des successions d'arcs 1. Remarquer aussique le temps minimal est tf = X2.Noter qu'il n'y a pasunicit de la trajectoire optimale dans cette zone. Exercice 7.17.Problme de Zermelo Lemouvement d'une barque sedplaant vitesseconstante sur une rivire oil yaun courant c (y)est modlis par x(t) =v cos u (t) + c(y(t)), x(O)0, y(t) =vsinu(t),y(O)0, :v.Quelle est laloioptimale permettant de minmiser ledport X(tf)pour atteindre laberge oppose? - Rsoudre leproblme de temps minimalpour atteindre laberge oppose. - Rsoudreleproblmedetempsminimalpour atteindreunpoint Mdelaberge oppose. Indications:Dansles trois cas,leHamiltonien est H = Px(VC05U+ c(y)) + pyvsinu. Seules les conditions de transversalit changent. Onaalorspx=-1 et H(t,) =O.On trouve u= Arccos( - c (:) ). Onapx=OetH(tt)=O, puisu Ona Px=este,H(tr) =0,puis Pxv u= Arccos()' 1 - Pxc Y o Pxdoit tre choiside manire atteindre M(d mthode de tir). Exercice 7.18. Transfert optimal de fichiersinformatiques Unfichier de XoModoit tre transfr par lerseau.A chaque temps tonpeut choisir le taux de transmissionu(t) E[0, 1]Mols,maisil en cote u(t)f(t), o f(. ) est une fonction connue.Deplus au temps finalon aun cot supplmentaire o AI> O.Lesystme est donc x= -u, x(O)= XQ,X(tf)=0, et on veut minimiserlecot tf C(t"u) = Jou(t)f(t)dt+ryt7' Quelle est lapolitique optimale? Indications:Ilest clair qu'il n'y a pas de trajectoire singulire, on peut donc supposer po= -1. Onpose fGuf et g=LeHamiltonien est donc H = -pufu. Puisque p0,on a p(t) = este, et de plusau temps final o 8g H(tf) = -pDt= 2/tf) d'o PrincipedumaximumdePontryagin Par la condition de maximisation,u(t) dpend du signe de p+ f(t), et est soit gal 0,soit gal 1.IIest clair qu'au temps finaltf onaU(tf)= 1 (sinonune serait pas optimal, cause du termeet donc p= -21'tff(t/). Finalement { 0sf(t) > -P, u(t) = 1sif(t) < -p. Noter qu'on aurait pumettre lecot sous la forme C(tf,U).latf(u(t)f(t) + Exercice 7.19.Contrle optimal du niveau d'un rservoir Figure 7.4.Barrage de Mauvoisin,dans les Alpes Onveutajouterdel'eaudansunrservoir,defaonatteindreleniveaud'eauhl, entenantcomptedufaitqu'ilfautcompenseruneperted'eaulinaireentemps.La modlisation est h (t) =u (t) - t,h (0)0, o u (t) estlecontrle.Quelle est laloioptimale permettant d'atteindre l'objectif enmi-nimisant(, u(t)2dt,letemps finaltl n'tant pas fix7 ./0 d".()ru;; lnIcatlons:on trouve ut= 2 V3' Exercice 7.20.Lemouvement d'un missile, dcrit comme une particule de masse m soumise lagravitation et larsistance de est donn par lesquations X1X31X2= Xi!,X3= crcosu, X4= asin u, o u (t) EiF..est lecontrle. Lebut est de minimiser laquantit tt + 9 (X(tf )),o 9est une fonctionde classeC'.Montrer que lecontrle doit vrifier () c,+ C2t tanut=---. C3+ Exempleset exercices117 118 P3 C. Indications:lesquations donnent tan u= -, P3=-P 1, P4= -P2, avec P 1,P2 P4C constantes. Exercice 7.21. Un problme de Bolzano en conomie Unindividu dispose d'un revenu r(t), 0~t~T,qu'il peut dpenser ou placer labanque avec un taux d'intrt T.Il veut raliser un programme de dpense u (t) sur [0, T] de manire maximiser laquantit rT ln u(t)e-atdt . .la L'volution de sonavoir x(t) est alors donne par x(t)r(t) + TX(t)- u(t), et deplus on impose x(T)> D,i.e.l'avoir del'individu est positif autemps finalT.Quelle est laloi optimale? Remarque 7.15. De manire gnrale, on appelle problme de Bolzano un problme de contrle optimal o on veut maxmiser un cot du type n CT(u)L CjXj(T). i=l Indications:Pouravoirl'existencedetrajectoiresoptimales,ilfautrelaxerla contraintex(T)>0enx(T):;:?:D.Lecasx(T)=0estalorsvucommeuncasli-mite. Ondistingue deux cas: - six(T) > D,puisqu'il est non fix,alorsp(T)O.Or p-pr, d'op(t) =0, et H = po ln ue-at.Lacondition de maximisation sur H conduit alors une absurdit. - six(T)= 0,on n'a aucune condition sur p (T).Onpeut prendre po1 (pas -(a +r)t desingulire),et ontrouve u(t)e p(D) Laconditioninitiale p(O)est dtermine encalculantx(t), et enimposantx(T) = 0 (cf mthode de tir). Exercice 7.22. Politique optimale de pche L'volution d'une population de poissons x(t) est modlise par x(t) =D.08x(t)(11D-6x(t))u(t), x(D)=xo, ou (t),lecontrle,reprsentelenombre de poissonspchs.Dterminer unepolitique optimale de pche,de manire maximiser laquantit et avoir autemps final x(T)> O. rT e -0.03tln u (t) dt, .la Indications:mme raisonnement qu' l'exercice prcdent. 1PrincipedumaximumdePontryagin Exercice 7.23. Investissement optimal L'volution durevenu r(t) d'une entreprise est modlise par lesystme contrl r(t) 3 - 2r ( t) + 2. u ( t),r (0)= r d, ou(t),lecontrle,reprsentel'investissementautempst,etvrifielacontrainte o ~u(t) ~a. SoitT>lin 3un rel.Dterminer lapolitique optimale permettant demi-nimiser laquantit -r(T) -1- fT(u(t) - r(t))dt . ./0 Indications:Montrer qu'iln'yapas de singulire,puisque udpend du signe de !p=~ P- 1,o P2p-1, et P (T)= 1.Par intgration,montrer que 'P(t)s'annule en te=T -lin 3, et en dduire que lapolitique optimale est u=0 sur [0, te L puis u= asur ]te, T]. Exercice 7.24. Contrle optimal de population dans une ruche Considronsunepopulationd'abeillesconstitueautemps tdew(t) travailleuses et de q(t) reines. Soit u(t) le contrle, qui reprsente l'effort des abeilles pourfournirdes reines laruche.Lamodlisation est w(t)au(t)w(t) - bw(t), q(t)c(l - u(t))w(t), 0 ~u(t)1, o a,b,c sont des constantes telles que a> b. Quel doit tre le contrle u (t) pour maximiser au temps Tlenombre de reines? Indications:LeHamiltonien est H=Pl (auw - bw) + P2c(1- u)w, o LesconditionsdetransversalitdonnentP1(T)0etP2 (T)=1(donc P2(t)Cste =1),et selon lacondition de maximsation on a,puisque w> 0, {o siPl(t}a-PlC < 0, u(t) = 1siPl (tlaP2C> O. Autemps finalTonadoncu(T)=0puisquePl (T)aP2(T)C=-c0unrel.Lecontrleestlapousseu (t),quivrifielacontrainte ou(t)umaxParailleurslamassedelafuseenl'absencedecarburantestml!si bienquelamassemet) vrifielacontraintem,met)ma.Enfin,onsupposeque umax > gmo Montrer que lapolitique optimale permettant de maximiser l'altitude finale est bang-bang, avec au plus une commutation, du type uU maxpuis s'ilya commutation uO. Indications:MontrerquelesconditionsdetransversalitsontPx (t,)1, Pv(tt} = 0etH(t,)=O.Endduirequelafonctiondecommutations'crit tft =- bPm (t). m Principedumaximum dePontryagin Noter que,audbut,ondoit avoir li>0,i.e.u>mg, ce quiest possiblepuisque u max> gmo. Enddure que, au dbut, on au> 0,et soit 0,soit O.Onpose hi 1\;. La direction de lavitesse est paramtrise dans lerepre R'1(e ne I,e lJ par deux angles(voirfigure(ii)): - lapente"aussiappelea1lgledevol,quireprsentel'angleentreunplan horizontal et unplan contenant lanavette, - l'azimut X,qui est l'angle entre la projection de;; dans unplanhorizontal et levecteur eL(voir figure7.7). L'quationfondamentaledelamcanique,quiestunequationdiffrentielledu second ordre sur, setraduit par unsystme danslescoordonnes(r,I,Ltv",X). Par ailleurson faitleshypothses suivantes, lelong del'arc atmosphrique. Figure 7.8.Lana verrespatiale Hypothse 1:lanavette est un planeur,que lapalisse de lanavette est 11ulle. Hypothse 2:on suppose quelavitessedel'atmosphre est lavitessedelaTerre. Lavitesserelative delanavette par rapport laTerre est donc lavitesserelative ;;. lContrleoptimalet stabilisationd'unenavettespatiale131 Les forces Lesforcesagissant sur lanavette sont de deuxtypes: - force de gravit:pour simplifier on suppose que laTerre est sphrique et que laforcedegravit est oriente selone r' Dans lerepreR2 elle s'crit il =-l1lg(i sin, + i cos ,), ,/') oug=gor-. forcearodynamique:laforce fluidedue l'atmosphre est uneforce ft qui sedcompose en une composante dite detraneoppose lavitessedela forme (7.26) - une forcedite deportance perpendiculaire vdonne par (7.27) oJ-Lestl'angledegte,p=p(r)estladensitdel'atmosphre,et C Dl C Lsont respectivement lescoefficients detrane et deportance. Hypothse 3:lescoefficientsCDet CLdpendent de l'angled'attaque 0:quiest l'angleentrel'axe duplaneur et levecteurvitesse.C'est aprioriuncontrlemais on suppose que durant l'arc atmosphrique il est fix. Notreseulcontrleestdoncl'angledegteJ-Ldontl'effetestdouble:modifier l'altitude maisaussitourner droite ou gauche. On choisit pour ladensit atmosphrique unmodle exponentiel dutype et par ailleurson suppose que go g(l")= (7.28) Lerepre n'tant pas absolu, la navette est galement soumise laforce deCoriolis 211t ri 1\q et laforced'entranement 111 n 1\(ri1\q). 132-;!PrincipedumaximumdePontryagin Finalement,l'arc atmosphrique est dcrit par lesystme dr dt= vsin, dv1SCD 1, - =-g sin"y- -p--v- + n-r cosL( sin ,cos Lcos, sinL cos X) dt2nt d, =cos gv1SCc - - + - ) + - p---li cos I-t+ 2n cos L sin X vr2111 + 02!:...cos L ( cos, cos L+ sin, sin L cos X) v dLv - = - cos, cos X dtr dl = dtrcos L d'X1SCt v.v. - =-p---- smjl. + - cos,tan L smx dt2111cos,r .1rsin Lcos L sin X + 2n( sm L- tan, cos L cos X)+ n- - . licos, ol' ta test q= (r) v, ,,l, L, X)et lecon trle est Pangle degteJI. (7.19) Dans lasuiteon poser=rT+ h, o fTest lerayon delaTerre, et h est l'altitude delanavette. Leproblme de contrle optimal Le problme est d'amener l'engin spatial d'une varit initiale Mo une varit finale Ml, o letemps terminal t (est libre, et les conditions aux limites sont donnes dans latable7.1. Lanavetteest,aucoursdelaphasederentreatmosphrique,soumisetrois contraintes: - Contrainte sur lefluxthermique 1'-/Controleoptimalet stabilisationd'une navette spatiale149 derCD=Oi else derCD=1.7e-4; end if(v>3000) derCL=O; sIse derCL=L 256e-4; end matA=zeros(3,3): matA(l,2) matA(l,3) matA(2,1) matA(2,2) matA(2,3) matA(3,l) matA(3,2) matA(3/3) sin (gam) v*cos(gam)i ; -rho(r)/(2*m)*S*derCD*v2-coef_k(v)*rho(r)*2*v -g (r) *cos (gam)i cos(gam)*(2*gO/(r3*v)-v/rA2)- ... coefkp(v)*rho(r)/hs*v*u(t,r,v,gam); cos(gam)*(g(r)/vA2+1/r)+rho(r)*u(t,r,v,gam)* ... S/(2*m)*(derCL*v+CLsimple(v)) -sin(gam) * (-g(r)/v+v/r); matE[0;0icoef_kp(v}*rho(r)*v] %----- ----------- --------- --------functiondXdtsystboucle(t,X) %systemetronquedelanavetteenr,v,gamma(dim3+flux) globalOmegagOhsrtCqi r=X (1);v=X (2)igam=x (3) dXdt=(v*sin(gam) cos (gam) * (-g(r)/v+v/r}+2*Omega+ ... coef_kp(v) *rho(r) *v*uboucle(tl]j %----------------- -------- ---------------------------------functioncontfeedback= uboucle(t) globaltexeinvUSmriccai [A,B)= matlinear(t); [val,k]min(abs(te-t))ir=xe(k,l);v=xe(k,2);gam=xe(k,3) contfeedbacku(te(k) ,r,v,gam)+invU*coef_kp(v)*rho(r)*v* ... (ricca(k,3) *r+ricca(k,5) *v+ricca(k,6) *gam); Quelquescommentairessurleprogramme.On effectuelaprocdure de stabili-sation de Riccati partir de l'entre dans la phase iso-flux seulement, soit environ une altitudede6Skm,unevitessede7200mis,et un anglede volde-0.003 rad. En effetlaphaseiso-flux(fluxthermiquemaximal)estlaphaselaplus dangereuse 150ChapitrE:71Principe dumaximumdePontryagin delarentre atmosphrique.Notonsd'ailleurs que,rcemment,lanavetteColum-biaaexplosunealtituded'environ62km,enpleinephaseiso-flux(cedrame aeulieuenmars2003).C'estlaphaseol'enginspatials'chauffeleplus:les frottements avec l'atmosphre sont trsintenses.Cette phase iso-flux est aussiassez longue, environ 350 secondes(la dure totale de la phase de rentre atmosphrique est d'environ 1300 secondes). Figure7.16. Phase ilfluxthermique maximal Tout ceci justifie l'intrt port laprocdure de stabilisation de lanavette, partir dupointd'entredanslaphaseiso-flux.Danslessimulationssuivantescepoint d'entre est donc notre condition initiale. Notons Xe (.)= (1'e( ),Ve (. ), le ( . )) latrajectoire nominale et li e (.)son contrle associ.IlvrifieIlle 1~0.95.Notonsparailleursx=(r,v,')latrajectoiredu systme(7.34),partantd'unpointx (0)etassocieaucontrleIlli e+ v,le contrlevtant lecorrectif calculparlaprocduredeRiccati.Il doitvrifierla contrainteIv 1~0.05.Aussi,dans leprogramme ci-dessus, onaforcvrespecter cette contrainte. Par ailleurslechoix despoidsest trsimportant. On obtient despoids adaptspar ttonnements, et en tenant compte del'ordre respectif desvariables du systme.Ici on apns (10-6 W=0 o Bienentendud'autreschoixsontpossibles.IcinotrechoixdeQforcel'altitude finale tre proche del'altitude souhaite. En revanche on laisse plus de libert la vitessefinaleet l'angle de vol final. Latrajectoire x ( . ) part d'un point x(0)diffrent de Xe (0).On apris lesdonnes numriques suivantes: i'-/Contrle optimaletstabilisationd'une navette spatiale151 - cart sur l'altitudeinitiale: 1500 m, - cart surlavitesseinitiale: 40 mis, - cart sur l'angle devolinitial: -0.004 rad, soit -0.2292 deg. Lesrsultatsnumriques obtenussont assezsatisfaisants:l'altitudefinaleobtenue est15359 km, et lavitessefinale est 458mIs.L'cart par rapport aux donnes sou-haites(altitude15 km, vitesse440 mis)est donc assezfaible. Notons que l'cart sur l'angle devolinitial que nous avons prisiciest assezimpor-tant. Cerre pente initiale est en effet un paramtre trs sensible dans les quations: si l'entre de laphase atmosphrique l'angle devolest trop faible,alors la navette va rebondir sur l'atmosphre (phnomne bien connu, dit de reb011d), et siau contraire ilesttrop important il seraimpossiblede redresser l'engin, quivas'craser ausol. Lesfiguressuivantessontlersultatdessimulationsnumriques.Lafigure7.17 reprsentel'cartentrel'tatnominaletl'tatrel,etlafigure7.18l'cartentre lecontrlenominalet lecontrlerel(contrleboucl,ou contrlefeedback).La figure7.19 reprsente l'tat, et lafigure7.20 lefluxthermique.On constate que la contraintesurlefluxthermiqueestpeuprsrespecte.On peut conclurequela procdure destabilisation ainsiralise est satisfaisante. 152Cfldpiln:'7! Prncipedu maximum dePontryagin ecan d lliludi! 2000 0100200300400500600700600 ecart de vilesse 100

50. 100----1 0100200300400500600700800 ecart sur 1angle de vol 0.02 0.01. \/ 0.01 0100200300400500600700BOO Figure7.17.Ecart entre l'tat nominalet l'tar rel. {LC;': O,Q.l 0,00 100;m 500 400500000700500m 900 900 9{)Q Figure 7.18. Comrle boucl, et correcrionpar rapporr aucontrle nominal. "1\:Contrle optimalet stabilisationd'une navettespatiale153 Figure 7.19.Emt avec lecontrlefcedback. Figure7.20.Flux thermique aveclecontrlefeedback. 154Principedumaximum dePontryagin CHAPITRE8 Thorie d'Hamilton-Jacobi PARTIE1 Introduction Lathoried'Hamilton-J:1cobiestunebrancheducalculdesvariationsetdela mcanique analytique, dans laquelle trouver des extrmales se rduit rsoudre une quationauxdrivespartiellesdupremierordre:l'quationd'Hamilton-Jacobi. Lesfondementsdelathorieont tpospar Hamiltonen1820, concernant des problmesd'optiqueondulatoireetgomtrique.En1834, iltendsesidesdes problmesdedynamique.Jacobien1837appliquelamthodedesproblmes gnraux de calculvariationnel. Lepointdedpartremontecependantau17sicle,avecFermatetHuygensen optique gomtrique.Leprincipe de Fermat stipule que ]alumire se propage d'un pointunautredansunmilieuinhomogneentempsminimal.Soitx 0unpoint dedpart,et S (x)letempsminimalque met lalumirepour aller deXo x. Cette fonctiontempsminimal est appelefonctio11Ei/?ollal,oulongueur optique du che-min.Soit v (x) lemodule delavitessedelalumire enx. Supposons quelalumire parcourt ladistance dx pendant ladure dt. Selon le principe d'Huygens, la lumire voyage le long de la normale la surface de niveau de S. On obtient donc, au premier ordre, ( \7S(x)) Sx+[[\7S(x )11v(x )dt= S(x) + dt, d'o l'quation quiestl'quationd'Hamilton-Jacobidel'optiquegomtrique,ouquationeiko-nale. jIntroduction155 156 Enmcanique analytique, on remplace lafonctionEikonalpar l'action S(t,x)=lL(s,x(s),;(s))dS, ./1 o lest uncheminjoignant(to,xo)(t,x), et Lest leLagrangiendusystme.Le principe de moindre action conduit aux quations dJEuler-Lagral1ge daLaL dta;=x' SilatransformationdeLegendreT ( x , ~ )=(x,p),op aL -. ,estun ax diffomorphisme, on dfinit leHamiltonien du systme H(t,x,p) =p;L(t,x,::':). Alors,lelongd'uneextrmale(i.e.unecourbevrifiantlesquationsd'Euler-Lagrange),onaS(t,x(t),;(t))J'tL(s,x(s),x(s))ds, etpar drivationpar rap-10 ..asas port at, on obtientat+=L, d'o as(as) at+ Ht,x, ax 0, quiest l'quation d'Hamilton-Jacobi. PARTIEIl Solutions de viscosit De manire gnrale, on tudie le problme de Dirichlet pour l'quation d'Hamilton-Jacobi H (x,S (x), \lS (x))0dans0; Sgsur ao; o n est unouvert de ]RI!,et Hest unefonctionsur]R1Zx IRXRIZ Remarque8.1.Lecas d'une quation d'Hamilton-Jacobi d'volution asas + H(x,-)0 dans]Plx IR", - x S ( 0, x )g (x) su rIR'Z, 1Thoried'Hamilton-Jacobi (8.1 ) (8.2) est un cas particulier de (8.1). En effet ilsuffit de poser;(t) p- () ,x,=Po,p, etH ( ~ ) Z l P )Po+H(x,p). Lebutdecettesectionestdedonneruncadremathmatiquerigoureuxla dfinitiond'unesolutionduproblme(8.1).Onvamontrerquelanotionclas-siquedesolution estinsuffisante:lamthode descaractristiquesmet envidence l'apparition desngu1arits.On introduit alorslanotion de solution deviscosit. 1.Mthode descaractristiques On introduit deschemins x (s)dans n, partant dean, appelscaractristiques,le long desquels on rsout l'quation et on obtient lesvaleurs de S. PosonsZ(5)=S(X(5))etp(s)=vS(x(s)),etcherchonsunequation diffrentielleordinaire dcrivant l'volution de Zet p. On a ~(5)=vS (x (5 ) ) .; (s)=p (s ) .; (s),,; (5)= d 2 S (x (s ) ) .; (s ) . Or,endiffrentiantPquationd'Hamilton-JacobiH (x,S (x), "QS (x))= 0 par rap-port x, on obtient Choisissonsalorslecheminx (s)telque; aHaH p =- ax- az.p. Finalement,lesquations aH. ap. Il vientalorsz .aH-x (s )ap(x (s ), z (s ), p (s )),x ( 0)= xEa0; .aH- -z (s)=p (s ).ap(x (s ), Z (s ), p (s )),p ( 0)=S (x)=g (x ), aH p. ap, et M~-p(s)=(x(s),z(s),p(s))- az(x(s),z(s),p(s)).p(s),p(o)=vS (x), sont appelesquationscaractristiques. Remarque8.2.Danslecasd'volution(8.2),onobtientenparticulier dt. ds=1, donct= s, et Po= O.On a galement aHaH x=Bp'P--a' x 1Solutionsde viscosit157 quisont lesquations deHamilton. Enfin,on retrouve aussi aH Z=fJap+ Po=px + Po, avecPo+ HH0,d'o~=p; - HL, et donczestl'action. Autrementdit,lescaractristiquessont lesextrmalesduproblmedemi-nimisationdel'L1ctio1l(entout cassilatransformationdeLegrendreestun diffomorphisme) . Appliquons lamthode des caractristiques la construction d'une solution de(8.1) au voisinage de lafrontire. Pourtoutx Ean,notons(x (x,5 ),z (x,s ),p ( ~ 5 ) )lasolutiondesquationsca-ractristiques.Notonsttlanormalean.Sousl'hypothseaaH -1=0,onmontre 11 facilementque,localement en(;;5),l'applicationcp(x,s)x (X,5)estinversible. On en dduit donc,localement, que Remarque8.3.Danslecasd'volution,l'hypothseaaH -1=esttoujours 11 vrifie. Remarque 8.4.Siget Hsont de classeCl, alors localement la solution S est de classe Cl. Enfaisant cette construction au voisinage detout point de an, puis enrecollant les voisinages, on obtient unesolution Sde(8.1)sur un voisinage dean dansn. Dans lecas d'volution(8.2),on obtient une solution pour t Mais engnral,onnepeut pasprolonger Ssur n tout entier,car dessingularits seproduisent lorsque descaractristiques secroisent (voir figure8.1). Exemple 8.10.Unexemple simple de cette situation est donn par leproblme de Dirichlet pour l'quationeikonale IIS(x)1I2 =1 dans st, 5= 0 sur an. (8.3) . Lesquations caractristiques sont x=2p,P=0,Z =p.1 0 petit, alors S;--l>Slorsque tendvers0; - si (B.l) est l'quation d'Hamilton-Jacobi d'une fonction valeur d'un problme de contrle optimal, alors lafonctionvaleur est l'unique solution de(B.l). L'idededpartestenfaitdergulariserl'quation(B.l)enluiajoutant leterme 6S (mthode de viscosit vanescente), car pour une EDP quasi-linaire du second ordreonsaitmontrerqu'unesolutionrgulireS!,:existe,etdeplusondispose d'estimations uniformessurtout compact, cequipermet lespassages lalimite. Leconceptdesolutionquiconvientestceluidesolutiondeviscosit,introduit par [22]audbut desannes80, etquel'on rappelleicidanslecadre d'quations d'Hamilton-Jacobi du premier ordre. Soit n un ouvert de IRu,Hune fonction continue sur 0x IR X ]R'I ,appeleHamilto-nien, et gune fonction continue sur ao. Considrons l'quation d'Hamilton-Jacobi du premier ordre sur n H(x,S(x),\7S(x))= o.(8.4) 1Thorie d'Hamlton-Jacobi On rappelletout d'abordlanotion desous- et sur-diffrentiel. Dfiniticm 8.1.,Soit Sune fonctionsur n. Lesur-diffrelltiel en un point xEn est dfini par D+S(x)= {pEIR'1 Ilimsup SCy)-S(x) - (p,yx)~O}. )'-xIly-xll Demme,lesous-diffrentiel en xest (){ 111f _S(-,--Y _)---:-:-S(_x -'--) ------:-:-(p_,)1___. x ~ A)O} D-Sx=P ElRl i ~ ~ ~Ily-xII;). Remarque 8.5.On a lesproprits suivantes. - Soit Sunefonction continue sur n. - PED+S(x) {::} :lepE C1(O)lep \7rp(x)=p. - PED-S(x) {::} EC1(n)lrp \7rp(x)p. )S,ep(x) ~ S,rp(x) S(x ), S(x )j - SiS est diffrentiable en xalorsD + S (x)=D - S (x)={\7S (x n. - SiD + S (x)et D - S (x) sont non vides, alors Sest diffrentiable en x. - L'ensembledespoints deil telsqueD+S(x)(resp.D-S(x)) soit non videest dense dans n. Dfinlton 8.21;> Soit Sune fonction continue sur n. Lafonction S est dite sur-solution deviscosit del'quation (8.4)si VxEilVpED+v(x)H(x,v(x ),p)~o. De mme, Sest une sous-solution deviscosit de(8.4)si VxEnVpED-v(x)H(x,v(x),p);)O. Finalement,Sestunesolutiondeviscositde(8.4)sielleestlafois sous-solution et sur-solution. Remarque 8.6. SiSest une solution de viscosit nullepart diffrentiable, on impose desconditions lo D S (x)#- 0,i.e.sur un ensemble dense. Remarque 8.7. - SiS est une solution de classe Cl, alors S est aussi solution de viscosit. iSolutionsde viscosit161 162 - Rciproquement, si S est solution de viscosit, alors en tout point xde n o S est diffrentiable, on aH(x,S(x),\7S(x))O. Ceci assure lacohrence avec lanotion classique de solution. En particulier, si S est lipschitzienne, alors l'quation d'Hamilton-Jacobi (8.4) est vraie presque partout. Exemple 8.13.la solution de viscosit duproblme est 1051 ox- 1 =0sur ]0, 1L5 (0) 5(1 ) {Xsi0~x~1/2, 5(x) = 1 - xsi1 /2 ~x~1. 0, Remarquons toutefoisque 5n'estpassolutiondeviscositde1 1851 O.No-tonsaussquecettesolutionestbien5 (x)=d(x,oD.).Enfin,remarquonsque, parmil'infinitdesolutionsdeceproblme.5estlaseulepouvoir treobte-nuecommelimite deviscositvanescente.Eneffet,toute autresolutionadmet aumoinsunminimumlocalstrict dans ]0,1[.Or si5"convergeuniformment vers S,avec1'V5,,11 = c65;:,etsionnotex;::unminimumlocalstrictde5",alors 'VS;::(x;)0 et 65;::(x,:)?3D,cequi est absurde. On alesrsultats suivants (voir [22],[7],[8]). Thorme 8.19 QSoient n un ouvert born de !RI! ,g une fonction continue suran,etH:n xR't-+IRunefonctioncontinue,uniformment continue en xausenso il existe une fonctionwcontinue et croissante, avec w( 0)=0telle que IH(x,p) - H (y,p)1~w(llxy IIU + IIp 11)) Alorsleproblme deDirichlet S(x) + H{x7\7S(x))0dans~ Sion= g, admet auplusunesolution deviscosit. 1Thoried'Hamilton-Jacobi Thorme 8.20COI Soient gune fonctioncontinue sur IRIJ ,et H[a, T]x IR"x-+ lRtelleque IH(t,x,p) - H(s,)',p)l:s;;;C(lt -51 +!lxyll)(l + IIpll), IH (t,x,p ) - H (t,x,q ) 1:s;;;C IlfJ- q II Alorsleproblme de Cauchy as(as)d]T[.Il at+ Ht,x, a.=aansa,xiR, x, S (0,. ) = g(. ), admet au plus une solution de viscositborne et uniformment continue. Ilexstebeaucoup de thormes de cetype.Ce sont desrsultats d'unicit, sous des conditions fortes. Une mthode pour prouver l'existence d'une solution deviscosit est dergulariser par une viscosit vanescente, de prouver l'existence d'une solution rgulire St:,puis de faire des estimations uniformes pour passer la limte (voir [221). Un autre moyen de prouver d'obtenir des rsultats d'existence (moins gnral cependant) et d'utiliser lathorieducontrleoptimal,enmontrantquelafonctionvaleurassocieun problme decontrle optimal est solution de viscosit d'une quationJacobi.C'est l'objet delasection suivante. Exercice 8.34. Soient gune fonction continue sur]Rn 1et H:IRn lflIune fonction convexe telle que H(p) -- --:+00. IIp IlIIp 11-+00 Enmontrant que lescaractristiques sont des droites,montrer que lasolutionde viscosit du problme de Cauchy asas + H( ax)a dans !RnX ]0,+ 00[, S (0,. )=9 ( . ) su r ]Rn, est,pour tout t=?a, oLestleLagrangienassociauHamiltonienH,i.e.L(v)=sup((PlV)- H(p)).Cette p""Rn formule s'appelle formule de Hopf-Lax. i Solutions deviscosit163 164 PARTIEIII Equat