Préparation à l’épreuve de modélisation du concours …meliot/agreg/...4 1. NOTION DE...

Préparation à l’épreuve de modélisationdu concours de l’agrégation externe

Option A : Probabilités et Statistiques

Pierre-Loïc Méliot

Table des matières

Chapitre 1. Notion de conditionnement 11. Espérance conditionnelle 12. Conditionnement discret 33. Conditionnement continu 5

Chapitre 2. Chaînes de Markov 71. Matrices stochastiques et propriété de Markov 72. Classification des états d’une chaîne de Markov 123. Théorie de Perron-Frobenius et théorèmes ergodiques 144. Marches aléatoires 185. Files d’attente 26

Chapitre 3. Martingales discrètes 331. Martingales et leurs transformations 332. Convergence de martingales 383. Processus de branchement 43

3

4 Table des matières

De nombreux résultats élémentaires de probabilité reposent sur une hypothèse d’indé-pendance des variables aléatoires considérées. Ainsi, la loi des grands nombres assure quela moyenne

Mn =Snn

=X1 + · · ·+Xn

nd’une somme de variables réelles indépendantes et identiquement distribuées dans L1

converge presque sûrement et dans L1 vers E[X1] ; de même, le théorème central limitedonne la convergence en loi

X1 + · · ·+Xn√nE[(X1)2]

N (0, 1)

pour des variables centrées indépendantes et identiquement distribuées dans L2, et lethéorème de Cramér donne les grandes déviations

limn→∞

logP[Mn ≥ x > 0]

n= inf

t∈R(logE[etX1 ]− tx)

pour des moyennes de variables indépendantes et identiquement distribuées avec trans-formées de Laplace définie sur tout R. Pour s’extraire de l’hypothèse d’indépendance, quipermet de calculer facilement des moments joints E[f1(Xi1) . . . fk(Xik)], on peut recourirà la notion de conditionnement (Chapitre 1), qui remplit le même office et est plus gé-nérale. On découvre alors deux grandes classes de processus aléatoires qui sont définies àpartir de cette notion, et satisfont des théorèmes limites analogues à ceux précédemmentévoqués : les chaînes de Markov (Chapitre 2) et les martingales (Chapitre 3). L’objectifde ces notes est de rappeler succintement la théorie de ces deux classes de processus, dansle cas des temps discrets.

Chapitre 1

Notion de conditionnement

Résumé. Les notions de conditionnement (discret ou continu) par rap-port à un événement, une variable aléatoire, plusieurs variables aléa-toires, etc. sont généralisées par la notion unique d’espérance condition-nelle par rapport à une tribu. Ainsi, pour toute variable intégrable X ettoute sous-tribu A de la tribu définissant l’espace de probabilité, il existeune unique variable A-mesurable E[X|A] qui est l’espérance condition-nelle de X sachant la tribu A. D’un point de vue pratique, pour calculerl’espérance conditionnelle d’une variable aléatoire X sachant une autrevariable Y , on passe par le calcul de la loi conditionnelle de X sachant Y ,qui donne ensuite par intégration toutes les espérances conditionnellesE[f(X)|Y ] pour f mesurable bornée. Cette loi conditionnelle est don-née soit par un rapport de probabilités dans le cas discret, soit par unrapport de densités dans le cas continu.

On note en général (Ω,B,P) un espace de probabilité ; ainsi, Ω est un ensemble, B estune tribu sur cet ensemble, et P : B → [0, 1] est une mesure de probabilité. On utilisedes lettres calligraphiques F ,G, . . . pour des sous-tribus de B ; et des lettres capitalesX, Y, . . . pour des variables aléatoires sur (Ω,B,P), c’est-à-dire des fonctions mesurablesX : (Ω,B) 7→ (X,BX) à valeurs dans un autre espace mesurable (le plus souvent, R munide la tribu des boréliens, ou Z muni de la tribu de l’ensemble des parties). La loi d’unevariable X est l’image de P par X, c’est-à-dire la mesure de probabilité sur (X,BX) donnéepar PX [B] = P[X−1(B)].

1. Espérance conditionnelle

De la même façon que la notion la plus générale d’indépendance est l’indépendancede tribus, la bonne notion de conditionnement est la conditionnement par rapport à unesous-tribu A ⊂ B. Dans ce qui suit, on fixe donc une telle sous-tribu. On peut s’imaginerpar exemple que

A = σ(X1, . . . , Xr)

est l’ensemble des événements associés à des observations Xi, i.e., la plus petite sous-tribude B qui contient toutes les parties (Xi)

−1(B) avec B mesurable dans l’espace d’arrivéede Xi, 1 ≤ i ≤ r. On souhaite alors donner un sens à

“ l’espérance d’une variable aléatoire X sachant ces observations X1, . . . , Xr ”,1

2 1. NOTION DE CONDITIONNEMENT

qui s’écrirait comme fonction mesurable f(X1, . . . , Xr) de ces observations X1, . . . , Xr.Dans le cas d’une sous-tribu générale A, l’espérance conditionnelle d’une variable X sa-chant (toutes les réalisations d’événements dans) A se doit de même d’être une fonctionA-mesurable.

Théorème 1.1 (Espérance conditionnelle). Soit X ∈ L1(Ω,B,P), et A ⊂ B une sous-tribu. Il existe une unique variable aléatoire dans L1(Ω,A,P) (donc, A-mesurable), notéeE[X|A], telle que pour toute fonction bornée et A-mesurable Y ,

E[XY ] = E[E[X|A]Y ]. (?)

L’équation (?) est la propriété caractéristique de l’espérance conditionnelle, le membre dedroite de cette identité étant l’espérance d’une fonction A-mesurable.

L’unicité du théorème s’entend à modification sur un ensemble de mesure nulle près,donc au sens presque sûr. D’autre part, en utilisant la propriété caractéristique, on montresans difficulté que l’espérance conditionnelle partage de nombreuses propriétés avec l’espé-rance simple, en particulier : la linéarité, la positivité, les inégalités liées à la convexité, lesthéorèmes de convergence, etc. (notons que l’espérance simple est le cas particulier de l’es-pérance conditionnelle par rapport à la tribu triviale A = ∅,Ω). D’autres conséquencesimportantes et immédiates de la propriété caractéristique sont :

(1) pour toute variable X, E[X|A] est intégrable d’espérance E[E[X|A]] = E[X].

(2) si X est A-mesurable, alors E[X|A] = X.

(3) inversement, si X est indépendante de A, alors E[X|A] = E[X].

(4) conditionnements successifs : si A1 ⊂ A2 sont deux sous-tribus de B, alorsE[E[X|A2]|A1] = E[X|A1] pour toute variable intégrable X.

Exemple. Si A = σ(Z) est la tribu engendrée par une variable aléatoire Z, alorsles fonctions mesurables pour A sont exactement les fonctions mesurables f(Z) de Z, etnotant dans ce cas E[X|σ(Z)] = E[X|Z], on a, pour toute fonction mesurable bornée f ,

E[Xf(Z)] = E[E[X|Z] f(Z)],

le membre de droite de l’identité étant l’espérance d’une fonction de Z (il existe g mesu-rable telle que E[X|Z] = g(Z)).

Exemple. Supposons que A = σ(A) = ∅, A,Ac,Ω est la tribu engendrée par unévénement de probabilité comprise strictement entre 0 et 1, et comparons l’espéranceconditionnelle E[X|A] à la notion plus simple

E[X|A] =E[X 1A]

E[1A]=

E[X 1A]

P[A].

Les fonctions A-mesurables sont exactement les combinaisons linéaires de 1A et de 1Ac ,donc E[X|A] doit être une combinaison de ces fonctions. On peut alors vérifier que

E[X|A]1A + E[X|Ac]1Ac

2. CONDITIONNEMENT DISCRET 3

vérifie la propriéte caractéristique (?), donc est l’espérance conditionnelle de X sachantla tribu A.

Il existe une formule qui généralise simultanément les propriétés (2) et (3) énoncéesprécédemment. Soit X une variable A-mesurable, et Y une variable indépendante de A.Lors du calcul de l’espérance conditionnelle par rapport à A d’une fonction de X et deY , tout ce qui dépend de X est laissé tel quel, et tout ce qui dépend de Y est intégrécontre la loi de Y . Ainsi, si f(X, Y ) est une fonction mesurable bornée avec X variableA-mesurable et Y variable A-indépendante, alors

E[f(X, Y )|A] =

∫Y

f(X, y)PY (dy).

D’autre part, la notion d’espérance conditionnelle est définie plus simplement dansL2(Ω,B,P). En effet, pour toute variable X ∈ L2(Ω,B,P), l’espérance conditionnelleE[X|A] est la projection orthogonale de X sur L2(Ω,A,P), et pour toute variable Y ∈L2(Ω,A,P),

E[XY ] = E[E[X|A]Y ].

Cette interprétation fournit ipso facto une preuve de l’existence de l’espérance condition-nelle pour des variables de carré intégrable, et la densité de L2(Ω,B,P) dans L1(Ω,B,P)mène ensuite au théorème 1.1. On peut également définir l’espérance conditionnelle dansle cadre des variables aléatoires positives (sans hypothèse d’intégrabilité), par exemplepar application du théorème de convergence monotone.

2. Conditionnement discret

Dans le cas discret, il est fréquent de manipuler simplement des probabilités condi-tionnelles d’événements P[A|B] = E[1A|B] = P[A∩B]

P[B]. Une propriété importante de ces

quantités est la formule des probabilités totales :

P[B] =r∑i=1

P[B|Ai]P[Ai]

si Ω = A1tA2t· · ·tAr est un système complet d’événements ; et son corollaire, la formulede Bayes, qui permet d’inverser le rôle joué par des événements lors d’un conditionnement :

P[Ai|B] =P[Ai ∩B]

P[B]=

P[B|Ai]P[Ai]∑rj=1 P[B|Aj]P[Aj]

.

Voyons maintenant comment calculer en pratique des espérances conditionnelles dansle cas discret. Plus précisément, considérons deux variables X et Y à valeurs dans Z, etvoyons comment calculer E[X|Y ]. Pour les mêmes raisons que lors du conditionnementpar rapport à un événement, on a :

E[X|Y ] =∑k∈Z

P[Y=k]6=0

E[X|Y = k]1Y=k,


qui est bien une fonction de Y , à savoir la fonction

k 7→

E[X 1Y=k]P[Y=k]

si P[Y = k] > 0;

0 si P[Y = k] = 0.

Exemple. Soient X et Y deux variables indépendantes suivant une loi Poisson deparamètre 1, et Z = X + Y , qui suit une loi de Poisson de paramètre 2. L’espéranceconditionnelle de X sachant Z = k est :

E[X|Z = k] =E[X 1Z=k]

P[Z = k]= e2 2−k k!

k∑j=0

j P[X = j]P[Y = k − j]

= 2−kk∑j=0

jk!

j! (k − j)! = k 2−kk−1∑j=0

(k − 1)!

j! (k − j − 1)!=k

2,

donc E[X|Z] = Z2.

Pour donner une meilleure explication de l’exemple précédent, il est utile d’introduirela notion de loi conditionnelle. Soient X et Y deux variables aléatoires sur un espace(Ω,B,P), à valeurs dans des espaces (X,BX) et (Y,BY), qu’on suppose polonais (métri-sables complets et séparables). L’application

f 7→ E[f(X)|Y ]

est une fonctionnelle linéaire positive de f ; on s’attend donc à pouvoir la représenter parune mesure de probabilité, qui serait aléatoire et Y -mesurable.

Théorème 1.2 (Loi conditionnelle). Il existe une unique application mesurable

Y→P(X,BX)

y 7→ ν(·, y)

appelée loi conditionnelle de X sachant Y , telle que pour toute fonction f : X → Rmesurable bornée,

E[f(X)|Y ] =

∫X

f(x) ν(dx, Y ).

On note souvent ν(dx, Y ) = PX|Y (dx). Dans le cas discret, la loi conditionnelle est donnéepar la fonction ν(x, y) = E[1X=x|1Y=y].

Exemple. Revenons à l’exemple précédent, et calculons la loi conditionnelle de Xsachant Z. Pour tous j ≤ k,

E[1X=j|1Z=k] =P[X = j]P[Y = k − j]

P[Z = k]= 2−k

k!

j! (k − j)! .

Ainsi, sachant Z = k, X suit une loi binomiale B(k, 12). Autrement dit,

PX|Z = B(Z,

1

2

).

On retrouve bien en particulier E[X|Z] =∑

x x B(Z, 12)(x) = Z

2.

3. CONDITIONNEMENT CONTINU 5

3. Conditionnement continu

Dans le cas continu, on peut également calculer l’espérance conditionnelle, et plusgénéralement la loi conditionnelle d’une variable réelle X sachant une autre variable réeleY , si l’on connaît la loi jointe du couple (X, Y ), donnée par une densité de probabilitéf(x, y) dx dy (les raisonnements qui suivent s’adaptent sans problème au cas de variablesvectorielles). Soit g(y) =

∫R f(x, y) dx ; c’est la densité de la variable Y . Au vu du cas

discret et par analogie, il est naturel de poser

E[X|Y ] =

∫R x f(x,Y ) dx

g(Y )si g(Y ) > 0;

0 si g(Y ) = 0.

Il s’agit bien d’une fonction mesurable de Y , et elle vérifie bien la propriété caractéristique(?), donc c’est effectivement E[X|Y ]. Plus généralement, la loi conditionnelle deX sachantY est donnée par

PX|Y (dx) =

f(x,Y ) dxg(Y )

si g(Y ) > 0;

δ0(dx) si g(Y ) = 0,

le deuxième cas étant simplement une convention pratique (la loi conditionnelle est définieà un ensemble de mesure nulle près).

Exemple. Considérons une gaussienne standard (X, Y ) de dimension 2, et calculonsla loi de X sachant R =

√X2 + Y 2. La densité de R est donnée par

E[f(R)] =1

2π

∫R2

f(√

x2 + y2)

e−x2+y2

2 dx dy =

∫ ∞r=0

f(r) e−r2

2 r dr,

elle est donc donnée par g(r) = r e−r2

2 pour r > 0, et 0 sinon. D’autre part, le jacobiende (x, y) 7→ (x,

√x2 + y2) est

√r2−x2r

, et chaque couple (x, r) avec r 6= 0 est atteint 2 fois,donc, la densité du couple (X,R) est

f(x, r) =e−

r2

2

π

r√r2 − x2

10≤|x|≤r dx dr.

La loi conditionnelle de X sachant R est donc

PX|R(dx) =

1|X|≤R

π√R2−x2 dx si R > 0;

δ0(dx) si R ≤ 0,

c’est-à-dire une version de la loi de l’arcsinus dépendant continuement de R. On en déduitpar exemple la valeur de

E[|X|

∣∣R] =

∫ R

−R

|x|π√R2 − x2

dx =2R

π

∫ π/2

0

sin θ dθ =2R

π.


Exemple. Soit (Nt)t∈N un processus de Poisson d’intensité 1. Ceci veut dire qu’ilexiste des variables aléatoires E1, . . . , Ek, . . . indépendantes de loi exponentielle 1x>0 e−x dxtelles que si

S1 = E1;

S2 = E1 + E2;

......

Sk = E1 + · · ·+ Ek

alors les variables Sk déterminent les temps des sauts de Nt : Nt = k sur l’intervalle[Sk, Sk+1). Les lois marginales deNt sont alors des variables de Poisson : P[Nt = k] = tk e−t

k!.

Fixons un entier k, et déterminons la loi de (S1, . . . , Sk−1) sachant Sk. La loi jointe de(S1, . . . , Sk) est donnée par la densité :

1e1>0,...,ek>0 e−e1+···+ek de1 · · · dek = 10≤s1≤···≤sk e−sk ds1 · · · dsk.La loi de Sk est donc donnée par intégration par rapport aux k − 1 premières variables :

(sk)k−1

(k − 1)!e−sk dsk

ce qui constitue une loi Γ(k, 1). Par conséquent, la loi conditionnelle de (S1, . . . , Sk−1)sachant Sk est

10≤s1≤···≤Sk e−Sk

(Sk)k−1

(k−1)! e−Skds1 . . . dsk−1 = (k − 1)!10≤s1≤···≤sk−1≤Sk

ds1 . . . dsk−1(Sk)k−1

,

c’est-à-dire que c’est la loi uniforme sur le simplexe 0 ≤ s1 ≤ · · · ≤ sk−1 ≤ Sk. C’estl’une des manifestations du phénomène d’absence de mémoire des processus de Poisson.

Références. On trouvera un traitement plus complet de la notion de probabilité et d’es-pérance conditionnelle dans

(1) P. Billingsley, Probability and Measure, 3rd edition, Wiley, 1995 ; §33-34.

(2) R. Durrett, Probability : Theory and Examples, 4th edition, Cambridge UniversityPress, 2010 ; §5.1.

On s’est ici inspiré du traitement proposé par ce second ouvrage.

Chapitre 2

Chaînes de Markov

Résumé. Une chaîne de Markov est un processus aléatoire (Xn)n∈N dontles transitions sont données par une matrice stochastique P (Xn, Xn+1).Ces processus vérifient la propriété de Markov, c’est-à-dire qu’observésà partir d’un temps (d’arrêt) T , (XT+n)n∈N ne dépend que de XT et estde nouveau une chaîne de Markov. Les états d’une chaîne de Markovpeuvent être classés en deux catégories : les états transitoires, qui nesont visités qu’un nombre fini de fois p.s., et les états récurrents, qui unefois atteints sont visités p.s. une infinité de fois, ainsi que tous les autresétats dans la même classe de récurrence. Pour une chaîne de Markovirréductible récurrente, la mesure empirique et la loi marginale du pro-cessus convergent soit vers l’unique mesure de probabilité P -invariante(récurrence positive), soit vers le vecteur nul (récurrence nulle). Cettethéorie s’applique en particulier aux marches aléatoires et aux modèlesde files d’attente.

Dans ce qui suit, on fixe un espace d’états X fini ou dénombrable, muni de la tribu del’ensemble des parties P(X). Si X est fini, on notera N son nombre d’éléments.

1. Matrices stochastiques et propriété de Markov

1.1. Chaînes de Markov. Une matrice stochastique sur X est une fonction P :(x, y) ∈ X 7→ P (x, y) ∈ [0, 1] telle que, pour tout x ∈ X,∑

y∈X

P (x, y) = 1.

Autrement dit, tout x ∈ X définit une mesure de probabilité P (x, ·) sur X, appeléeprobabilité de transition à partir de x.

Définition 2.1 (Chaîne de Markov). Une chaîne de Markov sur X de matrice detransition P est une suite de variables aléatoires (Xn)n∈N définies sur un espace (Ω,B,P)et à valeurs dans X, telle que pour tout n, et tous points x0, . . . , xn+1,

P[Xn+1 = xn+1|X0 = x0, . . . , Xn = xn] = P (xn, xn+1). (??)

Ainsi, la loi conditionnelle PXn+1|(X0,...,Xn) est la probabilité de transition P (Xn, ·). Ilest utile de représenter les mesures de probabilité π sur X par des vecteurs en ligne(π(x1), π(x2), . . . , π(xk), . . .). Alors, si π0 est la loi de X0, qui peut être arbitraire, on a

P[(X0, X1, . . . , Xn) = (x0, x1, . . . , xn)] = π(x0)P (x0, x1) · · · P (xn−1, xn)

7

8 2. CHAÎNES DE MARKOV

par conditionnement successif, de sorte qu’en particulier la loi πn de Xn est donnée parle produit matriciel πn = π0 P

n. D’un point de vue dual, si f est une fonction bornée surX, vue comme un vecteur colonne, alors

E[f(Xn+1)|X0 = x0, . . . , Xn = xn] = (Pf)(xn);

E[f(Xn)] = πn f = π0 Pnf.

Notons que les produits matriciels considérés sont licites même lorsque l’espace d’étatsest infini dénombrable, puisqu’on a des bonnes bornes sur les sommes de coefficients surchaque ligne de la matrice de transition.

Exemple. On représente usuellement une chaîne de Markov d’espace d’états X parun graphe orienté étiqueté G = (V,E) dont les sommets sont les éléments de X, et dontles arêtes étiquetées sont les couples (x, y) avec P (x, y) > 0, la valeur de la probabilitéde transition étant l’étiquette de l’arête x → y. Considérons par exemple la chaîne deMarkov d’espace d’états [[1, N ]], et de matrice de transition

P =1

3

1 1 1

1 1. . .

. . . . . . . . .. . . 1 1

1 1 1

;

13 1

3

13

9

Le graphe associé est dessiné ci-dessus, et la chaîne considérée est la marche aléatoiresur le cercle Z/NZ où, à chaque étape, on a probabilité 1/3 de rester au même endroit, etprobabilité 1/3 de sauter à gauche ou à droite. Les lois marginales de cette chaîne peuventêtre calculées comme suit. Pour tout vecteur v ∈ (C)Z/NZ, notons

v(k) =1√N

N∑j=1

v(j) ζjk

sa transformée de Fourier discrète, avec ζ = e2iπ/N . D’autre part, notons CN la matricecirculante

CN =

0 1

0. . .. . . 1

1 0

; P =I + CN + (CN)−1

3.

Pour tout vecteur v, (v CN)(k) = ζk v(k), c’est-à-dire que la conjuguée de CN par latransformée de Fourier discrète agit diagonalement, avec valeurs propres ζ, ζ2, . . . , ζN . Ils’ensuit que si D est la matrice diagonale

D = diag

(1 + 2 cos 2π

N

3,1 + 2 cos 4π

N

3, . . . ,

1 + 2 cos 2NπN

3

),

1. MATRICES STOCHASTIQUES ET PROPRIÉTÉ DE MARKOV 9

alors pour toute mesure initiale π0, on a

πn = π0 Pn = ˜π0Dn,

où · indique la transformée de Fourier inverse :

v(l) =1√N

N∑k=1

v(k) ζ−kl.

En particulier, comme Dn converge vers la matrice diagonale diag(0, . . . , 0, 1), on voit quepour toute mesure initiale π0, la loi marginale πn converge vers le vecteur ( 1

N, . . . , 1

N).

C’est un cas particulier des théorèmes ergodiques qui seront évoqués au paragraphe 3.

On peut montrer que pour toute mesure initiale π0 sur X, et toute matrice de transitionP , il existe effectivement une chaîne de Markov avec cette mesure initiale et cette matricede transition. On notera Pπ0 et Eπ0 les probabilités et espérances relatives à cette chaînede Markov, et dans le cas particulier où π0 = δx est concentrée en un seul point x ∈ X,on notera Px et Ex. Ces probabilités portent sur l’espace des trajectoires

(XN,P(X)⊗N)

muni de la tribu produit, et sur cet espace, on a unicité en lois trajectorielles d’une chaînede Markov de loi initiale et matrice de transition données : la loi Pπ0 est entièrement dé-terminée par l’équation (??). Cette propriété (??) assure que les transitions d’une chaînede Markov au temps n sont homogènes en temps (P ne dépend pas de n), et ne dépendentque de l’état présent, c’est-à-dire que la loi conditionnelle de Xn+1 sachant toute la tra-jectoire (X0, . . . , Xn) ne dépend en fait que de Xn. Une reformulation de ces observationsest donnée par la propriété de Markov :

Proposition 2.2. Si (Xn)n∈N est une chaîne de Markov de loi Pπ0, alors pour touttemps m ≥ 0, la chaîne décalée en temps (Xm+n)n∈N est aussi une chaîne de Markov,de loi Pπm. De plus, la chaîne décalée est conditionnellement à Xm indépendante de(X0, . . . , Xm−1).

En effet, on peut calculer les lois trajectorielles de la chaîne de Markov décalée :

P[Xm = y0, Xm+1 = y1, . . . , Xm+n = yn]

=∑

x0,x1,...,xm−1

P[X0 = x0, . . . , Xm−1 = xm−1, Xm = y0, . . . , Xm+n = yn]

=∑

x0,x1,...,xm−1

π0(x0)P (x0, x1) · · ·P (xm−1, y0)P (y0, y1) · · ·P (yn−1, yn)

= (π0Pm)(y0)P (y0, y1) · · ·P (yn−1, yn)

= πm(y0)P (y0, y1) · · ·P (yn−1, yn),

et ce sont bien celles d’une chaîne de matrice P et de mesure initiale πm.


1.2. Temps d’arrêt et propriété de Markov forte. Une généralisation de ceprincipe à des temps aléatoires met en jeu la notion de temps d’arrêt, elle même dépendantde la notion de filtration d’espace. Soit (Ω,B,P) un espace de probabilité ; une filtrationde cet espace est une suite croissante de sous-tribus

F0 ⊂ F1 ⊂ F2 ⊂ · · · ⊂ B.Tout processus aléatoire (Xn)n∈N définit une filtration (Fn)n∈N en posant

Fn = σ(X0, X1, . . . , Xn);

en particulier, une chaîne de Markov définit automatiquement une filtration. Il fautcomprendre Fn comme l’ensemble des événements qu’on peut mesurer entre les temps0 et n (à partir des observations de la chaîne de Markov X0, X1, . . . , Xn). Dans cecontexte, un temps d’arrêt (relativement à une filtration (Fn)n∈N) est une variable aléa-toire T : (Ω,B,P) → N t +∞ telle que pour tout n, l’événement T = n est dansFn. En d’autres termes, lorsque la filtration est celle associée à une chaîne de Markov,un temps d’arrêt T est un temps aléatoire tel qu’on puisse décider de T = n (ou deT ≤ n) à partir des seules observations de X0, . . . , Xn. Par exemple, si A est une partiede X, alors le temps d’atteinte

TA = infn ∈ N, Xn ∈ Aest un temps d’arrêt ; par contre, le temps de dernier passage

QA = supn ∈ N, Xn ∈ An’en est pas un.

On peut associer une sous-tribu FT = A ∈ B | ∀n ∈ N, A ∩ T = n ∈ Fn à touttemps d’arrêt T ; c’est la tribu des événements observables jusqu’au temps T . On notealors πT la loi de XT . Cette définition est ambiguë lorsque T = +∞ a probabilité nonnulle : on convient alors que XT n’est définie que sur l’événement FT -mesurable T <∞.

Théorème 2.3 (Propriété de Markov). Soit (Xn)n∈N une chaîne de Markov de matricede transition P , et T un temps d’arrêt pour sa filtration canonique. Pour toute fonctionmesurable bornée f sur l’espace des trajectoires,

Eπ0 [1T<∞ f((XT+n)n∈N)|FT ] = 1T<∞ EXT [f((Xn)n∈N)],

les deux membres de l’identité étant FT -mesurables. En particulier, si T < +∞ aprobabilité 1, alors la loi conditionnelle de (XT+n)n∈N sachant FT est PXT .

En particulier, siXT = x est presque sûrement une constante, et si l’événement T < +∞a probabilité 1, alors (XT+n)n∈N a loi Px et est indépendante de FT . Plus généralement,si T < +∞ a probabilité non nulle et si XT = x p.s., alors conditionnellement à cetévénement, (XT+n)n∈N a loi Px et est indépendante de FT . La preuve de cette propriétéde Markov avec des temps d’arrêt découle immédiatement du cas classique T = m, endécomposant les probabilités trajectorielles en fonction de la valeur du temps d’arrêt T .

1. MATRICES STOCHASTIQUES ET PROPRIÉTÉ DE MARKOV 11

Exemple. Étant donné un réel p ∈ (0, 1), on note q = 1 − p. Considérons alors lamarche aléatoire sur X = Z issue de x0 = 0, et avec probabilités de transition

P (i, j) =

p si j = i+ 1;

q si j = i− 1;

0 sinon.

Z

p p p

qqq

14

Soit T1 = infn ∈ N, Xn = 1 le temps d’atteinte de 1 par la marche aléatoire ; c’est untemps d’arrêt. On peut déterminer complètement la loi de T1. En effet, la marche issuede 0 occupe des états pairs aux temps pairs et des états impairs aux temps impairs, doncT1 est soit un nombre impair, soit +∞. Supposons T1 = 2n+ 1 ; alors la marche jusqu’autemps 2n est une excursion négative de taille 2n :

T1

15

Le nombre d’excursions de taille 2n est le nombre de Catalan

Cn =1

n+ 1

(2n

n

)=

(2n)!

(n+ 1)!n!,

et chaque excursion a probabilité (pq)n sous la loi P0 : il y a n transitions vers le basavec probabilité q, et n transitions vers le haut avec probabilité p. La dernière transitionP (0, 1) ayant probabilité p, on obtient donc :

P0[T1 = 2n+ 1] = pn+1 qn2n!

(n+ 1)!n!.

En particulier, la probabilité pour que T1 soit fini est

P0[T1 <∞] = p

∞∑n=0

Cn(pq)n =2p

1 + |2p− 1| =

1 si p ≥ 1

2;

p1−p si p < 1

2

puisque∑∞

n=0Cn xn = 2

1+√1−4x . Supposons p ≥

12. Alors, la marche aléatoire (XT1+n)n∈N

est définie de façon non ambiguë, et elle suit la loi P1 par la propriété de Markov ; de plus,elle est indépendante de l’excursion (X0, . . . , XT1).


En poursuivant le même exemple, on peut identifier deux comportements pour lespoints de l’espace d’états. Supposons dans un premier temps p = 1

2. La marche aléatoire

(Xn)n∈N issue de 0 visite presque sûrement l’état 1 au bout du temps fini T1, et le mêmeraisonnement appliqué à la marche (1 − XT1+n)n∈N montre qu’il existe un temps fini T ′0tel que XT1+T ′0

= 0. Le temps de retour en 0

R10 = infn ≥ 1, Xn = 0 ≤ T1 + T ′0

est donc presque sûrement fini, et c’est un temps d’arrêt. Appliquant la propriété deMarkov à (XR1

0+n)n∈N, on obtient de même l’existence d’un temps de second retour

R20 = infn ≥ R1

0 + 1, Xn = 0presque sûrement fini, et plus généralement de temps de k-ième retour Rk

0 pour tout k.Ainsi, la marche aléatoire revient presque sûrement en 0 une infinité de fois. Il n’est alorspas très difficile de voir qu’elle visite aussi une infinité de fois l’état 1, et en fait tous lesétats n ∈ Z.

Supposons maintenant p > 1/2. La marche aléatoire atteint l’état 1 en un tempsfini p.s. T1, et la marche aléatoire décalée (XT1+n) retourne en 0 avec probabilité r =1−pp< 1. En effet, il suffit d’appliquer le résultat précédent à la marche (1 −XT1+n)n∈N.

Conditionnellement à l’événement

A0 = “ retourner en 0 après un passage par l’état 1 ”,

notant S0 le temps de premier retour en 0 après le passage en 1, la marche aléatoiredécalée (XS0+n)n∈N est sous la probabilité conditionnelle P0[·|A0] une marche aléatoire deloi P0 et indépendante de FS0 . On en déduit immédiatement que le nombre de retoursen 0 après un passage par l’état 1 suit une loi géométrique de paramètre 1− r, donc estfini presque sûrement. Par conséquent, la marche aléatoire ne visite p.s. qu’un nombrefini de fois l’état 0, et au-delà d’un temps aléatoire Q0 = supn ∈ N, Xn = 0, elle restesupérieure ou égale à 1. En réalité, le résultat est vrai pour tous les états n ∈ Z.

2. Classification des états d’une chaîne de Markov

La discussion du paragraphe précédent sur les marches aléatoires a permis d’identifierdeux comportements pour un état x ∈ X d’une marche aléatoire ; le résultat se généraliseen fait à toutes les chaînes de Markov. Si x ∈ X, notons

Vx = card n ∈ N, Xn = x ∈ N t +∞,et définissons récursivement les temps d’arrêt

Rk≥1x =

infn ≥ Rk−1

x + 1, Xn = x si Vx ≥ k + 1X0=x;

+∞ sinon,

avec R0x = 0 par convention.

Théorème 2.4 (Récurrence et transience). Soit P une matrice stochastique sur l’es-pace d’états X. Chaque état x est :

2. CLASSIFICATION DES ÉTATS D’UNE CHAÎNE DE MARKOV 13

(1) soit récurrent, c’est-à-dire que sous Px, Vx = +∞ presque sûrement et Rkx est fini

p.s. pour tout k ;

(2) soit transitoire, c’est-à-dire que sous Px, Vx < +∞ presque sûrement. Dans cecas, Vx − 1 suit sous Px une loi géométrique de paramètre 1− r pour un certainr < 1, et pour tout k, Px[Rk

x < +∞] = Px[Vx ≥ k + 1] = rk.

Notons en particulier que Vx < +∞ si et seulement Ex[Vx] =∑∞

n=0 Pn(x, x) < +∞, ce

qui fournit un critère numérique de récurrence ou de transience des états d’une chaîne deMarkov.

· · ·

états transitoires

classes récurrentes

R1 R2

4

D’après le théorème 2.4, une fois un état x atteint, on y retourne p.s. soit un nombrefini de fois suivant une loi géométrique (transience), soit un nombre infini de fois. Cetteclassification est complétée par le résultat suivant :

Théorème 2.5 (Partition de Markov). Soit K(x, y) = Ex[Vy] =∑∞

n=0 Pn(x, y) le

noyau de la chaîne de Markov, R l’ensemble de ces états récurrents, et T l’ensemble deces états transitoires.

(1) La relationx R y ⇐⇒ K(x, y) > 0,

qui est la clôture transitive du graphe orienté associé à la chaîne de Markov dematrice P , est une relation d’équivalence lorsqu’on la restreint à R. De plus, six ∈ R et y ∈ T, alors K(x, y) = 0.

(2) La partition d’ensembles R =⊔i∈I Ri associée à la relation R est telle que, si

x ∈ Ri, alors sous Px, Vy = +∞ p.s. pour tout y ∈ Ri, et Vy = 0 p.s. pour touty /∈ Ri. En d’autres termes, dans une classe de récurrence Ri, on n’en sort paset on visite chaque état de la classe une infinité de fois.

(3) Soit x ∈ T. Sous Px, soit la chaîne ne visite que des états transitoires (chacunun nombre fini de fois), soit T = TR <∞ et il existe un entier aléatoire i ∈ I telque XT ∈ Ri. Dans ce cas, (XT+n)n∈N reste dans cette classe Ri (et visite chaqueétat de Ri une infinité de fois).


Une chaîne de Markov est dite irréductible si K(x, y) > 0 pour tout couple x, y. Dansce cas, soit la chaîne consiste en une seule classe d’états récurrents, soit la chaîne consisteseulement en états tous transitoires. Le second cas est exclus pour une chaîne de Markovfinie :

Proposition 2.6. Une chaîne de Markov d’espace d’états finis a toujours au moinsun état récurrent. Si elle est irréductible, tous ses états sont donc récurrents et visités uneinfinité de fois presque sûrement.

Exemple. La marche aléatoire sur Z/NZ est récurrente irréductible. Plus généra-lement, toute chaîne de Markov finie dont le graphe orienté est connexe est récurrenteirréductible.

Exemple. Considérons la marche aléatoire de paramètre p sur Z. Elle est clairementirréductible, et d’après la discussion de §1, l’état 0 est récurrent si p = 1

2, et transitoire si

p > 12. Par symétrie, l’état 0 est aussi transitoire si p < 1

2, donc la chaîne est récurrente

irréductible si p = 12, et transitoire irréductible dans le cas contraire.

3. Théorie de Perron-Frobenius et théorèmes ergodiques

La classification des états donne une information qualitative sur les positions visitéespar une chaîne de Markov ; les théorèmes ergodiques vont pour leur part donner uneinformation quantitative.

3.1. Valeurs propres des matrices positives. Dans le cas d’une chaîne de Markovfinie, ces théorèmes ergodiques sont liés à la théorie de Perron-Frobenius des matricespositives. Soit P une matrice de taille N × N à coefficients positifs ou nuls. La matriceest dite irréductible si l’une des conditions équivalentes suivantes est satisfaite :

(1) Si (e1, . . . , eN) est la base canonique de RN , il n’existe pas de sous-espace vectorielVect(ei1 , . . . , eik) non trivial et laissé stable par P .

(2) Il n’existe pas de matrice de permutation Mσ telle que

MσPM−1σ =

(B C0 D

)avec B et D matrices non vides.

(3) Pour tous indices i, j, il existe un exposant n tel que P n(i, j) > 0 ; autrement dit,la chaîne de Markov associée à P est irréductible.

La période d’un indice i pour une matrice positive P est le plus grand commun diviseurdes entiers n tels que P n(i, i) > 0. Si la matrice est irréductible, alors cette périodeh(P, i) = h(P ) ne dépend pas de i ∈ [[1, N ]], et est simplement appelée la période de lamatrice. Une chaîne de Markov finie est dite apériodique si la période de sa matrice detransition est 1. On peut montrer que si la période d’une matrice irréductible est plus

3. THÉORIE DE PERRON-FROBENIUS ET THÉORÈMES ERGODIQUES 15

grande que 1, alors il existe une partition X =⊔hi=1Xi de l’espace d’états X = [[1, N ]] et

une matrice de permutation Mσ adaptée à cette partition telle que

MσPM−1σ =

0 P1 0 · · · 0... . . . P2

. . . ...... . . . . . . 00 · · · · · · 0 Ph−1Ph 0 · · · · · · 0

.

Théorème 2.7 (Perron-Frobenius). Soit P une matrice positive irréductible de tailleN et de période h. Il existe un réel positif r = r(P ) tel que :

(1) Toute valeur propre complexe de P est de module plus petit que r.

(2) Une valeur propre complexe de P est de module égal à r si et seulement si elles’écrit ζ r avec ζ racine h-ième de l’unité. Ces h valeurs propres sont des valeurspropres simples de P .

(3) Un vecteur propre de P est à coordonnées positives ou nulles si et seulement sic’est un vecteur propre pour la valeur propre r. Dans ce cas, ces coordonnées sonttoutes strictement positives.

(4) Le réel r vérifie :

mini∈[[1,N ]]

(N∑j=1

P (i, j)

)≤ r ≤ max

i∈[[1,N ]]

(N∑j=1

P (i, j)

).

En particulier, pour toute matrice stochastique, r = 1.

×

×

×

× ×××

valeur propre r dePerron-Frobenius

! r

!2 r

5

3.2. Théorèmes ergodiques pour les espaces d’états finis. Le théorème 2.7relatif à la répartition des valeurs propres d’une matrice stochastique implique les deuxthéorèmes ergodiques suivants. Soit P une matrice stochastique irréductible sur l’espaced’états fini X = [[1, N ]], et π∞ le vecteur de Perron-Frobenius de P normalisé de sorte que

N∑i=1

π∞(i) = 1.

C’est l’unique mesure de probabilité invariante sous P : π∞P = π∞.


Théorème 2.8 (Convergence en loi vers la mesure stationnaire, cas des espaces finis).Si la chaîne de Markov est apériodique, alors pour toute mesure initiale π0, πn = π0 P

n

converge vers π∞. Dans le cas d’un chaîne de Markov de période h > 1, on a convergencede la moyenne πn+πn+1+···+πn+h−1

hvers π∞.

En effet, on peut décomposer le vecteur π0 sur une base adaptée à la décomposition deJordan de P , et dans l’asymptotique n→∞, seules les composantes de π0 correspondantaux valeurs propres de module 1 de P subsistent dans πn = π0 P

n (les autres tendent vers0 exponentiellement vite). Ceci démontre le théorème dans le cas apériodique h = 1, etdans le cas périodique, la combinaison linéaire

πn + πn+1 + · · ·+ πn+h−1h

=

(π0 + π0P + · · ·+ π0P

h−1

h

)P n

a ses composantes correspondant aux valeurs propres ζ avec ζ 6= 1, ζh = 1 qui s’annulent,ce qui permet de se ramener au cas apériodique.

Théorème 2.9 (Convergence presque sûre des mesures empiriques, cas des espacesfinis). Soit P une matrice stochastique irréductible sur l’espace d’états fini X = [[1, N ]], etπ∞ le vecteur de Perron-Frobenius de P . Pour toute mesure initiale π0, on a Pπ0 presquesûrement

1

n

n∑i=1

δXi → π∞.

Ainsi, la mesure empirique observée converge presque sûrement vers la mesure invarianteπ0. De plus, on a

π∞(k) =1

Ek[R1k].

En effet, en utilisant la propriété de Markov, on peut appliquer la loi des grands nombresaux suites (Rn

k)n∈N qui s’écrivent presque comme sommes de variables indépendantes etidentiquement distribuées ; et ces suites régissent l’asymptotique de la mesure empirique,car

P[Rdnαek ≤ n < R

bnβc+1k ] = P[µn(k) ∈ [α, β]]

si µn est la mesure empirique aléatoire 1n

∑ni=1 δXi .

Exemple. Pour la marche aléatoire sur Z/NZ, on a vu déjà que la loi marginale πnconvergeait vers π∞ = ( 1

N, . . . , 1

N), qui est la loi uniforme sur Z/NZ. D’après le théorème

2.9, on a également1

n

n∑i=1

δXi →(

1

N, . . . ,

1

N

),

ce qui signifie que pour tout état x ∈ [[1, N ]], le nombre de visites de l’état x défini parVx,n = card i ∈ [[1, n]] , Xi = x satisfait la loi des grands nombres

Vx,nn→ 1

Npresque sûrement.

3. THÉORIE DE PERRON-FROBENIUS ET THÉORÈMES ERGODIQUES 17

Dans le cas des espaces finis, on a également un théorème central limite, qui peuts’énoncer comme suit :

Proposition 2.10. Soit P une matrice stochastique irréductible, π∞ son vecteur dePerron-Frobenus. Pour toute fonction bornée f sur X,

√n

(1

n

n∑i=1

f(Xi)− π0(f)

) N

(0 ,(π0(f

2)− π0(f)2)

+ 2∞∑i=1

(π0(f P

if)− π0(f)2))

la variance de la loi normale limite étant toujours finie.

Il existe également un principe de grande déviations pour la mesure empirique, le théorèmede Sanov ; ainsi, la plupart des résultats usuels sur les sommes de variables indépendantesadmettent une généralisation au cas des chaînes de Markov d’espaces d’états finis.

3.3. Mesures invariantes et théorèmes ergodiques pour les espaces d’étatsinfinis. Pour les espaces d’états infinis, la notion importante qui permet d’étendre lesthéorèmes 2.8 et 2.9 est celle de mesure invariante. Soit ν une mesure positive (non nulle)sur X, et P une matrice stochastique ; la mesure est dite invariante si νP = ν. Si la mesureν = π0 est une mesure de probabilité invariante, alors les lois marginales πn = PXn de lachaîne de Markov de matrice P et mesure initiale π0 sont constantes et égales à π0.

Proposition 2.11. Soit P la matrice de transition d’une chaîne de Markov récur-rente irréductible. À un coefficient multiplicatif positif près, il existe une unique mesureinvariante par P . Une mesure invariante est donnée par

ν(x) = Ex0

R1x0∑

i=1

δXi(x)

où x0 est un point de X.

Il existe donc deux classes de chaînes de Markov récurrentes irréductibles :

(1) Soit Ex0 [R1x0

] <∞ pour un point x0 ∈ X, et en fait pour tout point de X. Alors,on dit que la chaîne de Markov est récurrente positive, et il existe une uniquemesure de probabilité invariante, donnée par π(x) = 1

Ex[R1x].

(2) Soit Ex0 [R1x0

] = +∞ pour un point x0 ∈ X, et en fait tout point de X. Alors, ondit que la chaîne de Markov est récurrente nulle, et toutes les mesures invariantespour P ont masse infinie. Pour tout couple (x, y), limn→∞ P

n(x, y) = 0.

Pour les chaînes de Markov d’espaces d’états finis, on est toujours dans le cas récur-rent positif. La terminologie de récurrence positive et récurrence nulle est justifiée par lethéorème ergodique suivant :

Théorème 2.12 (Théorème ergodique pour les chaînes de Markov, cas général). SoitP une matrice stochastique récurrente irréductible sur un espace d’états X.


(1) Si la chaîne est récurrente positive, alors la mesure empirique 1n

∑ni=1 δXi converge

au sens vague presque sûrement vers π∞, l’unique mesure de probabilité invariantepar P . Si de plus la chaîne de Markov est apériodique, alors les lois marginalesconvergent également : πn π∞.

(2) Si la chaîne est récurrente nulle, alors la mesure empirique 1n

∑ni=1 δXi converge

au sens vague presque sûrement vers 0.

Remarque. Sur un espace d’états infini (discret), on doit utiliser la notion de conver-gence vague, définie comme suit : une suite de mesures de probabilité (νn)n∈N convergevaguement vers une mesure positive ν si pour tout x ∈ X, νn(x)→ ν(x). Notons dans cecas que par le lemme de Fatou, ν a une masse comprise entre 0 et 1. De façon équivalente,pour toute fonction f : X→ R qui tend vers 0 à l’infini, νn(f)→ ν(f) ; cette définition dela convergence vague s’étendant à des espaces mesurables plus généraux que les espacesdiscrets.

Remarque. D’autre part, on peut montrer que l’existence d’une mesure de probabilitéinvariante pour une chaîne de Markov irréductible garantit la récurrence (positive) de lachaîne.

4. Marches aléatoires

Appliquons la théorie générale des paragraphes 2 et 3 au cas des marches aléatoires àvaleurs dans Z ou dans un réseau Zd. Soit ρ une mesure de probabilité sur Z, et (Xn)n∈Nla chaîne de Markov sur Z issue de x0 = 0 et de matrice de transition

P (x, y) = ρ(y − x).

Le cas particulier où ρ = (δ1 + δ−1)/2 correspond à la marche aléatoire simple sur Z, oùl’on saute à chaque étape à gauche ou à droite avec probabilité 1

2. Une représentation de

(Xn)n∈N est

Xn =n∑i=1

Yi,

où les Yi sont des variables aléatoires indépendantes et toutes de loi ρ.

4.1. Récurrence et transience en dimension 1. On supposera dans ce qui suit∑x∈Z |x| ρ(x) <∞.

Théorème 2.13. La marche aléatoire est :

— transitoire si∑

x∈Z x ρ(x) 6= 0,— récurrente si

∑x∈Z x ρ(x) = 0.

Dans ce dernier cas, elle est récurrente irréductible sur l’espace d’états X = Z[supp ρ], lesous-groupe engendré dans Z par le support de la mesure de transition ρ.

4. MARCHES ALÉATOIRES 19

Démonstration. Notant Y une variable de loi ρ, si E[Y ] = m 6= 0, supposant parexemple m > 0, on a Xn

n→ m presque sûrement par la loi forte des grands nombres, donc

en particulier Xn → +∞ presque sûrement, ce qui implique le caractère transitoire de lamarche aléatoire.

Inversement, supposons E[Y ] = 0. Si 0 est un état transitoire, alors K(0, 0) = E0[V0] <∞.Or, par la propriété de Markov forte, pour tout x ∈ Z,

K(0, x) = P0[R1x <∞]K(x, x) ≤ K(x, x) = K(0, 0),

donc∑|x|≤CnK(0, x) ≤ (2Cn + 1)K(0, 0) pour toute constante C. D’autre part, par la

loi forte des grands nombres, |Xn| ≤ εn avec probabilité tendant vers 1 pour tout ε > 0.Il s’ensuit que pour n assez grand (choisi en fonction de ε),∑

|x|≤εn

E0

[n∑i=1

δXi = x

]=

n∑i=1

P[|Xi| ≤ εn] ≥ n

2.

Or, le terme de droite est plus petit que∑|x|≤εnK(0, x) ≤ (2εn+1)K(0, 0). Choisissant un

ε suffisamment petit, on obtient une contradiction, donc 0 est forcément un état récurrentsi E[Y ] = 0. Dans ce cas, commeXn =

∑ni=1 Yi, la chaîne de Markov ne visite que des états

dans X = N[supp ρ], le sous-semi-groupe engendré par le support de ρ dans Z ; et tousces états satisfont K(0, x) > 0, donc la chaîne de Markov est récurrente irréductible surX. Comme K(x, y) > 0 est une relation d’équivalence entre états récurrents, K(0, x) > 0pour tout x ∈ X implique K(x, 0) > 0 pour tout x ∈ X. Or, K(x, 0) = K(0,−x), donc six ∈ X, alors −x ∈ X, et X est en fait un sous-groupe de Z.

Supposons la chaîne récurrente irréductible, avec X = Z. On a toujours récurrencenulle : en effet, la mesure de comptage N est invariante par la matrice de transition :

∀x ∈ Z, (NP )(x) =∑y∈Z

N(y)P (y, x) =∑y∈Z

ρ(y − x) = 1 = N(x).

Comme c’est une mesure de masse infinie, on a bien récurrence nulle, et ainsi, on a parexemple E0[R

10] = +∞, quelle que soit la mesure de transition ρ.

4.2. Principe de réflexion. Dans le cas de la marche aléatoire simple, qui est ré-currente nulle, on peut étudier plus en détail les trajectoires de la marche aléatoire,les résultats qui suivent se généralisant à la limite d’échelle des marches renormalisées(Xbntc/

√n)t≥0, qui est le mouvement brownien. Rappelons que les lois marginales de la

marche aléatoire simple sont données par :

P[Xn = k] =1

2n

(nn+k2

)1k≡n mod 2.

En effet, on peut compter les trajectoires qui atteignent l’état k en n étapes par uncoefficient binomial. D’autre part, des propriétés importantes de la marche aléatoire simplesont :


(1) l’homogénéité en temps et en espace : pour tout temps d’arrêt fini T , le pro-cessus (XT+n − XT )n∈N est de nouveau une marche aléatoire simple issue de 0,indépendante de FT .

(2) la symétrie : le processus (−Xn)n∈N est aussi une marche aléatoire simple.

(3) la réversibilité : pour tout temps fini m, le processus aléatoire (Xm−n−Xm)0≤n≤mest une marche aléatoire simple (à horizon fini).

Pour la troisième propriété, notons Yn = Xm−n −Xm, et calculons

P[Y1 = y1, . . . , Ym = ym] = P[Xm−1 = Xm + y1, . . . , X0 = Xm + ym]

= P0[Xm = −ym, Xm−1 = y1 − ym, . . . , X1 = ym−1 − ym]

= ρ(−y1) ρ(y1 − y2) · · · ρ(ym−1 − ym)

= ρ(y1) ρ(y2 − y1) · · · ρ(ym − ym−1)= P0[X1 = y1, . . . , Xm = ym].

Notons que ces trois propriétés utilisent uniquement les propriétés de Markov et la symé-trie ρ(x) = ρ(−x) de la loi de transition ; ainsi, une partie de ce qui suit se généralise auxmarches aléatoires symétriques.

En combinant ces propriétés, on peut démontrer le principe de réflexion suivant, quia de nombreuses conséquences fines pour les trajectoires de la marche aléatoire simple :

Théorème 2.14 (Principe de réflexion). Soit (Xn)n∈N une marche aléatoire simple,et T un temps d’arrêt fini presque sûrement. On suppose pour simplifier XT = a constantpresque sûrement, et l’on considère le processus (Yn)n∈N qui est obtenu à partir de (Xn)n∈Nen effectuant une réflection de la trajectoire après le temps T :

Yn =

Xn si n ≤ T ;

XT − (Xn −XT ) = 2a−Xn si n ≥ T.

Le processus (Yn)n∈N est une marche aléatoire simple.

Le théorème est le plus souvent utilisé avec le temps d’atteinte Ta = infn ∈ N, Xn = ad’un état a, cf. le dessin ci-dessous.


T = Ta

a

Xn

Yn

6

Exemple. Soit k ≥ 0 un entier. Calculons la probabilité sachant Xn = k pour que(Xm)m≤n reste positif ou nul. Si (Xm)m≤n devient négatif, alors le temps d’atteinte TX−1 del’état −1 par la chaîne (Xn)n∈N est inférieur à n. Notons Yn la marche aléatoire réfléchieen ce temps d’arrêt, qui est fini p.s. puisque la marche aléatoire est récurrente irréductible.Notons que TX−1 = T Y−1, et que :

TX−1 ≤ n et Xn = k = T Y−1 ≤ n et Yn = −2− k = Yn = −2− k.La probabilité conditionnelle recherchée est donc

P[X1, . . . , Xn ≥ 0|Xn = k] = 1− P[Yn = −2− k]

P[Xn = k]= 1− P[Xn = k + 2]

P[Xn = k]

= 1−(

nn+k2

+1

)(nn+k2

) = 1− n− kn+ k + 2

=k + 1n+k2

+ 1.

En particulier, sachant que 2n est un temps de retour en 0, il y a une probabilité 1n+1

pour que la marche aléatoire soit restée positive entre les instants 0 et 2n. D’autre part,sachant que 2n est un temps de retour en 0, il y a probabilité 1

2n−1 pour qu’il s’agisse dutemps de premier retour en 0. En effet,

P[R10 = 2n] = P[R1

0 = 2n et X1 = X2n−1 = 1] + P[R10 = 2n et X1 = X2n−1 = −1]

= 2P[R10 = 2n et X1 = X2n−1 = 1]

= 2P[X1 = 1, X1 ≥ 0, . . . , X2n−3 ≥ 0, X2n−2 = 0, X2n −X2n−1 = −1]

=1

2P[X1 ≥ 0, . . . , X2n−3 ≥ 0, X2n−2 = 0] =

1

2nP[X2n−2 = 0]

avec Xi = Xi+1 −X1. On conclut que

P[R10 = 2n|X2n = 0] =

1

2n

P[X2n−2 = 0]

P[X2n = 0]=

1

2n− 1.


Exemple. Soit k > 0 un entier. La probabilité sachant Xn = k pour que (Xm)1≤m≤nreste strictement positif est

P0[X1, . . . , Xn > 0 et Xn = k]

P0[Xn = k]=

P0[X1, . . . , Xn−1 ≥ 0 et Xn−1 = k − 1]

2P0[Xn = k]

=k

n+ k + 1

P0[Xn−1 = k − 1]

P0[Xn = k]=k

n.

Ce résultat est le théorème des scrutins (ballot theorem). Il permet également de calculer

P[R1k = m|Xm = k] =

k

m.

En effet, en utilisant la réversibilité et la symétrie de la marche aléatoire simple, notant−Yn = Xm−n −Xm, on a :

RX,1k = m et Xm = k = X1 < k, . . . , Xm−1 < k,Xm = k

= Y1 > 0, . . . , Ym−1 > 0, Ym = ket (Yn)0≤n≤m est une marche aléatoire simple.

Une autre utilisation classique du principe 2.14 est dans l’étude de Sn = sup0≤i≤nXi,qui est un processus aléatoire croissant à valeurs entières positives. Soient a ≥ b deuxentiers, avec a positif. On peut calculer

P[Sn ≥ a, Xn ≤ b] = P[TXa ≤ n, Xn ≤ b] = P[T Ya ≤ n, Yn ≥ 2a− b]= P[Yn ≥ 2a− b] = P[Xn ≥ 2a− b]

en utilisant le principe de réflexion pour le temps d’arrêt Ta. On en déduit que

P[Sn ≥ a, Xn = b] = P[Sn ≥ a, Xn ≤ b]− P[Sn ≥ a, Xn ≤ b− 1]

= P[Xn ≥ 2a− b]− P[Xn ≥ 2a− b+ 1] = P[Xn = 2a− b]si a ≥ b ; dans le cas contraire, P[Sn ≥ a, Xn = b] = P[Xn = b]. On obtient ainsi la loijointe de (Sn, Xn), et par exemple, les lois marginales de Sn sont données par :

P[Sn ≥ a] =∑b>a

P[Xn = b] +∑b≤a

P[Xn = 2a− b]

=∑b>a

P[Xn = b] +∑b≥a

P[Xn = b]

= P[Xn > a] + P[Xn ≥ a]

= P[Xn ≥ a+ 1] + P[Xn ≥ a].

Par conséquent, P[Sn = a] = P[Xn = a+ 1] + P[Xn = a] pour tout a ≥ 0.

Il convient de noter que (Sn)n∈N n’est pas une chaîne de Markov sur N. En effet, onpeut calculer P[S4 = 3|S3 = 2] = 0, qui est différent de P[S3 = 3|S2 = 2] = 1

2. En revanche,

on peut montrer que les deux processus

(Sn −Xn)n∈N et (2Sn −Xn)n∈N


sont deux chaînes de Markov, la première ayant la loi d’une marche aléatoire simple réflé-chie par l’axe x = 0, la seconde ayant la loi d’une marche aléatoire simple “conditionnéeà rester positive” en un certain sens, avec probabilités de transition

P (k, k + 1) =k + 2

2k + 2; P (k, k − 1) =

k

2k + 2.

4.3. Loi de l’arcsinus. Une autre classe de résultats classiques pour les marchesaléatoires simples est reliée à la loi de l’arcsinus.

Exemple. Fixons k > 0, et calculons la loi du temps de dernier passage en 0 sachantXn = k. Si Ym = Xn −Xn−m, alors les événements suivants sont les mêmes :

Xn = k et le dernier retour en 0 a lieu au temps 2j= X2j = 0, X2j+1, . . . , Xn−1 > 0, Xn = k= Y1, . . . , Yn−2j−1 < k, Yn−2j = Yn = k= T Yk = n− 2j, Yn = k.

L’événement sur la seconde ligne s’écrit aussi

X2j = 0 et Z1, . . . , Zn−2j−1 > 0, Zn−2j = k,où Zi = Xi+2j − X2j est une marche simple indépendante de F2j. Par conséquent, laprobabilité de l’événement considéré est

P0[X2j = 0]P0[X1, . . . , Xn−2j−1 > 0, Xn−2j = k] = P0[X2j = 0]P0[X2n−j = k]k

2n− j .

D’autre part, par réversibilité, l’événement sur la dernière ligne de la liste a une probabilitéégale à P0[X2j = 0]P0[Tk = n− 2j]. On en déduit d’une part la loi des temps d’atteinte :

P0[Tk = n] =k

nP0[Xn = k]

et d’autre part la loi conditionnelle

P0[Dn,0 = 2j|Xn = k] =k P0[X2j = 0]P0[Xn−2j = k]

(n− 2j)P0[Xn = k],

où Dn,0 désigne le temps de dernier passage en 0. Il s’ensuit que la loi du dernier passageen 0 au temps n est donnée par

P0[Dn,0 = 2j] =∑k∈Z

|k|P0[Xn−2j = k]

n− 2jP0[X2j = 0]

=∑k∈Z

P0[X1 · · ·Xn−2j−1 6= 0, Xn−2j = k] P0[X2j = 0]

= P0[X1 · · ·Xn−2j 6= 0] P0[X2j = 0].


Supposons le temps pair égal à 2n. Alors,

P0[X1 · · ·X2n 6= 0] = 2P0[X1 = 1, X2, . . . , X2n ≥ 1]

= 2P0[X1 = 1]P0[X1, . . . , X2n−1 ≥ 0]

= P0[X1, . . . , X2n−1 ≥ 0] = P0[X1, . . . , X2n ≥ 0]

= P0[S2n = 0] = P0[X2n = 0] + P0[X2n = 1]

= P0[X2n = 0]

en utilisant la propriété de Markov pour la seconde ligne ; la symétrie pour la quatrièmeligne ; et plusieurs fois le fait que Xi a la parité de i. On conclut que la loi du temps dedernier passage en 0 au temps 2n est donnée par la loi de l’arcsinus discrète

P[D2n,0 = 2j] = P0[X2j = 0] P0[X2n−2j = 0].

Exemple. La loi de l’arcsinus discrète intervient également dans l’analyse du tempspassée par une marche aléatoire simple au-dessus de 0. Soit T+

n le nombre d’indices1 ≤ i ≤ n tels que max(Xi, Xi−1) > 0, et T−n le nombre d’indices 1 ≤ i ≤ n tels quemin(Xi, Xi−1) < 0. Les variables T+

n et T−n sont couplées par la relation n = T+n + T−n ,

et elles mesurent le temps passé au-dessus ou au-dessous de l’axe x = 0 par la marchealéatoire. On peut montrer que T+

2n suit elle aussi la loi de l’arcsinus discrète

P[T2n,0 = 2j] = P0[X2j = 0] P0[X2n−2j = 0] =1

22n

(2j

j

)(2n− 2j

n− j

).

4.4. Utilisation de fonctions harmoniques. Une dernière classe de résultats clas-siques portant sur les marches aléatoires simples en dimension 1 est reliée à la pro-priété de martingale de (Xn)n∈N, voir le chapitre 3. En pratique, ceci permet de calculerdes probabilités telles que P0[Ta ≤ T−b], où a et b sont deux entiers positifs. NotonsF (x) = Px[Ta ≤ T−b] ; on a clairement F (a) = 1 et F (b) = 0. La fonction F (x) estharmonique sur l’intervalle [−b, a], c’est-à-dire que

F (x) =F (x+ 1) + F (x− 1)

2

si x ∈ (−b, a). En effet,

Px[Ta ≤ T−b] = Px[Ta ≤ T−b|X1 = x+ 1]P[X1 = x+ 1]

+ Px[Ta ≤ T−b|X1 = x− 1]P[X1 = x− 1]

=1

2(Px+1[Ta ≤ T−b] + Px−1[Ta ≤ T−b]) .

Or, les seules fonctions harmoniques sur [−b, a] sont les fonctions affines, et comme F ades valeurs fixées aux extrémités de l’intervalle, on a nécessairement

F (x) =x+ b

a+ b.

Par conséquent, P0[Ta ≤ T−b] = bb+a

.


4.5. Récurrence et transience en dimension supérieure. En dimension supé-rieure, le comportement des marches aléatoires est sensiblement différent. Ainsi, considé-rons la marche simple (Vn = V

(1)n , . . . , V

(d)n ) sur Zd de probabilités de transition

P (x, y) =

12d

si ± (y − x) est un vecteur de la base canonique,0 sinon.

Cette marche aléatoire est clairement irréductible sur le réseau Zd ; on a représenté ci-aprèsles 25000 premiers pas de la marche aléatoire sur Z2.

Théorème 2.15. La marche aléatoire simple sur Zd est récurrente nulle si d = 2, ettransitoire si d ≥ 3.

En effet, calculons la valeur de P n(0, 0). On peut décomposer toute trajectoire (0, V1, . . . , Vn)comme suit : étant données d trajectoires unidimensionnelles

(0, X(1)1 , . . . , X(1)

n1), . . . , (0, X

(d)1 , . . . , X(d)

nd),

avec n1 + · · ·+ nd = n, choisissons une partition d’ensembles

[[1, n]] = i(1)1 < · · · < i(1)n1 t · · · t i(d)1 < · · · < i(d)nd ,

et appliquons au temps i = i(k)j − 1 la transition X(k)

j−1 → X(k)j à la k-ième coordonnée de

Vi(k)j −1

, en laissant les autres coordonnées invariantes.


La donnée de la partition d’ensembles et des trajectoires unidimensionnelles permet dereconstruire de façon unique la trajectoire multidimensionnelle. Par exemple, la trajectoire

(0, 0), (0, 1), (−1, 1), (−1, 2), (0, 2), (1, 2)(1, 3)

correspond à la partition d’ensembles [[1, 6]] = 2, 4, 5 t 1, 3, 6 et aux trajectoires uni-dimensionnelles (0,−1, 0, 1) et (0, 1, 2, 3). Dans cette décomposition, on part et arrive àl’origine si et seulement si les trajectoires unidimensionnelles ont la même propriété. Lenombre de chemins d-dimensionnels de taille 2n qui partent et arrivent en 0 est donc

(2d)2n P n(0, 0) =∑

n1+···+nd=n

(2n

2n1, . . . , 2nd

)(2n1

n1

)· · ·(

2ndnd

)=

∑n1+···+nd=n

(2n

n1, n1, . . . , nd, nd

).

Chaque coefficient multinomial(

nn1,...,nd

)est plus petit que n!

((n/d)!)d≤ Cd d

n

n(d−1)/2 pour unecertaine constante Cd, donc

P n(0, 0) =1

(2d)2n

(2n

n

) ∑n1+···+nd=n

(n

n1, . . . , nd

)2

≤ B√n d2n

Cd dn

n(d−1)/2

∑n1+···+nd=n

(n

n1, . . . , nd

)=BCdnd/2

.

Comme cette série est sommable pour d ≥ 3, on obtient bien la transience pour d ≥ 3,car K(0, 0) =

∑∞n=0 P

n(0, 0) < ∞. D’autre part, pour d = 2, on a par l’identité deVandermonde

P n(0, 0) =1

16n

(2n

n

) n∑k=0

(n

k

)2

=1

16n

(2n

n

)2

' C

n,

qui n’est pas sommable ; donc K(0, 0) = +∞ et la marche aléatoire est récurrente nulle.

5. Files d’attente

Une autre catégorie de processus aléatoires que l’on peut étudier à l’aide de lathéorie des chaînes de Markov est la classe des files d’attente. Ces processus ont pourespace d’états N, et sont d’abord définis en temps continu. Soient A et B deux lois sur R+

d’espérance finie, et c ≥ 1 un entier qui représentera le nombre de serveurs pour la file.Les arrivées dans la file d’attente sont régies par un processus de renouvellement dont laloi des sauts est donnée par A. Chaque client dans la file d’attente voit alors sa demandeservie par l’un des serveurs S1, . . . , Sc en un temps aléatoire de loi B et indépendant desarrivées, du serveur Si et des autres services. Si tous les serveurs Si sont occupés, le clientpatiente dans la file d’attente jusqu’à ce qu’un serveur soit libre. L’état du processus estle nombre Nt de clients dans la file à l’instant t : il augmente d’une unité à chaque arrivéedans la file, et diminue d’une unité à chaque fois qu’un client de la file voit sa demandeservie.

5. FILES D’ATTENTE 27

5.1. Files d’attente M/M/c et chaîne de Markov associée. Un cas particulierde files d’attente est celui où les arrivées et les sorties sont régies par des lois A et Bexponentielles de paramètres respectifs λ et µ. On notera M/M/c une telle file d’attenteavec c serveurs, l’entier c pouvant être égal à +∞. Dans ce cas, le processus (Nt)t∈R+ estun processus de Markov d’espace d’états discret, les processus de Markov étant les généra-lisations en temps continu des chaînes de Markov détaillées dans ce chapitre. En pratique,ceci signifie que pour tout temps t1 ≤ t2 ≤ · · · ≤ tr = t, on a une loi conditionnelle

P[Nt+dt = y|Nt1 = x1, . . . , Nt = x] =

1 + p(x, x) dt+ o(dt) si x = y,

p(x, y) dt+ o(dt) si x 6= y,

où p est une matrice indépendante de t et telle que∑

y∈X p(x, y) = 0 pour tout x ∈ X.Pour la file d’attente M/M/c, c’est bien le cas avec X = N et

p(k, l) =

−λ−min(c, l)µ si l = k,

λ si l = k + 1,

min(c, l)µ si l = k − 1,

et p(k, l) = 0 dans tous les autres cas. En effet, en utilisant la propriété d’absence demémoire des lois exponentielles, et l’identité en loi min(E(µ1), . . . , E(µr)) = E(µ1+· · ·+µr),on peut calculer les lois conditionnelles de Nt+dt sachant Nt, et dans l’asymptotique dt =o(1), on obtient bien la matrice de transition p ci-dessus, car e−νdt = 1− νdt+ o(dt). Onreprésente le plus souvent cette dynamique par le schéma suivant :

. . . . . .0 1 2 c c + 1

λ λ λ λ λ λ

µ 2µ 3µ cµ cµ cµ

7

Soit (Xn)n∈N la suite des valeurs distinctes prises par la file d’attente M/M/c (Nt)t∈R.Cette suite est bien définie, et c’est une chaîne de Markov de matrice de transition

P =

0 1µ

λ+µ0 λ

λ+µ2µ

λ+2µ0 λ

λ+2µ. . . . . . . . .

cµλ+cµ

0 λλ+cµ

cµλ+cµ

0 λλ+cµ

. . . . . . . . .

.

Elle est clairement irréductible pour λ, µ > 0. Lorsque c = 1, chaque transition prend untemps d’espérance λ+ µ, donc par la loi des grands nombres, le comportement asympto-tique de (Nt)t∈R+ est le même que celui de (Xn)n∈N avec n ' t

λ+µ. On s’attend donc à ce

que l’étude du processus (Nt)t∈R+ se ramène à celle de la chaîne de Markov associée (ycompris pour des valeurs de c différentes de 1).


5.2. Étude de la file d’attente M/M/1. Dans ce qui suit, on supposera c = 1 etl’état initial X0 = 0 presque sûrement. À chaque étape n, le nombre de clients Xn dans lafile d’attente augmente d’une unité avec probabilité p = λ/(λ+µ), et diminue d’une unitéavec probabilité q = µ/(λ+ µ), sauf si Xn = 0, auquel cas on a toujours Xn+1 = 1. Cettesingularité en l’état 0, qui mène dans le cas récurrent positif à des calculs légèrement pluscompliqués que ceux qui suivent, est résolue en introduisant Yn = max(Xn − 1, 0), quireprésente le nombre de clients dans la file, moins l’éventuel client en train d’être servi.Le processus (Yn)n∈N est une nouvelle chaîne de Markov, irréductible et apériodique, dematrice de transition

Q =

q pq 0 p

q 0 p. . . . . . . . .

q 0 p. . . . . . . . .

.

Supposons pour commencer p > q. Une façon de représenter la chaîne de Markov(Xn)n∈N est de tirer des variables aléatoires de Bernoulli indépendantes ζ1, ζ2, . . . , ζn, . . .avec P[ζi = 1] = 1− P[ζi = −1] = p, et d’écrire

Xn =n∑i=1

1Xi−1 6=0 ζi + 1Xi−1=0.

Cette définition récursive montre que Xn est stochastiquement minorée par∑n

i=1 ζi : eneffet, pour tout indice i, 1Xi−1 6=0 ζi+1Xi−1=0 ≥ ζi. Comme p > q,

∑ni=1 ζi tend vers l’infini

presque sûrement, donc Xn → +∞ p.s., et de même pour Yn. Les chaînes de Markov(Xn)n∈N et (Yn)n∈N sont donc transitoires.

Si p = q, alors (Xn)n∈N a les mêmes probabilités de transition que (|Zn|)n∈N, où (Zn)n∈Nest la marche aléatoire simple sur Z. Cette marche aléatoire réfléchie par l’axe x = 0 estrécurrente nulle d’après la discussion du paragraphe précédent. Il en va de même pour(Yn)n∈N. Le seul cas intéressant est donc celui où p < q (c’est-à-dire que λ < µ), ce quenous supposerons dans toute la suite. On a dans ce cas récurrence positive pour (Yn)n∈N(et par conséquent pour (Xn)n∈N), car la mesure

µ(k) =

(p

q

)k=

(λ

µ

)kpour k ≥ 1

est laissée invariante par Q et est de masse finie. L’invariance est une conséquence de lapropriété suivante : pour tous x, y, on a µ(x)Q(x, y) = µ(y)Q(y, x). On dit dans ce casque la mesure est réversible, et ceci implique l’invariance par Q :

µQ(x) =∑y

µ(y)Q(y, x) =∑y

µ(x)Q(x, y) = µ(x).

Soit π∞(k) = (1 − x)xk, avec x = pq. Par le théorème ergodique, la loi πn du nombre

de clients Yn dans la file d’attente après n transitions tend vers π∞, qui est une loi


géométrique. En particulier, le nombre moyen de clients non servis dans la file d’attenteen régime stationnaire π0 = π∞ est donné par

Eπ∞ [X0] = (1− x)∞∑k=0

kxk =x

1− x =λ

µ− λ.

Sous ce même régime, on peut étudier le temps moyen de séjour d’un client dans la file.Supposons que le client arrive dans une file avec k clients. Pour que sa demande soittraitée, il faut attendre k + 1 variables exponentielles de paramètre µ, donc la loi dutemps de séjour sachant que le client arrive dans une file avec k clients est la convolée dek + 1 variables exponentielles de paramètre µ, c’est-à-dire la loi Γ(k + 1, µ) de densité

1t≥0µk+1tk

k!e−µt dt.

La loi du temps de séjour est par conséquent donnée par

P[T ≥ t] =∞∑k=0

π∞(k)

(∫ ∞t

µk+1 sk

k!e−µs ds

)

= (µ− λ)∞∑k=0

(∫ ∞t

(λs)k

k!e−µs ds

)=

∫ ∞t

(µ− λ) e−(µ−λ)s ds,

c’est-à-dire que c’est une loi exponentielle de paramètre µ − λ. En particulier, le tempsmoyen de séjour est 1

µ−λ .

5.3. Étude des files d’attente M/M/c et M/M/∞. Lorsque la file d’attente estservie par c > 1 serveurs (avec pour l’instant c fini), on s’attend à ce que pendant unintervalle de temps de taille t, il y ait en moyenne λ t arrivées dans la file et jusqu’à c µ tsorties, le taux de sortie pouvant être inférieur à c µ t s’il y a moins de c personnes dans lafile. D’après la discussion précédente, on s’attend donc à la transience du système si λ >cµ ; à la récurrence nulle si λ = cµ ; et à la récurrence positive si λ < cµ. Supposons dansun premier temps λ > cµ. Comme dans le cas c = 1, on peut construire (Xn)n∈N de la façonsuivante. Fixons c suites de variables de Bernoulli indépendantes (ζ

(1)n )n∈N, . . . , (ζ

(c)n )n∈N,

avecP[ζ

(k)i = 1] = 1− P[ζ

(k)i = −1] = λ/(λ+ kµ),

et pour tout j < k et tout n, ζ(j)n ≥ ζ(k)n presque sûrement (un tel couplage est toujours

possible). On peut alors définir récursivement Xn par

Xn =n∑i=1

1Xi−1=0 + 1Xi−1=1 ζ(1)i + · · ·+ 1Xi−1=c−1 ζ

(c−1)i + 1Xi−1≥c ζ

(c)i .

Alors, Xn est minorée stochastiquement par∑n

i=1 ζ(c)i , qui tend vers l’infini presque sû-

rement par la loi forte des grands nombres ; donc la file d’attente M/M/c est transitoiresi λ > cµ. Si λ = cµ, alors pour montrer la récurrence nulle, on peut construire la file


d’attente comme suit. Soit (Yn)n∈N une marche aléatoire simple sur Z, et d’autre part,(Wn)n∈N la chaîne de Markov sur [[0, c]] de matrice de transition

P =

0 1µ

λ+µ0 λ

λ+µ2µ

λ+2µ0 λ

λ+2µ. . . . . . . . .

(c−1)µλ+(c−1)µ 0 λ

λ+(c−1)µ1 0

.

On note Zn = c+ |Yn| ; c’est une chaîne de Markov sur l’espace d’états [[c+∞]], irréduc-tible et récurrente nulle ; tandis que (Wn)n∈N la chaîne de Markov sur [[0, c]], irréductible etrécurrente positive. La file d’attente (Xn)n∈N peut maintenant être construite par réunionde (Wn)n∈N et de (Zn)n∈N. Soient RW,1

c , . . . , RW,kc , . . . les moments où la chaîne de Mar-

kov (Wn)n∈N (issue de 0) passe par c ; et RZ,1c , . . . , RZ,k

c , . . . les moments où la chaîne deMarkov (Zn)n∈N passe par c. On tire également une suite de variables aléatoires (ζk)k≥0indépendante et de loi de Bernoulli avec P[ζk = W ] = cµ

λ+cµet P[ζk = Z] = λ

λ+cµ. On pose

alors :

(Xn)n∈N = (W0,W1, . . . ,WRW,1c, (ζ1)Rζ1,1c +1

, . . . , (ζ1)Rζ1,2c, (ζ2)Rζ2,2c +1

, . . . , (ζ2)Rζ2,3c, . . .).

Autrement dit, on entrelace aléatoirement des excursions de W et de Z à partir de c. Onpeut vérifier que cette construction donne bien une chaîne de Markov avec les transitionsde M/M/c. Comme les excursions de W et de Z sont toutes p.s. finies, on revient en cune infinité de fois, et on a bien montré la récurrence de la chaîne de Markov. De plus,l’espérance du temps de retour en c est

Ec[RX,1c ] =

cµ

λ+ cµEc[RW,1

c ] +λ

λ+ cµEc[RZ,1

c ] =cµ

λ+ cµEc[RW,1

c ] +∞ =∞,

donc la chaîne est récurrente nulle.

Supposons finalement λ < cµ, et posons x = λcµ. On peut construire une mesure

réversible donc invariante sur N pour la matrice de transition de (Xn)n∈N, qui sera demasse finie, car pour k ≥ c, l’équation de réversibilité s’écrit µ(k + 1) = xµ(k), avecx < 1. Donc, la chaîne (Xn)n∈N est récurrente positive. La formule pour la mesure deprobabilité invariante dépend de selon k ≥ c ou k < c.

Le cas où c = +∞ est de façon surprenante beaucoup plus simple à résoudre. D’aprèsla discussion précédente, on s’attend à ce que la chaîne de Markov M/M/∞ soit toujoursrécurrente positive, et en effet, on voit sans mal que la loi de Poisson de paramètre p = λ

µ

est une mesure invariante pour la chaîne de Markov Yn = max(Xn − 1, 0). Ceci prouveimmédiatement la récurrence positive, avec pour loi stationnaire π∞ = P(p). Le nombremoyen de clients dans la file d’attente en régime stationnaire est donc égal à p, et d’autrepart, la loi du temps de séjour dans la file est la loi exponentielle de paramètre µ (chaqueclient est servi immédiatement).


Références. Pour la théorie générale des chaînes de Markov, on renvoie à

(1) R. Durrett, Probability : Theory and Examples, 4th edition, Cambridge UniversityPress, 2010 ; §6.

(2) G. Grimmett and D. Stirzaker, Probability and Random Processes, 3rd edition,Oxford University Press, 2001 ; §6.

Le chapitre §11 du second ouvrage propose également l’étude de nombreux modèles defiles d’attente. Pour les chaînes de Markov finies et l’étude plus détaillée de la convergencevers la mesure stationnaire, on conseille

(3) L. Saloff-Coste, Lectures on finite Markov chains, in Lectures on probability theoryand statistics : École d’été de Probabilités de Saint-Flour XXVI, LNM 1665,Springer-Verlag, 1997 ; pages 301-413.

Finalement, concernant les marches aléatoires, un traitement élémentaire et complet estproposé dans

(4) W. Feller, An Introduction to Probability Theory and Its Applications, volume 1,3rd edition, Wiley, 1968 ; §III, XIV (voir aussi les chapitres XV et XVI).

Chapitre 3

Martingales discrètes

Résumé. Étant donné un espace de probabilité filtré par F = (Fn)n∈N,une martingale est un processus (Xn)n∈N adapté à la filtration et tel queE[Xn+1|Fn] = Xn pour tout n. Cette classe de processus est stable parintégration stochastique contre des processus prévisibles, et par coupurepar des temps d’arrêt. Toute martingale bornée dans L1(Ω,B,P) convergep.s., et dans L1 si et seulement si elle est uniformément intégrable. Toutemartingale bornée dans Lp(Ω,B,P) avec p > 1 converge p.s. et dans Lp.Cette théorie s’applique en particulier aux marches aléatoires et auxprocessus de branchement.

Dans ce chapitre, (Ω,B,P) est un espace de probabilité, et F = (Fn)n∈N est une fil-tration de l’espace, c’est-à-dire une suite croissante de sous-tribus de B. Dans le cadre deprocessus à temps discret définis sur (Ω,B,P), il faut comprendre Fn comme l’ensembledes événements mesurables au temps n. Ainsi, on dira qu’une suite de variables aléa-toires (Xn)n∈N définies sur (Ω,B,P) forme un processus adapté relativement à la filtration(Fn)n∈N si Xn est Fn-mesurable pour tout temps n. Tout processus est adapté à la fil-tration qu’il engendre, définie par Fn = σ(X0, . . . , Xn). On aura également besoin de lanotion de processus prévisible : ainsi, (Xn)n≥1 est dit prévisible si Xn est Fn−1-mesurablepour tout temps n ≥ 1.

1. Martingales et leurs transformations

1.1. Exemples élémentaires de martingales. Dans ce qui suit, un processus aléa-toire (Xn)n∈N sera dit intégrable si toutes les variables Xn le sont.

Définition 3.1 (Martingales). Un processus aléatoire (Xn)n∈N (à valeurs dans R) estappelé martingale s’il est adapté, intégrable et si, pour tout n,

E[Xn+1|Fn] = Xn.

On parle de sur-martingale si l’égalité est remplacée par l’inégalité E[Xn+1|Fn] ≤ Xn, etde sous-martingale si l’égalité est remplacée par l’inégalité E[Xn+1|Fn] ≥ Xn.

Étant donnée une martingale, on a plus généralement et par conditionnements successifsE[XN |Fn] = Xn pour N ≥ n, et E[Xn] = E[X0] pour tout n ∈ N.

Exemple. Soit (Yn)n≥1 une suite de variables aléatoires intégrables et indépendantes(mais pas forcément de même loi), F = (Fn)n∈N la filtration engendrée par ces variables,

33

34 3. MARTINGALES DISCRÈTES

et Xn =∑n

k=1 Yk. C’est un processus adapté, et si chaque Yn vérifie E[Yn] = 0, alors c’estune martingale, car

E[Xn+1|Fn] = E[Xn|Fn] + E[Yn+1|Fn] = Xn + E[Yn+1] = Xn.

En particulier, les marches aléatoires simples sur Z sont des martingales (et plus gé-néralement, les marches aléatoires dont les incréments i.i.d. ont moyenne nulle). Si l’onremplace l’hypothèse E[Yn] = 0 par E[Yn] ≥ 0 (respectivement, E[Yn] ≤ 0), on obtientune sous-martingale (resp., une sur-martingale).

Exemple. Soit (Yn)n≥1 une suite de variables aléatoires positives, bornées et indé-pendantes, F = (Fn)n∈N la filtration engendrée par ces variables, et Xn =

∏nk=1 Yk. C’est

un processus adapté, et si chaque Yn vérifie E[Yn] = 1, alors c’est une martingale, car

E[Xn+1|Fn] = E[XnYn+1|Fn] = Xn E[Yn+1] = Xn.

Exemple. Soit (Xn)n∈N une chaîne de Markov de matrice de transition P sur unespace d’états X. Une fonction sur X est dite harmonique pour P si pour tout x ∈ X,

f(x) = (Pf)(x) =∑y∈X

P (x, y)f(y).

Dans ce cas, le processus (f(Xn))n∈N est une martingale pour la filtration engendrée parla chaîne de Markov, car E[f(Xn+1)|Fn] = Pf(Xn) = f(Xn). On obtient de même dessous- et des sur-martingales à partir de fonctions sous- ou sur-harmoniques.

Exemple. SoitX une variable aléatoire intégrable, etXn = E[X|Fn], avec F filtrationfixée sur l’espace de probabilité (Ω,B,P). Le processus (Xn)n∈N est une martingale par lapropriété des conditionnements successifs du chapitre 1.

D’un point de vue abstrait, la notion de martingale permet de mesurer la différenceentre processus adaptés et processus prévisibles :

Proposition 3.2 (Décomposition de Doob). Tout processus adapté intégrable (Xn)n∈Ns’écrit de manière unique comme somme d’une martingale (Mn)n∈N et d’un processusprévisible (Pn)n∈N issu de 0.

L’existence est donnée par les formules

Mn+1 −Mn = Xn+1 − E[Xn+1|Fn]

Pn+1 − Pn = E[Xn+1|Fn]−Xn

qui fournissent une définition récursive des deux composantes de Xn, avec M0 = X0 etP0 = 0. Pour l’unicité, il suffit de noter qu’un processus qui est à la fois une martingaleet prévisible est constant au cours du temps.

1. MARTINGALES ET LEURS TRANSFORMATIONS 35

1.2. Transformations de martingales. À partir d’une martingale (Xn)n∈N, il existeplusieurs constructions qui permettent d’obtenir de nouvelles martingales ; dans le cadredes martingales à temps continu, ceci mène à la théorie du calcul stochastique d’Itô. Dansle cadre des martingales à temps discret, la théorie se réduit essentiellement aux résul-tats suivants. Notons que si (Xn)n∈N est une sous-martingale, alors (−Xn)n∈N est unesur-martingale ; les résultats seront donc énoncés seulement pour les sur-martingales.

Théorème 3.3 (Intégrale stochastique discrète). Soit (Xn)n∈N un processus adapté,et (An)n∈N un processus prévisible. Notons

(A ·X)n =n∑k=1

Ak(Xk −Xk−1),

qui est un processus adapté issu de 0. Si (Xn)n∈N est une martingale et (An)n∈N est unesuite de variables aléatoires bornées, alors ((A · X)n)n∈N est une martingale. De même,si (Xn)n∈N est une sur-martingale et (An)n∈N est une suite de variables aléatoires bornéespositives, alors ((A ·X)n)n∈N est une sur-martingale.

En effet, dans le cas des martingales,E[(A ·X)n+1|Fn] = (A ·X)n + E[An+1(Xn+1 −Xn)|Fn]

= (A ·X)n + An+1(E[Xn+1|Fn]−Xn) = (A ·X)n.

Dans le cas des sur-martingales, la même preuve s’adapte, et l’on peut alternativement uti-liser le résultat élémentaire suivant : un processus adapté intégrable est une sur-martingalesi et seulement si sa partie prévisible au sens de la décomposition de Doob est un processusdécroissant (appelé le compensateur de la sur-martingale).

Exemple. Soit (Xn)n∈N une marche aléatoire sur Z, d’incréments indépendants etidentiquement distribués Y1, . . . , Yn, . . ., avec E[Y1] = 0. On interprète chaque variableYi = Xi −Xi−1 comme le résultat d’un jeu aléatoire, et l’on décide à chaque étape i− 1d’une mise Ai ≥ 0 pour le i-ième tirage du jeu. Cette mise est donc Fi−1-mesurable,c’est-à-dire prévisible, et on peut imaginer que l’on décide de la mise Ai en fonction desrésultats précédents du jeu Y1, . . . , Yi−1. L’hypothèse E[Y1] = 0 assure que pour tout tempsn, E[Xn] = 0, c’est-à-dire qu’au temps n on a en moyenne gagné autant de fois que l’ona perdu. La proposition 3.3 assure que dans ce cas, quelque soit la stratégie des mises, legain au temps n

Gn = (A ·X)n =n∑i=1

Ai Yi

est également une martingale, de sorte qu’on a aussi E[Gn] = 0 pour tout n. Autrementdit, si un jeu est équilibré, alors aucune stratégie prévisible ne permet d’avoir des gainsen moyenne strictement positifs.

Soit (Xn)n∈N une martingale. Comme toute fonction (f(Xn))n∈N d’un processus adaptéest de nouveau un processus adapté, sous des hypothèses d’intégrabilité, f(Xn) = M f

n+P fn

est la somme d’une martingale et d’un processus prévisible. Ceci fournit de nouvellestechniques de constructions de martingales.


Exemple. Posons f(x) = x2, et considérons une martingale (Xn)n∈N dans L2(Ω,B,P),c’est-à-dire que chaque Xn est de carré intégrable. Alors, la partie prévisible de X2

n estdonnée par

Pn+1 − Pn = E[(Xn+1)2|Fn]− (Xn)2 = E[(Xn+1 −Xn)2|Fn] ≥ 0.

Ainsi, il existe un unique processus prévisible, positif et croissant, appelé variation qua-dratique de (Xn)n∈N et noté 〈X〉n, tel que

〈X〉n =n−1∑k=0

E[(Xk+1 −Xk)2|Fk] ; ((Xn)2 − 〈X〉n)n∈N est une martingale.

Dans le cas de la marche aléatoire simple sur Z, on a (Xk+1−Xk)2 = 1 presque sûrement

pour tout k, donc 〈X〉n = n presque sûrement, et ((Xn)2 − n)n∈N est une martingale.

Exemple. Soit (Xn)n∈N une marche aléatoire sur Z, avec Xn = Y1 + · · ·+ Yn sommed’i.i.d. et E[etY1 ] < ∞ pour un certain réel positif t. La transformée exponentielle Zn =

etXn−n logE[etY1 ] est de nouveau une martingale, puisque

E[Zn+1|Fn] = Zn E[etYn+1−logE[etY1 ]] = ZnE[etYn+1 ]

E[etY1 ]= Zn.

Dans le cas de la marche aléatoire simple sur Z, ( etXn

(cosh t)n)n∈N est donc une martingale pour

tout paramètre t ∈ R.

1.3. Théorèmes d’arrêt. Une autre transformation de martingales qui préservecette propriété est la coupure par un temps d’arrêt. Soit (Xn)n∈N un processus adapté.Rappelons qu’un temps d’arrêt pour la filtration (Fn)n∈N est une variable aléatoire T àvaleurs dans [[0,+∞]] et telle que T = n ∈ Fn pour tout n ∈ N.

Théorème 3.4 (Coupure par un temps d’arrêt). Soit (Xn)n∈N une martingale, et Tun temps d’arrêt. Le processus

Xinf(n,T ) =

Xn si n < T,

XT si n ≥ T

est une martingale. On a le même résultat avec des sur-martingales à la place de martin-gales.

En effet, c’est une conséquence de la proposition 3.3 avec le processus prévisible An =1T≥n = 1− 1T<n.

Exemple. Soit (Xn)n∈N une marche aléatoire simple sur Z, T = T−1 le temps d’at-teinte de −1. Comme (Xinf(n,T ))n∈N est une martingale, pour tout n,

0 = E[Xinf(n,T )] = −P[T ≤ n] + E[Xn 1T>n]

= −P[T ≤ n] + E[Xn|T > n] (1− P[T ≤ n]),

1. MARTINGALES ET LEURS TRANSFORMATIONS 37

donc l’espérance conditionnelle de Xn sachant X0, . . . , Xn ≥ 0 est égale à

P[T ≤ n]

1− P[T ≤ n]→n→∞ +∞.

Exemple. Soient a, b > 0, et T = inf(Ta, T−b). Comme (Xinf(n,T ))n∈N est une martin-gale, pour tout n,

0 = E[Xinf(n,T )] = aP[Ta ≤ inf(n, T−b)]− bP[T−b ≤ inf(n, Ta)] + E[Xn 1inf(Ta,T−b)>n].

Comme la marche aléatoire simple est récurrente, Ta et T−b sont finis presque sûrement,donc la limite de l’expression précédente est

0 = aP[Ta ≤ T−b]− bP[T−b ≤ Ta],

puisqu’on a la borne |E[Xn 1inf(Ta,T−b)>n]| ≤ max(a, b)P[inf(Ta, T−b) > n] → 0. On endéduit :

P[Ta ≤ T−b] =b

b+ a; E[XT ] = 0.

En règle générale, si l’on n’a pas de bonnes bornes sur T ou sur XT , il est fauxque E[XT ] = E[X0] pour un temps d’arrêt T . Le théorème suivant donne des conditionssuffisantes pour que ce soit vrai :

Théorème 3.5 (Doob). Soit T un temps d’arrêt fini presque sûrement, et (Xn)n∈Nune martingale. Si E[|XT |] < ∞ et limn→∞ E[|Xn|1T>n] = 0, alors E[XT ] = E[X0]. Ceshypothèses sont satisfaites dans les cas suivants :

(1) T est borné presque sûrement.

(2) (Xinf(n,T ))n∈N est uniformément borné presque sûrement.

(3) T est intégrable et les incréments Xn+1 −Xn sont uniformément bornés par uneconstante.

La troisième condition suffisante du théorème est en particulier satisfaite lorsque (Xn)n∈Nest l’intégrale stochastique d’un processus prévisible borné contre une martingale bornée.

Exemple. On considère la marche aléatoire biaisée sur Z avec P[Xn+1 = Xn + 1] =1−P[Xn+1 = Xn− 1] = p = 1− q, issue de k > 0. On considère le temps T = infT0, TLde sortie de l’intervalle [[0, T ]]. Le processus Zn = ( q

p)Xn est une martingale :

E[Zn+1|Fn] = pq

pZn + q

p

qZn = (q + p)Zn = Zn.

D’autre part, (Zinf(n,T ))n∈N est clairement borné par max(1, (pq)L). Par le théorème d’arrêt

de Doob,

E[ZT ] = E[Z0] =

(q

p

)k= P0 + PL

(q

p

)L= P0 + (1− P0)

(q

p

)L,


avec P0 = P[XT = 0] et PL = P[XT = L]. Ainsi,

P0 =( qp)k − ( q

p)L

1− ( qp)L

.

2. Convergence de martingales

L’intérêt principal de la théorie des martingales est l’existence de puissants théorèmesde convergence, semblables à la loi des grands nombres. Dans cette section, nous présen-tons ces résultats en étudiant successivement la convergence p.s., dans L1(Ω,B,P) et dansles espaces Lp(Ω,B,P) avec p > 1.

2.1. Convergence presque sûre. Soit (Xn)n∈N un processus adapté, a < b deuxréels. On note Mn(a, b) le plus grand entier k tel qu’existe deux suites entrelacées

0 ≤ s1 ≤ t1 ≤ s2 ≤ t2 ≤ · · · ≤ sk ≤ tk ≤ n

avec Xsi ≤ a et Xti ≥ b pour tout i. C’est le nombre de montées entre a et b, et c’estune variable aléatoire Fn-mesurable. En effet, on peut associer à cette variable les tempsd’arrêt

Sk = infn > Tk−1, Xn ≤ aTk = infn > Sk, Xn ≥ b

et Mn(a, b) =∑∞

k=1 1Tk≤n est bien une somme de variables Fn-mesurables.

Proposition 3.6 (Nombre de montées). Soit (Xn)n∈N une sur-martingale. On a

E[Mn(a, b)] ≤ E[(Xn − a)−]

b− a .

En effet, soit Pn =∑∞

k=1 1Sk<n≤Tk , qui est un processus prévisible puisque 1Sk<n≤Tk =1Sk<n(1 − 1Tk<n). Comme (Xn)n∈N est une sur-martingale et (Pn)n∈N est un processusprévisible positif borné, ((P ·X)n)n∈N est une sur-martingale. Or,

(P ·X)n =n∑i=1

Pi(Xi −Xi−1) =

Mn(a,b)∑k=1

(XTk −XSk) + (Xn −XSMn(a,b)+1)1SMn(a,b)+1<n

≥ (b− a)Mn(a, b)− (Xn − a)−.

Comme 0 = E[(P · X)0] ≥ E[(P · X)n], l’inégalité est démontrée. On en déduit que lesnombres de montées sont finis p.s. sous des hypothèses assez faibles sur (Xn)n∈N ; cecientraîne la convergence presque sûre. Plus précisément :

Théorème 3.7 (Convergence presque sûre des martingales). Soit (Xn)n∈N une sur-martingale. Il existe une limite p.s. X∞ = limn→∞Xn si

(1) (Xn)n∈N est positive,

2. CONVERGENCE DE MARTINGALES 39

(2) ou plus généralement, si (Xn)n∈N est bornée dans L1(Ω,B,P) :

supn∈N

E[|Xn|] < +∞.

Le théorème s’applique en particulier aux martingales. Par le lemme de Fatou, la limiteX∞ est intégrable, mais elle n’est pas forcément la limite dans L1(Ω,B,P) des variablesXn. En particulier, on n’a pas forcément E[X∞] = E[X0].

Exemple. Soit (Xn)n∈N une marche aléatoire de paramètres p et q = 1− p sur Z, parexemple issue de 0, et avec p 6= q. On sait que Zn = ( q

p)Xn est une martingale, et elle est

positive ; elle admet donc une limite p.s. Z∞, qui est intégrable. Les valeurs possibles deZ∞ sont dans l’adhérence des valeurs possibles de (Xn)n∈N, c’est-à-dire dans(

q

p

)k, k ∈ Z

t 0.

Si Z∞ = (q/p)k a probabilité positive pour une valeur k finie, alors avec probabilité positive(Xn)n∈N est stationnaire égale à k. Or, une marche aléatoire n’est jamais stationnaire, doncZ∞ = 0 presque sûrement. On en déduit que Xn → −∞ p.s. si p < q, et Xn → +∞ p.s.si p > q. Notons que dans ce cas, on n’a pas convergence dans L1, car E[X0] = 1 6= 0.

Exemple. On considère une urne contenant initialement B boules blanches et Nboules noires. À chaque étape, on tire une boule de l’urne, et l’on ajoute c ≥ 1 boules decette couleur dans l’urne. Soit Xn la proportion de boules blanches dans l’urne au tempsn ; le nombre de boules blanches au temps n est alors (B + N + cn)Xn, et le nombre deboules noires au temps n est (B +N + cn)(1−Xn). On a X0 = B

B+Net

E[Xn+1|Fn] = Xn(B +N + cn)Xn + c

B +N + c(n+ 1)+ (1−Xn)

(B +N + cn)Xn

B +N + c(n+ 1)= Xn,

donc (Xn)n∈N est une martingale à valeurs dans [0, 1]. Elle est donc uniformément bornée,et admet une limite presque sûre X∞. La loi de cette limite peut être calculée commesuit. La probabilité pour obtenir au cours des n premiers tirages n1 tirages blancs et n2

tirages noirs est(n

n1

)B(B + c)(B + 2c) · · · (B + (n1 − 1)c) N(N + c)(N + 2c) · · · (N + (n2 − 1)c)

(B +N)(B +N + c) · · · (B +N + (n− 1)c).

Supposons n1/n→ x ∈ (0, 1). Alors l’expression ci-dessus a pour asymptotique1

n

Γ((B +N)/c)

Γ(B/c) Γ(N/c)xBc−1 (1− x)

Nc−1,

et d’autre part, n1/n→ x équivaut à Xn → x. On en déduit que X∞ est la loi de densitéΓ((B +N)/c)

Γ(B/c) Γ(N/c)xBc−1 (1− x)

Nc−1 dx

c’est-à-dire la loi β(B/c,N/c). On verra plus loin qu’on a aussi convergence dans L1(Ω,B,P),et en fait dans tous les espaces Lp, car la martingale est à valeurs bornées.


2.2. Convergence dans L1. Pour obtenir la convergence dans L1(Ω,B,P) d’unesuite de martingales bornées au sens du théorème 3.7, on a besoin d’une borne “uniforme”,c’est-à-dire de la notion d’uniforme intégrabilité :

Définition 3.8. Un processus (adapté, intégrable) (Xn)n∈N est dit uniformément in-tégrable si

limK→+∞

supn∈N

(E[|Xn|1|Xn|≥K ]

)= 0.

Exemple. La martingale associée au modèle d’urnes de Pólya de la section précédenteest uniformément intégrable, puisqu’elle est bornée dans L∞(Ω,B,P). En revanche, lamarche aléatoire simple n’est pas uniformément intégrable, car

supn∈N

(E[|Xn|1|Xn|≥K ]

)≥ K sup

n∈N(P[|Xn| ≥ K]) = K.

Il en va de même pour la marche aléatoire biaisée de paramètres p 6= q.

Théorème 3.9 (Convergence dans L1(Ω,B,P) des martingales). Soit (Xn)n∈N unemartingale. Les assertions suivantes sont équivalentes :

(1) La martingale est uniformément intégrable.

(2) La martingale converge p.s. et dans L1(Ω,B,P) vers sa limite X∞.

(3) La martingale est fermée, c’est-à-dire qu’il existe une variable intégrable X telleque Xn = E[X|Fn] pour tout n. Dans ce cas, on peut supposer X mesurablepour F∞ =

⋃n∈NFn en remplaçant X par E[X|F∞], et on a alors X = X∞ =

limn→∞Xn presque sûrement.

Dans tous ces cas, on a E[X∞] = E[X0]. De plus, si T est un temps d’arrêt, alorsE[X∞|FT ] = XT , et donc en particulier E[XT ] = E[X∞] = E[X0].

Exemple. La martingale associée au modèle d’urnes de Pólya converge dans L1 versune variable aléatoire de loi β(B/c,N/c), puisqu’elle est à valeurs bornées dans [0, 1], etdonc uniformément intégrable.

Exemple. On considère de nouveau la marche aléatoire biaisée Xn =∑n

k=1 Yk, avecP[Yk = 1] = 1 − P[Yk = −1] = p = 1 − q ; et l’on note T = inf(Ta, T−b), où a et b sontdeux entiers positifs. Soit t un réel tel que p et + q e−t ≥ 1. La transformée exponentielle

Zn =etXn

E[etY1 ]n=

etXn

(p et + q e−t)n

est une martingale. La martingale arrêtée (Zinf(n,T ))n∈N est donc une martingale bornéedans L∞, puisque le numérateur de Zn est borné par sup(eta, e−tb), et le dénominateur est

2. CONVERGENCE DE MARTINGALES 41

plus grand que 1 par hypothèse. Elle est donc en particulier uniformément intégrable, etsa limite ZT = Zinf(∞,T ) = etXT

(p et+q e−t)Tsatisfait

1 = E[Z0] = E[ZT ]

= eta E[

1

(p et + q e−t)T1XT=a

]+ e−tb E

[1

(p et + q e−t)T1XT=−b

].

Posons s−1 = p et+q e−t, de sorte que et = λ±(s) =1±√

1−4pqs22ps

. Ces deux solutions donnentdeux équations linéaires pour les transformées de Laplace de T sur les événements XT = aet XT = −b :

1 = (λ+(s))a E[sT 1XT=a] + (λ+(s))−b E[sT 1XT=−b]

= (λ−(s))a E[sT 1XT=a] + (λ−(s))−b E[sT 1XT=−b].

On conclut que

E[sT 1XT=a] =(λ+(s))b − (λ−(s))b

(λ+(s))a+b − (λ−(s))a+b;

E[sT 1XT=−b] =(q/p)b ((λ+(s))a − (λ−(s))a)

(λ+(s))a+b − (λ−(s))a+b;

E[sT ] =((λ+(s))b − (λ−(s))b) + (q/p)b ((λ+(s))a − (λ−(s))a)

(λ+(s))a+b − (λ−(s))a+b,

ce qui donne la loi de T .

Exemple. Avec le même exemple, on peut calculer la loi de S = supn∈NXn si p < q.Par la loi des grands nombres, (Xn)n∈N converge p.s. vers −∞, donc S est une variablealéatoire positive finie presque sûrement. De plus,

S ≥ a = Ta <∞ =∞⋃b=0

Ta < T−b

la réunion d’événements étant décroissante. Or, si T = inf(Ta, T−b), alors (q/p)Xinf(n,T )

est une martingale bornée dans L∞, donc uniformément intégrable dans L1(Ω,B,P). Ils’ensuit :

1 = E[(q/p)X0

]= E

[(q/p)XT

]= P[Ta < T−b]

(q

p

)a+ (1− P[Ta < T−b])

(q

p

)−b,

donc P[Ta < T−b] = 1−(q/p)−b(q/p)a−(q/p)−b , et par passage à la limite

P[S ≥ a] = P[Ta <∞] =

(p

q

)a.

La variable S suit donc une loi géométrique de paramètre 1− pq.


2.3. Convergence dans Lp. À moins de couper la martingale par un temps d’arrêtpour assurer son caractère borné dans L∞, il peut être difficile de vérifier l’uniformeintégrabilité de (Xn)n∈N, et donc d’appliquer les théorèmes précédents. Néanmoins, si l’onsuppose que (Xn)n∈N est un processus dans Lp(Ω,B,P) avec p > 1, c’est-à-dire que chaquevariable a sa puissance p intégrable, alors les hypothèses deviennent beaucoup plus simplesà vérifier. L’inégalité suivante est à la base de ces simplifications :

Proposition 3.10 (Inégalité maximale de Doob). Soit (Xn)n∈N une martingale. Ona pour tout x > 0 et tout p ≥ 1 :

P[supk≤n|Xk| ≥ x

]≤ E[|Xn|p]

xp.

Des inégalités du même type existent pour le maximum des valeurs d’une sur- ou d’unesous-martingale. Elles conduisent aux inégalités suivantes :

E[(

supk≤n|Xk|

)p ]≤(

p

p− 1

)pE[|Xn|p]

pour p > 1 et une martingale dans Lp(Ω,B,P).

Théorème 3.11 (Convergence dans Lp(Ω,B,P) des martingales). Soit (Xn)n∈N unemartingale dans Lp(Ω,B,P). Si

supn∈N

E[|Xn|p] <∞,

alors (|Xn|p)n∈N est uniformément intégrable, et (Xn)n∈N converge p.s. et dans Lp vers salimite X∞.

Ainsi, il suffit de vérifier le caractère borné dans Lp pour obtenir une convergence forte.

Exemple. Dans le cas p = 2, le processus variation quadratique (〈X〉n)n∈N fournitune preuve simple du théorème précédent. En effet, supposant pour simplifier X0 = 0 p.s.,on a

E[(Xn)2] = E[〈X〉n] =n−1∑k=0

E[(Xk+1 −Xk)2]

pour tout n ∈ N. Il s’ensuit que (Xn)n∈N est borné dans L2 si et seulement si∞∑k=0

(Xk+1 −Xk)2

est intégrable. Dans ce cas, notons que Xn =∑n−1

k=0(Xk+1 − Xk) est une décompositionde Xn en variables orthogonales pour le produit scalaire associé à la norme L2 : en effet,si k > j, alors

E[(Xk+1 −Xk)(Xj+1 −Xj)] = E[E[Xk+1 −Xk|Fj+1](Xj+1 −Xj)]

= E[0 (Xj+1 −Xj)] = 0.

L’intégrabilité de∑∞

k=0 E[(Xk+1 −Xk)2] assure l’uniforme intégrabilité des sommes par-

tielles∑n−1

k=0 E[(Xk+1 − Xk)2], et donc l’uniforme intégrabilité de ((Xn)2)n∈N. On a donc

3. PROCESSUS DE BRANCHEMENT 43

bien équivalence entre le caractère borné dans L2 et l’uniforme intégrabilité des carrés.De plus, ces conditions impliquent que

∑∞k=0(Xk+1−Xk) converge dans L2, donc (Xn)n∈N

a bien une limite dans L2 sous la condition supn∈N E[(Xn)2] < ∞. Finalement, la bornedans L2 implique une borne dans L1, donc on a aussi convergence p.s. par le théorème3.7.

3. Processus de branchement

Les processus de branchement fournissent des exemples de martingales auxquelles s’ap-pliquent l’ensemble des résultats précédents. Soit µ une mesure de probabilité sur N, telleque µ(1) 6= 1 et

∑∞k=0 k

2 µ(k) < ∞. On note m =∑∞

k=0 k µ(k). On fixe une famille dou-blement indexée (ζn,k)n,k∈N de variables indépendantes et identiquement distribuées deloi µ. Le processus de branchement de Galton-Watson de loi µ est la suite de variablesaléatoires (Yn)n∈N définies récursivement par

Y0 = 1 ; Yn+1 =Yn∑k=1

ζn,k.

La variable Yn représente le nombre d’individus de la n-ième génération aléatoire d’unepopulation dont chaque individu a un nombre d’enfants donné par la loi µ et indépendantdes autres progénitures aléatoires. La suite (Yn)n∈N est une chaîne de Markov de matricede transition

P (k, l) = µ∗k(l), où µ∗k est la k-ième convolée de µ.

Pour étudier cette chaîne (récurrence, transience, etc.), on introduit la martingale(Mn = Yn

mn)n∈N. C’est bien une martingale, car

E[Mn+1|Fn] =1

mn+1E

[r∑

k=1

ζn,k

]|r=Yn

=mYnmn+1

=Ynmn

= Mn.

En tant que martingale positive, (Mn)n∈N a une limite presque sûreM∞, qui est intégrable.On peut alors distinguer 3 cas :

(1) Supposons m < 1. Alors, comme Yn reste un entier pour tout n, en écrivantYn ' M∞m

n, on en déduit que Yn → 0 p.s., c’est-à-dire qu’il y a extinctionpresque sûre (notons que r = 0 est un état absorbant de la chaîne de Markov(Yn)n∈N).

(2) Si m = 1, alors Yn = Mn converge presque sûrement. Hors, aucun état de lachaîne sauf 0 n’est absorbant, et d’autre part, une suite à valeurs entières quiconverge est stationnaire. Si Yn → r 6= 0 avec probabilité non nulle, alors Ynreste stationnaire à r avec probabilité non nulle. Mais par la propriété de Markovet le lemme de Borel-Cantelli, Yn quitte p.s. l’état r une fois qu’il l’a atteint, ce


qui mène à une contradiction. On conclut que Yn → 0 p.s., c’est-à-dire qu’il y ade nouveau extinction.

(3) Supposons finalement m > 1. L’hypothèse sur∑∞

k=0 k2 µ(k) = h < ∞ montre

que la convergence de (Mn)n∈N a lieu dans L2, puisque

E[(Mn+1)2] =

E[(∑Yn

k=1 ζn,k)2]

m2n+2=

E[Yn]h+ E[Yn(Yn − 1)]m2

m2n+2

= E[(Mn)2] +E[Yn] (h−m2)

m2n+2= E[(Mn)2] +

(h−m2)

mn+2,

et donc

supn∈N

E[(Mn)2] ≤ 1 +∞∑n=0

h−m2

mn+2=

h−mm2 −m <∞.

Par le théorème 3.11, Mn → M∞ dans L2 et p.s., et en particulier, E[M∞] =E[M0] = 1, et Yn →∞ avec probabilité positive.

Dans le cas sur-critique m > 1, toujours sous l’hypothèse∑∞

k=0 k2µ(k) < ∞, on peut

montrer plus précisément :

Théorème 3.12 (Processus de branchement sur-critiques). Soit G(s) =∑∞

k=0 µ(k) sk

la fonction génératrice de la loi µ. On suppose m = G′(1) > 1, et h = G′′(1)+G′(1) <∞.La probabilité d’extinction

pe = P[

limn→∞

Zn = 0]

est l’unique point fixe dans [0, 1) de G. De plus, on a aussi pe = P[M∞ = 0], et donc,conditionnellement à la non-extinction, M∞ > 0, c’est-à-dire que Yn tend vers l’infini avitesse exponentielle.

Pour démontrer ceci, notons que G et toutes ses dérivées sont des fonctions croissantessur [0, 1], de sorte que G est convexe et a pour allure :

1

1

00

µ(0) +

pe

G(s)

10

3. PROCESSUS DE BRANCHEMENT 45

La valeur de G a l’origine est µ(0) ≥ 0, G(1) = 1, et il existe un unique autre pointt ∈ [0, 1) tel que G(t) = t. La fonction génératrice G permet de calculer toutes lesfonctions génératrices des populations Yn, car

E[sYn+1 ] = E[E[sYn+1|Yn]] = E[G(s)Yn ],

de sorte que par récurrence,E[sYn ] = G G · · · G(s) = Gn(s).

Soit pe,n = P[Yn = 0]. C’est aussi Gn(0), et comme G est croissante 0 ≤ G(0) = µ(0), onen déduit la croissance de Ye,n vers sa limite pe. Comme G est continu, pe = G(pe), doncpe est un point fixe de G. Comme pe 6= 1, pe = t est l’unique point fixe de G dans [0, 1).

Considérons maintenant la probabilité pm = P[M∞ = 0]. Notons que compte tenu dela convergence dans L2, E[M∞] = 1, donc pm < 1. D’autre part, pm est un point fixe deG. En effet, considérons les processus de Galton-Watson (Y

(i)n )i∈[[1,Y1]] correspondant aux

Y1 individus de la première génération. Conditionnellement à Y1, il s’agit de Y1 proces-sus de Galton-Watson indépendants, de même loi que le processus originel, et donc telsqu’existent des limites

M (i)∞ = lim

n→∞

Y(i)n

mn

indépendantes et toutes de même loi que M∞. On a alors M∞ = 1m

∑Y1i=1M

(i)∞ , et donc

pm = P[M∞ = 0] = E[P[M∞ = 0|Y1]] = E[(pm)Y1 ] = G(pm)

car M∞ est nulle si et seulement si tous les M (i)∞ le sont. Par conséquent, pm = pe = t est

de nouveau l’unique point fixe de G dans [0, 1).

Références. Pour la théorie générale des martingales discrètes, on renvoie à

(1) D. Williams, Probability with Martingales, Cambridge University Press, 1991 ;Part II.

(2) G. Grimmett and D. Stirzaker, Probability and Random Processes, 3rd edition,Oxford University Press, 2001 ; §12.

L’extension au cas des temps continus et l’application à l’étude des mouvements browniensest traité de façon exhaustive dans

(3) D. Revuz and M. Yor, Continuous Martingales and Brownian Motion, 3rd edition,Grundlehren der Mathematischen Wissenschaften 293, Springer-Verlag, 1999.

Enfin, pour la théorie des processus de branchement, et de nombreuses généralisations del’étude du paragraphe 3, on conseille

(4) T. Harris, The Theory of Branching Processes, Dover, 1989.

Le chapitre 1 de cet ouvrage traite en particulier des processus de Galton-Watson simplesétudiés ici.

Préparation à l’épreuve de modélisation du concours …meliot/agreg/...4 1. NOTION DE...

Documents

Transcript of Préparation à l’épreuve de modélisation du concours …meliot/agreg/...4 1. NOTION DE...