Chaînes de Markov et files d’attente

Guillaume Matheron

2014

Table des matières

1 Introduction 2

2 Chaînes de Markov en temps discret 22.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.1.1 Définition d’une chaîne de Markov en temps discret . . 22.1.2 Matrice de transition . . . . . . . . . . . . . . . . . . . 32.1.3 Utilisation de la matrice de transition . . . . . . . . . 32.1.4 Représentation en tant que graphe . . . . . . . . . . . 32.1.5 Itération de la matrice de transition . . . . . . . . . . 4

2.2 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.3 Mesure invariante . . . . . . . . . . . . . . . . . . . . . . . . . 62.4 Étude de la vitesse de convergence . . . . . . . . . . . . . . . 7

3 File d’attente M/M/1 93.1 Vitesse de convergence . . . . . . . . . . . . . . . . . . . . . . 93.2 Calcul des valeurs propres de P . . . . . . . . . . . . . . . . . 113.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.3.1 Convergence vers une distribution d’équilibre pour unefile non limitée . . . . . . . . . . . . . . . . . . . . . . 11

3.3.2 Etude d’un mouvement brownien avec perturbation . . 14

4 Conclusion 16

1

1 Introduction

Les chaînes de Markov sont un outil mathématique permettant de modé-liser l’évolution d’un système dont l’état au temps t+1 ne dépend que de sonétat au temps t, et possédant un nombre fini d’états. À chaque étape, le sys-tème évolue en changeant d’état. Les probabilités de passer à chaque état autemps t+1 à partir d’un état donné au temps t peuvent être regroupées sousforme d’une matrice carrée dont les propriétés algébriques nous renseignentsur l’évolution du système.

Ce document s’intéresse à l’étude de l’évolution des systèmes à partir deleur matrice de transition. En particulier, on énoncera une condition suffisantede convergence et une majoration de la vitesse de convergence dans ce cas.On s’intéressera aux cas limite où l’intervalle de temps entre deux étapes dela simulation tend vers 0, ou lorsque le nombre d’états tend vers l’infini.

2 Chaînes de Markov en temps discret

2.1 Généralités

2.1.1 Définition d’une chaîne de Markov en temps discret

Définition 1 Soit (Xn)n∈N une famille de variables aléatoires à valeurs dansE un ensemble fini. Cette famille est une chaîne de Markov si elle vérifie lapropriété de Markov : pour tout entier n ∈ N∗, pour tout couple (y, z) desuites à valeurs dans E définies sur J0, n− 1K, on a l’égalité :

P (Xn+1 = j|Xn = i,∀k ∈ J0, n− 1K, Xk = yk)

= P (Xn+1 = j|Xn = i,∀k ∈K0, n− 1K, Xk = zk).

Autrement dit la valeur de la variable Xn ne dépend que de la valeur dela variable Xn−1, et pas de tous ses états antécédents. On écrit alors plussimplement la probabilité de transition d’un état au suivant ainsi :

P (Xn+1 = j|Xn = i).

Chaîne de Markov homogène Une chaîne de Markov est dite homogènesi elle vérifie la propriété suivante :

∀n ∈ N, P (Xn+1 = j|Xn = i) = P (X1 = j|X0 = i).

Autrement dit une chaîne est homogène si la probabilité de transition d’un étatà l’autre ne dépend pas de l’indice de la variable concernée mais uniquementde sa valeur : l’évolution du processus ne dépend pas de l’origine des temps.Dans toute la suite, nous ne manipulerons que des chaînes homogènes.

2

2.1.2 Matrice de transition

E étant fini à n éléments, on l’identifie à J1, nK. On définit alors naturel-lement une matrice à coefficients réels à partir des probabilités de transition.On exprime les coefficients de la matrice :

∀(i, j) ∈ E2, pi,j = P (X1 = j|X0 = i).

Remarquons que dans ce cas la matrice est stochastique ligne, c’est-à-direque :

∀i ∈ E,∑j∈E

pi,j = 1.

2.1.3 Utilisation de la matrice de transition

Si X est un vecteur ligne décrivant les probabilités de se trouver danschaque état au temps t, le vecteur ligne X · P représente les probabilités dese trouver dans chaque état au temps t+1.

Cette définition est pratique pour l’interprétation probabiliste des chaînesde Markov, mais pas pour l’interpréter comme un endomorphisme opérantsur un vecteur colonne X de distribution de probabilités. En effet il faut alorsmultiplier à gauche : tX ′ = tX ·P . Dans la suite on étudiera les valeurs propresde cet endomorphisme, qui correspondent aux valeurs propres à gauche de P,ou plus simplement aux valeurs propres usuelles de tP .

2.1.4 Représentation en tant que graphe

On peut interpréter la matrice de transition P comme une matrice d’adja-cence d’un graphe orienté. Les arêtes du graphe sont indicées par la probabilitéde passage d’un état à l’autre.

0

1

2

3

4

51

0.3

0.1

0.6

0.3

0.2

0.1

0.4

0.3

0.5

0.2

0.5

0.5 1

3

La somme des probabilités de passage est toujours égale à 1, on peut doncomettre les boucles :

0

1

2

3

4

5

0.1

0.6

0.2

0.1

0.4

0.5

0.2

0.5

0.5

On peut écrire la matrice correspondant à cette chaîne :

P =

1 0 0 0 0 00.1 0.3 0.6 0 0 00.2 0.1 0.3 0 0.4 00 0.5 0 0.3 0 0.20 0 0 0.5 0 0.50 0 0 0 0 1

2.1.5 Itération de la matrice de transition

Probabilité de transition d’un état i à un état j en n étapes On peutse demander s’il est possible d’itérer le processus, c’est-à-dire de déterminerla probabilité de passer d’un état i à un état j en n étapes, pour n ∈ N. Onnote cette probabilité :

p(n)i,j = P (Xn = j|X0 = i)

On note P (n) la matrice des coefficients p(n)i,j .

Théorème 1 (Chapman-Kolmogorov)

∀n ∈ N, P (n) = Pn

Preuve : Immédiat d’après

P (Xn+m|X0 = i) =∑k∈E

P (Xm = k|X0 = i) · P (Xn = j|X0 = k)

donc∀(n,m) ∈ N2, ∀(i, j) ∈ E2, p

(n+m)i,j =

∑k∈E

p(m)i,k · p

(n)k,j .

4

2.2 Propriétés

Remarque L’objectif de ce TIPE étant l’étude de P comme un endomor-phisme pour se rapprocher du programme, on cherchera ici à expliquer sousquelles conditions une chaîne de Markov converge vers un état stable, enadmettant la majorité des résultats pour se concentrer sur les démonstrationsalgébriques qui suivent.

Définition 2 (État transient, récurrent) Un état est dit transient si, enpartant de cet état au temps t, il existe une probabilité non nulle de ne jamaisrepasser par cet état. Un état non transient est dit récurrent.

Définition 3 (Période d’un état récurrent i)

ki = pgcd{n|P (Xn = i|X0 = i) > 0}.

Ainsi la période d’un état i n’est pas nécessairement la durée la pluscourte au bout de laquelle on peut revenir à l’état i après l’avoir quitté.Cette définition garantit cependant que tout retour à l’état i ne peut se fairequ’après un nombre d’étapes multiple de ki. Si tout état a une période égaleà 1, la chaîne est dite apériodique.

Exemple Dans la chaîne ci-dessous, tous les états sont apériodiques maisla matrice ne contient que des zéros sur sa diagonale, c’est-à-dire qu’on nepeut jamais revenir à l’état i en 1 pas.

P =

0 1 00.5 0 0.51 0 0

0

12

1

0.5

0.5

1

Définition 4 (Temps moyen de récurrence d’un état i récurrent) Même siun état est récurrent, l’espérance du temps après lequel la chaîne reviendraen cet état peut être infinie, on note alors Mi = +∞. Dans le cas général, ona :

Mi =+∞∑n=1

nf(n)i,i

5

Définition 5 (Chaîne irréductible) Une chaîne de Markov est dite irréduc-tible si son graphe est fortement connexe, c’est-à-dire que pour tout couple(i, j) d’états, un chemin relie les deux états dans cet ordre.

2.3 Mesure invariante

Définition 6 Soit π un vecteur ligne à coefficients dans R. π est une mesureinvariante si :

— ∀j, 0 6 πj 6 1

—∑j

πj = 1

— ∀j, πj =∑i

πjpi,j

Une mesure invariante existe si et seulement si tout état i est récurrentet Mi < +∞ (admis). Dans ce cas, π est unique et si on note :

∀j, vj =1

Mj

alors on a (admis) :π =

v

‖v‖

Attention ! Même lorsqu’une mesure invariante existe, l’état de la chaînene converge pas forcément pour toute distribution, c’est-à-dire qu’il existebien un vecteur π tel que πP = π mais la limite lim

n→+∞Pn n’existe pas

forcément.

Exemple Dans l’exemple simple suivant, tout état est bien récurrent et detemps moyen de récurrence fini, mais la chaîne n’est pas apériodique donc lamesure invariante n’est pas distribution d’équilibre.

P =

(0 11 0

)

0 1

1

1

Définition 7 Si tout état est récurrent et que la chaîne est apériodique etirréductible, π est appelé distribution d’équilibre et on a :

limn→+∞

p(n)i,j = πj

Démonstration. La preuve est une conséquence du théorème de Perron-Frobenius, énoncé ci-après.

6

Condition suffisante de convergence La suite des puissances de lamatrice de passage P tend donc sous ces conditions (tout état est récurrentet la chaîne est apériodique et irréductible) vers une matrice dont chaqueligne est identique et égale au vecteur ligne πj .

2.4 Étude de la vitesse de convergence

On se place dans toute cette section dans le cas d’une chaîne irréductibleet apériodique.

On note ici P la matrice stochastique colonne associée à la chaîne deMarkov, soit la transposée de la matrice introduite précédemment.

On suppose qu’il existe un vecteur colonne π stochastique vérifiant :

π = P · π.

π est donc vecteur propre de la valeur propre λ1 = 1.

Lemme 1 Si M ∈Mk(C) est de rayon spectral ρ,alors ‖Mn‖ = O(nk+1|ρn|).

Démonstration. 1er cas : M n’admet qu’une valeur propre ω.M est semblable à ωIk +R avec R ∈ T ++

k (C)On définit N =M − ωIk.N a pour seule valeur propre 0, donc N est nilpotente.

∀n ≥ k, Mn =

k−1∑i=0

(n

i

)ωn−iN i

∀n ≥ k, ‖Mn‖ 6k−1∑i=0

(n

i

)ωn−i‖N i‖ = O(nk+1|ωn|)

car(ni

)est polynomial en n de degré i.

2eme cas : M admet p valeurs propres λ1, . . . , λp distinctes 2 à 2.On effectue la décomposition classique de M en blocs diagonaux pour se

ramener au premier cas :

χM =

p∏i=1

(X − λi)αi

Rk =k⊕i=1

Ker (M − λiIk)αi

On se ramène ainsi au premier cas en se plaçant sur M restreint àKer (M − λiIk)αi pour chaque sous-espace caractéristique (possible grâce aulemme des noyaux car M stabilise tous ses sous-espaces caractéristiques).

7

Théorème 2 (Perron-Frobenius) A ∈ Mk(R) représentant une chaîne deMarkov irréductible dont tout état est récurrent et apériodique.

1 est valeur propre d’après ce qui précède.On a alors ∀λj ∈ sp(A), 1 = λ1 > |λj |.De plus, soient λ2, . . . , λk les autres valeurs propres de A ordonnées telles

que λ1 > |λ2| ≥ |λ3| ≥ · · · ≥ |λk|.Alors, pour tout n ∈ N,

An = C +O(nk−1|λ2|n).

Démonstration. On ne démontrera ici que le second point, c’est-à-dire qu’onadmettra l’existence de λ1 = 1 comme valeur propre de M et que cette valeurpropre est de multiplicité 1.

χA =k∏i=1

(X − λi) = (X − λ1)Q(X)

avec

Q(X) =k∏i=2

(X − λi)

et Q(λ1) 6= 0.

Ck = Ker (A− λ1In)⊕Ker Q(A)

avec Ker Q(A) hyperplan stable par A.

A = Q

λ1 (0)

0

B...0

Q−1

avec Sp(B) = λ2, . . . , λr.

An = Q

λn1 0 . . . 0

0

Bn...0

Q−1 = Q

(λn1

(0)

)Q−1︸ ︷︷ ︸

λn1C

+Q

0 0 . . . 0

0

Bn...0

Q−1

︸ ︷︷ ︸O(nk−1|λ2|n)

.

8

Corrolaire 1 Sous les hypothèses du théorème ci-dessus, la mesure inva-riante π existe et est la distribution d’équilibre. On a notamment :

C =

ππ...π

.

3 File d’attente M/M/1

On étudie ici spécifiquement le cas d’une file d’attente M/M/1 limitée entemps discret.

Le terme M/M/1 est issu de la notation de Kendall :— M : processus d’entrée de Poisson ;— M : processus de service de Poisson ;— 1 : un seul serveur traite la file.Soit N ∈ N, on limite à N la longueur de la file d’attente. À chaque

étape, la longueur de la file varie au maximum de 1. La probabilité que lafile s’allonge est 0 < µ < 0.5, et la probabilité que la file se raccourcisse estµ < λ < 1 − µ. Si la file est vide (état 0), elle ne peut pas se raccourcir etsi la file est pleine (état N − 1), elle ne peut pas s’allonger. µ est appelétaux d’arrivées, et λ taux de service. On a en outre λ 6= 0, µ 6= 0, µ < λ etµ+ λ < 1.

Le processus ainsi décrit est représenté par la matrice stochastique ligneP suivante :

P =

1− µ µ (0)λ 1− λ− µ µ

. . . . . . . . .. . . . . . . . .λ 1− λ− µ µ

(0) λ 1− λ

3.1 Vitesse de convergence

Théorème 3∀n ∈ N, ‖Pn − lim

k→+∞P k‖ = |ω2|n

pour une certaine norme ne dépendant que de P, où ω2 est la plus grandevaleur propre en valeur absolue de P telle que |ω2| < 1.

9

Démonstration. Soit

D =

1 (0)

µλ

µ2

λ2

. . .(0) µn−1

λn−1

On a D ∈ S++

n (R), c’est-à-dire D symétrique définie positive.Soit S = DP donc P = D−1SUn calcul matriciel par récurrence donne S ∈ Sn(R), c’est-à-dire S symé-

trique.On définit le produit scalaire : < ·, · >: (X,Y )� tXDY et f : X � PX.On a alors :

< f(Y ), X > = t(PY )DX

= tY tPDX

= tY t(D−1S)DX

= tY SD−1DX

= tY SX

= tY (DP )X

= tY D(PX)

=< Y, f(X) > .

f est donc symétrique pour < ·, · >.Soit B une base orthonormée pour < ·, · >, il existe Q ∈ GLn(R) telle que

P = QP ′Q−1 où P ′ est la matrice de f dans B, et Q la matrice de changementde base correspondante.

On a alors P ′ symétrique réelle donc diagonalisable, d’où il existeR ∈ GLn(R) telle que P ′ = RP ′′R−1 avec P ′′ réelle diagonale.

Ainsi P = QRP ′′R−1Q−1

Quitte à permuter les colonnes de R, on peut supposer que P ′′ est de laforme Diag(λ1, λ2, . . . , λN ) avec |λ1| 6 . . . 6 |λN |.

D’après les résultats admis de la première section, 1 est valeur propre àgauche de P , et on admet 1 6 |λ2| 6 . . . 6 |λN |.

Soit p ∈ J1, N − 1K tel que λ1 = |λ2| = . . . = |λp| = 1 et |λp+1| 6= 1Soit H = QR et n ∈ N.

Pn = HP ′′nH−1 = HDiag(±1,±1, . . . ,±1, λnp+1, . . . , λnN )H

−1

Ainsi, en utilisant la norme ‖ · ‖ :M � ‖H−1MH‖∞, on a :

∀n ∈ N, ‖Pn −HDiag(±1,±1, . . . ,±1, 0, . . . , 0)H−1‖ = |λp+1|n.

10

3.2 Calcul des valeurs propres de P

On admet le théorème donné par l’article [9] :

Théorème 4

sp(P ) =

{2√λµ cos(

kπ

N) + 1− λ− µ|k ∈ J1, N − 1K

}⋃{1}

Ainsi on a :

Corrolaire 2ω2 = 2

√λµ cos(

π

N) + 1− λ− µ

3.3 Applications

3.3.1 Convergence vers une distribution d’équilibre pour une filenon limitée

Vitesse de convergence Ici on étudie le comportement d’une file d’attenteavec λ et µ fixés lorsque N → +∞. En effet, il est intéressant d’étudier une filed’attente où les clients ne sont jamais rejetés, c’est-à-dire que la file d’attentepeut être aussi longue que nécessaire pour accueillir tous les clients. Cettesection permet de quantifier l’écart au modèle provoqué par la restriction dela longueur de la file et étudier son comportement lorsque N → +∞.

Notons que la limite vers laquelle Pn converge dépend de N . En effet,lorsque la longueur de la file est restreinte, la probabilité associée au dernierétat par la distribution d’équilibre est plus importante.

Le théorème 3 appliqué avec ω2 donné par le corrolaire 2 donne la suite àdouble entrée uN,n = ‖PnN − P∞N ‖ où PnN représente la matrice de transitionde taille N itérée n fois et P∞N = lim

k→+∞P k.

On a alors l’expression explicite :

un = (2√λµ cos(

π

N) + 1− λ− µ)n.

On peut ainsi faire tendre N vers +∞ uniformément par rapport à n :

u∞,n = (2√λµ+ 1− λ− µ)n.

Expression explicite de la distribution d’équilibre SoitX = (xi)i∈J1,NKla distribution d’équilibre associée à P stochastique colonne. On a donc :

PX = XN∑i=1

xi = 1(1)

Soit :

11

Figure 1 – uN,n en fonction de n pour 5 6 N 6 100, λ = 0.8, µ = 0.1

Q =

(tP − I1 · · · 1

)

Y =

0

N zéros...01

On a alors : (1)⇔ QX = Y .Cette équation est résoluble numériquement en temps O(N2) dans le cas

général d’une chaîne de Markov admettant une unique distribution d’équilibre,mais dans le cas d’une file M/M/1, on peut calculer X explicitement à partirde (1).

(1)⇔

(1− µ)x1 + λx2 = x1∀i ∈ J1, N − 2K, µxi + (1− λ− µ)xi+1 + λxi+2 = xi+1

µxN−1 + (1− λ)xN = xN

12

Soit ρ = µλ

On a alors :

(1)⇔ ∀i ∈ J2, NK, xi = ρi−1x1

Or, la conditionN∑i=1

xi = 1 impose :

N∑i=1

ρi−1x1 = 1

d’où :

x11− ρN

1− ρ= 1

ainsi on a :

x1 =1− ρ1− ρN

.

On en déduit l’expression explicite de la distribution d’équilibre :

∀i ∈ J1, NK, xi = ρi−11− ρ1− ρN

.

La limite correspond à une file d’attente illimitée :

∀i ∈ N?, xi = ρi−1(1− ρ).

On en déduit également des informations intéressantes sur le comporte-ment de la file d’attente :

Proportion de temps libre du serveur (0 clients dans la file) :1− ρ1− ρN

Espérance d’attente dans la file : E =N∑i=1

iρi−11− ρ1− ρN

.

Le calcul donne :

E =ρN+1((N + 1)ρ−N − 1− ρ)

ρ(ρN − 1)(ρ− 1)+

1

(ρN − 1)(ρ− 1)

Dans le cas d’une file d’attente illimitée, on obtient une espérance :

Efile illimitée =1

1− ρ

13

Figure 2 – xi pour 3 6 N 6 20 avec µ = 0.4 et λ = 0.5

3.3.2 Etude d’un mouvement brownien avec perturbation

On imagine une particule M libre de se déplacer sur un axe [0, 1] de taille1 mètre. La particule se déplace aléatoirement à gauche ou à droite avec desprobabilités différentes. On souhaite connaître la courbe de convergence dusystème, et la distribution d’équilibre, c’est-à-dire la répartition de probabilitésde trouver la particule dans l’espace.

On modélise ce système en discrétisant le temps et l’espace simultanément :on découpe l’espace en N portions de même taille que l’on représente parN états d’une chaîne de Markov du type étudié précédemment. On supposeque la vitesse de la particule est 1 m · s−1. Si la particule part de 0 m et vatoujours vers la droite, il faut donc 1 s pour qu’elle atteigne 1 m. Or, dansle modèle utilisé, il faut au minimum N itérations de la chaîne de Markovpour parcourir tous les états, d’où une seconde de simulation correspond à Nitérations du modèle.

Précisons à présent le mouvement de la particule.Entre le temps t et t+ dt, la probabilité que la particule se déplace vers

la gauche est λ̃dt avec λ̃ en s−1. De même, la probabilité que la particule sedéplace vers la droite est µ̃dt.

14

À chaque étape de simulation, la probabilité que la particule se déplacevers la gauche (resp. la droite) est donc λ = λ̃

N (resp. µ = µ̃N ).

On définit P la matrice de transition stochastique ligne de cette chaînede Markov :

P =

1− µ µ (0)λ ()1− λ− µ) µ

. . . . . . . . .. . . . . . . . .λ ()1− λ− µ) µ

(0) λ 1− λ

On souhaite une fois de plus étudier la vitesse de convergence de cette

chaîne vers une distribution d’équilibre. On cherche donc à tracerfN = ‖Pn − lim

k→+∞P k‖ en fonction du temps t. L’étape de simulation au

temps t est Nt d’après ce qui précède, d’où

fN (t) =

(2λ̃

N

√µ̃

λ̃cos(

π

N) + 1− λ̃

N− µ̃

N

)Nt.

On a également la limite quand N tend vers +∞ qui correspond à lalimite recherchée dans le cas continu :

f∞(t) = e2tλ̃

√µ̃

λ̃−tλ̃−nµ̃.

15

Figure 3 – fN (t) pour 3 6 N 6 100 avec µ = 0.1 et λ = 0.8

4 Conclusion

Cette étude a rencontré plusieurs écueils, dont certains ont été surmontés(par exemple avant de trouver la formule explicite des valeurs propres d’unefile M/M/1, j’ai essayé de contrôler les valeurs propres via des entrelacementsde racines), et d’autres sont restés sans réponse (par exemple comment, dansle cas général, faire le lien avec la théorie des chaînes de Markov discrètes,ou comment intégrer la notion de simultanéité dans le processus d’arrivéede Poisson). De plus, les probabilités n’étant pas au programme de classespréparatoires MP, il est difficile de s’intéresser précisément aux conditions deconvergence d’une chaîne de Markov.

Cependant, ce travail m’a permis de m’ouvrir aux différents processus dela recherche scientifique.

16

Références

[1] Ivo Adan and Jacques Resing, Queueing theory, 2002.

[2] Pierre Brémaud, Markov chains, Gibbs fields, Monte Carlo simulation,and queues, Springer, 1999.

[3] Arthur Engel, Processus aléatoires pour les débutants, Cassini, 1976.

[4] Daniel Flipo, Chaînes de Markov, http://daniel.flipo.free.fr/cours/markov.pdf.

[5] John G. Kemeny and J. Laurie Snell, Finite Markov chains, Springer,1960.

[6] John G. Kemeny, J. Laurie Snell, and Anthony W. Knapp, DenumerableMarkov chains, Springer, 1966.

[7] Carl D. Meyer, Matrix analysis and applied linear algebra, SIAM, 2000.

[8] Daniel W. Stroock, An introduction to Markov processes, Springer, 2005.

[9] Sui Sun Cheng Wen-Chyuan Yueh, Explicit eigenvalues and inversesof tridiagonal Toeplitz matrices with four perturbed corners, ANZIAM,2008.

[10] Ward Whitt, Continuous-time Markov chains, www.columbia.edu/~ww2040, 2006.

[11] Moshe Zukerman, Introduction to queuing theory and stochastic tele-traffic models, http://www.ee.cityu.edu.hk/~zukerman/classnotes.pdf, 2011.

17