Pr ocessus stochastiques - IRISA · 2006-12-08 · 3 : Pr ocessus de renouv ellement! " # $) * + D...

!

"

#

$

%

&

'

(Processusstochastiques

G. RubinoINRIA / IRISA, Rennes, FranceFebruary 2006

!

"

#

$

)* +,Index

1. Processus ponctuels 2

2. Processus de Poisson 8

3. Processus de renouvellement 14

4. Processus de naissance et de mort 18

5. Chaınes de Markov en temps discret 29

6. Chaınes de Markov en temps continu 35

Processus stochastiques G. Rubino, INRIA / IRISA slide 1

1 : Processus ponctuels!

"

#

$

)* +,Definitions

! Un processus ponctuel (PP) est une suite (Tn)n!0 de v.a. reellestelles que pour tout n, Tn ! Tn+1.

! Tn : instant de la ne occurrence.

! On conviendra de choisir T0 = 0.

! ∆n = Tn " Tn"1, n # 1, est le ne intervalle inter-occurrence ouinter-evenement.

! Tn = ∆1 + ∆2 + · · · + ∆n

! Le processus est regulier si l’on a limn#$ Tn = $(avec probabilite 1).


(1 : Processus ponctuels)!

"

#

$

-. /0Definitions (cont.)

! Nt = # d’occurrences dans l’intervalle (0, t], N0 = 0 ;(Nt) est le processus de comptage associe a (Tn).

! On a• Nt = card{n # 1 | Tn ! t} = sup{n # 0, | Tn ! t},• pour n # 1, Tn = inf{t % IR+ | t > Tn"1 et Nt > NTn!1}.• Pr(Nt # n) = Pr(Tn ! t)

! On definit son intensite moyenne par

! = limt#$

E(Nt)t

lorsque cette limite existe.



"

#

$

-. /0Decomposition

Soit (Tn) un PP d’intensite !. Soit (Sn)n!1 une suite de v.a. i.i.d. avaleurs dans {1, 2, . . . , K}, independante du PP.Soit pk = Pr(Sn = k).

On construit K PPs (T km)m!0, k = 1, 2, . . . , K, de la facon suivante :

T k0 = 0,

T km = min{Tn | Tn > T k

m"1 et Bn = k}.

I.e., chaque fois qu’il y a un evenement dans le PP initial, on l’assigneavec probabilite pk au ke flux, de facon independante de tout autreevenement.

Dans ce cas, l’intensite moyenne du ke PP est !pk.



"

#

$

-. /0Superposition

SoitK PPs donnes par les processus du comptage associes (Nkt ),

k = 1, 2, . . . , K. L’intensite moyenne du ke PP est !k.

La superposition desK processus est le nouveau PP dont le processus decomptage associe est

Nt =K!

k=1

Nkt .

Alors, l’intensite moyenne de ce nouveau PP est ! = !1 + · · · + !K .



"

#

$

)* +,Processus de Renouvellement et Processus de Poisson

! Un PP est un Processus de Renouvellement (PdR)def&' les v.a.∆n sont i.i.d. (on va egalement les supposer continues).

! Un PP est un Processus de Poisson (PdP)def&' les v.a.∆n sont i.i.d. et ( Exponentielle.

! Dans les deux cas, les hypotheses impliquent que ces processus sontreguliers, d’intensite moyenne egale a 1/E(∆n).



"

#

$

)* +,Processus de Bernoulli

! Il s’agit d’une version discrete des PdP

! Un Processus de Bernoulli (PdB) est simplement une suite (Bn)n!1

de v.a. i.i.d. ( Bernoulli.

! On a :• Pr(Bn = 1) = p

• Si Nk = B1 + B2 + · · · + Bk,alors Nk ( Binomiale(k, p).

• E(Nk)k

= p.


2 : Processus de Poisson!

"

#

$

)* +,Definitions

Rappels :

– Un processus de Poisson (PdP) est un PdR ou la loi des∆n estexponentielle.

– Il s’agit donc d’un processus regulier.– L’intensite moyenne ! du processus est le parametre de la loi des ∆n,aussi appele taux du processus.


(2 : Processus de Poisson)!

"

#

$

-. /0Proprietes de base

! Tn, la date de la neme occurrence, ( Erlang(n,!).

! Nt ( Poisson(!t), i.e. Pr(Nt = k) = e"!t (!t)k

k!, k % IN.

! Voir que, de E(Nt) = !t, on a

! = E(N1).

Rappel : on a aussi Var(Nt) = !t.



"

#

$

-. /0Increments independants

– Soit I1, I2, . . . des intervalles disjoints de IR+.– Soit NIj le # de points (d’evenements) dans Ij , i.e.,

NIj = card{n # 1 | Tn % Ij}.

– Alors, les v.a. NI1 , NI2 , . . . sont independantes.



"

#

$

)* +,Increments stationnaires

– Nt+s " Nt est le # d’arrivees dans (t, t + s].– On a :

la loi de Nt+s " Nt ne depend pas de t,

donc Nt+s " Nt ( Poisson(!s).

– Voir qu’on a aussi ! = E(Nt+1 " Nt) pour tout t.



"

#

$

-. /0Decomposition et superposition

! Si on decompose un PdP de taux ! en K PPs selon le schema vuprecedemment, avec probabilites p1, . . . , pK , on obtient K PdP detaux !pk, k = 1, 2, . . . , K, et ces K processus sont independants.

! La superposition deK PdP independants de taux !1, · · · ,!K ,k = 1, 2, . . . , K est un PdP de taux ! = !1 + · · · + !K .



"

#

$

-. /0Sur l’importance des PdP

! Theoreme de Palm-KhintchineSoit une suite infinie de PdR independants, d’intensites moyennes !1,!2, . . .

Si"

k!1 !k = ! < +$, alors la superposition infinie des PdR estun PdP de taux ! (condition necessaire, donc : limk"#$ !k = 0).

! Lien avec la distribution uniformeSachant qu’il y a n points d’un PdP dans l’intervalle (0, t] (i.e.,sachant Nt = n), la position de chacun de ces n points suit la loiuniforme sur l’intervalle [0, t].


3 : Processus de renouvellement!

"

#

$

)* +,Definitions

Rappels :

! Un processus de renouvellement (PdR) est un PP (Tn)n!0 tel que lesintervalles ∆n = Tn " Tn"1, n # 1, sont des v.a. i.i.d., que noussupposerons continues.

! L’intensite moyenne, ou vitesse moyenne du processus est

! =1

E(∆n).

! L’hypothese de continuite des ∆n assure que Tn < Tn+1 (avecprobabilite 1). Du fait que les∆n sont i.i.d. s’en suit que le processusest aussi regulier.


(3 : Processus de renouvellement)!

"

#

$

)* +,Vie residuelle

! La vie residuelle a l’instant t, Rt, est le temps qui separe t duprochain evenement, i.e.,

Rt = min{Tj | Tj > t}" t.

! Soit rt() la densite de Rt. Soit F () la repartition de ∆n. On a

limt#$

rt(s) = !(1 " F (s)).

! Si l’on note R$ la vie residuelle asymptotique, i.e., la v.a.limt#$ Rt, sa densite est egale a limt#$ rt(s).



"

#

$

! Un resultat tres important sur la vie residuelle est le suivant : siMk

est le moment d’ordre k de ∆ (ou ∆ est une v.a. de meme loi quecelle de la longueur de n’importe quel intervalle du PdR), i.e.,

siMk = E(∆k), on a E(Rk$) =

Mk+1

(k + 1)M1.

! En particulier, on a12

34E(R$) =

M2

2M1.



"

#

$

! Pour n’importe quelle v.a. X , on a E(X2) # E2(X). On en deduitque

E(R$) # E(∆)2

.

Aussi,

E(R$) > E(∆) &' M2 > 2M21 &' Cv2(∆) > 1.

Il est donc possible d’avoir E(R$) > E(∆) (paradoxe du tempsresiduel).


4 : Processus de naissance et de mort!

"

#

$

-. /0Les parametres

On se donne deux suites (!m)m!0 et (µn)n!1 de reels positifs avec deuxcas interessants seulement :

(i) soit )m # 0, !m > 0 et )n # 1, µn > 0,

(ii) soit il existe H > 0 tel que pourm = 0, 1, . . . , H " 1, !m > 0, pourm # H , !m = 0, pour n = 1, 2, . . . , H , µn > 0 et µn = 0 pour toutn > H .

On se donne aussi une loi ("i)i%IN sur les entiers positifs. Dans le cas (ii),il faut que

H!

h=0

"h = 1.


(4 : Processus de naissance et de mort)!

"

#

$

)* +,La definition

Le processus de naissance de mort (PNM) X de parametres((!m)m!0, (µn)n!1, ("i)i%IN) est la famille de v.a. X = (Xt)t%IR+

construite de la facon suivante.

! X0 suit la loi ("i) : Pr(X0 = j) = "j .

! Supposons X0 = j. Le processus reste dans l’etat j un tempsaleatoire, de loi Exponentielle(!j + µj).

! Apres son sejour dans l’etat j, le processus change instantanementd’etat. Alors,

• si j = 0, le prochain etat est l’etat 1 ;• si c’est le cas (ii) et j = H ,le prochain etat est l’etat H " 1 ;



"

#

$

• sinon, le prochain etat est choisit aleatoirement entre j " 1 etj + 1, de facon independante de tout autre evenement passe ou futur,avec probabilites respectives

qj =µj

!j + µjet pj =

!j

!j + µj.

! Soit Tn le ne instant de saut de X . Alors, par convention,XTn = XT+

n(i.e., trajectoires continues a droite).



"

#

$

-. /0Une autre vision du processus

! Tout se passe comme si en arrivant a un etat n, 0 < n < H (! $), leprocessus armait deux “horloges” independantes et exponentiellesNn etMn, de taux respectifs !n et µn. Si c’est l’horloge N quisonne la premiere (i.e., si N = min{M, N}), alors il y a une“naissance” et le processus passe a l’etat n + 1 ; sinon, il y a une“mort” et le processus passe a l’etat n " 1.En changeant d’etat, deux nouvelles horloges sont lancees, pourdefinir la duree du sejour dans ce nouvel etat et l’etat suivant. Biensur, l’etat 0 n’a qu’une horloge associee, de parametre !0, ainsi quel’etat H quand H < $, de taux µH .



"

#

$

-. /0Processus stationnaire, distribution stationnaire

! Un processus stochastique (i.e., une famille (Xt) de v.a.) eststationnaire def&' la loi de (Xt1 , . . . , Xtn) est identique a celle de(Xt1+" , . . . , Xtn+" ), )# compatible.

! Si X est stationnaire, on a, en particulier, que la loi deXt ne dependpas de t.

! Une loi $ sur IN est une distribution stationnaire (ou distributiond’equilibre) de X

def&' lorsque X0 ( $, alors Xt ( $ )t.



"

#

$

-. /0Processus ergodique

Soit X un processus stochastique a valeurs dans IN. Soit $(t) la loi deXt :

)n % IN, Pr(Xt = n) = $n(t).

Nous allons utiliser ici la definition suivante : X est ergodique def&'

! il existe limt#+$ $(t) ;notons $ cette limite ;

! $ est une loi sur IN(i.e., )n % IN, $n % [0, 1] et

"n!0 $n = 1) ;

! la limite $ ne depend pas de la loi de X0.

La propriete d’ergodicite est une propriete necessaire des modelesconsideres.



"

#

$

-. /0PNM regulier

! Notons Tn l’instant du neme changement d’etat du PNM X .

! X est regulier def&' limn#$ Tn = $ (avec probabilite 1).

! La propriete de regularite est l’autre propriete necessaire des modelesconsiderees.



"

#

$

-. /0PNM en equilibre : cas (i)

! Pour tout n # 1, notons

%n =!0!1 . . .!n"1

µ1µ2 . . . µn

et %0 = 1.

! Le PNM est ergodique et regulier&'"

n %n < $ et"

n

1!n%n

= $

(ou, de maniere equivalente,"

n

1µn%n

= $).

! Dans ce cas,$0 =

1"$j=0 %j

et$n = %n$0.



"

#

$

-. /0PNM en equilibre : cas (ii)

Dans ce cas, le PNM est toujours ergodique et regulier.

On definit la fonction %n comme avant, sauf que maintenantn = 0, 1, . . . , H .

On a :

$0 =1

"Hj=0 %j

et$n = %n$0.



"

#

$

-. /0Coupes

Observer que dans les deux cas, on a !n%n = µn+1%n+1, d’ou, pour ladistribution d’equilibre,

!n$n = µn+1$n+1

(cas particulier du theoreme “des coupes”).

Si on somme cette derniere relation sur n, on obtient!

m!0

!m$m =!

n!1

µn$n.

L’interpretation est qu’en equilibre, le flux moyen des naissances est egala celui des morts.



"

#

$

-. /0Trajectoires

Soit X un PNM ergodique, regulier.

! Le temps passe par X dans l’etat i entre 0 et # est (la v.a.)# "

01{Xu=i}du.

! La v.a. lim"#$(1/#)$ "0 1{Xu=i}du est en fait une v.a. degeneree,

egale a $i :

lim"#$

1#

# "

01{Xu=i}du = $i (avec proba. 1).


5 : Chaınes de Markov en temps discret!

"

#

$

)* +,Definition

Une chaıne de Markov (homogene) (Xn)n!1 est une suite de v.a. avaleurs dans un espace E discret definie de la facon suivante :

! pour chaque etat e de E, on se donne une loi sur E, notee(Pe,f )f%E ;

! on se donne aussi une loi supplementaire ("e)e%E sur E ;

! " est la loi de X0 (la loi initiale de la chaıne) ;

! si Xn = e, alors a l’instant n + 1 la chaıne se trouvera dans l’etat favec probabilite Pe,f ; i.e.,

Pr(Xn+1 = f | Xn = e) = Pe,f

quelque soit le passe –avant n– de la chaıne.


(5 : Chaınes de Markov en temps discret)!

"

#

$

-. /0Regime transitoire

! Notons $(n) la loi de la v.a.Xn consideree comme un vecteur ligne :

$(n) = (. . .$e(n) . . .).

! Notons P la matrice (finie ou infinie) des Pe,f et considerons aussi "comme un vecteur ligne. Alors, on a

$(n + 1) = $(n)P

d’ou$(n) = "P n.



"

#

$

)* +,Une classification des etats

Soit e % E. On dit que le ne sejour de X dans e dure k si en notantml’instant d’entree de X dans e pour la ne fois, on aXm = Xm+1 = · · · = Xm+k = e, Xm+k+1 *= e.

! Si Pe,e = 1, alors e est absorbent : si Xn = e, alors Xk = e pourtout instant k > n ; on dira que X sejourne dans e un temps infini.

! Si Pe,e = 0 alors tous les sejours de X dans e ont duree deterministe,egale a 1.

! Si 0 < Pe,e < 1 alors tous les sejours de X dans e sont des v.a.geometriques sur IN& = {1, 2, . . .}, de loi

Pr(duree du ne sejour dans e egale a k) = (1 " Pe,e)P k"1e,e .

La duree moyenne d’un tel sejour est alors (1 " Pe,e)"1.



"

#

$

)* +,Chaınes irreductibles

! La chaıne est irreductible si pour toute paire e, f d’etats, on peutpasser de e a f en un nombre fini d’etapes avec probabilite non nulle,i.e., si pour toute paire e, f d’etats,

+n # 1 : Pr(Xn = f | X0 = e) > 0.



"

#

$

)* +,Periode

! On appelle periode d’un etat e le nombre per(e) defini par

per(e) = pgcd{n # 1 | Pr(Xn = e | X0 = e) > 0}.

Si pour tout n, on a Pr(Xn = e | X0 = e) = 0, on definitper(e) = $.

! Dans une chaıne irreductible tous les etats ont la meme periode.Une chaıne de Markov homogene est aperiodique si pour tout etate % E on a per(e) = 1.



"

#

$

-. /0Chaınes aperiodiques et irreductibles en equilibre

! Si X est finie, alors elle est toujours ergodique.

! Si X est infinie, elle est ergodique&' le systeme lineaire (infini)x = xP ,

"e xe = 1 a une solution.

Dans ce cas, la solution est unique et elle est une distributionstationnaire de X .

! Une chaıne irreductible, aperiodique et ergodique, a une distributionstationnaire $ unique. On a aussi $ > 0.

! Soit X une chaıne ergodique. Pour tout etat e,

limN#$

1N

N!

n=1

1{Xn=e} = $e (p.s.).


6 : Chaınes de Markov en temps continu!

"

#

$

)* +,Definition

Une chaıne de Markov (homogene) a temps continu (Xt)t%IR+ est lageneralisation du processus de naissance et de mort obtenue en autorisantdes transitions entre des etats quelconques. On note

! E : l’espace d’etat,

! " : la loi de X0 (la loi initiale de la chaıne),

! Qe,f : le parametre de l’horloge exponentielle controlant lestransitions de e vers f , Qe,f # 0, avec par definition Qe,e = 0 ; ils’agit d’un taux (d’une vitesse moyenne).

! On va se limiter ici au cas ou, pour tout e, card{f | Qe,f > 0} < $.


(6 : Chaınes de Markov en temps continu)!

"

#

$

-. /0Regime transitoire

– Notons $(t) la loi de la v.a. Xt consideree comme un vecteur ligne :

$(t) = (. . .$e(t) . . .),

ou $e(t) = Pr(Xt = e).– Notons A la matrice (finie ou infinie) definie par Ae,f = Qe,f si e *= f ,et Ae,e = "de avec

de =!

f | f '=e

Qe,f .

Le reel de # 0 est le taux de depart de e, et A est le generateurinfinitesimal de X .



"

#

$

– On a$((t) = $(t)A

d’ou$(t) = "eAt

lorsque cette exponentielle de matrice existe (elle existe toujours dansle cas fini, elle peut ne pas exister dans le cas infini).



"

#

$

)* +,Une classification des etats

Soit e % E. On dit que le ne sejour de X dans e dure T si en notant tl’instant d’entree de X dans e pour la ne fois, on a Xs = e pourt ! s < T et XT *= e (les trajectoires sont supposees continues a droite).

– Si de = 0, i.e. si Qe,f = 0 pour tout f , alors e est absorbent : siXt = e, alors Xs = e pour tout instant s > t ; on dira que X sejournedans e un temps infini.

– Si de > 0 alors tous les sejours de X dans e sont des v.a. i.i.d.,exponentielles, de parametre de.



"

#

$

)* +,Chaınes irreductibles

– La chaıne est irreductible si pour toute paire e, f d’etats, on peut passerde e a f en un temps fini, i.e., si pour toute paire e, f d’etats,

+t > 0 : Pr(Xt = f | X0 = e) > 0.



"

#

$

-. /0Chaınes irreductibles en equilibre

! Si X est finie, alors elle est toujours ergodique.

! Si X est infinie, elle est ergodique&' elle est reguliere et lesysteme lineaire (infini) xA = 0,

"e xe = 1 a une solution.

Dans ce cas, la solution est unique et elle est une distributionstationnaire de X .

! Une chaıne irreductible et ergodique, a une distribution stationnaire $

unique. On a aussi $ > 0.

! Soit X une chaıne ergodique. Pour tout etat e,

limt#$

1t

# t

01{Xs=e}ds = $e (p.s.).



"

#

$

)* +,Chaınes uniformes

! La chaıne de Markov X homogene, a temps continu, est uniforme, si

supe%E

de < $.

! Si X est uniforme, alors elle est reguliere. L’exponentielle eAt existedans ce cas.



"

#

$

-. /0Chaıne incluse canonique

Soit X une chaıne de Markov homogene, a temps continu, sur E.

! Si Yn le ne etat visite par X , avec Y0 = X0, alors le processusY = (Yn) est une chaıne de Markov homogene, sur E, a tempsdiscret.

! Si X est irreductible, Y est irreductible (et reciproquement).

!

Pr(Yn+1 = f | Yn = e) =Qe,f

de.

! Pour tout etat e, Pe,e = 0.


Pr ocessus stochastiques - IRISA · 2006-12-08 · 3 : Pr ocessus de renouv ellement! " # $) * + D...

Documents

Transcript of Pr ocessus stochastiques - IRISA · 2006-12-08 · 3 : Pr ocessus de renouv ellement! " # $) * + D...