Statistiques de balayage : analyse des « clusters » d’évènements

Julie BERTHONAéronautique

Statistiques de balayage : analyse des « clusters » d’évènements

Journée SMAI IMdR : 6 février 2009

2

• Clusters et statistiques de balayage : introduction sur un exemple simple

• Méthodes de simulation Monte-Carlo Petri net

• Méthodes markoviennes Chaîne de Markov simplifiée, simple fenêtre de balayage Chaîne de Markov simplifiée, double fenêtre de balayage Chaîne de Markov complète

• Résultats et Comparaison des méthodes• Conclusion

Aéronautique

3 Aéronautique

Fréquence moyenne des accidents aériens : 0,88 par période de 22 jours.

Les statistiques de balayage permettent d’évaluer ou d’approcher la probabilité d’occurrence d’un tel “cluster” d’évènements.

23 aoûtLe vol 204 de la Tans

s’écrase à l’approche en Amazonie

Une telle série semble très improbable mais…

2 aoûtLe vol 358 d’Air France

sort de piste en atterrissant à Toronto

6 aoûtLe vol 1153 de Tuninter s’abîme en mer près de

Palerme

14 aoûtLe vol 522

d’Hélios s’écrase sur un massif près

d’Athènes

16 aoûtLe vol 1153 de la West Caribbean

se crashe au Venezuela

4 Aéronautique

Objectif : évaluer la probabilité d’observer un cluster de k évènements ou plus dans une fenêtre temporelle de longueur w balayant une période de taille donnée T.

Toute fenêtre de taille w peut contenir un cluster

Les fenêtres se chevauchentDifficultés

5

Deux modèles de probabilité :

• Loi de Bernoulli

• Loi de Poisson )λP(

)pB(

Exemple:

jours 10en évènements 3 :(10,3)k)(w, moyenneen an par évènements 8 à dentcorrespon pou λ

jours 365 de année neuT

Solutions

• Simulation de Monte Carlo• directe (implémentée dans un algorithme dédié)• supportée par un réseau de Pétri

• Chaînes de Markov

6 Aéronautique

Simulation de Monte-Carlo directe• Les dates d’accidents sont générées aléatoirement selon la loi considérée et de manière à recouvrir la période d’observation [0,T[

• La liste des dates est scannée jusqu’à observation d’un cluster• Une variable Nb_Cluster est incrémentée d’une unité

Tε...εε S21

La quantité recherchée est donnée par

NNb_Cluster

où N est le nombre de répétitions de la simulation.

7 Aéronautique

Réseau de Petri animant une simulation de Monte-Carlo

• Processus de comptage simple (simple counting medium)• 2 places et 2 transitions• Initialement

la place 1 est marquée d’une pièce Nb_Cluster est égal à zéro

• Les variables εi (i =1 à k) indiquent les dates de k accidents successifs

• L’index I permet de calculer en continu le temps écoulé entre les évènements i et (i+k-1)

• Nb_Cluster passe à 1 dès que k accidents se produisent dans une fenêtre de longueur w

8 Aéronautique

MODELES MARKOVIENS

Balayage de la période d’observation

• Xi… variable aléatoire donnant le nombre d’évènements sur [i-1,i[ • N(u,w)… variable aléatoire comptant le number d’évènements sur la fenêtre [u,u+w[• p la probabilité qu’un évènement se produise sur un sous-intervalle de longueur 1

XiN(u,w)

0 T

1 2 3 i-1 i u u+w

Notation

Bernoulli model i.e.

p-1q éprobabilit la avec0p éprobabilit la avec1

Xi

9 Aéronautique

Xu+w+1

Xu+1

De la fenêtre N(u,w) à la fenêtre N(u+1,w)

1wu1u XX)w,u(N)w,1u(N

dépendants

indépendants

PREMIER MODELE MARKOVIEN

wn)n)w,u(N1X(P 1u w

n1)n)w,u(N0X(P 1u

“Perte” de la variable aléatoire Xu+1

Gain de la variable aléatoire Xu+w+1

10

1E0E0 E1 E2 E3

w11 pp

q

wq

w2q

w21 p

w11 q

wp

w21 q

w2p

1E0E0 E1 E2 E3

w11 pp

q

wq

w2q

w21 p

w11 q

wp

w21 q

w2p

Aéronautique

Probabilité d’un cluster de 3 évènements ou

plus dans une fenêtre de taille w=10

EtatsE0, E1, E2 : respectivement 0, 1 ou 2 évènements dans la fenêtre couranteE3 : 3 évènements ou plus dans la fenêtre courante

Chaîne de Markov


11 Aéronautique

1000

0w

2wqw2p

wq20

0w

1wpw

1wqwp

wq

00pq

M Matrice de transition

Vecteur des probabilités initiales

2-w21-ww

2-w2

1-w

w

qppqq1qp

pqq

X0 T

w

0 T

w

Nombre d’itérations

0 T0 T

1 23

4

0 T0 T

21

0 T0 T

N=T-w+1

0 T0 T

1 23

4

0 T0 T

21

0 T0 T0 T0 T

1 23

0 T0 T

1 23

4

0 T0 T

211

0 T0 T

N=T-w+1


12

La probabilité d’observer un cluster de k=3 évènements ou plus dans une

fenêtre de taille w=10 balayant la période de longueur T=365 est donnée par

le produit MNX avec N=356


13

Problème : le modèle autorise des “chemins” qui ne sont pas réalisables en pratique

E0 E0E1

E0 E1E1

DEUXIEME MODELE MARKOVIEN

14

u+1 u+2 u+s-1 u+s u+w-1 u+s+1

1suX 1uX

u u+w

u+1 u+w+1

1wuX

Partage de la fenêtre de balayage en deux sous-fenêtres

E0 E’1E1


15

La matrice de transition est une matrice de taille D×D avec D=k(k-1)+1

Un état est:soit un couple (i,j) si i+j<k

soit l’état absorbant si i+j=k

Les probabiltés de transition et le vecteur des probabilités initiales sont calculés d’une manière analogue à précédemment

1w41p

w21pp000

0w41q

w21

w2q0000

0w4p

w21

w21q

w2

w2p

w4q

w21p

w2q0

00w21

w2p

w41q0

w21p0

0w4q

w2

w2q0

w21q

w2q0

00w21

w2q0

w2p

w21qp

0000w2q0q

M

pw,2,B1

p,2w0,bp,

2w2,b

p,2w1,bp,

2w1,b

p,2w2,bp,

2w0,b

p,2w0,bp,

2w1,b

p,2w1,bp,

2w0,b

p,2w0,b

X

2


16

Xi

0 T

1 2 3 i-1 i u u+w

Modèle “complet” …

Un état est:soit un w-uplet (X1, X2,…, Xw) si X1 + X2 +…+ Xw <k

soit l’état absorbant A si X1 + X2 +…+ Xw =k

AkX and 0,1X)X,...,X,(XEw

1iiiw21

L’espace d’états est

et sa dimension 1...1 w1k

w2

w1

Notation: état (i1,i2,…,im) pour i1=i2=…=im=1 et il=0 sinon

TROISIEME MODELE MARKOVIEN

17

Matrice de transition

Transition de l’état (i,j) vers l’état(i-1,j-1) avec la probabilité q:

i j

i-1 j-1

i j

Transition de l’état (i,j) vers l’état absorbant avec la probabilité p:

i-1 j-1


18

Vecteur des probabilités initiales

0 T

w

0 T

w

with

t p2,10,B1p2,10,b451p2,10,b

451p1,10,b

101p1,10,b

101p0,10,bX

i10ii10 qpC)p,10,i(b

i

0j

i10ii10 qpC)p,10,i(Band


La probabilité d’observer un cluster de k=3 évènements ou plus dans une

fenêtre de taille w=10 balayant la période de longueur T=365 est donnée par

le produit MNX avec N=356

19

Discrétisation Jour Heure

Méthodes Bernoulli Poisson Bernoulli Poisson

Monte Carlo direct 0.1250 0.1329 0.1310 0.1329

RdP, Monte Carlo 0.1225 0.1317 0.1251 0.1317

Premier modèle markovien 0.0991 0.1176 0.1274 0.1280

Double fenêtre de balayage 0.1014 NaN 0.1296 NaN

Modèle markovien complet 0.1028 0.1217 NaN NaN

Résultats

20

Conclusions

Les résultats obtenus dans le cadre du modèle de Bernoulli convergent vers ceux obtenus dans le cadre du modèle de Poisson lorsque le pas de discrétisation tend vers 0.

A notre connaissance, il n’existe pas de méthode exacte pour résoudre en un temps « très court » le problème de l’estimation de la probabilité d’occurrence d’un cluster d’évènements… … Les méthodes proposées permettent d’évaluer ou d’approcher cette probabilité en un temps très acceptable.

Les méthodes proposées sont très différentes, faisant appel à la simulation, à des approches combinatoires, ou aux chaînes de Markov.Cependant, nous observons qu’elles donnent des résultats quasi identiques lorsque la discrétisation est suffisamment fine.

Statistiques de balayage : analyse des « clusters » d’évènements

Documents

Transcript of Statistiques de balayage : analyse des « clusters » d’évènements