Presentation egc

27
Score de Fisher et d´ etection de courbes anormales dans une s´ equence ` a des fins de diagnostic Etienne Cˆ ome 1 , Allou Sam´ e 1 , Patrice Aknin 1 et Marc Antoni 2 [email protected] (1), Unit´ e de Recherche : G´ enie des R´ eseaux de (2) Ing´ enierie de Maintenance, transports terrestres et informatique avanc´ ee Cellule ´ emergence et prospectives IFSTTAR SNCF 25/01/2011 EtienneCˆome (IFSTTAR, Grettia) EGC 2011 25/01/2011 1 / 27

Transcript of Presentation egc

Score de Fisher et detection de courbes anormales dansune sequence a des fins de diagnostic

Etienne Come1, Allou Same1, Patrice Aknin1 et Marc Antoni2

[email protected]

(1), Unite de Recherche : Genie des Reseaux de (2) Ingenierie de Maintenance,transports terrestres et informatique avancee Cellule emergence et prospectives

IFSTTAR SNCF

25/01/2011

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 1 / 27

Plan

1 ContexteIntroduction et motivationExemples de mesures acquisesMethodologie adoptee

2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres

3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher

4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher

5 Resultats

6 Conclusion & Perspectives

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 2 / 27

Contexte

Plan1 Contexte

Introduction et motivationExemples de mesures acquisesMethodologie adoptee

2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres

3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher

4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher

5 Resultats

6 Conclusion & Perspectives

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 3 / 27

Contexte Introduction et motivation

Introduction et motivations

Moteur électrique

~380v

Aiguilles mobiles

ContexteI Diagnostic du mecanisme d’aiguillage de rails

I Analyse de mesures acquises durant des manœuvres d’aiguillage−→ puissance electrique consommee durant les manœuvres

I Detection en ligne de defauts (defaut mecanique, electrique,graissage, ...)

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 4 / 27

Contexte Exemples de mesures acquises

Exemples de mesures acquises

Signal de puissance electrique consommee durant une manoeuvre

I frequence : 100 Hz

I longueur des signaux : ≈ 560 points

I 5 phases durant une manœuvre normale

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50

100

200

300

400

500

600

700

temps (s)

puis

sance (

W)

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 5 / 27

Contexte Methodologie adoptee

Methodologie adoptee

Detection de courbes anormales dans une sequence

I Modele generatif pour les courbes a changement de regime

I Estimation initiale des parametres a l’aide d’un algorithme EM

I Test du score pour detecter les courbes atypiques

I Mise a jour recursive des parametres a chaque nouvelle courbe :gradient stochastique

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 6 / 27

Contexte Methodologie adoptee

Schema de la methode

Initialisation

Lancer EM sur un petit ensemble de courbes pour initialiserles paramètres

Score de Fisher

Test du Score Mise à jour des paramètres(Gradient Stochastic)

NvlleCourbes

yi

Si H0

Si H1

Détection

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 7 / 27

Modelisation des courbes a changement de regime

Plan1 Contexte

Introduction et motivationExemples de mesures acquisesMethodologie adoptee

2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres

3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher

4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher

5 Resultats

6 Conclusion & Perspectives

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 8 / 27

Modelisation des courbes a changement de regime Modele de regression a processus logistique latent

Modele de regressions a processus logistique latent

yj = gzj (xj) + σzj εj , εj ∼ N (0, 1)

I (x1, y1), . . . , (xm, ym), yj valeur du signal au point xj .

I zj ∈ {1, . . . ,K} donnees manquantes, generees independammentsuivant une multinomiale M(1, πj1(xj ;w), . . . , πjK (xj ;w)), dont lesparametres sont donnes par :

πk(xj ;w) =exp (wk0 + wk1xj)∑K`=1 exp (w`0 + w`1xj)

·

I gzj polynomes d’ordre p.

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 9 / 27

Modelisation des courbes a changement de regime Modele de regression a processus logistique latent

Exemple sur les donnees d’aiguilles

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50

100

200

300

400

500

600

700

800

900

1000

temps en (s)

puis

sance (

W)

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50

0.5

1

temps en (s)

pro

babili

tes logis

tiques

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 10 / 27

Modelisation des courbes a changement de regime Estimation des parametres

Estimation des parametres

I Maximisation de la log-vraisemblance

L(θ; y1, . . . , ym) = logm∏j=1

p(yj |xj ;θ)

I Maximisation exacte impossible, chaque yi suit un modele de melange

p(yj |xj ;θ) =K∑

k=1

πk(xj)φ(yj ;β

Tk xj , σ

2k

),

I L’algorithme EM, (Expectation-Maximization) est la solutionnaturelle pour resoudre ce probleme

I Donnees manquantes : zi indice du sous-modele de regressiongenerant le point yi

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 11 / 27

Modelisation des courbes a changement de regime Estimation des parametres

Algorithme EM

Vraisemblance completee

Lc(θ) = log p(y1, . . . , yn, z1, . . . , zn|x;θ)

Etape E

Q(θ,θ(q)) = E [Lc(θ)|y1, . . . , yn;θ(q)]

Calcul des propabilites a posteriori des differents sous modeles deregression :

tijk =πk(xj ;w)φ

(yij ;β

Tk xj , σ

2k

)∑K`=1 π`(xj ;w)φ

(yij ;β

T` xj , σ

2`

) · (1)

Etape M

I Maximisation de Q par rapport a w : algorithme IRLS.

I Maximisation de Q par rapport a βk , σk formules explicites.

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 12 / 27

Mise a jour des parametres en ligne

Plan1 Contexte

Introduction et motivationExemples de mesures acquisesMethodologie adoptee

2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres

3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher

4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher

5 Resultats

6 Conclusion & Perspectives

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 13 / 27

Mise a jour des parametres en ligne Gradient stochastique

Mise a jour des parametres lors de l’acquisition d’unecourbe

Donnees : sequence de courbes

y1, . . . , yi , . . . , yn . . .

avec yi = [yi1, . . . , yim].

Gradient stochastique par bloc

A chaque nouvelle courbe yi mise a jour des parametres du modele par :

θ(i)

= θ(i−1)

+ λi S(i)(yi , θ

(i−1)), (2)

avec λi le pas du gradient stochastique et S (i)(yi , θ

(i−1))

le score de

fischer de la nouvelle courbe.

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 14 / 27

Mise a jour des parametres en ligne Calcul du score de Fisher

Calcul du score de Fisher

Definition

S (i)(yi ,θ) = [s(i)1 (θ), . . . , s

(i)R (θ)]T ,

ou R est le nombre de parametres du modele et s(i)r (θ) = ∂L(θ;yi )

∂θr,

Formulation specifique pour les modeles a variables latentes

Possibilte d’utiliser l’esperance conditionnelle du gradient de lavraisemblance completee plutot que le gradient de la vraisemblance.

s(i)r (θ) =

∂L(θ; yi )

∂θr(3)

= E

[∂Lc(θ;Yi ,Zi )

∂θr|yi ;θ

]. (4)

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 15 / 27

Mise a jour des parametres en ligne Calcul du score de Fisher

Calcul du score de Fisher

Exemple :

∂L(θ; yi )

∂βk

= E

[∂Lc(θ;Yi ,Zi )

∂βk

|yi ,θ]

=1

σ2k

m∑j=1

tijk

(yij − βT

k xj)xj , (5)

avec tijk les probabilites a posteriori de la composante k au point xj ,calculee de la meme maniere que dans le contexte de l’algorithme EM :

tijk =πk(xj ;w)φ

(yij ;β

Tk xj , σ

2k

)∑K`=1 π`(xj ;w)φ

(yij ;β

T` xj , σ

2`

) · (6)

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 16 / 27

Detection en ligne de courbe atypique

Plan1 Contexte

Introduction et motivationExemples de mesures acquisesMethodologie adoptee

2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres

3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher

4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher

5 Resultats

6 Conclusion & Perspectives

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 17 / 27

Detection en ligne de courbe atypique Test du score

Detection en ligne de courbe atypique

Test du score

H0 : θ1 = θ2 = . . . = θi−1 = θi (7)

H1 : θ1 = θ2 = . . . = θi−1 6= θi , (8)

ou i est l’indice de la courbe courante.

I sous H0 le vecteur score associe a une nouvelle courbe yi suitasymptotiquement en θ une loi normale donnee par :

S (i)(θ) ∼ N (0, If (θ)), (9)

If (θ) : matrice d’information de Fisher associee a l’observation yi .

I on a donc S (i)(θ)T(If (θ)

)−1S (i)(θ) ∼ χ2(R),

I ce qui permet de definir une region critique approchee.

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 18 / 27

Detection en ligne de courbe atypique Estimation de la matrice de Fisher

Estimation de la matrice de Fisher

Information de Fisher ObserveeI Calcul de l’information de Fisher pose probleme dans les modeles a

variables latentes

I Arguments theoriques et pratiques soutiennent l’utilisation del’information de Fisher observee qui elle est simple a calculee

Io(θ) =1

n

n∑i=1

S i (θ)S i (θ)T (10)

Cet estimateur est convergent.

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 19 / 27

Resultats

Plan1 Contexte

Introduction et motivationExemples de mesures acquisesMethodologie adoptee

2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres

3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher

4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher

5 Resultats

6 Conclusion & Perspectives

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 20 / 27

Resultats

Conditions experimentales

DonneesI sequence de 916 courbes (2005-2007)

I toujours la meme aiguille

I 1 a 3 courbes par jours

Reglages des parametres des algorithmes

I modele a 6 composantes regressives cubiques, (θ = 40 parametres).

I pas du gradient stochastique 0.01.

I niveau de confiance du test 0.999.

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 21 / 27

Resultats

Evolution d’une composante du vecteur score (β6,3)

100 200 300 400 500 600 700 800 900−10

−8

−6

−4

−2

0

2

4

6

8

10

index de la courbe

co

mp

osa

nte

33

du

ve

cte

ur

sco

re

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 22 / 27

Resultats

Evolution de la statistique de test

100 200 300 400 500 600 700 800 900

50

100

150

200

250

300

350

400

index de la courbe

sta

tistiq

ue

de

te

st

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 23 / 27

Resultats

Resultats de detection

temps (s)

pu

issa

nce

(W

)

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5

1000

900

800

700

600

500

400

300

200

100

0

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 24 / 27

Conclusion & Perspectives

Plan1 Contexte

Introduction et motivationExemples de mesures acquisesMethodologie adoptee

2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres

3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher

4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher

5 Resultats

6 Conclusion & Perspectives

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 25 / 27

Conclusion & Perspectives

ConclusionI Methodologie de detection sequentielle de courbes atypiques

I Tire partie d’un modele generatif adapte aux donnees (courbes achangement de regime)

I Mise a jour recursive des parametres (peu couteuse en temps)

I Resultats preliminaire en accord avec les attentes metier

Perspectives

I Evaluation des pertes dues aux approximation (sur donnees simulees)

I Extension aux donnees non stationaires (prise en compte desevolutions lentes)

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 26 / 27

Conclusion & Perspectives

Merci de votre attention [email protected]

http://ecome.wordpress.com

Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 27 / 27