Presentation egc
Transcript of Presentation egc
Score de Fisher et detection de courbes anormales dansune sequence a des fins de diagnostic
Etienne Come1, Allou Same1, Patrice Aknin1 et Marc Antoni2
(1), Unite de Recherche : Genie des Reseaux de (2) Ingenierie de Maintenance,transports terrestres et informatique avancee Cellule emergence et prospectives
IFSTTAR SNCF
25/01/2011
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 1 / 27
Plan
1 ContexteIntroduction et motivationExemples de mesures acquisesMethodologie adoptee
2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres
3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher
4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher
5 Resultats
6 Conclusion & Perspectives
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 2 / 27
Contexte
Plan1 Contexte
Introduction et motivationExemples de mesures acquisesMethodologie adoptee
2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres
3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher
4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher
5 Resultats
6 Conclusion & Perspectives
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 3 / 27
Contexte Introduction et motivation
Introduction et motivations
Moteur électrique
~380v
Aiguilles mobiles
ContexteI Diagnostic du mecanisme d’aiguillage de rails
I Analyse de mesures acquises durant des manœuvres d’aiguillage−→ puissance electrique consommee durant les manœuvres
I Detection en ligne de defauts (defaut mecanique, electrique,graissage, ...)
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 4 / 27
Contexte Exemples de mesures acquises
Exemples de mesures acquises
Signal de puissance electrique consommee durant une manoeuvre
I frequence : 100 Hz
I longueur des signaux : ≈ 560 points
I 5 phases durant une manœuvre normale
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50
100
200
300
400
500
600
700
temps (s)
puis
sance (
W)
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 5 / 27
Contexte Methodologie adoptee
Methodologie adoptee
Detection de courbes anormales dans une sequence
I Modele generatif pour les courbes a changement de regime
I Estimation initiale des parametres a l’aide d’un algorithme EM
I Test du score pour detecter les courbes atypiques
I Mise a jour recursive des parametres a chaque nouvelle courbe :gradient stochastique
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 6 / 27
Contexte Methodologie adoptee
Schema de la methode
Initialisation
Lancer EM sur un petit ensemble de courbes pour initialiserles paramètres
Score de Fisher
Test du Score Mise à jour des paramètres(Gradient Stochastic)
NvlleCourbes
yi
Si H0
Si H1
Détection
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 7 / 27
Modelisation des courbes a changement de regime
Plan1 Contexte
Introduction et motivationExemples de mesures acquisesMethodologie adoptee
2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres
3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher
4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher
5 Resultats
6 Conclusion & Perspectives
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 8 / 27
Modelisation des courbes a changement de regime Modele de regression a processus logistique latent
Modele de regressions a processus logistique latent
yj = gzj (xj) + σzj εj , εj ∼ N (0, 1)
I (x1, y1), . . . , (xm, ym), yj valeur du signal au point xj .
I zj ∈ {1, . . . ,K} donnees manquantes, generees independammentsuivant une multinomiale M(1, πj1(xj ;w), . . . , πjK (xj ;w)), dont lesparametres sont donnes par :
πk(xj ;w) =exp (wk0 + wk1xj)∑K`=1 exp (w`0 + w`1xj)
·
I gzj polynomes d’ordre p.
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 9 / 27
Modelisation des courbes a changement de regime Modele de regression a processus logistique latent
Exemple sur les donnees d’aiguilles
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50
100
200
300
400
500
600
700
800
900
1000
temps en (s)
puis
sance (
W)
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50
0.5
1
temps en (s)
pro
babili
tes logis
tiques
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 10 / 27
Modelisation des courbes a changement de regime Estimation des parametres
Estimation des parametres
I Maximisation de la log-vraisemblance
L(θ; y1, . . . , ym) = logm∏j=1
p(yj |xj ;θ)
I Maximisation exacte impossible, chaque yi suit un modele de melange
p(yj |xj ;θ) =K∑
k=1
πk(xj)φ(yj ;β
Tk xj , σ
2k
),
I L’algorithme EM, (Expectation-Maximization) est la solutionnaturelle pour resoudre ce probleme
I Donnees manquantes : zi indice du sous-modele de regressiongenerant le point yi
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 11 / 27
Modelisation des courbes a changement de regime Estimation des parametres
Algorithme EM
Vraisemblance completee
Lc(θ) = log p(y1, . . . , yn, z1, . . . , zn|x;θ)
Etape E
Q(θ,θ(q)) = E [Lc(θ)|y1, . . . , yn;θ(q)]
Calcul des propabilites a posteriori des differents sous modeles deregression :
tijk =πk(xj ;w)φ
(yij ;β
Tk xj , σ
2k
)∑K`=1 π`(xj ;w)φ
(yij ;β
T` xj , σ
2`
) · (1)
Etape M
I Maximisation de Q par rapport a w : algorithme IRLS.
I Maximisation de Q par rapport a βk , σk formules explicites.
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 12 / 27
Mise a jour des parametres en ligne
Plan1 Contexte
Introduction et motivationExemples de mesures acquisesMethodologie adoptee
2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres
3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher
4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher
5 Resultats
6 Conclusion & Perspectives
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 13 / 27
Mise a jour des parametres en ligne Gradient stochastique
Mise a jour des parametres lors de l’acquisition d’unecourbe
Donnees : sequence de courbes
y1, . . . , yi , . . . , yn . . .
avec yi = [yi1, . . . , yim].
Gradient stochastique par bloc
A chaque nouvelle courbe yi mise a jour des parametres du modele par :
θ(i)
= θ(i−1)
+ λi S(i)(yi , θ
(i−1)), (2)
avec λi le pas du gradient stochastique et S (i)(yi , θ
(i−1))
le score de
fischer de la nouvelle courbe.
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 14 / 27
Mise a jour des parametres en ligne Calcul du score de Fisher
Calcul du score de Fisher
Definition
S (i)(yi ,θ) = [s(i)1 (θ), . . . , s
(i)R (θ)]T ,
ou R est le nombre de parametres du modele et s(i)r (θ) = ∂L(θ;yi )
∂θr,
Formulation specifique pour les modeles a variables latentes
Possibilte d’utiliser l’esperance conditionnelle du gradient de lavraisemblance completee plutot que le gradient de la vraisemblance.
s(i)r (θ) =
∂L(θ; yi )
∂θr(3)
= E
[∂Lc(θ;Yi ,Zi )
∂θr|yi ;θ
]. (4)
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 15 / 27
Mise a jour des parametres en ligne Calcul du score de Fisher
Calcul du score de Fisher
Exemple :
∂L(θ; yi )
∂βk
= E
[∂Lc(θ;Yi ,Zi )
∂βk
|yi ,θ]
=1
σ2k
m∑j=1
tijk
(yij − βT
k xj)xj , (5)
avec tijk les probabilites a posteriori de la composante k au point xj ,calculee de la meme maniere que dans le contexte de l’algorithme EM :
tijk =πk(xj ;w)φ
(yij ;β
Tk xj , σ
2k
)∑K`=1 π`(xj ;w)φ
(yij ;β
T` xj , σ
2`
) · (6)
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 16 / 27
Detection en ligne de courbe atypique
Plan1 Contexte
Introduction et motivationExemples de mesures acquisesMethodologie adoptee
2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres
3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher
4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher
5 Resultats
6 Conclusion & Perspectives
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 17 / 27
Detection en ligne de courbe atypique Test du score
Detection en ligne de courbe atypique
Test du score
H0 : θ1 = θ2 = . . . = θi−1 = θi (7)
H1 : θ1 = θ2 = . . . = θi−1 6= θi , (8)
ou i est l’indice de la courbe courante.
I sous H0 le vecteur score associe a une nouvelle courbe yi suitasymptotiquement en θ une loi normale donnee par :
S (i)(θ) ∼ N (0, If (θ)), (9)
If (θ) : matrice d’information de Fisher associee a l’observation yi .
I on a donc S (i)(θ)T(If (θ)
)−1S (i)(θ) ∼ χ2(R),
I ce qui permet de definir une region critique approchee.
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 18 / 27
Detection en ligne de courbe atypique Estimation de la matrice de Fisher
Estimation de la matrice de Fisher
Information de Fisher ObserveeI Calcul de l’information de Fisher pose probleme dans les modeles a
variables latentes
I Arguments theoriques et pratiques soutiennent l’utilisation del’information de Fisher observee qui elle est simple a calculee
Io(θ) =1
n
n∑i=1
S i (θ)S i (θ)T (10)
Cet estimateur est convergent.
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 19 / 27
Resultats
Plan1 Contexte
Introduction et motivationExemples de mesures acquisesMethodologie adoptee
2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres
3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher
4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher
5 Resultats
6 Conclusion & Perspectives
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 20 / 27
Resultats
Conditions experimentales
DonneesI sequence de 916 courbes (2005-2007)
I toujours la meme aiguille
I 1 a 3 courbes par jours
Reglages des parametres des algorithmes
I modele a 6 composantes regressives cubiques, (θ = 40 parametres).
I pas du gradient stochastique 0.01.
I niveau de confiance du test 0.999.
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 21 / 27
Resultats
Evolution d’une composante du vecteur score (β6,3)
100 200 300 400 500 600 700 800 900−10
−8
−6
−4
−2
0
2
4
6
8
10
index de la courbe
co
mp
osa
nte
33
du
ve
cte
ur
sco
re
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 22 / 27
Resultats
Evolution de la statistique de test
100 200 300 400 500 600 700 800 900
50
100
150
200
250
300
350
400
index de la courbe
sta
tistiq
ue
de
te
st
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 23 / 27
Resultats
Resultats de detection
temps (s)
pu
issa
nce
(W
)
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
1000
900
800
700
600
500
400
300
200
100
0
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 24 / 27
Conclusion & Perspectives
Plan1 Contexte
Introduction et motivationExemples de mesures acquisesMethodologie adoptee
2 Modelisation des courbes a changement de regimeModele de regressions a processus logistique latentEstimation des parametres
3 Mise a jour des parametres en ligneGradient stochastiqueCalcul du score de Fisher
4 Detection en ligne de courbe atypiqueTest du scoreEstimation de la matrice de Fisher
5 Resultats
6 Conclusion & Perspectives
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 25 / 27
Conclusion & Perspectives
ConclusionI Methodologie de detection sequentielle de courbes atypiques
I Tire partie d’un modele generatif adapte aux donnees (courbes achangement de regime)
I Mise a jour recursive des parametres (peu couteuse en temps)
I Resultats preliminaire en accord avec les attentes metier
Perspectives
I Evaluation des pertes dues aux approximation (sur donnees simulees)
I Extension aux donnees non stationaires (prise en compte desevolutions lentes)
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 26 / 27
Conclusion & Perspectives
Merci de votre attention [email protected]
http://ecome.wordpress.com
Etienne Come (IFSTTAR, Grettia) EGC 2011 25/01/2011 27 / 27