Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)

download Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)

of 82

  • date post

    11-May-2015
  • Category

    Science

  • view

    156
  • download

    0

Embed Size (px)

description

Séminaire CANSO, XLim, Université de Limoges, France 23 novembre 2007

Transcript of Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)

  • 1.Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Analyse de donnes fonctionnelles par Machines Vecteurs de Support (SVM) Nathalie Villa-Vialaneix http://www.nathalievilla.org En collaboration avec Fabrice Rossi (INRIA Rocquencourt) Institut de Mathmatiques de Toulouse, France - nathalie.villa@math.ups-tlse.fr Limoges, Sminaire CANSO, 23 novembre 2007 Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges

2. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Sommaire 1 Analyse des donnes fonctionnelles Exemples Contexte mathmatique Problmatique 2 Une petite introduction aux SVM 3 SVM pour donnes fonctionnelles Approche par projection Approche par splines dinterpolation Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 3. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Sommaire 1 Analyse des donnes fonctionnelles Exemples Contexte mathmatique Problmatique 2 Une petite introduction aux SVM 3 SVM pour donnes fonctionnelles Approche par projection Approche par splines dinterpolation Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 4. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Quelques exemples dapplications rencontres en FDA Analyse de donnes spectromtriques 0 20 40 60 80 100 2345 Absorbance Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 5. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Quelques exemples dapplications rencontres en FDA Reconnaissance vocale 0 2000 4000 6000 8000 1.00.50.00.51.0 Frequences Boat Goat Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 6. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Quelques exemples dapplications rencontres en FDA Analyse de puces ADN Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 7. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Quelques exemples dapplications rencontres en FDA Sries temporelles Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 8. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Formalisation mathmatique Le cadre X (H, ., ) o (H, ., ) est un espace de Hilbert (variable explicative) ; Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 9. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Formalisation mathmatique Le cadre X (H, ., ) o (H, ., ) est un espace de Hilbert (variable explicative) ; Y {1, 1} Classication Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 10. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Formalisation mathmatique Le cadre X (H, ., ) o (H, ., ) est un espace de Hilbert (variable explicative) ; Y {1, 1} Classication ou Y R Rgression (variable dpendante) ; Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 11. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Formalisation mathmatique Le cadre X (H, ., ) o (H, ., ) est un espace de Hilbert (variable explicative) ; Y {1, 1} Classication ou Y R Rgression (variable dpendante) ; On cherche prdire Y partir de X. Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 12. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Formalisation mathmatique Le cadre X (H, ., ) o (H, ., ) est un espace de Hilbert (variable explicative) ; Y {1, 1} Classication ou Y R Rgression (variable dpendante) ; On cherche prdire Y partir de X. Pour cela, on dispose dun ensemble dapprentissage (x1, y1), . . . , (xn, yn) tel que xi = (xi(t1), . . . , xi(td)) ; (xi, yi) sont des ralisations du couple (X, Y). Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 13. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Formalisation mathmatique Le cadre X (H, ., ) o (H, ., ) est un espace de Hilbert (variable explicative) ; Y {1, 1} Classication ou Y R Rgression (variable dpendante) ; On cherche prdire Y partir de X. Pour cela, on dispose dun ensemble dapprentissage (x1, y1), . . . , (xn, yn) tel que xi = (xi(t1), . . . , xi(td)) ; (xi, yi) sont des ralisations du couple (X, Y). Objectif : Construire un prdicteur, (X), partir des observations, tel que E E Y, (X) soit petit o E est une fonction derreur que lon se xe. Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 14. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Un exemple simple des problmes poss par ce contexte Modle linaire Y = a, X + tq Y R, a H est inconnu ( estimer), est une variable alatoire centre indpendante de X. Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 15. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Un exemple simple des problmes poss par ce contexte Modle linaire Y = a, X + tq Y R, a H est inconnu ( estimer), est une variable alatoire centre indpendante de X. Ici, = ., a est compltement connu si a est connu. Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 16. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Un exemple simple des problmes poss par ce contexte Modle linaire Y = a, X + tq Y R, a H est inconnu ( estimer), est une variable alatoire centre indpendante de X. Ici, = ., a est compltement connu si a est connu. Le a optimal pour la prdiction, au sens des moindres carrs, est : a := arg min aH E ( a, X Y)2 = Var(X)1 Cov(X, Y) Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 17. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Un exemple simple des problmes poss par ce contexte Cas H = Rk : a est estim par a = Var(X)1 n Cov(X, Y)n o Var(X)n = 1 n n i=1 xT i xi ; Cov(X, Y)n = 1 n n i=1 yixi. Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 18. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Un exemple simple des problmes poss par ce contexte Cas H = Rk : a est estim par a = Var(X)1 n Cov(X, Y)n o Var(X)n = 1 n n i=1 xT i xi ; Cov(X, Y)n = 1 n n i=1 yixi. Cas dimH = + : Loprateur X est de Hilbert Schmidt donc il nest pas inversible (ie : na pas dinverse continu) lestimation empirique est impossible directement ! Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 19. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Un exemple simple des problmes poss par ce contexte Cas H = Rk : a est estim par a = Var(X)1 n Cov(X, Y)n o Var(X)n = 1 n n i=1 xT i xi ; Cov(X, Y)n = 1 n n i=1 yixi. Cas dimH = + : Loprateur X est de Hilbert Schmidt donc il nest pas inversible (ie : na pas dinverse continu) lestimation empirique est impossible directement ! En pratique, si on travaille avec xi = (xi(t1), . . . , xi(td)), Var(X)n est mal conditionn instabilit de lestimation. Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 20. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique Un exemple simple des problmes poss par ce contexte Cas H = Rk : a est estim par a = Var(X)1 n Cov(X, Y)n o Var(X)n = 1 n n i=1 xT i xi ; Cov(X, Y)n = 1 n n i=1 yixi. Cas dimH = + : Loprateur X est de Hilbert Schmidt donc il nest pas inversible (ie : na pas dinverse continu) lestimation empirique est impossible directement ! En pratique, si on travaille avec xi = (xi(t1), . . . , xi(td)), Var(X)n est mal conditionn instabilit de lestimation. Solution : Rgularisation par pnalisation on impose des conditions de rgularit lestimateur a (voir [Cardot et al., 1999]). Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 21. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique SVM pour donnes fonctionnelles SVM & Donnes fonctionnelles SVM = Machines Vecteurs de Support ; trs populaires depuis les travaux sur lapprentissage statistique [Vapnik, 1995]. Nathalie Villa SVM fonctionnels, Sminaire CANSO, Limoges 22. Analyse des donnes fonctionnelles Une petite introduction aux SVM SVM pour donnes fonctionnelles References Exemples Contexte mathmatique Problmatique SVM pour donnes fonctionnelles SVM & Donnes fonctionnelles SVM = Machines Vecteurs de Support ; trs populaires depuis les travaux sur lapprentissage statistique [Vapnik, 1995]. Deux types de rgularisation efcace : Rgularisation par projection : [Rossi and Villa, 2006] ; Rgularisation par drivation : [Villa and Rossi, 2006] et preprint en cours de soumission. Nathalie Villa SVM fonctionnels, Sminair