Nathalie V Éléments d’apprentissage en statistique ... · Éléments d’apprentissage en...

Thèse

Toulouse,21 oct. 2005

Nathalie V

MLP et SVMpour l’analysedes donnéesfonctionnellesRégression InverseFonctionnelle

MLP fonctionnels :une approche parrégression inverse

SVM fonctionnels

Application desMLP à unproblème issudes scienceshumaines

Bibliographie

Éléments d’apprentissage en statistiquefonctionnelle

Classification et régression fonctionnelles par réseaux de neurones et SVM

Nathalie Villa-Vialaneix

Équipe GRIMM - SMASH, Université Toulouse Le Mirailvilla@univ-tlse2.fr

21 octobre 2005

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Les données fonctionnelles : Définition

Données classiques : chaque observation est un vecteurde RD ;

Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2

τ , parexemple ; espace de Hilbert, en général).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Les données fonctionnelles : Définition

Données classiques : chaque observation est un vecteurde RD ;

Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2

τ , parexemple ; espace de Hilbert, en général).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Exemples

Représentation temporelle (reconnaissance vocale 1)

0 2000 4000 6000 8000

−1.0

−0.5

0.00.5

Temps (ms)

BoatGoat

But : Reconnaître le mot. . .1Données disponibles sur

http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Exemples

Représentation fréquentielle (reconnaissance vocale 1)

0 50 100 150 200 250

Frequences

Log−

[aa][ao]

But : Reconnaître le son. . .1TIMIT database disponible sur

http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Exemples

Courbe de réponse (chimiométrie 1)

0 20 40 60 80 100

Longueur d’onde

But : Déterminer le taux de graisse. . .1Tecator database disponible sur

http ://lib.stat.cmu.edu/datasets/tecator

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Exemple de problèmes en FDA (1)

Problèmes d’inversion d’opérateurs

ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est

non borné (ce n’est pas un opérateur continu de L2τ ) ! !

Conséquence au niveau de l’estimation

ΓNX =

1N∑N

n=1 xn ⊗ xn − X ⊗ X est mal conditionné⇒ nécessitéde pénalisation ou de régularisation.Exemple : Modèle linéaire fonctionnel [Cardot et al., 1999]

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Problèmes d’inversion d’opérateurs

ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est

non borné (ce n’est pas un opérateur continu de L2τ ) ! !

Conséquence au niveau de l’estimation

ΓNX =

1N∑N

n=1 xn ⊗ xn − X ⊗ X est mal conditionné⇒ nécessitéde pénalisation ou de régularisation.Exemple : Modèle linéaire fonctionnel [Cardot et al., 1999]

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Les données fonctionnelles en pratique

Soit X une variable aléatoire fonctionnelle,

on ne connaît jamais complètement les observations(xn)n=1,...,N de X !

on dispose de xn(t1), . . . , xn(tnD) ;

dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Les données fonctionnelles en pratique

Soit X une variable aléatoire fonctionnelle,

on ne connaît jamais complètement les observations(xn)n=1,...,N de X !

on dispose de xn(t1), . . . , xn(tnD) ;

dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

D’un point de vue pratique...

représenter les fonctions observées et les fonctionsparamètres ;

N < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

D’un point de vue pratique...

représenter les fonctions observées et les fonctionsparamètres ;

N < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Méthodes linéaires d’analyse des donnéesfonctionnelles

Analyses factorielles ([Dauxois & Pousse, 1976],[Saporta, 1981], [Besse & Ramsay, 1986], . . . ) ;

Modèle linéaire fonctionnel ([Cardot et al., 1999]) ;

Régression PLS fonctionnelle([Preda & Saporta, 2002]) ;

Analyse canonique des corrélations (régularisationpar pénalisation) ([Leurgans et al., 1993]) ;

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Méthodes non linéaires d’analyse des donnéesfonctionnelles

FIR ([Dauxois et al., 2001], [Ferré & Yao, 2003]) ;

Réseaux de neurones ([Rossi & Conan-Guez, 2005]) ;

k -plus proches voisins ([Biau et al., 2005]) ;

Modèle non paramétrique fonctionnel([Ferraty & Vieu, 2002]) ;

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Apports de notre travail en FDA

Mise au point d’une méthode de régression inversefonctionnelle, FIR, régularisée par pénalisation ;

Extension des perceptrons multi-couches pour letraitement de données fonctionnelles : approche parFIR ;

Généralisation des SVM au traitement de donnéesfonctionnelles.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Sommaire

1 MLP et SVM pour l’analyse des données fonctionnellesRégression Inverse FonctionnelleMLP fonctionnels : une approche par régression inverseSVM fonctionnels

2 Application des MLP à un problème issu des scienceshumaines

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Sommaire

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Sommaire (Présentation des travaux)

Régression Inverse FonctionnelleEn collaboration avec Louis Ferré

Discrimination de courbes par régression inversefonctionnelle (2005), paru dans Revue de StatistiqueAppliquée.

MLP fonctionnelsEn collaboration avec Louis Ferré

Multi-layer perceptron with functional inputs : aninverse regression approach (2005), accepté pourScandinavian Journal of Statistics.

SVM fonctionnelsEn collaboration avec Fabrice Rossi

Support vector machine for functional dataclassification (2005), accepté pour Neurocomputing.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Sommaire

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Régression Inverse Fonctionnelle[Ferré & Yao, 2003]

Variables aléatoires : Y ∈ R et X ∈ HÉchantillon d’apprentissage : (x1, y1), . . . , (xN , yN)

Modèle :Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR = Vect{a1, . . . aq}

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Régression Inverse Fonctionnelle[Ferré & Yao, 2003]

Variables aléatoires : Y ∈ R et X ∈ HÉchantillon d’apprentissage : (x1, y1), . . . , (xN , yN)Modèle :

Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR = Vect{a1, . . . aq}

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Caractérisation de l’espace EDR[Ferré & Yao, 2003]

Notons A =(〈X , a1〉, . . . 〈X , aq〉

Théorème 1 Condition de LiSi

(H1) ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,

alors E(X/Y ) ∈ ΓX (EDR).

⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Caractérisation de l’espace EDR[Ferré & Yao, 2003]

Notons A =(〈X , a1〉, . . . 〈X , aq〉

Théorème 1 Condition de LiSi

(H1) ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,

alors E(X/Y ) ∈ ΓX (EDR).

⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Approche par pénalisation de l’opérateur decovariance

Notations :

S ={f ∈ L2

τ : D2f existe et D2f ∈ L2τ

∀ f , g ∈ S, [f , g] =∫τ

D2f (t)D2g(t)dt ;

Qα(f , g) = 〈ΓX f , g〉 + α[f , g] ;

Fonction à maximiser :

γN(a) =〈ΓN

E(X |Y )a, a〉

〈ΓNX a, a〉 + α[a, a]

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations :

S ={f ∈ L2

∀ f , g ∈ S, [f , g] =∫τ

D2f (t)D2g(t)dt ;

Qα(f , g) = 〈ΓX f , g〉 + α[f , g] ;

γN(a) =〈ΓN

E(X |Y )a, a〉

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations :

S ={f ∈ L2

∀ f , g ∈ S, [f , g] =∫τ

D2f (t)D2g(t)dt ;

Qα(f , g) = 〈ΓX f , g〉 + α[f , g] ;

γN(a) =〈ΓN

E(X |Y )a, a〉

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations :

S ={f ∈ L2

∀ f , g ∈ S, [f , g] =∫τ

D2f (t)D2g(t)dt ;

Qα(f , g) = 〈ΓX f , g〉 + α[f , g] ;

γN(a) =〈ΓN

E(X |Y )a, a〉

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

(H2) E(‖ X ‖4) < +∞ ;

(H3) ∀α > 0,

inf‖a‖=1, a∈S

Qα(a, a) = ρα > 0 ;

(H4) ΓNE(X |Y ) est un opérateur continu qui converge en

probabilité vers ΓE(X |Y ) à une vitesse de√

(H5) limN→+∞ α = 0, limN→+∞√

Nα = +∞ ;

(H6) (aj)j=1,...,q appartient à S et vérifie, pour tout u telque 〈ΓX u, a1〉 = 0 et que 〈ΓX u, u〉 = 1,

〈ΓE(X |Y )u, u〉 ≤ 〈ΓE(X |Y )a2, a2〉 = λ2 < λ1.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

(H2) E(‖ X ‖4) < +∞ ;

(H3) ∀α > 0,

inf‖a‖=1, a∈S

Qα(a, a) = ρα > 0 ;

(H5) limN→+∞ α = 0, limN→+∞√

Nα = +∞ ;

〈ΓE(X |Y )u, u〉 ≤ 〈ΓE(X |Y )a2, a2〉 = λ2 < λ1.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

(H2) E(‖ X ‖4) < +∞ ;

(H3) ∀α > 0,

inf‖a‖=1, a∈S

Qα(a, a) = ρα > 0 ;

(H5) limN→+∞ α = 0, limN→+∞√

Nα = +∞ ;

〈ΓE(X |Y )u, u〉 ≤ 〈ΓE(X |Y )a2, a2〉 = λ2 < λ1.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

(H2) E(‖ X ‖4) < +∞ ;

(H3) ∀α > 0,

inf‖a‖=1, a∈S

Qα(a, a) = ρα > 0 ;

(H5) limN→+∞ α = 0, limN→+∞√

Nα = +∞ ;

〈ΓE(X |Y )u, u〉 ≤ 〈ΓE(X |Y )a2, a2〉 = λ2 < λ1.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

(H2) E(‖ X ‖4) < +∞ ;

(H3) ∀α > 0,

inf‖a‖=1, a∈S

Qα(a, a) = ρα > 0 ;

(H5) limN→+∞ α = 0, limN→+∞√

Nα = +∞ ;

〈ΓE(X |Y )u, u〉 ≤ 〈ΓE(X |Y )a2, a2〉 = λ2 < λ1.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Convergence vers l’espace EDR

Théorème 2 Consistance de l’estimationSous les hypothèses (H1)-(H6), la probabilité que la fonctionγN atteigne son maximum sur S converge vers 1 lorsque Ntend vers +∞.

Dans le cas où le maximum est atteint, soit aN1 un vecteur de S

réalisant ce maximum et tel que 〈ΓX aN1 , a1〉 = 1. Alors,

〈ΓX (aN1 − a1), aN

1 − a1〉 →p 0.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Convergence vers l’espace EDR

Théorème 2 Consistance de l’estimationSous les hypothèses (H1)-(H6), la probabilité que la fonctionγN atteigne son maximum sur S converge vers 1 lorsque Ntend vers +∞.Dans le cas où le maximum est atteint, soit aN

1 un vecteur de Sréalisant ce maximum et tel que 〈ΓX aN

1 , a1〉 = 1. Alors,

〈ΓX (aN1 − a1), aN

1 − a1〉 →p 0.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Sommaire

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Problème posé

X ∈ L2τ MLP

Y ∈ R

Y = (IC1, . . . , ICH)

Difficultés du problème : représentation des poids duperceptron, problèmes de taille des données et de tempsd’apprentissage

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Problème posé

X ∈ L2τ MLP

Y ∈ R

Y = (IC1, . . . , ICH)

Difficultés du problème : représentation des poids duperceptron, problèmes de taille des données et de tempsd’apprentissage

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Travaux existants[Rossi & Conan-Guez, 2005]. . .

Approche directe : poids représentés par une techniquequelconque d’approximation de fonctions, produit scalaireapproché par quadrature.Coûteux en temps de calcul, implémentation spécifique.

Approche par projection : projection des données surune base fixée à l’avance (B-Splines, basetrigonométrique, . . . ), représentation des poids sur cettebase.Réutilisation des implémentations multidimensionnelles,réduction de la dimension mais choix de la base ? ?

Résultats théoriques : Résultat de consistance des poidsoptimaux empiriques vers les poids optimaux théoriques etrésultat de consistance de l’erreur Lp commise par leperceptron optimal vers l’erreur Lp optimale.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Approche par régression inverse : le modèle

〈X , aq〉

〈X , a2〉

〈X , a1〉 w (1)

w (2)∑+

Biais : w(0)

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations

Sortie du réseau : ∀ u ∈ Rq,

φ(u,w) =q2∑i=1

w(2)i g

q∑j=1

w(1)i,j uj + w(0)

Pour une fonction d’erreur L , on noteζ((u, y),w) = L(φ(u,w), y) ;

Variables : Z = ({〈X , aj〉}j ,Y ), zNn = ({〈xn, aN

j 〉}j , yn) : Z et(zN

n )n prennent leurs valeurs dans un ouvert O de Rq+1 ;Poids choisis dans un compactW de R(q+2)q2

théoriques : w∗ = argminw∈WE(ζ(Z ,w)) :W∗ estl’ensemble des w∗ ;empiriques : w∗N = argminw∈W

∑Nn=1 ζ(zN

n ,w).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations

φ(u,w) =q2∑i=1

w(2)i g

q∑j=1

w(1)i,j uj + w(0)

∑Nn=1 ζ(zN

n ,w).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations

φ(u,w) =q2∑i=1

w(2)i g

q∑j=1

w(1)i,j uj + w(0)

n )n prennent leurs valeurs dans un ouvert O de Rq+1 ;

Poids choisis dans un compactW de R(q+2)q2

∑Nn=1 ζ(zN

n ,w).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations

φ(u,w) =q2∑i=1

w(2)i g

q∑j=1

w(1)i,j uj + w(0)

∑Nn=1 ζ(zN

n ,w).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations

φ(u,w) =q2∑i=1

w(2)i g

q∑j=1

w(1)i,j uj + w(0)

théoriques : w∗ = argminw∈WE(ζ(Z ,w)) :W∗ estl’ensemble des w∗ ;

empiriques : w∗N = argminw∈W∑N

n=1 ζ(zNn ,w).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Notations

φ(u,w) =q2∑i=1

w(2)i g

q∑j=1

w(1)i,j uj + w(0)

∑Nn=1 ζ(zN

n ,w).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

(H7) ∀ z ∈ O, ζ(z, .) est continue ;

(H8) ∀w ∈ W, ζ(.,w) est mesurable ;

(H9) il existe une fonction mesurable ζ̃ de O dans Rtelle que, ∀ z ∈ O, ∀w ∈ W, |ζ(z,w)| < ζ̃(z) etE(ζ̃(Z)) < +∞ ;

(H10) ∀w ∈ W, ∃C(w) > 0 tel que, pour tout (x, y) et(x′, y′) dans O,|ζ((x, y),w) − ζ((x′, y),w)| ≤ C(w) ‖ x − x′ ‖

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Convergence vers les poids optimaux

Théorème 3 Consistance de l’estimationSous les hypothèses (H1)-(H6) (convergence de l’estimationde l’espace EDR) et (H7)-(H10),

d(w∗N ,W∗)

N→+∞−−−−−−→p 0,

où d est définie par : d(w,W) = infw̃∈W ‖ w − w̃ ‖ avec ‖ . ‖ ladistance euclidienne usuelle.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Application : Tecator Data Set

But : Prédire le taux de graisse présent dans des morceaux deviande à partir de la réponse d’un spectromètre infrarouge.

Comparaison :

PCA - MLP ;

FIR régularisée - MLP ;

FIR projetée - MLP ;

FIR régularisée - ML.

Méthodologie : Répétition de 50 expériences avec desparamètres optimaux déterminés préalablement par validationcroisée.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

But : Prédire le taux de graisse présent dans des morceaux deviande à partir de la réponse d’un spectromètre infrarouge.Comparaison :

PCA - MLP ;

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

But : Prédire le taux de graisse présent dans des morceaux deviande à partir de la réponse d’un spectromètre infrarouge.Comparaison :

PCA - MLP ;

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Résultats : Tecator Data Set

PCA-MLPNN f

SIRr-MLPSIRp-MLP

SIRr-ML

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Sommaire

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

SVM pour FDA

Discrimination binaire : X ∈ H , Y ∈ {−1; 1} et(x1, y1), . . . , (xN , yN) ensemble d’apprentissage.

SVM à marges dures

(P0) minw∈H ,b∈R

〈w,w〉, avec yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ N.

SVM à marges molles

(PC ) minw,b ,ξ〈w,w〉 + C∑N

i=1 ξi ,

avec yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ N,ξi ≥ 0, 1 ≤ i ≤ N.

SVM non linéaire φ : H → X

(PC ,X) minw,b ,ξ〈w,w〉X + C∑N

i=1 ξi ,

avec yi(〈w, φ(xi)〉X + b) ≥ 1 − ξi , 1 ≤ i ≤ N,ξi ≥ 0, 1 ≤ i ≤ N.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

SVM pour FDA

SVM à marges dures

〈w,w〉, avec yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ N.

i=1 ξi ,

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

SVM pour FDA

SVM à marges dures

〈w,w〉, avec yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ N.

i=1 ξi ,

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

SVM pour FDA

SVM à marges dures

〈w,w〉, avec yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ N.

i=1 ξi ,

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Formulation duale

Formulation régularisation : (PC ,X)⇔

(Rλ,X) minf∈X

N∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

Formulation duale : (PC ,X)⇔

(DC ,X) maxα∑N

i=1 αi −∑N

i=1∑N

j=1 αiαjyiyj〈φ(xi), φ(xj)〉X,avec

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ N.

Produit scalaire dans X :∀ u, v ∈ X, K (u, v) = 〈φ(u), φ(v)〉X

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Formulation duale

(Rλ,X) minf∈X

N∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

(DC ,X) maxα∑N

i=1 αi −∑N

i=1∑N

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ N.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Formulation duale

(Rλ,X) minf∈X

N∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

(DC ,X) maxα∑N

i=1 αi −∑N

i=1∑N

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ N.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Noyaux pour FDA

Forme générale

Prétraitement : P : H → D

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

1 Transformations fonctionnelles : P(x) = Dqx,. . .2 Projections : pour VD = Vect{ψ1, . . . , ψD},

P(x) =D∑

〈x, ψj〉ψj .

3 FIR. . .

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Noyaux pour FDA

Forme générale

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

1 Transformations fonctionnelles : P(x) = Dqx,. . .

2 Projections : pour VD = Vect{ψ1, . . . , ψD},

P(x) =D∑

〈x, ψj〉ψj .

3 FIR. . .

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Noyaux pour FDA

Forme générale

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

P(x) =D∑

〈x, ψj〉ψj .

3 FIR. . .

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Noyaux pour FDA

Forme générale

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

P(x) =D∑

〈x, ψj〉ψj .

3 FIR. . .

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Une approche consistante

Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;

2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xN , yN) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

a∗ = argmina L̂N−l fa +λd√

N − l

avec L̂N−l fa = 1N−l

∑Nn=l+1 I{fa (xn),yn}.

⇒ On obtient un SVM fN .

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]

N − l

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xN , yN) ;

construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

N − l

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xN , yN) ;construction du SVM sur B1 : fa ;

choix du paramètre optimal sur B2 :

N − l

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

N − l

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

N − l

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

Hypothèses sur la distribution de X

(H11) X prend ses valeurs dans un borné de H .

Hypothèses sur les paramètres : ∀ d ≥ 1,

(H12) Jd est un ensemble fini ;(H13) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H14) Cd > 1 ;(H15)

∑d≥1 |Jd |e−2λ2

d < +∞.

Hypothèses sur la validation croisée

(H16) limN→+∞ l = +∞ ;(H17) limN→+∞ N − l = +∞ ;(H18) limN→+∞

l log(N−l)N−l = 0.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

∑d≥1 |Jd |e−2λ2

d < +∞.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Hypothèses

∑d≥1 |Jd |e−2λ2

d < +∞.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Convergence vers l’erreur de Bayes

Théorème 4 Consistance universelleSous les hypothèses (H11)-(H18), fN est consistant :

LfNN→+∞−−−−−−→ L∗,

où LfN = P(fN(X) , Y ) et L ∗ = P(f ∗(X) , Y ) avec

f ∗(x) ={

1 si P(Y = 1|X = x) > 1/2,−1 sinon.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Application : reconnaissance vocale

Description des données et méthodes

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;

Mise en œuvre de la procédure consistante :Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par Leave-One-Out.

Résultats

Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :

Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par Leave-One-Out.

Résultats

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :

Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par Leave-One-Out.

Résultats

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Application : Tecator data Set

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.

Procédure :Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées par validation croisée aléatoiresur 95 spectres.

Résultats (Moyenne pour 250 répétitions)

Noyau Erreur moyenne (test)Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :

Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées par validation croisée aléatoiresur 95 spectres.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :

Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées par validation croisée aléatoiresur 95 spectres.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Sommaire

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Sommaire (Présentation des travaux)

En collaboration avec Martin Paegelow 2, Laurence Cornez, Frédéric Ferraty,

Louis Ferré et Pascal Sarda

Various approaches for predicting land cover inMediterranean mountain areas (2005), soumis àpublication.

Modélisations prospectives de donnéesgéoréférencées par approches croisées SIG etstatistiques. Application à l’occupation du sol enmilieu montagnard méditerranéen (2004), paru dansCybergéo.

2Équipe GEODE : GÉOgraphie De l’Environnement

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Présentation du problème

Problématique

Problème issu de la recherche en géographie : Etudierl’évolution de l’occupation du sol dans des zones demontagnes en voie de désertification.

Comparer des méthodes statistiques classiques avec lesméthodes empiriques issues du SIG pour apporter une aideaux géographes. Utilisation de perceptrons multi-couches.

Les donnéesDeux régions : Garrotxes (PO, France : terminé) ; AltaAlpujarra (Sierra Nevada, Espagne ; en cours) ;

Données espagnoles : 1 468 748 pixels, 4 dates 'équidistantes (1957, 1974, 1987 et 2001), 9/10 catégoriesd’occupation du sol, 5/7 variables quantitatives, 3/4variables qualitatives (22 modalités).

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Problématique

Problème issu de la recherche en géographie : Etudierl’évolution de l’occupation du sol dans des zones demontagnes en voie de désertification.Comparer des méthodes statistiques classiques avec lesméthodes empiriques issues du SIG pour apporter une aideaux géographes. Utilisation de perceptrons multi-couches.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Problématique

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Problématique

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Quelques cartes

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Quelques cartes

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Quelques cartes

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Quelques cartes

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Quelques cartes

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Quelques cartes

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Modèle

Méthodologie

Restriction aux pixels "frontières" :

Partage des données (aléatoire) en apprentissage etvalidation pour le choix du nombre de neurones sur la couchecachée

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Modèle

Méthodologie

Restriction aux pixels "frontières" :

Partage des données (aléatoire) en apprentissage etvalidation pour le choix du nombre de neurones sur la couchecachée

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Résultats (Stage J. Mendiboure)

Modèle optimal

20 neurones sur la couche cachée ;

taille de voisinage : 4.

Taux d’erreurTaux d’erreur global en 2001 : 10,71 % (23,49 % sur les pixels

frontières).

Répartition des occupations du sol réelles / préditesOcc. du sol Feuillus Brouss. Pâtur. Conif.

Réel 10,86 % 32,96 % 20,75 % 9,23 %Prédit 10,63 % 33,14 % 20,75 % 6,20 %

Cult. aband. Cult. irri. Cult. non irri. Irri. & non irri. Urbain19,78 % 5,78 % 1,05 % 0,25 % 0,35 %17,19 % 10,90 % 0,82 % 0,07 % 0,30 %

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Résultats (Stage J. Mendiboure)

Modèle optimal

20 neurones sur la couche cachée ;

taille de voisinage : 4.

Taux d’erreurTaux d’erreur global en 2001 : 10,71 % (23,49 % sur les pixels

frontières).

Répartition des occupations du sol réelles / préditesOcc. du sol Feuillus Brouss. Pâtur. Conif.

Réel 10,86 % 32,96 % 20,75 % 9,23 %Prédit 10,63 % 33,14 % 20,75 % 6,20 %

Cult. aband. Cult. irri. Cult. non irri. Irri. & non irri. Urbain19,78 % 5,78 % 1,05 % 0,25 % 0,35 %17,19 % 10,90 % 0,82 % 0,07 % 0,30 %

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Comparaison des cartes réelle / prédite

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Comparaison des cartes réelle / prédite

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Besse, P. & Ramsay, J. (1986).Principal component analysis of sampled curves.Psychometrica, 51, 285–311.

Biau, G., Bunea, F., & Wegkamp, M. (2005).Functional classification in Hilbert spaces.IEEE Transactions on Information Theory, 51, 2163–2172.

Cardot, H., Ferraty, F., & Sarda, P. (1999).Functional Linear Model.Statistics and Probability Letter, 45, 11–22.

Dauxois, J., Ferré, L., & Yao, A. (2001).Un modèle semi-paramétrique pour variable aléatoire hilbertienne.C.R. Acad. Sci. Paris, 327(I), 947–952.

Dauxois, J. & Pousse, A. (1976).Les analyses factorielles en calcul des probabilités et en statistique : essai d’étude synthétique.Thèse, Université Toulouse III.

Ferraty, F. & Vieu, P. (2002).The functional nonparametric model and application to spectrometric data.Computational Statistics, 17, 515–561.

Ferré, L. & Yao, A. (2003).Functional sliced inverse regression analysis.Statistics, 37, 475–488.

Leurgans, S., Moyeed, R., & Silverman, B. (1993).Canonical correlation analysis when the data are curves.

Thèse

Nathalie V

SVM fonctionnels

Bibliographie

Journal of the Royal Statistical Society, Series B, 55, 725–740.

Preda, C. & Saporta, G. (2002).Régression PLS sur un processus stochastique.Revue de statistique appliquée, L(2).

Rossi, F. & Conan-Guez, B. (2005).Functional multi-layer perceptron : a nonlinear tool for functional data anlysis.Neural Networks, 18(1), 45–60.

Saporta, G. (1981).Méthodes exploratoires d’analyses des données temporelles.Cahiers du BURO.

Nathalie V Éléments d’apprentissage en statistique ... · Éléments d’apprentissage en...

Documents

Transcript of Nathalie V Éléments d’apprentissage en statistique ... · Éléments d’apprentissage en...

Interventions précoces, Favoriser la communication-02 · Enseignement d’une communication immédiatement fonctionnelle S’adresse aux parents et professionnels ... Méthode d’apprentissage

Publications du Groupe de traailv STAPH: Statistique ...€¦ · Publications du Groupe de traailv STAPH: Statistique Fonctionnelle et Opératorielle STAPH-2012-01 Recueil de ésumésr

Type de Licence - ANNABA · Prof Analyse Fonctionnelle 01 KHALDI Rabah Prof Analyse fonctionnelle 01 KELAIAIA Smail Prof Analyse Fonctionnelle 01 KILICMAN Adem Prof Analyse Fonctionnelle

Méthodes à noyaux en apprentissage statistique - …fbach/rasma_fbach.pdf · • Théorème spectral (résultat classique d’analyse fonctionnelle implique l’existence d’une

Probabilit es et introduction a la Statistique M1 premier ...barthe/resumeM1proba2018.pdf · (Version fonctionnelle du th eor eme de classe monotone) Soit Hun R-espace vectoriel de

Objectifs d’apprentissage

COMITÉ DU LABEL DE LA STATISTIQUE PUBLIQUE · 2017-12-08 · Boîte fonctionnelle : comite-label@cnis.fr pour les services extérieurs à l’Insee:CNIS-Comité du label pour les

Bilan fonctionnelle

NEURO-ANATOMIE FONCTIONNELLE Professeur Outrequinsouliman1.free.fr/Cours - CES/Neuro-anatomie fonctionnelle (Pr Outrequin).pdf · 1 NEURO-ANATOMIE FONCTIONNELLE Professeur Outrequin

L’ANALYSE FONCTIONNELLE, DE LA METHODE AUX …asset.free.fr/IMG/pdf/Analyse_fonctionnel_complet_pub.pdf · Analyse fonctionnelle - Copyleft: ... la Méthode APTE d’analyse fonctionnelle

Cotation fonctionnelle

Modèles d apprentissage Les bases pour comprendre les TCC · • Analyse fonctionnelle • Techniques d’exposition • Présentation des modèles d’apprentissage – Notions

ABF – ABF E-LEARNING · connaissance fonctionnelle du langage comptable et du langage statistique. E ... de tronc commun en gestion Analyse microéconomique Gestio+financière Introduction

30/10/2012 Analyse fonctionnelle - Page perso M …michel.pendaries.pagesperso-orange.fr/ANALYSE FONCTIONNELLE.… · Analyse fonctionnelle Fondements ... • Exemple du tabouret

La méthode fonctionnelle d’apprentissage

Groupe de travail STAPH : Statistique Fonctionnelle et Op era … · 2009. 9. 10. · C elestin C. KOKONENDJI : Fonction poids de Poisson relative a sur et sousdispersion 19 Magali

Apprentissage statistique pour construire des méta-modèles janvier/M... · Eléments d’apprentissage statistique Sélection de modèles en apprentissage supervisé. Conclusion

Les Théories Traditionnelles du Management · fonctionnelle le système de la hiérarchie ... remplacer les vielles méthode empiriques ... le processus d’apprentissage entrainent

DOCUMENTATION FONCTIONNELLE

Chaîne fonctionnelle