Download - Théorie de l’apprentissage et SVM : présentation rapide et premières idées dans le cadre fonctionnel

Une introduction aux SVM :Une introduction aux SVM :travail sur des donntravail sur des donnéées es

fonctionnellesfonctionnelles

Nathalie Villa (GRIMM - SMASH)Université Toulouse Le Mirail

Séminaire SMASH8 octobre 2004


Présentation du ProblèmePrésentation du Problème


Discrimination

Y ∈ {-1;1}

Régression

Y réelX ∈ ℑ

X ∈ ℑ

f

f


On dispose de N observations :

Y1,…, YN

X1,…, XN ∈ ℑ

et on cherche à trouver fα la plus proche possible de fparmi les fonctions d’un ensemble

Λ = {fα : ℑ → R ou {-1;1}}α


Théorie de l’ApprentissageThéorie de l’Apprentissage

Une présentation rapide


Le risqueFonction de perte : L : R ×ℑ → [0;1]

exemples : L(y,fα(x)) = (y-fα(x))²L(y,fα(x)) = 1{y = fα(x)}

Risque : R(α) = E (L(Y,fα(X)))exemples : EQM

Probabilité d’erreur

Risque empirique : Remp(α) =

exemples : Erreur quadratique de prédiction Nombre d’erreurs dans l’échantillon

∑=

N

i

ii XfYLN 1

))(,(1


Théorème (Vapnik 95)

Avec une probabilité supérieure à 1 - η, on a

NhRR emp

f

)4/ln()()(sup ηααα

−≤−

Λ∈

où h est la VC-dimension de Λ.

Pour le risque associé à la probabilité d’erreur


VC-dimension ?Exemple : Λ = {1H : H hyperplan de R²}

Λ sépare de toutes les manières possibles trois points du plan non alignés :

Λ ne peut séparer de toutes les manières possibles 4 points du plan.

VC-dimension = 3


SVM pour ClassificationSVM pour Classification

et pour les données fonctionnelles… ?


IdéeΦ (non linéaire)

X1,…, XN ∈ ℑ

Espace image(grande dimension)

Z1,…, ZN


Discriminationpar hyperplansLes hyperplans d’un espace vectoriel ont pour équation <z,w> + b = 0

Λ = {fw,b : z → sign(<z,w>+b), ||w|| ≤ A}

Théorème : Soit R le rayon de la plus petite boule contenant toutes les observations Z1,…,ZN. Alors, Λ a pour VC dimension h tel que

h < R²A² + 1


HyperplansoptimauxReformulation du problème : on cherche à minimiser

2w21

sous la contrainte N...1i,1bw,ZYii

=∀≥

+><

Par la méthode des multiplicateurs de Lagrange, cela revient à maximiser (en λ) :

∑∑==

><−=N

1i

jiji

ji

N

1ii

Z,ZYY)(W λλλλ


Solution :

∑=

=N

1i

ii*

i

*ZYw λ

où seuls un certain nombre de λi sont non nuls (les Zi

correspondants sont appelés vecteurs supports)


Z1,…, ZNVecteurs supports (participent à la construction de la frontière de décision)


Construction del’espace imageDéfinition : on appelle noyau de type positif une fonction K : ℑ×ℑ→R telle que :

)x,...,x(),,...,(,1nn1n1

∀∀≥∀ λλ

0)x,x(Kn

1j,ijiji≥∑

=λλ


Théorème (de Moore-Aronszajn) : Il existe un unique espace de Hilbert F de fonctions définies sur ℑ dont K est un noyau reproduisant ie :

où Kx = K(.,x) = Φ(x).

)'x,x(KK,K,)'x,x(F'xx

2=><ℑ∈∀

Dans l’espace image, le produit scalaire s’écrit simplement à l’aide du noyau K : <z,z’> = K(x,x’).

X Φ

Z


Exemples denoyauxNoyau gaussien :

σ2'xxe)'x,x(K

−=

Noyau polynomial :d

)1'x,x()'x,x(K +><=

Remarque : Il existe des conditions (dans R) pour savoir si un noyau est de type positif (noyaux de Mercer, noyaux de la forme F(||.||²), etc)

QUID POUR LES ESPACES DE DIMENSION INFINIE ?


Autres idées de noyaux :

))'x,x(()'x,x(K δℵ=où ℵ est un noyau sur R et δ est une semi-distance (basée sur l’ACP ou sur des dérivées).

A QUELLE(S) CONDITION(S) KEST-IL UN NOYAU POSITIF ?


Un mot sur lechoix du paramètre1) Fixer une liste possible de paramètres à tester ;2) Pour chaque paramètre :

a. Déterminer l'hyperplan optimal de paramètre w*

correspondant ;b. Evaluer la VC-dimension h associé à cet hyperplan

par la procédure décrite plus loin ;

c. Evaluer l'erreur totale commise : (Remp + g( ))

3) Choisir le paramètre à plus faible erreur.

2*w

h


Evaluation de laVC-dimension

Théorème (de Moore-Aronszajn) : Soit R le rayon de la plus petite boule contenant toutes les observations {Zi}i. Alors l’ensemble des hyperplans discriminants tel que ||w||≤ A a pour VC-dimension h tel que

h < R²A² + 1

On évalue A en calculant la norme de w

On évalue R en minimisant R² sous la contrainte : ||Zi – z*||² ≤ R² (par la méthode du multiplicateur de Lagrange).


Un autre point de vueUn autre point de vue

FIR


IdéeΦ(non linéaire)

Noyau classique


Z

X ∈ ℑ

SIR

<X,a1>,…, <X,aq>


Merci de votre attentionMerci de votre attention