Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I....
45
Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes http://lmrserv.insa-rouen.fr/~scanu/
-
Upload
blancheflour-desbois -
Category
Documents
-
view
102 -
download
0
Transcript of Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I....
- Page 1
- Estimation fonctionnelle laide de S.V.M. Stphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes http://lmrserv.insa-rouen.fr/~scanu/
- Page 2
- 2 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 SVM radiales
- Page 3
- 3 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Plan discrimination linaire : cas sparable discrimination linaire : cas non sparable discrimination quadratique SVM radiales le principe les 3 hyper-paramtres de rgularisation rsultats sur les donnes du verre et les voyelles les cas de la rgression
- Page 4
- 4 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Sparateur linaire et vecteurs support
- Page 5
- 5 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Classification linaire - le cas sparable tout le monde est bien class
- Page 6
- 6 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Classification linaire - le cas sparable si (w,b) vrifie les contraintes, ( w, b) les vrifie aussi... solution : = w = b = 0 !
- Page 7
- 7 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Classification linaire - le cas sparable
- Page 8
- 8 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Classification linaire le cas sparable
- Page 9
- 9 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Classification linaire le cas sparable = H c Solution sans contraintes : = H c
- Page 10
- 10 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Intgration des contraintes dgalit 0 0 = H c y y
- Page 11
- 11 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 intgration des contraintes dingalit tantque ( ) ne vrifient pas les conditions doptimalit = M -1 b -- et = - H + c + y si
- 28 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Les trois paramtres de rgularisation C : la borne sup 0 < < C : la largueur du noyau : K (x,y) rgularisation du systme linaire H =b => (H+ I) =b
- Page 29
- 29 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Les trois paramtres de rgularisation C : la borne sup 0 C : la largueur du noyau : K (x,y) rgularisation du systme linaire H =b => (H+ I) =b
- Page 30
- 30 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Leffet de la borne sup
- Page 31
- 31 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Noyau troit et C grand
- Page 32
- 32 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Noyau large - C grand
- Page 33
- 33 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Noyau large et C petit
- Page 34
- 34 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Les donnes de Ripley Glass Kppv : 74% Denux : 72 % SVM : 72 % (petite triche) 200 points (89+96) dimension 9 4 classes Nato ASI - Neural networks and statistics - Ripley pp 45 53 37 22 nombre d'erreurs total avec rejet nombre d'accepte et de rejetes 27.0000 27.0000 96.0000 0 0.2812
- Page 35
- 35 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Ripley
- Page 36
- 36 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Voyel +------------------------------------+--------+---------+---------+ | | no. of | no. | perce | | Classifier | hidde |correc| corre | | units | | | +------------------------------------+--------+---------+---------+ | Single-layer perceptron | - | 154 | 33 | | Multi-layer perceptron | 88 | 234 | 51 | | Multi-layer perceptron | 22 | 206 | 45 | | Multi-layer perceptron | 11 | 203 | 44 | | Modified Kanerva Model | 528 | 231 | 50 | | Modified Kanerva Model | 88 | 197 | 43 | | Radial Basis Function | 528 | 247 | 53 | | Radial Basis Function | 88 | 220 | 48 | | Gaussian node network | 528 | 252 | 55 | | Gaussian node network | 88 | 247 | 53 | | Gaussian node network | 22 | 250 | 54 | | Gaussian node network | 11 | 211 | 47 | | Square node network | 88 | 253 | 55 | | Square node network | 22 | 236 | 51 | | Square node network | 11 | 217 | 50 | | Nearest neighbour | - | 260 | 56 | +------------------------------------+--------+---------+---------+ SVM 58 % MARS 58 % Denux 63 % Prononciation des voyelles 500 + 500 dimension 10 11 classes
- Page 37
- 37 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 SVM pour la rgression...
- Page 38
- 38 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 SVM pour la rgression...
- Page 39
- 39 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 SVM pour la rgression...
- Page 40
- 40 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 SVM pour la rgression
- Page 41
- 41 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Une solution... pas gniale
- Page 42
- 42 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Exemple...
- Page 43
- 43 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 petit et aussi
- Page 44
- 44 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 une autre manire de voir les choses
- Page 45
- 45 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modles 30 Janvier 1998 Conclusion SVM : slection des points importants NIPS workshop - svm.cs.rhbnc.ac.uk Matlab code disponible - [email protected] Problmes : - problmes multi classes - petite erreur