DEA Perception et Traitement de l’Information
date post
20-Mar-2016Category
Documents
view
33download
4
Embed Size (px)
description
Transcript of DEA Perception et Traitement de l’Information
DEA Perception et Traitement de lInformationReconnaissance des formesApprentissage linaire
S. Canu
http://psichaud.insa-rouen.fr/~scanu/RdF
RdF et apprentissageD : Algorithme de Reconnaissancedes FormesUne forme x(vecteur formedes caractristiques)Cest la formey=D(x) A : Algorithme dapprentissageEnsemble dapprentissage (chantillon)A priorisur lanature de la solution23Les problmes
D(x) =signe(wx+b)
Discrimination Linaire+++++++Codage {-1,1}, fonction de dcision de type heaviside
Estimation... et rve
Stratgies destimationMinimiser les erreursmoindres carresadalineperceptronle neurone formelestimer les paramtres max de vraisemblance, puis rgle de Bayesminimiser un autre critreanalyse discriminante de Fisher
Moindres carrsX = [x1 ; x2];X = [X ones(length(X),1)];yi = [ones(length(x1),1) ; -ones(length(x2),1)];
W = (X'*X)\(X'*yi);west = W(1:2);best = W(3);
Rsistance aux outliers
Moindre carrs stochastiquesADALINE (Widrow Hoff 1960)Algorithme itratif de gradient= D
Algorithme de gradient : illustrationdans le plan w1,w2Le gradient est orthogonal aux lignes diso cot : argument la Taylor+Minimum du cotLignes diso-cot : J(W) = constanteDirection du gradientJ(W)w1w2
3 solutionsLE NEURONE FORMEL
- Algorithme itratifnbitemax = 50;k=0;while ((cout > 0) & (k
ADALINE, a marche...
ADALINE des fois a ne marche pasSolution au sens des moindres carrs
Le Perceptron, des fois a ne marche pas......Quand les exemples ne sont pas linairement sparables
Rgle du perceptron(Rosenblatt 1958)codage
Rgle du perceptron(Rosenblatt 1958) Pas de fonction cot minimise preuve de convergence (dans le cas linairement sparable)
Rgle du perceptron(Rosenblatt 1958)
Convergence des algorithmes de gradient
Performances des algorithmes linairesThorme (Vapnik & Chervonenkis, 1974)
Performances des algorithmes linairesThorme (Vapnik & Chervonenkis, 1974)ProbabilitderreurrisqueempiriqueMaldiction de la dimensionnalitAsymptotiquementjouableprcisionborne
Maximum de vraisemblanceDistance de Mahalanobis
Analyse discriminante de Fisher2 classesQuelle est la direction de lespace des caractristiquesqui spare le mieux les deux classes ?
Voil la critre !
Analyse discriminante de Fishermulti classes
Analyse discriminante de Fishermulti classesOn recherche les vecteurs propres de la matrice
AD en matlabind1=find(yi==1); X1=Xi(ind1,:);ind2=find(yi==2); X2=Xi(ind2,:);ind3=find(yi==3); X3=Xi(ind3,:);
n1=length(ind1); n2=length(ind2); n3=length(ind3);n = n1+n2+n3; Sw = (n1*cov(X1)+n2*cov(X2)+n2*cov(X3))/n; %AD m1 = mean(X1); m2 = mean(X2); m3 = mean(X3); mm = mean(Xi);Sb = (n1*(m1-mm)'*(m1-mm)+n2*(m2-mm)'*(m2-mm)+n3*(m3-mm)'*(m3-mm))/n;
% L = chol(Sw);% Linv = inv(L);% [v l]=eig(Linv*Sb*Linv'); % AD% v = Linv'*v; [v l]=eig(inv(Sw)*Sb); % AD [val ind] = sort(-abs(diag(l))); P = [v(:,ind(1)) v(:,ind(2))]; xi = Xn*P;
Conclusion : discrimination linaireMinimiser les erreursmoindres carres : erreur quadratiqueadaline : erreur quadratiqueperceptron : le nombre de mal classle neurone formel : les formes frontirenombre derreur : le simplex -> les SVMestimer les paramtres max de vraisemblance, puis rgle de Bayesminimiser un autre critreanalyse discriminante de Fisher : REPRESENTATION
Apprentissage baysien
Maldiction de la dimensionalitUn problme inatenduestimation de la matrice de covariancecapacit dun classifieur linairele problme de lerreur moyenne !
Estimation du taux derreur
Dudda et Hart pp75 chapitre 3