DEA Perception et Traitement de lInformationReconnaissance des formesApprentissage linaire

S. Canu

http://psichaud.insa-rouen.fr/~scanu/RdF

RdF et apprentissageD : Algorithme de Reconnaissancedes FormesUne forme x(vecteur formedes caractristiques)Cest la formey=D(x) A : Algorithme dapprentissageEnsemble dapprentissage (chantillon)A priorisur lanature de la solution23Les problmes

D(x) =signe(wx+b)

Discrimination Linaire+++++++Codage {-1,1}, fonction de dcision de type heaviside

Estimation... et rve

Stratgies destimationMinimiser les erreursmoindres carresadalineperceptronle neurone formelestimer les paramtres max de vraisemblance, puis rgle de Bayesminimiser un autre critreanalyse discriminante de Fisher

Moindres carrsX = [x1 ; x2];X = [X ones(length(X),1)];yi = [ones(length(x1),1) ; -ones(length(x2),1)];

W = (X'*X)\(X'*yi);west = W(1:2);best = W(3);

Rsistance aux outliers

Moindre carrs stochastiquesADALINE (Widrow Hoff 1960)Algorithme itratif de gradient= D

Algorithme de gradient : illustrationdans le plan w1,w2Le gradient est orthogonal aux lignes diso cot : argument la Taylor+Minimum du cotLignes diso-cot : J(W) = constanteDirection du gradientJ(W)w1w2

3 solutionsLE NEURONE FORMEL

Algorithme itratifnbitemax = 50;k=0;while ((cout > 0) & (k

ADALINE, a marche...

ADALINE des fois a ne marche pasSolution au sens des moindres carrs

Le Perceptron, des fois a ne marche pas......Quand les exemples ne sont pas linairement sparables

Rgle du perceptron(Rosenblatt 1958)codage

Rgle du perceptron(Rosenblatt 1958) Pas de fonction cot minimise preuve de convergence (dans le cas linairement sparable)

Rgle du perceptron(Rosenblatt 1958)

Convergence des algorithmes de gradient

Performances des algorithmes linairesThorme (Vapnik & Chervonenkis, 1974)

Performances des algorithmes linairesThorme (Vapnik & Chervonenkis, 1974)ProbabilitderreurrisqueempiriqueMaldiction de la dimensionnalitAsymptotiquementjouableprcisionborne

Maximum de vraisemblanceDistance de Mahalanobis

Analyse discriminante de Fisher2 classesQuelle est la direction de lespace des caractristiquesqui spare le mieux les deux classes ?

Voil la critre !

Analyse discriminante de Fishermulti classes

Analyse discriminante de Fishermulti classesOn recherche les vecteurs propres de la matrice

AD en matlabind1=find(yi==1); X1=Xi(ind1,:);ind2=find(yi==2); X2=Xi(ind2,:);ind3=find(yi==3); X3=Xi(ind3,:);

n1=length(ind1); n2=length(ind2); n3=length(ind3);n = n1+n2+n3; Sw = (n1*cov(X1)+n2*cov(X2)+n2*cov(X3))/n; %AD m1 = mean(X1); m2 = mean(X2); m3 = mean(X3); mm = mean(Xi);Sb = (n1*(m1-mm)'*(m1-mm)+n2*(m2-mm)'*(m2-mm)+n3*(m3-mm)'*(m3-mm))/n;

% L = chol(Sw);% Linv = inv(L);% [v l]=eig(Linv*Sb*Linv'); % AD% v = Linv'*v; [v l]=eig(inv(Sw)*Sb); % AD [val ind] = sort(-abs(diag(l))); P = [v(:,ind(1)) v(:,ind(2))]; xi = Xn*P;

Conclusion : discrimination linaireMinimiser les erreursmoindres carres : erreur quadratiqueadaline : erreur quadratiqueperceptron : le nombre de mal classle neurone formel : les formes frontirenombre derreur : le simplex -> les SVMestimer les paramtres max de vraisemblance, puis rgle de Bayesminimiser un autre critreanalyse discriminante de Fisher : REPRESENTATION

Apprentissage baysien

Maldiction de la dimensionalitUn problme inatenduestimation de la matrice de covariancecapacit dun classifieur linairele problme de lerreur moyenne !

Estimation du taux derreur

Dudda et Hart pp75 chapitre 3