DEA Perception et Traitement de l’Information

download DEA Perception et Traitement de l’Information

of 29

  • date post

    20-Mar-2016
  • Category

    Documents

  • view

    33
  • download

    4

Embed Size (px)

description

DEA Perception et Traitement de l’Information. Reconnaissance des formes Apprentissage linéaire S. Canu http://psichaud.insa-rouen.fr/~scanu/RdF. 1. RdF et apprentissage. Les problèmes. Ensemble d’apprentissage (échantillon). 3. A priori sur la nature de la solution. 2. - PowerPoint PPT Presentation

Transcript of DEA Perception et Traitement de l’Information

  • DEA Perception et Traitement de lInformationReconnaissance des formesApprentissage linaire

    S. Canu

    http://psichaud.insa-rouen.fr/~scanu/RdF

  • RdF et apprentissageD : Algorithme de Reconnaissancedes FormesUne forme x(vecteur formedes caractristiques)Cest la formey=D(x) A : Algorithme dapprentissageEnsemble dapprentissage (chantillon)A priorisur lanature de la solution23Les problmes

    D(x) =signe(wx+b)

  • Discrimination Linaire+++++++Codage {-1,1}, fonction de dcision de type heaviside

  • Estimation... et rve

  • Stratgies destimationMinimiser les erreursmoindres carresadalineperceptronle neurone formelestimer les paramtres max de vraisemblance, puis rgle de Bayesminimiser un autre critreanalyse discriminante de Fisher

  • Moindres carrsX = [x1 ; x2];X = [X ones(length(X),1)];yi = [ones(length(x1),1) ; -ones(length(x2),1)];

    W = (X'*X)\(X'*yi);west = W(1:2);best = W(3);

  • Rsistance aux outliers

  • Moindre carrs stochastiquesADALINE (Widrow Hoff 1960)Algorithme itratif de gradient= D

  • Algorithme de gradient : illustrationdans le plan w1,w2Le gradient est orthogonal aux lignes diso cot : argument la Taylor+Minimum du cotLignes diso-cot : J(W) = constanteDirection du gradientJ(W)w1w2

  • 3 solutionsLE NEURONE FORMEL

  • Algorithme itratifnbitemax = 50;k=0;while ((cout > 0) & (k
  • ADALINE, a marche...

  • ADALINE des fois a ne marche pasSolution au sens des moindres carrs

  • Le Perceptron, des fois a ne marche pas......Quand les exemples ne sont pas linairement sparables

  • Rgle du perceptron(Rosenblatt 1958)codage

  • Rgle du perceptron(Rosenblatt 1958) Pas de fonction cot minimise preuve de convergence (dans le cas linairement sparable)

  • Rgle du perceptron(Rosenblatt 1958)

  • Convergence des algorithmes de gradient

  • Performances des algorithmes linairesThorme (Vapnik & Chervonenkis, 1974)

  • Performances des algorithmes linairesThorme (Vapnik & Chervonenkis, 1974)ProbabilitderreurrisqueempiriqueMaldiction de la dimensionnalitAsymptotiquementjouableprcisionborne

  • Maximum de vraisemblanceDistance de Mahalanobis

  • Analyse discriminante de Fisher2 classesQuelle est la direction de lespace des caractristiquesqui spare le mieux les deux classes ?

    Voil la critre !

  • Analyse discriminante de Fishermulti classes

  • Analyse discriminante de Fishermulti classesOn recherche les vecteurs propres de la matrice

  • AD en matlabind1=find(yi==1); X1=Xi(ind1,:);ind2=find(yi==2); X2=Xi(ind2,:);ind3=find(yi==3); X3=Xi(ind3,:);

    n1=length(ind1); n2=length(ind2); n3=length(ind3);n = n1+n2+n3; Sw = (n1*cov(X1)+n2*cov(X2)+n2*cov(X3))/n; %AD m1 = mean(X1); m2 = mean(X2); m3 = mean(X3); mm = mean(Xi);Sb = (n1*(m1-mm)'*(m1-mm)+n2*(m2-mm)'*(m2-mm)+n3*(m3-mm)'*(m3-mm))/n;

    % L = chol(Sw);% Linv = inv(L);% [v l]=eig(Linv*Sb*Linv'); % AD% v = Linv'*v; [v l]=eig(inv(Sw)*Sb); % AD [val ind] = sort(-abs(diag(l))); P = [v(:,ind(1)) v(:,ind(2))]; xi = Xn*P;

  • Conclusion : discrimination linaireMinimiser les erreursmoindres carres : erreur quadratiqueadaline : erreur quadratiqueperceptron : le nombre de mal classle neurone formel : les formes frontirenombre derreur : le simplex -> les SVMestimer les paramtres max de vraisemblance, puis rgle de Bayesminimiser un autre critreanalyse discriminante de Fisher : REPRESENTATION

  • Apprentissage baysien

  • Maldiction de la dimensionalitUn problme inatenduestimation de la matrice de covariancecapacit dun classifieur linairele problme de lerreur moyenne !

  • Estimation du taux derreur

    Dudda et Hart pp75 chapitre 3