Indexation de squences de descripteurs

Indexation de squences de descripteursRomain Tavenard

Jury :Marie-Odile CORDIER, Univ. Rennes IPhilippe JOLY, Univ. P. Sabatier (Toulouse), RapporteurHerv GLOTIN, Univ. Sud-Toulon-Var, RapporteurStphane MARCHAND-MAILLET, Univ. GenvePatrick GROS, INRIA RennesLaurent AMSALEG, CNRS / IRISA1ProblmatiquesExemplesShazamReprises musicalesQuery by Humming

Problmatiques induitesComparerRechercher

Application aux grands volumes de donnesCompromis cot / pertinence4/07/2011Indexation de squences de descripteurs - Romain Tavenard2Des mots simples !2Comparer :Spcificits des squencesDistorsions temporelles ou value-mtriques

Sous-squences

4/07/2011Indexation de squences de descripteurs - Romain Tavenard3Squence : suite lements dans laquelle lordre fait sensExpliquer traits verticaux3Rechercher :Indexation4/07/2011Indexation de squences de descripteurs - Romain Tavenard4IndexDocument XDocument YDocument ZBaseListe de rsultats4PlanRecherche de squencesRduction du cot de comparaisonRduction du cot de recherche

Recherche de sous-squencesRecherche de plus proches voisins locaux efficaceRobustification temporelle

Ncessit de lutilisation de lAlignement DynamiqueIndexation de squences de descripteurs - Romain Tavenard54/07/2011Proposition de reduction des couts pour comparaison de 2 sequences utilisant AD5Dynamic Time Warping (DTW)Principe de baseEn pratique4/07/2011Indexation de squences de descripteurs - Romain Tavenard6 gauche : trouver lalignement complet le meilleur droite : Expliquer matricetrouver le chemin de cot minimal (cot = somme des cases traverses -> on cherche mettre en correspondance des lments qui se ressemblent)ClicDiagonaleClica nous donne une similarit entre deux squences -> recherche dans une base = comparer tout6DTW & Bornes infrieures PrincipeUtilit des bornes infrieures[Keogh2005]4/07/2011Indexation de squences de descripteurs - Romain Tavenard7S1S2S3S4Distance la requteBIDTWObjectif : pr-traitement pour pas calculer la DTW entre la Q et tout gauche :Dabord, calculer LB pour toutes les squencesEnsuite, prendre les seq par ordre de LB croissant car on espre se focaliser sur les petites DTWOn voit quavec S2 on limine dj S1+ LB est proche de DTW, + gnial -> ajustementOn calcule toutes les DTW ncessaires pour tre srs davoir le PPV exact7DTW & Bornes infrieures LimitesRecherche exacte + Cot faible de la borne Mauvais ajustement Calculs de DTW trop nombreux4/07/2011Indexation de squences de descripteurs - Romain Tavenard8

20 Jeux de donnes classiques pour le domaine (UCR)Jeux de donnes en xLB_KeoghOn veut donc amliorer lajustementSachant quon ne veut pas augmenter le cot de la borne, on dcide de faire de lapproximatif cf indexation multidimensionnelle. Objectif : perdre un peu en qualit pour gagner beaucoup en temps de calcul8Apprentissage de la borne infrieure approximativePour un ensemble de paires de squences dapprentissage, on calcule :

On en dduit :4/07/2011Indexation de squences de descripteurs - Romain Tavenard9BIBSDTWpBIABIBS01Utilisateur choisit p : proba de surestimer la DTW, et on en dduit la borne inf approxIntrt : en pratique la courbe bleue est dcale sur la droite et trs pentuePourquoi cela fonctionne :Car rpartition de DTW dans lintervalle due dynamique des squencesRptable sur la base

9Rsultats exprimentauxJeux de donnes UCR Time Series20 jeux de donnesChaque jeu de donnes spar entre :1 jeu dapprentissage (de 24 1 000 squences)1 jeu de test (de 28 6 174 squences)Squences de mme taille dans chaque jeu de donnestiquettes de classification fourniesEx: Jeu de donnes EEG3 tats des rats tudis (veill + 2 phases de sommeil)4/07/2011Indexation de squences de descripteurs - Romain Tavenard10Mme jeu de donnes que plus hautEnsemble de jeux de donnes de provenance diversesJeu de donnes de rfrence dans le domainetiquettes de classif : squences runies par similarit -> exemple ?10

Rsultats exprimentauxAjustement

Recherche de plus proches voisins4/07/2011Indexation de squences de descripteurs - Romain Tavenard11MtriqueCot1-PPVClassificationKeogh1,0001,0000,918BIA p=0,050,1650,7150,913Dire que ce sont les critres de qualit classiques pour ce jeu de donnes & ce domaineLire le tableau verticalement1-PPV : taux de PPV exacts classs en premire positionClassif : attribuer ltiquette du PPV11

DTW & IndexationArbre dindexation : iSAX [Shieh2008]Sous-chantillonnageQuantificationSquences stockes dans les feuillesRecherche = parcours des feuilles bas borne infrieure

4/07/2011Indexation de squences de descripteurs - Romain Tavenard12{0*,0*}[0*,1*]{00,1*}{01,1*}iSAX : sous-chantillonage temporel : ici 2 lments par squenceQuantification avec raffinement quand on parcourt larbre- insister sur le fait quune borne inf est utilise pour la slection des noeuds visiter

Rsultats :- Comparaison LB Approx, seule mthode approximative existant pour iSAX- Un seul point de fonctionnement, cf manuscrit pour autres points12

DTW & IndexationRsultats

Dans le manuscritkPAAk-meansquilibrage4/07/2011Indexation de squences de descripteurs - Romain Tavenard13MthodeCot1-PPVShieh exacte1,0000,789Shieh approximative0,0340,127BIA0,0040,146Rsultats :- Comparaison LB Approx, seule mthode approximative existant pour iSAX- Un seul point de fonctionnement, cf manuscrit pour autres points13PlanRecherche de squencesRduction du cot de comparaisonRduction du cot de recherche

Recherche de sous-squencesRecherche de plus proches voisins locaux efficaceRobustification temporelle

Ncessit de lutilisation de lAlignement DynamiqueIndexation de squences de descripteurs - Romain Tavenard144/07/2011Proposition de reduction des couts pour comparaison de 2 sequences utilisant AD14Recherche de sous-squencesContexte temporelSous-squence commune

Cas dapplication : recherche de reprises musicalesStructure du morceau altreModification locale de la partition joue (insertion darpges, )4/07/2011Indexation de squences de descripteurs - Romain Tavenard15Pk pas LBKeogh ?diagonaleContexte temporelOn a deux squences longuesOn cherche trouver la plus grande sous partie communeCover :Tout le monde reconnat que cest la mme chansonMais cest trs diffrentExpliquer pourquoi cest typique de sous seq15Recherche de reprises musicales[Serr2009] : comparaison de 2 squencesMatrice de similarit binarise (relation est un des plus proches voisins de et sa rciproque)Algorithme de Plus Longue Sous-squence Commune

4/07/2011Indexation de squences de descripteurs - Romain Tavenard16RequteChanson XRelation PPV locale la chansonSi les deux chansons nont rien voir, on trouvera quand mme des PPV, mme avec des grandes valeurs de distancePas dindexation car gens de communaut signal & musiquePas de la DTW car on cherche pas un chemin qui traverse toute la matrice, seulement le plus long chemin dans la matrice -> alignement dynamique aussiTrs coteux (les 2 tapes + pas de filtrage)16Recherche de plus proches voisins locauxUtilisation de la basePlus proches voisins dans la base

Amlioration dune mthode de ltat-de-lartIVFADC [Jgou2011]Estimation de distancesIVFADC+RRaffinement efficace de lestimationPassage lchelle (valu sur 1milliard de descripteurs)

Indexation de squences de descripteurs - Romain Tavenard174/07/2011Utilisation de la base : les PPV correspondent forcment des valeurs petites de distanceAlgo dindexation :Pour chaque lment de la requte, on cherche les PPV dans la baseAlgo approx (cot)

17Serr & IVFADC+R4/07/2011Indexation de squences de descripteurs - Romain Tavenard18RequteChanson XChanson YChanson ZRequteRappeler que ici les points bleus sont calculs par rapport la basetape peu coteuseEnsuite on carte toutes les chansons telles que YNe reste que quelques chansons comme X et ZX est temporellement cohrente avec la requte, + que Z18valuation exprimentaleJeu de donnesYolita (remixes de Madonna)2 018 chansons dans la base (~8M descripteurs), 82 requtesChromagrammes (dimension 12) concatns par groupes de 5 (dimension 60)Fentre danalyse : 200 msRecouvrement entre fentres : 100 ms

4/07/2011Indexation de squences de descripteurs - Romain Tavenard19

- Jeu de donnes issu de ltat-de-lart19valuation exprimentale4/07/2011Indexation de squences de descripteurs - Romain Tavenard20

Dfinir Recall@rdj, sans temporel, on est trs bonsEn utilisant temporel que pour raffinement, on est meilleur que SOTA20PlanRecherche de squencesRduction du cot de comparaisonRduction du cot de recherche

Recherche de sous-squencesRecherche de plus proches voisins locaux efficaceRobustification temporelle

Ncessit de lutilisation de lAlignement DynamiqueIndexation de squences de descripteurs - Romain Tavenard214/07/2011Proposition de reduction des couts pour comparaison de 2 sequences utilisant AD21Alignement dynamiqueUtilisation frquente pour comparer des squences

Est-ce ncessaire ? Car cest coteux !

lment de rponseReprises musicales : Oui

Deux autres cas de figuresRecherche de quasi-rplicats (vido)Recherche de rptitions altres (audio)4/07/2011Indexation de squences de descripteurs - Romain Tavenard22Je pense quePour tayer mon opinion, deux expriences22Approches rfrentesPas dinformation temporelleSacs de motsInformation temporelle localeSacs de mots n-grammes4/07/2011Indexation de squences de descripteurs - Romain Tavenard23

- Faire reference Cover : on a vu que des 5-grammes marchaient bien23Recherche de quasi-rplicats (vido)CadreDformations uniquement value-mtriquesCorpusJeu dapprentissage : 1 jour de flux TV (France 2)Base : 2 jours de flux TV (France 2) distincts du jeu dapprentissageFlux dcoup en segments de 5 secondesRequtes : 33 jingles annonant la publicit France 2Descripteurs1 image 1 Signature binaire 64-bit [Naturel2005][Chantamunee2008] TRECVID, par exemple

4/07/2011Indexation de squences de descripteurs - Romain Tavenard24Recherche de quasi-rplicats (vido)

4/07/2011Indexation de squences de descripteurs - Romain Tavenard25Dformations du flux non temporellesAlignement dynamique = ide coteusen-grammes pnalissPourquoi les n-grammes sont pourris :Descripteurs suffisamment discriminantsDu coup, temporel pas ncessaireDescripteurs de plus grande dimension quantifies en un nombre fixe de symboles : erreur de quantification + forte25Recherche de rptitions altres (audio)CadreDformations temporelles fortes : un mot est rpt par plusieurs locuteursCorpusJeu dapprentissage : 8 heures de flux radio (France Info)Base : 1 heure de flux radio (France Info)Flux dcoup en segments de 5 secondesRequtes : 78 enregistrements de motsDescripteursMel Frequency Cepstral Coefficients (dimension 12)[Muscariello2009,Fraihat2010] par exemple4/07/2011Indexation de squences de descripteurs - Romain Tavenard26Recherche de rptitions altres (audio)4/07/2011Indexation de squences de descripteurs - Romain Tavenard27Alignement dynamique largement utilisSacs de mots bruts insuffisants

Information temporelle faible suffisante

n-grammes utilesCar ils apportent plus de discrimination, cf exemple27Faiblesses de lalignement dynamique4/07/2011Indexation de squences de descripteurs - Romain Tavenard2828Alignement dynamique etmodle de dformationsVariabilit temporelle de type insertions/suppressions Alignement dynamique OKExemple : Reprises musicalesVariabilit temporelle dun autre type Alignement dynamique questionnableExemple : ParoleAbsence de variabilit temporelleAlignement dynamique inadaptExemple : Recherche de quasi-rplicats tudier la nature des transformations applicables avant de choisir une mtrique de similarit4/07/2011Indexation de squences de descripteurs - Romain Tavenard29- Insister sur conclusion29Conclusion gnralePropositions drives de lalignement dynamique dans deux cadres distinctsDTW classique entre squences Mthode de rduction de cot de calcul au dtriment de lexactitudeRecherche de sous-squences communesPremire tape de filtrage rapide avec peu dinformation temporelleRobustification utilisant lalignement dynamique

Limites de lalignement dynamiqueImportance de la nature des dformations considres4/07/2011Indexation de squences de descripteurs - Romain Tavenard30Perspectives - 1Modles de dformations temporelles plus adaptes au cas dutilisationTravail entam sur la recherche de reprises musicales

Attaquer le problme des grandes valeurs dans la matrice de similaritDTW symbolique pour des donnes numriquesAnalogie avec les mthodes robustes en statistiques4/07/2011Indexation de squences de descripteurs - Romain Tavenard3131Perspectives - 2Dcouverte de motifsNcessit dune approche plusieurs niveauxIntrt des reprsentations peu coteuses intgrant peu dinformation temporelle

Classificationcf. recherche de reprises qui est proche de la classificationSupervise : Mthodes noyau & DTWNon supervise : k-means & DTW

4/07/2011Indexation de squences de descripteurs - Romain Tavenard3232BonusLBUB vs. IDDTWIterative Deepening Dynamic Time WarpingEstimation de la DTW des niveaux de rsolution croissantsFiltrage progressif des squences4/07/2011Indexation de squences de descripteurs - Romain Tavenard33

BonusDTW & pnalisationRecherche de mots parls[Fraihat2010] suggre de pnaliser la diagonale4/07/2011Indexation de squences de descripteurs - Romain Tavenard34

BonusVido & courts extraits

4/07/2011Indexation de squences de descripteurs - Romain Tavenard3535BonusSquences illustratives4/07/2011Indexation de squences de descripteurs - Romain Tavenard36

Recherche approximative de plus proches voisins4/07/2011Indexation de squences de descripteurs - Romain Tavenard37S1S2S3S4DTWS1S2S3S4DTWS1S2S3S4DTWLBLBUBDTW loral : point sur ce quon va faire : utiliser la mme mthode que pour les bornes exactes, mais avec des bornes approximatives, montrer que dans certains cas, on se plantera (mmes exemples que plus haut)

37