Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées...

42
Recherche d’un même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux

Transcript of Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées...

Page 1: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recherche d’un même objet / scène

• Approches basées sur des descripteurs locaux

• Approches basées sur des descripteurs globaux

Page 2: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Approche locale

• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points

( )Descripteur local

Page 3: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Approche locale

• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points• Sélection des descripteurs correspondants dans la base

( )Descripteur local 1I 1I nI2I2I

Page 4: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Approche locale

• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points• Sélection des descripteurs correspondants dans la base• Sélection des images les plus similaires

– algorithme de vote– vérification avec des relations de voisinage et globales

Page 5: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Contraintes de voisinage

sans contraintes avec contraintes

Page 6: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recherche d’images

• Recherche d’un même objet ou d’une même scène

…– rotation image

– facteur d’échelle de 4

– visibilité partielle

Page 7: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Results for recognition

…> 5000images

• image rotation• scale factor of 4

Page 8: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Detected interest points

213 / 190 interest points

Page 9: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Initial matches

58 points are matched

Page 10: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Matches after verification

32 points matches - correct

Page 11: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Image retrieval - results

…> 5000images

• image rotation• scale factor of 4.5• illumination change

Page 12: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Matches

Page 13: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

• Iterative estimation of localization, scale, neighborhood

Initial points

Affine invariant Harris points

Page 14: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

• Iterative estimation of localization, scale, neighborhood

Iteration #1

Affine invariant Harris points

Page 15: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

• Iterative estimation of localization, scale, neighborhood

Iteration #2

Affine invariant Harris points

Page 16: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

• Iterative estimation of localization, scale, neighborhood

Iteration #3, #4, ...

Affine invariant Harris points

Page 17: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Affine invariant Harris points

• Initialization with multi-scale interest points

• Iterative modification of location, scale and neighborhood

Page 18: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Image retrieval

…> 5000images

change in viewing angle

Page 19: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Matches

22 correct matches

Page 20: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recognizing specific objects / scenes

Lola shot 1 Lola shot 2

matched points

Page 21: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recherche d’un même objet / scène

• Approches basées sur des descripteurs locaux– descripteurs photométriques – descripteurs géométriques (invariants géométriques)

• Approches basées sur des descripteurs globaux– histogramme de couleur– eigenimages

Page 22: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Histogramme de couleur

Page 23: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Eigenimages

Page 24: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Reconnaissance d’objets 3D

– point de vue complètement différent

– pas d’invariant 3DDifficultés :

Page 25: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Reconnaissance 3D avec un ensemble d’images

– chaque objet est représenté par un ensemble de vues (36) – l’approche est basé sur les images propres (eigenimages)– chaque objet forme une courbe / surface– sélection du point le plus proche sur la courbe / surface (on obtient la pose)

Columbia database20 objets - 72 vues

Page 26: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Mesure de proximité entre points de vue

Page 27: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Exemple pour la reconnaissance 3D

Page 28: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Exemple pour la reconnaisance 3D

Page 29: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Appariements

Page 30: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Vérification des appariements

calcul du tenseur trifocal :• à partir des appariements entre trois images

• vérification supplémentaire

• calcul robuste permet de rejeter les outliers

image recherchée

images de la base

Page 31: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Ajout de données symboliques

Calcul du tenseur trifocale T

Projection de données stockées avec

les images de la base avec T

Localisation de endroits spécifiques

Page 32: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Ajout de données symboliques

Page 33: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Ajout de données symboliques

Page 34: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recherche d’images

• Recherche d’images avec un contenu similaire

• Difficultés– définir le contenu sémantique– définir des critères significatifs de similarité visuelle

Page 35: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recherche d’images

• Recherche d’images similaires– similarité globale– similarité partielle

• Interaction avec l’utilisateur

• Recherche d’objets semblables

Page 36: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Blobworld - exemple de recherche

Page 37: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Similarité partielle de distributions

sélection de la partie utilisée pour la requête

images similaires

Page 38: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Résultats pour la détection de visages

Page 39: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Résultats pour la détection de voitures

Page 40: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recognizing object classes / categories

Page 41: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recognizing object classes / categories

positive and negative exemples

retrieved images (database of 600

images)

visual model (descriptors)

Page 42: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux.

Recognizing object classes / categories