Recherche d’un même objet / scène

• Approches basées sur des descripteurs locaux

• Approches basées sur des descripteurs globaux

Approche locale

• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points

( )Descripteur local

Approche locale

• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points• Sélection des descripteurs correspondants dans la base

( )Descripteur local 1I 1I nI2I2I

Approche locale

• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points• Sélection des descripteurs correspondants dans la base• Sélection des images les plus similaires

– algorithme de vote– vérification avec des relations de voisinage et globales

Contraintes de voisinage

sans contraintes avec contraintes

Recherche d’images

• Recherche d’un même objet ou d’une même scène

…– rotation image

– facteur d’échelle de 4

– visibilité partielle

Results for recognition

…> 5000images

• image rotation• scale factor of 4

Detected interest points

213 / 190 interest points

Initial matches

58 points are matched

Matches after verification

32 points matches - correct

Image retrieval - results

…> 5000images

• image rotation• scale factor of 4.5• illumination change

Matches

• Iterative estimation of localization, scale, neighborhood

Initial points

Affine invariant Harris points

• Iterative estimation of localization, scale, neighborhood

Iteration #1

Affine invariant Harris points

• Iterative estimation of localization, scale, neighborhood

Iteration #2

Affine invariant Harris points

• Iterative estimation of localization, scale, neighborhood

Iteration #3, #4, ...

Affine invariant Harris points

Affine invariant Harris points

• Initialization with multi-scale interest points

• Iterative modification of location, scale and neighborhood

Image retrieval

…> 5000images

change in viewing angle

Matches

22 correct matches

Recognizing specific objects / scenes

Lola shot 1 Lola shot 2

matched points

Recherche d’un même objet / scène

• Approches basées sur des descripteurs locaux– descripteurs photométriques – descripteurs géométriques (invariants géométriques)

• Approches basées sur des descripteurs globaux– histogramme de couleur– eigenimages

Histogramme de couleur

Eigenimages

…

Reconnaissance d’objets 3D

– point de vue complètement différent

– pas d’invariant 3DDifficultés :

Reconnaissance 3D avec un ensemble d’images

– chaque objet est représenté par un ensemble de vues (36) – l’approche est basé sur les images propres (eigenimages)– chaque objet forme une courbe / surface– sélection du point le plus proche sur la courbe / surface (on obtient la pose)

Columbia database20 objets - 72 vues

Mesure de proximité entre points de vue

Exemple pour la reconnaissance 3D

Exemple pour la reconnaisance 3D

Appariements

Vérification des appariements

calcul du tenseur trifocal :• à partir des appariements entre trois images

• vérification supplémentaire

• calcul robuste permet de rejeter les outliers

image recherchée

images de la base

Ajout de données symboliques

Calcul du tenseur trifocale T

Projection de données stockées avec

les images de la base avec T

Localisation de endroits spécifiques

Ajout de données symboliques

Ajout de données symboliques

Recherche d’images

• Recherche d’images avec un contenu similaire

• Difficultés– définir le contenu sémantique– définir des critères significatifs de similarité visuelle

Recherche d’images

• Recherche d’images similaires– similarité globale– similarité partielle

• Interaction avec l’utilisateur

• Recherche d’objets semblables

Blobworld - exemple de recherche

Similarité partielle de distributions

sélection de la partie utilisée pour la requête

images similaires

Résultats pour la détection de visages

Résultats pour la détection de voitures

Recognizing object classes / categories

Recognizing object classes / categories

positive and negative exemples

retrieved images (database of 600

images)

visual model (descriptors)

Recognizing object classes / categories