Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet...

3 juillet 2006 Indexation

Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Indexation d’images

Henri Maître


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

L’indexation : un avatar des masses de données

Indexer pour retrouver Retrouver en nommant Retrouver en décrivant Retrouver en montrant

Indexer pour trier Trier par catégories Trier par ordre

Indexer pour naviguer

Indexer pour … connaître


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Des objectifs différents des indexations différentes

Recherches catégorielles dans les bases ouvertes

Recherches exactes dans les bases ouvertes

Recherches catégorielles dans les bases spécialisées


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Les bases ouvertes


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n


Objectif : recherche « sémantique »


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n


Rechercher en nommant : index = mots Annotation :

coldfreshlandformsnatural worldnorth americaoregonpacific northwestpacific statespositive conceptsrunning watersnowstatesstreamstributaryusawaterweather (ex : LTU)


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n


Rechercher par l’exemple : quels index ? Index globaux, Robustes (donc imprécis), Invariants par échelle, déformations géométriques ou colorimétriques

Histogrammes quantifiés Histogrammes locaux Liste des plages dominantes et position Distribution des contrastes Densité de contours … N. Boujemaa, Technovision 2006

Leur nombre : 1 image = ~ 1000 indices Problème : quelle métrique ?


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n


Rechercher par l’exemple ! Quelle sémantique ?


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Recherche exacte dans les bases ouvertes

Retrouver un objet précis, sujet à des « déformations » :

Taille, cadrage Masquage Projection perspective (affine ?) Changement de contraste, d’éclairage Déformations ? Vieillissement

A. Zisserman, C. Schmidt, F. Jurie, 2005

Quels index ?

Des points caractéristiques (Harris, Deriche, Moravec, etc. ) Des descripteurs locaux autour des PC (gradients, ondelettes, etc.)

Nombre de PC de 100 à 1 000 Nombre de descripteurs : 10 à 30


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Retrouver un objet précis, sujet à des « déformations »

SIFT (Scale Invariant Feature Transform) Lowe, 2004

Filtrage espace-échelle

Recherche des points invariants par changement d’échelle = maxima dans le scale space de la dérivée seconde

Interpolation de la position des points

Test d’élimination des bords des objets


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Méthode de Lowe (suite)

Le descripteur de chaque point caractéristique :

ÑL(x,y)=[L(x+1,y)-L(x-1,y),L(x,y+1)-L(x,y-1)]T


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Méthode de Lowe

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

Détection des points Caractéristiques et représentation des Descripteurs

(J. Rabin - 2006)


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Méthode de Lowe

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x xx

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

xxx

x

xx

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x xx

x

x

x

x

x

x

x

xx

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x xx

x

x xx

x

x

x

x

x

x

x

x

x

x

x

200 400 600 800 1000 1200

50

100

150

200

250

300

350

400

450

Robustesse des descripteurs

(J. Rabin - 2006)


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

SIFT :

16 matchs

SIFT modifié a contrario :

260 matchs

J. Rabin, Y. Gousseau, J. Delon ( 2006)


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Recherche catégorielle dans des bases spécifiques

Exemples : Biomédical Biologie Astronomie Télédétection et imagerie satellitaire

Objectif : retrouver des scènes qui « ressemblent » à une scène donnée


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Quels index ?

Radiométrie En multispectral : canaux + NDVI + IB + ISU

Textures Filtres de Gabor Descripteurs des matrice de cooccurrence d’Haralick Les filtres miroirs en quadrature Les décompositions en contourlets Les décompositions en ondelettes adaptables (steerable wavelets) Paramètres des champs de Markov (gaussien, laplacie, loglaplacien …)

Structures Contours, régions Objets : routes, bâtiments, rivières, lacs Réseaux


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Nos choix

Indexation de petites vignettes (64 x 64) = 320 m x 320 m sur le terrain

Mélange de primitives : Radiométrie (Panchro seul) Structure (contours) Ondelettes : 2 directions, 4 échelles

Sélection automatique des primitives (Fisher FS ou k-means FS)


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Performance des algorithmes

Classification d'imagettes (128 x 128) :ville, forêt, champs, mer, désert et nuage600 images par classeRésultat : SVM gaussien, erreur moyenne de 1.4% ± 0.4%(147 attributs,validation croisée)

Vraie\Prédite

(%)

ville nuage désert champs forêt mer

ville 98.8 0 0 0.5 0 0

nuage 0 99.3 0.2 0 0 0

désert 0 0 99.0 0.3 0 0

champs 0.5 0.2 0.8 98.1 0.3 0.4

forêt 0 0.2 0 0 98.0 1.4

mer 0.7 0.3 0 1.0 1.7 98.2


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Combien de primitives ?


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Indexation : ce qui n’est pas résolu

Aucune preuve de qualité pour l’objectif final

Aucune démonstration de minimalité

Beaucoup trop d’index : il faut au moins une couche supplémentaire

Pas de sémantique


Co

mp

eten

ce C

entr

e o

n I

nfo

rmat

ion

Ext

ract

ion

an

d I

mag

e U

nd

erst

and

ing

fo

r E

arth

Ob

serv

atio

n

Comment introduire du sens ? Comment trouver des mots ?

Méthodes supervisées Totalement = annotation manuelle Partiellement (apprentissage) = KIM M. Costache

Analyse du contexte des images Titre, légende, texte environnant, site web = LIP6 : Detyniecki AVEIR

Utilisation de bases de données annexes Corine Land Cover (apprentissage de classes et de catégories) M. Liénou Cartes et SIG (annotation) = EOGIS

Inférence de sémantique Modèles latents = Blei & Jordan J.B. Bordes Déduction « ontologique » I. Kyrgyzov DaFOE4App

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet...

Documents

Transcript of Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet...