CORESA, 25 mai 2004 - Lille

Laboratoire d'InfoRmatique en Image et Systèmes d'informationFRE 2672 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon,

Université Claude Bernard Lyon1 - Bâtiment Nautibus43, boulevard du 11 Novembre 1918 – F- 69622 Villeurbanne Cedex

http://liris.cnrs.fr

FRE 2672

Nicolas.Zlatoff@liris.cnrs.fr – http://liris.cnrs.fr/~nzlatoff

Vision Gestalt et connaissancesUne approche générique à l’interprétation d’images

N. Zlatoff B. Tellez A. Baskurt

CORESA, 25 mai 2004 – Lille

Contexte & problématiqueAugmentation du volume d’images numériques

Nécessité d’outil d’indexation Sémantique Automatique

Des outils content-based limités au bas-niveau QBIC [Niblack-93], VisualSEEk [Smith-96]

[Niblack-93] W. Niblack, R. Barber, W. Equitz, et al. « The QBIC Project : Querying Images by Content Using Color, Texture and Shape », in Proceedings of Storage and Retrieval for Image and Video Databases, Bellingham, WA, 1993, Vol. 1908, pp. 173-187.

[Smith-96] J. Smith, S. Chang, « Tools and Techniques for Color Image Retrieval », in Proceedings of The Symposium on Electronic Imaging : Science and Technology Storage and Retrieval for Image and Video Databases IV , San Jose, CA, 1996, pp. 426-437,

CORESA, 25 mai 2004 – Lille

État de l’artSystèmes knowledge-based Schema [Draper-89], SIGMA [Matsuyama-90] Dépendants des connaissances du domaine (procédurales) Limités à un domaine

Outils de groupements perceptuels Génériques, déconnectés des connaissances [Vasseur-99] Extraient des objets non sémantiques (intermédiaires)

[Draper-89] B.A. Draper, R. Colins, J. Brolio et al. « The Schema System », International Journal of Computer Vision, Vol. 2, 3, 1989, pp 209-250. [Matsuyama-90] T. Matsuyama, V. Hwang, «SIGMA: A Knowledge-Based Aerial Image Understanding System», Plenum, New-York, 1990.[Vasseur-99] P. Vasseur, C. Pégard, M. Mouaddib et al, “Perceptual Organization Approach by Dempster-Schafer Theory”, Pattern Recognition, Vol. 32, 1999, pp. 1449-1462.

Perception ConnaissancesMécanismes

innésConnaissances

Mécanismesinnés

CORESA, 25 mai 2004 – Lille

Description intermédiaire

PositionnementExternaliser les connaissances du domaine et y accéder « au besoin » Ontologies

Ontologie du domaine

contrôle

Image segmentée

Description topologique

Groupementperceptuel

Description sémantique

CORESA, 25 mai 2004 – Lille

Groupement perceptuel (1/2)Aboutir à des objets intermédiaires

Vision Gestalt (approche nativiste) [Wertheimer-58] « Le tout est plus que la somme des parties » Mécanismes de groupements successifs selon 5 propriétés

Proximité (a et b), similarité (c), fermeture (d), continuité (e), symétrie

[Wertheimer-58] M. Wertheimer, Principles of Perceptual Organization, Readings in Perception, pp. 115-135, 1958

.

(a) (b) (c) (d) (e)

CORESA, 25 mai 2004 – Lille

Groupement perceptuel (2/2)A partir du RAG, calcul d’une distance perceptuelle entre les régions i et j: DPij = Dij x Fij x Cij

Dij différence entre les descripteurs bas-niveaux

Fij mesure de l’imbrication mutuelle (fermeture)

Cij favorise la fusion de petites régions (vers une continuité)

Basé sur [Idrissi-03]

n

kkikjij ddD

0

2,, )(

[Idrissi-03] K. Idrissi, G. Lavoué, J. Ricard, et al. « An Object of Interest based Visual Navigation, Retrieval and Semantic Content Identification System», Computer Vision and Image Understanding: Special Issue on Colour for Image Indexing and Retrieval, to appear, 2003.

ij

jiij P

PPF

4

),min(

1

)( MinPixNouMinPixNsiC jiij

CORESA, 25 mai 2004 – Lille

Groupement perceptuel (2/2)Réduction itérative du RAGCritères d’arrêt: DPij < seuil_max Nombre d’objets intermédiaires > nb_min

Question du contrôle et du paramétrage Qu’attend-on? … Qu’est-ce qu’un objet intermédiaire pertinent ? Appel aux connaissances

Image Image segmentée Groupement perceptuel

CORESA, 25 mai 2004 – Lille

Modèle de scène (apparition dans l’image) Objets sémantiques

Taille relative, forme, propriétés « intrinsèques »

Relations topologiques InclusionAdjacence & voisinage (dessus, dessous, gauche, droite)

Composition de la scène « tous les objets ne sont pas pertinents à tous les niveaux

de détail » Groupements perceptuels successifs dans un contexte

simplifié

Scène

OS 1 OS 2 OS 3 OS 4

OS 5OS 6 OS 7 OS 8

OS 11 OS 10 OS 9

N i

v e

a u

d e

d

é t

a i l

Composants primaires

Composants d’ordre 2

Composant d’ordre 3

Modélisation des connaissances

GR

OU

PE

ME

NT

PE

RC

EP

TU

EL

Descriptionprimaire

Descriptiond’ordre 2

Descriptiond’ordre 3

CORESA, 25 mai 2004 – Lille

Contrôle par les connaissancesParamétrage du groupement par les connaissances MinPix ≡ Taille des objets attendus Critères d’arrêt en fonction des objets attendus et du niveau

de composition

Interprétation a posteriori des groupements Initialisation: exploitation des contraintes de scène Propagation de la connaissance

inférence, logique d’ordre 1

Relaxation: vérification de la cohérence

CORESA, 25 mai 2004 – Lille

Domaine d’étudeStèles thessaliennes Bloc de pierre peint et sculpté dans la Grèce Antique Fournies par la Maison de l’Orient et de la Méditerranée

(MOM)

Couronnement

Corps

Geison

Rosettes

Tainia

CORESA, 25 mai 2004 – Lille

Modélisation des connaissances

En collaboration avec les experts de la MOM

Stockage avec Protégé-2000 (frames) Utilisation d’un plug-in Jess pour les inférences

CORESA, 25 mai 2004 – Lille

Groupement perceptuel

(Niveau 1)

Image segmentéeImage originale

Exemples de résultats

Couron-nement

Geison Corps

Couron-nement

Corps

CORESA, 25 mai 2004 – Lille

Conclusions

Une architecture générique Qui s’applique à des domaines contraints géométriquement Validée dans un domaine (stèle)

Groupement perceptuel… Aboutissant à des objets intermédiaires pertinents

… Contrôlé par les connaissances Paramétrage du groupement par les connaissances Validation a posteriori & remise en cause Mécanisme encore incomplet

CORESA, 25 mai 2004 – Lille

Perspectives

Groupement perceptuel Poursuivre l’implantation gestaltiste Lois de symétrie, continuité

Contrôle par les connaissances Incorporé dans le groupement: arrêt local si une structure

est reconnue Utilisation des inférences pour filtrer les résultats