CIDED’04 : 22 Juin 2004

FRE 2645

Système de reconnaissance structurelle de symboles,

basé sur une multi représentation en graphes de régions,

et exploitant une représentation XML des données

Mathieu Delalandre, Eric Trupin, Jean-Marc Ogier

Doctorant

Laboratoire PSI, Université de Rouen, France

Equipe documents graphiques & structurés

CIFED’04, La Rochelle, France

CIDED’04 : 22 Juin 2004

PlanPlan

Introduction Système Expérimentation, résultats, et analyse Conclusion et perspectives

CIDED’04 : 22 Juin 2004

Introduction (1)Introduction (1)

Documents graphiques & symboles

Relations de composition approche structurelle

CIDED’04 : 22 Juin 2004

Introduction (2)Introduction (2)

Reconnaissance

<network><part id=”1”><symbols><labels></labels></symbols></part></network>

PrèsTraitement

Extraction

A

B

D

C

Chaîne de reconnaissance de symboles

CIDED’04 : 22 Juin 2004

Introduction (3)Introduction (3)

Deux étapes:

La reconnaissance (graphe label) Appariement Grammaire

L’extraction (image graphe) Primitives bas-niveaux (segments, arcs, jonctions, etc.)

Sémantique ‘Forte’ / Difficulté d’extraction

Primitives haut-niveaux (régions) Sémantique ‘Faible’ / Difficulté d’extraction

CIDED’04 : 22 Juin 2004

Introduction (4)Introduction (4)

Primitives haut-niveaux (graphes de régions): Deux approches:

Marquage de composantes connexes Diagramme de Voronoi

3 types de relations: Graphes de contraintes Graphes d’inclusion Graphes de voisinage XMLdipi ‘XML document image processing’

combinaison multi-représentation en graphes de régions

CIDED’04 : 22 Juin 2004

Système:Système:Marquage de composantes Marquage de composantes

connexes (1)connexes (1)

Méthode d’Agrégation (analyse 8-connexité)

Avantage : calcul direct de la topologie (cg, surface, delta) Inconvénient : complexité / méthodes classiques

Étape I-3 pixels

Étape II-3 pixels

Étape III-3 pixel

Fin-1 pixel

Départ

CIDED’04 : 22 Juin 2004

Système:Système:Marquage de composantes Marquage de composantes

connexes (2)connexes (2)

Composantes connexes, composantes, occlusions

Image des occlusions, deux étapes : Inversion de l’image et marquage Suppression de la première composante ( fond si bords initialisés)

CIDED’04 : 22 Juin 2004

Système:Système:Graphe de contraintesGraphe de contraintes

Représentation graphe des relations de distance entre composantes Marquage et calcul des distances entre centres de gravité Filtrage utilisateur et automatique ‘analyse d’histogramme’

CIDED’04 : 22 Juin 2004

Système:Système:Graphe d’inclusionGraphe d’inclusion

Représentation arbre des relations d’inclusion composantes/occlusions

Deux étapes: Marquage de l’image composantes et de l’image occlusions Analyse voisinage 8-connexe de l’axe (x0;y0) (x0+dx;y0)

CIDED’04 : 22 Juin 2004

Système:Système:Graphe de voisinage (1)Graphe de voisinage (1)

Représentation graphe des relations de voisinage entre composantes connexes

Deux étapes: Extension des contours et marquage Analyse des frontières

CIDED’04 : 22 Juin 2004

Système:Système:Graphe de voisinage (2)Graphe de voisinage (2)

CIDED’04 : 22 Juin 2004

Système:Système:Graphe de voisinage (3)Graphe de voisinage (3)

Filtrage des frontières minoritaires

Deux méthodes: Seuil utilisateur Seuil automatique ‘analyse d’histogramme’

CIDED’04 : 22 Juin 2004

Système:Système:Graphe hybride (1)Graphe hybride (1)

CIDED’04 : 22 Juin 2004

Système:Système:Graphe hybride (2)Graphe hybride (2)

Application du graphe de contraintes aux graphes de voisinage

CIDED’04 : 22 Juin 2004

Système:Système:Prétraitement d’images (1)Prétraitement d’images (1)

Filtrage composantes connexes

Deux étapes : Tableaux des surfaces des composantes Détermination du seuil

Utilisateur Automatique ‘analyse d’histogramme’

n

iisS

1

1

1

1

n

i i

ii ssrR

Rrj max jss

CIDED’04 : 22 Juin 2004

Système:Système:Prétraitement d’images (2)Prétraitement d’images (2)

CIDED’04 : 22 Juin 2004

Système:Système:Appariement, Edition, XML (1)Appariement, Edition, XML (1)

Appariement Graphes exacts et inexacts Taux de similarité basés sur le recouvrement entre graphes

Acquisition de base de graphes modèles open java graph Base Editor

Représentation XML XML ‘racine’, XGMML, SVG

Batik, OpenJGraph Communication et échange de données

CIDED’04 : 22 Juin 2004

Expérimentation, résultats, et Expérimentation, résultats, et analyse (1)analyse (1)

Symbol contest GREC2003 Jeux de test de 5 à 50 symboles 9 symboles

s1 s2 s3 s4

s5 s6 s7 s8 s9

CIDED’04 : 22 Juin 2004

Expérimentation, résultats, et Expérimentation, résultats, et analyse (2)analyse (2)

Symbol contest GREC2003 Jeux dégradés par différents modèles de bruit degrad1 à degrad6, 100 images chacun, 600 images

CIDED’04 : 22 Juin 2004

Expérimentation, résultats, et Expérimentation, résultats, et analyse (3)analyse (3)

Chaîne : prétraitement + graphe hybride (voisinage occlusions)+ reconnaissance

Evaluation: Bruit de dilatation Bruit structurel

% de graphes extrait inexacts

Le bruit de dilatation : principale source de bruitage

CIDED’04 : 22 Juin 2004

Expérimentation, résultats, et Expérimentation, résultats, et analyse (4)analyse (4)

Calcul des taux de similarité minimum entre classes

Deux familles de classes Faible robustesse (s1, s5,

s7, s8, et s9) Forte robustesse (s2, s3,

s4, et s6)

CIDED’04 : 22 Juin 2004

Expérimentation, résultats, et Expérimentation, résultats, et analyse (5)analyse (5)

Bruit de sur connexion Bruit de fermeture

Bruit de voisinage

CIDED’04 : 22 Juin 2004

Conclusion et perspectivesConclusion et perspectives

Conclusion Adaptabilité (combinaison, XML) Très robuste, facilité de reconnaissance

Problèmes de reconnaissance à faible nombre de classes Sensible au bruit morphologique Complexité

Perspectives Approche statistico-structurelle ( nombre de classes) Méthode de Voronoi ( complexité) Prétraitement contextuel ( sensibilité) Combinaison appariement/grammaire (corriger bruits typiques)