Évaluation de lasegmentation

CHABRIER SébastienLaboratoire de Vision et Robotique – UPRES EA 2078

ENSI de Bourges – Université d’Orléans10, Bd Lahitolle18000 Bourges

Introduction

La segmentation : traitement bas niveau consistant à partitionner une image en régions ou déterminer leurs frontières.

Image originale Résultat de segmentation

pas toujours d’adéquation entre :

� un résultat de segmentation (niveau de précision,..),

� les objectifs de l’interprétation.

Introduction

Quelle est la meilleure

segmentation?

Image originale

Résultats de segmentation

Introduction

Évaluation supervisée

Évaluation non supervisée

Étape primordiale pour l’interprétation d’images

Il existe un grand nombre de méthodes

Qualité difficile à évaluer

Plusieurs critères proposés

Souvent dédié

Complémentarité et applicabilité méconnues

Segmentation

Quel(s) critère(s) choisir?

Coopération possible?

Obj

ectif

s

Plan

1. Évaluation non supervisée

2. Étude comparative

3. Définition de nouveaux critères

4. Conclusion et perspectives

Évaluation non supervisée

Évaluation de critères de qualité

Segmentation région

Uniformité intra-régionContraste inter-régionsMesures topologiques

(forme, taille, quantité…)Mesures hybrides

Évaluation non supervisée

Peu de critères

Segmentation contour

Présentation de quelques critères

1. Critère de Borsotti

2. Critères de Lévine et Nazif (Intra, Inter, Intra/Inter)

3. Critère de dispersion des attributs de Levine et Nazif

4. Critère de Zéboudj

5. Critère de Rosenberger

Critère de Borsotti

Les régions d’un résultat de segmentation doivent :� être uniformes et homogènes,� contenir peu de petits trous,� avoir des caractéristiques d’uniformité significativement différentes pour des régions adjacentes.

∑=

++=RN

k k

k

k

kRAA

AeN

AIQ

1

22 )(

)log(11)( χ

α

Critères de Lévine & Nazif

Contraste intra région:

Contraste inter régions:

∑=k

RkCIntra 2σ

[ ] [ ][ ] [ ]

∑∑ ∑

∈ +−

=k

k

k RVR xk

xkRRk

A

RERERERE

pACInter kx

xk

)(

/

Critère dispersion des attributs

W

WAtt=(a1,a2,…an)

∑ ∑ ∑∈ ∈

−=

k Rji Rjikk k

jiAttA

jiAttCAttribut2

),( ),(

),(1),(

Critère de Zéboudj

1)()(

),( −−

=L

tIsItsc

{ }∑∈

∩∈=iRs

ii

RsWttscMaxA

iCI )(),,( 1)(

{ }∑∈

∉∈=iFs

ii

RtsWttscMaxl

iCE ),(),,( 1)(

Contraste entre 2 pixels s et t:

Contraste interne d’une région Ri

Contraste externe d’une région Ri

Critère de Zéboudj

∑ ×i

ii RCAA

)(1

=<<−

=sinon0

0)(si)(

)()(0si)()(1

)( iCIiCE

iCEiCIiCEiCI

RC i

Contraste d’une région Ri :

Contraste global:

Critère de Rosenberger

Disparité intra-région globale: valeur normalisée de l’homogénéité de l’ensemble des régions:� Cas uniforme : écart-type normalisé du niveau de gris,� Cas texturé : mesure de dispersion des attributs de texture calculés à l’intérieur de la région.

Disparité inter-régions globale:

2)()()( IDID

IFjj

j −=

∑=

=m

RDNr

mID

j

i

ji

ji

jj

1

)(1)(

W

W(a1,a2,…an)

Disparité inter-régions : valeur normalisée de la dissimilarité d’une région avec ses voisines :

� Uniforme - Texturé :

�Uniforme – Uniforme :

� Texturé – Texturé :

NGRERE

RRDji

ji][][

),(−

=

ji

jiji

BBBBdRRD += ),(),(

1),( =ji RRD

Critère de Rosenberger

Plan

1. Évaluation non supervisée

2. Étude comparative

i. Protocole expérimental

ii. Résultats

iii. Application à des images réelles

iv. Synthèse

3. Définition de nouveaux critères

4. Conclusion et perspectives

Bases d’images

Mixt : 100 images mixtes

Unif : 100 images uniformes

Text : 100 images texturées

Textures de l’album de Brodatz

Résultats de segmentation

Image originale Nuées1 Nuées2 Nuées3 Edison

Mixt

Unif

Text

Critères d’évaluation

Non supervisés

1. Critère de Borsotti

2. Critères de Lévine et Nazif (Intra, Inter, Intra/Inter)

3. Critère de dispersion des attributs de Levine et Nazif

4. Critère de Zéboudj

5. Critère de Rosenberger

Référence (Supervisé)

1. Critère de Vinet

Critère de VinetTaux de recouvrement maximal

∑ ∩−='

2121 )(),(

Cji cccardNCCD

Résultat de segmentation

Vérité terrain

Évaluation non supervisée

Critères Nuées1 Nuées2 Nuées3 EDISONBorsotti 0.0031 0.0016 0.0028 0.0005Zeboudj 0.38 0.20 0.06 0.72

Inter 0.19 0.18 0.19 0.38Intra 2.78 0.04 0.08 0.01

Intra/inter 0.49 0.56 0.55 0.57Rosenberger 0.70 0.76 0.65 0.69

Attributs 0.14 0.21 0.20 0.41Vinet 0.77 0.76 0.75 0.79

Évaluation non supervisée

Critères Nuées1 Nuées2 Nuées3 EdisonBorsotti 0.1608 0.1342 0.1013 0.0535Zeboudj 0.02 0.01 0.00 0.23

Inter 0.10 0.07 0.05 0.16Intra 14.06 8.48 4.96 2.45

Intra/inter 0.52 0.51 0.50 0.54Rosenberger 0.62 0.60 0.70 0.43

Vinet 0.22 0.41 0.45 0.28

Évaluation non supervisée

-0.02-0.13-0.23Attributs

0.3550.1110.295Rosenberger

-0.01-0.35-0.43Intra-inter

-0.02-0.11-0.28Intra-région

-0.09-0.21-0.55Inter-région

-0.141-0.0030.9Zeboudj

-0.206-0.263-0.845Borsotti

TextMixtUnif

Facteurs de corrélation par rapport au critère de Vinet

Application à des images réelles

Image originale FCM PCM Edison

FCM PCM EDISONBorsotti 0.0222 0.0297 0.0155Zeboudj 0.6228 0.6124 0.5428

Inter 0.0901 0.0889 0.1099Intra 0.7258 0.7112 0.9693

Intra-Inter 0.5202 0.5239 0.5275Rosenberger 0.6379 0.6328 0.6973

Application à des images réelles

Image originale FCM PCM Edison

FCM PCM EDISONBorsotti 0.1952 0.2793 0.0293Zeboudj 0.1094 0.1172 0.0432

Inter 0.1401 0.1394 0.2559Intra 6.2846 7.5824 1.1364

Intra-Inter 0.5196 0.5214 0.5419Rosenberger 0.4699 0.4677 0.9074

Synthèse évaluation non supervisée

Critères de Zéboudj ouBorsotti dans les cas

uniforme ou peu texturé

Critère de Rosenberger dans le

cas texturé

Choix de critères :

Plan

1. Évaluation non supervisée

2. Étude comparative

3. Définition de nouveaux critères

4. Conclusion et perspectives

Définition de nouveaux outils d’évaluation

Plusieurs approches envisagées:

� Amélioration d’un critère existant

� Fusion de critères d’évaluation :

� Par combinaison linéaire

� Par apprentissage

Amélioration d’un critère

Bilan étude comparative:

Critère Rosenbergerefficace dans le cas texturé (cas le plus difficile)

moins eficace dans le cas uniforme

Critères de Borsotti et Zéboudj

efficaces dans le cas uniforme

mauvais résultats dans le cas texturé

Principe du critère Rosenberger�Détection du type de chaque région�Calcul de caractéristiques adaptées au type de région

Solutions:�Amélioration de la détection de la nature texturée ou uniforme des régions�Intégration du critère de Zéboudj dans le cas uniforme

Fusion de critères

Objectif :Combiner les avantages de plusieurs critères pour en obtenir un plus performant par rapport à une référence

Zébou

dj

Bor

sott

i

Ros

enbe

rger

R

Z

Bé

b

ou

d

j

Fusion Nouveau Critère

o

s

e

nb

e rg

g

e

r o

r

tt i

Fusion de critères

Première approche: Combinaison linéaire

Nouveau Critère = a*Zéboudj + b*Borsotti + c*Rosenberger

On cherche alors (a,b,c) pour que le nouveau critère soit optimal par rapport à une référence (Critère de Vinet)

Utilisation d’un algorithme génétique et de la base ayant servi pour l’étude comparative pour l’optimisation

]1,1[−∈

Fusion de critères

Deuxième approche: Combinaison par apprentissage

Mesure de qualité entre 1 et 10

Apprentissage des données de l’étude comparative (SVM)

Borsotti Zéboudj Rosenberger VinetSegmentation 1 2,12 3,45 1,50 3Segmentation 2 2,14 3,50 1,54 5Segmentation 3 2,22 3,77 1,69 4Segmentation 4 2,22 3,79 1,69 6Segmentation 5 2,14 3,47 1,51 2Segmentation 6 2,39 4,06 1,86 1Segmentation 7 2,30 3,78 1,58 5

Résultats expérimentaux

Gain de similarité de comportement par rapport au critère de Vinet sur une base de 300 images et 1200 résultats de segmentation :

� Critère de Rosenberger amélioré : 5%

� Fusion par combinaison linéaire : 10%

� Fusion par apprentissage : 20%

Perspectives

1. Évaluation non supervisée

2. Étude comparative

3. Définition de nouveaux critères

4. Conclusion et perspectives

Conclusions

Améliorations possibles par fusion de critères existants

Perspectives

• Choix de paramètres d’entrée d’un algorithme de segmentation• Segmentation par optimisation d’un critère d’évaluation

Conclusions et perspectives

Cas non supervisé Critères de Zéboudj ou Borsotti dans les cas uniforme ou peu texturé

Critère de Rosenberger dans le cas texturé

Fin

Merci de votre attentionhttp://www.ensi-bourges.fr/perso/chabrier/

Multiseuillage

Image originale : 256 NG Image multiseuillée : 26 NG

Niveau de GrisNiveau de Gris

Nom

bre

de P

ixel

s

Nom

bre

de P

ixel

s

Retour

Album de Brodatz

Retour

Détection de régions texturées

-2,00E-01

0,00E+00

2,00E-01

4,00E-01

6,00E-01

8,00E-01

1,00E+00

1,20E+00

1 78

155

232

309

386

463

540

617

694

771

848

925

1002

1079

1156

1233

1310

1387

1464

1541

1618

1695

1772

1849

1926

Images Texturées < 750 < Images Uniformes

Val

eur

de

l'att

rib

ut

Attribut Corrélation

VT

Critères d’attributs testés� Angular Second Moment� Contrast� Correlation� Sum of Squares: Variance� Inverse Difference Moment� Sum Average� Sum Variance� Sum Entropy� Entropy� Difference Variance� Difference Entropy� Information Measures of Correlation� Information Measures of Correlation� Information sur l'homogeneite

La base d’images monorégion est composée d’images 128x128 pixels :� 50 images extraites de textures de Brodatz avec fort contraste (T1)� 50 images extraites de textures de Brodatz avec faible contraste (T2)� 50 images extraites de textures de Brodatz avec faible contraste et rotations (T3)� 500 images extraites de textures d’une base récupérée sur internet (T4)� 100 images extraites de textures d’une autre base récupérée sur internet (T5)� 100 images uniformes non bruitées avec un NG croissant entre 0 et 255 (U)� 100 images uniformes avec un bruit impultionnel de 0 à 100% avec un NG aléatoire (UBI)� 500 images uniformes avec un bruit Gaussien par groupes de 50 avec NG croissant et écart type de 5 10 20 30 40 50 60 70 80 90. (UBGX)� 500 images uniformes avec un bruit Multiplicatif par groupes de 50 avec NG croissant et écart type de 5 10 20 30 40 50 60 70 80 90 . (UBMX)