1Philippe Ciuciu SHFJ/CEA ESIEA 30/11/2005 Plan I. Définitions & classification II. Approche...

ESIEA 30/11/2005 1Philippe Ciuciu SHFJ/CEA

Plan

I. Définitions & classification

II. Approche fonctionnelle

III. Quelques méthodes de segmentation


Segmentation d’images

Philippe Ciuciu (CEA/SHFJ)

[email protected]

http://www.madic.org/people/ciuciu


Cours préparé à partir de ressources Web et de

Jean-François Mangin (CEA/SHFJ)


La segmentation est un traitement bas-niveau qui consiste à créer une partition de l'image I en sous-ensembles Ri appelés régions telles que :

i

i

jiji

ii

RI

RRji

R

0 ;

0

,

Une région est un ensemble de pixels connexes ayant des propriétés communes qui les différencient des pixels des régions voisines.

I. Définitions & classification


Le choix d'une technique est lié :

A la nature de l'image (éclairage, contours, texture ...)

Aux opérations en aval de la segmentation

- Compression - Reconnaissance de formes, interprétation - Mesure

Aux primitives à extraire (droites, régions, textures,...)

Aux contraintes d'exploitation (tps réel, mémoire ...)

Pas de norme, de méthode unique ! Pas de recette !


Approches « région »

- Basées sur l'homogénéité de caractéristiques localisées spatialement et calculées sur les niveaux de gris

- Homogénéité : variation à l'intérieur d'une région < variation entre 2 régions

- Robustes aux bruits mais mauvaise localisation spatiale


Approches « frontière »

- Basées sur l'information de gradient pour localiser les frontières des régions

- 2 approches : détection et fermeture de contours ou techniques de contours déformables

- Sensibles aux bruits et aux contours mal définis, elles offrent une bonne localisation spatiale


Techniques de segmentation

Approches région

Approches frontière

Seuillage adaptatif

Méthodes variationnelles(contours actifs) Méthodes dérivatives

Template Matching

Texture Méthodes

Markoviennes Approches structurales

Analyse et classification

Détection de contours

+Fermeture des

contours

Vue d'ensemble


II. Approche fonctionnelle

Critères

Mesures

Évolution

Modification Arrêt

InitialisationImage

Carte desrégions

bloc élémentaire


Bloc 1

N1

Bloc k

Nk

Bloc 2

N2

Approche fonctionnelle et méthodes complexes


Bloc Mesures

- Réalise les mesures nécessaires pour évaluer l'homogénéité des régions

- Des mesures images : moyenne, variance, entropie, gradient, texture ...

- spatiales- fréquentielles

- Des mesures régions : forme, surface, périmètre ...


Choix des mesures : un problème compliqué Texture

Détection decontour !

Seuillage


Texture = information visuelle qualitative:Grossière, fine, tachetée, marbrée, régulière,

périodique...Région homogène: Assemblage plus ou moins régulier

de primitives plus ou moins similaires.

Texture microscopique: Aspect chaotique mais régulier, primitive de base réduite.

Texture macroscopique: primitive de baseévidente, assemblage régulier. ?


Approches pour l'analyse de Texture

Structurelles: recherche de primitives de base bien définies et de leur organisation (règles de placement)

Méthodes peu utiliséesStochastiques: primitives mal définies et organisation +/- aléatoire.

Principe: évaluation d’un paramètre dans une petite région(fenêtre de taille dépendant de la texture (!) ): Analyse fréquentielle, statistiques, comptage d’événements, corrélation,....

Pas de modèle général de texture Nombreuses méthodes ad-hoc.


Trouver les bons paramètres

4x4 8x8

16x16 32x32

Le choix et le réglagedes mesures estfondamental en segmentation


Bloc Critères

- Fusionne les mesures en un seul critère qui sera utilisé pour évaluer le besoin de modification

- Introduction d'hyper-paramètres conditionnant le résultat de la segmentation

M

i

ni

ni

n EwC1

.


Bloc Evolution

- Estime à partir des critères le besoin d'évolution des régions

- Evolution par seuillage : binaire ou progressive

- Evolution par dérivée : variation du critère entre 2 itérations


Bloc Modification- Modifie la carte des régions

- N constant : seuillage, contour actif, ...- N+ : split- N- : merge

- Stratégies diverses ... et représentation des régions adaptée

- déplacement de point- étiquetage- maillage

- Considéré comme le cœur des méthodes de segmentation


Bloc Arrêt

- Décide l'arrêt des itération

- Par défaut, arrêt quand la carte de segmentation ne bouge plus

- Autres possibilités : manuel, nombre d'itération, nombre de points modifiés ...


III. Quelques méthodes de segmentation

III.1 Segmentation par seuillage adaptatif

III.2 Segmentation par détection / fermeture de contours

III.3 Segmentation par contours actifs

III.4 Segmentation par Split / Merge

III.5 Segmentation par Template Matching


H(N)

Seuil

N

Objet

Fond

• Détection de vallées, en prenant le minimum de l’histogramme situé entre les 2 pics• Optimisation du seuil S par modélisation Gaussienne p1(x) et p2(x) et en minimisant l’expression basée sur les fonctions de répartition : Min F x S F x S1 1 2 ( ) ( )

III.1 Segmentation par seuillage adaptatif


Objectif : Trouver le seuil S qui minimise la somme des moments centrés d’ordre 2 (somme des Variances) des 2 classes

Centre de gravité G d’une classe

G S

xh x

h xi

x C

x C

i

i

( )

( )

( )

Var S x G h xi ix Ci

( ) ( ) ( ) 2 Variance Var d’une classe

h(x) : histogramme de l’image

Exemple : Méthode Fisher


)()( 21 SVarSVarMinSS

opt

Trouver S qui minimise la somme des variances :

En simplifiant les termes en carrés, cela revient à maximiser la fonctionnelle J(S) :

J S

xh x

h x

xh x

h x

x C

x C

x C

x C

( )

( )

( )

( )

( )

1

1

2

2

2 2

Le problème de seuillage ou de partitionnement revient à chercher S dans {0,255} qui maximise J(S)


Détection decontour

Extraction decontour

Fermeture decontour

La détection de contour est suivie d’une localisation de contour et de la recherche d’un ensemble connexe de points

III.2 Segmentation par détection / fermeture de contours


Détection de contour

• Un contour caractérise la frontière d’une région• Un contour est défini par une variation «rapide» de caractéristique

Contour Contour ? Contour ?


Définition continue d'un contour

Mesure du gradient de f(x,y) dans la direction rLa direction q du contour est obtenue pour :

2 max

),(

gpour

r

yxf

f(x,y)

r

x

g

f x y

r

( , )

0


)sin()cos(

y

f

x

f

r

y

y

f

r

x

x

f

r

f

0)cos()sin(

y

f

x

f

f x y

r

( , )

0

22

max

y

f

x

f

r

f

g

fy

fx

arctan( )


Applications aux images numériques• Pour chaque pixel (i,j), on mesure le gradient dans deux directions orthogonales : Dx Dy

• Calcul de l’amplitude du gradientM D Dx y 2 2

• Calcul de la direction du gradient

Arctan

D

Dy

x

f(i,j)

Dx

Dy

M

Carte d’amplitude

Carte de direction

H1

H2


Contour détecté si M dépasse une certaine valeur (seuil).

Carte de direction utilisée pour «suivre» les contours.

Exemples d’opérateurs H1 H2

Roberts

Prewitt

Sobel

0 1

1 0

1 0

0 1

1 0 1

1 0 1

1 0 1

1 1 1

0 0 0

1 1 1

1 0 1

2 0 2

1 0 1

1 2 1

0 0 0

1 2 1


« Roberts »Zoom

Direction

Amplitude

blanc=...gris = +128x128

(inhomogénéitédu contour)

Exemple de détection de contours


Amplitude

Direction


Éventail de méthodes de détection de contour :• Dérivation au premier ordre

Prewitt, Sobel, Roberts, Kirsh, Compass, dérivateurs...• Dérivation au second ordre

Laplacien, Marr et Hildreth,...• Filtrage optimal

Canny-Deriche, Shen• Modélisation des contours

Hueckel, Haralick

• Morphologie mathématiquegradient morphologique, ligne de partage des eaux...

Caractéristiques:Complexité, précision de localisation, sensibilité au bruit, création de faux contours


Un contour = ligne de crête dans l’image de la norme du gradient (IG):

• des niveaux de gris toujours élevés• de faibles dénivelés le long de ces lignes• de forts dénivelés dans les autres directions

==> les points de contour = maxima locaux de IG

Principe :comparer le gradient G en un point M avec les gradients G1 et G2 des deux voisins pris dans la direction du gradientsi G>G1 et G>G2, alors M est un maximum local

contour

G

G1

G2

direction de G

M

Extraction des contours


Hypothèse : l’image de la norme de gradient est disponible et les extrémités des contours à fermer sont connues

contour de l’image A

arc d’un chemin solution

Trouver le chemin du coût minimum :• S qui minimise

• S qui minimise la distance entre S0 et Sf

S0

Sf

SR

A S A R( ) ( )

Fermeture des contours


• Un contour actif : courbe fermée ou non, initialisée à proximité du contour recherché qu’on déforme par itérations successives afin de converger vers le contour réel• L’évolution du contour actif est régie par une minimisation d’énergie• L’évolution s’arrête par un critère d’arrêt qui correspond à une condition de stabilité

Finalcontour

Initialcontour

La convergence traduit une adéquation entre la forme finale de la courbe C et la fonction image au voisinage de la courbe

III.3 Segmentation par contours actifs


• Le contour actif est assimilé à une courbe C :

s est l‘abscisse curviligne, v(s,t) est un point courant de C, a et b sont les extrémités de C, l’évolution temporelle se fait entre 0 et T• l’énergie E(C) est mesurée à chaque pas t •E(C) intègre :

• les caractéristiques intrinsèques de la courbe C• les caractéristiques de l’image I au voisinage de C• l’interaction entre I et C

C v s t x s t y s t s a b t T ( , ) ( , ), ( , ) ; [ , ], [ , ]0

Contours actifs : définitions


Contours actifs : Energie du contour E(C)

E C E C E C E Cext image( ) ( ) ( ) ( )int

Eint : - lié à la rigidité (tension), il agit sur la longueur- lié à l'élasticité (flexion), il agit sur la courbure

Eext : - introduit des contraintes opérateur (points de contrôle ...)

Eimage : - introduit des caractéristiques images (gradient)


• Calculer l'énergie pour chaque point

• Faire la liste des points par ordre d’énergie décroissante

• Faire évoluer le point avec l'énergie maximale

• Calculer l'énergie nouvelle pour ce point et organiser la

liste

• si la distance entre deux points est trop grande, ajouter

un point entre les deux

Évolution temporelle du contour actif


• Contour initial sélectionné manuellement

• Contour initial relativement proche du contour final

• Modèle non utilisable en présence de texture

• Modèle perturbé en présence de bruit

• Minimisation d'énergie demande l’inversion de matrices

de grande taille à chaque itération

Problèmes liés aux contours actif

calcul très

long


• Méthodes structurales visant à regrouper des ensembles de points ou de régions selon des critères d’homogénéité

• Ces méthodes garantissent la connexité des régions

• Les stratégies utilisées peuvent être :• ascendante : mécanisme de croissance (MERGE) de régions : du niveau élémentaire (ex : pixel) aux grandes régions

• descendante : mécanisme de division (SPLIT) de régions : du niveau haut (ex : image) vers la décomposition en petites régions

III.4 Segmentation par Split / Merge


• Croissance conduite selon deux critères :

• homogénéité pour une région R formée de N pixels

• connexité (adjacence) du pixel à intégrer dans R

• Exemples de contrainte d’homogénéité :

• Variance Var(R) inférieure à un seuil

• Borner le nombre de pixels M dont les NG se situent

hors d’un intervalle [Moy(R)-EcType(R),Moy(R)+EcType(R)]

• Pixel S intégré à R si

• ses caractéristiques (NG, couleur, texture centrée sur

ce point,..) sont proches de celles de R

• S est connexe à R

Méthode ascendante : Croissance de régions


• Les méthodes descendantes divisent l’image ou une partie d’image en régions en utilisant des partitions élémentaires connues comme le quadtree

Méthodes descendantes : division de régions

• Division d’une région R en sous-régions si R ne remplit pas la contrainte d’homogénéité fixée

• Le maillage peut être – régulier ou irrégulier– de type rectangulaire, triangulaire ou polygonal quelconque


• La méthode Template Matching est basée sur la recherche de la position spatiale d’un motif (objet) M connu dans une image I

• La position du motif est donnée par les maxima de la fonction d’intercorrélation CIM

qp, tdéplacemen tout pour

m n

IM qnpmMnmIqpC ),(),(),(

III.5. Segmentation par Template Matching

• La recherche (ou le collage) se fait par le calcul de l’intercorrélation bidimensionnelle C(p,q) entre I et M :


Imageoriginale

Motif

Image d’intercorrélation seuilléeImage d’intercorrélation

1Philippe Ciuciu SHFJ/CEA ESIEA 30/11/2005 Plan I. Définitions & classification II. Approche...

Documents

Transcript of 1Philippe Ciuciu SHFJ/CEA ESIEA 30/11/2005 Plan I. Définitions & classification II. Approche...