cours-Segmentation d’images médicales

100
Segmentation d’images médicales  Hervé Delingette  Herve.Delingette@i nria.fr 

Transcript of cours-Segmentation d’images médicales

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 1/100

Segmentation d’images médicales

 Hervé Delingette

 [email protected] 

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 2/100

Segmentation

1. Généralités

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 3/100

03/06/2008 3

Segmentation d’Images

2D 3D 4D (3D+T)

Rayons X IRM Gated-SPECT

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 4/100

03/06/2008 4

Approches AscendantesImages Médicales

Extraction d’Amers

Groupement d ’Amers

Région/Frontière

Extraction

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 5/100

03/06/2008 5

 Nature des amers

Information d’intensitéInformation d’intensité

Information de formeInformation de forme

Information de mouvementInformation de mouvement

Information de positionInformation de position

Extrait Combine

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 6/100

03/06/2008 6

Approches Descendantes

Construction de Modèles:

Forme et Apparence

Initialisation du Modèle

Ajustement du Modèle

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 7/100

03/06/2008 7

Méthodes Région ou

Frontière

Segmentation RégionSegmentation

FrontièreImage

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 8/100

03/06/2008 8

Validation of Segmentation Algorithm

• Intrinsic Validation : comparison against

• Observation of Physical Phantoms• Difficult and expensive to build

• May not be representative of real data

• Simulated images (MNI Brain Atlas,…)• Difficult to simulate artefacts

• Segmentation of experts

• Large inter and intra variability of segmentationacross experts

• May not be representative of population variability

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 9/100

03/06/2008 9

How to judge segmentations of the peripheral zone?

0.5T MR of prostatePeripheral zone and segmentations

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 10/100

03/06/2008 10

Deux Méthodes de

Segmentation

Description de 2 méthodes de segmentation :

•Ascendante ou Basée Voxel : Seuillage /Classification

•Descendante ou Basée Modèle :Modèles déformables2D et 3D

Thresholding /Classification Deformable Models Markov Random Field

Shape Information None Important local

Intensity Information Essential Important Important

Boundary / Region Region Boundary Region

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 11/100

Segmentation

2.a Seuillage

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 12/100

03/06/2008 12

• Idée principale :

une structure est uniquement caractérisée par 

 ses niveaux de gris dans l’image

• Algorithme de seuillage élémentaire :• Seuillage entre deux niveaux de gris (fenêtrage)

• Opérations de morphologie mathématique

• Erosion et Dilation

• Fermeture et Ouverture

• Extraction de composantes connexes

Seuillage

Valide pour les structures fortement contrastées

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 13/100

Images Fortement Contrastées (1)

Exemple : Image scanner 

du bassin

Seuillage interactif 

Image Seuillée

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 14/100

Images Fortement Contrastées (2)

Image après opérations de

morphologie mathématique

Isosurface

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 15/100

Segmentation

2.b Classification

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 16/100

03/06/2008 16

Limitation of thresholding

Thresholding :

• Choice of threshold can be computed from

grey-level histogram

• Does not assume any spatial correlation of voxel intensity

• Does not take into account the effect of 

partial volume effect (PVE)

Use of classification methods

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 17/100

03/06/2008 17

Segmentation - ProblemsSegmentation - Problems

Noise & Partial volume effect

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 18/100

03/06/2008 18

MR images are corrupted by a smoothintensity non-uniformity (bias).

Image withbias

artefact

Corrected

image

Segmentation - ProblemsSegmentation - Problems

Intensity bias field

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 19/100

03/06/2008 19

Méthode de Classification (1)• Il est bien souvent illusoire de considérer qu’un voxel n’appartient qu’à un seul

type de tissu

• Il est raisonnable d’estimer que chaque voxel x à une probabilité pk ( x )d ’appartenir à la classe k de tissu (1≤ k ≤ K)

1)(1

=∑=

 K 

k   x p

Exemple

cas du foie

en imagerie

scanner avec 3

classes de

tissus

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 20/100

03/06/2008 20

• Various classification methods :

• Fuzzy c-means

• General classification approach

• Non parametric

• EM Algorithm• Parametric approach (mixture of Gaussians)

• Can take into account bias field

• Curve fitting• Use a hierarchical approach

• Non-linear optimization

Classification Method (2)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 21/100

03/06/2008 21

Fuzzy C-means

• Aucune hypothèse sur la nature de l’image

(approche non paramétrique)• Requiert peu d’information a priori :

• Le nombre de classes K de tissus• Des échantillons de chaque classe, c’est à dire

quelques voxels par classe.

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 22/100

03/06/2008 22

Fuzzy c-means (Concept)

• Idée de la méthode : un voxel est attribué à

la classe dont le centre de l’amas est le plus

« proche » de l ’intensité du voxel

2 centres

initiaux

Centres

des amas

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 23/100

• Input: Unlabeled data set

• Main Output

• Common Additional Output

}1 2, , , n=X x x xK

n is the number of data point in X p

k  ∈ℜx  p is the number of features in each vector

A c-partition of X, which is matrix Uc n×

Set of vectors

{ }1 2, , ,  p

c= ⊂ ℜV v v vK

iv is called “cluster center”

Input, OutputFuzzy C-Means Clustering

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 24/100

andU V

Rows of U

(Membership Functions)

4c=

X188n=

2 p=

Sample IllustrationFuzzy C-Means Clustering

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 25/100

03/06/2008 25

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 26/100

2

( , )

1 1

min ( , )c n

m

m ik ik  

i k 

 J u D

= =

=

∑ ∑U V

U V

(FCM), Objective Function

22ik k i D = − A

x vDistance

1m ≥Degree of 

Fuzzification

1

1 ,c

ik 

i

u k =

= ∀∑Constraint

, T = =A A

x x x x Ax

A-norm

Fuzzy C-Means Clustering

• Optimization of an “objective function” or “performance index”

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 27/100

• Zeroing the gradient of with respect to

• Zeroing the gradient of with respect to

Minimizing Objective Function

12

1

1

, ,mc

ik ik 

 j  j k 

 Du i k 

 D

=

= ∀

m J  U

m J  V

1( )t t  F ∂ −=U V

1( )t t G∂ −=V U1 1

,n n

m mi ik k ik  

k k 

u u i= =

= ∀ ∑ ∑v x

Note: It is the Center of Gravity

Fuzzy C-Means Clustering

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 28/100

• Initial Choices•  Number of clusters

• Maximum number of iterations (Typ.: 100)

• Weighting exponent (Fuzziness degree)• m=1: crisp

• m=2: Typical

• Termination measure 1-norm

• Termination threshold (Typ. 0.01)

1 c n< <

m

0 ε <1t t t  E  −= −V V

Pick Fuzzy C-Means Clustering

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 29/100

• Guess Initial Cluster Centers• Alternating Optimization (AO)

• REPEAT

• UNTIL ( or )

0 1,0 ,0

( , ) cp

c

= ∈ℜV v vK

0t ←

1t t ← +

1( )

t t  F ∂ −=U V

1( )t t G∂ −=V U

t T = 1t t  ε −− ≤V V

( , ) ( , )t t ←U V U V

Guess, IterateFuzzy C-Means Clustering

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 30/100

Sample Termination Measure Plot

Final

Membership Degrees

Termination Measure Values

Fuzzy C-Means Clustering

2.0m =

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 31/100

03/06/2008 31

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 32/100

• Process could be shifted one half cycle• Initialization is done on

• Iterates become

• Termination criterion

• The convergence theory is the same in either case

• Initializing and terminating on V is advantageous

• Convenience

• Speed• Storage

0U

1t t t − → →U V U

1t t  ε −− ≤U U

Fuzzy C-Means ClusteringImplementation Notes

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 33/100

Pros and ConsFuzzy C-Means Clustering

• Advantages• Unsupervised

• Always converges

• Disadvantages• Long computational time

• Sensitivity to the initial guess (speed, local minima)

• Sensitivity to noise• One expects low (or even no) membership degree for 

outliers (noisy points)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 34/100

03/06/2008 34

Fuzzy C-means (Exemple)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 35/100

R. Krishnapuram and J. M. Keller, “A possibilistic approach to

clustering,” IEEE Transactions on Fuzzy Systems, Vol. 1, No. 2, pp. 98-

110, May 1993.

[KriK93]

James C. Bezdek, James Keller, Raghu Krishnapuram and Nikhil R. Pal,

 Fuzzy Models and Algorithms for Pattern Recognition and Image

 Processing , Kluwer Academic Publishers, TA 1650.F89, 1999.

[BezKKP99]

J. C. Bezdek, Pattern Recognition with Fuzzy Objective Function

 Algorithms, Plenum, NY, 1981.

[Bez81]

 N. R. Pal, K. Pal and J. C. Bezdek, “A mixed c-means clustering

model,” Proceedings of the Sixth IEEE International Conference on Fuzzy Systems, Vol. 1, pp. 11-21, Jul. 1997.

[PalPB97]

Jun Yan, Michael Ryan and James Power, Using fuzzy logic Towards

intelligent systems, Prentice Hall, 1994.

[YanRP94]

References

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 36/100

03/06/2008 36

• Various classification methods :

• Fuzzy c-means

• General classification approach

• Non parametric

• EM Algorithm

• Parametric approach (mixture of Gaussians)

• Can take into account bias field

• Curve fitting• Use a hierarchical approach

• Non-linear optimization

Classification Method (2)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 37/100

03/06/2008 37

EM - Algorithm

• We assume that for a given class of tissue k,

the probability φk (x) only• Only depends on I(x)

• Follows a Gaussian distribution

( )( )( )

 

 

 

 

 

  

  −−=

2

exp2

1

 I  I 

σ 

 µ 

πσ φ 

xx

( )( ) ( )( )k k k   I G I  σ φ  ,;xx =

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 38/100

03/06/2008 38

EM - Algorithm

• Due to the partial volume effect, the

 probability of a voxel intensity depends on amixture of the different Gaussian probabilities

:( )( ) ( )( )

k k k  k k 

 x I GC  x x I  p σ  µ α  ,;|

∑=∈

1=∑k 

k α with {αk } are the weights of each

 probability function=

Mixture probabilities

distribution

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 39/100

03/06/2008 39

EM - Algorithm

• To find pk (x) we need to know :

• The parameters θ of the Gaussian distribution :

• The weights α = {αk } the mixture probabilities

{ } { }k k k  σ θ θ  ,==

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 40/100

03/06/2008 40

EM - Algorithm

• One can derive the probability that a voxel

 belongs to a given class, knowing itsintensity, θθθθ and αααα

( )

( )

( )( )θ α 

θ α 

θ α  ,|

,|),(

,),(|  x I  p

C  x x I  p

 x I C  x p

=∈Definition of conditional probability

( )( )( )

( )( )∑=∈

i

iii

k k k k 

 x I G

 x I G x I C  x p

σ  µ α 

σ α θ α 

,;

,;,),(|

( )( )

( )( )∑=

i

ii

k k 

 x I 

 x I 

φ α 

φ α 

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 41/100

03/06/2008 41

EM - Algorithm

• First Approach :

• To find parameters θθθθ and α,α,α,α, one finds tomaximize the likelihood :

( ) ( )( )∏==Λ j

 j x I  p I  p θ α θ α θ α  ,|),|(,

( ) ( ) ( )( )∑ ∑   

  =Λ=

 j i

ii ji  x I G L σ  µ α θ α θ α  ,;log,log,

Or the Log-likelihood L

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 42/100

03/06/2008 42

EM - Algorithm

• Second approach : Use the EM algorithm

[Dempster77,Wells94] :• Use an alternated optimization

classification

distribution estimation

 pk ( x )

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 43/100

03/06/2008 43

Brain Tissue Classification

• Typical application : use MR cerebral image

Cerebro-spinal fluid White matter  Grey matter 

Courtesy of D. Vandermeulen

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 44/100

03/06/2008 44

Segmentation - Algorithm

Starting estimates for

belonging probabilities

Compute Gaussianparameters from

belonging probabilities

Compute belongingprobabilities from

Gaussian parameters

Converged ?No Yes

STOP

1

2

3

1σ 2

σ  3σ 

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 45/100

03/06/2008 45

Stage 1: classification

data distribution

classification

∑=k 

k k 

k k 

k   x I 

 x I 

 x p α φ 

φ 

))((

))((

)(

Courtesy of D. Vandermeulen

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 46/100

03/06/2008 46

Stage 2: Distribution Estimation

classification

data

distribution

= x

 x

k   x p

 x I  x p

)(

)()(

 µ 

( )

∑ −

=

 x

 x

k k 

k  x p

 x I  x p

)(

)()( 2

2

 µ 

σ Courtesy of D. Vandermeulen

∑= x

k k   x pm

)(1α 

I i i li i i

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 47/100

03/06/2008 47

Initialisation issue

T1 template gray matter white matter csf 

Affine registration between the image and atlas to initialize pk (x)

Use a computed digital atlas with pk (x)

Courtesy of D. Vandermeulen

R l

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 48/100

03/06/2008 48

Results

without

bias correction

with

bias correction

white matter surface gray matter surfaceCourtesy of D. Vandermeulen

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 49/100

Segmentation par modèles

déformablesGénéralités

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 50/100

03/06/2008 50

Modèles Déformables

• Idées principales:

• Approche frontière

• Minimisation de la somme de deux énergies :

• Energie interne (mesure l’adéquation avec la forme)

• Energie externe (mesure l’adéquation avec l’apparence)

• Modèle Déformable est un récipient pour stocker de

l’information a priori sur la géométrie et l'apparence de

structures anatomiques

Segmentation à l’aide de Modèles

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 51/100

03/06/2008 51

Segmentation à l aide de Modèles

Déformables

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 52/100

03/06/2008 52

Segmentation par modèle déformable

• Deux étapes principales :

1. Initialisation• Détection

Il y a t’il une structure cible dans l’image ?

• LocalisationOù se trouve cette structure dans l’image ?

2. Optimisation :

Optimisation des “paramètres” du modèle pour délinéer la structure dans l’image

Comment initialiser un modèle

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 53/100

03/06/2008 53

Comment initialiser un modèle

déformable ?

• Initialisation manuelle :

Facile à mettre en oeuvre

Utilise l’expertise de l’utilisateur 

Grande variabilité inter et intra utilisateur 

Comment initialiser un modèle

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 54/100

03/06/2008 54

Comment initialiser un modèle

déformable ?

• Initialisation manuelle :

• Algorithme de détection et de localisation :• Déterminer des points ou lignes caractéristiques

• Recalage avec un atlas

Complètement automatique

Répétable

Difficulté de prendre en compte la présence

de pathologies et la variabilité inter-individus

R l A l i

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 55/100

03/06/2008 55

Recalage avec un Atlas anatomique

Recalage non rigide avec un atlas du cortex

I i i li i l

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 56/100

03/06/2008 56

reference MRI with manual delineations input MRI with initial templates

Initialisation avec un atlas

O ti i ti

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 57/100

03/06/2008 57

Optimisation

• Le principe est d’optimiser les “paramètres”

du modèle déformable

• Deux façons de déformer une forme :

Déformation dans l’espace

de l’object Déformation de l’espace

Euclidien

L èt à ti i

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 58/100

03/06/2008 58

Les paramètres à optimiser 

• Déformation dans l’espace de l’objet :

• Paramètres de la forme• Position de points du maillage

• Champ scalaire pour les courbes de niveau

• Coefficients de Fourier,…

• Déformation de l’espace Euclidien

• Paramètres des Transformations Géométriques

• Translation et Rotation pour les Transf. Rigides

• Translation et Matrice 3x3 pour les Transf. Affines

R é t ti Gé ét i

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 59/100

03/06/2008 59

Représentation Géométrique

Modéles Déformables

Continus Discrets

Représentation

Explicite

Représentation

ImpliciteMaillages

Discrets

Systèmes de

Particules

Level-Sets

Courbes AlgébriquesEléments Finis

Décomposition

ModaleMaillages Simplexes

Modèles

Masses-Ressorts

Différences

Finies

Transformation Géométrique

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 60/100

03/06/2008 60

Transformation Géométrique

rigide

similitude

affine

B-spline

Méthode de résolution Degrés de liberté

Directe

Descente de Gradient

Directe

Directe

6

7

12

3n

regT

ACP

Symétrie Axiale

Projection

Projection

3mN

3v

Principe de l’optimisation

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 61/100

03/06/2008 61

Principe de l optimisation

• Minimiser une fonctionnelle :

• E(θ,I,θ0) mesure l’adéquation entre la forme

courante et un modèle de la structure à segmenter dans l’image

),,(minarg 0θ θ θ θ 

 I  E opt  =Paramètres

àoptimiser 

ImageParamètres

initiaux

Deux grandes classes de problèmes

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 62/100

03/06/2008 62

Deux grandes classes de problèmes

• Si {θ} est un ensemble de paramètres dans

l’espace des formes

• Si {θ} est un ensemble de paramètres dans

l’espace des transformations

Méthode de segmentation par modèle déformable

Méthode de recalage

Interprétation de E(θ I θ )

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 63/100

03/06/2008 63

Interprétation de E(θ,I,θ0)

• Interprétation mécanique

• {θ} décrit la position de points dans un maillage

),,( 0θ θ   I  E Est une énergie potentielle “élastique” qui

attire le contour ou la surface vers une

frontière apparente dans l’image

On qualifie aussi E(θ,I,θ0) d’énergie externe

Interprétation de E(θ I θ )

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 64/100

03/06/2008 64

Interprétation de E(θ,I,θ0)

• Interprétation statistique

• {θ} décrit la position de points dans un maillage

( )),,(exp)|( 0θ θ θ   I  E  I  p −≈Probabilité d’avoir l’image connaissant les

 paramètres du contour ou de la surface

On qualifie aussi p(I|θ) de fonction de vraissemblance (Likelihood)

)|(maxarg θ θ θ 

 I  popt  = Principe du Maximum de

vraissemblance

Exemple : Cercle déformable

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 65/100

03/06/2008 65

Exemple : Cercle déformable

• Paramètres de la forme : {θ} = {x0,y0,R}

• On cherche à faire en sorte que le cercle soit positionné sur des pixels de forts gradients

• On cherche à trouver {x0,y0,R} quiminimisent cette fonction

ϕ ϕ ϕ θ 

π 

d  R y R x I  I  E 

22

0 0

0

sincos),( ∫

 

  

 

++∇−=

Exemple : Cercle déformable

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 66/100

03/06/2008 66

Exemple : Cercle déformable

Circle of lowest energy

Circle of high energies

Exemple : Contour déformable

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 67/100

03/06/2008 67

Exemple : Contour déformable

• Paramètres de la ligne polygonale : {θ} = {xi,yi},

• On cherche à faire en sorte que le cercle soit positionné sur des pixels de forts gradients

• Les points peuvent se répartir n’importe où sur les

contours!!

( )

2

1,),( ∑=

∇=

n

iii  y x I  I  E θ 

Exemple : Cercle déformable

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 68/100

03/06/2008 68

Exemple : Cercle déformable

Ligne polygonale

qui

minimise

l’énergie externe

Il faut ajouter une contrainte de régularité géométrique!!!

Régularization

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 69/100

03/06/2008 69

Régularization

• Minimiser E(θ,I,θ0) est souvent un problème

mal-posé :• Existence de plusieurs solutions

• Solution ne dépend pas continument des

conditions initiales

• Il est nécessaire d’ajouter une nouvelle

énergie qui va “régulariser” le problème

Regularization

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 70/100

03/06/2008 70

Regularization

• Minimiser une nouvelle fonctionnelle

• Eint(θ

) est en général une fonctionnelleconvexe qui ne dépend que de la forme et

qui permet d’aboutir à une seule solution

( ) ),,(minarg 0int θ θ θ θ θ 

 I  E  E  ext opt  +=

Interprétation statistique

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 71/100

03/06/2008 71

Interprétation statistique

• Probabilité d’avoir a priori l’ensemble de

 paramétre θ :

• Loi de Bayes

( ))(exp)( int θ θ   E  p −≈

( )( ) I  p

 p I  p I  p θ θ θ  )|()|( =

( )θ θ θ   p I  p I  p log)|(log)|(log +≈)|(maxarg  I  popt  θ θ 

θ 

=

Contours Actifs

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 72/100

03/06/2008 72

Co ou s c s

• Première approche proposée en 1987 par 

Kaas, Witkin et Terzopoulos

• Caractérisation de l’approche :

• Minimisation d’une énergie

• Représentation explicite du contour • Utilise un schéma semi-implicite de

discrétisation

• Utilise des différences finies pour la

discrétisation spatiale et temporelle

Contours Actifs (2)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 73/100

03/06/2008 73

( )

• Connaissance a priori :

• La frontière de l ’objet à segmenter est lisse• La frontière correspond à des extrema du

gradient

• Exemple :

Contourer le centre del’œil (l’iris)

Définition d’un contour 

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 74/100

03/06/2008 74

• Représentation explicite du contour  )(uC 

 

 

 

 =

)(

)()(

u y

u xuC ua

2],[: ℜ→baC 

C(u)

Energie Interne (1)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 75/100

03/06/2008 75

g ( )

• L’énergie interne est la somme de deux

termes :• Energie d’étirement Eétirement qui mesure

l’élongation totale de la courbe

• Energie de flexion Eflexion qui mesure la« courbure » le long de la courbe

• Utilisation des normes de Sobolev pour 

simplifier la résolution numérique

Energie d’étirement

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 76/100

03/06/2008 76

g

• Expression :

• Lien avec la longueur de la courbe :

• Généralisation :

dudu

udC  E 

b

a

2

étirement

)(∫=α 

dudu

udC dudu

udC  L

b

a

b

a

2

)()(

∫∫ ≤=

dudu

udC uw E 

b

a

2

1étirement

)()(

∫=α 

Energie de Dirichlet

W1(u)=1 sauf aux points de discontinuité C0

Energie de flexion

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 77/100

03/06/2008 77

g

• Expression :

• Lien avec énergie de flexion d’une poutre :

• Généralisation :

dudu

uC d  E 

b

a

2

2

2

flexion

)(∫= β 

duuk u I u E  E 

b

a∫= )()()(

2

 poutre

dudu

uC d 

uw E 

b

a

2

2

2

2flexion

)(

)(∫= β W2(u)=1 sauf aux points de discontinuité C1

Energie externe

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 78/100

03/06/2008 78

• Idée principale : attirer le contour vers les

voxels ayant un fort gradient d’intensité• 2 formulations :

• formulation locale utilisant l’image de gradient

• formulation globale utilisant des points de

contours

globallocalext  E  E  E  +=

Energie externe locale (1)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 79/100

03/06/2008 79

• Energie locale

• Calcul du gradient en convoluant l’image avecla dérivée de la fonction Gaussienne

• La valeur σ de la Gaussienne permet de

contrôler l’échelle du lissage

),(  y xGσ 

∫∫ ×−−∇=∗∇=∇ dvduvu I  yu xuG y x I  y xG y x I  ),(),(),(),(),( σ σ 

Energie externe locale (2)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 80/100

03/06/2008 80

• ExempleImage

originale

Composante

rouge

Energie externe locale (3)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 81/100

03/06/2008 81

• Calcul de la norme du gradient : ),(  y x I ∇−

σ faible σ élevé

Energie externe locale (4)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 82/100

03/06/2008 82

• Définition de l’énergie locale :

• Le contour est attiré vers les puits de

 potentiels dont la largeur est liée à la valeur 

de σ

2local ),(  y x I  E  ∇−=

Energie externe globale (1)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 83/100

03/06/2008 83

• Idée principale :

• Sélectionner les pixels où le gradient est trèsélevé pour lesquels on est certain qu’ils

correspondent à la frontière entre 2 régions

• Définir le champ de potentiel comme une

« pseudo » carte de distance associée à ces

 pixels

Energie externe globale (2)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 84/100

03/06/2008 84

• Comment définir les points de contours ?

• Algorithme d’extraction de ces points :• Calcul du gradient et de sa norme

en chaque point

• Extraction des extrema du gradient dans ladirection du gradient

• Seuillage de ces points en fonction de la norme

du gradient

• Construction du champ de potentiel Eglobal

),(  y x I ∇ ),(  y x I ∇

Energie externe globale (3)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 85/100

03/06/2008 85

• Exemple Extrema du

gradient

Seuillage des

Extrema du

gradient

Energie externe globale (4)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 86/100

03/06/2008 86

• Calcul du champ de potentiel Eglobal(x,y) :

• utilisation d ’une carte de chanfrein approchant

la distance Euclidienne5 4 3 2 1 2 3

4 3 2 1 0 1 2

4 3 2 1 0 1 23 2 1 0 0 0 1

3 2 1 0 0 1 2

4 3 2 1 1 2 3

5 4 3 2 2 3 4

Exempleen 4-connexité

Energie externe globale (5)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 87/100

03/06/2008 87

Carte de Distance

Résultats

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 88/100

03/06/2008 88

Segmentation d’images à l’aide de

dèl déf bl

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 89/100

03/06/2008 89

modèles déformables• Un modèle déformable est un récipient pour 

stocker de l’information a priori sur la géométrie

et l'apparence de structures anatomiques

• Deux niveaux de connaissance a priori:

Forme

Apparence

Faible Connaissance a priori

Contrainte de continuité C1 ou C2

Initialisation avec formes génériques

(sphère, …)

Utilise information de gradient

et/ou intensité

Contrainte de Forme

Initialisation avec forme moyenne

Utilise profils d’intensité ou

appariement de blocs

Grande Connaissance a priori

Faible connaissance A Priori

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 90/100

03/06/2008 90

•Valide pour des structures fortement contrastées

•Peut demander une intervention de l’utilisateur 

Forte connaissance A Priori

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 91/100

03/06/2008 91

•Valide pour une structure donnée et une modalité donnée

•Plus robuste à l’exception des formes « anormales »

Maillage simplexe (3)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 92/100

03/06/2008 92

• Propriété 2 : Dualité avec les triangulations

Dualité Topologique mais non géométrique

Segmentation: endocrane

I t t

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 93/100

03/06/2008 93

Image scanner, structures osseuses

Temps de convergence: 13,8 s1169 3

cmmodèle:

moulage: 1150 3cm

Segmentation: foie

I d l’IRCAD t ti d f i

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 94/100

03/06/2008 94

Image scanner de l’IRCAD, extraction du foie

Temps de convergence: 2 mn 12 s

Extraction des segments de Couinaud

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 95/100

Segmentation: ventricule gauche

Image US

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 96/100

03/06/2008 96

Image USPetites Régions en hyper-signal

Temps de Convergence: 28 s

Maillage simplexe 4D

Maillage simplexe 4D

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 97/100

03/06/2008 97

Maillage simplexe 4D unique topologie

0t  1t  2t 

multiple géométries

3t 

Trajectoire de chaque sommet

 jti,  j

 p

0t  1t  2t  3t  4t  5t  6t  7t 

Segmentation: IRM

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 98/100

03/06/2008 98

Intersection du modèle avec l’image

Modèle 4D

déformé

time

   v   o     l   u

   m   e

Perspectives (2)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 99/100

03/06/2008 99

• Applications of segmentation :

• Diagnosis

• demand for very fast and automated algorithms with

degree of confidence

• Planning - Prediction -Prevention

• demand for accurate but potentially not fully automated

algorithms combined with high quality meshing

• Clinical Research

• demand for automated and accurate algorithm for use

with large database (grid computing)

Perspectives (3)

7/31/2019 cours-Segmentation d’images médicales

http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 100/100

03/06/2008 100

• Segmentation techniques is more and more

split between :

• Registration techniques :

• registration with a anatomical/physical/physiological

model

• registration with a set of images (data fusion)

• Low-level techniques :

• anisotropic filtering, watershed, mathematical

morphology

 Need to define a unifying framework