Gradient-Based 2D/3D Rigid Registration of

Fluoroscopic X-ray to CT

Harel LivyatanZiv YanivLeo Joskowicz

Boukhriss Isameddine DEA DISIC 2004

Plan

Buts et spécifications Classification des techniques Problématique Protocoles de recalage Algorithme Paramétrage Expériences et résultats Conclusion

Buts et spécifications

Développer une méthode de recalage entre les images

X et les images CT Exactitude : un taux d’erreur en moyenne entre

1 et 1.5 mm et entre 2 et 3 mm au pire des cas Robustesse : réussite au premier test avec un

taux de réussite=95% Vitesse : le recalage doit prendre au max 1 mn Interactivité : simple et minime pendant les

phases interopératives et préopératoires

Problématique

Il s’agit de trouver la transformation rigide qui relie le model préopératoire de CT et les images X (prises juste avant l’opération) 

Cette transformation peut être trouvée par un trackeur de position et un système interopératoire de raffinement des prises des images X

Classification des techniques

Algorithmes à base géométrique Algorithmes à base d’intensité 

GRADIENT-BASED

Point/

Point

Point/

Surface

Contour/

Surface

Surface/

Surface

ROIs/

ROIs

Image/

Image

Less Data

More Data

1 2 3 4 5 6

GEOMETRY-BASED INTENSITY-BASED

La méthode

Vue globale du système

bonect

tracbonei

tracensifiericamera

ensifiericameract TTTTT ..).()()( ker1ker

intint

Protocoles de recalage

On obtient off-line 3 structures de données des images CT :

1. Un maillage surfacique de l’organe2. Un octree de sphère englobbante appliqué à

ce maillage3. Gradient du modèle 3D On prend 2-5 images X Calcul de bonectT

Bounding sphere octree

Bounding sphere octree

Bounding sphere octree

Bounding sphere octree

Smallest bounding sphere

8 fils pour chaque nœud

Bounding sphere octree

Successive smallest bounding sphere approximation of a proximal femur

surface mesh

Algorithme

L’algorithme se divise en 3 étapes. Les deux premières

étapes sont basées sur des travaux précédents :

Estimation de la position initiale Recalage grossier sur les contours de l’organe  Recalage par projection du gradient sur les

pixels de contour

Estimation de la position initiale

Elle peut se faire par différents moyens:

Précisions cliniques

Points marqueurs (chirurgien)

Marquer des points sur la surface des données CT et les tracker sur les images X par un suiveur de point

! Quelle que soit la méthode : l’estimation est entre 10 et 20 mm et entre 5 à 15° par rapport à la position finale

Recalage sur les contours

de l’organe 

Cette opération réduit la distance entre le maillage surfacique sphérique de l’organe et l’échantillon des points de contour des images X

Le contour de l’organe des images X est extrait avec l’algorithme de segmentation live-wire

Cette opération de recalage est réalisée grâce à l’algorithme ICP : iterative closest point

Algorithme de segmentation live-wire

Choix d’un chemin dans un graphe parmi tous les graphes associés à tous

les pixels

(Dijkstra)

Iterative Closest Point

Soit p un ensemble de points et X une surface de référence

1. K=0 et P(0)=P

2. Calcul de l’ensemble Y(k), « projection » de P(k) sur X

3. Calcul de q(k) =[qR|qT]T qui met en

correspondance P avec Y(k)

4. Calcul de P(k+1)= q(k)(P)

5. Arrêt si la convergence est satisfaisante sinon incrémenter K et revenir à l’étape 2

Iterative Closest Point

Exemple d’exécution de l’algorithme ICP

Projection du gradient

Quand les images CT sont alignées avec l’anatomie réelle, les rayons X passent à travers les pixels du contour sont tangents à la surface de l’organe

Ces rayons passent par des maxima locaux du module du gradient volumique

Optimisation

Soit T une matrice de transformation 6D

dpTVThT

vTpTGP ))((1(.)~,(

edgespT

pTGPT~

)~,(maxargˆ

dpVpr

hT

vTp ))((.)~(.)~Im(

E

Analyse

Calculer le gradient en volume des images CT en sur -échantillonnant dans une résolution de 0.5 mm3

Extraire les pixels du contour de chaque image X et construire l’ensemble des rayons qui passent à travers ces pixels(Canny)

Appliquer après la méthode du Downhill simplex sur

la fonction E

!Le calcul est fait en échantillonnant chaque rayon

dans des intervalles de 1mm.

ParamétrageCategory Parameter Description

Default value

1. 3D model Marching Cubes iso-value 1200

Sphere Tree maximal depth 7

2. Livewire # of points input by user 6-10

200# of contour points per image

3. ICP Max # of iterations 1000

4. Fluoro X-ray images Gaussian mask(,) (0,1)

Lower threshold Lower 5% of grad. mag.

Upper threshold Upper 10% of grad. mag.

Min contour length 30 pixels

# of images 3-5

5. CT volume Gaussian mask(,) (0,1/1024)

Ray sampling interval 1mm

6. Downhill simplex optimisation Contraction 0.5

Expansion 2

Reflection 1

Max. # of iterations 5000

Intenal Simplex delta threshold 10-3

External Simplex delta threshold 10-3

Expériences

Les expériences ont été réalisées dans plusieurs situations : Simulation avec des données cliniques Ct et des

images simulées X Des expériences in-vitro avec des organes secs Des expériences sur des cadavres Sur les organes suivants : fémur humain, vertèbre,

bassin et hanche d’agneau Le calcul s’est fait sur un PC windows XP 2.4 GHZ

avec 1GB de RAM.

Résultats

Model CT Position initiale et finale de recalage

Data set Step Final sTRE

ΔxΔy Δz Δx ΔyΔz(mm) (degree)

Time(secs)

Simulation1. real pelvis

Initial Coarsefine

9.51.70.5

5.3 3.5 4.8 0.8 1.2 1.32.7 1.3 2.4 0.6 0.7 0.60.2 0.3 0.2 0.1 0.1 0.2

 5.3139.9

In-vitro2. dry vertebra  3. dry femur 

Initial CoarseFine Initial CoarseFine 

9.63.60.5 

9.82.31.3

3.7 6.4 4.5 3.1 3.9 3.13.5 3.7 3.5 3.5 3.5 1.90.5 0.1 0.4 0.2 0.1 0.2 3.9 4.6 4.8 6.6 4.2 4.61.6 1.3 1.4 3.1 1.0 3.20.3 0.7 0.9 1.2 0.6 1.4 

 4.6

268.9  

3.858.3

 

Cadaver4. lamb hip  5. human pelvis

Initial CoarseFine Initial CoarseFine 

9.82.11.4 

9.86.51.7

5.0 5.6 5.0 1.9 0.9 1.74.1 1.5 4.1 4.1 4.1 8.04.8 1.3 1.9 4.4 0.5 3.7 4.4 5.0 6.5 1.8 1.2 0.55.5 2.9 5.5 5.5 5.5 2.52.0 0.4 0.3 0.7 0.1 0.4 

 24.236.4

  

4.7153.4

Résultats

Étude comparative

Comme la technique géométrique elle est basée sur les pixels de contour

Cependant elle ne dépend pas de la segmentation Comme la technique à base d’intensité, elle

utilise sélectivement toutes les données CT sans segmentation

Cependant elle définie automatiquement les ROIs

ce qui accélère le calcul.

Conclusion et perspectives

La convergence de cette technique croit avec chaque étape mais devient plus lourde à chaque passage

L’une des perspectives est d’intégrer cette technique dans un système totalement automatique pour la navigation et le positionnement des organes à traiter