Estimation du mouvement dans des images

biomédicales

Par Jenny Benois-Pineau,

AIV/IS/LABRI

Jenny.benois@labri.fr

Pourquoi?

-Compensation du mouvement des organes lors du traitement local : thermothérapie;

-Caractérisation des pathologies : rythme cardiaque;

-Enregistrement des images à partir de plusieurs images dynamiques, obtenir une image statique;

-Augmentation de la résolution d’images des organes

« mosaÏcing » (basse résolution spatiale initiale- IRM 64x64 -> 128x128);

-Interpolation des vues manquants ( basse résolution temporelle initiale – 1 -2 images /sec).

Typologie des mouvements

-Mouvement intra-scan : le mouvement durant l’acquisition d’une seule image. Son effet : le flou dans l’image acquise.

-Mouvement inter-scan : le mouvement apparent perçu dans le plan image entre les images acquises successivement par l’appareil d’acquisition.

-Objet de notre cours : étude du mouvement inter-scan.

Quelques exemples

Séquence d’origine Séquence compensée

Plan:1. Caractérisation du mouvement

2. Formalisation du problème d’estimation

3. Méthodes pel-récursives/différentielles

4. Rappel des méthodes numériques

1. Méthodes d’optimisation pour la recherche des extremums

2. Méthodes d’estimation du mouvement par descente de gradient, gradient simple, gradient accéléré...

3. Stratégies de multi-résolution

5. Méthodes de flot optique avec la régularisation (Horn et Schunck)

6. Calcul variationnel

7. Estimation Itérative par la méthode de Horn et Schunk, et dérivées

Mouvement Réel – Mouvement apparent

Mvt 2D réel est la projection du mouvement 3D via systèmes d’acquisition

YZZ

X

YY

ZZ

X

Y

at t at t+1

Mouvement apparent “flot optique” est observé dans le plan image 2D grâce aux changements de la mesure observée “luminance”, “perméabilité” etc.

Caractérisation du mouvement

P

P’

t t+1

Caractérisation locale

d

Tdydxd ,

Vecteur de déplacement élémentaire

Tdtdydtdxw /,/

Vecteur vitesse

Premier niveau de caractérisation : calculer le flot optique ou le champ de déplacement

wW dD

Caractérisation du mouvement

P

P’

t t+1

Caractérisation globale

d

)(),( dyxd

ww

Le flot optique est conforme au modèle global dans le plan – image. Le problème alors consiste à estimer les paramètres de modèle

Modèles affines.

En développant en série de Taylor de premier ordre autour de

Tdydxd ,

gg yx ,

g

g

yy

xx

bb

aa

b

a

dy

dxd

21

21

0

0(9)

xdx

a1 y

dxa

2 x

dyb

1 y

dyb

2

Ici M

Tbbaabaaff 212100 ,,,,, Modèle affine à 6 paramètres

Modèles affines

On peut exprimer

ItraceMMMMMItraceMM TT 21

21

21

)(21 ddivydy

xdx

batraceM

01

10

21

)(21

ydx

xdy

MM T

drot z

ydy

xdx

hyp

1

ydx

xdy

hyp

2

1221

2112

abab

abab ItraceMMM T

21

=

01

102

21

10

011

21

01

10

21

10

01

21

hyphyprotdivM

Modèles affines

)(2)(1)()(

)(2)(1)()(

2

1

0

0

gggg

gggg

xxhypyyhypxxrotyydiv

yyhypxxhypyyrotxxdiv

b

a

dy

dx

gy

gx

yyktdy

xxktdx )(

y

x

t

t

dy

dx

111112

111112

ggy

ggx

yykxxtyydy

yyxxktxxdx

g

g

yy

xx

bb

aa

b

a

dy

dx

21

21

0

0

gg

g

g

g

gyyxx

b

a

yy

xx

bb

aa

yy

xx

bb

aa

b

a

dy

dx

5

52

2

43

43

21

21

0

0

2. Formalisation du problème d’estimation du mouvement

Hypothèse principal : conservation de l’intensité d’un point le long de son trajectoire.

0),,(,,),,( tyxIdttdyydxxIdyxDFD

Problème d’estimation est mal posé :

(1) Problème d’existance – occultation

(2) Unicité : deux composantes du déplacement : une seule équation ECMA

(3) Continuité : Estimation du mouvement est très sensible au bruit : un faible bruit peut amener aux fortes déviations.

(1)

Estimation du mouvement (2)

Développant dttdyydxxI ,, en série de Taylor autour de (x,y,t)

t

Idt

y

Idy

x

IdxtyxIdttdyydxxI

),,(,,

et supposant la linéarité I(x,y,t)

D’après (1)0

t

Idt

y

Idy

x

Idx 0

t

I

dt

dy

y

I

dt

dx

x

I

Tdtdydtdxw /,/Comme

alors

tIwI u v

Equation de contrainte du mouvement apparent (ECMA)

(2)

Estimation du mouvement (3)

tIwwI )( II

w

est la composante parallèle à ,c’est à dire orthogonale au contour spatial local.

I

Une autre intérprétation t

Ivy

Iux

I

Si les variables u,v sont supposées d’être indépendantes alors une seule équation est pour 2 inconnues.

Solution?

(3)

),,( dyxDFD

Estimation du mouvement

Criteria: EQM, MAD

n’est jamais 0 à cause du bruit d’acquisition

),(

2 )),(,,(1

yxyxdyxDFDEQM min

),(

)),(,,(1

yxyxdyxDFDMAD min

)(min,),(* DEQMArgyxdyxD

Estimation directe

)(min,, * EQMArgyxd

Estimation paramétrique

3. Méthodes pel-récursives/ differentielles Pour chaque pixel trouver un vecteur de

déplacement tel que l’ensemble des ces vecteurs dans un domaine du plan- l’image D minimise un critère d’erreur

« Pel –recursives » : – pour chaque pixel– en utilisant des méthodes d’optimisation

itératives.– -nous allons considérer les méthodes

d’optimisation de 1er ordre ( gradient ).

),(

2 )),(,,(1

yxyxdyxDFDEQM

4. Rappel des méthodes numériques

Méthodes d’optimisation pour la recherche des extremums

Condition nécessaire d’existence de l’extremum d’une fonction de plusieurs variables en :

(4)Gradient de F :

(4) est équivalent à

Si on connaît la forme analytique de F(u), alors il s’agit de résoudre le système (4)

RRuuF nn :,...,1

0,...,0**

111

nununuu u

F

u

F

T

nu

u

F

u

FuF

,...,1

0* uuu uF

Tnuuu **1

* ,...,

4.1.Méthodes d’optimisation pour la recherche des extremums

Exemple trivial

D’après (4)

Les critères et

sont difficiles à exprimer analytiquement, alors on utilise des méthodes numériques dites de « descente de gradient »

222 32,,:, vuvuFRRvuF

3,032

2,022

vvv

F

uuu

F

TTvu )3,2(),( **

),(),(2

dydxDFDoudydxEQM

),(2 vuECMA

Il faut trouver tel que ont lieu les conditions nécessaires d’extremum d’une fonction . On se déplace d’un point

arbitraire vers dans la direction de la décroissance de la fonction

Il faut donc « descendre » - la méthode de descente de gradient

Méthodes d’optimisation du premier ordre

Tnn xxxRRxF ,...,,: 1*x

kx*x

F(x)

x*xk

Méthodes de descente On construit un processus itératif dans lequel

Ici est le vecteur qui définit la direction de déplacement du point , est multiplieur scalaire.

Pour s’approcher de il est naturel de se déplacer dans la direction de la décroissance de la fonction F(x).

Si le point n’est pas le point de minimum de la fonction F(x), alors il existe une infinité des vecteurs p, qui définissent la direction de la descente. Chaque direction est définie par la condition ( pour F(x) dérivable)

Ici (,) est le produite scalaire,

kkkk pxx 1kp

kx k*x

kx

0, pxF k

Méthodes de descente(2) Ceci peut être déduit des considérations suivantes. Soit

En développant F(x) en Série de Taylor ( en supposant la dérivabilité de F(x) suffisamment de fois), on a

(5)

Ici

Si alors pour les faibles d’après

(5)

En choisissant la direction de descente et de diverses façons on peut construire des diverses algorithmes de minimisation.

kkk pxx

),)(''(2

)),(()()(2

ppFpxFxFxF kk

1;0, kk xxx

0, pxF k

)()(0)),(()()( kkk xFxFpxFxFxF

k

Méthode de descente de gradient “Methode de descente la plus rapide”. Le plus facile est de

choisir la direction p comme

Descente dans la direction opposée au gradient

Sous forme des coordonnées le processus s’exprime comme

(6)

kkk xFFp

0,,...,2,11

k

i

kkk

iki ni

x

xFxx

Algorithme de descente de gradient 1. Choisir la valeur la même pour toutes les itérations et

fixer le point

2. Calculer

3. Tester l’inégalité

(7)

4. Si (7) est vérifié

alors

sinon en pratique

Tant que (7) n’est pas satisfait.

5.Réitérer 2 jusqu’à stabilité ou NbrItérationsMax

kk Fxx

))(()( kk xFxFxF

10),),(()()( kkk pxFxFxF

)( kk xFortp

k

5.0,10, k

Méthode de descente de gradient Pourquoi (7) est satisfait? Théorème. Si une fonction est minorée, son gradient satisfait la

condition de Liepschitz

Quelque soient et le choix de s’effectue de façon décrite, alors quelque soit le point initial on a pour le processus

lorsque

Illustration

yxRyFxF )()(

nRyx ,k0x

0 kF k

F(x)

x*xk

trop petit et trop grand

k

4.2.Méthodes d’estimation du mouvement par descente de gradient

1. Méthode de Netravali-Robbins

La méthode de descente :

(8) Développement

(9)

(10)

22 )),,(),,((,,),( tyxIdttdyydxxIdyxDFDyxE

T

dy

E

dx

EE

,

kdd

kk Eyxdyxd

2

1,,1

dx

DFDDFD

dx

E

2dy

DFDDFD

dy

E

2

kddx dttdpI

x

I

dx

DFD

, kddy dttdpIy

I

dy

DFD

,

Méthode de Netravali-Robbins(2)

Finalement d’après (8), (9),(10)

(11)

Méthode fondamentale

Expression en coordonnées

),(),(1 dttdpIdpDFDpdpd kkkk

),,(),,,(,,1 dttdyydxxIdydxyxDFDyxdxyxdx kkx

kkkk

),,(),,,(,,1 dttdyydxxIdydxyxDFDyxdyyxdy kky

kkkk

Méthodes de descente de gradient accélérée (1) Accelération de Netravali –Robbins

(12) T.A! (2) Accélération de Benois-Pineau /Pshenichny& Daniline

Calculer

Tant que

Tant que

(13)

FTq

FTq

),()},(1 dttdpIsigndpDFDsignpdpd kkkk

),(),(

101 kkkk dxpIdpDFDpdpd

kk

NbrItketThEdpE k ),(

pd k 0

),(),( 1 kk dpEdpE

0kk

pdpd kk 1,0 kk

),(),( 01 kkkk dxpIdpDFDpdpd

Méthodes de descente de gradient accéléréeIllustration géométrique

E(d)

dk0

Sans recalculer le gradient

Méthodes d’estimation du champ dense basées sur la descente de gradient(suite) 1. Méthode de Walker-Rao Principe : le pas adaptatif à l’image dans le voisinage d’un contour. (Là où le gradient est fort on diminue le pas)

Le gain devient adaptatif

tdpIdpDFD

tdpIdd kkkk

kk

kk ,,,

)()()()(2)()(

)()1(

Méthode de Walker –Rao (2)

Accélération Euristique

1). Si , alors

(Fin d’estimation)

2) Si et , alors (on ne peut rien estimer sur une zone plate)

3) Si alors (calcul en arithmétique binaire)

4) Si alors

seuildE k )( 0

seuildE k )(

02 pI 0

16/1k 16/1k

2k 2k

Méthode de Cafforio-Rocca

Descente avec le gain adaptatif

(14) L’ajout du terme correctif permet d’éviter la division par

0 dans des zones plates.

Nombre d’itérations dans les méthodes à pas adaptatif : <5

),(),(1 dttdpIdpDFDpdpd kkkk

tdpIdpDFD

tdpIdd kkkk

kk

kk ,,,

)()()()(

22)()(

)()1(

2

Mise en œuvre sur les images numériques(1)

Deux problèmes :

– (a) Calcul du gradient sur les images discrètes

– (b) La nécessité d’interpoler aux coordonnées non-entières

(a) Plusieurs solutions. – Calcul du gradient par l’opérateur de Sobel

101

202

101

4

1, xx hIh

x

I

),(),(1 dttdpIdpDFDpdpd kkkk

121

000

121

4

1, yy hIh

y

I

yx

Mise en œuvre sur les images numériques(2) (b) Interpolation du champs de gradient

Interpolation bi-linéaire séparable

(15)

yyyxxx ,

dyydxxI ,

P2

P4

P(x,y)

P1

P3

4321 )1()1()1)(1(),( yPxyPxPyxPxydydxxP

Méthode de gradient conjuguée(1)Considérons une fonction scalaireLe développement en série de Taylor jusqu’à 2nd ordre :

Ou (16)

(forme quadratique)

Alors la fonction est approximée par une forme quadratique

cHF T bxxxx2

1)(

oxxxx

Fx

x

FFF

jji

jiiii

i

0

2

00 2

1)()( xxxx

Tnn xxRRF ,...,,: 1 xx

01

,,...,,0 xbxx Fcx

F

x

FH

T

n

T

xF

Méthode de gradient conjuguée(2) La matrice H est appelée la matrice “Hessian”

H est symétrique car si les dérivées « mixtes » sont continues , elles sont égales

Le gradient de la forme quadratique bx HF

2

2

1

2

1

2

21

2

...

.........

...

''

nn

n

x

F

xx

F

xx

F

x

F

FH x

Méthode de gradient conjuguée(3) Si la fonction F(x) atteint son minimum , alors

(17)

Minimiser la fonction F équivaut à résoudre le système (17)

Le principe de la méthode de GC:

A partir de la direction de descente est construit de telle sorte que soient conjuguées :

Remarquons que la notion « être conjuguées » est plus large que « être orthogonales ».

Si H est une matrice unitaire alors les deux directions sont orthogonales.

kk pp ,1

0 bxHF

kk pp ,1

01 kk Hpp

Méthode de gradient conjuguée(4) Algorithme

1. Choisir

2. Calculer le résidu

La direction initiale de la descente est

3. Pour calculer0k

0x

000 xrp F

000 )(0 xbxr FH

kTk

kTkk

Hrr

rr

)(

)(

Méthode de gradient conjuguée(5)

4. Mettre a jour X et le résidu

5. Choisir la nouvelle direction de descente :

6. Condition d’arrêt ou

kkkk pp 11 r

kkkk p xx 1

kkH rbx

kkkk Hp rr 1

kTk

kTkk

rr

rr

)(

)( 11

NbrItk

4.3. Stratégies de multi-resolution

Problème d’initialisation : la fonctionnelle d’erreur est généralement non-convexe

dx

E(dx)

dx*dx0

Solution : estimation multi-resolution, relaxation.

Stratégies de multi-résolution

Schémas multi-resolution/ multi-échelles

tt II 0 )( 1lt

lt IgI

1) Construction des pyramides Gaussienne pyramids for

1, tt II

2) Estimation des paramètres du mouvement au niveau le plus élevé de la pyramide L

3) Propagation ),(),(1 yxdyxd ll

est le facteur de sous-échantillonnage

Quelques résultats(1)

06:14

Quelques résultats(2)

Quelques résultats(3)

Resultats en monoresolution

Flot optique : séquence « Reins »

Resultats en multirésolution

Méthodes de flot optique avec la régularisation (Horn et Schunck)

Pourquoi les méthodes de descente locale sont-elles en difficulté ?

Le pb. d’estimation du mouvement est mal posé! Solution : régularisation. Méthode de K.P.Horn et B.G.Shunk “Determining Optical Flow”,Artificial Intelligence 17

(1981) pp. 185-203

Méthodes de flot optique avec la régularisation (Horn et Schunck)

Pourquoi les méthodes de descente locale sont-elles en difficulté ?

Le pb. d’estimation du mouvement est mal posé!

w

v

u

w

w Le long de contours de la luminance constante le vecteur de déplacement ne peut pas être estimé sans introduire les contraintes supplémentaires.

Méthode de Horn and Shunk(1)

On suppose la continuité locale de flot optique.

Ajout de la contrainte de lissage : estimer le flot optique

222 vuEw

min),(2222

22

dxdyy

v

x

v

y

u

x

uIvIuIvuE

Gtyx

tyxfo IvIuIE

La fonctionnelle dont les arguments sont eux-mêmes les éléments d’un espace linéaire normé

Le problème de recherche du min d’une telle fonction est celui du calcul variationnel.

GD1

6. Calcul Variationnel

Def. Fonctionnelle F(y) définie sur l’espace linéaire normé D s’appelle dérivable dans un point de cet espace si son accroissement peut être écrit comme

Où est une fonctionnelle linéaire continue de h et r

Est infiniment petite o(h)

On peut démontrer que est unique.

hyrhyLyFhyFyF ,,)( 0000

),( 0 hyL

Def. La fonctionnelle linéaire ainsi définie et unique s’appelle “différentiel” ou encore la variation de la fonctionnelle F en point et est dénotée par

Dy 0

),( 0 hyL

),( 0 hyF

Dy 0

Exemples(1)

1. dans l’espace

Le noyau f(x,y) est supposé d’être continu avec les dérivées continues jusqu’à 2nd ordre.

Soit

Comme la fonction f est dérivable, alors est bornée

dxxyxfyFb

a

))(,(

)()( xhxy

Donc

baC ,

)(),,,(),(),( horhyxrhy

fyxfhyxf

dxxyxfxhxyxfyFhyFyFb

a ))(,()()(,)(

)(ydxxhy

fyF

b

a

)(y

dxxhy

yxfhyF

b

a

,

,

Exemples(2)

2. dans l’espace

des fonctions dérivables avec les dérivées partielles de premier ordre continues.

Le noyau f(x,y,y’) est supposé d’être continu avec les dérivées continues jusqu’à 2nd ordre sur

Soit

En considérant la norme on peut démontrer que est bornée

dxxyxyxfyFb

a

))('),(,(

)()( xhxy

Donc (18)

baD ,1

)(',)(max xhxhh

dxyyxfxhxyxhxyxfyFhyFyFb

a )',,()(')('),()(,)(

b

a

b

a

dxhhyxrdxxhy

fxh

y

fyF )',,',('

'

',, yybxa

b

a

dxhhyxr )',,',(

dxxhy

fxh

y

fyF

b

a

''

Extremums des fonctionnelles dérivables(1)

Considérons une fonfctionnelle dérivable dans l’espace linéaire normée

Le problème est de trouver les points y où F atteint son extremum.

Lemme 1. En chaque point y0 où la fonctionnelle dérivable F(y) atteint sont extremum, la première variation de la fonctionnelle F pour tout accroissement h est égale à 0.

F

D

hyF ,0

Extremum des fonctionnelles dérivables(2)

1. dans l’espace

Sa première variation est

Soit est le point d’extremum. Par condition nécessaire

Lemme 2. Si pour une fonction continue A(x) pour toute fonction continue h(x) on a

alors

dxxyxfyFb

a

))(,(

xyy 00

baC ,

dxxhy

yxfhyF

b

a

,

,

0,

dxxh

y

yxfb

a

0)( dxxhxAb

a

0)( xA

Extremum des fonctionnelles dérivables(3)

1. Du Lemme 2

Si on résout cette équation par rapport à y0, on aura une ou plusieurs fonctions de x

2. Fonctionnelles de forme dans l’espace

- extremum

baCxy ,)(

0, 0

dxxh

y

yxfb

a

0

, 0

y

yxf

dxxyxyxfyFb

a

))('),(,( baD ,1

0''

dxxhy

fxh

y

fyF

b

a

Extremum des fonctionnelles dérivables(4)

Considérons le cas quand la fonctionnelle F est définie sur l’ensemble des fonctions y(x) qui prennent valeurs prédéfinies en a, b : y(a) et y(b).

Alors

Représentations

comme

Finalement

0)()( bxax xhxh

dxxhy

f

dx

dxh

y

fdxxh

y

f b

abhahcar

ba

b

a

)('

)('

''

)2(

0)()(0

0''

dxxhy

fxh

y

fyF

b

a

dxxhy

fdxxh

y

fb

a

b

a)2()1(

''

b

a

dxxhy

f

dx

d

y

f)(

'

Integration en parties

Equation d’Euler(1)

D’après Lemme 2

Calcul de : c’est la dérivée complète d’une fonction composée.

Rappel :

Dans notre cas

0'

y

f

dx

d

y

f

'y

f

dx

d

t

x

x

u

t

x

x

u

t

x

x

uxxu

dt

dxxu n

nnn

...)(),( 2

2

1

1,...,1,...,1

x

y

y

u

x

y

y

u

x

x

x

uyyxu

dx

dyyxu

y

f

'

')',,(),',,(

'

"'

'''' '''

''

222

yfyffx

y

yy

f

x

y

yy

f

yx

fyyyyxy

Equation d’Euler(2)

Ainsi

se transforme en

Equation d’Euler

Si l’extremum de la fonctionnelle existe et est atteint en fonction qui possède la dérivée seconde, alors cette fonction satisfait l’équation d’Euler.

0'

y

f

dx

d

y

f

)(xyy

0"'''

'' yfyfff yyyyxyy

dxxyxyxfFb

a

))('),(,(

)(xyy

Fonctionnelles avec plusieurs fonctions inconnues(1)

est considérée dans l’espace linéaire des fonctions-vecteurs définies sur le segment [a,b] et possédant les dérivées premières continues.

La norme :

Si la fonction f a des dérivées continues jusqu’à 2nd ordre selon tous ses arguments, alors la fonctionnelle est dérivable dans l’espace

et sa variation s’écrit comme

b

ann dxyyyyxfyF ''

11 ,...,,,...,,

Tn xyxyy )(),...,(1

'21

],[,....,,max n

bayyyy

dxhy

fh

y

fh

y

fh

y

fhyF n

nn

n

b

a

''

'1'

11

1

......,

),()(1 baD n

),()(1 baD n

baDxhxhh n ,)(),...,( 11

Fonctionnelles avec plusieurs fonctions inconnues(2) En point d’extremum la variation est

En particulier, si toutes les composantes du vecteur h sauf une hj sont supposées nulles, alors on obtient

Nous allons résoudre le pb. de recherche d’extremum sur l’ensemble des fonctions vecteurs avec les valeurs aux limites fixes y(a) et y(b).

En supposant que les fonctions recherchées y1(x),…,yn(x) sont dérivables deux fois et répétant les raisonnement que nous avions pour la fonction scalaire y(x), nous obtenons un système d’équations d’Euler

0''

dxxhy

fxh

y

fj

jj

j

b

a

0

0

011

nn

jj

y

f

dx

d

y

fy

f

dx

d

y

fy

f

dx

d

y

f

0F

Fonctionnelles avec plusieurs variables indépendantes(1)

Sont considérées dans l’espace des fonctions u(x,y)

définies sur un domaine limité, plat G continues et ayant les dérivées premières continues selon chaque argument.

La norme :

Si la fonction f a des dérivées continues jusqu’à 2nd ordre selon tous ses arguments, alors la fonctionnelle est dérivable dans l’espace

et sa variation s’écrit comme

dydxy

u

x

uyxuyxfyF

b

a

,),,(,,

y

yxu

x

yxuyxuu

G

,,

,,),((max

0

dxdyhu

fh

u

fh

u

fuF y

yx

x

b

a

)()(1 GD n

)()(1 GD n

Fonctionnelles avec plusieurs fonctions inconnues(2) Supposons que les valeurs de la fonction u(x,y) ,sont fixées sur la

frontière du domaine G . Par conséquent les valeurs h(x,y) sur cette frontière sont nulles.

Le même calcul pour

0

dxdyhu

fh

u

fh

u

fuF y

yx

x

b

a

dxhu

fdydxdyh

u

f B

Ax

xx

xG

dxu

f

xyxhyxh

u

f

x

B

A

BA

x

,),(

=0

...

dyhu

fdxdxdyh

u

f D

Cy

yy

yG

Fonctionnelles avec plusieurs fonctions inconnues(3) Finalement,

Comme h(x,y) est une fonction arbitraire

Equation d’Euler - Ostrogradski

0),(

dxdyyxh

u

f

yu

f

xu

fdxdyhy

u

fh

u

fh

u

fuF

yxGyx

x

b

a

0

yx u

f

yu

f

xu

f

Méthode de Horn and Shunk(1)

dxdyy

v

x

v

y

u

x

uIvIuI

Gtyx

w

222222

min

Nous avons donc

Système d’Euler - Ostrogradski

0

0

yx

yx

v

f

yv

f

xv

f

u

f

yu

f

xu

f

dxdyy

v

x

v

y

u

x

uyxvyxuyxf

G

),,,),,(),,(,,(

Méthode de Horn et Shunk(2)

t

I

x

I

y

u

x

uvx

I

y

Iu

x

I

2

2

2

22

2

t

I

y

I

y

v

x

vv

y

Iuy

I

x

I

2

2

2

22

2

Après les calculs on obtient

vy

v

x

v

uy

u

x

u

2

2

2

2

2

2

2

2

Ici sont des Laplaciens des fonctions u et v

Méthode of Horn and Shunk(3)

Approximation du Laplacien

tjitji

tjitji

vvv

uuu

,,,,

,,,,

1/12

1/121/12

1/12

1/6

1/6

1/6

1/6-1 uu(*)

Avec (*) le système peut être re-écrite

tyyyx

txyxx

IIvvIuII

IIuvIIuI

222

222

La solution : soit directe, soit itérative

Méthode of Horn and Shunk(4)

Approximation des dérivées par Horn et Shunk

1,,11,1,1

1,,1,1,

,,1,1,1,,,1,

_4

1

kjikji

kjikji

kjikjikjikji

x

II

II

IIII

I

j j+1

i+1

ik

k+1

4

1yI

1 1

-1-1 +

1 1

-1-1

4

1tI

-1 -1

-1-1

1 1

11+

I

I

Méthode de Horn and Shunk(4)

Méthode itérative de Gauss-Seidel:

22

1ˆI

tI

wI

x

Iuu

i

ii

22

1ˆI

tI

wI

y

Ivv

i

ii

Solution itérative

tyyyx

txyxx

IIvvIuII

IIuvIIuI

222

222

Ici sont des moyennes pondérées dans le voisinage

vw,

Estimateur de Cornélius -Kanade

Prise en compte de la variation locale de l’intensité au cours du temps

Ici est la variation de luminance au cours du temps en chaque pixel

),(),(),( yxwt

Iyxv

y

Iyxu

x

I

min)()(),,( 222222222 dxdywwvvuuwIvIuIwvuEG

yxyxyxtyx

dt

dIyxw ),(

Estimateur de Cornelius -Kanade

222

2

2

1

1

1

yx

nt

ny

nx

nn

ynn

xnn

II

wIvIuI

ww

Ivv

Iuu

1.HORN B.K.P., SHUNK B.G. Determining optical flow. Artificial Intelligence, vol. 17, pp. 185-203, 19812.TEKALP A.M. Digital Video Processing, Prentice Hall, 19953. NICOLAS H. , LABIT C. Global motion identification for image sequence analysis and coding , Proc. [SCH86] 4. SCHUNK B. G. The image flow constraint equation ; Computer Vision, Graphics and Image Processing, vol. 35, pp. 20-46, 1986 5. J. Rappeoz, M. Picasso, « Introduction à l’analyse numérique », Presses Polytechniques et Universitaires Romandes, 1998, 6.A. Pchenitchny, B. Danilin « Méhtodes numériques dans la résolution des porblèmes extrémaux », Moscou, Mir, 1987, (En français)7. Kanade T., Cornelius N., Adapting optical-flow to measure object motion in reflectance and x-ray image sequences. ACM SIGGRAPH/SIGART : pp 50 – 58, 1983