Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion,...

39
Traitement d’images : concepts avancés Morphologie mathématique (cas fonctionnel) : Erosion, dilatation, ouverture et fermeture fonctionnelles, Filtres alternés séquentiels, Ligne de partage des eaux. Classification (approches globales) : Modèles markoviens, Estimation de paramètres. Estimation de mouvement : Cas d’un mouvement rigide, Flot optique.

Transcript of Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion,...

Page 1: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Traitement d’images : concepts avancés

• Morphologie mathématique (cas fonctionnel) : 

– Erosion, dilatation, ouverture et fermeture fonctionnelles,– Filtres alternés séquentiels,– Ligne de partage des eaux.

• Classification (approches globales) :– Modèles markoviens,– Estimation de paramètres.

• Estimation de mouvement :– Cas d’un mouvement rigide,– Flot optique.

Page 2: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Comparaison de 2 images2 types de changements :• Apparition / disparition / modification des

caractéristiques (radiométriques, forme) d’objets

analyse d’1 image ‘différence’ :

classification ‘changement’ / ‘non changement’• Mouvement / déplacement de la

scène/d’objets1. Recherche d’1 mouvement global ici

seulement cas des transformations 2D

2. Recherche d’1 champ de déplacements image du Flot optique

Application à la surveillance : vidéosurveillance, monitoring en télédétection, etc.

Application : recalage d’images, compensation mouvement global caméra, etc.

Application : estimation mouvement global caméra, détection de cibles en mouvement, etc.

Page 3: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Comparaison de 2 images : a priori

Quel a priori rajouter pour guider la solution ?

1. Transformation globale : Tous les pixels de la scène ont subit le même mouvement modèle rigide

2. Champ de déplacements : Les pixels de la scène peuvent avoir des mouvements indépendants modèle non rigide

Mais les déplacements varient lentement régularisation

Affectant TOUS les pixels de l’image : translation, rotation, homothétie, affinité

Page 4: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Transformations 2D rigides : Translation+rotation+homothétie• Translation (vecteur t0=(x0,y0) ) M’=M+t0

• Rotation (centre 0, angle j) M’=(s.eij).M

• Homothétie (centre 0, rapport s)

coordonnées polaires M(r,q)=r.eiq M’=s.rei( q +j)

coordonnées log-polaires M(r,q)=logr+iq M’= logr+logs+i(q+j)

0

0

'

'

yyy

xxx

cos.sin.'

sin.cos.'

yxy

yxx

yy

xx

.'

.'

2 combinaisons de transformations élémentaires :

• translation t0 puis r, rotation+homothétie, M’=(M+t0).r =M.r+t0.r

• rotation+homothétie puis translation M’=M.r +t0=(M+t0.r-

1).r

On peut toujours appliquer (corriger) d’abord la rotation+homothétie puis la translation

Page 5: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Rappel : TF d’1 image

1

0

1

0

..2

.,1

,N

u

M

v

M

yv

N

xuj

evuFMN

yxI

1

0

1

0

..2

.,,N

x

M

y

M

yv

N

xuj

eyxIvuF

Page 6: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Corrélation de phase Estimation d’une translation entre 2 imagesSoit f1 et f2 deux images égales à une translation (dx,dy) près :

f2(x,y) =f1(x−dx,y−dy)

Soit F1 et F2 leurs transformées de Fourier respectives :

F2(u,v) = F1(u,v)e−j2p(u/M.dx+v/N.dx)

Alors :

En prenant la transformée de Fourier inverse, on obtient un pic de dirac en (dx,dy), correspondant aux paramètres de translation.

Exemple : (© wikipédia)

y

N

vx

M

uj

evuFvuF

vuFvuF 2

*21

*21

,.,

,., Réduction des effets de bords en filtrant (e.g. Hamming) les images préalablement

‘spectre de puissance croisé normalisé’ (SPCN)

Page 7: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Corrélation de phase : exemple

Images 452452

TF inverse du SPCN

Pic en (0,377)

Validation :(251,132)-(177,133)=(75,0)(400,307)-(325,307)=(75,0)

Et : 452-377=75

(177,133)

(325,307)

(251,133)

(400,307)

Page 8: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Fourier-Mellin Estimation d’une rotation+homothétie entre 2 imagesInvariant de Fourier-Mellin = extension de la corrélation de phase pour

obtenir les paramètres de rotation et changement d’´echelle.

Soit g1 et g2 deux images égales à une rotation d’angle j et un changement d’échelle de s près et G1 et G2 leurs TF respectives :

g2(x,y) =g1(s(x.cos j +y.sinj), s(−x.sin j +y.cosj))

Passage en coordonnées log-polaires

Þ la rotation+changement d’échelle devient 1 translationÞ Estimable par corrélation de phase :

cossin,sincos

1, 122

vuvuGvuG

,loglog1

,log 122 GG

Propriétés Transformée de Fourier : • rotation rotation de même angle • homothétie de rapport s homothétie de rapport s-1

,log.,log

,log.,logmaxarg,log

2*

1

2*

11

,0

GTFGTF

GTFGTFTF

u=rcosq, v=rsinq

u=rcosq, v=rsinq

sincossincossincossin

cossinsincoscossincos

vu

vu

Page 9: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Estim. d’1 transfo. rigide 2D entre 2 images1. Calcul des TF des 2 images g1 et g2 G1(u,v) et G2(u,v)

2. Passage en coordonnées log-polaires pour les 2 TF G1(log r,q) et G2(log r,q)

3. Calcul des TF des 2 im. G1(log r,q) et G2(log r,q) G1(u,v) et G2(u,v)

4. Calcul du SPCN de G1(log r,q) et G2(log r,q) SPCNlogpolaire

5. Calcul de la TF inverse du SPCNlogpolaire TF-1(SPCNlogpolaire)

6. Estimation des paramètres de la rotation-homothétie comme les coordonnées du pic de TF-1(SPCNlogpolaire) (log a,j)

7. Application de la rotation d’angle -j & de l’homothétie de rapport a-1, à l’image g2 h2

8. Calcul de la TF de h2 H2(u,v)

9. Calcul du SPCN de G1(u,v) et H2(u,v) SPCN2

10. Calcul de la TF inverse du SPCN2 TF-1(SPCN2)

11. Estimation des paramètres de la translation comme les coordonnées du pic de TF-1(SPCN2) (tx, ty)

12. Application de la translation (-tx,-ty) , à l’image h2 h1 g1

Page 10: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Invariant de Fourier-Mellin : ex.1

Images 512512

TF inverse du SPCNlogpolaire

Validation :rotation d’angle 60° 86/512360facteur d’échelle = 0.7

(153,212)

(387,298)

(194,305)

(305,183)

Pic en (86,482)

Page 11: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Invariant de Fourier-Mellin : ex.2

Page 12: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Invariant de Fourier-Mellin : ex.2

Page 13: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Transformations d’ordre supérieur• Sélection de points d’amer :

® Manuellement (identification de points homologues dans les deux images)® Automatiquement (cf. cours de mise en correspondance de primitives)

• Estimation de la transformation® Système d’équations linéaires à résoudre

® Critère des moindres carrés :

solution donnée par la matrice pseudo-inverse :

limite : sensibilité aux outliers

® RANSAC (RANdom Sampling Consensus) principe :

....

....,,...,1

52

42

3210

52

42

3210

iiiiiii

iiiiiii

yxbybxbybxbbY

yxayaxayaxaaXni

BMV

AMV

.

.

iii

iii

yxY

yxX

niYXyx iiii ,...,1,,,, Couples de points se correspondant dans les 2 images

p

j

nnnnnn

iiiiii

n

i

a

a

a

yxyxyx

yxyxyx

yxyxyx

X

X

X

...

...

.

...1

.....................

...1

.....................

...1

...

...0

22

22

1121

21111

2

2

.minarg~

.minarg~

BMVB

AMVA

B

A

iii

iii

yxY

yxX

i

i

Y

X

VMMMB

VMMMAtyxyx

tyx

tyxyx

tyx

iiiiii

iiiiii

...~

...~

1

1

Symétrique positive, & définie si inversible

réitération tant quenon satisfaisant de :

- sélection aléatoire d’1 sous-ensemble de points ; - calcul de la solution pour ce sous-ensemble ;- calcul du critère de consensus (e.g. nombre de points

dans l’ens. complet à une distance inférieure à un seuil)

Page 14: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Projection d’1 image vers l’autre : stratégie d’interpolation

Projection I12 de l’image 1 I1 dans la géométrie de l’image 2 I2 :

• Soit T la transformation de l’image 1 vers l’image 2, et T-1 celle de l’image 2 vers l’image 1 ;

• Pour chaque pixel (i2,j2) de l’image 2, – Calculer ses coordonnées antécédentes sur le pavé correspondant à l’image 1 :

(x,y) = T-1(i2,j2)

– En déduire les coordonnées des pixels antécédents dans l’image 1 : {(i1,k,j1,k)/ dist2D((x,y),(i1,k,j1,k))<s} ; e.g. pour s=1, 4 voisins :

– Calculer le niveau de gris du pixel (i2,j2) selon l’interpolation à l’ordre choisi : I12(i2,j2) = I({I1(i1,k,j1,k)/ dist2D((x,y),(i1,k,j1,k))<s})

1,1,1,,,1,, yxyxyxyx

I1 I2

Page 15: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Projection d’1 image vers l’autreProjection I12 de l’image 1 I1 dans la géométrie de l’image 2 I2 :

• Soit T la transformation de l’image 1 vers l’image 2, et T-1 celle de l’image 2 vers l’image 1 ;

• Pour chaque pixel (i2,j2) de l’image 2, – Calculer ses coordonnées antécédentes sur le pavé correspondant à l’image 1 :

(x,y) = T-1(i2,j2)

– En déduire les coordonnées des pixels antécédents dans l’image 1 : {(i1,k,j1,k)/ dist2D((x,y),(i1,k,j1,k))<s} ; e.g. pour s=1, 4 voisins :

– Calculer le niveau de gris du pixel (i2,j2) selon l’interpolation à l’ordre choisi : I12(i2,j2) = I({I1(i1,k,j1,k)/ dist2D((x,y),(i1,k,j1,k))<s})

• Interpolations : – Ordre 0 plus proche voisin – Ordre 1 bilinéaire 2 interpolation linéaires successives :

– Ordre 6 bicubique (en ) surface encore plus lisse…

1,1,1,,,1,, yxyxyxyx

yxjidistIjiI Dji

,,,minarg, 112,

1222111

1212

2222

1212

2112

1212

1221

1212

1111

12

22

12

11

12

222

12

1122

12

221

12

1111

....

....

..

yyxx

yyxxQI

yyxx

yyxxQI

yyxx

yyxxQI

yyxx

yyxxQIPI

yy

yyRI

yy

yyRIPI

xx

xxQI

xx

xxQIRI

xx

xxQI

xx

xxQIRI

dydxyxIdydxyxIdydxyxIdydxyxIjiI

dy

dy

yxIyxI

yxIyxIdxdxjiIyydyxxdx

11.1,11.1,1.,1..,,

11,1,1

1,,1,,

2221

2221

3

0

3

0, '

i j

jiji sIsI

Page 16: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Ré-échantillonnage d’image : exemple

plus proche voisin

bilinéaire

Page 17: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique• Pb: Soit 2 images acquises à t et t+1. Quel est le champ

des vitesses associé à l’image ?

Þ Sous-pb : Quel est le champ des vecteurs de

déplacement apparent de chaque objet de l’image entre t et t+1 ?

Définitions :

Applications : suivi d’objets, détection de mouvement, etc…

Mouvement apparent local : s=(x,y)S, t, (vx

t, vyt) représente la vitesse

apparente de s à t.

Flot optique = champ de mouvement apparentIdéalement, le vecteur (vx

t,vyt) représente la

projection sur le plan image du vecteur vitesse 3D (VX

t, VYt , VZ

t) des points de la scène. Mvt réel : rotation autour de Z

Mvt apparent :

vecteur selon Z

Page 18: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

0..

t

f

t

y

y

f

t

x

x

f

dt

df

• Soit f(x,y,t) l’image vue comme une fct donnant la ‘brillance’ (niv. de gris) d’un objet en (x(t),y(t)) à t

• Hypothèse de base = conservation de la ‘brillance’

des objets au cours du temps

• En pratique, – minimisation de la norme (L1) :

avec

– régularisation du champ des vitesses

Éviter ces solutions !

Flot optique : formulation (I)

t

yv

t

xutyxz

z

ff z

et , ,,,

dfvfufddt

dftvx ..

Page 19: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : formulation (II)• Ajout d’1 terme de régularisation énergie

à minimiser : (*)avec

– Horn & Schunk (1981) :

– Weickert & Schnörr (2000) :

avec

et l’énergie est intégrée sur 1 domaine spatio-temporel W W[0,T] dans (*)

22222

y

v

x

v

y

u

x

uEr

tyxd fvfufE ..

222 vuEr

dEE rd222 .

0et ,10où ,1.1.2

2222 z

zz

-10 10 30 50 70 90 110 130 1500

500

1000

1500

2000

2500epsilon=0, lamda=10epsilon=0,05, lamda=1

z

(2)

Yz

Page 20: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : résolution (I)

• Rappel : soit 1 fct J dépendant d’1 fct f et de sa

dérivée première :

alors 1 extremum de J (s’) est la fct f(x) qui satisfait

l’équation d’Euler-Lagrange

Cas Horn & Schunck

et

(**)

0

xf

L

dx

d

f

L

dxxfxfxLfJ x,,

2222

22y

v

x

v

y

u

x

ufvfufL tyx

tyxx fvfuffu

L

2

tyyyx

txyxx

ffvvfuff

ffuvffuf222

222

2

2

2

222 2

'2

' y

u

x

u

u

L

d

d

y

u

x

u

u

L

On pose f=f0+ef1, avec f1 quelconque nulle sur les bords de W. Alors si f0 est 1 minimum, la dérivée de J par rapport à e est nulle en e=0 : . Or : 0',,

0

ffxJ

d

d

dx

f

L

dx

d

f

Lff

f

Ldx

f

L

dx

df

f

Lfdxf

f

Lf

f

LdxffxL

d

d

'.

''..'.

'.)',,( 111111

Page 21: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : résolution (II)• Approximation du Laplacien et des dérivées 1ères par

filtrage linéaire : avec

et

• En remplaçant dans le système (**)

• Que l’on résout de façon itérative (n numéro d’itération):

1,11,11,11,1

1,1,,1,1

12

16

1

jijijiji

jijijiji

uuuu

uuuuujijiji uuu ,,,2

tyyyx

txyxx

ffvvfuff

ffuvffuf222

222

tyxyxyx

txyxyyx

ffvfuffvff

ffvffufuff22222

22222

222)(1

222)(1

yxtn

yn

xynn

yxtn

yn

xxnn

fffvfuffvv

fffvfuffuu

1

,,1,1,1,,,1,, 4

1 t

tkkjikjikjikjijix fffff

tyyxytxyxyx

yyx

yxx

yty

yxtx

ffvfffffuuffff

fff

fff

fffv

ffffuu

222222222

22

22

222

2

Page 22: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : analyse de résultats

Image des valeurs de u Image des valeurs de v

•Principalement valeurs à 0 (gris)

•Quelques valeurs non nulles au niveau des roues

•Principalement valeurs à 0 (noir)

•Valeurs non nulles (2) au niveau de la carrosserie

Page 23: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : exemples de résultatsDifférence signée u v

Alpha=

5

Page 24: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : exemples de résultatsDifférence signée u v

Alpha=

10

Page 25: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : approche hiérarchique• Dérivées (1ères et 2ndes) estimées sur des fenêtres de taille 33 ou

222 estimation du flot valide que pour des déplacemets ‘petits’.• approche hiérarchique : principe :

Niveau 0

N-2

N-1

Niveau 0

N-2

N-1

Sous échantillonnage

Sous échantillonnage compensation

du mouvement

Image 1

Image 2

Calcul de u&v

Compensation du mouvement

Calcul de u&v

Calcul de u&v

u=u(N-1)

v=v(N-1)

u=2u(N-1)+u(N-2)

v=2v(N-1)+v(N-2)

u=2u(1)+u(0)

v=2v(1)+v(0)

Page 26: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : analyse de résultats

Image des valeurs de u Image des valeurs de v

(212,286)(204,277)

v6u7

Page 27: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Flot optique : informations dérivées

• Cas d’une caméra statique : flot permet d’estimer® les mouvements des objets de la scène

® segmentation de la scène par le mouvement® suivi (tracking) des objets

• Cas d’une caméra embarquée : flot permet d’estimer® le mouvement dominant de la scène

® foyer d’expantion egomotion de la caméra

® les objets de la scène non statiques ® trajectoires des objets non statiques

Page 28: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Modèle d’acquisition de scène• Modèle sténopé = pin-hole projection perspective

f

Z

yY

f : distance focale de la caméra

En coordonnées homogènes :

Rq :Modèle sténopé complet :

Z

Yfy

Z

Xfx

10100

000

000

1Z

Y

X

f

f

y

x

11

0100

000

000

ZfY

ZfX

Z

fY

fX

Z

Y

X

f

f

110000100

000

000

100

0

1

33

Z

Y

X

t

tR

t

f

f

ck

csk

y

x

z

y

x

yy

xxyx

Matrice de passage du repère 3D de la scène à celui 3D de la caméra (translation+rotation 3D)

Projection sur le plan image

kx, ky facteurs d’agrandissement des pixels, cx, cy coord. du la projection du centre optique de la

caméra sur l’image

Page 29: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Foyer d’expansionDéfinition : FOE = point (S) de convergence

des directions des mouvements apparents locaux lors d’un déplacement de la caméra dans une scène statique.

FOE

'

'

'.

'.lim

'

'

'.

'.lim

0

0

0

0

Z

Yf

ZtZ

YtYfy

Z

Xf

ZtZ

XtXfx

tFOE

tFOE

Si la caméra se déplace à la vitesse (-dX/dt,-dY/dt,-dZ/dt)= (-X’,-Y’,-Z’), alors tous les points de la scène sont à la même vitesse (X’,Y’,Z’)

'.'.1'.'.

'.'.1'.'.

2

2

ZyYfZZ

ZyZYf

dt

ZYdfv

ZxXfZZ

ZXZXf

dt

ZXdfu

Cas centre optique caméra se projette au centre de l’image

yyZZ

xxZZ

vu FOEFOE'

,'

,

Modèle Pin-hole expression du flot (u,v) en un pixel (x,y)

Norme des vecteurs déplacement inversement

proportionnelle à Z

Page 30: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Points d’intérêt et flot optique

Il existe une approche duale de l’approche variationnelle présentée, à savoir une approche locale (Lucas&Kanade 1981 approches par corrélation)

Principe : flot estimé aux points où il est estimable a priori non dense

Complémentarité par rapport à l’approche variationnelle dense vision humaine :

• petits mouvements analyse flot optique dense• grands mouvements mise en correspondance de points

caractéristiques

•Hyp.: Champ de mouvement est constant sur une petite région•Mesure de confiance basée sur la texture de l’image

Finalement le calcul du flot optique revient à : identifier les couples de pixels susceptibles d’appartenir à un même

objet dans les 2 images à t et à t+1® définir 1 critère d’association des pixels

sélectionner la ‘bonne’ sol. parmi des sol. multiples® définir un critère de régularisation du champ des déplacements

Page 31: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Détection de changement : Problèmes

• Pb 1 : soit 1 image de fond, et 1 image acquise à 1 instant t. Quels sont les objets apparus ou disparus par rapport au fond ?

• Pb 2 : Soit 2 images acquises à t et t+1. Quels sont les objets ayant bougé entre t et t+1 ?

Seul cas traité ici : caméra fixe tous les changements détectés sont imputables à des apparitions / disparitions / mouvements d’objets

Page 32: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Détection de changement : Approche générale

• Création d’1 image des données D– Niveau d’information considéré :

• Valeur absolue des différences des niveaux de gris• Différence signée des niveaux de gris• Différence (absolue ou non) d’images de primitives :

contours…

• Classification de l’image D – Nombre de classes :

• 2 : ‘changement’ vs ‘non changement’• k : ‘non changement’, ‘changement de type 1’,…,

‘changement de type k-1’– Prise en compte de l’information spatiale

• Classifications markoviennes (vs ponctuelles)• Décision niveau ‘fenêtre’

On cherche 1 solution qui soit :Robuste

• au bruit,• aux changements d’illumination

Automatique

Page 33: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Création d’1 image des ‘données- changements’ D

Page 34: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Classification de l’image D• Cas 2 classes

– Classe ‘non changement’ ~ Normale centrée variance s

– Classe ‘non changement’ ~ quelconque !!!Þ Attention au terme d’attache au données

– Exemple : cas d’1 classe changement bimodale supposée monomode

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6,72 28,6 22,6 26,4 22,6 0,06 11,5 3,250 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 11,3 6,45 29,5 9,39 6,56 29,7 11,4 21,70 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 29,9 -26 -19 8,94 8,42 5,44 8,42 19,90 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 20,4 -22 -7,2 16,5 24,4 12,2 27,5 8,70 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 20 15,6 0,15 12,6 20,4 0 23,3 280 0 0 0 1 1 1 0 0 0 0 0 1 1 1 0 21,5 17,1 23 22,5 -4 -1,6 -2,4 17,20 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 21,2 27,6 17,4 26,8 28,5 -0,8 26 10,30 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 22,9 10,4 19,2 14,6 0,54 11,1 13,9 14

3,16 0,43 1,17 0,7 1,18 3,99 2,56 3,59 0 0 0 0 0 0 0 0 6,72 28,6 22,6 26,4 22,6 0,06 11,5 3,252,58 3,19 0,32 2,83 3,18 0,28 2,57 1,28 0 0 0 0 0 0 0 0 11,3 8,45 31,5 13,4 10,6 33,7 15,4 21,70,26 7,25 6,36 2,88 2,95 3,32 2,95 1,51 0 1 1 0 0 0 0 0 29,9 -26 -19 10,9 12,4 9,44 12,4 19,91,45 6,79 4,9 1,94 0,96 2,48 0,56 2,91 0 1 1 0 0 0 0 0 20,4 -22 -7,2 18,5 28,4 14,2 31,5 8,71,49 2,05 3,98 2,43 1,44 4 1,09 0,5 0 0 0 0 0 0 0 0 20 17,6 2,15 16,6 20,4 2 23,3 281,32 1,87 1,13 1,19 4,5 4,2 4,3 1,85 0 0 0 0 1 1 1 0 21,5 21,1 27 24,5 -2 -5,6 -0,4 17,21,35 0,56 1,82 0,65 0,44 4,1 0,75 2,71 0 0 0 0 0 0 0 0 21,2 31,6 21,4 30,8 28,5 1,2 26 10,31,14 2,7 1,61 2,17 3,93 2,62 2,26 2,25 0 0 0 0 0 0 0 0 22,9 10,4 19,2 14,6 0,54 11,1 13,9 14

mu0 2 beta 2mu1 6

Image des labels ‘vérité’

Classification aveugle

termes attache aux données

énergies avec terme voisinage

Classification MRF-ICM (itération 1)

Image données

Paramètres classification

Page 35: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Décision A Contrario• Principe de Helmholtz :

1. modélisation du cas où il n’y a rien (modèle ‘naïf’) et

2. contradiction éventuelle de ce modèle

• Cas de la détection de changements : Þ Classe ‘non changement’ modèle naïf (&

Classe ‘non changement’ non modélisée !)Þ Estimation de la ‘vraisemblance’ de l’observation

sous hyp. du modèle naïfÞ Décision

• sur la valeur de probabilité ~ tests a contrario de Fisher• sur le “nombre de fausses alarmes”

• 1 structure est présente dans 1 groupe d’objets quand la configuration de ces derniers ne peut arriver par simple hasard (sauf exception).

• Introduit en TI par A. Desolneux (2000)

Page 36: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Exemple 1 : détection basée sur les valeurs radiométriques de pixels

• Modèle naïf :En l’abs. de changements, l’image différence est un champ

aléatoire de variables indépendantes gaussiennes centrées

L’erreur quadratique cumulée sur 1 sous-ensemble de pixels Wi :

a 1 fct de répartition qui suit une loi du

c2.

• Critère NFA :principe : mesurer le degré d’étonnement d’1 observation

NFA = où |E| est un ‘nombre de tests’

• Significativité maximale :1 évènement est e-significatif si son NFA est <e

On cherche les sous-ensemble de pixels Wi de significativité max., i.e. de NFA minimal

iWs

sD 22 2zP

Ex. : pour 1 pièce supposée non truquée, il n’est pas vraiment étonnant de ne pas tirer ‘face’ sur 1 tirage aléatoire ; par contre il est très étonnant de

tirer 0 fois ‘face’ sur 10 tirages aléatoires !

22 zPE

Conversion d’1 proba. en 1 nombre de fausses alarmes

Page 37: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Exemple 1 : résultats

• Cas où Wi est quelconque

sur l’ensemble des pixels de

l’image : |E| = et

• Cas où Wi est 1 fenêtre rectangulaire de nk pixels :

|E| = et

iWS

CS .

iSW

WNFAWi

minarg~

kiC inSk ,1,

de dimensions fixées e.g. 1010, 1020,

2010, 2020)

jWWW

i

i

i WNFAWNFA

NFAWNFAWW

jij :

max

minarg~

Page 38: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Exemple 2 : détection basée sur les labels

• L’image de données est 1 image de labels l0

– l0 {‘changement’=‘C’, ‘non changement’=‘NC’, ‘indéterminé’=‘I’}

– l0 attribué au niveau pixel erreurs

• Modèle naïf :En l’abs. de changements, les labels l0=‘changements’ sont répartis

uniformément sur l’image

Le # de pixels labelisés ‘C’, |{‘C’}Wi|, dans 1 sous-ensemble compact

de |Wi| pixels suit une loi binômiale :

• Résultats :

ii WWpi CzBWNFA '',

knkknnp ppCkzB 1,

Étiquettage par méthode 1.1

Étiquettage sur valeur de gradient

Page 39: Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Bibliographie

• H. Maître, Le traitement des images, Hermès éditions.

• J.-P. Cocquerez & S. Philipp, Analyse d’images : filtrage et segmentation, Masson éditions.

• S. Bres, J.-M. Jolion & F. Lebourgeois, Traitement et analyse des images numériques, Hermès éditions.