Image, Mouvement, Vision 3D - École Polytechnique

1

X-ENS-UPS – GLB – 13/05/2011 – T1

Image, Mouvement, Vision 3DUn aperçu de la vision bas-niveau

Guy Le Besnerais, ONERA/DTIM

Contributions ONERA- unités EVS et IMS du DTIM, en particulier Frédéric Champagnat, Martial Sanfourche et les doctorants Aurélien Plyer et Pauline Trouvé- l’ONERA/DAFE (Benjamin Leclaire, Yves Le Sant, Samuel Davoust)

Jour

nées

X-E

NS

-UP

S 2

011

–S

émin

aire

GLB

130

511

X-ENS-UPS – GLB – 13/05/2011 – T2

Plan

• Contexte• Deux problèmes typiques• Du 2D au 3D• Evolutions• Conclusions

2

X-ENS-UPS – GLB – 13/05/2011 – T3

Un modèle stratifié de la vision

Donnéesimage

Sortie numérique

AcquisitionInterprétation

Décision

• Modèle traditionnel « années 80 »• utilisé pour différents systèmes perceptifs :

(pertinence variable, bien entendu)

Capteur Haut-niveauBas-niveau

Système PIV

DroneMouche

Humain

Traitement

FPGA

X-ENS-UPS – GLB – 13/05/2011 – T4

Application : observation IR

• Objectif : améliorationimage

• Critères :• « Qualité image »

• profondeur de champ• stabilisation• « temps réel »

• Futur : vision enrichie• 3D, objets, etc.

Résolution limitée

Flou, bruit

Instabilités

3

X-ENS-UPS – GLB – 13/05/2011 – T5

Application : mesure de mouvementsfluides pour l’aérodynamique

• Vélocimétrie par imagerie de particules(PIV)

Deux images de particules

Champ de mouvementestimé

Système PIV

X-ENS-UPS – GLB – 13/05/2011 – T6

Application : navigation autonome

• Perception embarquée• Deux thématiques liées

• Localisation

• Modélisation environnement

• Critères• Précision

• Durée de validité

• Futur : « autonomie complète »(ie. sur qq minutes…)

Trajectoire et modèle 3D

0 50 100 150 200 250 300-100

-50

0

50

100

150

200

Y (m) : EAST

X (m

) : N

OR

TH

GPS / INSVision / INSINS-only

UAV

TargetIMU

Camera

GPS

Onb

oard

Sen

sors Integrated Vision/INS

Navigation Filter

image

UAV attitude, acceleration

UAV position, velocity

Guidance & Flight Control

UAV global state

actuator inputs

Target global state

Targetpixel coord

Predicted targetpixel coordinates

Visual Target Tracker &Optical Flow Estimation

Optical flow

UAV

TargetIMU

Camera

GPS

Onb

oard

Sen

sors Integrated Vision/INS

Navigation Filter

image

UAV attitude, acceleration

UAV position, velocity

Guidance & Flight Control

UAV global state

actuator inputs

Target global state

Targetpixel coord

Predicted targetpixel coordinates

Visual Target Tracker &Optical Flow Estimation

Optical flow

4

X-ENS-UPS – GLB – 13/05/2011 – T7

Vision bas-niveau

Donnéesimage

Autrescapteurs

Traitement

Sortie numérique

AcquisitionInterprétation

Décision

• Un domaine du traitement de données• Problématiques classiques : algorithmie, caractérisation, modèles

Base deconnaissances

Modélisation

Algorithmie

Caractérisation

X-ENS-UPS – GLB – 13/05/2011 – T8

Plan

• Contexte• Deux problèmes typiques

• Déconvolution et extensions• Estimation de mouvement image

• Extension jointe : super-résolution

• Du 2D au 3D• Evolutions récentes• Conclusion

5

X-ENS-UPS – GLB – 13/05/2011 – T9

Un modèle très utile

• Modèle convolution + bruit

bxhy += *xh*hx

b

Capteur

1D

2D

RI

PSF

X-ENS-UPS – GLB – 13/05/2011 – T10

Approche « naïve »

• Problème discret• Données discrètes• Discrétisation de l’entrée

• Prise en compte du bruit• Solution des moindres carrés

• Un problème inverse• Les données ne suffisent pas à définir une solution satisfaisante

• L’équation d’observation est dite « mal posée »

bxHy +=

2MC minargˆ bxHx +=MCx

6

X-ENS-UPS – GLB – 13/05/2011 – T11

Conditionnement

• Une interprétation en Fourier• Théorème de convolution-multiplication

• Solution par filtrage inverse (ou division spectrale)

−∈∀+=2

1,

2

1),()()()( ffBfXfHfYbxhy += *

TF

→

TF

→Conditionnement

= 1016 !

X-ENS-UPS – GLB – 13/05/2011 – T12

Effet du mauvais conditionnement : 2D

• Division spectrale en 2D• Solution inexploitable

7

X-ENS-UPS – GLB – 13/05/2011 – T13

Régularisation

• Régularisation par pénalisation

• Introduire des informations a priori surl’objet recherché

• ex : positivité, régularité, etc.

• Un problème d’optimisation• dimension ?

• propriétés du critère ?

• Au final, une solution de compromis

X-ENS-UPS – GLB – 13/05/2011 – T14

Filtrage de Wiener

• Régularisation quadratique• Solution linéaire

• H : matrice Toeplitz, inversion par Fourier = Filtrage de Wiener

=

8

X-ENS-UPS – GLB – 13/05/2011 – T15

Extensions

• Restitution des contours image⇒ Régularisation non quadratique

• Méthodes L2-L1 ou variation totale (TV)• Problèmes algorithmiques

• Méconnaissance de la réponse instrument h

⇒ Déconvolution aveugle/myope

⇒ Méthodes d’identification de la PSF

• Repliement fréquentiel• Les capteurs optiques sont souvent repliés

• = non-respect la condition de Shannon-Nyquist

⇒ Super-résolution

X-ENS-UPS – GLB – 13/05/2011 – T16

Discontinuités

Résultat J. Idier, 1997

Image originale Déconvolution quadratique Déconvolution L2-L1

9

X-ENS-UPS – GLB – 13/05/2011 – T17

Déconvolution myope

• Imagerie astronomique à travers l’atmosphère• Système = télescope + atmosphère

• Réponse h mal connue et fluctuante• Exemple : Ganymède

• Acquisition par Banc Optique ONERA à l’obs. Hte Provence• Restauration par algo MISTRAL [Mugnier01]

• Estimation jointe de la réponse du système et de l’objet

[Mugnier01] Mugnier et al. 01, ONERA/DOTA

X-ENS-UPS – GLB – 13/05/2011 – T18

Identification de PSF

• Contexte : PSF spatialement variable• Flou de bougé, Defocus• Identification de PSF locale

• Approche par maximum de vraisemblance généralisé

• Choix de la PSF parmi une famille finie de réponses calibrées

Bougé, deux objets mobiles Defocus

[Zhuo09] : Zhuo, S. and Sim, T. “On the Recovery of Depth from a Single Defocused Image,” CAIP, 2009

Image [Zhuo09]

[Trouvé11] : Single Image Local Blur identification, ICIP’11, Gent (Belgique), 2011.

Résultat [Trouvé11]

Image et résultat [Trouvé11]

10

X-ENS-UPS – GLB – 13/05/2011 – T19

Extensions

• Restitution des contours image• Régularisation non quadratique



• Déconvolution aveugle/myope

• Méthodes d’identification de la PSF



• Super-résolution

Coupureoptique

Module de la FTO

Niveau de bruit

Fréquenced’échantillonnage

retenue

X-ENS-UPS – GLB – 13/05/2011 – T20

Plan


• Déconvolution et extensions• En savoir plus :

[Approche Bayésienne pour les problèmes inverses, J. Idier (Ed), Hermès, Lavoisier (Paris), 2001 ]

• Estimation de mouvement image• Extension jointe : super-résolution

• Du 2D au 3D• Modèle caméra et stéréovision

• Mesures 3D

• Evolutions récentes• Conclusion

11

X-ENS-UPS – GLB – 13/05/2011 – T21

Plan




• Du 2D au 3D• Modèle caméra et stéréovision• Mesures 3D


X-ENS-UPS – GLB – 13/05/2011 – T22

Séquence originale

Extrait Stabilisation

Stabilisation numérique

12

X-ENS-UPS – GLB – 13/05/2011 – T23

Compensation de mouvement

• Pb : trouver le mvt 2D qui rend les images superposa bles

X-ENS-UPS – GLB – 13/05/2011 – T24

Compensation de mouvement

• Pb : trouver le mvt 2D qui rend les images superposa bles• On travaille en général sur les images de luminance

Image I1 Image I2

13

X-ENS-UPS – GLB – 13/05/2011 – T25

• Minimiser une différence d’images

• On cherche la translation t pour minimiser ΣΣΣΣx (I1(x) – I2(x+t))2

I1(x) – I2(x+t)I1 – I2

Approche dense : translation

X-ENS-UPS – GLB – 13/05/2011 – T26

• Minimiser une différence d’images• On cherche la translation t pour minimiser

• Mise en œuvre : Gauss-Newton

• Initialisation : t0 = 0

• Connaissant ti-1, on pose ti = ti-1 + δt

• Développement au premier ordre

• Résolution en δt linéaire

Approche dense : translation

Σx (I1(x) – I2(x + ti-1) - ∇∇∇∇I2(x + ti-1)t δt)2

Σx (I1(x) – I2(x+t))2

Translation

14

X-ENS-UPS – GLB – 13/05/2011 – T27

• Minimiser une différence d’images

• On cherche l’affinité (A, t) pour minimiser ΣΣΣΣx (I1(x) – I2(Ax+t))2

• Inconvénients• Aucune influence des zones homogènes : coût ?

I1 – I2 I1(x) – I2(Ax+t)

Approche dense : modèle affine

Déformationaffine

X-ENS-UPS – GLB – 13/05/2011 – T28

Approche par primitives

• Extraction de primitives• points d’intérêt ou coins [Harris, Forstner, Stephen]

• Appariement de primitives• Mouvement faible : recherche locale de zones similaires

• Block-matching

15

X-ENS-UPS – GLB – 13/05/2011 – T29


• Recalage de fenêtre(Block matching ) Zone de recherche

Déplacement optimal

X-ENS-UPS – GLB – 13/05/2011 – T30


• Block matching (suite)

Carte de scoresde corrélation

DéplacementDéplacementDéplacementDéplacementcorrectcorrectcorrectcorrect

DéplacementDéplacementDéplacementDéplacementfauxfauxfauxfaux

Zone de recherche

16

X-ENS-UPS – GLB – 13/05/2011 – T31


• Extraction de primitives• points d’intérêt ou coins [cf. Corner detection]

• Appariement de primitives• Mouvement faible : recherche locale de zones similaires

• Exemple : KLT [KLT: Kanade-Lucas-Tomasi Feature Tracker]

X-ENS-UPS – GLB – 13/05/2011 – T32

• Détail entre images 1 et 2• Faisceau des translations estimées pour chaque bipoint apparié

)1()2(ˆ171717 xxt −=Point 17 (image 1) ↔ point 17 (image 2)

translation moyenne : ( )∑ −=n

nnN

)1()2(1ˆ xxt

Estimation aux moindres carrés

17

X-ENS-UPS – GLB – 13/05/2011 – T33

• Détail entre images 11 et 12• Faisceau des translations estimées pour chaque bipoint apparié

⇒⇒⇒⇒Modèle affine

Estimation aux moindres carrés : linéaire en paramè tres

( )2))1(()2(minarg)ˆ,ˆ( ∑ +−=

n

nn txAxtA

X-ENS-UPS – GLB – 13/05/2011 – T34

• Détail entre images 6 et 7

18

X-ENS-UPS – GLB – 13/05/2011 – T35

Estimation robuste

• Modèle moyen faux• Associé au critère des moindres carrés

⇒⇒⇒⇒ Estimer un modèle majoritaire• Pénalisations non quadratiques non convexe

• Optimisation par moindres carrés repondérés (IRLS)

• Critères non réguliers : Least-Median-Squares [Zhang LMedS] / Ransac

• Optimisation par algorithme stochastique type Ransac

{ } ( )∑ +−=n

nn )(minarg, 21 tAxxtA φ

{ } ( ){ }NnnnL1,)(medianminarg, 21 =+−= tAxxtA

Pénalisation quadratique tronquée

X-ENS-UPS – GLB – 13/05/2011 – T36

• Détail entre images 6 et 7 : solution par estimation robuste

Modèle moyen

Modèle robuste

19

X-ENS-UPS – GLB – 13/05/2011 – T37

Extensions

• Détection de relief pour l’aide à l’atterrissage

• Flot optique

X-ENS-UPS – GLB – 13/05/2011 – T38

Défilement apparent et distance

• Observateur en translation / scène rigide• Vitesse de défilement ∝ 1 / distance à l’observateur

• Atterrissage du drone ReSSAC• Caméra en visée nadir• Le relief défile légèrement plus vite que le sol

20

X-ENS-UPS – GLB – 13/05/2011 – T39

Détection de relief

• Compensation du mouvement du sol• Homographie : Champ des déplacements image associé aux

mouvements d’un objet plan

• Détection• Estimation robuste du mouvement global

• Elimine appariements faux et points hors sol

• Soustraction d’image + seuillage

Déformationhomographique

33132131

131121112

hyhxh

hyhxhx

++++=

33132131

231221212

hyhxh

hyhxhy

++++=

Séquence drone RESSACVert = sol

Rouge = reliefGris = indécidable

Résultat ONERA/DTIM, 2009

X-ENS-UPS – GLB – 13/05/2011 – T40

Extensions

• Détection de relief pour l’aide à l’atterrissage

• Flot optique

21

X-ENS-UPS – GLB – 13/05/2011 – T41

Flot optique

• Champ des déplacements apparents entre deux images

Séquence Ettlinger Törr (Univ. Karlsruhe) Flot optique estimé entre deux images

X-ENS-UPS – GLB – 13/05/2011 – T42

Flot optique

• Flot optique : kézako ?• Réponse 1

• le champ de vecteur qui permet de superposer les deux images

Image I0)ˆ(

~0 ttII u+⋅−

tII −0 tu

xxuxx dII tt2

0 ))(()(( +−∫min

tu

Critère non linéaire etProblème sous-déterminé !

22

X-ENS-UPS – GLB – 13/05/2011 – T43

Flot optique

• Flot optique : kézako ?• Réponse 1

• le champ de vecteur qui permet de superposer les deux images

• Réponse 2• le champ de vecteur le plus régulier possible qui permette de

superposer les deux images

• Deux approches• Approches locales [Lucas Kanade, 1981]• Approches globales [Horn Schunck, 1981]

xxuxx dII tt2

0 ))(()(( +−∫min

tuOn retrouve la notion

de régularisation

X-ENS-UPS – GLB – 13/05/2011 – T44

Approches locales

• Block matching + méthode de descente = Algorithme LK [Lucas, Kanade, 1981]

Carte de scoresde corrélation

Chemin de Chemin de Chemin de Chemin de descentedescentedescentedescente

23

X-ENS-UPS – GLB – 13/05/2011 – T45

Approche globale

• Critère global et continu

• Régularisation sur les dérivées spatiales du flot

• Résolution itérative (Gauss-Newton)

• Schémas multi-résolution

• Extension : critères non quadratique (« robustes »)• Régularisation TV ([Total Variation])

xxxuxxu dvudIIJ t

222

0 )()()))(()(()( ∆+∆++−= ∫∫ λ

xxuuxxu dvudIIIJ t

t

222

00 )()())()(()( ∆+∆+∇−+−= ∫∫ λδ

X-ENS-UPS – GLB – 13/05/2011 – T46

Résultats typiques

• Versions (relativement) récentes• locale : FOLKI [LeBesnerais05]

• globale : [LeBesnerais06]

Approche locale Approche globale

24

X-ENS-UPS – GLB – 13/05/2011 – T47

Plan



• En savoir plus :[Handbook of Image and Video Processing, Al Bovik (Ed), Academic Press, 2000]


• Du 2D au 3D• Modèle caméra et stéréovision

• Mesures 3D


X-ENS-UPS – GLB – 13/05/2011 – T48

Plan




• Du 2D au 3D• Evolutions récentes• Conclusion

25

X-ENS-UPS – GLB – 13/05/2011 – T49

Extension jointe

• Restitution des contours image• Régularisation non quadratique



• Déconvolution aveugle/myope• Méthodes d’identification de la PSF



⇒ Super-résolution• Combiner des images pour améliorer la qualité

• échantillonnage, bruit, PSF

Coupureoptique

Module de la FTO

Niveau de bruit

Fréquenced’échantillonnage

retenue

vidéorepliée

X-ENS-UPS – GLB – 13/05/2011 – T50

Super resolution (SR)

• Améliorer la qualité d’une séquence par traitement spatio-temporel

Original Low-ResolutionVideo Sequence (70x120)

3x Spatial Zoom

Interpolation spatiale

26

X-ENS-UPS – GLB – 13/05/2011 – T51

Super resolution (SR)

• Améliorer la qualité d’une séquence par traitement spatio-temporel

• Principal objectif : réduire le repliement

• mais aussi : réduire le bruit, déconvoluerla réponse instrument

Original Low-ResolutionVideo Sequence (70x120)

SR

Reconstructed SRx311 LR images used

X-ENS-UPS – GLB – 13/05/2011 – T52

SR : modèle de formation d’image

• Ajouts• Opérateur de mouvement• Décimation

• Résolution• Recalage = estimation de

• Inversion régularisée du système

+∆h

yk = DHFk xk + bk

yk

bk

xkfk

y = A x + bfk

27

X-ENS-UPS – GLB – 13/05/2011 – T53

Super-résolution : cas réel

• Imagerie IR aérienne

Spatial Zoom SR image

[Rochefort06] G. Rochefort et al., “An improved observation model for super-resolutionunder affine motion,” IEEE Trans. Image Proc., vol. 15, no 11, pp. 3325, nov 2006

Un cas difficile : séquence IRaérienne en rapprochement

- [Rochefort06]

X-ENS-UPS – GLB – 13/05/2011 – T54

Plan

• Contexte• Deux problèmes typiques• Du 2D au 3D

• Modèle caméra et stéréovision• Mesures 3D


28

X-ENS-UPS – GLB – 13/05/2011 – T55

Modèle géométrique de la prise d’image

• Modèle sténopé• Equation de projection centrale

• Propriété : conservation des droites

CPCMCm ηλ ==

==

cc

cc

ZYfy

ZXfx

f

X-ENS-UPS – GLB – 13/05/2011 – T56

Modèle géométrique de la prise d’image

• Projection centrale : un modèle idéal• Distorsions très visibles pour les

focales courtes•

http://www.flickr.com/people/eirikso/

pas de distorsion

distorsion en coussin

distorsion en barillet

29

X-ENS-UPS – GLB – 13/05/2011 – T57

Paramètres intrinsèques

Paramètres extrinsèques

Un modèle géométrique plus réaliste

• Déplacement monde →→→→ caméra : X c = RX + T 6

• Projection centrale 1

• Distorsion 2 à 5

• Numérisation 4

==

cc

cc

ZYfy

ZXfx

+=+=

) ( ~) ( ~

4

2

2

1

4

2

2

1

rkrkyy

rkrkxx

+=+=

0

0

~

~

vypv

uxpu

v

u

X-ENS-UPS – GLB – 13/05/2011 – T58

Calibrage géométriquede caméra

• Plusieurs softs sur le web• [Matlab Calibration Toolbox

J-Y Bouguet]

• Simples d’emploi• Utilisent des images de mire plane

ExtrinsèqueIntrinsèques

Illustrations JY Bouguet

30

X-ENS-UPS – GLB – 13/05/2011 – T59

Mesures 3D

• Principes de mesuresgéométriques à partird’images

A

a

a’Cg

Cd

A

a

a’Cg

Cd

A

a

C

• Intermédiaire indispensable : l’association (matchi ng)

1 – Mesures de vitesses planesexemple : PIV 2C

B

image t+1

b

3 – Triangulation 3D

2 – Mesures de vitesses 3C, exemple : stéréo PIV

Cg

4 – Calcul de pose

b

b’

B

image t+1

X-ENS-UPS – GLB – 13/05/2011 – T60

Application : modélisation 3D

Prise de vue stéréo et 3D instantané par FOLKI

Trajectoire et modèle 3D de la zone traversée

Nuage de pts 3D

1.

2.

3.[Résultats M. Sanfourche, A. Plyer, ONERA/DTIM 2010]

31

X-ENS-UPS – GLB – 13/05/2011 – T61

Plan

• Contexte• Deux problèmes typiques• Du 2D au 3D

• En savoir plus :[Hartley Zisserman, Multiple View Geometry in Computer Vision, Cambridge Univ. Press, 2004]

• Evolutions• Conclusions

X-ENS-UPS – GLB – 13/05/2011 – T62

Un domaine toujours très actif

Traitement AcquisitionInterprétation

Décision

• Beaucoup d’évolutions récentes (> 2000)• Origines diverses


1 - Evolutions « internes »(imports de modèles et algorithmes)

2 – Solutions de calcul(ex : GPU)

3 – Evolutionscapteurs

4 – Interaction capteurs-traitement(co-conception)

5 – Interaction bas-niveauet haut-niveau

32

X-ENS-UPS – GLB – 13/05/2011 – T63

Plan

• Contexte• Deux problèmes typiques• Du 2D au 3D• Evolutions

• Algorithmes et architectures de calcul• Co-conception• Echanges avec le haut-niveau

• Conclusions

X-ENS-UPS – GLB – 13/05/2011 – T64

Evolutions : algorithmes et architectures de calcul


Décision


1 - Evolutions « internes »(imports de modèles et algorithmes)

2 – Solutions de calcul(ex : GPU)

33

X-ENS-UPS – GLB – 13/05/2011 – T65

Approches locales

• Block matching + méthode de descente itérative= Algorithme LK [Lucas, Kanade, 1981]

• Un problème d’optimisation local sur 2 variables

u(0)

u(2)u(1)

))((min )( kuku J

X-ENS-UPS – GLB – 13/05/2011 – T66

Approche locale et estimation dense

• Objectif : minimisation rapide de tous les critères locaux• NB : full HD=1920x1080 ⇒⇒⇒⇒ 2.000.000 optimisations en //

• Critère global :

• Stratégie Gauss-Newton

• Linéarisation itérative de chaque critère local

• Pour chaque critère linéarisé un système 2x2• Pour tout pixel k

⇒⇒⇒⇒ Pb : Contruire et inverser 2M de systèmes 2x2 en < 4 0ms

( )212 )())((~

)()( ∑ ∑ −−−=k m

mkumkmu IIFJ

uuu δ+= 0

somme ts les k sur le support image

)()()( kckukH =( ) )()

~(

~)( t)(

2

)(

2 kkH tt IIF ∇∇∗=

( ) )(~

)( )(

2 kεkctIF ∇∗=

)()(~

)()(~

)(t)(

21

)(

2 kukkkkε t

ttIII ∇−−=

34

X-ENS-UPS – GLB – 13/05/2011 – T67

Solutions

1. Une modification d’und’un schéma itératif populaire

• [LeBesnerais-Champagnat,ICIP’05]

2. Implémentation sur GPU(Graphics Proc. Unit)

• [Plyer et al, NVidia09]

FOLKI pseudo-code

X-ENS-UPS – GLB – 13/05/2011 – T68

• Séquence HD (2MP)• Traitement à cadence

vidéo

• exemples

• download

Résultat

www.onera.fr/dtim/gpu-for-image [Plyer et al, NVidia09]

35

X-ENS-UPS – GLB – 13/05/2011 – T69

Application : « ultra-fast » PIV

• FOLKI-SPIV

• Travaux menés en lien avecdépartement DAFE (Aérodynamique)à l’ONERA

• Extension à la PIV 3C (stéréo) • gain : 40 (vs. soft commercial)• paramétrage simple

• précision du résultat

• 4 millions de vecteurs 3C en 0.5sec

• cf. [Champagnat et al., 2011]

image PIV (DAFE)

Résultat FOLKI-SPIV

[Champagnat, F., et al. 2011 Fast and accurate PIV computationusing highly parallel iterative correlation maximization.

Exp. Fluids, in press, 2011]

X-ENS-UPS – GLB – 13/05/2011 – T70

PIV : Expé S. Davoust (DAFE)

• Jet turbulent en rotation(swirl )

• 3C Time-resolved PIV• 5mn pour 2000 1103x1149 Stereo PIV images processing (5 iterations)

Norm Vorticity

Résultats S. Davoust et al. ONERA/DAFE, 2010

36

X-ENS-UPS – GLB – 13/05/2011 – T71

Travaux S. Davoust

• Jet turbulent en rotation(swirl )

• 3C Time-resolved PIV• 5mn pour 2000 1103x1149 Stereo PIV images processing (5 iterations)

• Description du jet• Le 3D est obtenu en exploitant des propriétés de stationnarité de l’écoulement

θ

u(r,θ,t)

Résultats S. Davoust et al. ONERA/DAFE, 2010

X-ENS-UPS – GLB – 13/05/2011 – T72

Evolutions


Décision


4 – Interaction capteurs-traitement(co-conception)

37

X-ENS-UPS – GLB – 13/05/2011 – T73

Plan


• Algorithmes et architectures de calcul• Co-conception

• Modélisation de performance

• Super-résolution• CAM3D : une caméra passive sensible à la profondeur

• Echanges avec le haut-niveau

• Conclusions

X-ENS-UPS – GLB – 13/05/2011 – T74

Interaction capteur - traitement

• Paradigme passé

TraitementCapteur

OptiqueOptronique

Traitement d’imageVision par ordinateur

Obtenir laplus belle image

possible

Extraire l’information utile de l’image

disponible

38

X-ENS-UPS – GLB – 13/05/2011 – T75

Interaction capteur - traitement

• Paradigme co-conception

OptiqueOptronique

Traitement d’imageVision par ordinateur

Système perceptif

Extrairel’information utile

Une mouche,vue de près

Problème : définir un modèle de performanceconjoint (capteur + traitement)

X-ENS-UPS – GLB – 13/05/2011 – T76

Plan






• Conclusions

39

X-ENS-UPS – GLB – 13/05/2011 – T77

Une structure d’évaluation empirique

• Cas de la détection d’objet[Samson Champagnat Giovannelli 2002] coll. L2S

ModèleCapteur

Traitement

Mesure d’écart Statistiques

« Mesure de performance »

BDD Objets

BDD Fonds

x

y x

X-ENS-UPS – GLB – 13/05/2011 – T78

Transposition bayésienne

ModèleCapteur

Traitement

Mesure d’écart Statistiques

« Mesure de performance »

BDD Objets

BDD Fonds

x

y

Distribution p(y|x; θcapteur, θfond )

Vraisemblance

Distribution a priorip(x; θobjet )

Estimateur

Risque Risque moyen

[ ] dxdyxpxypyxxRxxRE )()())(ˆ,()ˆ,( ∫=

40

X-ENS-UPS – GLB – 13/05/2011 – T79

Risque moyen

• Un outil de modélisation de performance• comprend les aspects

• scène• capteur

• traitement

⇒⇒⇒⇒ Un outil de co-conception

• Problème pratique : comment le calculer ?• Difficile en général

• Un exemple : Super-résolution

[ ] ),(),(),())(ˆ,()ˆ,( ,, fondcapteurobjetobjetfondcapteur fdxdyxpxypyxxRxxRE θθθθθθ == ∫

X-ENS-UPS – GLB – 13/05/2011 – T80

Plan






• Conclusions

41

X-ENS-UPS – GLB – 13/05/2011 – T81

81

Modélisation SR linéaire

séquence BR

séquencerecalée

image SR (x3)

RecalageInversion

linéaire

Facteur SR

Modèle derégularisation

Modèle capteur

Peut-on relier nombre d’images et amélioration de résolution ?

τk^

Gain en résolutionspatiale proche de 2

X-ENS-UPS – GLB – 13/05/2011 – T82

Modélisation de performance SR

• Hypothèses principales

• Mouvement de translation

• Reconstruction linéaire invariante

• Modélisation entrée au second ordre + stationnarité

• Nombreux paramètres• Capteur : H(ν), K, τ τ τ τ = [τ1, … τK]t, rb

• Facteur SR

• Entrée : DSP φx

• Type de traitement SR : w

• Travaux précédents [Robinson et Milanfar 2006]

• Mesure de performance : EQM (BCR)

• Prise en compte des erreurs de recalage

• Limitation : résultat lourd

[ ]duuxuxEwrH b ∫ −= 22 ))(ˆ)((),,,( τσ

42

X-ENS-UPS – GLB – 13/05/2011 – T83


• Passer en Continu-Discret• Elimine le choix du facteur SR

PSF b1

δ( . – τ1)

translation

δ( . - τk)

δ( . - τK)

+

+

+

bk

bK

x(.)

z1[.]

zk[.]

zK[.]

Echantillonnage

X-ENS-UPS – GLB – 13/05/2011 – T84


• Passer en Continu-Discret• Négliger l’erreur de recalage

• Hypothèse réaliste• Rend le problème linéaire

• Conséquence : SR = filtrage multicanal

z1[.]

zk[.]

zK[.]

w1(.)

wk(.)

wK(.)

×

×

×

(.)x

Reconstruction

+

43

X-ENS-UPS – GLB – 13/05/2011 – T85

Choix de la mesure de performance

[ ]duuxuxEwrH b ∫ −= 22 ))(ˆ)((),,,( τσ

• Mesure de performance : EQM ponctuelle

• EQM moyenne sur l’intervalle BR

)3,(ˆ =∆ Kx

)4,(ˆ =∆ Kx

)1,(ˆ =∆ Kx

)1,3/(ˆ =∆ Kx

U (pixel)

]))(ˆ)([( 2uxuxE −

Bonus : simplification considérable des expressions formelles !

X-ENS-UPS – GLB – 13/05/2011 – T86

Une formule d’erreur

• Expression compacte de l’EQM en Fourier [Champagnat, Le Besnerais, Kulcsar, JOSA A 2009]

• Valable en SR optimale/sous-optimale

scène : DSP capteur : FTM Traitement :filtrage multi-canal

Capteur : bruit

Acquisition : mouvement

44

X-ENS-UPS – GLB – 13/05/2011 – T87

Impact de la valeur des décalages

• Motivation• Etude de performance dans le cas général : décalages aléatoires• Je peux contrôler les décalages : quelles valeurs donner ?

• Statistique des EQM pour une distribution uniforme de décalages

• Rôle particulier des décalages équirépartis : justif ication formelle

Calcul basé sur le modèleCDC théorique proposé

X-ENS-UPS – GLB – 13/05/2011 – T88

Influence du nombre d’images

• Convergence EQM avec nombre d’images BR croissant

• Résultat de convergence p.s. vers le comportement équiréparti= Extraction de toute l’information dans la bande passante du capteur

45

X-ENS-UPS – GLB – 13/05/2011 – T89

Exemple en imagerie IR

• Séquence SR : détails• amélioration de la SR avec l’intégration temporelle

SR 1 image SR N image

Données : FLIR ATS

Quelle est la vitesse de convergence ? De quoi dépend-elle ?

X-ENS-UPS – GLB – 13/05/2011 – T90

Etude de vitesse de convergence

• Expression de l’erreur pour le cas équiréparti

Fort RSB : Désaliasing prépondérant

Faible RSB : Débruitage prépondérant

Terme d’aliasing :Décroît rapidement en K

46

X-ENS-UPS – GLB – 13/05/2011 – T91

Performance de la SR sous-optimale

• Arrondi des translations• simplification des méthodes de SR

• Lié au facteur SR (fact. 2 → arrondi au ½ pixel BR …)

Calculé avec modèle CDCthéorique proposé

X-ENS-UPS – GLB – 13/05/2011 – T92

Une utilisation « illustrative »

• Comment définir le gain en résolution ?

• Lien gain en résolution / facteur de rapprochement• Modèle simple de scène plane et image 1D : code barre

Facteur de rapprochement = 2.5Facteur de rapprochement = 1

47

X-ENS-UPS – GLB – 13/05/2011 – T93

RER : Resolution Enhancement Ratio

Number of Images

Per

f. in

dex

Per

f. in

dex

D0/D

Nombre d’images K Se rapprocher de la scèneK�� D��

• Modèle de performance SR• indice de performance : EQM

• Peut être calculé pour une SR à 1 seule image (interpolation)

• Deux manières d’améliorer la performance

X-ENS-UPS – GLB – 13/05/2011 – T94

Facteur = 1

Facteur = 2.5

Nombre d’images

RER : Resolution Enhancement Ratio

• Lien gain en résolution / facteur de rapprochement• Modèle simple de scène plane et image 1D : code barre• Cadre théorique CDC, indice de perfomance = EQM

• Validation expérimentale[Champagnat, Kulcsar, LeBesnerais, CVPR 06]

Facteur de rapprochement

Nombre d’images BR traitées en SR

48

X-ENS-UPS – GLB – 13/05/2011 – T95

Plan






• Conclusions

X-ENS-UPS – GLB – 13/05/2011 – T96

Profondeur de champ

• Profondeur de champ

Capteur

PSF

Plan de mise au

point

Objet

49

X-ENS-UPS – GLB – 13/05/2011 – T97

Profondeur de champ

Capteur

ObjetPlan de mise au

point

),( sDf=σσ

PSFD

• Profondeur de champ

PSF localeEstimation de profondeur

Déconvolution = extension de la profondeur de champ

X-ENS-UPS – GLB – 13/05/2011 – T98

Pupille codée

• Profondeur de champ• Ajout d’une pupille codée

Capteur

PSFObject

Plan de mise au

point

50

X-ENS-UPS – GLB – 13/05/2011 – T99

Un compromis de co-conception !

Pupille codée

• Profondeur de champ• Ajout d’une pupille codée

• Dégradation image : corrigé par déconvolution• Meilleure discrimination de profondeur [Levin07]

Capteur

PSF

ObjectPlan de mise au

point

X-ENS-UPS – GLB – 13/05/2011 – T100

Identification de PSF et estimation de profondeur

Images issues de [Levin07]

Résultats de [Levin07]

9 PSF de taille 7x7 à 15x15

Temps de calcul 3 min sous Matlab

Résultats de [Trouvé11]

Temps de calcul : des heures…

51

X-ENS-UPS – GLB – 13/05/2011 – T101

Projet CAM3D

• Capteur passif Monovoie à Capacité 3D• Un vrai travail de co-conception

• Resp. F. Champagnat, ONERA/DTIM

• Coll. G. Druart, Département d’optique (ONERA/DOTA)• travaux de thèse P. Trouvé

Optique et détecteurTraitement

d’estimation local de profondeur

Optimisation

Optimisation

X-ENS-UPS – GLB – 13/05/2011 – T102

Etude de performance : premiers résultats

• Prédiction de performance par BCR• Comparaison pupille classique et pupille codée

Performance théorique del’estimation de profondeur(Résultat P. Trouvé, 2010)

52

X-ENS-UPS – GLB – 13/05/2011 – T103

Plan


• Algorithmes et architectures de calcul• Co-conception• Echanges avec le haut-niveau

• Conclusions

X-ENS-UPS – GLB – 13/05/2011 – T104

Evolutions


Décision


5 – Interaction bas-niveauet haut-niveau

53

X-ENS-UPS – GLB – 13/05/2011 – T105

Interactions bas-niveau et haut-niveau

• Approche par primitives• 1990 : description géométrique

de complexité croissante• points de contours, contours, graphes, etc.• décision sur les descriptions complexes

• typiquement : matching de sous-graphes

la décision « l’objet est dans la scène » ne peut être prise que sur une structure géométrique

formée de contours

Images issues de la demoSIFT (Lowe, 05)

X-ENS-UPS – GLB – 13/05/2011 – T106


• 2000 : la décision est prise directement surdes associations de primitives individuelles

• primitives locales mais très informatives• la star : SIFT (Lowe 1999, 2004)

• descripteur = histogrammes d’orientation de gradients

Images et résultats issus de la demoSIFT (Lowe, 05)

Chaque flèche désigne une primitive SIFTqui a une certaine

échelle et orientation

Un algorithme très simple fait l’association des SIFT. Cette association est robuste à la

rotation. La présence de l’objet est attestée par un nombre suffisant de

matchs

54

X-ENS-UPS – GLB – 13/05/2011 – T107


• Très nombreuses applications des SIFT• Exemple : autostitch sur iPhone!• Application à la localisation (SLAM, PhotoTourism)

• 2004 : détection de visage par boosting ([Viola et Jones, 2004])• Primitives très nombreuses et de pertinence très variable

• Le choix des meilleures primitives pour la tâche considéréeest faite par apprentissage

• L’apprentissage est massif et long, mais la détection est très rapide

• Standard sur les appareils numériques

• Aussi une tendance actuelle enrestauration d’image

• Apprentissage sur l’imagetraitée elle-même

• Méthodes par bloc

• Ex. Inpainting par copie de texture

image tirée de w3.cloudburstresearch.com/autostitch/autostitch.html

Donnéeset traitementTrex Image

X-ENS-UPS – GLB – 13/05/2011 – T108


• Enseignements récents• Les succès de l’apprentissage se répercutent sur le bas-niveau

• nouveaux outils• analyse multi-échelle redondante et sélection

• histogrammes de caractéristiques

• traitement par bloc

• souvent très efficaces sur des problèmes spécifiques• localisation

• débruitage d’images « naturelles »

• Il existe cependant de nombreux contextes appliqués où le recours à ces solutions semble risqué

• Influence de l’apprentissage et décision

55

X-ENS-UPS – GLB – 13/05/2011 – T109

Plan

• Contexte• Deux problèmes typiques• Du 2D au 3D• Evolutions• Conclusions

X-ENS-UPS – GLB – 13/05/2011 – T110

Conclusions

• Ce modèle « stratifié » de la vision est largement ob solète• co-conception• interaction avec l’étage d’interprétation• nouvelles possibilités offertes par les architectures parallèles

• Cette évolution est source de nombreuses innovation s récentes

• et à venir

Capteur Traitement bas-niveau Interprétation

Image, Mouvement, Vision 3D - École Polytechnique

Documents

Transcript of Image, Mouvement, Vision 3D - École Polytechnique