La stéréovision: principes, mise en œuvre et applications

Master RV&A 2010 - JM. Vézien 1

La stéréovision:

principes, mise en œuvre et

applications

Jean-Marc Vezien

[email protected]

Master Recherche RV&A

Janvier 2010


Plan de la partie

• Introduction: la stéréo, pourquoi/comment?

• Principes de base, hypothèses, contraintes

• La géométrie épipolaire

• La calibration

• Mise en œuvre: les principales méthodes

• Etude détaillée d’une extension à une séquence

d’images.


Introduction

• Principe: reconstruire la structure 3D des

objets avec plusieurs images (parallaxe).

• Exemple: le système humain! Très

performant mais ne fournit pas d’indices

objectifs sur la perception stéréoscopique

(mélange de méthodes).

• Etudes depuis le siècle dernier. Vision par

ordinateur: début 80 (Marr, «Vision»).


Principes de base

Image

gaucheImage

droite


Introduction (suite)

• Trois étapes:

– calibration : détermination de la configuration

géométrique entre les capteurs: Rotation +

translation.

– Trouver les zones semblables entre les deux

images: processus d’appariement couples de

primitives.

– Reconstruction stéréo: à partir des coordonnées

images des primitives, calculer (X,Y,Z).


Introduction (suite)

• Calibration: domaine d’étude en soi (voir plus

loin)

• Mise en correspondance de primitives:

– points: corrélation des intensités I(x,y),

– segments: détection de contours,

– régions: segmentation de l’image en zone

d’intensité similaire.


Principes de base

Dans le cas le plus simple,

(xg-xd) . ZM = F.Tx

(xg, xd) ZM !

Autre cas:

On revient au cas précédent par

le processus de rectification.


Les hypothèses

• La cohérence géométrique:

• On postule l’existence de points = singularités

spatiales, ou

• de segments qui sont des arêtes, donc des

discontinuités sans existence physique en tant que

telles, ou

• de surfaces, qui sont elles bien réelles mais doivent

être approximées par des fonctions (ex: plan).


Les contraintes

• La contrainte de visibilité caméra:


Les contraintes

• La contrainte d’opacité: les objets observés ne

doivent pas posséder de surfaces semi-transparentes: à

chaque (x,y) correspond un seul point (X,Y,Z).

• La cohérence photométrique:

Idéalement, les objets doivent renvoyer la même

intensité lumineuse dans toutes les directions:

hypothèse Lambertienne

M X Y Z I x y I x yG G G D D D( , , ) ( , ) ( , )


Les contraintes

• La contrainte d’unicité:P1

P2

pg

Image gauche Image droite

pd

p’d

Contrainte sur l’orientation

de P P1 2


Les contraintes

• La contrainte de visibilité objet:

P1

P2

p1

p2

Caméra gauche Caméra droite

p’2

p’1

P1 ne peut pas être

reconstruit!


Les contraintes

• La contrainte

d’ordre:


Les contraintes

• Il y en a d’autres plus complexes, qui donnent

des relations analytiques sur les tangentes, les

orientations, etc.

• La principale est la contrainte épipolaire,

qui ramène le problème de l’appariement

d’une recherche 2D à une recherche 1D.


La contrainte épipolaire

Avec la contrainte d’ordre, la contrainte épipolaire est la seule

véritablement utile.

Le correspondant de

mg se trouve sur la

droite Em

M

mgmd

Og Od

Em


La contrainte épipolaire

Expression analytique:

m F m m

x

yd

T

g i

i

i. .

0

1

avec et F =. . .. . .. . .

F est de rang 2 (non inversible !), connue à un

facteur d’échelle près.

Détermination: au moins 8 couples (mg,md) =

8 contraintes sur les Fij.

mT = transposée de m


• But: trouver le déplacement entre les deux

caméras gauche et droite par des moyens optiques

uniquement.

• Moyen: Trouver la position caméra par rapport à

un repère visible par les n caméras (n=2).

Utilisation d’une mire de calibration.

La calibration

Mire

Cam.2Cam.1

(R1,T1) (R2,T2)-1

(R12,T12)


Mire de calibration


Utilisation de la mire

• Détection des points

d’intérêts dans chaque

image (ici centre de

gravité des ellipses)

• Précision: de l’ordre de

0.1 pixel !!

• Autres mires: détection

de lignes, coins, cercles...


Utilisation d’une mire (suite)

• Appariement entre les points 3D de la mire et leur

projection dans l’image grâce à la géométrie de la

mire.

• Points 3D connus avec une grande précision

(0.1mm)

• Calibration: trouver l’équation de projection:

miuivi F Mi F Xi Yi Zi

( ) ( , , ) ,concrètement:

mi = P.Mi...

. . . .

. . . .

. . . .

.

.

.

.


Les paramètres de projection

Paramètres extrinsèques: capturent la position du capteur

s

x

y

R R R Tx

R R R Ty

R R R Tz

X

Y

Z1

0 0 0 1 1

11 12 13

21 22 23

31 32 33

1 0 0 0

0 1 0 0

0 0 1 0

R T

indétermination

d’échelle Projection

perspective:

x=X/Z y=Y/Z

(R,T): Position

de la caméra Point 3D

(repère monde)


Paramètres de projection (suite)

Paramètres intrinsèques: capturent la géométrie du capteur

u

v

u

v

x

y

u c

v c

1

0

0

0 0 1 1

pixels (image) capteur (CCD)( , ):

( , ):

u v

c cu v

taille pixel

centre de l' image

Autres: distorsions optiques...


Résolution du problème

Minimisation sous contrainte de l’erreur de projection:

2

mire

i

ii PMm

Différentes méthodes: Tsai, Toscani...

Une fois obtenue P, on obtient la décomposition

extrinsèque/intrinsèque par décomposition QR.

A = Q.R

triangulaire supérieure

matrice

orthogonale


Calibration: en pratique

• Fabrication d’une mire adaptée aux besoins

• Attention aux conditions d’illumination !

• Impraticable sur de vastes champs d’observation

• Solutions intégrées: sous OpenCV, par ex.


La stéréo: mise en oeuvre1. Corrélation

• Mesure de similarité (ressemblance) directe entre les intensités

I(x,y). En fait, calcul de corrélation inter-image:

• Recherche simplifiée par la contrainte épipolaire. En pratique,

recherche par ligne d’image.

•Bruit, violation des contraintes, ambiguïtés: densité réduite

(max.: 70%).

p u v I u v p u v I u v

C p p I u x v y I u x v yy N

y N

x M

x M

( , , ( , )) '( ' , ' , ' ( ' , ' ))

( , ' ) ( , ) '( ' , ' )

2


La stéréo: mise en oeuvre1. Corrélation

• Grande combinatoire: recherche multi-résolution.


La stéréo: mise en oeuvre2. Stéréo-segments

• Création des segments par:

– détection de contour: détecteur de Canny.

– approximation polygonale: réduction en segments

de droite significatifs.

• Appariement: critères de position (épipolaire)

+ caractéristiques (gradient, longueur, etc.).

• Problème: grosses ambiguïtés, problème

d’interprétation («forêt» de segments sans liens

entre eux).


La stéréo: mise en oeuvre2. Stéréo-segments

Plus robuste: stéréo

trinoculaire (double

contrainte épipolaire)

Application: conduite de robot autonome


La stéréo: mise en oeuvre3. Stéréo-régions

• Détection par segmentation en zones similaires:

– Croissance de régions

– Division de l’image.

• Mise en correspondance robuste: primitives

riches (couleur, texture, forme, etc.).

• Reconstruction avec test d’hypothèse. Ex:

approximation polyédrique:

AX+BY+CZ=D : on reconstruit (A,B,C,D)



• Si la segmentation est réussie, reconstruction très

dense:


La stéréo: mise en oeuvreConclusion

• Chaque méthode a ses forces et faiblesses.

• Si pas d’hypothèses/connaissances sur

l’environnement, l’approche par corrélation est

la plus efficace.

• Dans un environnement d’intérieur et

reconstruction peu dense, choix des segments.

• Si pas de temps réel et monde polyédrique,

régions + facettes 3D.

La stéréovision: principes, mise en œuvre et applications

Documents

Transcript of La stéréovision: principes, mise en œuvre et applications