SUJETS SPÉCIAUX EN INFORMATIQUE I

PIF-6003

Perception 3D de l’environnement d’une caméra

Projection 2D/3D suite … Vision stéréo Orientation à partir de l’image d’une ellipse

Projection 2D/3D suite ….

1100

0

987

654

321

0

0

Z

Y

X

trrr

trrr

trrr

v

u

s

sv

su

z

y

x

Pixel 2DImage

Paramètresintrinsèquesde la caméra

Paramètresextrinsèques

Points 3D(mm)

Projection 2D/3D suite ….

1

100

0

1

34333231

24232221

14131211

987

654

321

0

0

34333231

24232221

14131211

Z

Y

X

mmmm

mmmm

mmmm

s

sv

su

trrr

trrr

trrr

v

u

mmmm

mmmm

mmmm

M

Z

Y

X

M

s

sv

su

z

y

x

• L’étalonnage consiste donc à trouver la matrice M

Projection 2D/3D suite ….

0

0

1

2434333231232221

1434333231131211

34333231

24232221

14131211

34333231

24232221

14131211

mvmvZmvYmvXmZmYmXm

mumuZmuYmuXmZmYmXm

mZmYmXms

mZmYmXmsv

mZmYmXmsu

Z

Y

X

mmmm

mmmm

mmmm

s

sv

su

Équations d’étalonnage

Projection 2D/3D suite ….

2D

3D

Projection 2D/3D suite …. (patron de calibration)

2D

3D

Positionnement du patron de calibration qui peut être un damier placé dans le plan du monde X,Y, 0

Projection 2D/3D suite …. (patron de calibration)

Projection 2D/3D suite ….

u, v coordonnées image

Projection 2D/3D suite ….

Équations de deux plans Plan 1: a1 x + b1 y + c1 z + d1

Plan 2: a2 x + b2 y + c2 z + d2

Projection 2D/3D suite ….

Intersections:• Plans u et vdonne une droite• Plans u, v et z=0 donne un point

Projection 2D/3D suite ….

Projection 2D/3D suite ….

• Équation donnant l’intersection des plans u, v et z=0

Projection 2D/3D

• Pour un point u,v donné dans une image, vous trouvezsa position 3D sur le plancher Xw, Yw, Zw (mm)

Projection 2D/3D

r

3P1 P3

P2

Projection 2D/3D (centre de la sphère)

Projection 2D/3D

Comment trouver la position 3D des pixels de la pupilles ?– Le point P1 est déterminé par l’équation (voir

l’équation donnant Pw) donnant la coordonnée de la projection du point p1 dans l’image

– Calculer le vecteur V reliant les points P1 et P2

– Calculer l’intersection entre la droite passant par P1 et P2 et la sphère de rayon r centrée à la position P3

Projection 2D/3D

Comment trouver la position 3D des pixels de la pupilles ?– Calculer le vecteur V reliant les points P1 et P2

V = (Vx, Vy, Vz) = (b1c2-c1b2, c1a2-a1c2, a1b2-b1a2)

Projection 2D/3D

Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1

et P2 et la sphère de rayon r centrée à la position P3 » Équation de la droite

z

y

x

uVzz

uVyy

uVxx

1

1

1

Projection 2D/3D

Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1

et P2 et la sphère de rayon r centrée à la position P3 » Équation de la sphère centrée à P3

223

23

23 )()()( rzzyyxx

Projection 2D/3D

Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1

et P2 et la sphère de rayon r centrée à la position P3 » Équation de l’intersection correspond à la valeur de u qui est la

solution de:

2

13131321

21

21

23

23

313131

222

2

)(2

)()()(2

0

rzzyyxxzyxyxc

zzVyyVxxVb

VVVa

cbuau

zyx

zyx

Projection 2D/3D

Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1

et P2 et la sphère de rayon r centrée à la position P3 » Équation de l’intersection correspond à la valeur de u qui est la

solution … Si b2-4ac = 0 1intersection (tangente) u = -b/2a Si b2-4ac > 0 2 intersections (sol’n => z >0)

Projection 2D/3D

Comment trouver la normale (orientation) de la pupilles ?– Calculer le plan approximant les points 3D de la

pupille zCByAx

Normale

Vision stéréo

La profondeur d’un objet peut être déduite à l’aide de sa projection dans deux images

Les paramètres des caméras requis pour déduire la profondeur d’un objet sont:– La distance latérale (T) entre les deux caméras (base

line)

– La distance focale (f) des caméras

– Le centre de chaque image (cl et cr)

Vision stéréo

• P point dont on veut trouver la position 3D• pl et pr projection de P dans les image gauche et droite• cl et cr centre des images gauche et droite• T la largeur entre les deux caméras• Z la profondeur du point P

Vision stéréo

lr

rl

xxdd

TfZ

Z

T

fZ

xxT

Disparité latérale

Profondeur du point P

Vision stéréo

Comment trouver la correspondance en les projections pl et pr

Image L Image R

Vision stéréo

Une approche possible pour la mise en correspondance des projection pl et pr est la corrélation

Approche SSD: Sum ofSquare Difference

La disparité de pl est le vecteur: qui maximise c(d) sur la région R(pl)

Orientation à partir de l’image d’une ellipse

La projection d’un cercle est une ellipse L’image d’une ellipse forme un cône avec comme

extrémité le centre de projection Nous pouvons trouver l’orientation du plan

contenant le cercle (base du cône) en effectuant des rotations de la caméra tel que l’intersection du cône avec le plan image devienne un cercle

Orientation à partir de l’image d’une ellipse

Orientation à partir de l’image d’une ellipse

Comment calculer ces rotations et ainsi déduire l’orientation du cercle

– Déterminer l’équation du cône à partir de l’équation de l’ellipse projetée dans le plan image

Équation de l’ellipse

Équation du cône

Orientation à partir de l’image d’une ellipse

Comment calculer ces rotations et ainsi déduire l’orientation du cercle

– Une première rotation consiste à passer du système de coordonnées OXYZ au système de coordonnées OX’Y’Z’

– Consiste à diagonaliser la matrice C

– Si 1, 2, 3 (1< 2,<3 ) sont les valeurs propres de C avec e1, e2, e3 les vecteurs propres

Orientation à partir de l’image d’une ellipse

Comment calculer ces rotations et ainsi déduire l’orientation du cercle

– Une seconde rotation consiste à imposer l’égalité des coefficients a et b de l’équation du cône résultant en une rotation autour de l’axe Y’ de l’angle:

Orientation à partir de l’image d’une ellipse

Comment calculer ces rotations et ainsi déduire l’orientation du cercle

– La rotation globale est donc R = R1 R2

– La normale du plan contenant le cercle (orientation du cercle)

Orientation à partir de l’image d’une ellipse

Comment calculer ces rotations et ainsi déduire l’orientation du cercle (algorithme)

– Calculer les valeurs propres 1, 2, 3 (1< 2,<3 ) de C et les vecteurs propres e1, e2, e3

– Calculer les deux valeurs de

– Calculer la matrice de rotation R

– Calculer la normale du plan contenant le cercle (orientation du cercle)

Résumé

Perception 3D de l’environnement d’une caméra– Projection 2D/3D

– Vision stéréo

– Orientation à partir de l’image d’une ellipse