Analyse d’Image 3DMaster RV&A 2011 - JM Vézien •Problèmes: –faible profondeur de champ...

Analyse d’Image 3D

pour la Réalité

Augmentée

Jean-Marc Vezien

[email protected]

Master Recherche RV&A

Janvier 2011

La 3D comment ?

Les capteurs et les

techniques pour

l’acquisition de la

3D

Master RV&A 2011 - JM Vézien

Capteurs actifs


Les capteurs actifs

• génèrent un signal pour

analyser l’environnement,

utilisation de lumière:

– structurée géométriquement ou

– utilisation d’une onde

cohérente (laser).

• influencent l’environnement:

domaines d’application

limités


Capteurs actifs non

optiques

• De nombreux capteurs utilisent

des ondes pour déterminer la

profondeur:

– Echographie (son),

– Radiographie, tomographie,

scanner (rayons X),

– Résonance Magnétique nucléaire

(rayonnement alpha),

– etc.

• Très chers, très spécialisés

(médical)


LIDAR

• Principe du radar:

• Onde: laser infra-rouge de

faible puissance modulé en

amplitude.

• Balayage par miroir oscillant

1 300m f Mhz

2T


LIDAR (suite)

Ex.: LADAR par Perceptron Inc.

http://www.perceptron.com

• diode laser à 835 nm

• puissance 50 mW

• Distance: de 3 à 100 m.

• Angle de vue réglable:

- horizontal: de 15 à 60 °

- vertical: de 3 à 72 °

• Résolution: 1000 x 2000 pixels


LIDAR (suite)Principaux problèmes:

• Tête d’acquisition

encombrante, miroir fragile.

• laser de classe 3B + invisible =

dangereux !

• Nécessite un contrôle

environnemental (contraste,

types de surfaces...).

• Problème d’échos multiples de

2*


LIDAR (suite)


Capteurs à

triangulationPrincipe:

Caméra

Illuminant

Surface


• Plusieurs méthode

d’illumination:

– lumière «naturelle»: utilisation de

différents «motifs» d’illumination

– lumière cohérente: nappe laser

créée par un miroir cylindrique.

Capteurs à

triangulation


Capteurs à triangulation:

lumière structurée



CyberwareNappe laser

Full body scanner (1998)



problèmes

• Temps d’acquisition: quelques

secondes (pas de mouvements !)

• Environnement contrôlé: faible

lumière ambiante, surfaces non

réfléchissantes (métaux), pas de

bleu (laser).

• Distance: quelques cms à

quelques mètres.

• Laser: coût (100 k€)



problèmes

• Lorsque l’écart

émetteur/récepteur grandit:

– plus grande précision

– probabilité d’occultation

grandissante:

récepteur

Compromis difficile !

émetteur



résultats



résultats

Intégration de multiples scans:

plusieurs millions de polygones !


Effet de Moiré

grille 1grille 2

franges

claires

Source

lumineuse

frange

sombre

Caméra


• Problèmes:

– faible profondeur de champ

– environnement contrôlé

– analyse d’image sophistiquée:

pas de temps réel.

– ambiguïtés possibles: pas de

valeur absolue de Z.

Effet de Moiré


Effet de Moiré:

résultats

Analyse de posture

Capteurs passifs



Les capteurs passifs

• Reçoivent la lumière naturelle, sans

intervention sur l’environnement:

Ex: Capteur CCD ou CMOS

• Utilisation de nombreuses

techniques pour interpréter la carte

d’intensité lumineuse.



(shape from X)

X = indice servant de base à

l’analyse de l’image

• X = mouvement

• X = shading = ombrage

• X = illumination

• X = texture

• X = ..., combinaison des

précédents.



(shape from X)

• L’aspect d’un objet sur une

image est fonction:

– de sa géométrie (forme, rugosité)

– de sa photométrie: couleur,

texture...

– de l’illumination ambiante

(sources de lumières)

– de la position de la caméra par

rapport à l’objet.

Utiliser les contraintes externes

pour calculer les propriétés

intrinsèques.

intrinsèques

extrinsèques


Utilisation du

mouvement relatif

• Mise en correspondance

d’indices: points, segments,

régions, dans deux images.

• Mouvement de caméra connu

reconstruction de (X, Y, Z).


Stéréovision

Redondance de

données: permet la

génération de cartes

3D denses

et complexe.


Nombreux avantages:

• Mise en œuvre plutôt simple,

devenue accessible.

Algorithmes performants.

• Relativement insensible aux

conditions d’utilisation

• Obtention de cartes 3D denses

• Possibilités de temps réel

(GPU, FPGA)

Stéréovision


Limitations, contraintes:

• Nécessite de pouvoir mettre en

correspondance des primitives (points,

segments, régions)

• Nécessite de calibrer une paire de

caméras … ou d’acheter du matériel

spécial

• Génère une description 3d peu

structurée

Stéréovision


Utilisation de l’ombrage

(shading)

• On peut déterminer l’orientation d’une

surface à partir d’une seule image,

avec des hypothèses:

– sur sa nature (homogénéité, type de

surface)

– sur l’illumination (Ex: source

ponctuelle à l’infini)

• Approche appliquée dès le début du

siècle pour l’analyse des surfaces

planétaires.



(shading): résultats.

INRIAlpes, 2006



(shading)

Limitations nombreuses:

• Une seule surface homogène

• Grande sensibilité aux

conditions d’éclairement

• Orientation seulement

Technique bien adaptée à

l’observation d’altitude,

satellitaire et planétaire


Utilisation de

l’illumination

• Idée: l’aspect d’un objet est

fonction de sa photométrie, qui

varie beaucoup avec

l’éclairement:

Sources

lumineusesRevêtement

absorbant

Caméra


Illumination (suite)

• Hypothèses: la surface de l’objet est

continue (Z=f(x,y)), et d’un matériau

uniforme.

• Chaque lumière fournit une

contrainte I(x,y) par point de la

surface Z=f(x,y). Suffisamment de

contraintes = résolution du système.

• Ex: surface Lambertienne.

minimiser

orientation lumière i = image i

0 < A < 1 = facteur de reflexion

orientation surface

E I A

I

i i ni

M

i i

n

cos( )

1

2


Utilisation de

l’illumination: résultats

Georghiades (2001)


Utilisation de

l’illumination (suite)

Problèmes:

• Trop d’hypothèses simplificatrices

• Environnement très contraignant

• Résultat peu précis, surtout

qualitatif.


Utilisation de la texture

• Hypothèse: on observe une

surface avec des motifs

réguliers.

• Déformation des motifs = f(Z)


Deux étapes:

• Analyse de l’image: calcul d’une

transformée capturant cette

déformation. Ex: transformée de

Fourier, moments 2d, etc.

• Utilisation d’hypothèses (ex:

régularité) pour obtenir une carte

de profondeur.

• Possibilité de combiner avec la

stéréo: déformation de texture.



B. Super and A. Bovik. (1995)

Shape from texture:

résultats


Limitations:

• Une seule surface, présence

d’une texture, texture homogène.

• Sensible aux conditions

d’illumination.

• Utilisée dans des circonstances

très limitées.



Reconstruction implicite

par interpolation

• Il n’est pas nécessaire de reconstruire

la 3D pour toutes les applications (ex:

audiovisuel).

• Comment générer des images

«intermédiaires» entre 2 vues ?

= estimation du déplacement équivalent

dans l’image «virtuelle».

Connaissant P1(x,y) et P2(x,y), peut-

on prédire P3(x,y), si on connaît la

position de Cam3 par rapport à Cam1et Cam2 ?



par interpolation


• Ex: pour une facette plane 3D,

les projections sont reliées par

une homographie:

Estimation de H: utilisation des

déplacements et des formes des

deux régions appariées.

p H pD G

avec H = . . .. . .. . .

et p = xy

1

pG pD

P


par interpolation


miroir

carte des régions Carte des déplacements

Interpolation 3D: exemple


L’acquisition 2D

«augmentée»: illustration

Analyse d’Image 3DMaster RV&A 2011 - JM Vézien •Problèmes: –faible profondeur de champ...

Documents

Transcript of Analyse d’Image 3DMaster RV&A 2011 - JM Vézien •Problèmes: –faible profondeur de champ...