DOMPIERRE, SimonF. FORTIN, Jean-François

sous la supervision de Pierre-Marc Jodoin

PlanMise en contexteRésumé de l’état de l’artApproche utiliséeRésultats obtenus et critique de ceux-ci (avec

vidéos)Conclusion et perspectives

Mise en contexteProblématique:

Comment pouvons nous reconstruire en 3D un objet que nous avons photographié?

Mise en contexteStéréovision

Tente de simuler le système de vision humain. Étapes:

Calibrer les caméras. Rectification des images

Géométrie épipolaire. Caméras parallèles.

Calculer la disparité. Calculer la profondeur.

Mise en contexte Élimination de la géométrie épipolaire.

Lorsqu’on connaît les paramètres intrinsèques et extrinsèques d’une caméra il est possible de relier tout point 3D à sa projection sur le plan image.

On trouve une carte de profondeur au lieu d’une carte de disparité.

La stéréovision avec géométrie épipolaire reconstruit la façade d’un objet ou d’une scène à l’aide de l’information de disparité. Comment pouvons nous reconstruire un objet en 3D

(au lieu d’une façade)?Avec plus que deux caméras.

Mise en contexteAvec deux

caméras, on obtient une carte de profondeur de l’objet.

En utilisant encore plus de caméras, on cherche à reconstruire encore plus l’objet. L’idée est d’éventuellement être capable de reconstruire plus qu’une carte de profondeur, mais un objet complet.

Résumé de l’état de l’artMéthode des silhouettes (Shape from

silhouettes)Construction à partir de la segmentation objet-

fond.

Résumé de l’état de l’artMéthode « Voxel Coloring »

Utilisation de la photo-consistance.Recherche plus structuré dans l’espace pour

pouvoir gérer les occlusions.Limitations sur les positions des caméras.

Résumé de l’état de l’artMéthode « Space Carving »

Généralisation de la méthode « voxel coloring ».

Contraintes plus souples sur les positions des caméras.

Parcours le volume différemment.

Approche utiliséeReconstruction à partir de scène

synthétiques.Pourquoi?

Éviter les erreurs de calibration.Limiter les erreurs possibles.Contrôler les variables.Accélérer les prises de photos.

Permet de se concentrer sur les algorithmes eux-mêmes.

Approche utiliséeNous voulions une applications où nous

pouvions contrôler les causes d’erreurs possibles.Textures.Modèles d’illumination.Paramètres de scènes.Bruit dans les images.

Résultats obtenus et critiques de ceux-ci

Vidéos• Méthode des silhouettes et « Voxel Coloring »

• 16 photos prises du haut

•Une silhouette d’un bol plein. Le bol est creusé du haut vers le bas avec le voxel coloring

•Critère de la photo-consistance d’une valeur de 40

•Voxels d’une taille de 0.025 unités par côté

•Configuration de caméra restreinte

Vidéos• Algorithme du « Space Carving »

• 37 photos prises

•Initialisé à l’aide de la méthode des silhouettes

• Critère de la photo-consistance d’une valeur de 50

• Volume initial de 79 voxels en largeur, 64 en hauteur et 64 en profondeur

• Voxels d’une taille de 0.025 unités par côté

Conclusion et perspectives Peut exiger de nombreuses photos Les résultats dépendent beaucoup des textures de l’objet à

reconstruire Sensible au problème du « photo hull » Sensible aux seuils Fonctionne quand même assez bien malgré tout.

Améliorations possibles: Critère de photo-consistance prenant compte d’autres critères. Photo-consistance prenant en compte d’autres types de

luminosités plus complexes que Lambertien (diffus). Optimisations possibles:

Utilisation d’une meilleure structure pour les voxels (octree). Parallélisation lors de la reconstruction.

BibliographieReconstruction de volume 3D

Peter Eisert, Reconstruction of Volumetric 3D Models, in 3D Videocommunication, pp. 133-150, Schreer, Kauff, Sikora (editors), Wiley, 2005.

Méthode des silhouettes D. Snow, P. Viola, R. Zabih Exact Voxel Occupancy with Graph Cuts

IEEE CVPR, 2000 « Voxel Coloring » et « Space Carving »

S.Seitz, C.Dyer, Photorealistic Scene Reconstruction by Voxel Coloring, 1997

K.Kutulakos, S.Seitz A Theory of Shape by Space Carving, 2000 Koen Erik Adriaan van de Sande, A Practical Setup for Voxel

Coloring using off-the-shelf Components, 2004