iMAGIS est un projet commun CNRS - INPG - INRIA - UJF
iMAGIS-GRAVIR / IMAG
Optimisation à base deOptimisation à base de
flot de grapheflot de graphepourpour
l'acquisition d'informations 3Dl'acquisition d'informations 3Dà partir deà partir de séquences d'imagesséquences d'images
Sylvain Paris et François SillionSylvain Paris et François Sillion
iMAGIS-GRAVIR / IMAG
Cadre de travailCadre de travail
SéquenceSéquenced’images fixesd’images fixes
iMAGIS-GRAVIR / IMAG
Schéma généralSchéma général
ImagesImages
Information 3DInformation 3D
Choix(optimisation)
Choix(optimisation)
CalculCalcul
TraitementTraitement
iMAGIS-GRAVIR / IMAG
PlanPlan• Algorithme d'acquisition 3DAlgorithme d'acquisition 3D
• Travaux antérieursTravaux antérieurs
• Flot de graphe : introductionFlot de graphe : introduction
• Optimisation dans le plan 2DOptimisation dans le plan 2D
• Cas 3DCas 3D
• Acquisition 3D : résultatsAcquisition 3D : résultats
• ConclusionConclusion
iMAGIS-GRAVIR / IMAG
Algorithme de reconstructionAlgorithme de reconstruction
Séquence d'images Séquence d'images fixes dans le tempsfixes dans le temps
++DiscrétisationDiscrétisationde l'espace 3Dde l'espace 3D
Fonction decohérence
Fonction decohérence
Ce point 3D appartient-il à la surface d'un objet ?
Ce point 3D appartient-il à la surface d'un objet ?
iMAGIS-GRAVIR / IMAG
Algorithme de reconstruction (2)Algorithme de reconstruction (2)
OptimisationOptimisation
Fonction de cohérenceFonction de cohérence
SurfaceSurface
Post-traitementsPost-traitements
iMAGIS-GRAVIR / IMAG
Quoi optimiser ?Quoi optimiser ?La fonction de cohérence La fonction de cohérence coûtcoût
OUIOUI NONNON
forte cohérenceforte cohérencefaible coûtfaible coût
faible cohérencefaible cohérencefort coûtfort coût
iMAGIS-GRAVIR / IMAG
Quoi optimiser ? (2)Quoi optimiser ? (2)A priori : les objets sont lisses.
La cohérence ne suffit pas.
Terme de régularité pénaliser les discontinuités.
OUIOUI NONNON
iMAGIS-GRAVIR / IMAG
Formulation : une énergieFormulation : une énergie
coût pénalité
Surface fonction f
énergie = coût (cohérence) + pénalité (régularité)
x et y pour contrôler la pénalité.
iMAGIS-GRAVIR / IMAG
Choix de la pénalitéChoix de la pénalité
PénalitéPénalité : faible le long des discontinuités de couleur : faible le long des discontinuités de couleur
xx yy
iMAGIS-GRAVIR / IMAG
PlanPlan• Algorithme d'acquisition 3D
• Travaux antérieursTravaux antérieurs
• Flot de graphe : introduction
• Optimisation dans le plan 2D
• Cas 3D
• Acquisition 3D : résultats
• Conclusion
iMAGIS-GRAVIR / IMAG
Travaux antérieursTravaux antérieurs
Aucune optimisationAucune optimisation [Kutulakos et Seitz 99, Slabaugh et al. 00]
• précision en fonction du nombre de points de vue et précision en fonction du nombre de points de vue et de leurs positionsde leurs positions
[Scharstein et Szeliski]
Optimisation ligne par ligneOptimisation ligne par ligne[Ohta et Kanade 85, Okutomi et Kanade 93,...]
nécessite peu de points de vuenécessite peu de points de vue cohérence entre lignescohérence entre lignes pas de reliefpas de relief
iMAGIS-GRAVIR / IMAG
Travaux antérieursTravaux antérieursOptimisation globale sur la surfaceOptimisation globale sur la surface
type "descente de gradient"type "descente de gradient" [Faugeras et Keriven 98]
difficile à mettre en difficile à mettre en œœuvre (minima locaux)uvre (minima locaux)
type "flot de graphe"type "flot de graphe" [Roy et Cox 98]
• contrainte de continuité quelconque mais solution contrainte de continuité quelconque mais solution approchée approchée [Veksler 99, Kolmogorov et Zabih 01 et 02]
• contrainte de continuité convexe et solution exacte contrainte de continuité convexe et solution exacte [Ishikawa 00]
Formulation discrète : dépend de la résolutionFormulation discrète : dépend de la résolution Mal adapté au problème multi-camérasMal adapté au problème multi-caméras
iMAGIS-GRAVIR / IMAG
PlanPlan•Algorithme d'acquisition 3D
• Travaux antérieurs
• Flot de graphe : introductionFlot de graphe : introduction
• Optimisation dans le plan 2D
• Cas 3D
• Acquisition 3D : résultats
• Conclusion
iMAGIS-GRAVIR / IMAG
Flot de grapheFlot de graphe
Un problème d'écoulement d'eauUn problème d'écoulement d'eau
sourcedébit infini
sourcedébit infini
puitsdébit fini
puitsdébit fini
Réseau
de
tuyaux
Réseau
de
tuyaux
[Ford et Fulkerson 62]
Goulot Goulot d'étranglement ?d'étranglement ?
Ensemble de tuyauxEnsemble de tuyaux• sépare la source du puitssépare la source du puits• restreint le flot à travers le réseaurestreint le flot à travers le réseau
iMAGIS-GRAVIR / IMAG
Flot de graphe (2)Flot de graphe (2)
Donner un sens aux coupuresDonner un sens aux coupures
Source
Puits
Réseau de tuyaux : Réseau de tuyaux : graphegraphe Tuyaux (capacité, flot) : Tuyaux (capacité, flot) : arcs valuésarcs valués Jonctions entre tuyaux : Jonctions entre tuyaux : nnœudsœuds Ensemble séparant source/puits : Ensemble séparant source/puits : coupurecoupure Goulot d'étranglement : Goulot d'étranglement : coupure minimalecoupure minimale
Algorithme connu etAlgorithme connu eten temps polynomialen temps polynomial
[Ford et Fulkerson 62, Cherkassky et Goldberg 97,...]
iMAGIS-GRAVIR / IMAG
PlanPlan• Travaux antérieurs
• Algorithme d'acquisition 3D
• Flot de graphe : introduction
• Optimisation dans le plan 2DOptimisation dans le plan 2D
• Cas 3D
• Acquisition 3D : résultats
• Conclusion
iMAGIS-GRAVIR / IMAG
Plan 2D : formulationPlan 2D : formulation
Discrétisation
coût pénalité
GéométrieGéométrie
iMAGIS-GRAVIR / IMAG
Pénalité (régularité) arcs horizontaux
Coût arcs verticaux
Plan 2D : résolutionPlan 2D : résolution
Surface coupure
Énergie de la surface
=Capacité de la coupure
Énergie de la surface
=Capacité de la coupure
iMAGIS-GRAVIR / IMAG
Plan 2D : ambiguïtéPlan 2D : ambiguïtéCoût et pénalité uniformes :Coût et pénalité uniformes :
pas de différence entre un pallier pas de différence entre un pallier et une pente progressiveet une pente progressive
Effet classique des Effet classique des "marches d'escalier""marches d'escalier"
Différenciation grâce à :
iMAGIS-GRAVIR / IMAG
PlanPlan• Travaux antérieurs
• Algorithme d'acquisition 3D
• Flot de graphe : introduction
• Optimisation dans le plan 2D
• Cas 3DCas 3D
• Acquisition 3D : résultats
• Conclusion
iMAGIS-GRAVIR / IMAG
Cas 3DCas 3D
Simple Simple mais mais
ambiguëambiguë
Sans Sans ambiguïtéambiguïté
Grille 3D à la place de la grille 2D.Grille 3D à la place de la grille 2D.
iMAGIS-GRAVIR / IMAG
Cas 3DCas 3D
• Ne se résout pas par des méthodes type Ne se résout pas par des méthodes type "exploration récursive des fonctions"."exploration récursive des fonctions".
• Complexité en Complexité en OO((nn2,52,5) ) [[n n : nombre d'arcs et de n: nombre d'arcs et de nœœuds]uds]
• Optimisation globale de la surface.Optimisation globale de la surface.
iMAGIS-GRAVIR / IMAG
ExtensionsExtensions
• dimensions supérieuresdimensions supérieures
• approximation en temps linéaireapproximation en temps linéaire
• fonctions périodiquesfonctions périodiques
• autres mesuresautres mesures
iMAGIS-GRAVIR / IMAG
PlanPlan• Algorithme d'acquisition 3D
• Travaux antérieurs
• Flot de graphe : introduction
• Optimisation dans le plan 2D
• Cas 3D
• Acquisition 3D : résultatsAcquisition 3D : résultats
• Conclusion
iMAGIS-GRAVIR / IMAG
RésultatsRésultats
40 images40 images
692 692 x x 591591
iMAGIS-GRAVIR / IMAG
RésultatsRésultats
11 images11 images640 640 xx 480 480
iMAGIS-GRAVIR / IMAG
Résultats (2)Résultats (2) 30 minutes à 2 heures de calcul 30 minutes à 2 heures de calcul
(MIPS R12000 400MHz)(MIPS R12000 400MHz)
300 Mo à 700 Mo de mémoire300 Mo à 700 Mo de mémoire
Mais : plusieurs dizaines à plusieurs centaines de Mais : plusieurs dizaines à plusieurs centaines de millions d'arcsmillions d'arcs
Cas réelsCas réels
iMAGIS-GRAVIR / IMAG
PlanPlan• Algorithme d'acquisition 3D
• Travaux antérieurs
• Flot de graphe : introduction
• Optimisation dans le plan 2D
• Cas 3D
• Acquisition 3D : résultats
• ConclusionConclusion
iMAGIS-GRAVIR / IMAG
ConclusionConclusion
• Formulation continue et géométrique du problème.Formulation continue et géométrique du problème.
• Mise en évidence d'ambiguïtés et solution pour les Mise en évidence d'ambiguïtés et solution pour les résoudre.résoudre.
• Application à la reconstruction 3D Application à la reconstruction 3D précision. précision.
Travaux futursTravaux futurs• Encore plus précis.Encore plus précis.
• Exploration en détail des extensions.Exploration en détail des extensions.
iMAGIS-GRAVIR / IMAG
Merci...Merci...
...questions ?...questions ?
Top Related