Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Génération automatique de cartes de profondeurrelative par utilisation des occlusions dynamiques

Louiza Oudni, Carlos Vázquez, Stéphane Coulombe

Université du QuébecÉcole de technologie supérieure

Département de génie logiciel et des TI

1/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

1 Introduction

2 Vue globale

3 Flot optique

4 Calcul des occlusions

5 Segmentation

6 Calcul de l’ordre

2/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Mise en contexte

Les téléviseurs 3D n’ont pas eu tout le succès escompté.

Obstacle rencontré ? : Manque de contenu 3D

Peu de contenu 3D

Manque d’intérêt pour la 3D

Ralentissement de l’industrie de la 3D

Une solution ?Conversion automatique de vidéo 2D à 3D

3/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Passage de la 2D à la 3D

Que manque-t-il à la 2D pour être 3D ?L’information de profondeur

L’algorithme Depth-Image Based Rendering (DIBR), permetde générer du contenu 3D à partir de contenu 2D et de laprofondeur

Contenu 2D

Estimation deprofondeur

Carte de profondeur

Algorithme DIBR Contenu 3D

Il faut donc estimer la profondeur du contenu 2D !

4/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Indices de profondeurs

Des indices de profondeurs sont présents dans du contenu 2D etrendent la conversion automatique 2D à 3D possible. On peutciter :

Des indices de profondeur statiques : Les perspectiveslinéaires, occlusions statiques, taille connue des objets, brumeatmosphérique . . .Des indices de profondeur dynamiques : Parallaxe demouvement, occlusions dynamiques . . .

Avantages des occlusions :Un indice de profondeur fiable et présent dans tout type de scène

5/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Vue globale

L’approche suivie est inspiréepar celle de Salembier et Palou(2014) et comprend lesaméliorations :

Le flot optique utilisé estune version modifiée del’Epic-flow : les contourssont préservés et il y acohérence entre le flot enavant et en arrièreLe calcul des occlusions esteffectué plus simplementgrâce aux propriétés du flotoptique utilisé.

trametraitée

t

tramet − 1

tramet + 1

flot(t − 1)→ t

flott → (t − 1)

flotsoptiques

avant/arrière

flot(t + 1)→ t

flott → (t + 1)

flotsoptiques

avant/arrière

Partition initiale

Arbre binairede partition

Elagage/segmentation

Carte de pro-fondeur relative

Pixelscachés

Pixelsnouvellement

apparus

Calcul des Occlusions

6/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Epic-flow

L’Epic-flow est une méthode de calcul du flot optique qui a pouravantage de préserver les contours, mais n’assure pas lacohérence des mouvements avant et arrière.

Image I1

Image I2

ContoursC1

Correspondance1 → 2

Régions deVoronoi 1

Interpolation denseet

minimisation d’énergie

Flot optique1 → 2

Étapes de l’Epic-flow

7/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Epic-flow modifié

Des modifications apportées à l’Epic-flow, ont permis de rendre leflot optique cohérent avant-arrière.

image I1

image I2

Contours C1

Contours C2

Correspondances1 → 2

Correspondances2 → 1

Correspondances1 ↔ 2

Régions 1

Régions 2

Interpolation denseet

minimisation d’énergie

Interpolation denseet

minimisation d’énergie

Correspondanceentrerégions

Flot optique1 → 2

Flot optique2 → 1

Étapes de l’Epic-flow modifié8/12

Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Calcul des occlusions

Un pixel p est considéré caché à la trame t + 1 par rapport à latrame t s’il vérifie les trois conditions :

Il n’y a pas, au point p, cohérence entre le mouvement avantwt→(t+1) et arrière w(t+1)→t .p est proche d’un contour.Les voisins de p selon la direction du gradient du contour à p,déplacés par le mouvement avant wt→(t+1) s’approchent dept+1. Avec pt+1 = p + wt→(t+1)(p).

Si pc est un pixel caché, alors pcret = pct+1 + w(t+1)→t(p

ct+1) est le

pixel de la trame t, qui le cachera à la trame t + 1.

9/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Segmentation

La segmentation est effectuée de façon similaire à l’approche Salembier etPalou (2014)

1 Un arbre de partition binaire estformé en fusionnant itérativementdes régions. À chaque itération,les deux régions les plus similairessont fusionnées, selon unemétrique considérant la couleur,le mouvement, la taille et laforme des régions.

2 Un élagage de cet arbre permetd’obtenir une segmentation.L’élagage minimise le nombre depaires (pc , pcret) contenu dans uneseule région.

10/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Une fois la segmentation obtenue, les régions sont ordonnées àl’aide des paires (pc , pcret).Plus le nombre de pixels pc appartenant à une région Ra et leurspcret respectifs appartiennent à une région Rb est grand, plus il estprobable que Rb soit en avant de Ra.

Segmentation Carte de profondeur relative

11/12Occlusions pour la conversion 2D à 3D

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur

Références

Revaud, Jerome, Philippe Weinzaepfel, Zaid Harchaoui,Cordelia Schmid, Jerome Revaud,Philippe Weinzaepfel, ZaidHarchaoui et Cordelia Schmid Epicflow Edge. 2015. «Epic-Flow : Edge-Preserving Interpolation of Correspondencesfor Optical Flow ».Cvpr2015, p. 1164–1172Salembier, Philippe et Guillem Palou. 2014. « Depth orderestimation for video frames using motion occlusions ».IETComputer Vision, vol. 8, n.2, p. 152–160

12/12Occlusions pour la conversion 2D à 3D

IntroductionVue globaleFlot optiqueCalcul des occlusionsSegmentationCalcul de l'ordre