Acquisition de vidéos HDR multi-vues · HDR multi-vues Jennifer BONNARD Jennifer BONNARD...

Acquisition de vidéos HDR multi-vues

Jennifer BONNARD

Jennifer BONNARD

Séminaire CReSTIC SIC Le 19 janvier 2012

Directrice de thèse : Céline LOSCOS Encadrant : Gilles VALETTE

Jennifer BONNARD 2 Séminaire CReSTIC SIC Le 19 janvier 2012

Sommaire

• Introduction

• État de l’art

• Images HDR

• Images 3D

• Méthode développée

• Résultats obtenus

• Conclusion

• Perspectives


Sommaire

• Introduction


• Images HDR

• Images 3D



• Conclusion

• Perspectives


Introduction

Images en relief Images HDR Vidéos

Ajout d’une information de

profondeur

Ajout d’une plus grande gamme

dynamique d’intensités lumineuses

Ajout de mouvement

Thèse « Capture Vidéos 3D et HDR »

Vers une restitution fidèle de la réalité


Sommaire

• Introduction


• Images HDR

• Images 3D



• Conclusion

• Perspectives


État de l’art – Images HDR

• Acquisition • Méthodes

• Combinaison de plusieurs images acquises à des temps d’exposition différents [Debevec 97]

• Estimation des courbes de réponse liant valeur RGB et valeur HDR des pixels [Debevec 97,Mann 95, Mitsunaga 95]

• Acquisition d’une vidéo avec des temps d’exposition différents [Kang 03]

• Matériel • Caméra Spheron [SpheroCam HDR 11], Tocci [Tocci 11] • Appareil photo doté de la fonction HDR [Apple]

• Visualisation

• Écrans HDR : BrightSide repris par Dolby • Logiciels : Photoshop, HDRShop, … avec tone mapping ([Reinhard

05], [Drago 03],, [Fattal 02]) intégré, goHDR Media Player, …


État de l’art – Imagerie HDR

Image LDR produite par tone mapping [Drago 2003] à

partir de l’image HDR

Utilisation d’une fonction poids

[Debevec 97]

-

Tem

ps

d

’exp

osi

tio

n

+


Sommaire

• Introduction


• Images HDR

• Images 3D



• Conclusion

• Perspectives


État de l’art – Images 3D

• Acquisition 3D • Images

• Plusieurs prises de vues par un appareil photo standard (rail photo CReSTIC) • Appareil photo stéréoscopique

• Vidéos • Plusieurs caméras synchronisées • Caméra multi-scopique :

OctoCam de 3DTV Solutions et CReSTIC

• Visualisation 3D • Avec lunettes • Sans lunettes

Rail photo CReSTIC

Caméra multi-scopique développée par la société

3DTV Solutions et le CReSTIC



Rail photo CReSTIC



• Acquisition 3D • Images

• Plusieurs prises de vues par un appareil photo standard (rail photo CReSTIC) • Appareil photo stéréoscopique

• Vidéos • Plusieurs caméras synchronisées • Caméra multi-scopique :

OctoCam de 3DTV Solutions et CReSTIC

• Visualisation 3D • Avec lunettes • Sans lunettes


Caractéristiques

• 8 objectifs alignés horizontalement

• Distance inter centres optiques : 59 mm

• Distance à la scène : 4,20 m

• Volume de la scène : 1 m3



Géométrie associée : géométrie parallèle décentrée

• Axes optiques parallèles entre eux

• Distance de convergence non-infinie




+ • Acquisition de

8 images synchronisées d’une même scène

• Caméra à géométrie connue

- • Limitation

matérielle

+ - • Points de vue

différents



+ • Acquisition de

8 images synchronisées d’une même scène

• Caméra à géométrie connue

- • Limitation

matérielle

+ - • Points de vue

différents

Exploitation des avantages de la caméra pour proposer une solution

pour la vidéo HDR multi-vue



Les écrans autostéréoscopiques

Écran à réseau lenticulaire





Écran autostéréoscopique

Images LDR 8 bits par canal

Image composite LDR 8 bits par canal


Sommaire

• Introduction


• Images HDR

• Images 3D



• Conclusion

• Perspectives


Méthode développée

Acquisition

Adaptation de la caméra

Mise en correspondance

des pixels

Calcul des images HDR

Rendu 3D HDR (Tone Mapping)



Acquisition



des pixels




Méthode développée : adaptation de la caméra

Calibration géométrique

Calibration colorimétrique

Alignement horizontal des

images

Cohérence des couleurs sur les 8

capteurs

Réaction différente selon le capteur

Imprécision de leur positionnement lors du montage de la caméra

Mêmes capteurs CMOS



• Fixation de filtres directement sur les objectifs de la caméra

• 2 filtres de densité 0.9



• Positionnement des filtres basé sur une heuristique

Limiter l’écart de densité des filtres sur deux vues consécutives

Temps d’exposition / 2



Temps d’exposition réel



Images LDR 8 bits par canal

Acquisition simultanée de plusieurs temps d’exposition (simulés) à partir de plusieurs points de vue

d = 0.3 d = 0.6 d = 0.9 d =0 d = 0.3 d = 0.9 d = 0.6 d =0

Temps d’exposition réel = 40 ms



Images à des temps d’exposition différents

Images pondérées par le temps d’exposition

1 image HDR par vue

Rendu HDR 3D




Images pondérées par le temps d’exposition

1 image HDR par vue

Rendu HDR 3D



Acquisition



des pixels




Méthode développée : mise en correspondance

• Méthode de mise en correspondance [Niquin 11]

• Match : ensemble de pixels représentant le même point 3D de la scène

• Basée sur la colorimétrie et une minimisation d’énergie

Caves Ruinart [Niquin 11]



Acquisition



des pixels




Méthode développée : calcul des images HDR

Images LDR

Images LDR acquises avec filtres

Points 3D de la scène

M



Images LDR



M



• Calcul de la valeur HDR E Pour le match M et chaque composante c dans R, V, B p : pixel appartenant à M dans l’image n (n є [1,8]) Ic (p): intensité de p dans la composante c w : fonction poids

dtn : temps d’exposition de l’image n

• Calcul de la fonction poids W

c : valeur du pixel dans la composante R, V ou B

𝑤 𝑐 = 1 − 2 𝑐

255− 1

12

𝐸𝑐 ℳ = 𝑤 𝐼𝑐 𝑝 𝑝∈ℳ 𝐼𝑐 𝑝 /𝑑𝑡𝑛

𝑤 𝐼𝑐 (𝑝) 𝑝∈ℳ



M


Images LDR


Images HDR




Images pondérées

1 image HDR par vue

Rendu HDR 3D



Acquisition



des pixels






Images pondérées

1 image HDR par vue

Rendu HDR 3D


Sommaire

• Introduction


• Images HDR

• Images 3D



• Conclusion

• Perspectives


Résultats obtenus

Génération d’images HDR 3D à partir d’une caméra multi-scopique


Images HDR HDRShop


Résultats obtenus

• Problèmes dus à :

• La calibration

• Un arrière plan à l’infini

• La mise en correspondance des pixels


Résultats obtenus

Exemple d’erreurs produites


Sommaire

• Introduction


• Images HDR

• Images 3D



• Conclusion

• Perspectives


Conclusion

• Première étude de génération de vidéos HDR 3D

• À partir du matériel disponible au laboratoire

• En appliquant des méthodes de la littérature

• Limitations actuelles

• Temps de calcul

• Types de scènes acquises


Sommaire

• Introduction


• Images HDR

• Images 3D



• Conclusion

• Perspectives


Perspectives

• Adaptation de la caméra • Amélioration des méthodes de calibration • Variation des temps d’exposition par une autre

méthode

• Mise en correspondance des pixels • Optimisation de la méthode utilisée • Exploration d’autres méthodes

• Calcul des images HDR Utilisation directe des valeurs acquises par les

capteurs

• Tone mapping Recherche d’algorithmes pour les vidéos HDR 3D


Merci de votre attention… Des questions ?

Acquisition de vidéos HDR multi-vues · HDR multi-vues Jennifer BONNARD Jennifer BONNARD...

Documents

Transcript of Acquisition de vidéos HDR multi-vues · HDR multi-vues Jennifer BONNARD Jennifer BONNARD...