Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011....

40
Rendu Expressif COHÉRENCE TEMPORELLE Stylisation d’animations 16/11/2010 Journée Jeunes Chercheurs

Transcript of Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011....

Page 1: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif

COHÉRENCE TEMPORELLE

Stylisation d’animations

16/11/2010 Journée Jeunes Chercheurs

Page 2: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Stylisation d’animations

16/11/2010 2

• Scène 3D (modèles 3D ou vidéos) apparence 2D

• Stylisation des lignes (silhouettes, crêtes…)

• Stylisation des zones de couleur

Simulation d’un médium 2D

Animation cohérence temporelle

Page 3: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Animation manuelle traditionnelle

16/11/2010 3

Discontinuités temporelles (popping, flickering)

« Il p

leut b

ergère »

, Jérémy D

epu

ydt (2

00

5)

Page 4: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

2 solutions naïves en informatique graphique

16/11/2010 4

Incohérence du mouvement Déformation du médium

Effet « rideau de douche » Placage de texture traditionnel

Page 5: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

2 solutions naïves en informatique graphique

16/11/2010 5

Incohérence du mouvement

Effet « rideau de douche »

Page 6: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

2 solutions naïves en informatique graphique

16/11/2010 6

Déformation du médium

Placage de texture traditionnel

Page 7: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Le triple problème de la cohérence temporelle

16/11/2010 7

• Discontinuités temporelles Évènements ponctuels (apparition/disparition) en espace

image non corrélés a un évènement similaire dans la scène 3D.

• Incohérence du mouvement Décorrélation continue entre le mouvement apparent de

la scène 3D et celui du médium entrainant une impression de glissement.

• Déformation du médium Non respect des caractéristiques 2D du médium : échelle,

distribution des marques, homogénéité du contraste…

Page 8: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

3 objectifs à satisfaire simultanément

16/11/2010 8

Objectifs en partie contradictoires : seule solution trouver un compromis

Cohérence du mouvement

Continuité temporelle

Aspect 2D

Impression 3D

Shower-door Glissements

Popping Flickering

Page 9: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

2 classes de compromis

16/11/2010

• Distribution de primitives

• Textures

9

Page 10: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

2 classes de compromis

16/11/2010

• Distribution de primitives

Marques individuelles

Bruits procéduraux

• Textures

10

Page 11: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 11

Marques individuelles

Cohérence du mouvement

Continuité temporelle

Aspect 2D

Impression 3D

Shower-door Glissements

Popping Flickering

Marques individuelles [Mei96,Dan99,HE04,

VBTS07,LSF10]

Page 12: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Marques individuelles

16/11/2010 12

• Distribution statique ou dynamique de points d’ancrages à la surface des objets 3D

• Dessin des coups de pinceau en 2D

[Meier96]

Page 13: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 13

Marques individuelles

Lu et al., Interactive Painterly Stylization of Images, Videos and 3D Animations. I3D 2010

Page 14: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Marques individuelles

16/11/2010 14

Bon compromis marques 2D vs. mouvement 3D

Accumulation / trous

Popping / flickering

[Meier96]

ou

[VBTS07]

[HE04]

[Daniels99]

Page 15: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 15

Bruits procéduraux

Marques individuelles [Mei96,Dan99,HE04,

VBTS07,LSF10]

Bruits procéduraux [KC05,BKTS06,BLV*10]

Shower-door Glissements

Popping Flickering

Impression 3D Cohérence

du mouvement Continuité temporelle

Aspect 2D

Page 16: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Bruits procéduraux

16/11/2010 16

• Points d’encrages à la surface des objets 3D

• Evaluation du bruit procédural en 2D

Fibre de papier

Bruit de Perlin

Noyaux de Gabor

Page 17: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 17

Bruits procéduraux

Bénard et al., A Dynamic Noise Primitive for Coherent Stylization. EGSR 2010

Page 18: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Bruits procéduraux

16/11/2010 18

Pas de déformation

Pont entre texture et primitives

Mouvements secondaires et/ou popping

Motifs procéduraux [KC05]

[BKTS06]

Page 19: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

2 classes de compromis

16/11/2010

• Distribution de primitives

• Textures

En espace image : local ou global

En espace objet

19

Page 20: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 20

Local : advection de texture

Marques individuelles [Mei96,Dan99,HE04,

VBTS07,LSF10] Advection de texture [BNTS07]

Impression 3D

Shower-door Glissements

Popping Flickering

Bruits procéduraux [KC05,BKTS06,BLV*10]

Cohérence du mouvement

Continuité temporelle

Aspect 2D

Page 21: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Local : advection de texture

16/11/2010 21

• Advection de la texture selon le champ de mouvement directe et inverse

• Choix, en chaque pixel, de la version de la texture la moins déformée

• Régénération périodique de la texture par alpha-blending

Page 22: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 22

Local : advection de texture

Bousseau et al., Video Watercolorization using Bidirectional Texture Advection. SIGGRAPH 2010

Page 23: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 23

Local : advection de texture

Bousseau et al., Video Watercolorization using Bidirectional Texture Advection. SIGGRAPH 2010

Page 24: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Local : advection de texture

16/11/2010 24

Très forte apparence 2D

Artefacts de régénération

Effet en post-production

[BNTS07]

Page 25: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 25

Global : placage caméra

Marques individuelles [Mei96,Dan99,HE04,

VBTS07,LSF10] Advection de texture [BNTS07]

Placage caméra [CTP*03,CDH06,BSM*07]

Shower-door Glissements

Popping Flickering

Bruits procéduraux [KC05,BKTS06,BLV*10]

Impression 3D Cohérence

du mouvement Continuité temporelle

Aspect 2D

Page 26: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Global : placage caméra

16/11/2010 26

• Approximation du mouvement 3D par une transformation rigide 2D (similitude)

• Découpage en patches de texture possible pour réduire l’erreur d’approximation

• Mécanisme de zoom infini (fractalization)

+

Page 27: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 27

Global : placage caméra

Breslav et al., Dynamic 2D Patterns for Shading 3D Scenes. SIGGRAPH 2007

Page 28: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Global : placage caméra

16/11/2010 28

Forte apparence 2D

Mécanisme de zoom infini

Mouvement 3D approximé glissements

[CTP*03]

[CDH*06]

Page 29: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 29

Placage objet

Advection de texture [BNTS07]

Placage caméra [CTP*03,CDH06,BSM*07]

Placage objet [KLK*00,PHWF01,FMS01,BBT09]

Marques individuelles [Mei96,Dan99,HE04,

VBTS07,LSF10]

Shower-door Glissements

Popping Flickering

Bruits procéduraux [KC05,BKTS06,BLV*10]

Impression 3D Cohérence

du mouvement Continuité temporelle

Aspect 2D

Page 30: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Placage objet

16/11/2010 30

• MIP-maps spécialisées : Artmap / Tonal Art Map

• Zoom infini en espace objet

[BBT09]

[PHWF01]

Page 31: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 31

Placage objet

Praun et al., Real-Time Hatching. SIGGRAPH 2001

Page 32: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Placage objet

16/11/2010 32

Mouvement exact

MIP-mapping / fractalization

Distorsions perspectives

[FMS01]

[BBT09]

[KLK*00]

Page 33: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Compromis : conclusion

16/11/2010 33

• Importance du choix d’une classe d’approche : primitives vs. texture

• Avantages et inconvénients propres à chaque méthode

• Objectifs / contraintes additionnels

vitesse d’exécution : temps-réel, interactif, hors-ligne

contrôle du style par l’artiste

• Comment évaluer ces compromis ?

Page 34: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Évaluation

16/11/2010 34

• Pas de référence absolue

Animation manuelle cohérente impossible

• Effets perceptuels importants

Popping isolé vs. flickering général

Indices 3D (éclairage, occlusions, textures…)

Mesure perceptuelle nécessaire

• Certaines quantités sont objectivement mesurables

Page 35: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Évaluation perceptuelle

16/11/2010 35

• Étude utilisateur

Scènes statiques et dynamiques

Plusieurs médiums / styles

Comparaison des classes d’approches

• Explorer indépendamment la perception des 3 objectifs

Aspect 2D du médium

Cohérence du mouvement

Continuité temporelle

Page 36: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 36

Évaluation perceptuelle : stimuli

Bénard et al., A Dynamic Noise Primitive for Coherent Stylization. EGSR 2010

Page 37: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif 16/11/2010 Journée Jeunes Chercheurs 37

Évaluation perceptuelle : stimuli

Bénard et al., A Dynamic Noise Primitive for Coherent Stylization. EGSR 2010

Page 38: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Évaluation perceptuelle : conclusions

16/11/2010 38

• Questions difficiles

Explorer d’autres stimuli

D’autres setups expérimentaux

• La cohérence du mouvement semble plus importante que l’aspect 2D

Page 39: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs

Évaluation objective

16/11/2010 39

• En accord avec l’évaluation perceptuelle

• Comparaison automatique des méthodes

Estimation de la déformation du médium (gray-level cooccurence matrices [BTS09])

Comparaison des champs de mouvement avant et après stylisation

Page 40: Stylisation d’animations OHÉRENCE TEMPORELLEmedia.siggraph.org/paris/NPR/animation.pdf · 2011. 11. 28. · Journée Jeunes Chercheurs Rendu Expressif Stylisation d’animations

Rendu Expressif Journée Jeunes Chercheurs 40

Questions ?

16/11/2010