Rémi Ronfard, 15 mai 2017

Informatiqueetartsvisuels(cinéma,théâtre)Mettreenscènelesmondesvirtuels

1

Plan

•Contexteetmotivation

•Mettreenscènelesmondesvirtuels

• Collaborationsculturellesetartistiques

• Enjeuxscientifiques,artistiquesetsociétaux

2

Motivation

En1966,AlfredHitchcockrêvaitd’unemachineoùilpourrait“insérerlescénariod’uncôtéetfairesortirlefilm,completetencouleurs,de

l’autrecôté”(Truffaut/Hitchcock,p.330)

Scénario Storyboard Tournage Montage

Cinéma/Animation/Jeuvidéo/Théâtre

3

Quelquesrepères

• GeorgeLucas:Effetsspéciaux(VFX)etjeuxvidéo,previz(1971)

• SteveJobs:PIXARetanimation3D(1986)

• FrancisFordCoppola:cinémainteractif

4

Quelquesrepères

5

Quelquesrepères

•GlennEntis(EAGames),SIGGRAPH2007:lejeuvidéoarattrapélecinémad’animationenqualitévisuelle•“Therewillcomeatimewherethedifferenceswillbesosmallitwillbeimperceptible”.

•”Graphicsinfilmarenearingtheplateaubutthebestthrillmomentsareyettocomeingaming.”

6

Cinémanumérique

7

Cinémainteractif

WoodyAllen:ThepurpleroseofCairo8

Jeucinématographique

9

MerceCunninham,PaulKaiser:Biped(1999) 10

Dramaturgienumérique

AdrienMondotetClaireBardaine:Cinématique(2010)etHakanai(2013)

Une performance pour une danseuse dans un cube d’images en

mouvement.

Au gré d’une partition numérique interprétée en direct, mettant en relations corps et objets numériques en mouvement, ce spectacle est

une exploration (…). 11

SimonMcBurney&TheatreComplicite:LemaitreetMarguerite(2012)

12

SimonMcBurney&TheatreComplicite:LemaitreetMarguerite(2012)

13

Denis Marleau: L’autre hiver : opéra fantasmagorique (2016)

14

15

16

Collaborations culturelles et artistiques

• Filmer les répétitions

• Mettre en scène le relief • Diriger les acteurs virtuels • Animer les statues antiques

17

Filmer les répétitions

18

CapturingandIndexingRehearsals: TheDesignandUsageofaDigitalArchiveofPerformingArts

RémiRonfard,BenoitEncelle,NicolasSauret,P.-A.Champin,ThomasSteiner,VineetGandhi,CyrilleMigniot,FlorentThiery.

19

20

Analyse du regard des spectateurs

21

Cadrage et montage

22

Split-screen compositions

23

Mettre en scène le relief

Projet « investissement d’avenir » ACTION3DS (2012-2015) Partenaires: THALES Angénieux, BINOCLE 3D, ENS Louis Lumière, LUTIN/Cité des Sciences, LIP6

24

Mettre en scène le relief

25

Diriger les acteurs virtuels

Beyond Basic Emotions: Expressive Virtual Actors with Social Attitudes, SIGGRAPH Conference on Motion in Games (MIG), Los Angeles, 2014

26

Diriger les acteurs virtuels

Barbulescu, Bailly, Ronfard. IEEE Computer Graphics and Applications, 2017. 27

Animer les statues antiques: ANR E-ROMARestauration par sculpture virtuelle de l'héritage statuaire Gallo-Romain

Musée Gallo-Romain, Univ. Paris Sorbonne

Histoire de l'art tomain, archéologie, conservateur

Geomod (Lyon)

Raphaelle Chaine (porteur) Julie Digne Pierre-Marie Gandoin Nicolas Bonneel

Imagine

Damien Rohmer Stefanie Hahmann Marie-Paule Cani Rémi Ronfard

Générer et animer des statues donnant vie à des scène antiques à partir des modèles partiels et d’informations historiques.

ex. Repositionner des statues, donner vie à des bas-reliefs

28

Groupe de travail INRIART (2012-2016)

• Le numérique au service des arts, du patrimoine, des industries culturelles et éditoriales

• Equipes de recherche – IRCAM / Paris, Flowers / Bordeaux, Potioc / Bordeaux,

MINT / Lille, IMAGINE / Grenoble, Hybrid / Rennes • Projets artistiques

– George Aperghis, Machinations II – Diana Soh’s Interactive Chamber Opera – Cyril Teste/MXM Collective Immersive Drama

29

Groupe de travail INRIART (2012-2016)

• Thématiques de recherche – Ecriture: Des environnements auteurs permettant la création

et la manipulation de données hétérogènes (musique, parole, animation, geste) sur une même partition scénique.

– Interactivité: Interface multi-sensoriels pour interagir en temps réel avec des contenus multi-média.

– Déploiement: Exécuter les différents programmes sur des objets autonomes, contrôlés par la partition scénique, et adaptés aux scènes physiques, virtuelles et augmentées.

30

Quelsenjeuxscientifiques?

• Acteurvirtuel•Captureouanimationprocédurale

• Décorvirtuel

•Captureougénérationprocédurale

• Caméravirtuelle•Interactiveoucinématographique

• Partitionscénique 31

La partition scénique

Termes de la notation ¤ Personnages ¤ Lieux de la scène ¤ Actions des personnages ¤ Changements de décors

et de lumières

Relations temporelles Durée des actions scéniques Ordre des termes ¤ Par rapport au texte ¤ Entre eux

Execution de la partition scénique

Technologies text-to-scene and text-to-movie de Xtranormal, Montreal, Canada La partition est facile à écrire et exécuter, mais peu expressive 10 millions de films

LabanDancer, de Tom Calvert, Simon Fraser University, Vancouver, Canada La partition est expressive, mais difficile à écrire et exécuter Usage expérimental

Transcription de la partition scénique

Capture du mouvement ¤ Privilégie le point de vue

de l’acteur ¤ Tous les paramètres sont

accessibles ¤ Les acteurs deviennent

des cobayes ¤ La généralisation est

couteuse et difficile

Analyse vidéo ¤ Privilégie le point de vue

du spectateur ¤ Visibilité réduite ¤ Outil de travail pour les

acteurs ¤ Généralisation possible

en multipliant les représentations

Suivi de la partition scénique

Connaissant la partition, on peut suivre pas à pas son exécution Utile pour l’automatisation des lumières, projections, effets spéciaux, acteurs et caméras virtuelles

Suivi des acteurs Détection d’événements Modèles semi-markoviens Réseaux de Pétri

Genèse de la partition scénique

Comparaisons entre les répétitions ¤ Sous séquences

maximales ¤ Insertions (créations) ¤ Suppressions (abandons) ¤ Transformations ¤ Remplacements

Possible seulement si la notation définit les événénements significatifs Possible seulement si la vidéo conserve la trace des répétitions

Enjeux scientifiques: comprendre les actions humaines

Chaque action a une triple représentation visuelle, linguistique et motrice La partition scénique doit articuler ces trois représentations

Source: Aloimonos, Guerra-Filho, Ogale: The language of action – a new tool for human centric interfaces. Human Centric Interfaces for Ambient Intelligence, Elsevier, 2009.

Enjeuxartistiquesetsociétaux

38• Lescénariodupire:cinéma+capturedemouvement+mondevirtuel+chimie

39

Enjeuxartistiquesetsociétaux

• Lescénariodumeilleur:imagedesynthèse+cinématographie+jeud’acteur+scénario

Merci !

40