Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de...

14
Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle Cedex 1 http://l3iwiki.univ-lr.fr/ Société XD Productions 49 bd Général Valin 75015 Paris http://xdprod.com Conception de Système Interactif à Exécution Adaptative Capture de Mouvements Contextualisée Francois Picard XD Productions, R&D Department Paris, France +33(0)1-44-26-22-50 [email protected] Pascal Estraillier Pascal Estraillier Image, Informatics and Interaction Image, Informatics and Interaction Laboratory (L3i), Laboratory (L3i), Department of Informatics, University of Department of Informatics, University of La Rochelle, France La Rochelle, France Website: http://l3i.univ-larochelle.fr/ Website: http://l3i.univ-larochelle.fr/ +33(0)5-46-45-91-14 +33(0)5-46-45-91-14 [email protected] [email protected] Journée de l’action ADAPT 08/09/2009, Toulouse

Transcript of Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de...

Page 1: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

Université deLa Rochelle

Laboratoire InformatiqueImage Interaction

Laboratoire L3iUniversité de La RochelleAvenue Michel Crépeau

17042 La Rochelle Cedex 1 http://l3iwiki.univ-lr.fr/tiki-index.php

Société XD Productions49 bd Général Valin

75015 Paris http://xdprod.com

Conception de Système Interactif à Exécution Adaptative

Capture de Mouvements Contextualisée

Francois PicardXD Productions, R&D Department

Paris, France+33(0)1-44-26-22-50

[email protected]

Pascal EstraillierPascal Estraillier

Image, Informatics and Interaction Laboratory Image, Informatics and Interaction Laboratory (L3i), (L3i),

Department of Informatics, University of La Department of Informatics, University of La Rochelle, FranceRochelle, France

Website: http://l3i.univ-larochelle.fr/Website: http://l3i.univ-larochelle.fr/+33(0)5-46-45-91-14+33(0)5-46-45-91-14

[email protected]@univ-lr.fr

Journée de l’action ADAPT 08/09/2009, Toulouse

Page 2: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

Motivations

• Développement d’applications scénariséesEntertainment & Edutainment

• Expérience de l’utilisateur originale, enrichissante& divertissante

- Applications de type Jeu Vidéo- Interface non invasive et non limitative- Interaction directe, pilotée par les gestes du corps de

l’utilisateur - Adaptation des réactions du système en fonction du

comportement de l’utilisateur- Immersion dans un environnement virtuel

2/13

Page 3: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

ProjectionProjection

Internal and Internal and external external parametersparameters N N

projected projected silhouettesilhouettess

Motion CaptureMotion Capture

2D dynamic 2D dynamic forces forces applicationapplication

Delamarre Q. « Suivi du mouvement d’objets articulés dans des séquences d’images vidéo »

Body Body positions and positions and rotationsrotations

N N camerascameras

SegmentatiSegmentationon

N N extracted extracted silhouettesilhouettess

Le CyberdômeSociété XD Productionswww.xdprod.com

Principe du processus de capture de mouvements

3/13

Page 4: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

4/13

Motion Capture

DataInterpreter

DataInterpreter

ScenarioScenario& SceneManager

USER

COMPUTER

Computer’s Response

User’s Action

Acq

uisi

tion

Dev

ice

Res

titut

ion

Dev

ice

Scene Visual Restitution

User Mouvements

INTERFACES SYSTEM CORE

Immersion

Mocap Data

Normalized Representation

3D Description

3D Events

Scene Description

Scene Events

BehaviorInterpretation

BehaviorCharacterization

Scene Description & Events

Observed Behavior

Scenario & Scene State Evaluation

Scenario Support

COGNITION

Page 5: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

5/13

Problèmes & Solutions

• Représentation du scénario ?• Apport du scénario au niveau de l’interprétation ?• Résolution des ambigüités de sens pour un comportement

donné ?• Complexité du système interactif ?

Modélisation et gestion du contexte au sein du système

Nouvelle perception d’une situation donnée Cadre d’étude plus adaptée pour une situation donnée Réduit le nombre d’ambigüités de sens

=> Interprétation plus fiable des données

Page 6: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

Représentation du scénarioSituation d’Interaction Elémentaire

6/13

Page 7: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

Représentation du scénarioContextualisation

7/13

< Contextualized System State >(t+1)

< Contextualized System State >(t+2)

< Contextualized System State >(t)

Contextualized Situation

User

Computer

Contextualized Situation

Contextualized Situation

User

Computer

Contextualized Situation

User

Computer

< System State >(t)

< System State >(t+1)

< System State >(t+2)

Context Point of View

Page 8: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

Support du scénario pour l’interprétation

Le contexte d’une situation implique un comportement précis de la part de l’utilisateur

=> Comparaison du mouvement observé et du mouvement attendu

Mesure de la différence entre deux mouvements

8/13

Behavior Semantic

Description

MovementRulesOntology – based

interpretation

BehaviorOntology

Characterization Process

SceneKnowledge

- Model Focus- 3D Poses- Model – World Connections

Page 9: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

Réduction des ambigüités de sensRéactions adaptées du système

Réinjection des résultats de l’interprétation dans le système=> Orientation des traitements en fonction de l’interprétation du comportement de l’utilisateur

• Orientation de la capture de mouvements

-> Vision parallèle de la scène capturée

• Orientation de la gestion de l’environnement 3D-> Activation / Désactivation d’écoutes d’événements 3D

• Orientation (non imposée !) du joueur-> Utilisation de l’immersion 9/13

Page 10: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

Optimisation du systèmeBoucles vertueuses

Réinjection des résultats de l’interprétation dans le système=> Fermeture du système en boucles contrôlées

• 3 boucles vertueuses-> au niveau du système de capture-> au niveau du système d’immersion-> au niveau du joueur

• Traitements adaptés au comportement attendu-> N’est traité que ce qui est nécessaire systématiquement

• Anticipation des ressources software & hardware-> Résultats plus précis et plus fiables-> Diminution du nombre d’erreurs et d’incertitudes possibles

10/13

Page 11: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

USER

COMPUTER

Scene Visual Restitution

User Mouvements

CognitionProcesses

Scenario ManagementProcesses

ImmersionProcesses

Motion CaptureProcesses Mocap Data

Normalized Representation

Virtual Scene Description

Virtual Scene Events

Virtual Scene Features

Behavior Interpretation

Expected Behavior Rules &Behavior Acceptance Conditions

Current Context Object

User Orientation via Immersion

Focus On Scene Events

ContextManager

Focus On Model

11/13

Management du contexte au sein du système interactif

Page 12: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

• Interprétation du comportement

1) Règles caractérisant le mouvement de l’utilisateur2) Connections Model-World3) Evénements 3D

• Identifications des informations contextuelles

1) Comportement attendu2) Conditions d’acception du comportement observé3) Mesures immersives pour orienter le joueur4) Model Focus5) 3D Event Focus

12/13

Informations contextuelles

Page 13: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

USER

Scene Visual Restitution

User Mouvements

Motion CaptureD

evic

e

Interpreter

Mocap Data

MovementCharacterization

Model-WorldConnection

Immersion

Dev

ice

Normalized Representation

ContextManager

Model + 3D Basis Mapping

World Description

Observed Mvt

Observed Connections

ScenarioModel

SceneDescription

ScenarioManager

SceneManager

Interpreter

Behavior Interpretation

Observed Events

Scene State Evaluation

3D Scene Description 3D Events Scene Events

Scene Description

CharacterizationComparison

ConnectionComparison

3D eventsComparison

DistanceInterpretation

Expected Mvt

Expected Connections

Expected Events

Distances

Conditions on Distances for Behavior Acceptance

Current Context Object

User Orientation via Immersion

Events Focus

Interpreter

3D Events Focus

Model Focus

Mocap Orientation

Opt: Model + 3D Basis Mapping

13/13

Page 14: Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau 17042 La Rochelle.

Merci pour votre attention

Design de Système Interactif à Exécution Adaptative

Capture de Mouvements Contextualisée