Interagir avec des objets de réalité augmentée géoréférencés sur téléphone intelligent

Frédéric Hubert, Ph.D.

Département des sciences géomatiquesUniversité Laval

Géomatique 201113 octobre 2011

Plan de la présentation

• Contexte– GéoEduc3D– RA, MARS– Energy Wars Mobile

• Limites

• Objectifs

• Interactions multimodales

• Nouvelles interactions pour Energy Wars Mobile

2

GéoÉduc3D

• Projet financé par le réseau des centres d’excellence GEOIDE

• Créer des jeux éducatifs pour les adolescents basés sur des technologies géospatiales et axés sur les questions environnementales;

• Exploiter la position du joueur et tout ce qui l'entoure et fournir un haut niveau d'immersion grâce à l'utilisation des techniques de réalité augmentée (RA).

3

RA : Réalité Augmentée

• Superposition d’objets graphiques 2D ou 3D dans le champ de vue d’un joueur afin, idéalement, qu’il ne puisse pas faire la distinction entre ce qui est réel et ce qui est virtuel.

4

MARS ?!

• MARS : Mobile Augmented Reality System

• Intégration et immersion en environnement réel avec les capteurs des appareils mobile : GPS, compas et accéléromètres

5

?

Wikitude World Browser

RA et MARS : techniques

• Différentes techniques de réalité augmentée sur mobile ou non– Avec marqueurs physiques

6

RA et MARS : techniques

• Différentes techniques de réalité augmentée sur mobile ou non– Avec marqueurs physiques– Sans marqueurs

• Selon marqueurs naturels

7http://www.qualcomm.com/products-services/

augmented-reality

RA et MARS : techniques

• Différentes techniques de réalité augmentée sur mobile ou non– Avec marqueurs physiques– Sans marqueurs

• Avec marqueurs naturels

• Géolocalisé géotags– Wikitude

– Layar

– Junaio

– …

8

http://www.metroparisiphone.com/

MARS – Exemples - Junaio

9

http://www.junaio.com/

MARS – Exemples - Layar

10

http://www.layar.com/

MARS – Exemples - Qualcomm

11

http://www.qualcomm.com/products-services/augmented-reality

GéoÉduc3D : prototype de jeu

• Energy Wars : Rise of the Chimera– Basé sur le jeu Warcraft (version PC), – Environnement virtuel mais avec des bâtiments de l’Université Queen

à Kingston (Ontario)– Finaliste en 2009 pour la conférence Serious Games Showcase and

Challenges

12

GéoÉduc3D : prototype de jeu

• Energy Wars Mobile– Basé sur Energy Wars, mais développé à l’Université Laval– Environnement de jeu 3D réel :

• Intégration de la mobilité avec des téléphones intelligents : iPhone et OS Android

• Immersion avec la réalité augmentée sous forme de géotags (RA géoréférencée)

– But pédagogique : Enseigner des notions de conservations d’énergie– Équipe de joueurs avec des rôles différents : commandant, éclaireurs

et experts. – Seul l’éclaireur « joue » avec la réalité augmentée.

13

GéoÉduc3D : prototype de jeu

• Interfaces utilisateurs de l’éclaireur

14

Energy Wars Mobile - Limites

• Quelques limites ressorties des premières versions du jeu : – Juste la visualisation de géotag, sans interaction avec ces

objets.

– Seul l’éclaireur dispose d’un outil de réalité augmentée.

– Difficulté de visualiser la localisation des géotags dans l’environnement.

– Sous exploitation des possibilités des mobiles.

– Pas de possibilités de procéder à la configuration de certains éléments de jeu comme le positionnement des géotags.

15

D’où …

La volonté de rendre plus immersif et plus interactif le prototype de jeu éducatif mobile, selon les principes mis en avant par le projet GéoÉduc3D

Meilleure prise en compte des possibilités des téléphones intelligents.Introduire de nouvelles façons simples ou complexes d’interagir avec des objets de réalité augmentée géoréférencés (géotags).

16

Les interfaces multimodales

• Usage simultanée ou alternée de modes ou modalités de communication entre l’homme et la machine.

• Modes de communication liées aux sens humains : – En entrée

• Visuel

• Auditif

• Tactile

• Olfactif

• Gustatif

– En sortie• Oral

• Gestuel

17

Les interfaces multimodales

• Intérêts : – Rendre plus intuitive l’interaction et l’expression pour l’humain,

– Augmenter et améliorer l’utilisabilité et l’accessibilité des systèmes informatisés,

– Offrir une interaction adaptable, flexible, coopérative et plus naturelle,

– Diminuer l’ambiguïté liée à l’usage de certaines modalités de communication (ex. la parole),

– Déployer un support pour les personnes ayant des déficiences,

– Garantir des technologies de plus en plus matures.

18

Les interfaces multimodales

19Source: www.driver-dimension.com

Les interfaces multimodales géospatiales

• « Les interfaces multimodales géospatiales sont des solutions d’interfaces homme-machine qui visent à combiner, de manière simultanée ou alternée, des modes de communication impliquant l’usage, direct ou indirect, de l’information géographique dans le but d’améliorer l’utilisabilité et l’accessibilité des données géospatiales au travers de systèmes informatisés. »

20

Les interfaces multimodales géospatiales - Exemples

21

Système « Put-that-there » de Bolt, 1980

http://edwardhtse.googlepages.com/areasofcreativity

Les interfaces multimodales géospatiales - Exemples

22http://www.openinterface.org

http://www.dfki.de/web

Vers de nouvelles interactions …

• Proposition de nouvelles interactions pour les prototypes de jeu de GéoÉduc3D, et plus particulièrement Energy Wars Mobile

• Développées sur téléphones avec OS Android– Java + OpenCV + OpenGL– Motorola Milestone et Sony Xperia

• Interactions simples & Interactions complexes

23

Interactions …

• Accéléromètres : Basculement de vues 2D/3D

• Tactile : Présélection de géotags

• Parole : changement de type de carte 2D, sélectionner, créer, modifier, supprimer des géotags

• Parole + Tactile : création d’un géotag sur vue 2D

• Gestuel : changement d’outils

24

• Simple usage des accéléromètres

25

Interactions – Basculement 2D/3D

26

Interactions – Basculement 2D/3D

Interactions – Parole

• Usage de la reconnaissance vocale pour effectuer des actions simples avec des objets de RA géoréférencés– Utilisation de Google Voice– Actions– Utilité pour la configuration du jeu avec le

positionnement de géotags par exemple– Mais également lors du jeu !

27

Interactions – Parole

• Différentes actions proposées en lien avec

des géotags

28

Interactions – Parole

• Exemple : Changer de type de carte en 2D

29

Changer la carte

Plan

Photo aérienne

Interactions – Parole

Combinaisons d’exemples

30

Interaction – Parole + écran tactile

• Combinaison de la parole et de l’écran tactile– Création d’un géotag

31

Créer un obstacle

Interaction - Gestuel

• Plus exploratoire• Utilisation du geste de la main pour sélectionner

des outils de réalité augmentée– Pour des experts, selon leur spécialité– Usage de marqueurs de couleur ou non

• Difficultés majeures liée aux capacités des téléphones intelligents, ainsi qu’à la reconnaissance de la main en environnement extérieur ou non

32

Interaction - Gestuel

33

Interaction – Gestuel sur RA

• Utilisation du geste de la main pour interagir avec un objet RA géoréférencé– Découvrir le contenu d’un géotag, éliminer un obstacle

34

Interaction – Gestuel

• Problèmes– La reconnaissance sans marqueur en situation

extérieure non contrôlée– Porter le téléphone intelligent d’une main

• Pour la gestuelle, à plus long terme, usage de lunettes de réalité augmentée et lentilles bioniques en situation, libérant ainsi les mains

35Source : B. A. Parviz, Université Washington

Conclusion

• De plus en plus d’applications de réalité augmentée sont disponibles pour téléphone intelligent ou tablette.

• Téléphones et tablettes dotées de nombreuses composants d’interfaces à exploiter, tant en entrée qu’en sortie.

• Exploitation des solutions d’interaction multimodale de plus en plus courante et facilitée par les appareils mobile.

• L’interaction de basculement de la vue 3D vers 2D est déjà intégrée au jeu Energy Wars Mobile, qui sera bientôt testé par des adolescents.

36

Conclusion

• Intégrer d’autres interactions à l’application Energy Wars Mobile– Notamment la sélection d’outils par la gestuelle

• Exploiter encore davantage la reconnaissance vocale couplée avec l’écran tactile et/ou la gestuelle– Dans le but de faciliter la configuration du jeu, mais aussi pour

l’immersion dans le jeu

• Intégrer des interactions de sortie dans le jeu comme l’usage de la synthèse vocale et/ou des vibrations

• Conférence 3D GéoInfo 2012, Québec

37

Merci de votre attention

QUESTIONS ?

frederic.hubert@scg.ulaval.ca

http://frederic-hubert.scg.ulaval.ca

38