1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et...

1

Design des environnements virtuels

A. Branzan-Albu et D. Laurendeau

Dép. de génie électriqueet de génie informatique

Université Laval

2A. Branzan-Albu & D. Laurendeau GIF-

66800

Plan L’impératif technologique et l’environnement virtuel intégré Design des EV – Caractéristiques particulières Design de l’interaction entre l’utilisateur et l’EV. Tâches universelles d’interaction dans un EV. Objectifs pour le design des interactions. Navigation: - techniques de déplacement

virtuel (travelling)- techniques d’orientation spatiale

(wayfinding)

3

Diagramme d’un environnement virtuel simple

4

L’impératif technologique Un environnement virtuel ne peut pas être

conçu comme l’ensemble de ses sous-systèmes orientés vers des taches très spécifiques.

“One might think that all one needs in a virtual environment is an assortment of special interface devices hooked up to a computer. Once the hardware is obtained and hooked up, the rest of the implementation follows directly. This is a common misconception, which I call “the technological imperative” – Steve Bryson, NASA AMES 1992.

5

Exemple

Design des interfaces de RV pour un système utilisant le BOOM: L’affichage visuel

doit être tenu à la main, ce qui limite les possibilités de manipulation des objets virtuels.

6

L’environnement virtuel intégré

Quels sont les défis majeurs pour le design des environnements interactifs et immersifs?- Compromis optimal entre la vitesse de

traitement de données (lecture des interfaces, rendu graphique, rétroaction etc.) et l’exactitude des calculs.

- dépend de l’application (niveau de réalisme requis, fréquences des interactions etc.)

- Confrontation avec les limites actuelles de la technologie. Les options de design évoluent en fonction du progrès technologique.

7

Design des environnements virtuels – caractéristiques particulières Design des EV versus design des systèmes (génie

logiciel) Présence : - design de l’interaction utilisateur – EV. - design des interfaces utilisateur. Interface = outil hardware/software qui assure

l’interaction et la communication entre l’utilisateur et l’EV.

Périphérique d’entrée: composante hardware pour la communication utilisateur-EV ex : stylus, gant, etc.

Technique d’interaction: méthode qui permet à l’utilisateur d’accomplir une tâche dans l’EV (composante software).

Plusieurs techniques d’interaction sont possibles avec le même périphérique d’entrée. La même technique d’interaction peut être compatible avec plusieurs périphériques d’entrée.

8

Design de l’interaction entre l’utilisateur et l’environnement virtuel

Perspective utilisateur : difficulté de compréhension et d’interaction avec les systèmes 3D multimodaux.

Le monde réel quotidien contient plus d’indices permettant de bien réussir une action qu’une simulation virtuelle très réaliste.

Intégration de l’information multisensorielle communiquée par l’EV : courbe d’apprentissage non négligeable.

9

Design de l’interaction entre l’utilisateur et l’environnement virtuel

Dépend de la nature de l’application (modèle des exigences)

Fréquence versus complexité de l’interaction

Exemple: contemplation d’un monde virtuel à partir d’un point de vue stationnaire

Interaction : changement de l’orientation de la vue

Très fréquente; Très simple, basée sur le tracking des

mouvements de la tête.


66800

11

Tâches universelles d’interaction dans un EV Navigation : - déplacement (‘travel’) – composante motrice,

mouvement - orientation spatiale (‘wayfinding’) – composante

cognitive, prise de décision Sélection des objets virtuels Manipulation - spécification des propriétés de l’objet (position,

orientation, forme etc.) Contrôle du système - changement de l’état du système ou du mode

d’interaction

12

Objectifs pour le design des interactions Performance- efficacité- exactitude Utilisation - Facile à utiliser- Facile à apprendre- Confortable pour l’utilisateur (ergonomique) Utilité- Est-ce l’interaction aide à accomplir les tâches du

système?- ‘transparence’ relative, afin de permettre aux

utilisateurs de se concentrer sur leur tâches.Les trois objectifs doivent être vérifiés

simultanément !


66800

Navigation: techniques de déplacement dans un EV

Le déplacement (travel) est défini comme : La composante motrice de la navigation mouvement entre 2 locations, en précisant la position (et

l’orientation) du point de vue de l’utilisateur Une technique fondamentale d’interaction avec l’EV, utilisée dans

la plupart des applications de RV.

Il est utile pour : L’exploration de l’EV (l’utilisateur ne poursuit pas de cible

spécifique. Son déplacement lui permet de connaître l’EV). La recherche des cibles spécifiques dans l’EV (la composante

motrice est une condition préliminaire pour la composante cognitive ‘wayfinding’) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org

14

Techniques de déplacement dans un EV – Aspects d’implantation (1) Contrôle de la velocité/accelération. Est-ce que la rotation du monde virtuel est

nécessaire? Simplifications : rajouter des contraintes au

mouvement Hauteur constante Suivi du terrain (ex. vol virtuel)

Conditions initiales / finales (début et fin du mouvement) : click to start/stop; press to start; release to stop; stop automatically at target location etc.


66800

Techniques de déplacement dans un EV – Aspects d’implantation (2) Les techniques de déplacement doivent

être compatibles avec les périphériques d’entrée (input devices).

Tracking : Nombre de dégrés de liberté (DOF).

Classification des données d’entrées -signaux discrets; continus; hybrides;

reconnaissance de la voix etc. exemple …


66800

Metaphores ‘naturelles’ de déplacement

Utilisent le mouvement physique et une métaphore réaliste ou presque réaliste de déplacement.

Techniques de marche Simulation de la marche naturelle : rétroaction

vestibulaire et kinesthésique. Tracking à grande échelle : caméras vidéo (UNC, Office of the Future)

Walking-in-place (GAITER) : analyse des mouvements de l’utilisateur pendant qu’il marche sur place pour déterminer sa direction, sa vitesse etc.

Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org

17

Templeman’s Gaiter system, NRL

18

Metaphores ‘naturelles’ de déplacement

Tapis roulant Sarcos :

The omni-directional treadmill


66800

Métaphores usuelles pour la navigation dans un EV (1) Métaphore de conduite (steering) :- Implique le contrôle continu de la direction du

mouvement- basée sur le regard (gaze-directed steering)- pointage- dispositif physique (volant, pédale d’accélération et

de frein etc.) Métaphore de poursuite d’une cible (target-based

travelling) :- L’utilisateur cible le point final de son déplacement- Le système effectue le mouvement entre les deux

points- pointage vers un objet ciblé- utilisation d’une palette de sélection- Spécification des coordonnées du point final.Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D

User Interface Design, disponible sur www.3dui.org


66800

Mathématiques de base pour le design de la navigation – Transformations de coordonnées

Soient : Les sommets d’un object en SC2

Une matrice M qui transforme SC1 en SC2

Quelles sont les coordonnées du même objet en SC1?



66800

Transformations de coordonnées (exemple #1)

Le point P a les coordonnées (2,2) dans le SC transformé (SC2). Quelles sont ses coordonnées dans SC1?

Réponse: (6,6)

Note: (6,6) = T4,4 P

En général, si SC1 est transformé par une matrice M en SC2, un point P en SC1 correspond au point Q=MP en SC2.

Translate(4,4)P



66800

Transformations de coordonnées (exemple #2)

Translation de (4,4) suivie d’un changement d’échelle (0.5, 0.5)

Coordonnées de P en SC3 (2,2)Coordonnées de P en SC2 S0.5,0.5 (2,2) = (1,1)Coordonnées de P en SC1 T4,4 (1,1) = (5,5)

Pour transformer directement SC3 en SC1 on peut calculer T4,4 S0.5,0.5 (2,2) = (5,5)

P



66800

Transformation de coordonnées: cas généralTransformation de coordonnées: cas général

Si SC1 est transformé par la séquence M1, M2, …, Mn en SCn+1, alors un point P en SCn+1 est représenté par M1

-1 M2-1 … Mn

-1 P en SC1. Pour former la transformation composée

entre deux systèmes de coordonnées, on utilise le produit des transformations matricielles élémentaires (translation, rotation, changement d’échelle).



66800

Déplacement basé sur le regard(gaze-based steering) Le point de vue est déplacé selon la

direction du regard Tracking de la tête et non tracking des

yeux Avantage : technique simple à implanter

et à utiliser Désavantage : l’utilisateur ne peut pas

regarder autour de lui pendant son déplacement (les possibilités d’exploration de l’EV sont limités).



66800

Implantation : fonction de callback exécutée avant le rendu graphique de chaque trame.

données d’entrée : information sur le suivi de la tête (matrice M de transformation entre le système de coordonnées de la tête et le système de coordonnées du monde virtuel).

Transformer le vecteur [0,0,-1] exprimé dans le SC de la tête en v=[x, y, z] exprimé dans le SC du monde virtuel

Normaliser v. Le vecteur unitaire vn=[xn, yn, zn] caractérise la direction du mouvement choisie par l’utilisateur.

Translater le point de vue par vn. (vitesse courante).

Note. La vitesse courante est exprimée en nombre d’unités/trame et elle représente un paramètre du déplacement.

Choix d’augmentation/diminution de la vitesse courante.

Déplacement basé sur le regard(gaze-based steering)



66800

Déplacement basé sur le pointage (pointing) Le pointage représente aussi une technique de

conduite (steering) Tracking de la main: l’orientation de la main

est utilisée pour déterminer la direction du mouvement.

Avantage: - facile à implanter - plus flexible que le gaze-based steering:

permet de dissocier le déplacement et le regard.

Désavantage: niveau cognitif de complexité plus élevé (courbe d’apprentissage) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D



66800

Déplacement basé sur le pointage (pointing) Implantation similaire à la technique de

gaze-based steering. On utilise le SC de la main au lieu du SC de la tête.

Le rendu graphique doit aussi tenir compte du mouvement relatif (l’utilisateur peut regarder autour de lui).

Mise à jour du point de vue (hand tracking); mise à jour de l’orientation (head tracking)Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D



66800

Déplacement basé sur une carte de l’environnement (map-based travel technique) Technique de déplacement basée sur la poursuite d’une

cible a priori connue. L’utilisateur est représenté comme une icône sur une

carte 2D. La nouvelle position est spécifiée sur la carte par la

méthode ‘drag-and-drop’, à l’aide d’un stylus. Après la spécification de la nouvelle position, animation

« lisse » de l’utilisateur entre la position de départ et la position d’arrivée.

Avantages : déplacement rapide dans un EV à grande échelle.

Désavantages : cette technique est difficile à apprendre pour les utilisateurs non familiers avec l’EV; appariement cognitif entre la carte 2D de l’EV et le monde virtuel 3D.

- implantation assez complexe : le « vol » virtuel de l’utilisateur doit être assez lisse pour maintenir l’illusion de l’immersion.


29

Déplacement basé sur une carte de l’environnement (map-based travel technique)

Tiré de Bowman et al, « Designing animal habitats within an immersive VE »

Exemple :


66800

Implantation du déplacement basé sur une carte 2D Données nécessaires :Correspondance entre la carte 2D et l’EV 3D :- Échelle de la carte : s- Quel point de la carte représente l’origine du

SC de l’EV? o=(xo, yo, zo)- On suppose que le SC de la carte est aligné

avec le SC de l’EV.- Si la sélection de l’icône est activée (drag): - si le stylus a intersecté l’icône, trouver

la position du stylus dans le SC de la carte (x,y,z) (transformation de coordonnées nécessaire)

- déplacer l’icône dans la position (x,0,z).Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org


66800

Implantation du déplacement basé sur une carte 2D Si la sélection de l’icône a été désactivée (drop)

Trouver la position du stylus dans le SC de la carte :(x, y, z)

Déplacer l’icône à (x, 0, z) dans le SC de la carte. Spécifier le point de vue désiré: pv = (xv, yv, zv) , où

xv = (x – xo)/s zv = (z – zo)/s yv = hauteur désirée à (xv ,yv)

Animation : (en supposant une trajectoire linéaire entre le point de départ et le point d’arrivée)

Calculer le vecteur de déplacement entre deux trames succésives m = (xv-xcurr, yv-ycurr, zv-zcurr) * (vitesse/distance)

For i=1:(distance/vitesse) : translater le point de vue par m.


32

‘Grabbing the air’ (1) Technique de déplacement omnidirectionnel

accessible partout dans l’environnement virtuel

Métaphore : escalade (descente) en corde; la corde virtuelle peut avoir n’importe quelle orientation

On peut utiliser une ou deux mains Implémentation possible avec PinchGlovesTM

33

‘Grabbing the air’ (2)Implantation pour une seule main : Lors de la pince des doigts:

Obtenir la position initiale de la main dans le SC du monde : (xh, yh, zh)

À chaque trame jusqu’à ce qu’on lâche prise: Obtenir la position courante de la main dans le

système de coordonnées du monde : (x’h, y’h, z’h) Calcul du vecteur du mouvement associé à la main: m = ((x’h, y’h, z’h) - (xh, yh, zh)) Translater le monde par m (ou le point de vue par –

m) (xh, yh, zh) = (x’h, y’h, z’h)

34

Classification des techniques de déplacement (navigation virtuelle)

Tiré de D. Bowman, ‘Travel Techniques’, Lecture Notes at SIGGRAPH 2000.

35

Une autre classification des techniques de déplacement (navigation virtuelle)

Tiré de D. Bowman, ‘Travel Techniques’, Lecture Notes at SIGGRAPH 2000.


66800

Évaluation des techniques de déplacement (navigation virtuelle)

Les techniques de type ‘steering’ ont des performances similaires sur une tâche impliquant seulement le mouvement absolu. (ex. : entrer à l’intérieur d’une sphère virtuelle).

Mouvement relatif par rapport à un objet virtuel: les techniques de ‘steering’ qui ne sont pas basées sur le tracking de la tête ont des meilleures performances.

Le “téléportage” (déplacement à une vitesse infinie) peut entraîner une désorientation de l’utilisateur.


37

Évaluation des techniques de déplacement (navigation virtuelle)

La complexité de l’environnement affecte les performances cognitives de l’utilisateur(‘spatial awareness’)

Exploration de l’environnement avant de passer à d’autres interactions (ex : recherche des objets virtuels)

Expérience cognitive : quantifier la quantité de l’information mémorisée pendant une expérience de RV.

Vue extérieure d’un tunnel virtuel en 3D.Tiré de Bowman et al : A Methodology for the Evaluation

of Travel Techniques in Immersive Virtual Environments.


66800

Tiré de Bowman et al : A Methodology for the Evaluation of Travel Techniques in Immersive Virtual Environments.

Vue intérieure du tunnel 3D

Résultat de l’expérience virtuelle

39

Techniques d’orientation environnementale : wayfinding

• Wayfinding – le processus cognitif qui permet de planifier la trajectoire de l’utilisateur dans l’environnement virtuel afin d’accomplir une tâche spécifique

• Ce processus permet aussi d’acquérir un ensemble cohérent d’informations spatiales qui serviront à la familiarisation de l’utilisateur avec le monde virtuel.

• Orientation dans un monde réel versus orientation dans un monde virtuel.

40

Wayfinding : processus de prise de décision


66800Modèle de navigation intégrant travelling et wayfinding. Tiré de Jul and Furnas (1997)


66800

Wayfinding : classification des tâches

Selon la méthode de recherche utilisée, il existe quatre types de tâches : Recherche générale, exploratoire Recherche naïve Recherche ciblée (primed search) Spécification de la trajectoire de

mouvement.Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org


66800

Wayfinding : carte cognitive (1)

Pendant son voyage virtuel, l’utilisateur construit la carte cognitive de l’EV en intégrant deux types d’information :• Apparence et emplacement des objets virtuels Apparence : attributs visuels, auditifs, tactiles etc.Emplacement : information contextuelle, structure

hiérarchique.• Information procédurale : comment peut-on arriver à

un certain endroit de l’environnement : séquences d’actions ( ex. Mapquest : driving directions)


44

Wayfinding : carte cognitive (2) Dans le processus de construction de la carte

cognitive, plusieurs erreurs de perception peuvent apparaître :

Ex : l’utilisation des HMD (champ de vue limité) entraîne la sous-estimation des dimensions spatiales des objets.

Perception de l’orientation relative des objets : biasée surtout dans les EV non-immersifs (utilisateur exo-centrique).

EV complexes : structure hiérarchique d’apparence incomplète (information mémorisée hors de son contexte)

45

Wayfinding : l’effet des techniques de déplacement

Les techniques de conduite (contrôle continu du déplacement) associées a une bonne stratégie (prise de décision) sont bénéfiques pour l’orientation spatiale.

Une technique efficace de déplacement contient des éléments facilitant l’orientation spatiale.

Le téléportage entre différents points conduit à une désorientation spatiale au moins temporaire de l’utilisateur.

46

Wayfinding: l’effet de la référence (1)

Référence égocentrique (ex. HMD) Pendant le voyage virtuel,

l’utilisateur perçoit son mouvement comme un égo-mouvement (élément constitutif de la proprioception).

Il faut effectuer une correspondance correcte entre la perspective égocentrique et la carte cognitive de l’environnement

Position, orientation et mouvement des objets dans le SC de la tête (mains, torse etc.).

47

Wayfinding: l’effet de la référence (2)

EV non-immersifs (ex : Fishtank, ImmersaDesk etc.) : référence exocentrique.

La position, l’orientation et le mouvement des objets virtuels sont définis dans le SC de l’environnement.

48

Conception des techniques d’orientation spatiale (1) Perspective utilisateur : faciliter la construction

d’une carte cognitive correcte et complète de l’environnement (spatial knowledge) ; fournir des informations suffisantes pour que l’utilisateur perçoive correctement sa projection dans l’EV. (spatial awareness)

- permettre un champ large de vue (vision périphérique, flux optique, perception de l’égo-mouvement)

- augmenter le niveau de présence de l’utilisateur ( stimulation multisensorielle, scénario etc.)

49

Conception des techniques d’orientation spatiale (2) Perspective de l’EV : L’organisation de l’environnement virtuel doit être

simple et si possible cohérente avec : - les principes d’organisation de environnements naturels et/ou - les principes de design architectural : « Buildings are located in and on space and create new

spaces. These spaces can encourage movement and social interaction or restrict it…Spaces can attract people or put them off; include them or exclude them. It depends on how the space is planned and designed, and whether the plans and designs put people first.» Tiré de www. spacesyntax.com

- Les lois de navigation dans un EV doivent être spécifiées clairement.

50

Wayfinding – étude des cas (1)

Darken et Peterson (2001). Spatial Orientation, Wayfinding, and Representation. Hanbook of Virtual environment technology.

Contexte Environnement virtuel de type espace ouvert –

océan. Affichage visuel : HMD ou Fakespace PUSHTM

Tâche principale : localisation des objets dans l’EV

Recherche naïve ou ciblée


66800

Wayfinding – étude des cas (2)Utilisation des cartes virtuelles. Tiré de Darken et Peterson (2001)

52

Wayfinding –étude des cas (3) Utilisation des cartes virtuelles - discussion. La configuration forward-up est optimale pour des

tâches de navigation égocentriques (recherche des objets)

La configuration north-up est optimale pour des tâches exo-centriques (ou géocentriques) – recherche générale, exploratoire, afin de construire une carte cognitive : spatial knowledge.

Évaluation des performances : les habilités d’orientation spatiale (psychophysique) des sujets humains ont un rôle déterminant.

Évaluation subjective de l’expérience virtuelle : la majorité des participants ont préféré le north-up, même si leurs performances n’étaient pas corrélées avec leur préférence.

53

Wayfinding – étude des cas (4) Utilisation des marqueurs virtuels (landmarks) Dans la recherche des objets virtuels, les

participants ont eu la possibilité de placer au maximum dix marqueurs des différentes couleurs dans l’EV. Les marqueurs sont visibles à une distance beaucoup plus grande que les objets recherchés.

Résultats (post-EV) : les marqueurs avaient été placés entre les cibles recherchées pour former une sorte de ‘chaîne cognitive’ : dès qu’un marqueur disparaissait du champ de vue, un autre devrait apparaître à l’horizon.

54

Wayfinding – étude des cas (5) Utilisation des empreintes virtuelles (footprints) pour

marquer les chemins déjà empruntés dans l’EV (trails). Technique très efficace pour les tâches de recherche

exhaustive des EV (recherche naïve). Une recherche exhaustive optimale ne visite jamais deux fois le même endroit, en supposant que les cibles sont immobiles.

Problème : pendant l’évolution du processus de navigation, l’EV devient encombré d’empreintes virtuelles. Ainsi, l’information contenue par les empreintes est difficile à décoder pour l’utilisateur.

Solution : marquer les chemins parcourus directement sur une carte virtuelle.


66800

Tiré de Darken et Peterson (2001)


66800


57

Wayfinding – étude des cas (8) Outils virtuels pour l’orientation directionnelle :

boussole et soleil. Évaluation post-EV : La boussole virtuelle a été

préférée au soleil puisqu’elle demeurait toujours visible, sans demander une rotation supplémentaire du champ de vue.

Performances cognitives très limitées : muni de ces outils virtuels, l’utilisateur ne peut pas déduire sa position et orientation dans l’environnement (niveau très faible de ‘spatial awareness’).


66800


60

Conclusion Principes pour le design des EV navigables Rehaussement de la performance avec des outils virtuels :

Cartes virtuelles : - montrer toujours la position et l’orientation de

l’utilisateur sur la carte ; mise à jour automatique - ne fonctionne pas bien pour des utilisateurs avec

des faibles habiletés d’orientation spatiale ‘Be aware of who your users are!’

Marqueurs virtuels : - outils personnalisés, les utilisateurs choisissent

l’emplacement des marqueurs dans l’EV. - très utiles pour la navigation dans un EV non-

structuré (océan virtuel) - attention à l’encombrement de l’EV! Design structuré des EV (application des principes de

design urbain)

61

Cours prochain : Sélection et manipulation des

objets virtuels. Contrôle du système.

1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et...

Documents

Transcript of 1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et...