1 Introduction à la réalité virtuelle A. Branzan-Albu et D. Laurendeau Dép. de génie...

1

Introduction à la réalité virtuelle

A. Branzan-Albu et D. Laurendeau

Dép. de génie électriqueet de génie informatique

Université Laval

A. Branzan-Albu & D. Laurendeau GIF-66800

2

Pourquoi enseigner la Réalité Virtuelle?

- Marché d’emploi pour les spécialistes en RV.

- Spectre élargi des applications profitables de la RV dans différents secteurs de l’économie, de l’éducation etc.

Tiré de Burdea, « Teaching Virtual Reality : Why and How? », Presence, 13(4), Aug. 2004.

3

Structure et organisation du coursObjectifs comprendre l’importance de la réalité virtuelle comme

outil immersif et interactif de communication, de simulation et de visualisation scientifique;

maîtriser les concepts technologiques de base pour la réalisation d’applications de la réalité virtuelle;

développer et utiliser des composantes logicielles adaptées à la manipulation des objets virtuels et à la navigation dans l’environnement;

réaliser et documenter un projet fonctionnel de simulation et modélisation virtuelle.

4

Structure et organisation du coursPlan Introduction

Aperçu sur les systèmes actuels de réalité virtuelle.

Les "frameworks" de simulation en réalité virtuelle

Comment construire un monde virtuel? Introduction aux modèles conceptuels

Aperçu des composantes hardware utilisées dans un système de réalité virtuelle: outils de visualisation, de retour de force et de suivi de mouvement

5

Structure et organisation du coursPlan (suite)

Techniques de design des environnements virtuels

Interaction avec l’environnement virtuel : manipulation des objets virtuels et navigation

Environnements virtuels distribués et collaboratifs

Évaluation des environnements virtuels. Avenir de la RV.

6

Structure et organisation du cours

Bibliographie suggérée : Sherman & Craig : Understanding Virtual

Reality. Interface, application and design.

supplémentaire (en ligne) : Survey of the State-of-the-Art on Synthetic Environments, Sensori-Motor Activities in Synthetic Environments, Simulation Frameworks and Real-World Abstraction Models

7


ÉvaluationExamen final – 50%Projet d’équipe – 50% Voir page Web pour détails

8


Projet d’équipe Description générale :- Création d’un jeu en réseau.- Description plus détaillée sur la

page web.La semaine prochaine :- Composition des équipes.

9


Assistant d’enseignement à venir

Disponible sur rendez-vous.

10

Cours introductif Qu’est-ce que la réalité virtuelle? Concepts de base : immersion, imagination, interaction Environnements collaboratifs Réalité augmentée, réalité artificielle Cyberspace Court historique de la réalité virtuelle

LectureSurvey of the State-of-the-Art on SyntheticEnvironments, Sensori-Motor Activities in SyntheticEnvironments, Simulation Frameworks and Real-WorldAbstraction Models : Chapitres 1 et 2

11

Qu’est-ce que la Réalité virtuelle

Nouveau domaine, donc sa définition évolue rapidement et dépend du champ d’application

perspective différente : utilisateur versus programmeur, communauté scientifique versus marketing etc.

L’impact de la réalité virtuelle sur le grand public par le mass-media a conduit à de nombreuses interprétations, parfois inconsistantes, du terme en question

12

Quelques définitions Business Week, octobre 1992 : couverture

consacrée à ce nouvel « outil qui amplifie l’esprit »

Newsweek, mai 1993 : la réalité virtuelle est une « zillion dollar

industry » Spectrum IEEE, octobre 1993 : « Although virtual reality has become a popular

buzzword with frivolous connotations, its ability to immerse users in interactive 3D worlds is of great relevance for many scientific and industrial endeavours »

13

Réalité virtuelle - définition

« Un système de réalité virtuelle est une interface qui implique de la simulation en temps réel et des interactions via des multiples canaux sensoriels » [Burdea & Coiffet «La réalité virtuelle», 1993]

- Interface homme-machine [Burdea, 1993]

- Nouvel outil de communication [Sherman &Craig, 2003]

14

Concepts de base

Les quatre éléments-clé d’une expérience de réalité virtuelle

Monde virtuel

Immersion

Réponse sensorielle

Interaction centrée sur l’utilisateur

15

Monde virtuel Espace imaginaire qui peut exister en dehors d’un contexte

technologique Imagination=le point de départ de la plupart des mondes

virtuels • Monde virtuel généré par ordinateur : description dynamique des objets faisant partie d’une simulation

• lois d’interaction ex : simulation d’un comportement physique, attraction gravitationnelle, friction etc.• relations entre les objets ex. topologiques, collision, contact physique etc.

16

Immersion L’utilisateur est immergé dans un monde

virtuel. Réalité virtuelle = réalité alternative par

rapport au quotidien

• Immersion mentale : - peut être créée par des livres, des films etc. - le contenu du monde virtuel est décrit à partir des symboles (mots, sons, images etc.) qui sont interprétés mentalement par les participants

17

Immersion(cont) Réalité virtuelle : Immersion physique

(ou sensorielle) : - les stimuli sont synthétiques via

l’usage de la technologie - dans la plupart des cas, l’immersion

sensorielle n’implique pas la totalité des sens : vue, toucher, ouïe, odorat, goût. - l’immersion physique conduit à une

immersion mentale et au sens de la présence.

18

Immersion physique versus immersion mentale

L’immersion physique intervient dans le processus de proprioception

Selon dr. Oliver Sacks : Proprioception is "... that

continuous but unconscious sensory flow from the movable parts of our body (muscles, tendons, joints), by which their position and tone and motion is continually monitored and adjusted, but in a way which is hidden from us because it is automatic and unconscious" (Tiré de Sacks, The Man Who Mistook His Wife for a Hat. Picador, London, 1985)

Proprioception = Connaissance des parties du corps, de leur position et de leur mouvement dans l'espace, sans que l'individu ait besoin de les vérifier avec ses yeux (Tiré de Blouin, Bergeron et. al. Dictionnaire de la réadaptation. Québec 1995)

19

Interaction basée sur la rétroaction sensorielle

La rétroaction sensorielle créée par un système de RV doit être cohérente avec la position et les actions du sujet participant.

Vue=changement de point de vue (mouvement de la tête, déplacement global du sujet), manipulation des objets

Toucher=interfaces haptiques, manipulation des objets.

20

Tracking Pour avoir une rétroaction

sensorielle précise, le sujet doit être suivi :

Tracking de la tête, des mains et des objets manipulés etc.

Capteurs de position 3D magnétiques, ultrasonores etc.

21

Capteurs de position 3D Casques de visualisation (Head-

Mounted Display HMD) Récepteur placé sur la tête de

l’utilisateur, suivant ses mouvements

22

Capteurs de position 3D (cont)

Tiré de Burdea&Coiffet[1993]

23

Capteurs de position 3D (cont) Le mouvement de la tête est

échantillonné et envoyé à l’ordinateur; La nouvelle direction du regard est

déterminée à partir du signal de mouvement échantillonné.

La scène virtuelle affichée sur les LCD est mise à jour par rapport au point de vue courant de l’utilisateur

latence

24

Les trois I de la réalité virtuelle

Tiré de Burdea&Coiffet [1993]

25

Environnements collaboratifs La définition de l’interaction

change! Des utilisateurs multiples

interagissent dans le contexte d’un même espace virtuel.

Avatar=représentation d’un utilisateur

Interaction mutuelle entre les participants

Multi-présence

26

Pourquoi des environnements virtuels collaboratifs?

Applications militaires : simulateur de combat, de guerre urbaine etc.

Jeux Applications médicales : chirurgie

à distance (téléprésence)

27

Environnements collaboratifs non-virtuels

Conversation téléphonique

28

Cohérence des environnements virtuels collaboratifs (CVE) Des participants multiples peuvent

explorer, communiquer et interagir entre eux ou avec le contenu du monde virtuel.

Normalement, chaque participant accède le CVE à partir de son propre ordinateur, connecté en réseau avec les autres postes de travail individuels et avec les systèmes de gestion et de mise à jour du CVE.

29

Cohérence des CVE (cont) Un CVE cohérent possède trois

propriétés de base : a) simultanéité de la présentation b) cohérence interne de

l’environnement c) cohérence entre la perception

de soi dans le monde réel et dans le CVE.

30

Autres formes d’environnements immersifs Réalité augmentée : type de réalité virtuelle où

l’information additionnelle, autrement imperceptible pour le système visuel humain est surimposée sur une scène réelle.

Défi principal : recalage d’images 3D en temps réel.

31

Autres formes d’environnements immersifs Réalité artificielle Myron Krueger [1991] :« La promesse des réalités artificielles n’est pas

de reproduire la réalité conventionnelle ou d’agir sur le monde réel. Elle est précisément l’opportunité de créer des réalités synthétiques pour lesquelles il n’y a pas d’antécédents réels. Ce qui est conceptuellement excitant et ultimement important du point de vue économique »

32

Autres formes d’environnements immersifs

Télépresence versus téléopération

33

Cyberspace Espace virtuel de communication et

d’interaction en temps réel Les techniques de réalité virtuelle

peuvent être utilisées pour créer un cyberspace

L’information échangée en temps réel ne doit pas être multisensorielle :

- texte (chatting en ligne) - téléphone ( communication audio en

temps réel) - vidéoconférence

34

Tiré de Sherman & Craig

35

Court historique de la Réalité Virtuelle

Un système de RV = une interface homme-machine avancée;

Années 90 : révolution technologique comparable en ampleur à la révolution informatique des ordinateurs personnels (années 70-80).

Les premiers concepts de réalité virtuelle ont émergé dans des milieux académiques : University of Utah (1965), University of Wisconsin (1983), University of North Carolina (1986), MIT.

36

Court historique de la Réalité Virtuelle (cont.) Parmi les premiers domaines d’application de la RV : le

domaine militaire – simulateurs de vol (Thomas Furness, Scott Fisher).

Années 80- NASA Ames - projet VIEW (Virtual Interactive Environment Workstation) (Scott Fisher).

Simulateur personnel générique (téléprésence, visualisation des données) et multi-sensoriel

Configuration initiale : - tracking de la tête et des mains (Polhemus); - HMD stéréo avec champ large de vue (LEEP Optics &

monochrome LCDs) - système audio 3D (Crystal Rivers Engineering Convolvotron) - gant pour la reconnaissance des gestes (VPL Research

Dataglove) - réseau de caméras à distance (remote camera platform –

Fakespace)

37

Court historique de la Réalité Virtuelle (cont.)

Les collaborations entre NASA Ames et plusieurs compagnies privées ont conduit à une expansion rapide des compagnies de RV (fin des années 80).

Domaines ciblés : jeux (concept de « consumer VR »), mais aussi contrats gouvernementaux et industriels sur les marchés de la défense, aérospatial, pétrochimique, et de l’automobile.

La RV devient un sujet favori des mass-média (fin des années 80, début des années 90).

38

Court historique de la Réalité Virtuelle (cont.)

Début des années 90 : progrès technologiques importants - Environnements virtuels collaboratifs

La réalité virtuelle devient un outil de communication!

39

Contributions marquantes à la RV

Ivan Sutherland, University of Harvard - propose en 1963 un premier système intéractif de

graphique par ordinateur : « Sketchpad: A Man-Machine Graphical Communications System »

- définit en 1965 le concept de « ultimate display » vers un monde virtuel :

The ultimate display would, of course, be a room within which the computer can control the existence of matter. A chair displayed in such a room would be good enough to sit in. Handcuffs displayed in such a room would be confining, and a bullet displayed in such room would be fatal. With appropriate programming such a display could literally be the Wonderland into which Alice walked.

40


Premier HMD développé par I. Sutherland (1968)

Images de type wireframe surimposées sur le monde réel

Système de tracking (en position et en orientation) incorporé :

- mécanique (très lourd)

- ultrasons (erreur accumulative)

41


Frederic Brooks, University of North Carolina - premières investigations sur le potentiel de la technologie RV

dans le domaine de la visualisation scientifique 1967-1990 projet GROPE - développement d’une première interface haptique avec retour

de force en RV pour l’étude de l’interaction moléculaire. - étude de la perception humaine basée sur le sens tactile. - GROPE-1 : système 2D pour l’exploration des champs de force

continus - GROPE-2 : saisir et manipuler des objets virtuels sur une

surface virtuelle plane. - GROPE-3 : trouver des combinaisons moléculaires stables à

partir des minima locaux d’énergie potentielle; interface haptique

42

Arrimage moléculaire avec le Argonne Remote Manipulator (ARM)

43

Contributions marquantes à la RV Myron Krueger, University of Wisconsin, USA- aspects artistiques et psychologiques de

l’interaction homme-machine- définit le concept de réalité artificielle en 1973 - responsive environments – le participant à une

expérience de RV ne porte pas d’équipement encombrant (ex. HMD)

- 1969 – Glowflow; 1970 – Metaplay- 1975 - Videoplace


44

45


Applications potentielles des concepts de Videoplace (tracking basé sur la vision par ordinateur) :

Interfaces gestuelles Téléconférence Enseignement interactif

46

Contributions marquantes à la RV Massachusetts Institute of Technology, USA - Développement des nouvelles techniques

pour une interaction homme-machine plus naturelle, centrée sur l’utilisateur;

- Simulation et modélisation en temps réel; - The Aspen Movie Map (Lippman& Naimark,

MIT Architecture Machine Group, 1980) - Put-That-There (1980)

47


Tiré de www.artmuseum.net

Utilisation de l’écran sensitif au toucher dans une démo de AspenMovieMap


48


MIT Put-that-there Tiré de R. Bolt (1980)2004 : F. Rioux, F. Rudzicz, M. Wozniewski

The Modeller’s Apprentice


49

50

Contributions marquantes à la RV domaine militaire

Début des années 80 - Simulateurs de vol- Interfaces multimodales plus appropriées pour

le transfert rapide de l’information vers le pilote

- 1986 : Thomas Furness (Wright Patterson Air Force Base, USA) : «The Super Cockpit»

- Étude du facteur humain en interaction avec des simulateurs virtuels de vol (fiabilité des systèmes de tracking, reconnaissance de la parole etc.)

51

Tiré de Furness (1986)

52

Contributions marquantes à la RV- domaine militaire NASA Ames 1985-… Projet VIEW (Virtual interactive

environment workstation) – premier système de réalité virtuelle à faible coût, permettant à l’opérateur humain l’exploration à 360° d’un environnement synthétique où à distance.

- partenariat avec des compagnies privées : Leep optics, Crystal Rivers, VPL Research etc.

- présentement, Advanced Displays and spatial perception laboratory, NASA Ames Research Center

53

Commercialisation des interfaces de RV

VPL Research Inc. 1985-1992- Interfaces de RV à prix raisonnable

: Dataglove, Eyephone, etc.- Logiciels pour la programmation

des interfaces de RV : RB2 (mise en réseau des deux HMD pour former un espace virtuel partagé).

54

Commercialisation des interfaces de RV

Mattel : Powerglove Gant pour la saisie et la

manipulation des objets virtuels compatible avec Nintendo Entertainment System.

Fakespace Labs nouvelle interface visuelle

(projet VIEW) 1990 : BOOM (Binocular

Omni Orientation Monitor) – NASA Ames, Virtual Wind Tunnel project.

55

RV- un outil de communication

Développements technologiques importants (début des années 90) :

Internet Affichage graphique basé sur la projection. VRML (Virtual Reality Modeling Language) –

programmation des environnements collaboratifs distribués;

1995 – VRML 1.0 Langage standard pour la description des mondes virtuels statiques (architecture)

1996 – VRML 2.0 - nouvelles options pour la génération interactive des formes 3D, l’animation, l’ajout du son, etc.

56

RV- un outil de communication

1992 – CAVE Cave Automatic Virtual

Environment) - Electronic Visualization Laboratory, U. of Illinois

- environnement audio et vidéo 3D à haute résolution adapté aux dimensions de la pièce et qui permet l'interaction entre plusieurs personnes.

- Des graphiques sont projetés en stéréo sur les murs et le sol et visualisés à l'aide de lunettes stéréo.

57

RV- un outil de communication 2000 – téléimmersion The National Tele-immersion initiative – Advanced

Networks & Services, Inc., USA - but : développement des projets de recherche

d’envergure nationale et internationale - regroupe plusieurs universités aux É. U. afin de créer

une infrastructure de recherche - téléimmersion - EV collaboratifs - audio et vidéo conférence - ressources de supercomputation - base de données partagées

58

RV - outil de communication



59

Communication des idées à travers un milieu


60

Site web du cours http://wcours.gel.ulaval.ca/2010/h/GIF4102/ Présentations ppt disponibles dans Notes Description du projet : Travaux Bibliographie Supplémentaire : Références

1 Introduction à la réalité virtuelle A. Branzan-Albu et D. Laurendeau Dép. de génie...

Documents

Transcript of 1 Introduction à la réalité virtuelle A. Branzan-Albu et D. Laurendeau Dép. de génie...