Réalité Augmentée : Perspectives et Lumières · « Mémoire de fin d’études » Réalité...
Transcript of Réalité Augmentée : Perspectives et Lumières · « Mémoire de fin d’études » Réalité...
« Mémoire de fin d’études »
Réalité Augmentée : Perspectives et Lumières
Comment améliorer l'aspect visuel d'éléments virtuels
au sein de la réalité augmentée?
Auteurs :
Damien Leroux
Mathieu Jeudy
Promotion : 2006
Maître de mémoire :
Mr Lioret
SOMMAIRE
1. Introduction et problématique ............................................................................................. 1
2. La perspective .......................................................................................................................... 3
2.1. La perspective et ses principes ........................................................................................ 3
2.1.1. Généralités sur la perspective ................................................................................... 3
2.1.1.1. La notion de point de fuite .................................................................................. 3
2.1.1.2. Les types de perspective .................................................................................... 4
2.1.2. Les techniques utilisées ........................................................................................... 11
2.1.2.1. Modèle et alignement ........................................................................................ 11
2.1.2.2. Les différents positionnements possibles ...................................................... 13
2.2. Intégration dans l’environnement et application en réalité augmentée .................... 17
2.2.1. Positionnement et modélisation .............................................................................. 17
2.2.2. Les solutions de positionnement utilisées pour la réalité augmentée .............. 20
2.2.2.1 Les solutions basées capteurs ............................................................................ 20
2.2.2.2 Les solutions basées vision .................................................................................. 23
3. La photométrie ....................................................................................................................... 25
3.1. Simulation des processus photométriques ................................................................... 25
3.1.1. Génération de lumières ............................................................................................ 25
3.1.1.1. Définition et théories des lumières .................................................................. 26
3.1.1.2. De la lumière physique à la lumière numérique ............................................ 28
3.1.2. Les modèles d’illumination ....................................................................................... 34
3.1.2.1. La réflexion lumineuse ...................................................................................... 34
3.1.2.2. L’absence de lumière......................................................................................... 37
3.2. Application en réalité augmentée ................................................................................... 39
3.2.1. Les illuminations ........................................................................................................ 39
3.2.1.1. La circulation de la lumière dans une scène en réalité augmentée ........... 40
3.2.1.2. Le rendu de l’image ........................................................................................... 43
3.2.2. Les ombres ................................................................................................................. 46
3.2.2.1. Ombres virtuelles ............................................................................................... 46
3.2.2.2. Ombres réelles ................................................................................................... 48
3.2.3. Les reflets ................................................................................................................... 49
3.2.3.1. Reflets virtuels .................................................................................................... 49
3.2.3.2. Reflets réels ........................................................................................................ 50
4. Conclusion .............................................................................................................................. 52
5. Bibliographie & Webographie ............................................................................................ 54
1
1. Introduction et problématique
La puissance des systèmes informatiques s’est très vite améliorée ces 20 dernières
années. Cette puissance créée par l'homme augmente les possibilités créatives. L'ère de
l'unique 2D1 laissa place à celle de la 3D2, un réalisme répondant à la principale contrainte
physique de la réalité : la perspective. Malgré cette avancée majeure, une barrière
subsiste entre la réalité et la 3D : la non-interaction entre ces 2 mondes. Une nouvelle
technologie appelée « réalité augmentée » tend à répondre à ce besoin. Son but est
d’améliorer l’immersion de l'humain dans le virtuel, aussi bien au niveau d'un jeu que d'une
simple application.
La réalité augmentée consiste à intégrer des images virtuelles 2D ou 3D dans un
flux d'images réelles et ceci en temps réel. Grâce à ce système, l'utilisateur a la possibilité
d’interagir directement avec le milieu virtuel. De nombreuses applications ont ainsi pu être
créées. Les domaines d'application de la réalité augmentée sont divers et variés. En effet,
celle-ci est utilisée aussi bien dans le jeu vidéo, que dans les médias (presse, publicité),
l'architecture, la médecine, l'art, l'industrie ou encore le tourisme.
Le domaine du jeu vidéo, dans lequel la réalité augmentée s'illustre au mieux,
propose déjà nombreuses créations. La réalité augmentée (orientée jeux vidéo) a dans
ses débuts abouti à un jeu de morpion, développé par Stricker, Klinker et Reiners du
ZGDV3. Grâce à des lunettes 3D(HMD), les scènes réelles et virtuelles se mélangent ; Le
joueur visualise ainsi les pions virtuels en relief par-dessus le plateau réel (Annexe 1.1).
Plus récemment, Sony a développé le jeu « Invizimals », permettant au joueur d’observer
dans son environnement, grâce à la camera de la PSP, des monstres divers et variés. (La
position des monstres étant précisée dans l’environnement grâce à des cartes) (Annexe
1.2).
Concernant les médias, elle est de plus en plus présente, que ce soit dans la
presse ou bien la publicité. Par exemple, les journaux « Le Parisien » et « Aujourd’hui en
France » utilisent la technologie dans le but d’améliorer l’interactivité avec le lecteur.
« Télé7Jours » a également présenté à l’occasion des 50 ans du magazine, une
couverture comportant une photo de Johnny Halliday. Lorsque l’utilisateur filmait la
couverture, une vidéo publicitaire avec le chanteur s’affichait à l’écran.
Au niveau de l’architecture d’intérieur, il existe deux principaux projets menant au
même résultat. Ils permettent d’insérer des meubles virtuels dans un environnement réel
pris en photo et retranscrit numériquement. Le premier projet se nomme ARIS. C’est un
projet européen mené en collaboration avec les universités de Bristol et Manchester ainsi
que les sociétés Intracom et Ikea. Le second projet s’appelle Playviz, celui-ci est mis à
disposition sur le site des magasins BUT ; nous avons donc pu le tester. La réalité
augmentée mais également la réalité diminuée y sont implémentées. La réalité diminuée
est l’inverse de la réalité augmentée : elle permet de supprimer des éléments réels d’une
1 Il n’existe pas de profondeur ni de perspective
2 Représentation de l’espace qui nous entoure : hauteur, largeur et profondeur.
3 Zentrum für Graphische Datenverarbeitung e.V.
2
scène réelle. Nous avons pu nous rendre compte des imperfections de Playviz,
notamment la gestion hasardeuse des perspectives, le placement incohérent des ombres
lors d’ajout de meubles dans une pièce et enfin un rendu de qualité médiocre lors de
l’utilisation de l’outil gérant la réalité diminuée (interpolation des couleurs sans création de
textures).
Concernant l’architecture d’extérieur, le principal intérêt de la réalité augmentée est
de voir si un projet de construction s’intégrera de manière adéquate avec l’environnement
devant l’accueillir. L’un des principaux projets menés utilisant la réalité augmentée est
celui de l’illumination du Pont Neuf à Paris. Ce projet a été conduit par l’EDF en alliance
avec le Loria et le Crai en 1998. A partir d’une vidéo du Pont Neuf, les chercheurs ont
remplacé une séquence de la vidéo par la maquette virtuelle du Pont Neuf. Les lumières,
les ombres et reflets avaient été mis en place afin de donner un aperçu du rendu final au
plus proche de la réalité (Annexe 1.3).
La réalité augmentée est utilisée également dans le tourisme ou pour des
indications directionnelles. Nous pourrons ainsi citer l’application « Around me »
téléchargeable sur les terminaux Iphone et Android. Cette application indique les
principaux points d’intérêt (gares, bars, hôtels,…) en filmant le lieu où nous nous trouvons
(Annexe 1.4).
Un projet destiné aux sites touristiques a également été mis en place, celui-ci se
nomme « ARCHEOGUIDE ». Le premier site de test pour l’application est le Site
d’Olympie en Grèce. Dotés de dispositifs HMD et après avoir sélectionné leur parcours et
leurs centres d’intérêt, les visiteurs étaient alors guidés au sein du site. Des images
calculées en 3D s’affichaient dans les lunettes au fur et à mesure de leur visite (Annexe
1.5).
La réalité augmentée dans le milieu médical et industriel représente une réelle
avancée technologique et un outil d’aide à la décision. Effectivement, la réalité augmentée
permet aux employés de l’industrie d’être guidés dans leurs tâches de maintenance, en
affichant notamment des indications en 2D au-dessus des machines. En médecine, la
réalité augmentée permet une assistance pour les biopsies ou encore l’apprentissage
relatif au forceps pour les étudiants.
La réalité augmentée est en bonne voie, mais reste limitée et améliorable. En effet,
au vu des exemples précédents et des dernières recherches dans le domaine, la gestion
des lumières, des ombres et également de la perspective n’est pas toujours satisfaisante.
C’est sur ces différents points que va se porter notre étude.
Nous verrons en détail comment ont évoluées les techniques permettant
d’améliorer l’aspect visuel de la cohérence entre le réel et le virtuel en réalité augmentée.
Cette problématique répond au besoin d’améliorer la sensation d’immersion au sein de la
réalité augmentée. Il est important que les images virtuelles empilées sur des éléments
réels paraissent appartenir à l’environnement réel et non au monde virtuel.
Pour ce faire, les deux grandes notions que doit respecter la réalité augmentée
seront mises en avant : la perspective et la lumière.
3
2. La perspective
2.1. La perspective et ses principes
Le plus utilisé des modes de représentation d’objet 3D sur une surface plane (donc
2D) est celui de la représentation en perspective. Il existe différentes techniques qui ont
toutes pour but de représenter de la façon la plus réaliste possible les éléments réels.
La représentation en perspective est un concept né à l’époque de la renaissance et
était utilisée par les peintres. Le premier peintre à avoir mis la perspective en avant est
Masaccio4. Depuis, le principe est toujours le même, cependant il s’applique aussi au
monde du numérique.
Chaque perspective prend en compte différents critères : la réalité spatiale (donc
3D), la position de l’observateur, la surface plane destinée au rendu et enfin le procédé de
transformation. Il existe différents types de perspectives classées dans les perspectives
spatiales. Nous pourrons ainsi citer la perspective cylindrique5, la perspective conique et
enfin la perspective curviligne.
2.1.1. Généralités sur la perspective
Pour la plupart des représentations en perspective, une des notions primordiales
est celle du point de fuite.
2.1.1.1. La notion de point de fuite
Le point de fuite est un point imaginaire. Il va définir la façon dont les éléments vont
être placés sur la surface de représentation. Les lignes directrices de la représentation des
éléments sont appelées lignes fuyantes et se dirigent vers le point de fuite.
4 peintre italien(1401 – 1428)
5 Perspective cylindrique aussi appelée perspective axonométrique
4
Chaque partie visible d’un élément suivra au minimum une ligne fuyante. Il peut y
avoir un ou plusieurs points de fuite au sein d’une unique représentation.
Fig. 2.1 : Représentation d’éléments suivants un seul point de fuite
Nous voyons ici que les côtés des polygones sont placés selon les lignes fuyantes
elles-mêmes dirigées vers l’unique point de fuite (Fig. 2.1). Seul l’axe de profondeur est ici
utilisé.
En utilisant jusqu’à trois points de fuite, chaque axe (correspondant respectivement
à la profondeur, la hauteur et la largeur) est pris en compte (Annexe 2.1).
2.1.1.2. Les types de perspective
Comme nous l’avons mentionné auparavant, il existe différents types de
perspective : la perspective cylindrique, la perspective curviligne, la perspective linéaire.
La perspective cylindrique
La perspective cylindrique résulte d’une projection affine6. Ce type de perspective
conserve les proportions exactes des éléments réels. De plus, cette perspective
conserve :
-le parallélisme des droites permettant d’obtenir une représentation fidèle sans
déformation
-le barycentre : les proportions de chaque droite sont ainsi respectées
La perspective cylindrique, représentation affine regroupe deux types de
représentation qui sont la perspective cavalière et la projection orthogonale.
6 Projection orthogonale (perpendiculaire à un plan)
5
La perspective cavalière
Contrairement aux autres perspectives, la perspective cavalière ne contient pas de
point de fuite. En effet, comme nous l’avons vu auparavant, la proportion est conservée
d’un espace vers un autre, c'est-à-dire que la forme projetée est une simple diminution de
sa taille réelle.
Fig. 2.2 : Report des coordonnées dans le cadre d’une perspective cavalière
Comme nous pouvons le voir sur le schéma (Fig. 2.2), la perspective cavalière
comporte deux axes orthogonaux et un troisième axe présentant une inclinaison. C’est ce
troisième axe qui va donner l’illusion de profondeur. Il existe un angle de fuite : celui entre
les axes Ox et Oy sur le schéma.
Cette représentation comporte certaines limites. En effet, il est difficile de connaitre
exactement la position des objets les uns par rapport aux autres dans ce type de
représentation (Annexe 2.4). De plus, les objets sphériques sont représentés sous formes
elliptiques.
6
En mathématiques, la perspective cavalière peut se traduire sous forme matricielle :
P = 1 k.cos α 0
0 k.cos α 1
k correspond au rapport de transformation et α à l’angle de fuite.
Cette représentation est donc impropre. Par conséquent, ce type de perspective ne peut
être utilisé pour l’art ou bien dans la réalité augmentée, ce qui a amené à utiliser d’autre
type de projection.
La projection orthogonale
La projection orthogonale est utilisée en infographie. En réalité augmentée, ce type
de représentation peut être avantageux. La génération de figures ou d’objets est facile.
Par conséquent, le temps de calcul étant réduit, elle se révèle adéquate pour des
applications temps réel ne nécessitant pas de profondeur. En effet, la projection
orthogonale se distingue par une profondeur inexistante.
Une projection orthogonale s’effectue toujours par l’intermédiaire d’une droite. Nous
nous intéresserons uniquement aux projections orthogonales de l’espace (3D) vers un
plan (2D). En effet, dans le cadre d’applications temps réel, les éléments appartenant au
milieu réel sont en 3D. Dans le cadre d’une projection dans l’espace, la droite de
projection et le plan sont perpendiculaires.
Fig. 2.3 : Exemple de projeté orthogonal sur un plan
Nous pouvons voir par exemple sur la figure 2.3 que le point en 3 est le projeté
orthogonal du point e3. Le point en 3 appartenant au plan, appartient également à la droite
D perpendiculaire au plan et passant par le point e3.
7
La perspective curviligne
La perspective curviligne tend à représenter les objets au plus proche de la
perception rétinienne7. Les travaux les plus conséquents dans le domaine de la
perspective curviligne sont ceux de Panofsky8. Léonard de Vinci9 a également étudié ce
type de perspective.
Ce type de perspective n’est que peu, voire pas utilisé en infographie. En effet, le
référentiel curviligne, en forme de cercle, n’est pas adapté aux fenêtres des systèmes
d’exploitation.
Contrairement aux perspectives linéaires, la perspective curviligne se base sur un
axe de fuite et non un point de fuite. A en suivre la thèse de Panofsky, l’axe de fuite serait
le prédécesseur du point de fuite. A l’inverse du point de fuite, les différentes lignes de
perspective ne se rejoignent pas en un seul point de fuite, mais selon un axe. Nous
parlons alors de construction en « arête de poisson ».
Fig. 2.4 : Procédé de représentation curviligne
A partir de deux cercles de projection, afin de tenir compte des points à 180°
horizontalement et verticalement, nous obtenons différents points et lignes de fuite dont la
représentation s’apparente à une « arête de poisson » (Fig. 2.4).
7 Perception humaine
8 Historien de l'art et essayiste allemand, auteur de différents ouvrages dont La Perspective comme forme
symbolique en 1927 (1892-1968) 9 Peintre italien et homme d’esprit universel, auteur de l’ouvrage Trattato della pittura (1452-1519)
Boite intérieure Cercle de projection verticale Cercle de projection horizontale
8
Cette représentation s’apparent à une image pouvant être obtenue grâce à un objectif
grand angle, appelé « fisheye » (Fig. 2.5).
Fig. 2.5 : Rendu obtenu grâce à un objectif « fisheye »
Perspective curviligne
Perspective linéaire
Fig. 2.6 : Représentation d’un objet selon deux perspectives
En perspective curviligne contrairement à la perspective linéaire (Cf. paragraphe suivant
« la perspective linéaire »), nous tenons compte des déformations selon l’axe horizontal
(Fig. 2.6). Par conséquent, les parties centrales de l’objet sont de taille plus importante
que les parties latérales. De plus, nous observons une distorsion.
A partir d’un point p(x,y,z) appartenant à l’espace 3D, nous pouvons obtenir les
coordonnées du point p’(x’,y’) dans le référentiel curviligne de rayon R, comme suit:
d=
x’ = R * (1+x/d)
y’ = R * (1+y/d)
9
La perspective linéaire
La perspective linéaire est celle se rapprochant le plus d’une représentation
pouvant être obtenue avec un appareil photo contenant un objectif classique.
Elle date du 15ème siècle, son invention a longtemps été attribuée à Piero Della
Francesca10 dont le tableau le plus célèbre est « La cité idéale » (Fig. 2.7).
Fig. 2.7 : La cité idéale de Piero Della Francesca
La perspective linéaire comporte un unique point de fuite. Sur le tableau de Della
Francesca (Fig. 2.7), nous pouvons voir que les lignes verticales se rejoignent toutes vers
un même point lointain. Quant aux lignes horizontales, celles-ci sont plus ou moins
parallèles.
Ce type de perspective en a intéressé plus d’un dont Léonard de Vinci, Albrecht
Dürer11, ainsi que des géomètres célèbres comme Blaise Pascal12. Léon d’Alberti13 serait
le premier à avoir correctement exposé les principes de cette perspective. Le travail de
Léon d’Alberti serait basé sur les prouesses de Filippo Brunelleschi14 ayant fait une
représentation très réaliste du baptistère de Florence.
Albrecht Dürer a également écrit un ouvrage sur les principes de la projection
perspective, notamment sur la perspective linéaire, intitulé « Instructions pour mesurer ».
Au cours de cet ouvrage, nous retrouvons une gravure expliquant comment obtenir une
représentation perspective de la scène (Fig. 2.8).
10
Peintre et mathématicien italien (1412-1492) 11
Peintre, graveur et mathématicien allemand (1471-1528) 12
Mathématicien, physicien, inventeur, philosophe, moraliste et théologien français. (1623-1662) 13
Ecrivain, philosophe, peintre, architecte, théoricien de la peinture et de la sculpture, humaniste italien de la Renaissance (1404-1472) 14
Peintre, ouvrier et architecte italien (1377-1446)
10
Fig. 2.8 : Le dessinateur de la femme couchée, Albrecht Dürer(1527)
La perspective linéaire se base sur une projection centrale. De la même façon que
nous obtenons une photo, la représentation en perspective linéaire n’est qu’un
rétrécissement de la perception réelle. Le rendu final est obtenu par projection centrale
(Fig. 2.9).
Fig. 2.9 : Projection centrale d’une image
Même si la représentation en perspective linéaire peut faire penser à une
représentation en perspective cylindrique à un seul de point de fuite, elle reste différente.
Contrairement à la perspective cylindrique, la perspective linéaire conserve l’alignement
des points mais ne conserve ni les distances, ni les rapports de distance (Annexe 2.5).
Nous avons vu ici différents types de perspectives qui sont la perspective
cylindrique, la perspective curviligne et enfin la perspective linéaire. La perspective
curviligne est très contraignante et donne un résultat quelque peu irréaliste même si elle
tend à se rapprocher au maximum de la perception rétinienne.
Les perspectives cylindrique et linéaire sont utilisées à plus grande échelle. La perspective
linéaire est la représentation la plus fidèle à une photographie.
Afin de mettre en œuvre la perspective au sein d’une représentation virtuelle, différentes
techniques ont été mises en place.
11
2.1.2. Les techniques utilisées
Nous nous intéresserons ici à toutes les contraintes posées par la prise en compte
de la perspective. Nous devrons veiller à l’alignement. Nous présenterons également le
modèle de caméra utilisé.
2.1.2.1. Modèle et alignement
Dans le domaine de l’intégration 3D, le modèle sténopé est utilisé. Le modèle
sténopé correspond à une projection perspective, il se base sur la perspective linéaire (Cf.
2.1.1.2 « la perspective linéaire »). Le modèle sténopé transforme un point de l’espace 3D
en un point image appartenant à l’espace 2D.
Il se décompose en trois transformations, celle entre le repère réel et celui de la caméra
, celle entre le repère caméra et le repère capteur et enfin entre le repère capteur et le
repère image (Fig. 2.9).
Fig. 2.10 : Représentation du modèle sténopé
Afin de mieux comprendre le fonctionnement du modèle sténopé, nous allons
expliquer en quoi consistent les différentes transformations qui le composent. Les
coordonnées du point résultant (affiché sur l’écran) sont calculées via une projection des
points de la scène (Annexe 2.2).
Le modèle sténopé est régi par deux types de paramètres : les paramètres
intrinsèques ainsi que les paramètres extrinsèques. Ce sont respectivement les
paramètres internes au système, c'est-à-dire la caméra et les paramètres externes, relatifs
à la scène.
3
2
1
12
Les paramètres extrinsèques sont ceux correspondant à la transformation .
Cette dernière est composée d’une rotation ainsi que d’une translation. Une rotation se
décrit en fonction de trois angles, une translation en fonction de trois composantes
correspondant à la direction. Le nombre de paramètres extrinsèques est donc de six.
Les paramètres intrinsèques, comme nous l’avons dit auparavant, sont directement
liés à la caméra. Ils sont relatifs en premier lieu au centre optique. La position du centre
optique par rapport au plan image se définit comme suit :
-les coordonnées du point principal, c'est-à-dire le point d’intersection entre l’axe
optique et le plan image.
-la distance focale, correspondant à la distance entre le centre optique et le point
principal. L’apparence de la scène est proportionnelle à la distance focale. Plus la distance
focale est importante, plus le niveau de détail de la scène est élevé, et inversement.
Certains dispositifs de prise utilisent la distance focale pour réaliser des zooms avant et
arrière.
Nous avons alors 3 paramètres intrinsèques, deux pour les coordonnées du point
principal, un pour la distance focale. A ces paramètres, s’ajoute un quatrième paramètre :
le rapport d’aspect. Il correspond au rapport entre la largeur et la hauteur d’un pixel.
Prenons l’exemple où le rapport d’aspect est différent de 1(Fig. 2.11 b), les pixels sont
non-carrés. Si nous souhaitons afficher cette image sur un écran avec des pixels carrés,
nous observons une déformation (Fig. 2.11 c).
A B C
Fig. 2.11 : Problème des pixels non carrés
Tous ces paramètres, qu’ils soient intrinsèques ou extrinsèques doivent être pris en
compte pour l’alignement de la caméra.
Les paramètres intrinsèques, directement en rapport avec la caméra peuvent être
fixés une fois pour toutes, nous appelons cette étape la calibration. Les paramètres
extrinsèques correspondant à la position et l’orientation de la caméra, sont obtenus par le
calcul de positionnement de caméra.
1
13
Lors de la calibration, les quatre paramètres intrinsèques sont fixés:
- Deux coordonnées x et y pour la position du point principal, souvent placé au centre
de l’image.
- Le rapport d’aspect peut être connu à l’avance avec une bonne précision ou fixé au
préalable à un.
- La distance focale doit être exprimée dans la même unité que la taille de l’image
pour le modèle sténopé.
2.1.2.2. Les différents positionnements possibles
Il existe deux types de positionnement possible, le positionnement basé modèle, et
le positionnement basé image.
Le positionnement basé modèle
Le positionnement basé modèle repose sur la connaissance d’un modèle partiel de
la scène. Ce positionnement consiste à mettre en correspondance les points du modèle
avec ceux de l’image. Ce procédé a été utilisé en réalité augmentée dans le cas du projet
d’illumination du pont neuf à Paris. Ce projet a été réalisé par Gilles Simon15 et Marie-
Odile Berger16. A une vidéo du pont neuf, ont été rajoutées les lumières.
A partir d’un modèle partiel du pont, différents points clés sont sélectionnés dans
l’espace 2D. Par la suite, le procédé consiste à faire correspondre ces différents points de
l’espace 2D avec des points de l’espace 3D. Nous parlons alors d’appariement 3D-2D.
Cette étape est nécessaire afin de connaître les points de vue de la caméra dans chaque
image de la séquence. Une des techniques d’appariement 3D-2D consiste à suivre les
points dans les différentes images de la séquence.
Le positionnement basé modèle est un processus séquentiel. Le modèle de départ
est recalé dans chaque image de la séquence. Nous désignons ce procédé par « recalage
temporel ». Le recalage temporel est adapté dans le cadre d’application temps réel.
Afin de connaître le point de vue, nous devons considérer deux situations, celle où
nous connaissons les paramètres intrinsèques et celle où nous ne les connaissons pas.
Lorsque les paramètres intrinsèques de la caméra sont connus, nous avons besoin de
quatre couples points 3D-2D afin de retrouver le point de vue de la caméra. Lorsque les
paramètres intrinsèques sont inconnus, quatre couples de points ne suffiront pas, nous
devrons disposer de six couples. Il existe des méthodes de résolution directe pour trouver
les points de vue de la caméra, par conséquent le positionnement basé modèle est rapide.
Sa rapidité et son procédé séquentiel le rendent adéquat pour les applications de réalité
augmentée.
15
Maître de conférences et enseignant, chercheur au laboratoire LORIA 16
Chercheur à l’INRIA et chef de l’équipe de projet Magrit du laboratoire LORIA
14
Un processus de calcul robuste du point de vue de caméra a été mis en place par
le laboratoire LORIA, notamment par Gilles Simon. Ce système de recalage 3D-2D a été
mis au point en 1998 et utilisé pour le projet d’illumination du Pont Neuf.
A partir d’un modèle connu d’un objet 3D, ce système va suivre les primitives 3D-
2D afin de calculer le point. Une fois les différents points de vue trouvés, il est possible de
simuler l’éclairage du Pont Neuf. Dans ce procédé, les lignes jaunes correspondent aux
primitives 2D, les lignes vertes aux primitives 3D, et les lignes bleues aux primitives qui
n’ont pas encore été traitées (Fig. 2.12 A).
A
B
C
Fig. 2.12 : Fonctionnement du processus et exemple de rendu final
15
Le processus peut se décomposer en trois phases. La première consiste à suivre
les primitives 2D pour en déduire les points de vue 3D (Fig. 2.12 A). Suite à cette étape,
les points de vue sont obtenus, nous obtenons une « reprojection » du modèle après
chaque itération. A partir de ce modèle crée, l’éclairage est simulé (Fig. 2.12 C).
Nous avons pu voir que le positionnement basé modèle est adéquat pour les
applications temps réel. De plus, il existe des solutions permettant de calculer le point de
vue rapidement. Cependant, une autre méthode de positionnement est parfois utilisée, il
s’agit du positionnement basé image.
Positionnement basé image
Le positionnement basé image est arrivé après le positionnement basé modèle. Le
positionnement basé modèle peut être contraignant dans certaines situations. En effet,
lors de tournage en extérieur, les dimensions de la scène ne sont pas forcément connues,
il est donc difficile d’en établir un modèle. Dans ces conditions, le positionnement basé
image se révèle alors adapté car il ne nécessite aucune connaissance de la scène, il se
base uniquement sur les images à augmenter. Cependant, les algorithmes associés sont
plus complexes, et le temps de traitement plus important qu’avec un positionnement basé
modèle.
Le positionnement basé image consiste à calculer simultanément les positions de la
caméra ainsi que les points 3D de la scène filmée. A partir de deux images de la scène
filmée, il est possible de retrouver la position du point 3D. En effet, si nous considérons un
point 3D filmé sous deux points de vue caméra différent, une seule solution est possible.
Le point 3D se trouve à l’intersection des droites (Fig. 2.13), cette méthode est appelée
méthode de triangulation.
Fig. 2.13 : Méthode de triangulation
16
Sur la figure 2.13, t et t+1 correspondent à la position de la caméra à deux instants
différents. Le point M est le point 3D, les points m1 et m2 sont respectivement les projetés
du point M au temps t et t+1. Les points m1 et m2 sont des points appariés de la scène
filmée.
Il n’est pas toujours évident de trouver le point de vue de la caméra pour un point
3D donné. Par conséquent, le positionnement basé image cherche à calculer le point de
vue permettant d’obtenir l’image filmée, ainsi que la position exacte du point 3D. Cette
étape de calcul s’appelle l’ajustement de faisceaux et consiste à minimaliser la fonction de
coût elle-même appelée erreur de « reprojection ». Le point de vue de la caméra et la
position du point filmé sont considérés exacts lorsque l’erreur de « reprojection » est nulle.
Afin de connaître les points de vue de la caméra, le positionnement basé image
repose sur la connaissance de correspondance 2D-2D entre points de la scène filmée.
Afin d’obtenir un résultat convenable, un minimum de quatre images et de huit points de
correspondance est nécessaire.
A B
Fig. 2.14 : Appariement de points automatique
Une méthode consiste à retrouver automatiquement les points de correspondance
2D entre deux images. Nous pouvons voir que des points de correspondance sont
détectés automatiquement entre l’image à l’instant t (Fig. 2.14 A) et l’image à l’instant
t+1(Fig. 2.14 B). A partir de ces points appariés, seront calculés le point de vue ainsi que
la position réelle des points filmés.
Nous avons mis en exergue l’existence de deux techniques pour le positionnement :
le positionnement basé modèle ainsi que le positionnement basé image. Le
positionnement basé image est plus performant et ne nécessite aucune connaissance à
priori de la scène contrairement au positionnement basé modèle. Cependant, sa mise en
œuvre et le temps d’exécution associés à ce dernier sont relativement importants. Par
conséquent, le positionnement basé modèle sera préféré dans les applications temps réel
car il nécessite un temps de calcul particulièrement faible.
17
2.2. Intégration dans l’environnement et application en réalité
augmentée
Nous avons vu dans la partie précédente les principes de la perspective, le modèle
de caméra utilisé et les techniques de positionnement existantes. Nous aborderons ici
comment placer de façon cohérente les objets virtuels dans la scène ainsi que la
modélisation de scènes partiellement connues ou non connues.
Dans le cadre de la réalité augmentée, des solutions techniques spécifiques sont
utilisées pour le positionnement. En effet, la mobilité de l’utilisateur et l’usage de dispositifs
HMD par exemple obligent à mettre en œuvre ces solutions.
2.2.1. Positionnement et modélisation
Deux cas de figure se présentent, celui où nous disposons d’un positionnement
basé modèle et celui où nous disposons d’un positionnement basé image. Dans le cadre
d’un positionnement basé modèle, nous plaçons les éléments virtuels en utilisant le
modèle de base. Dans le cadre d’un positionnement basé image, nous devons essayer
d’établir une correspondance entre les points obtenus et la scène filmée.
Lorsque nous souhaitons intégrer une image virtuelle à une scène réelle, nous
devons tenir compte des occultations. Il existe deux types d’occultation, l’occultation des
éléments réels par le virtuel et l’occultation des éléments virtuels par le réel.
L’occultation du réel par le virtuel est rapidement mise en œuvre. Il suffit
uniquement de placer le contenu virtuel par-dessus l’image réelle. Quant à l’occultation du
virtuel par le réel, le procédé se révèle plus complexe. Il est nécessaire de créer un
masque d’occultation ; plusieurs moyens permettent d’y aboutir, que ce soit le fond bleu, le
suivi de contours ou encore la modélisation de l’objet occultant. A partir du masque
d’occultation et l’utilisation d’opérateurs de fusion, nous obtiendrons la composition finale
(Annexe 2.3).
La technique du fond bleu est très répandue dans le cas d’insertions d’objets réels
au sein d’une scène entièrement virtuelle, c’est le cas pour la météo par exemple ou
encore les plateaux de tournages télévisés. Or ici, nous nous intéressons au cas contraire,
le fait d’insérer des éléments virtuels dans une scène réelle, ce qui est plus délicat. Afin
d’insérer des objets virtuels en utilisant cette technique, la même scène doit être filmée
deux fois, une première fois avec le fond bleu afin d’obtenir le masque d’occultation et une
seconde sans le fond bleu. L’opération se présente fastidieuse, le mouvement de caméra
doit être exactement identique au sein des deux séquences d’images. La technique du
suivi de contours semble alors plus adaptée.
18
Le suivi de contours consiste à détourer manuellement la première séquence de
l’image afin d’obtenir la zone occultante. Cette dernière sera alors suivie dans chaque
image. Afin d’effectuer un suivi automatique, les logiciels de traitement d’image se basent
sur le fait que les bords du masque d’occultation correspondent à des contours forts de
l’image, la différence de contraste est relativement élevée dans ces zones. Le suivi
automatique consiste donc à faire corréler le masque d’occultation avec les contours forts
de l’image. La dernière solution consiste à modéliser l’objet occultant.
L’objet occultant est modélisé en trois dimensions. Nous allons présenter
brièvement en quoi consiste la méthode de modélisation de l’objet occultant et reviendrons
plus en détail sur les techniques de modélisation par la suite. Une première phase
consiste à modéliser l’objet. La modélisation est plus ou moins complexe en fonction de sa
forme. Une fois l’objet modélisé, nous le disposons au sein de la scène en faisant attention
au respect des proportions et de l’alignement des perspectives. Une fois l’objet placé dans
la scène, l’algorithme présent au sein du logiciel de traitement d’image se chargera de le
remplacer par l’objet réel (Fig.2.16). Cette technique reste assez complexe et demande
une précision accrue, elle sera utilisée dans le cas où le suivi de contours ne peut être
utilisé.
Fig. 2.16 : Modélisation de l’environnement réel et incrustation de l’objet virtuel
Nous allons dorénavant nous pencher sur la modélisation de l’environnement réel.
Nous présenterons la modélisation d’une scène partiellement connue ainsi que la
modélisation d’une scène sans connaissance préalable.
Modélisation d’une scène partiellement connue
Ici, nous connaissons les coordonnées de différents points de l’objet ainsi que les
paramètres de la caméra. Nous pouvons alors modéliser des objets de la scène, y
appliquer des modifications au niveau de la taille et du positionnement afin que la
modélisation coïncide avec l’image. Cette technique permet de n’utiliser qu’un seul logiciel
identique à celui employé pour la modélisation des objets virtuels. Cependant, il est
fastidieux de gérer les relations entre blocs lorsqu’un objet en comporte plusieurs. De plus,
un recadrage progressif de l’objet virtuel est nécessaire pour qu’il coïncide avec la scène
réelle.
19
Modélisation d’une scène sans connaissance préalable
Dans le cas présent, la modélisation se base sur une seule image et nous ne
disposons pas d’informations concernant l’objet. Comme nous l’avons vu auparavant (Cf.
2.1.2.2), nous devons disposer de six couples de points 2D-3D pour obtenir le point de
vue de la caméra. Ici, nous ne disposons pas des coordonnées 3D des points, par
conséquent nous devons mettre en place une solution alternative. Nous allons donc nous
référer à nos connaissances du monde qui nous entoure. Nous traçons alors des droites
de l’image afin de retrouver le point de vue et d’obtenir un modèle 3D. Un travail de
modélisation par contrainte de segments sur l’image fut effectué par Paul Debevec17 (Fig.
2.17). Cette méthode était d’ailleurs implémentée au sein du logiciel Canoma18.
Fig. 2.17 : Modélisation et texturage de la cathédrale de Rouen par contrainte de
segments
La méthode d’intégration d’objets virtuels au sein d’une scène réelle est différente
en fonction du positionnement utilisé au départ. Nous devons tenir compte des
occultations des objets réels par le virtuel et inversement. Une des techniques afin de
prendre en compte cet aspect consiste à modéliser l’objet réel. Nous pouvons alors
modéliser un objet réel d’une scène partiellement connue ou bien sans connaissance
préalable.
17
Chercheur en informatique graphique, spécialisé dans les images HDR et la réalité virtuelle, travaillant à l’institut de création technologique dans l’université du sud de la Californie. 18
Logiciel de modélisation 3D
20
2.2.2. Les solutions de positionnement utilisées pour la réalité
augmentée
En réalité augmentée, le positionnement est relatif à l’observateur lui-même. La
position de la caméra est dépendante de la position de l’observateur lui-même. A partir de
dispositifs directement montés sur la tête de l’observateur (systèmes HMD), nous
retrouvons la position de la caméra. Dans ce cas, nous considérons que la position des
yeux de l’observateur est identique à celle de son visage. D’autres solutions basées
capteurs peuvent être utilisées. Certaines solutions couplant données images, et données
capteurs sont en plein essor. Nous appelons ces dernières, solutions hybrides.
2.2.2.1 Les solutions basées capteurs
Il existe différentes sortes de capteurs. Nous pouvons ainsi les classifier en
plusieurs catégories qui sont les capteurs magnétiques, les capteurs acoustiques, les
capteurs optiques, inertiels ou encore de positionnement global.
Capteurs magnétiques
Ce type de système se compose de six bobines au total. Il fonctionne selon le
principe de l’émission-réception. Les trois premières bobines émettent un champ
magnétique, reçu par les trois autres placées sur l’objet à suivre.
Ces capteurs sont précis mais présentent quelques limites. En effet, leur champ
d’action s’élève à une trentaine de mètre cube. De plus, si des objets métalliques sont
présents dans la scène, ils peuvent en altérer le fonctionnement.
Fig. 2.18 : Le « Wintracker » d’ Immersion19, composé de 3 capteurs magnétiques
19
Spécialiste européen des solutions de simulation visuelle et de réalité virtuelle
21
Capteurs acoustiques
Les capteurs acoustiques fonctionnant grâce aux ultrasons ont une précision
comparable à celle obtenue grâce aux capteurs magnétiques et disposent d’un champ
d’action tout aussi restreint. Cependant, ils présentent un avantage, la présence d’objets
métalliques ne cause aucune distorsion. Composés d’un haut parleur et d’un microphone,
leur fonctionnement est régi par la vitesse du son. En connaissant le temps que met le son
pour parcourir la distance haut-parleur/microphone, il est possible d’en déduire cette
dernière.
Fig.2.19 : Capteur acoustique CMS20S – Zebris
Capteurs optiques
Les capteurs optiques sont des caméras pouvant calculer la position de cibles
particulières. Il existe deux types de cibles, les cibles passives et les cibles actives. Les
cibles passives sont des sphères de couleurs uniformes, alors que les cibles actives sont
des sphères émettant une lumière. Très utilisé pour la motion capture, ce type de capteur
est précis mais présente le même inconvénient que les précédents, c'est-à-dire un champ
d’action restreint.
Fig. 2.20 : Capteur optique et cibles passives- ART GmbH
22
Capteurs inertiels
Afin de contrer les problèmes rencontrés avec les capteurs acoustiques,
numériques ou encore optiques, de nouveaux capteurs ont été imaginés. Ces capteurs
fonctionnent de façon autonome. En général composés de plusieurs capteurs
(gyroscope20, accéléromètre21, magnétomètre22), ils utilisent les différentes données
recueillies par chacun afin de déduire l’orientation de façon convenable. Bien que leur
champ d’action soit plus important que les capteurs énumérés précédemment, ils sont
encore très peu utilisés en réalité en raison de leur manque de précision.
Fig. 2.21 : Capteur inertiel – i4 Motion
Capteurs de positionnement global
Les capteurs de positionnement global sont plus connus sous le nom de GPS pour
Global Positioning System. Le GPS a été imaginé par les militaires américains et utilise les
satellites. De la même façon que les capteurs acoustiques, il mesure le temps séparant
l’émission et la réception du signal. Ce système est implémenté au sein des Smartphones
et peut servir à des applications de réalité augmentée tel que AroundMe23 (Fig. 2.22).
Malgré tout, sa précision n’est que d’une dizaine de mètre, alors que nous avons des
précisions au millimètre dans le cas des capteurs acoustiques par exemple.
Fig. 2.22 : Iphone doté d’un GPS et aperçu de l’application AroundMe
20
Capteur de position angulaire 21
Capteur permettant de mesurer l’accélération d’un objet. 22
Capteur permettant de mesurer l’aimantation d’un objet, d’en déduire sa position en fonction du champ magnétique. 23
Logiciel d’information utilisant la réalité augmentée
23
Nous avons abordé les différentes solutions basées capteurs. Qu’ils soient
magnétiques, acoustiques, optiques, inertiels ou encore de positionnement global, ils
donnent des résultats plus ou moins satisfaisants. D’autres solutions ont été mises en
place, ce sont les solutions basées vision.
2.2.2.2 Les solutions basées vision
Les solutions basées vision reposent sur les principes évoqués précédemment
concernant le positionnement (Cf. 2.1.2.2 et 2.2.1). Se basant sur une analyse des images
à augmenter, que ce soit en positionnement basé modèle ou positionnement basé image,
elles permettent une précision en général meilleure que les solutions basées capteurs.
Cependant, comme nous l’avons évoqué auparavant, le positionnement basé
image est lourd en temps de calcul et inadapté à la réalité augmentée. De plus, nous ne
disposons pas au départ de plusieurs images permettant de restituer fidèlement les
différents points de vue. Les solutions présentes sur le marché favorisent donc le
positionnement basé modèle.
Le positionnement basé modèle utilise le suivi d’indices. Afin de rendre fiable ce
suivi automatique d’indices, différentes solutions ont été mises en œuvre, certaines
utilisant des marqueurs afin de renforcer les contraintes 2D et d’autres utilisant les
contraintes 3D. Renforcer les contraintes permet d’obtenir un suivi automatique et fiable.
Les marqueurs artificiels
Les marqueurs sont simplement des motifs blanc et noir imprimés sur un support.
Ces marqueurs sont fréquemment utilisés et certains sont connus sous le nom de
QRCode. Le jeu Invizimals sous PSP fonctionne en utilisant des marqueurs artificiels
(Annexe. 1.2). La librairie ARToolkit24, disponible en opensource25 permet de développer
diverses applications utilisant ce type de marqueurs. Malgré leur utilisation relativement
répandue, l’utilisation de marqueurs présente quelques désagréments. En effet, les
marqueurs dénaturalisent la scène et limitent les mouvements car ils doivent toujours se
trouver face à l’observateur.
De plus, l’utilisation devient délicate lorsque nous sommes en présence de
plusieurs marqueurs. En effet, plus le nombre de marqueurs est important, plus il est
difficile, dans un contexte temps réel, de les reconnaitre et les différencier.
24
Librairie C++ spécialisé en réalité augmentée 25
Distribution libre
24
Le suivi d’indices naturels
A partir d’images de la scène filmée, nous faisons une extraction d’indices (coins,
tâches localisées,…) afin de les suivre dans le but de positionner les objets virtuels. Nous
pouvons nous baser sur un projet crée par Marie-Odile Berger ainsi que Gilles Simon,
consistant à positionner des informations en temps réel via ce procédé.
La scène est tout d’abord séparée en plusieurs plans et des points d’appariement
sont déduits (Fig. 2.23 A). Chaque plan est symbolisé par des cadres bleus. La contrainte
des plans permet une uniformité globale de rendu et permet ainsi d’éliminer les mauvais
appariements. A partir de ces appariements sont insérées les données virtuelles (Fig.2.23
B).
A B
Fig. 2.23 : Suivi d’indices naturels et exemple de rendu
Nous avons abordé les différentes notions de perspective, de positionnement ou
encore de modélisation temps réel. Cependant, afin de rendre le résultat d’autant plus
réaliste, un autre aspect que celui de la perspective doit être pris en compte : la
photométrie.
25
3. La photométrie
La lumière est un ensemble d’ondes (appelé rayonnement) qui, au contact d’une
surface va en faire ressortir la couleur. En somme, lorsque la lumière atteint une surface,
elle commence d'abord par la teinter avec sa propre couleur (sauf avec la lumière blanche
qui n'a pas de couleur dominante). La lumière rebondit ensuite de la surface vers
l'observateur. Ce qui détermine la couleur de la surface, c’est son caractère absorbant, ou
non, vis-à-vis des couleurs qui compose la lumière. En effet, pour une surface donnée,
seules certaines couleurs de la lumière seront renvoyées, nous donnant alors la couleur
de la surface.
Dans la réalité, seule une partie de ces ondes électromagnétiques26 sont visibles à
l’œil nu : celles dont les longueurs d’ondes se situent entre 380 nanomètres27 (le violet) et
780 nanomètres (le rouge). Une lumière blanche, émise par le soleil par exemple, est le
regroupement de toutes les ondes allant du violet vers le rouge. Afin de représenter
virtuellement la lumière dans nos systèmes informatiques, des études ont été menées.
Différents types de données et systèmes de manipulation de données ont donc été mis en
place.
L’étude de l’impact des rayonnements lumineux sur des objets, qu’ils soient réels
ou virtuels, constitue la photométrie. Afin de simuler virtuellement la lumière et donc de
reproduire les processus photométriques qui l’accompagnent, différents consensus furent
établis.
3.1. Simulation des processus photométriques
L’utilisation de la lumière en réalité augmentée demande à ce que de nombreuses
propriétés, incombant directement aux processus photométriques, soient initialisées. Pour
cette raison, dans cette partie 3.1, nous expliquerons dans la théorie et dans la pratique,
comment la lumière agit, dans le monde réel, comme dans un milieu virtuel.
3.1.1. Génération de lumières
Une lumière, c’est d’abord une source lumineuse. Cette source lumineuse possède
des propriétés physiques qui permettent de diffuser la lumière. Nous allons commencer
par décrire les propriétés qui définissent la lumière (couleur, direction, puissance) puis
nous étudierons la manière de la représenter et de l’utiliser dans un environnement virtuel.
26
Propagation d’un champ magnétique et d’un champ électrique en ligne droite 27
1 nanomètre = 0.000000001 mètre
26
3.1.1.1. Définition et théories des lumières
Une lumière est un rayonnement d’ondes électromagnétiques dont l’œil humain ne
perçoit qu’une partie : comme énoncé précédemment, les ondes comprises entre 380
nanomètres et 760 nanomètres. Ce spectre lumineux (Fig. 3.1), qui résulte de la
décomposition de la lumière blanche (Fig. 3.2), représente la plage complète des couleurs
qui peuvent être émises par la lumière. Il est important d’insister sur le fait que cette plage
de couleurs soit celle émise par la lumière : il ne faut donc pas s’étonner de ne pas voir
dans son spectre le marron ou le gris. En effet le marron est un mélange de trois
couleurs : le rouge, le jaune et le bleu tandis que le gris est le mélange de l’ensemble des
couleurs de la lumière (le blanc) avec le noir qui se trouve être l’absence de couleurs.
Fig. 3.1- Le spectre lumineux visible par l’œil humain
Fig. 3.2 - Décomposition de la lumière par un prisme transparent (selon Newton28)
La lumière, en plus de ses caractéristiques colorimétriques, possède une vitesse,
une direction, un sens et une puissance. Selon les différents types d’éclairages (Cf. 3.1.2),
la direction de la lumière peut être ciblée ou omnidirectionnelle. De même, une lumière
peut être interprétée soit comme un rayon unique soit comme un spot (ensemble de
plusieurs rayons formant un cône).
Dans le cas d’un rayon unique, quelle que soit la distance de la source de lumière
par rapport à l’objet, la quantité de lumière reçue sera identique. Avec un spot, plus l’objet
est proche de la source lumineuse, plus il est éclairé localement (selon la taille de l’objet
par rapport à la source lumineuse) (Fig. 3.3). Dans les deux cas, plus l’objet est proche de
la source lumineuse plus l’intensité de la lumière reçue est importante.
Fig. 3.3 Le spot et le rayon
28
Philosophe, mathématicien, physicien, alchimiste, astronome et théologien anglais (1642 – 1727)
27
La propagation de la lumière n’est possible qu’à travers des substances
transparentes. Selon la densité ou la pureté de ces substances, la propagation de la
lumière sera plus ou moins efficace. Pour exemple, le vide29 n’entraine aucune perte de
puissance de la lumière alors que le brouillard laisse difficilement passer la lumière au-
delà d’une certaine distance. Il en va de même avec certains verres plus purs que d’autres
permettant un passage plus aisé de la lumière.
De plus, les matériaux transparents sont connus pour dévier le parcours de la
lumière selon l’angle d’incidence de la lumière par rapport à la surface de ces matériaux
(Fig. 3.2). Il serait essentiel, le jour où les machines seront assez puissantes pour le faire,
de prendre en compte cette divergence de la lumière, afin de rendre encore et toujours
plus réel les objets et lumières virtuels insérés en réalité augmentée.
Dans le cas de surfaces non transparentes ou faiblement transparentes, une partie
de la lumière est toujours réfractée. Par réfracter, il faut entendre qu’une partie de la
lumière rebondit sur l’objet pour se diriger soit vers un autre objet soit vers un observateur.
En fonction de la couleur de l’objet, certaines couleurs de la lumière seront absorbées
tandis que d’autres seront renvoyées. Par exemple, dans le cas d’une pomme verte :
Avec une lumière blanche, la pomme absorbe presque complètement l’ensemble
des couleurs de la lumière blanche excepté le vert de la pomme raison pour
laquelle nous la voyons verte.
Avec une lumière rouge, la pomme nous paraîtra sombre et son vert sera
difficilement perceptible. Cela est du au fait que la pomme absorbe le rouge en
grande partie et donc que très peu de lumière est renvoyée par la pomme.
Dans le cas où un objet réfracte la lumière mais n’en émet pas, on parle de source
de lumière secondaire.
La réalité augmentée, qui implique de nombreux calculs, ne peut pas être dissociée
de la qualité et du niveau technologique que nous possédons actuellement. Cette qualité
technologique apparente est le résultat de l’utilisation des systèmes informatiques les plus
récents sur lesquels ont été mises en place de nombreuses structures de données. Afin
d'adapter les propriétés physiques de la lumière qui s'exécutent dans la réalité, plusieurs
systèmes de données ont été créés, modifiés et améliorés de sorte que la lumière virtuelle
n'ait plus rien à envier à la lumière réelle.
29
Absence de matière dans une zone spatiale.
28
3.1.1.2. De la lumière physique à la lumière numérique
« La couleur est la gloire de la lumière » (Jean Guitton30). Cette citation montre
l’importance de la couleur pour la lumière. Ce que nous percevons de la lumière n’est ni
sa vitesse ni sa direction mais sa couleur.
La couleur de la lumière
- Le codage RGB
Informatiquement, la couleur est formée de trois composantes: le rouge, le vert et le
bleu. Chacune de ces composantes est codée sur 8 bits31 (Annexe 3.1) et peut donc se
voir attribuer une valeur de 0 à 255. Cette valeur retranscrit l’intensité de rouge, de vert ou
de bleu que l’on souhaite utiliser pour obtenir une couleur. L’ensemble des trois couleurs
forme une structure de données de vingt-quatre bits appelée : format RGB (Red Green
Blue).
Par exemple, pour obtenir une couleur chair, il faudra doser le mélange de rouge, de vert
et de bleu ainsi :
Couleurs Format Décimal Format Binaire
rouge 251 11111011
vert 208 11010000
bleue 151 10010111
Format RGB : 251, 208, 151 (soit 11111011 11010000 10010111)
Pour obtenir la couleur blanche, le format RGB sera : 255, 255, 255 et pour obtenir le noir,
il sera : 0, 0,0.
La gestion des couleurs en format RBG a l’avantage d’être rapide et peu complexe,
raison pour laquelle elle s’applique à la majorité des systèmes informatiques et
numériques (téléviseurs, caméscopes, etc…). Elle s’éloigne cependant trop, dans son
utilisation, de la manière dont l’esprit humain perçoit les couleurs. Rappelons qu’en réalité
augmentée, c’est justement cet esprit qui doit être satisfait afin que le réel et le virtuel ne
fassent plus qu’un. Un autre type de codage des couleurs a été inventé pour satisfaire
cette exigence : le codage TSL.
30
Philosophe et écrivain français de l’académie française (1901 – 1999) 31
Chiffre binaire valant 0 ou 1, 8 bits représente une suite de 8 chiffres valant 0 ou 1 : 00000000 =0, 11111111 = 255
29
Le codage TSL
Le codage TSL (aussi appelé HSL), dont l’origine remonte aux travaux d’ Albert
Henry Munsell32, se base sur les trois grands principes qui reprennent la théorie des
couleurs (Fig. 3.4):
o La teinte : c’est la représentation chromatique du spectre lumineux de la lumière
sous la forme d’un cercle de 360 degrés. Cette représentation demande de connaître
à l’avance la position des couleurs sur le cercle chromatique. C’est cette
représentation qui fait la force et la faiblesse du format TSL : il est en effet plus
difficile de situer la couleur chair sur ce cercle même si nous la plaçons intuitivement
dans la partie orange du cercle. Cependant, les traitements qui concernent la
saturation d’une couleur répondent parfaitement aux règles de la théorie des
couleurs.
o La saturation : c’est la pureté de la couleur, c'est-à-dire le pourcentage de couleur
pure utilisé pour obtenir la couleur finale. Diminuer ce pourcentage revient à griser la
couleur. Par exemple la couleur chair est un orange pur (rouge et vert) dont la
saturation va être diminuée. On peut alors facilement observer sur la fig. 3.4 que
lorsque que l’orange est desaturé (donc qu’il se rapproche du centre), il tend vers le
bleu. On retrouve alors notre mélange RGB de rouge, de vert et de bleu.
o La luminance : elle représente l’intensité de la couleur. Une luminance de 100%
indique que la quantité de noir présente dans la couleur est nulle. Ainsi, la couleur
complètement desaturée (donc grise) mais avec une luminance maximale (sans
aucun noir) est le blanc (Fig. 3.4).
Fig. 3.4 – Représentation du format TSL
32
Peintre et professeur d’art américain, inventeur du nuancier de Munsell (1858 - 1918)
30
Vitesse
Dans la réalité, et plus particulièrement dans le vide, la vitesse de la lumière (aussi
appelée célérité) est de 299 792 45833 m/s. Cette valeur présente un réel intérêt pour la
réalité. Cependant, dans la réalité augmentée, elle n’est pas utilisée. En effet, la vitesse de
la lumière est tellement grande que l’illumination d’un objet, dans une pièce par exemple,
est instantanée pour l’œil humain.
Pour qu’une telle valeur présente un intérêt, il faudrait créer des systèmes à
l’échelle spatiale, de sorte à simuler l’éclairage d’astres grâce à des étoiles avec le
décalage de temps que mettrait la lumière pour aller d’une étoile à un astre. Par exemple,
la lumière que dégage le Soleil met 0.5034 seconde pour arriver sur Terre. Aujourd’hui, Il
n’existe pas d’applications en réalité augmentée qui nécessitent la création de système à
l’échelle spatiale.
Cette vitesse n’étant pas utile dans un système informatique 3D temps-réel,
l’illumination d’un objet ne la prend pas compte.
Direction
La direction que suit la lumière est d’abord déterminée par la position de la source
lumineuse par rapport au reste des objets d’une scène. Ensuite le type de source
lumineuse voulue doit être spécifié :
o Lumière omnidirectionnelle (Fig. 3.5): La lumière émise par la source lumineuse
impactera directement sur l’ensemble des objets présents autour de celle-ci. Ce
type de lumière est à l’image du soleil et permet dans des environnements 3D de
simuler des lumières d’ambiance.
o Lumière Spot (Fig. 3.6): il faut d’abord déterminer la direction dans laquelle la
lumière pointe. Ensuite, il est nécessaire de déterminer l’angle d’ouverture du
faisceau lumineux émanant de la source lumineuse. Ce type de lumière est souvent
utilisé pour reproduire des lumières de lampe, de téléphone, etc… C’est la forme
arrondie de la majorité des ampoules qui a engendré ce comportement de la
lumière (Annexe 3.2).
o Lumière Rayon (Fig. 3.7): Après avoir déterminé la direction dans laquelle le rayon
pointe, il faut affecter une largeur à celui-ci. Ce type de rayon est utilisé pour
simuler des lasers ou pour éclairer des objets sans que la distance de l’objet par
rapport à la source lumineuse importe (Fig. 3.3)
33
Valeur définie en 1983 par le bureau international des poids et mesures 34
Valeur au niveau du demi-grand axe de l’orbite de la terre
31
Fig.3.5-Lumière
omnidirectionnelle
Fig. 3.6 - Lumière Spot
Fig. 3.7 Lumière Rayon
Pour ce qui est du spot ou du rayon, il est souvent d’usage de dégrader légèrement
les bords de la lumière qui émane de la source lumineuse. Cela apporte, notamment en
réalité augmentée, un résultat qui se rapproche de la réalité. En effet, dans la réalité, un
rayon lumineux (aussi appelé faisceau) est composé d’une multitude de rayons tous émis
de la source lumineuse. Au centre du faisceau lumineux, tous les rayons convergent,
raison pour laquelle la lumière reste intense et opaque. Sur les bords du faisceau, le
nombre de rayons chute très rapidement mais graduellement, ce qui constitue un dégradé
(Annexe 3.3).
Après avoir spécifié le type de source lumineuse souhaité, il faut, dans le cas du
spot et du rayon, spécifier la direction de la lumière. Dans la réalité, nous devons déplacer
physiquement la source lumineuse pour l’orienter et donc lui donner une direction. Dans
un environnement virtuel, il existe différentes méthodes pour faire cela:
o La méthode positionnelle
C’est le moyen le plus simple et le plus utilisé pour donner une direction à la lumière.
En effet, dans un environnement virtuel, l’ensemble de l’espace est quadrillé et déterminé
par des positions. De plus, il est facile de fournir à une source lumineuse les coordonnées
d’un objet placé dans l’espace afin que la lumière s’oriente sur celui-ci.
De même que nous choisissons des coordonnées pour positionner la lumière, on
en choisit d’autres pour affecter une direction à la lumière. La lumière est positionnée en
xl,yl,zl et pointe aux coordonnées xc,yc,zc (Fig. 3.9).
32
o Les quaternions
Dans un espace 2D, il est possible de diriger une lumière en lui attribuant
simplement un angle α (Fig. 3.8).
Fig. 3.8 – éclairage dirigé en 2D
Dans un espace 3D, attribuer un angle à une source lumineuse (par rapport à
l’horizon) n’indique pas dans quel sens tourner la source lumineuse afin d’en choisir la
direction. Afin de répondre à cette exigence, les travaux de Leonhard Euler35 suivis de
ceux de Carl Friedrich Gauss36 et William Rowan Hamilton37 ont permis l’apparition des
quaternions38. Ils permettent de tourner la lumière autour d’un vecteur N selon un angle α
(Fig. 3.10). En effet, en orientant le vecteur N dans la direction de son choix, on affecte un
axe de rotation à la source lumineuse. L’angle α détermine ensuite de combien de degrés
la lumière tourne.
35
Mathématicien et physicien suisse (1707- 1783) expert en calcul infinitésimal et en théorie des graphes. 36
Mathématicien, astronome et physicien allemand (1777 - 1855) expert en théorie des nombres. 37
Mathématicien, physicien et astronome irlandais (1805 - 1865) qui a découvert les quaternions. 38
Nombres hypercomplexes (Annexe 3.4).
Fig. 3.9 – La méthode positionnelle
Fig. 3.10 – éclairage dirigé grâce aux
quaternions
33
La puissance lumineuse
En photométrie, l’intensité lumineuse est une mesure de l’éclat perçu par l’œil
humain d’une source lumineuse. Il ne faut donc pas la confondre avec la puissance
lumineuse, qui elle, représente le nombre de photons émis par une source lumineuse par
unité de temps. En physique, la puissance est la quantité d’énergie fournie par unité de
temps.
Dans la réalité, plus cette puissance est importante :
- plus la quantité de lumière réfractée est importante.
- plus la sensation d’aveuglement de l’observateur est importante c'est-à-dire qu’il
discernera de moins en moins les objets qui sont les plus proches de la source
lumineuse. Nous pouvons observer ce phénomène entres les deux images
présentées en Fig. 3.11 : Sur l’image de gauche, la faible puissance des lumières
offre plus de lisibilité que sur l’image de droite.
Fig. 3.11 – différence de puissance lumineuse
Pour reproduire le phénomène de puissance lumineuse en informatique, que ce soit
en 2D ou en 3D, un facteur d’atténuation de la lumière, en fonction de la distance, est mis
en place. La valeur de cette atténuation commence à 1 et peut finir à 0. Lorsque le facteur
d’atténuation vaut 1, la surface éclairée est au plus proche de la source lumineuse et
lorsqu’il vaut 0, cette même surface n’est pas du tout éclairée.
Par exemple, lorsqu’un objet se situe à bonne distance de la source lumineuse et que le
facteur d’atténuation atteint alors 0.4, la lumière qui atteindra l’objet représentera 40 % de
sa couleur original mélangés à 60 % de noir. En somme, le facteur d’atténuation obscurci
la couleur en diminuant la luminance (Cf. 3.1.1.2).
34
Pour calculer ce facteur d’atténuation, trois constantes doivent être déterminées :
l’atténuation constante (Kc), l’atténuation linéaire (Kl) et l’atténuation quadratique (Kq)
(Annexe 3.5). Si nous appelons la distance que parcourt la lumière Dl, alors :
Facteur d’atténuation = 2Dl Kq + Dl Kl + Kc
1
, avec Kc, Kl,Kq, Dl > 0
Nous avons décrit dans cette première partie (3.1.1) la manière dont la lumière est
générée, et paramétrée en informatique, afin que soient retranscrites le plus fidèlement et
facilement possible ses propriétés. Nous allons maintenant mettre en avant la manière
dont les objets sont affectés par la lumière.
3.1.2. Les modèles d’illumination
Il existe plusieurs façons d’éclairer des objets car leurs surfaces peuvent être très
différentes selon leur composition: métal, plastique, bois… Chacune de ces surfaces n’a
pas la même façon de recevoir et de renvoyer la lumière. De même, chaque surface
représente une forme, de sorte que chaque point de la surface ne recevra pas la même
quantité de lumière. Enfin, lorsqu’un objet intercepte le trajet de la lumière, il en affecte le
parcours. Cela affecte ensuite les autres objets qui sont dans la nouvelle direction de la
lumière. Décrivons maintenant les procédés servant, dans un environnement virtuel, à
reproduire la manière dont la lumière affecte un objet.
3.1.2.1. La réflexion lumineuse
On observe une réflexion de la lumière lorsque celle-ci rencontre une surface qui
n'absorbe pas toute son énergie de radiation et en repousse une partie (Cf. 3.1.2.2). La
lumière qui arrive sur une surface est appelée incidente et la lumière qui en repart est
appelée réfléchie. La quantité de lumière réfléchie par un objet ainsi que la manière dont
elle est réfléchie sont très dépendantes de la texture de la surface de cet objet. La couleur
de la lumière réfléchie dépend de la couleur de la lumière incidente, de la texture et de la
couleur de la surface.
La lumière, lorsqu’elle atteint une surface, peut être réfléchie ou réfractée. Lorsque
la lumière est réfléchie, on parle de réflexion spéculaire. Lorsqu’elle est réfractée, elle
n’est pas renvoyée mais déviée ; c’est le cas des surfaces transparentes (verre, vitre,
prisme). Dans un environnement virtuel, comme dans la réalité, on discerne alors trois
modèles d’éclairage:
35
La réflexion diffuse
Le modèle de réflexion diffuse correspond à la réflexion constante d’une lumière
dans toutes les directions à partir de la surface qui reçoit la lumière (Fig. 3.12). Cette
réflexion concerne les surfaces mates, c’est-à-dire les surfaces composées de
nombreuses aspérités qui ont une taille supérieure aux longueurs d’onde de la lumière.
Lorsque la lumière est interceptée par la surface, alors les couleurs de cette surface sont
additionnées à celles de la lumière.
La réflexion diffuse dépend de l’angle θ entre le rayon incident de la lumière et la
normale39 de la surface touchée par ce rayon (Fig. 3.14). Elle fait donc varier la luminance
des couleurs de la surface. Cette luminance (intensité lumineuse) se transcrit
mathématiquement ainsi :
VD = pd x Il x cosθ
VD est la valeur du rayon réfracté. pd est le coefficient de réflexion diffuse de la
surface. Il varie de 0 (absorption complète) à 1 (renvoi complet de la lumière). I l est
l’intensité lumineuse du rayon incident. Cosθ varie entre 0 et 1 (θ variant de 90° à 0°) et
représente de manière progressive l’intensité lumineuse avec laquelle est renvoyée la
lumière (Fig. 3.15). Par exemple, lorsque la lumière arrive complétement
perpendiculairement sur la surface, l’angle d’incidence θ de la lumière est 0, cosθ vaut
alors 1. De ce fait, l’intensité lumineuse n’est pas diminuée par la façon dont la lumière est
interceptée par la surface. Lorsque θ est supérieur à 90, la surface n’est pas illuminée (Cf.
3.1.2.2)
Fig. 3.14 – angle d’incidence
Fig. 3.15 – le cosinus
39
Droite perpendiculaire
Fig. 3.12 – lumière diffuse
Fig. 3.13 – lumière spéculaire
36
La réflexion spéculaire
Quand les imperfections de surface sont plus petites que la longueur d'onde de la
lumière incidente (c'est le cas d'un miroir, par exemple), la totalité de la lumière est
réfléchie de manière spéculaire (Fig. 3.13), c'est-à-dire que l'angle de réflexion de la
lumière est égal à son angle d'incidence. La réflexion spéculaire peut s’observer sur les
surfaces brillantes, et est caractérisée par la présence de zones claires sur une surface,
dont la position dépend du point de vue de l’observateur. Le modèle de réflexion
spéculaire le plus célèbre est celui de Bui Tuong Phong40 (Annexe 3.6)
Dans le modèle de Phong, plus le rayon réfracté R de la lumière coïncide avec la
vision V de l’observateur 0, plus les couleurs présentes dans le rayon L vont être
présentes dans le rayon de sortie R (Fig. 3.16). Le rayon réfracté devient un rayon réfléchi
car il renvoie davantage les couleurs du rayon L que les couleurs de la surface S qui le
réfracte. L’intensité lumineuse pour un rayon réfléchi se calcule alors ainsi :
VS = ps x Il x cosnΩ
VS est la valeur du rayon réfléchi. Ps est le coefficient de réflexion spéculaire de la
surface. Il varie de 0 (pas de réfraction spéculaire) à 1 (réfraction totale). Il est l’intensité
lumineuse du rayon incident. cosnΩ varie entre 0 et 1 (θ variant de 90° à 0°) et représente
de manière progressive l’intensité lumineuse avec laquelle est renvoyée la lumière. n est
un entier permettant de contrôler l’étendue de la zone réfléchissante sur la surface.
Le parfait exemple de réfraction spéculaire est le miroir : en effet, l’ensemble des
rayons lumineux interceptés par le miroir est réfléchi sans aucune perte d’intensité. Dans
le cas d’un miroir parfait, VS = Il.
Fig. 3.16 – lumière spéculaire
40
Chercheur vietnamien et pionnier en matière de d’informatique graphique (1942–1975)
37
La lumière ambiante
Le modèle d’illumination le plus simple est celui de la lumière ambiante. Ce modèle
représente une source lumineuse qui éclaire l’ensemble des surfaces d’un objet présent
dans une scène. L’intensité lumineuse qui affecte alors l’ensemble des surfaces d’un objet
a pour valeur :
VA = pa x Ia
VA est la valeur de l’intensité lumineuse à la surface de l’objet. pa est un facteur qui
détermine la quantité de lumière ambiante réfléchie par la surface et Ia est l’intensité de la
lumière ambiante.
Ce modèle d’illumination trouve son intérêt dans l’optimisation des ressources
informatiques utilisées pour l’affichage des lumières. En effet, dans la réalité, la lumière
ambiante correspond à l’ensemble des rayons qui se réverbèrent sur toutes les surfaces
des objets d’une scène (lumière réfractée et réfléchie). Reproduire ce phénomène n’est
pas toujours possible et demande de très grandes ressources informatiques (peu
disponibles selon les systèmes). Afin de pouvoir reproduire cette lumière ambiante sur
l’ensemble des systèmes, il est plus commun de créer une lumière pour la scène qui y
affectera tous les objets. Cette source de lumineuse n’existe donc pas dans la réalité mais
est obligatoire dans un environnement 3D et très particulièrement en réalité augmentée.
3.1.2.2. L’absence de lumière
L’absence de lumière est tout aussi importante que la lumière elle-même : elle
contraste notre environnement, nous informe sur la profondeur, la forme et la position des
objets.
La lumière, lorsqu’elle atteint une surface, est en partie absorbée (exception faite
des surfaces réfléchissantes pures). Cette absorption dépend de la couleur et de la texture
de la surface. Le noir est une « couleur » qui absorbe complètement la lumière. Le blanc
renvoie toutes les couleurs qu’il reçoit. Les autres couleurs renvoient uniquement leurs
couleurs et absorbent toutes les autres. Par exemple, une lumière blanche qui éclaire une
tomate verra l’ensemble de son spectre lumineux absorbé excepté le rouge qui sera
renvoyé. Par contre, si une lumière bleue l’éclaire, elle ne sera éclairée non pas grâce à
sa couleur, mais grâce à sa texture brillante (donc spéculaire), permettant le renvoi de
lumière bleue non absorbée.
L’absence de lumière sur certaines surfaces s’explique notamment par la position
des surfaces les unes par rapport aux autres ainsi qu’avec les sources lumineuses qui les
entourent : on parle d’ombre.
38
Ombre propre
L’absence de lumière sur une partie d’un objet se nomme l’ombre. Selon la forme
de l’objet, elle peut être tranchée (Fig. 3.17) ou progressive (Fig. 3.18). Elle n’est jamais
vraiment totale dès lors qu’une source lumineuse est présente dans la scène. En effet, la
réverbération de la lumière dans la scène permet un éclairage minimal des surfaces non
exposées à la source lumineuse.
Fig. 3.17 – ombre tranchée
Fig. 3.18 – ombre progressive
Pour déterminer une ombre propre, c'est-à-dire l’endroit où la lumière impacte plus sur
l’objet lui-même, il faut calculer le produit scalaire de la normale N de chaque face de
l’objet avec le vecteur V représentant la direction de la lumière (Fig. 3.16). On obtient:
S = VN = )cos(NVVN
Où N et V sont les normes respectives des vecteurs N et V : on considérera ici deux
vecteurs unitaires41 car leur longueur n’intervient pas dans la recherche de l’ombre.
Cos(NV) permet de connaître l’angle entre N et V. Si cet angle est supérieur à
(soit 90
degrés) pour une surface X, alors la lumière ne peut pas la toucher : cette surface est
dans la partie ombrée de l’objet.
Le procédé qui permet de savoir si une partie d’un objet sous la lumière est éclairée
ou non est analogue à la technique qui permet de calculer la réflexion lumineuse de la
lumière sur un objet (Cf. 3.1.2.1). En effet, on retrouve le cosinus dans chaque formule mis
à part que la formule du produit scalaire est simplifiée pour la réflexion lumineuse : une
simplification due à la normalisation des vecteurs N et V (c’est-à-dire que N et V valent 1).
Ombre portée
L’absence de lumière se manifeste notamment par la présence d’ombre portée. En
effet, des zones sombres sont créées lorsqu’un objet opaque intercepte la lumière dans
son parcours. Ces zones sombres ont la particularité de représenter l’objet qui a intercepté
la lumière sur la surface d’un autre objet. Cette représentation est une projection de l’objet
(Fig. 3.19). La taille de l’ombre dite « portée » dépend de la taille de l’objet intercalé et de
sa distance par rapport à la source lumineuse.
41
Vecteur dont la norme (longueur) est de 1
39
Plus l’objet est près de la lumière, plus la zone d’ombre sera grande. L’intensité de
l’ombre dépend de la lumière ambiante et des différentes sources lumineuses présentes
dans la scène.
Fig. 3.19 – ombre portée
La compréhension des procédés décrits dans ce paragraphe (couleur, direction et
intensité de la lumière en informatique, lumière spéculaire, diffuse, ambiante, ombre
portée et propre) est primordiale à la compréhension de la partie 3.2 où ils seront
appliqués à la réalité augmentée.
Il faut donc garder en tête que la lumière affecte l’ensemble des objets qui l’entoure,
qu’ils soient directement ou indirectement exposés à celle-ci. Cette propriété fait de la
lumière une part de chaque objet, part qu’il faut retranscrire fidèlement afin de rendre à
chaque objet le réalisme qui lui est nécessaire en réalité augmentée : cela passe par
l’éclairage des surfaces, la simulation du parcours de la lumière, la génération des ombres
ainsi que celle des reflets.
3.2. Application en réalité augmentée
Il est nécessaire que la partie virtuelle dans une application puisse communiquer
avec sa partie réelle en réalité augmentée. La façon dont ces deux parties peuvent
communiquer n’est pas le sujet à l’honneur ici. Cependant, c’est la représentation en trois
dimensions de la réalité qui permet à la partie virtuelle de comprendre la partie réelle. A
l’inverse, c’est principalement une action manuelle et humaine qui permet à la partie réelle
de comprendre la partie virtuelle.
Une fois cette communication établie, les informations que ces parties s’échangent,
sur le plan de la perspective (Cf. 2), comme sur celui des lumières (Cf. 3), doivent être
contrôlées et dirigées afin de répondre au besoin visuel d’immersion de l’observateur.
3.2.1. Les illuminations
L’illumination d’un objet représente toutes les techniques et manières d’affecter à
un objet une lumière. Ces techniques, certaines informatiques et d’autres physiques,
répondent aux besoins de réalisme et d’efficacité que necéssite un contexte réalité
augmentée temps-réel.
40
3.2.1.1. La circulation de la lumière dans une scène en réalité augmentée
Il existe de nombreux processus qui permettent à la lumière d’être émise, puis
reçue par un objet et enfin renvoyée par celui-ci dans diverses directions. Lorsque cette
lumière est réelle, c'est-à-dire lorsque l’on filme une scène, la camera reçoit alors la
lumière émanant des différents objets et sources lumineuses de la pièce. Dans le cas où
un objet virtuel est inséré dans cette pièce, il est d’abord nécessaire de lui appliquer les
processus photométriques qui interviennent dans la pièce, puis de retranscrire à la camera
ce résultat.
Afin d’obtenir ce résultat, et dans un souci d’optimisation de la rapidité avec
laquelle il est calculé, différentes techniques existent aujourd’hui :
Le z-buffer
La méthode la plus rudimentaire pour afficher des objets virtuels est le z-buffer. On
parle alors de tampon de profondeur. Pour chaque pixel42 de l’écran d’affichage, un rayon
est lancé. Celui-ci part du centre optique de la caméra, c'est-à-dire de l’endroit où
l’observateur regarde la scène (donc l’écran). Il traverse ensuite l’écran d’affichage ; c'est-
à-dire le matériel physique qui va permettre à l’observateur de voir la scène où l’objet
virtuel est inséré. La position où le rayon traverse l’écran se trouve être un pixel : un point
de l’écran. La couleur de ce pixel, sur l’écran, est alors déterminée en fonction de
l’illumination du point de la surface la plus proche de la caméra qui croise le rayon lancé
(Fig. 3.20).
Fig. 3.20 Le fonctionnement du z-buffer
Comme nous le font remarquer Gilles Simon43 et Julien Decollogne44 , cette
technique est appelée z-buffer car le fait de lancer des rayons permet de déterminer la
profondeur des points de la scène associée à chaque pixel.
42
Unité de surface permettant de mesurer une image numérique : une image de 50 pixels en largeur sur 50 pixels en longueur possèdera en tout 250 carrés, chacun ayant sa propre couleur. 43
Chercheur en réalité augmentée de l'équipe projet INRIA de l’université Henri Poincaré de Nacy 1 44
Infographiste dans le domaine de l’audiovisuel et de la 3D.
41
Le z-buffer présente notamment l’avantage en réalité augmentée, lorsque le lancer
de rayons démarre d’une source lumineuse, de calculer les ombres portées de l’objet sur
la scène (Cf. 3.2.2).
Cette méthode est considérée comme la plus rudimentaire. En effet, bien que son
utilisation séduise grâce au temps de calcul très faible qu’elle engendre, elle prend
uniquement en compte les lumières : ambiante, diffuse et spéculaire, qui interviennent sur
l’objet grâce aux sources lumineuses placées dans la scène. Si d’autres objets
réfléchissants l’entourent, les lumières renvoyées par ceux-ci ne seront pas prises en
compte pour l’éclairage de l’objet. Pour cette raison, le lancer de rayons a été inventé.
Le lancer de rayons
Une version plus élaborée du z-buffer est le lancer de rayons, aussi appelé
« raytracing ». C’est le « ray casting45 », inventé par Arthur Appel46 en 1968, qui en est à
l’origine. Les algorithmes de lancer de rayons permettent de prendre en compte les
phénomènes de réflexion, réfraction et transparence qui se produisent sur les objets ; cela
en les prenant en compte lorsque la lumière interceptée par un objet peut en affecter un
autre.
Le principe du lancer de rayons est de reconstituer le chemin inverse de la lumière
en partant de la camera vers les sources lumineuses. Pour faire cela, les phénomènes
physiques qui régissent le parcours de la lumière doivent être respectés. Le parcours
inverse commence donc comme celui du z-buffer, c'est-à-dire qu’un premier rayon part de
la camera, traverse un pixel de l’écran, puis intercepte l’objet le plus proche. A partir du
point P qui touche l’objet, on détermine les rayons allant des sources lumineuses qui
l’entoure jusqu’à ce point P. Ensuite, et c’est ici que se trouve la différence avec le z-
buffer, on recherche les rayons réfléchis par d’autres surfaces vers l’objet. On remonte
ensuite ces rayons de la même manière jusqu’à la source lumineuse pour en connaître
l’intensité et la couleur (Fig. 3.21). Une fois cette étape finalisée, on peut affecter au point
P la couleur qui lui correspond en ayant pris en compte l’ensemble des processus
lumineux.
Fig. 3.21 Le lancer de rayons
45
Calcul de la valeur d’un point sur un objet en prenant en compte la réflexion des autres objets autour
42
Cette technique permet donc, pour un objet comme pour les surfaces qui
l’entourent (autres objets, murs, sols, etc..), de simuler les réflexions lumineuses comme
les ombres.
Identifier la position des sources lumineuses
En réalité augmentée, les objets virtuels insérés dans une scène réelle doivent être
affectés par la lumière qui s’y trouve et qui, elle, est réelle. Dans le but d’assurer cette
cohérence photométrique dans la scène, il faut donc déterminer la position des sources
lumineuses réelles. La manière de procéder est encore à l’étude même si des solutions
partielles existent. Ces solutions sont partielles soit parce qu’elles sont inutilisables en
temps-réel, soit parce qu’elles nécessitent des post-traitements.
La solution la plus simple pour déterminer où sont placées les sources lumineuses
consiste à le faire manuellement, c’est-à-dire que l’observateur choisit, en fonction de ce
qu’il sait et voit, où placer les sources lumineuses. La réalité augmentée demande à ce
que ce processus soit automatisé, raison pour laquelle la « light probe » existe. Le
principe, expérimenté et automatisé par Paul Debevec, est le suivant.
Sur la connaissance de la géométrie d’une boule, une sphère complètement
réfléchissante est premièrement placée dans une scène, là où elle sera exposée à un
maximum de lumière (Annexe 3.12). L’observation HDR (Cf. 3.2.1.2 HDR), de près, de
cette sphère permet l’acquisition des directions des sources lumineuses dans l’espace.
Ensuite, la connaissance de la géométrie de la pièce, par rapport à la sphère, permet de
connaître les positions exactes des sources lumineuses. Dans le cas de scènes
d’extérieur, si des sources lumineuses précises visent des objets (phares de voiture par
exemple), la position de ces sources est calculée, sinon elle n’est pas nécessaire (comme
pour le cas du Soleil). Pour connaître la taille et l’orientation de la sphère par rapport à la
scène, une feuille blanche avec des points noirs est placée sous la sphère. Cette feuille
permet, grâce à la réflexion des points sur l’orbe, de déterminer la taille, la position et
l’orientation des lumières.
Une optimisation de cette technique pourrait consister à ce que la sphère possède
son propre système informatique pour l’observation des impacts lumineux. Cela éviterait
de devoir faire une observation de près et de loin de la sphère et de devoir utiliser une
grille de points en dessous de la sphère.
46
Chercheur d’IBM à New York
43
3.2.1.2. Le rendu de l’image
Illumination globale
L’illumination globale prend en compte la réflexion lumineuse de chaque surface
d’une scène. Grace à cela, la quantité de lumière qui touche une surface est calculée
d’une part en fonction de la lumière qui l’atteint directement et d’autre part en fonction de
la lumière qui a été réfléchie par d’autres surfaces. Cela permet un rendu très réaliste
(Annexe 3.7) car ce procédé répond aux contraintes physiques de la réalité qui régissent
les lois sur la lumière. La radiosité est l’une des principales techniques utilisées en
illumination globale afin d’augmenter le réalisme d’une scène virtuelle (Fig. 3.22). Elle
représente, comme l’indique Stephen N. Spencer47 lors du SIGGRAPH48 de 1983, la
quantité d’énergie libérée par une surface. Dans notre cas, c’est l’énergie lumineuse, part
de la radiosité, qui nous intéresse. La radiosité d’une surface tient aussi bien compte de
l’énergie émise par la surface que de l’énergie réfléchie. Dans une scène 3D, les fenêtres
peuvent donc être considérées comme émettrices d’énergie mais elles réfléchissent aussi
la lumière qui parcourt la pièce.
Fig. 3.22 A gauche, la pièce virtuelle est éclairée avec le processus de radiosité
La radiosité devient donc un procédé d’illumination qui tient compte des échanges
énergétiques générés par les ondes lumineuses entre objets de la scène. Pour ce faire, la
scène dans laquelle ce procédé va être utilisé, est divisée en un ensemble de facettes
élémentaires composées de triangles49. Chaque facette reçoit de l’énergie émanant des
autres facettes, en absorbe une partie ou la totalité (cela dépend des propriétés de la
facette) et renvoie l’énergie qui n’a pas été absorbée aux autres facettes. Dans ce modèle,
les sources lumineuses ne sont rien d’autre que des facettes hautement émettrices. D’un
point de vue mathématique (Annexe 3.11), plus le nombre de facettes dans la scène est
important, plus les calculs qui résultent de la radiosité sont longs et coûteux. De ce fait, la
radiosité ne peut pas être appliquée en réalité augmentée, c'est-à-dire en temps-réel.
47
Ingénieur des sciences informatiques travaillant à l’université de Washington 48
Conférence annuelle, tenu par l’Acm Siggraph depuis 1974, sur les graphismes en informatiques. 49
Un triangle est un ensemble de trois points, ce qui forme un plan (ou face) permettant d’en déduire la normale. Cette normale est ensuite utilisée pour calculer l’impact de la lumière sur la face en question.
44
En effet, les rendus de scène avec l’illumination globale prennent des heures pour chaque
frame50. Les rendus en réalité augmentée doivent se calculer en quelques millisecondes51.
Cette situation en a incité certain à faire des pré-calculs d’illumination globale sur
des objets avant de les confronter à la réalité dans la réalité augmentée.
Malheureusement, cela ne fait généralement qu’agrandir le décalage entre l’objet virtuel
mis en avant et la réalité. Aujourd’hui, c’est donc la lumière ambiante (Cf. 3.1.2.1) qui est
mise en avant pour simuler l’effet d’illumination globale en temps réel. Cette lumière
ambiante est calculée en fonction de la couleur dominante qui entoure l’objet.
Dans un souci de réalisme, il est fort à parier que l’illumination globale soit utilisée
en réalité augmentée dès que les systèmes informatiques seront assez puissants pour la
calculer très rapidement.
Images HDR
Dans la réalité, l’intensité de la lumière peut varier considérablement d’une scène à
une autre. Par exemple, dans une pièce où un petit spot lumineux très fort éclaire une
partie de la pièce, la lumière peut être très intense au niveau du spot, mais très faible à
l’opposé de la pièce. Cette différence de contraste lumineux est quantifiée et représente
l’étendue dynamique de contraste d’une image (« dynamic range » en anglais). Cette
étendue dynamique est le rapport de contraste entre les parties les plus brillantes et les
plus sombres d’une scène.
La majorité des dispositifs actuels d’affichage ou d’acquisition d’images repose sur
un codage 8 bits de l’information, c'est-à-dire que l’intensité lumineuse d’une scène est
représentée par un nombre entier entre 0 et 255 (inclus). Dans la réalité, l’intensité
lumineuse varie plutôt entre 0 et 100000. Une précision vraiment importante de l’intensité
lumineuse d’une scène est donc perdue. Cela se traduit par des scènes où les objets dans
la pénombre sont imperceptibles, au contraire de ceux dans la lumière et vice-versa. Pour
dépasser ces contraintes techniques, des chercheurs se sont intéressés à la prise en
compte d’images à haute étendue dynamique appelées HDR (annexe 3.8).
HDR (High dynamic Range) est la représentation large de l’étendue dynamique de
contraste d’une image. Les écrans HDR sont capables d’afficher fidèlement des images
comportant une étendue dynamique allant de l’intensité 0 à 60000. Qui plus est, de
nouveaux protocoles d’acquisition permettent aujourd’hui d’obtenir des images HDR et de
les stocker sous forme de nombres flottants.
La plupart des systèmes ne pouvant comporter uniquement des valeurs d’intensité
comprises entre 0 à 255 sur une même scène, un procédé doit être mis en place pour
afficher des images HDR : le tone mapping. Cette technique consiste à représenter les
valeurs de l’intensité réelle (celles allant de 0 à 100000) sur une courbe d’intervalle [0,255]
(Fig. 3.23). Cette courbe est généralement non linéaire et permet des restitutions
différentes d’images HDR.
50
Un frame correspond à une image. Une vidéo est en moyenne composée de 25 à 32 frames par seconde. 51
Une milliseconde = 0.001 seconde
45
En effet, dans la réalité, l’œil s’adapte localement au contraste, de sorte qu’il est
impossible de passer d’une intensité très faible à une intensité très forte sans être ébloui.
Cette caractéristique humaine a mené des chercheurs à proposer des algorithmes
d’adaptation locale de la courbe du tone mapping.
De même qu’il a fallu adapter les images HDR sur des interfaces non HDR, il est
permis de créer des images HDR sans matériel d’acquisition HDR. Pour ce faire, plusieurs
images avec des intensités lumineuses différentes sont enregistrées (Annexe 3.9).
Chaque image pouvant prendre une valeur de 0 à 255, prendre dix images d’une même
scène permet d’avoir 2550 valeurs différentes d’intensité lumineuse. Ce procédé est
largement utilisé dans la réalité augmentée et est exploité notamment par Paul Debevec
dans ses travaux.
Fig. 3.23 le tone mapping, courbe de réponse réduisant l’étendue de
l’intensité lumineuse d’une image HDR à des entiers compris entre 0 à 255.
Lorsqu’un objet est éclairé, la scène qui l’entoure, et qui est aussi éclairée de ce
fait, va directement impacter sur l’objet. La gestion des interférences lumineuses entre
parties éclairées, qu’elles soient réelles ou virtuelles, est un sujet complexe. En effet, les
traitements à effectuer dépendent du type d’interaction dont il s’agit (ombre ou reflet) et du
sens de l’interaction (réel sur virtuel ou virtuel sur réel). Dans le cas des ombres et des
réflexions spéculaires sur un objet virtuel, par exemple, il est nécessaire de connaître
(donc de calculer) les positions des sources lumineuses réelles, cela dans le but de
retranscrire fidèlement les ombres et les reflets.
46
3.2.2. Les ombres
« Il n’y a pas de lumière sans ombre » disait avec raison Louis Aragon52. En effet,
chaque fois qu’une lumière illumine un objet, le fait que certaines des zones de cet objet
ne reçoivent pas de lumière nous informe sur la position de cet objet ainsi que sur sa
forme (Annexe 3.10). En réalité augmentée, en ce qui concerne la photométrie d’un rendu,
l’objectif est de restituer les ombres produites par les objets virtuels et réels. Pour faire
cela, il faut adapter les techniques de circulation de la lumière aux mondes réel et virtuel.
3.2.2.1. Ombres virtuelles
Tout objet inséré dans une scène doit être soumis à la lumière qui y circule : c’est
une loi obligatoire pour s’assurer de la cohérence visuelle de l’objet dans son nouvel
environnement. Pour cette raison, il faut commencer par modéliser l’espace de la pièce en
3D (Cf. 2.2.1), afin de pouvoir y placer les sources lumineuses correspondant à
l’illumination réelle (Cf. 3.2.1.1).
Générer l’ombre propre (partie de l’objet n’étant pas exposée à la lumière) d’un
objet virtuel ne présente aucune difficulté. Comme décrit dans la partie 3.1.2.2, la normale
associée à chaque surface d’un objet permet de déterminer l’ombre propre d’un objet
aisément. Des techniques d’illumination globales telles que l’occultation ambiante
permettent notamment de donner facilement de la profondeur à un objet (Annexe 3.13).
Par contre, lorsque les ombres portées d’un objet, doivent se répercuter sur l’espace réel,
les traitements sont différents. Il faut modéliser virtuellement en 3D les différents objets de
la pièce susceptibles de recevoir l’ombre. Les objets simples : sols, plafonds et murs sont
très facilement modélisables. Malheureusement, des objets plus complexes : meuble,
appareil, décoration en tout genre, demandent encore l’intervention d’une présence
humaine en matière de modélisation. Pour cette raison, en réalité augmentée, l’ombre
portée ne sera pas simulée comme elle le serait dans la réalité. Cependant, lorsque des
objets complexes sont modélisés, ils servent uniquement à accueillir les ombres tandis
que leurs textures sont tirées de l’objet qu’ils modélisent dans la réalité.
La position et la taille de l’ombre
Une fois que l’objet est modélisé, il faut calculer, s’il y a lieu, l’ombre portée qu’il va
recevoir. Pour ce faire, une première méthode consiste à représenter l’objet virtuel en
double. Ce deuxième objet va être assujetti à une projection sur un plan (ce qui va
l’aplatir), et à un obscurcissement.
52
Poète français du XXème
siècle
47
Fig. 3.24 ombre portée par simple projection
Cette méthode présente l’avantage qu’elle permet de très vite calculer l’ombre, elle
ne prend cependant pas en compte la perspective des lumières ce qui ne permet pas de
déformer l’ombre portée de l’objet avec la distance. En effet, comme le montre la figure
3.24, sur un même plan, l’ombre portée de l’objet mis en hauteur, restera identique quelle
que soit sa position.
Une autre méthode propose d’utiliser le lancer de rayons afin de calculer
efficacement et rapidement les ombres portées d’un objet virtuel dans une scène réelle.
Ce qu’il faut donc commencer par calculer, c’est la position des sources lumineuses dans
la scène. Ensuite, pour chaque objet de la scène, des rayons sont lancés, en partant des
sources lumineuses. Les rayons qui interceptent l’objet, continuent leur route en passant à
travers celui-ci, pour informer la lumière des positions où elle ne devra pas avoir d’effet, ce
qui constitue alors l’ombre. D’autres techniques existent et sont vraiment performantes
dans leur rendu réaliste, comme par exemple utiliser la radiosité pour calculer les ombres.
Cependant ces dernières sont trop coûteuses en temps de calcul pour être utilisées dans
un contexte temps-réel.
L’aspect de l’ombre
L’ombre, même lorsqu’elle respecte les contraintes de position et de taille qui lui
incombe, est trop tranchée. Soit elle est présente : zone d’occultation, soit elle ne l’est
pas : zone d’éclairage (Fig. 3.25). Pour remédier à cet inconvénient, il faut fondre l’ombre
de manière réaliste, en ajustant ses contours et ses nuances : c’est la zone de pénombre,
nommée ainsi par Gilles Simon et Julien Decollogne dans leurs travaux sur l’éclairage en
temps réel. La raison de son existence réside dans le fait que les matériaux d’un objet ne
sont pas parfaitement lisses. De même, la forme d’un objet est souvent arrondie : les
angles d’un objet ne peuvent pas être parfaitement pointus. Pour ces raisons, lorsque la
lumière passe progressivement d’un objet à un autre, l’ombre de cet objet tend rapidement
mais progressivement vers la lumière.
Fig. 3.25 ombre tranchée à gauche et ombre réaliste à droite
48
Pour réaliser cette zone de pénombre, la plus simple des méthodes consiste à
calculer plusieurs fois la même ombre en déplaçant très légèrement la source lumineuse à
chaque calcul. L’ensemble des ombres obtenues forme alors l’ombre de l’objet (Fig. 3.26).
Fig. 3.26 ombre obtenue par déplacement de la source lumineuse
Une autre méthode vise à utiliser partiellement la radiosité pour déterminer les
ombres de manière réaliste en temps-réel. Dans cette optique, Simon Gibson53 propose
un algorithme permettant, pour un objet ciblé (l’objet virtuel inséré dans la réalité), de
sélectionner les sources lumineuses qui interviennent le plus dans la création de l’ombre
de celui-ci. Sur le principe de la radiosité, ces sources lumineuses sont des facettes
triangulaires émettrices d’énergie. Ce même algorithme va ensuite classer toutes les
facettes en fonction de la lumière (radiosité) qu’elles dégagent. Cela permet alors de
choisir les facettes avec le plus de radiosité pour afficher les ombres d’un objet. Ces
ombres seront donc, comme le permet la radiosité et le demande la réalité, altérées par la
distance et la position des sources lumineuses par rapport à l’objet.
3.2.2.2. Ombres réelles
Les ombres réelles d’une scène sont celles qui existent sans qu’aucune altération
virtuelle n’en ait modifié l’équilibre. Le but est, lorsqu’un objet virtuel est inséré dans une
scène réelle, de retranscrire les ombres réelles de la scène sur celui-ci. Ignorer ces
ombres porte grandement préjudice à l’aspect réaliste de la scène.
Comme pour la synthèse d’ombre virtuelle, il va être nécessaire de modéliser en 3D
les objets réels qui font de l’ombre à l’objet virtuellement inséré dans la scène. Une fois
modélisé, les techniques expliquées précédemment pour générer l’ombre virtuelle d’un
objet virtuel sont utilisées (Cf. 3.2.2.1). De ce fait, on peut exactement connaître la façon
dont l’objet virtuel inséré dans la scène va être affecté par les ombres réelles (celles-ci
étant synthétisées virtuellement). Bien que l’objet virtuel soit affecté par l’ombre, le reste
de la scène est aussi affecté par cette ombre qui se superpose à l’ancienne.
Pour éviter que toutes les ombres ne se noircissent du fait de l’ajout des ombres
artificielles, les parties des ombres qui n’affectent pas visuellement l’objet inséré dans la
scène sont soustraites aux ombres créées virtuellement.
53
Ex-chercheur de l’université de Manchester en science informatique, ayant travaillé avec Paul Debevec
49
Les ombres réelles présentes dans une scène donnent le ton. Ajouter des objets
virtuels sur une scène implique qu’ils peuvent se trouver dans l’ombre d’un objet de la
scène réelle, mais cela implique aussi qu’ils vont déclencher la création d’une nouvelle
ombre : leur ombre. Pour cette raison, en réalité augmentée, l’ombre virtuelle créée se
fond parmi ses consœurs qui, elles, sont réelles.
3.2.3. Les reflets
Un reflet est, en physique, l'image virtuelle formée par la réflexion spéculaire d'un
objet sur une surface. La nature spéculaire de la réflexion est liée aux caractéristiques du
corps réfléchissant (Cf. 3.1.2.1). En informatique, donc dans un environnement
partiellement ou totalement virtuel, cette réflexion doit être émulée. La difficulté en réalité
augmentée est de refléter des objets virtuels sur des objets réels et vice-versa.
3.2.3.1. Reflets virtuels
Les reflets virtuels sont les reflets qui doivent apparaitre sur des objets réels à
cause d’objets virtuels insérés dans la scène. Insérer une barque virtuelle dans un lac réel
demande à ce que la barque se reflète sur l’eau. Le premier travail à effectuer est donc de
déterminer les surfaces et objets du monde réel qui ont un fort coefficient de réfraction. Il
est aujourd’hui impossible en temps réel de connaître de façon automatisée les surfaces
qui correspondent à cette définition.
Lorsque des objets réels d’une pièce sont modélisés pour avoir leurs équivalents
virtuels (notamment pour la prise en charge des ombres), et une fois que la texture est
appliquée à l’objet, c’est à l’observateur de déterminer quelle en est la matière : du coton,
du fer, de l’eau, du bois, etc.… A chaque type de matériaux est attribué un coefficient de
réfraction qui affectera directement l’apparence de celui-ci selon les objets qui lui sont
proches ainsi que la luminosité de la pièce.
Ensuite, en fonction de la position de l’observateur, de la position de l’objet virtuel et
de la surface réfléchissante, le reflet de l’objet sera imprimé. Pour ce faire, un lancer de
rayons est utilisé, partant de l’œil de l’observateur, en direction de la surface
réfléchissante. Une fois que le rayon a atteint cette surface, il rebondit (Cf. 3.1.2.1). Si le
rayon rebondissant atteint l’objet virtuel celui-ci s’affiche sur la surface réfléchissante au
point de réfraction.
L’impossibilité de déterminer automatiquement la matière d’un objet en le filmant
oblige à ce qu’un coefficient moyen de réfraction lui soit affecté.
50
3.2.3.2. Reflets réels
Les reflets réels se caractérisent par l’affichage d’une partie réelle de la pièce et de
ses objets sur l’objet virtuel inséré dans cet environnement. Les objets virtuels ont donc
des paramètres qui leurs sont propres, tels que la forme, la texture ou le coefficient de
réflexion. Ces paramètres devront être pris en considération pour le calcul des reflets. Les
reflets de la scène réelle sur les objets virtuels peuvent être traités de plusieurs manières
en réalité augmentée.
Une première méthode, dont l’histoire est disponible sur le site de Paul Debevec,
consiste à utiliser le principe de mapping d’environnement aussi appelé « reflection
mapping ».
Cette technique vise à approximer l’apparence de la réflexion sur l’objet virtuel en
créant une texture de l’environnement réel filmé (sans la présence du ou des objets
virtuels dans la scène). Cette texture est conditionnée sous forme de sphère, de cylindre,
de cube (pour les forme les plus simple) ou sous forme de parabole, de pyramide ou
d’octaèdre54 (pour les formes plus complexes) selon la forme qui se rapproche
globalement le plus des parties de l’objet virtuel qui porteront la réflexion.
Une fois cette texture générée, elle est directement imprimée sur l’objet virtuel (Fig.
3.27). Cela présente d’abord l’avantage d’être très rapide en temps de calcul, mais aussi
celui de pouvoir appliquer à l’objet directement les réflexions diffuse et spéculaire résultant
des lumières réelles de la scène, celles-ci étant calculées puis appliquées sur la texture de
recouvrement. Malgré ces avantages, le résultat obtenu, bien que convainquant, n’est pas
représentatif de la réalité : En effet, d’une part il reprend le fond de l’image ce qui restreint
le domaine d’application de cette technique aux espace uniformes55. D’autre part, le reflet
de la scène sur l’objet sera identique quelle que soit la position de l’objet dans la scène.
Fig. 3.27 exemple de mapping d’environnement : Sur cette photo, on observe que
l’arrière-plan est imprimé sur la soucoupe volante virtuelle hautement
réfléchissante grâce à la technique du « reflexion mapping ».
54
Polyèdre à huit faces 55
Espace dans lequel le décor est identique autour de l’observateur (exemple : un couloir, une route, une rue, et non pas : une pièce d’intérieur ou une salle de concert)
51
Une fois la texture imprimée, si d’autres objets virtuels ont été insérés dans la
scène autour de l’objet cible des reflets, ils sont pris en compte. D’abord les ombres de
ces objets sont projetées, puis l’ensemble ; objet et ombre, est utilisé pour être reflété sur
l’objet cible des reflets. Pour ce faire, la méthodologie décrite dans la partie dédiée aux
reflets virtuels est utilisée (Cf. 3.2.3.1).
Une seconde méthode consiste à utiliser une technique identique à celle de la light
probe (Cf. 3.2.1.1) pour obtenir un reflet réaliste. Placer une sphère dans la scène permet
de capturer l’ensemble de la scène de différents points de vue. La light probe étant
caractérisée par la réflexion de l’environnement sur celle-ci, le résultat de la réflexion
appliqué à l’objet virtuel est des plus réalistes. L’inconvénient majeur de cette technique
est qu’elle demande un prétraitement (celui de placer la light probe dans l’environnement).
Celle-ci reste cependant extrêmement utile dans le domaine du cinéma par exemple.
52
4. Conclusion
Cet écrit avait pour objectif de décortiquer les procédés techniques permettant
d’améliorer l’aspect réel d’éléments virtuels en réalité augmenté. Ces procédés devaient
s’illustrer dans les domaines de la perspective et des lumières. Les techniques mettant en
avant ces procédés tendent à fondre le monde réel avec le monde virtuel.
Pour ce faire, la recherche des perspectives a d’abord dû se confronter à choisir la
représentation la plus fidèle à la réalité. Sur les principes de point de fuite et de projection
(Cf. 2.1.1.), les perspectives cylindrique, curviligne et linéaire ont montré leurs avantages
et leurs inconvénients. Ces perspectives doivent ensuite être manipulées dans un
contexte virtuel (Cf. 2.1.2.) afin d’être comprises et exploitées en réalité augmentée. Dans
cette optique, la recherche des perspectives est d’abord nécessaire : deux écoles
s’affrontent alors. La première prône une identification des perspectives en connaissant au
préalable la scène (le positionnement basé modèle avantageux en terme de temps de
traitement) et l’autre prône une identification des perspectives à partir de deux images
différentes de la scène (le positionnement basé image avantageux en terme de facilité
d’acquisition). Une fois les perspectives de la scène réelle acquises, l’angle de vue de
l’objet virtuel est adapté.
Le positionnement de l’objet, quant à lui, demande à gérer les occultations que
génère la scène réelle sur les objets virtuels et vice-versa (Cf. 2.2.1.). En réalité
augmentée, cela est mis en œuvre par le repérage des droites formées par un objet réel
qui, mit en relation avec la perspective, permet de récupérer la 3D de l’environnement
filmé. Cela a pour effet d’autoriser ou non l’affichage de certains éléments de l’image
réelle sur l’image virtuelle qui y est insérée. Pour placer correctement et définitivement un
objet virtuel dans un monde réel en réalité augmentée, il faut aussi pouvoir connaître la
position de la scène par rapport à l’observateur (Cf. 2.2.2.). Pour ce faire, des capteurs
magnétiques, acoustiques, optiques, inertiels GPS et visuels sont utilisés afin d’assurer
une cohérence de positionnement entre objet réel et objet virtuel.
Une fois le respect des perspectives assuré, il faut se pencher sur celui de la
photométrie. C’est ainsi que commence d’abord l’analyse des processus lumineux qui
nous entourent, et qu’il faut comprendre, afin de les reproduire et de les ajuster dans un
souci de réalisme (Cf. 3.1.1.). Ainsi la lumière doit être numérisée pour être simulée
informatiquement : la couleur de la lumière devient un codage RGB ou TSL, sa vitesse
n’est plus, sa direction est omnidirectionnelle ou ciblée, son ciblage est positionnel ou
quaternaire et sa puissance est régit par l’atténuation. Cette numérisation demande à ce
que toutes données ou méthodes de calcul qui en découlent soient adaptées au besoin
d’illumination de l’objet virtuel (Cf. 3.1.2.). Des modèles d’illumination ont donc été créés
pour simuler la réflexion diffuse, la réflexion spéculaire et la lumière ambiante tout comme
les ombres tranchées, progressives et portées.
Ces modèles d’illumination sont directement appliqués à l’objet virtuel inséré en
réalité augmentée, et cela à travers plusieurs techniques (Cf. 3.2.1.) : le z-buffer pour la
retranscription 3D-2D des couleurs, le lancer de rayons pour le parcours de la lumière par
réflexion lumineuse, l’identification des sources lumineuses, l’illumination globale pour son
53
calcul récursif mais coûteux et le rendu haute définition pour le réalisme des couleurs. Ces
techniques de rendus doivent être accompagnées par la génération de deux phénomènes
indissociables de la lumière et du réalisme d’une scène: les ombres et les reflets. L’ombre
d’un objet virtuel doit donc être travaillée dans sa position, sa taille et sa forme soit par
projection simple (image miroir de l’objet couvrant) soit par projection calculée
(interception des rayons lumineux) (Cf. 3.2.2.).
Le reflet d’un objet virtuel doit être manipulé de la même façon (Cf. 3.2.2.) et peut
être restitué graphiquement grâce à la réfraction de l’image virtuelle sur le monde réel.
Ces reflets restent limités dans le sens où il est difficile, à partir d’une image, de
déterminer les coefficients de réfraction des objets réels. Les reflets réels sur objet virtuel
sont plus facilement modélisable grâce aux techniques de « réflexion mapping » utilisables
en temps réel et de light probe plus réalistes mais nécessitant un prétraitement.
Les différentes techniques mises en avant pour la réalité augmentée permettent
aujourd’hui de simuler les phénomènes visuels nés de la perspective et de la photométrie.
Si c’est aujourd’hui l’interactivité qui prime sur le visuel, cela est dû au manque de
performances des machines informatiques grand public : ordinateur, téléphone, télévision.
Ce manque de performances a déjà trouvé des solutions scientifiques et techniques qui ne
peuvent cependant pas être destinées au grand public : super – calculateur, capteur
physique, camera 3D.
Il serait intéressant de savoir comment les constructeurs de systèmes informatiques
comptent intégrer dans leurs produits l’utilisation grandissante de la réalité augmentée
pour une immersion visuelle aussi réussie que peut l’être l’interactivité.
54
5. Bibliographie & Webographie
o Gilles Simon, Julien Decollogne. Intégrer images réelles et images 3D Post
production et réalité augmentée. Dunod, 2006. ISBN : 2100498606
o Olivier Cotte, Marek Doska, Claudio Gallego, Bruno Giacobbé. After Effect.
Eyrolles, 2004. ISBN: 2212113994.
o Martin Evening. Photoshop 6.0 pour les photographes. Eyrolles, 2001. ISBN :
2212092903.
o R. Horaud et O. Monga. Vision par ordinateur : outils fondamentaux, deuxième
édition revue et augmentée. Hèrmes, 1995. ISBN : 2-86601-481-2.
o R. I. Hartley and A. Zisserman. Multiple View Geometry in computer Vision.
Cambridge University Press, 2000. ISBN: 0521623049.
o James D. Foley, Andries van Dam, Steven K. Feiner, John F. Hughes, Richard
L. Philips. Introduction à l’infographie. Vuibert, 2000.ISBN: 2-7117-8672-2.
o Rémy Malgouyres. Algorithmes pour la synthèse d’images et l’animation 3D.
Dunod, 2005. ISBN : 2100490680.
o Jérémie Bonamant Téboul. Le grand livre de la peinture sur figurine. Tutti frutti
2007. ISBN : 978-2-915667-26-4.
o Philippes RIS. Thèse de doctorat. http://ph.ris.free.fr/these/Ph.RIS-
Chp2Illumination.pdf
o Reinhard Erik, Ward Greg, Pattanaik Sumanta, Debevec Paul. High dynamic
range imaging: acquisition, display, and image-bases lighting. 2006. ISBN: 978-0-
12-585263-0
o G. Simon, M. Berger. Reconstruction et augmentation simultanées de scènes
planes par morceaux. http://hal.inria.fr/docs/00/18/63/03/PDF/rfia08.pdf / 2008.
o Appel Arthur. Some techniques for machine rendering of solids. AFIPS
Conference Proc. 1968.
o Bui Tuong Phong. Illumination of Computer-Generated Images. Department of
Computer Science, University of Utah, 1973.
o G. Simon, Jon Cook, Toby Howard, Roger Hubbold. Rapid Shadow Generation
in Real-world Lighting Environments. Eurographics Symposium on Rendering 2003
o http://www.cs.cmu.edu/ (l’école des sciences informatiques)
o http://www.debevec.org/ (le site internet des travaux de Paul Debevec)
o http://www.augmented-reality.fr/ (blog sur l’actualité de la réalité augmentée)
o http://www.la-realite-augmentee.fr/ (site regroupant les avancés récentes en réalité
augmentée)
o http://www.se.rit.edu/ (conglomérat de professionnels du numérique)
o http://www.hitl.washington.edu/artoolkit/ (technique d’affichage d’objet virtuel en
réalité augmentée)
o http://www.immersion.fr/index.php/ (entreprise spécialisée dans l’immersion)
o http://fr.wikipedia.org/wiki/R%C3%A9alit%C3%A9_augment%C3%A9e/ (piste de
recherche)
o http://home.blarg.net/~building/strategies/technology/billinghurst.htm/ (travaux
étudiants)
o http://www.laval-virtual.org/ (Rencontres Internationales de la Réalité Virtuelle)
55
o http://www.profil-couleur.com/ (site relatif à la photométrie)
o http://www.colorimetrie.be/phenomenes_lumineux.htm/ (site relatif à la photométrie)
o http://leplusbeaumetier.voila.net/technique/qualitelumiere.html/ (site relatif à la
photométrie)
o http://oncle.dom.pagesperso-
orange.fr/astronomie/histoire/mesure_de_c/mesure_c.htm/ (site relatif à la physique
des ondes lumineuses)
o http://culturesciencesphysique.ens-lyon.fr/ (site relatif à la physique des ondes
lumineuses)
o http://www.opengl.org/ (bibliothèque graphique)
o http://www.autodesk.fr/ (modeleur 3D)
o http://www.fantasylab.com/newPages/rtgi.html/ (illumination globale)
o http://www.hdrlabs.com/ (la photographie HDR)
o http://www.loria.fr/~gsimon/francais.html/ (Gilles Simon)
o http://user.cs.tu-berlin.de/~eitz/hdr/ (les images HDR)
o http://en.wikipedia.org/wiki/Paul_Debevec/ (informations complémentaires sur Paul
Debevec)
o http://www.siggraph.org/education/materials/HyperGraph/radiosity/overview_1.htm
(illumination globale et radiosité)
o http://freespace.virgin.net/hugo.elias/radiosity/radiosity.htm (la radiosité)
o http://fr.wikipedia.org/wiki/Albert_Henry_Munsell (histoire du peintre Albert Henry
Munsell)
o http://www.andrew-whitehurst.net/amb_occlude.html (la technique de l’ « Ambient
occlusion »)
o http://leahpar.etnalag.free.fr/images/cours/algebre_oral/proj_ortho.pdf (Projection
orthogonale)
o http://lsc.cemif.univ-evry.fr/~mallem/cours/VR91_Mallem.pdf (Vision pour la réalité
augmentée)
o http://www.umc.edu.dz/catalogue/theses/informatique/BOU5151.pdf (Incrustation
d’objets virtuels dans des séquences vidéo pour la réalité augmentée temps réel)
o http://hal.archives-ouvertes.fr/docs/00/04/93/34/PDF/Perspective_binoculaire-
STP.pdf (article sur la perspective curviligne)
o http://fr.wikipedia.org/wiki/Perspective_curviligne(Perspective curviligne)
o http://www.optique-
ingenieur.org/fr/cours/OPI_fr_M04_C01/co/Grain_OPI_fr_M04_C01_2.html (le
modèle sténopé)
o http://www.irisa.fr/lagadic/pdf/2009_TSI_marchand.pdf (Techniques de suivi visuel
pour la RA)
o http://www.loria.fr/~gsimon/ (portail de Gilles Simon)
o http://www.loria.fr/~gsimon/Demo/demofr.html (moteur robuste de recalage 3D-2D)
o http://ethesis.inp-toulouse.fr/archive/00001324/01/dehais.pdf (Contributions pour la
réalité augmentée, suivi et recalage)
ANNEXES
1. Introduction et problématique ................................................................................... 1
Annexe 1.1 - Le jeu du morpion ....................................................................................... 1
Annexe 1.2 - Invizimals .................................................................................................... 1
Annexe 1.3 - L’illumination du pont Neuf ......................................................................... 1
Annexe 1.4 - Around me ................................................................................................... 2
Annexe 1.5 - Le système ARCHEOGUIDE ...................................................................... 2
2. La perspective............................................................................................................. 3
Annexe 2.1 – Représentation en perspective à plusieurs points de fuite ......................... 3
Annexe 2.2 – Formules de projection d’un point 3D dans une image .............................. 4
Annexe 2.3 – Les modes de fusion .................................................................................. 7
Annexe 2.4 : Représentation en perspective cavalière .................................................... 8
Annexe 2.5 : Rapport de distance en perspective linéaire ............................................... 9
3. La photométrie .......................................................................................................... 10
Annexe 3.1 – Les bits : conversion en nombre décimal ................................................. 10
Annexe 3.2 Génération d’un spot dans la réalité grâce à une ampoule et la tête d’une lampe ............................................................................................................................. 11
Annexe 3.3 Faisceau non réaliste à gauche. Faisceau réaliste à droite (ajout d’un dégradé sur les bords) ................................................................................................... 11
Annexe 3.4 Les quaternions ........................................................................................... 11
Annexe 3.5 Les constantes d’atténuations de la puissance lumineuse. ......................... 12
Annexe 3.6 Le modèle Phong. ....................................................................................... 12
Annexe 3.7 Rendu d’illumination globale. ...................................................................... 13
Annexe 3.8 : L’image originale à droite et le rendu HDR de l’image à droite. ................. 13
Annexe 3.9 : Construction d’une image HDR sans matériel d’acquisition d’image HDR. ....................................................................................................................................... 14
Annexe 3.10 : La forme et la position des objets sont connues grâce aux ombres. ....... 15
Annexe 3.11 Le calcul de la radiosité ............................................................................. 16
Annexe 3.12 Exemple de light probe.............................................................................. 17
Annexe 3.13 Occultation ambiante................................................................................. 17
1
1. Introduction et problématique
Annexe 1.1 - Le jeu du morpion
Stricker, Klinker et Reiners ont créé un jeu de morpion
dont l’écran, le bouton « GO » et les jetons sont
uniquement synthétisés en 3D. Ces éléments n’existent
pas dans la réalité mais sont visibles grâce à des
lunettes HMD (Head Mounted Display)
Annexe 1.2 - Invizimals
Le joueur filme son bureau sur lequel se
trouve la carte. Apparait alors en temps
réel à l’écran de la PSP, la scène de
combat entre monstres.
Annexe 1.3 - L’illumination du pont Neuf
Avant
Après
2
Annexe 1.4 - Around me
Annexe 1.5 - Le système ARCHEOGUIDE
3
2. La perspective
Annexe 2.1 – Représentation en perspective à plusieurs points de fuite
Représentation utilisant deux points de fuite, ici l’axe de la profondeur et l’axe de la largeur
sont pris en compte et suivent les lignes fuyantes.
Représentation utilisant 3 points de fuite, tous les paramètres, largeur, profondeur et
hauteur sont pris en compte.
4
Annexe 2.2 – Formules de projection d’un point 3D dans une image
5
6
7
Annexe 2.3 – Les modes de fusion
Afin d’occulter un objet virtuel par le réel, nous devons utiliser les modes de fusions.
A partir d’une image originale, nous détourons un masque d’occultation afin d’obtenir une
image ne comportant que la zone intérieure du masque d’occultation. Pour les masques
d’occultation, la couleur blanche correspond au domaine visible, la couleur noir au
domaine invisible. La couleur blanche correspond à 1 et la couleur noire à 0.
Etape 1
Image originale masque d’occultation
Nous avons une image de rendu à laquelle nous avons ajouté un élément virtuel, ici un
texte. A cette image, nous appliquons un masque d’occultation.
Etape 2
Image de rendu 1 - masque d’occultation
Dans l’opération 1 – masque d’occultation, nous obtenons le
contraire du masque d’occultation de départ. En combinant le
résultat de l’étape 1 et de l’étape 2, nous obtenons une
composition finale.
X =
X =
8
Annexe 2.4 : Représentation en perspective cavalière
Comme nous l’avons mentionné, il est difficile de percevoir la position des objets les
uns par rapport aux autres en perspective cavalière. Nous allons présenter différents cas.
Les objets sont toujours placés de façon identique. Cependant, notre perception peut être
différente. Chaque figure est munie d’un trait nous aidant à mieux percevoir la position des
objets.
Ici, nous pouvons imaginer que les deux objets sont positionnés l’un en dessous de
l’autre à un même niveau de profondeur.
Les objets ont les mêmes positions que précédemment. Malgré cela, nous pouvons
penser que l’objet violet est plus proche alors que l’objet bleu est plus éloigné.
C’est ainsi une des limites de la perspective cavalière qui est mise en avant. La
perception de l’environnement est totalement subjective. Une même scène peut être
perçue de plusieurs façons.
9
Annexe 2.5 : Rapport de distance en perspective linéaire
Contrairement à la perspective cavalière, les proportions, donc les rapports de distance,
ne sont pas conservés.
Prenons le cas d’un cube représenté en perspective cavalière ainsi qu’en perspective
linéaire.
Dans cette représentation, le rapport 𝐶𝐷
𝐴𝐵 = 1.
Voyons ce que donne ce même cube en perspective linéaire.
Les lignes bleues sont les lignes de fuite reliées à un unique point de fuite P. Dans cette
représentation, le rapport 𝐶𝐷
𝐴𝐵 <1. Nous montrons ainsi que les rapports de distance ne
sont pas conservés en perspective linéaire.
10
3. La photométrie
Annexe 3.1 – Les bits : conversion en nombre décimal
Le terme bit signifie « binary digit », c'est-à-dire 0 ou 1 en numérotation binaire. Il
s'agit de la plus petite unité d'information manipulable par une machine numérique. Il est
possible de représenter physiquement cette information binaire par un signal qui, au-delà
d'un certain seuil, correspond à la valeur 1.
Avec un bit il est ainsi possible d'obtenir deux états : soit 1, soit 0.
Avec deux bits, il est possible d'obtenir quatre états différents (2*2) :
Bit 1 Bit 0 Valeur
0 0 0
0 1 1
1 0 2
1 1 3
Avec trois bits, il est possible d'obtenir huit états différents (2*2*2) :
Bit 2 Bit 1 Bit 0 Valeur
0 0 0 0
0 0 1 1
0 1 0 2
0 1 1 3
1 0 0 4
1 0 1 5
1 1 0 6
1 1 1 7
Pour un groupe de n bits, il est possible de représenter 2N valeurs.
Conversions :
Pour convertir un mot binaire en nombre décimal, il faut multiplier la valeur de chaque bit
par son poids puis additionner chaque résultat. Le poids d’un bit se calcule en mettant 2 à
la puissance N où N est la position du bit en partant de la droite.
Ainsi, le mot binaire 0101 vaut en décimal :
0101 = 2^3 x 0 + 2^2 x 1 + 2^1 x 0 + 2^0 x 1
0101 = 8x0 + 4x1 + 2x0 + 1x1
0101 = 5
11
Annexe 3.2 Génération d’un spot dans la réalité grâce à une ampoule et la tête d’une
lampe
Annexe 3.3 Faisceau non réaliste à gauche. Faisceau réaliste à droite (ajout d’un dégradé
sur les bords)
Annexe 3.4 Les quaternions
Un quaternion est un type de nombre hypercomplexe. L’ensemble des quaternions,
noté , constitue une extension de l’ensemble des nombres complexes, extension
similaire à celle qui conduit de l’ensemble des nombres réels à celui des nombres
complexes .
La relation qui existe entre les quaternions et les rotations en 3 dimensions fait de
l’ensemble des quaternioins un outil utile pour le traitement de l’espace. Un quaternion est
un quadruplet de nombre réels, le premier étant un « scalaire » (a) et les trois autres étant
un trio de vecteur (b, c, d) :
Le quaternions Q correspondant à une rotation R= autour d’un axe N(x,y,z)
(vecteur normé) est le suivant :
12
Annexe 3.5 Les constantes d’atténuations de la puissance lumineuse.
L’atténuation constante, l’atténuation linéaire et l’atténuation
quadratique de la lumière sont trois valeurs obligatoirement positives.
L’atténuation constante représente l’atténuation générale de la
lumière. C’est la seule constante qui ne prend pas en compte la
distance parcourue par la lumière. Elle permet donc de réduire dès le
départ la quantité de lumière émise par la source lumineuse.
L’atténuation linéaire représente la vitesse avec laquelle l’intensité
lumineuse diminue en fonction de la distance parcourue (courbe
bleue). L’atténuation quadratique a le même but que l’atténuation
linéaire mis à part, du fait qu’elle est multipliée par la distance au
carré, qu’elle permet une diminution lente, puis très rapide, de
l’intensité lumineuse en fonction de la distance parcourue. Cela
s’explique par la forme de la fonction carré (courbe rouge).
Annexe 3.6 Le modèle Phong.
L'illumination de Phong est un modèle local, c'est-à-dire que le calcul se fait en
chaque point. Ce modèle permet de calculer de manière crédible la lumière réfléchie par le
point étudié, pour cela il combine trois éléments : la lumière ambiante, la lumière diffuse et
la lumière spéculaire. Le but de ce modèle est de calculer l'intensité lumineuse qui va être
émise par réflexion par le point étudié, éclairé par une source supposée ponctuelle, dans
une direction précise (celle de l'observateur). Pour cela, la lumière est séparée en trois
composantes :
La composante ambiante représente les parasites provenant d'autre chose que la
source considérée, la lumière réfléchie par d'autres points par exemple. La lumière
ambiante est supposée égale en tout point de l'espace.
La lumière incidente est réfléchie dans toutes les directions. La composante diffuse
indique l'intensité qui repart en tenant compte de l'inclinaison avec laquelle la lumière
incidente arrive sur la surface, mais en supposant que l'intensité est la même quelle
que soit la direction que prend le rayon réfléchi.
Malgré tout, il y a plus de lumière renvoyée dans la direction de la réflexion
géométrique (celle dans laquelle repartirait le rayon en arrivant sur un miroir). Le rôle
de la composante spéculaire est d'en tenir compte.
13
Annexe 3.7 Rendu d’illumination globale.
Sur l’image de gauche, seule une illumination directe a été rendue. A droite, par
contre, une illumination globale est effective. Elle prend en compte la réflexion de la
lumière sur le sable, teintant ainsi la créature dans les mêmes tons.
Annexe 3.8 : L’image originale à droite et le rendu HDR de l’image à droite.
14
Annexe 3.9 : Construction d’une image HDR sans matériel d’acquisition d’image HDR.
Pour construire une image HDR, le principe d’abord consiste à prendre plusieurs photos
d’une même scène en capturant différents intervalles d’intensité en allant du plus sombre
au plus lumineux. Il faut pour cela disposer d’un appareil photo qui en est capable (comme
tous les reflex par exemple)
Ensuite, en fonction de la courbe de tone mapping décrite, l’ensemble des valeurs de ces
images est ramené de sorte à qu’il n’y ait, non pas 9 intervalles de 0 à 255, mais un seul.
Cela donne une image plus contrastée:
15
Annexe 3.10 : La forme et la position des objets sont connues grâce aux ombres.
Sans ombres, la forme des objets est
inconnue.
Sans ombres portées, la position des objets
les uns par rapport aux autres nous est
inconnue.
Avec les ombres, la forme des objets est
connue : pyramide et planche.
Sans ombres portées, la position des objets
les uns par rapport aux autres nous est
inconnue.
Avec les ombres, la forme des objets est
connue : pyramide et planche.
Avec ombres portées, on observe que la
planche est en partie au-dessus des
pyramides.
16
Annexe 3.11 Le calcul de la radiosité
Une fois que l’ensemble de la scène est modélisé en plusieurs triangles, chaque
triangle possède un coefficient (appelé View factor ou Form Factor) pour chaque autre
triangle de la scène. Ces coefficients permettent de déterminer comment les triangles se
voient entre eux. Ainsi, chaque triangle saura comment il sera affecté par la lumière émise
ou réfléchie par tous les autres. Plus un triangle B est loin d’un triangle A ou moins le
triangle A se trouve face au triangle B et plus le View factor sera faible.
La radiosité se calcule donc ainsi :
Bi est le coefficient de radiosité de cette surface jaune. Elle est calculée en additionnant la
possible énergie émise Ei par la surface et le produit du facteur de réflexion ρi de la
surface avec la somme de l’ensemble des radiosités Bj et des View fators Fj des autres
surfaces
Une fois les facteurs de radiosité déterminés, il faut commencer par déterminer les
triangles émetteurs de lumière (une fenêtre par exemple), ce qui affectera les triangles
récepteurs qui ont un fort View factor avec ces émetteurs (le sol par exemple), cela
constitue la première passe (1st Pass). Les triangles récepteurs deviennent ensuite des
émetteurs grâce à leur caractère réfléchissant, ce qui affecte d’autres triangles récepteurs
(2nd Pass). Plus ce processus est répété, plus la scène sera réaliste mais plus l’affichage
de la scène sera long (3rd Pass, ect..).
17
Annexe 3.12 Exemple de light probe
La Light probe permet de faire un
mapping de la scène qui s’y reflète.
Ce plan est ensuite utilisé pour
obtenir un affichage panoramique de
la scène.
Annexe 3.13 Occultation ambiante
L’occultation ambiante, généralement appelée « Ambient Occlusion », est une
technique d’ombrage 3D dérivée des principes d’illumination globale. Cette méthode
ajoute du réalisme à un objet en lui attribuant une profondeur de forme. Lorsque cette
méthode s’exécute, chaque face d’un objet est soumise aux faces qui l’entourent. Plus de
faces l’entourent, plus la face en question sera sombre. A l’inverse, si aucune face ne
l’entoure, la face sera parfaitement éclairée.
Cette technique, ajoutée à la lumière diffuse émise par un objet, donne un résultat
très concret et réaliste.
Exemple d’occultation ambiante
Exemple d’occultation ambiante
avec de la lumière diffuse.