Réalité Augmentée - CEA LIST · Réalité augmentée sur de grands environnements Système de...
28
Réalité Augmentée Sylvie Naudet Collette Laboratoire Vision et Ingénierie des Contenus (DIASI/LVIC) [email protected]
Transcript of Réalité Augmentée - CEA LIST · Réalité augmentée sur de grands environnements Système de...
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
Réalité Augmentée
Sylvie Naudet Collette
Laboratoire Vision et Ingénierie des
Contenus (DIASI/LVIC)
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout 1. Introduction et définitions
2. Réalité augmentée sur des objets 3D
Applications industrielles
3. Réalité augmentée sur de grands environnements
Système de navigation par RA
4. Conclusion et perspectives
PLAN
DiotaSoft-CEA
Pionneer cyber navigation
wikitude drive
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout • Le concept de Réalité Augmentée (RA) vise à accroître notre perception du
monde réel, en y ajoutant des éléments virtuels.
• La réalité augmentée consiste à mixer le monde réel et le monde virtuel de manière à apporter à l’utilisateur des informations numériques destinées à le guider ou l’aider à comprendre son environnement
• Azuma 94 • combiner le réel et le virtuel • de manière interactive (en temps réel) • en respectant l’homogénéité perspectiviste
[email protected] CEA-LIST 3
LA RÉALITÉ AUGMENTÉE
DÉFINITION
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
OST SAR
Wearable interface/computing
Scène réelle Modèle Numérique
Syst. d’information
Fiches techniques
Procédures
Simulations 3D …
Monde réel Monde virtuel
Restitution
Opérateur
RA
Recalage
vision/GPS/MENS
VST <
Système de
Réalité Augmentée
Création de contenu
Interaction utilisateur
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout Augmentation d’objets 3D (petits environnements)
Aide à la navigation (grands environnements)
3 critères essentiels
Précision
Temps réel
Stabilité
Déploiement.
Utilisation de capteurs standards,
grand public et embarqués.
LA RÉALITÉ AUGMENTÉE
Contexte
Pionneer cyber navigation
wikitude drive
DiotaSoft-CEA
SLAM visuel
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
• Des produits, machines, équipements, des technologies de plus en plus complexes,
besoin de personnel qualifié pour des techniques et technologies de plus en plus
complexes et variées
• Transformation digitale : nos industrie s’approprient le numérique
• La donnée numérique suit le produit sur tout son cycle de vie (PLM)
Prototypage Conception fabrication vente après-vente , entretien
• La RA : capacité à superposer des informations numériques et des données réelles
Bi3 = Bonne Information au Bon Individu au Bon Instant
Vision Augmentée vs Réalité Augmentée
Applications : l’aide au design, l’aide au montage, la formation, la maintenance, l’aide à la vente, le
service après vente, planification industrielle
CONTEXTE ET ENJEUX
LA RÉALITÉ AUGMENTÉE DANS L’INDUSTRIE
apporter dans le champ visuel
une information adaptée au contexte
superposer sur le monde réel
une information recalée géométriquement
avec la scène réelle
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout • Mobilité
• Facilité de mise en œuvre
• Précision
• Robustesse
• Stabilité
• Recalage réel/virtuel localisation 6DOF du système
• GPS + centrale inertielle
suffisant pour certaines applications
• RA de précision Recalage 3D exploitant la caméra embarquée
LES CRITÈRES ESSENTIELS
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout SLAM visuel
Minimisation d’une erreur de projection multi-vues d’une carte
éparse de la scène stable
dérive au cours du temps
localisation relative (p/r à la pose initiale de la caméra)
Model-Based-tracking (modèle d’apparence ou modèle géométrique)
Erreur de projection du modèle 3D sur l’image courante localisation absolue (p/r au repère de l’objet)
précis
peu stable (mono-vue, sensible lorsque occultations ou objet de faible
taille dans l’image)
Approche proposée : SLAM Contraint au modèle 3D
Unification SLAM et Model-based-tracking
DEUX GRANDES FAMILLES D’APPROCHES
RA sur objets 3D
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
9
RÉALITÉ AUGMENTÉE SUR OBJETS 3D
• Un objet connu : un modèle 3D d’un objet d’intérêt est disponible
• Scène statique
Objet d’intérêt
Modèle 3D
géométrique
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout • SLAM (localisation et cartographie de la scène) avec : • La géométrie multi-vues
• Des contraintes liées aux modèle 3D
| 10
SLAM –CONTRAINT : PRINCIPE GÉNÉRAL
Initialisation
Localisation
Ajustement de faisceaux
Enrichissement de la carte
Image clé ?
oui non
SLAM
MODELE 3D
contraintes
additionnelles
contraintes
additionnelles
SLAM Contraint
• Ajustement de faisceaux intégrant des
contraintes au modèle 3D
Points 3D associés à l’environnement (3DOF)
Points 3D associés à l’objet d’intérêt (2DOF)
[Tamaazousti CVPR’11]
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
AJUSTEMENT DE FAISCEAUX CONTRAINT
AUX PLANS DU MODÈLE
11
Classification des points 3D reconstruits en • Points de l’environnement
• Points appartenant à l’objet d’intérêt
Points 3D associés à l’environnement (3DOF)
Points 3D associés à l’objet d’intérêt (2DOF)
𝜀 𝑥 = 𝜀 𝑃𝑗 , 𝑄𝑖 , 𝑄𝜋𝑖 = 𝑞𝑖,𝑗 − 𝜋(𝐾𝑃𝑗𝑄 𝑖)2
𝑗∈𝐷𝑖
+
𝑄𝑖∈𝐸
𝑞𝑖,𝑗 − 𝜋(𝐾𝑃𝑗𝑀𝜋𝑖𝑄 𝜋𝑖
𝑖)2
𝑗∈𝐷𝑖𝑄𝑖∈𝑀
𝜀𝐸 𝜀𝑀
[Tamaazousti CVPR’11]
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
• Extraction des contours francs du modèle 3D
• Reprojection dans les images de l’ajustement de faisceaux
• Contrainte sur les poses de la camera
Segments 3D extraits du modèle
Points 3D associés à l’environnement
L’AJUSTEMENT DE FAISCEAUX CONTRAINT
PAR SEGMENTS
12
𝜀 𝒙 = 𝜀 𝑃𝑗 , 𝑄𝑖 = 𝑞𝑖,𝑗 − 𝜋(𝐾𝑃𝑗𝑄 𝑖)2
𝑗∈𝐷𝑖
+
𝑄𝑖∈𝐸
𝑛𝑖,𝑗 . (𝑚𝑖,𝑗 − 𝜋(𝐾𝑃𝑗𝑀𝑖))
𝑗∈𝐷𝑖𝑄𝑖∈𝑀
𝜀𝐸 𝜀𝑀
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
SLAM CONTRAINT: LOCALISATION ET CARTOGRAPHIE DE LA SCÈNE AVEC :
• La géométrie multi-vues
• Des contraintes liées au modèle 3D
Reconstruction et localisation simultannées (SLAM)
Reconstruction 3D en ligne
Contraintes au modèle 3D
SLAM Contraint
Performances:
Robuste aux forts mouvements et
aux occultations
Sans effet de jittering
Sans marqueurs,
Sur de grands environnements
peu texturés,
Temps réel (75 fps sur tablette)
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
AUGMENTED REALITY
APPLICATIONS
Navigation &
Mobility
Maintenance &
Learning
Marketing
SNCF
www.diotasoft.com/
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
AR WITH DIFFERENT TYPE OF DISPLAY
Real object
Transparent glasses Augmented view of the user
Transparent screen
Transparent glasses
New interaction with AR content
Gesture interaction based on finger tracking
to interact with both virtual and real objects
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout • Navigation outdoor
• Navigation indoor
• Estimation de la pose de la caméra (6DOF)
• Précision
• Temps réel
• Stabilité
• Déploiement.
• Utilisation de capteurs standards, grand public et embarqués.
RÉALITÉ AUGMENTÉE SUR DE GRANDS ENVIRONNEMENTS
t
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
Qualité de la localisation
Estimation précise des 6DL de la camera
Utilisation des modèles 3D SIG
Un contexte plus difficile
Modèles moins précis (uniquement les façades des bâtiments) Ne contraint que 3 DOF de la caméra (Tx,Ty, lacet)
Dérive en altitude
Grands environnements avec trafic routier (des objets mobiles et des
occultations plus importantes liées à la végétation)
LA RÉALITÉ AUGMENTÉE POUR L’AIDE À LA NAVIGATION
Contexte et Problématique
TerraExplorer, IGN Google Earth, Google
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
PRINCIPE DU SLAM CONTRAINT
Solution proposée: SLAM contraint
Processus SLAM
Localisation
Reconstruction
Information
a priori
Information sur la
géométrie de la scène
Modèle 3D SIG, MNT
TerraExplorer, IGN
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
PRINCIPE DU SLAM CONTRAINT
Solution proposée: SLAM contraint
Processus SLAM
Localisation
Reconstruction
Information
a priori
Information sur la
trajectoire de la caméra
Information sur la
géométrie de la scène
Modèle 3D SIG, MNT
TerraExplorer, IGN
GPS , odomètres
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
SLAM contraint : bâtiments + MNT + GPS
1. Modèles de bâtiments:
• Façade plan
• Incertitude jusqu’à 2,5m
2. MNT:
• Route segment 3D
• Incertitude jusqu’à 2,5m
3. GPS standard:
• Fréquence ~1Hz
• Incertitude ~5m
• Données aberrantes
+ biais non constant
2 approches étudiées
• Localisation par reconnaissance de
points de vue
• Enjeux : création automatique
d’une bases d’amers
géoréférencés [Larnaout RFIA’14]
• Localisation en ligne combinant
SLAM, Modèles3D, GPS, Odomètre
[Larnaout RFIA’14]
4. Odomètre
TerraExplorer, IGN
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
LOCALISATION PAR RECONNAISSANCE DE POINTS DE VUES
Enjeux : comment créer cette base d’amers
de manière automatique avec des capteurs standards
But ultime: Tout véhicule connecté contribue à l’enrichissement de cette base
Hors ligne En ligne
Initialisation
Localisation
Ajustement de faisceaux
Enrichissement de la carte
Image clé ?
oui non
SLAM
Pose de la caméra
BD
création d’une BD géo-référencée
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
CRÉATION D’UNE BASE D’AMERS HORS LIGNE
GPS/MNT • Reconstruction géo-référencée • Robuste aux données GPS aberrantes
• Manque de précision au niveau des
DL dans le plan
Bâtiments/MNT • Prises en compte de la géométrie
globale de la scène
AF Local contraint GPS et MNT AF global contraint au modèle
D. Larnaout et al ICIP’13 : SLAM + GPS+ MNT
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
Construction d’une base d’amers géo référencée par
fusion SLAM, GPS, SIG ( hors ligne)
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
LOCALISATION TEMPS RÉEL : SLAM+ RECONNAISSANCE POINTS DE VUE
Application automobile vidéo Application piéton
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout GPS différentiel basé sur les modèles des bâtiments
Principe: Corriger localement les incertitudes des données GPS en exploitant les
modèles 3D des bâtiments.
Modèles d’incertitude du GPS (Chausse et al 2005) Incertitude = biais + bruit Gaussien de faible amplitude
FUSION EN LIGNE
LOCALISATION EN LIGNE
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
FUSION EN LIGNE
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
LA RÉALITÉ AUGMENTÉE DE DEMAIN
.
Projet Tango -Google
HoloLens (MicroSoft)
Qualcomm Research
Pour personnaliser « nom
événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de
pied de page
Cliquer sur appliquer partout
Merci pour votre attention
