1 Cartographie et Localisation par vision monoculaire Joan Solà et Thomas Lemaire LAAS-CNRS...
-
Upload
augustin-viaud -
Category
Documents
-
view
104 -
download
0
Transcript of 1 Cartographie et Localisation par vision monoculaire Joan Solà et Thomas Lemaire LAAS-CNRS...
1
Cartographie et Localisation Cartographie et Localisation par vision monoculairepar vision monoculaire
Cartographie et Localisation Cartographie et Localisation par vision monoculairepar vision monoculaire
Joan Solà et Thomas LemaireLAAS-CNRS
Toulouse, France
Séminaire LAAS29 juin 2006
2
I. Fondements du SLAM par vision. Joan Solà
II. Méthodes retardées. Expériences. Thomas Lemaire
III. Méthodes immédiats et ses extensions. Perception en vision.Joan Solà
IV. Cartographie plus complexe. Cameras panoramiques.Thomas Lemaire
Cartographie et Localisation Cartographie et Localisation par vision monoculairepar vision monoculaire
Cartographie et Localisation Cartographie et Localisation par vision monoculairepar vision monoculaire
3
Exploration: Cartographie et LocalisationCorrectionPerception Déplacement Perception Mise en correspondance
Prédiction Mesure CorrectionEstimation et Filtrage
SLAM
SLAM: de l’anglais, Simultaneous Localization And Mapping
SLAM: de l’anglais, Simultaneous Localization And Mapping
4
QuickTime™ et undécompresseur H.264
sont requis pour visionner cette image.
SLAM: de l’anglais, Simultaneous Localization And Mapping
SLAM: de l’anglais, Simultaneous Localization And Mapping
5
SLAM: de l’anglais, Simultaneous Localization And Mapping
SLAM: de l’anglais, Simultaneous Localization And Mapping
1
2
34
5157
1
2
3
4
R
5
6
Vision Monoculaire vs. StereoVision Monoculaire vs. Stereo
Observabilité 3D immédiate(à distance limitée)
Robustesse et compacitéFragilité mécanique :
problèmes de calibrage
Observabilité 3Dà partir du mouvement
7
Le problème du monoculaire:Initialisation des Amers
Le problème du monoculaire:Initialisation des Amers
• L’approche naïve
?
Te
tactuel
tprecedent tactuel
?
8
Le problème:Initialisation des Amers
Le problème:Initialisation des Amers
• Considération des incertitudes
tactuel
tprecedent tactuel
Le point 3DLe point 3Dest dedansest dedans
Te
?
9
L'idée CLÉEL'idée CLÉE
QuickTime™ and aTIFF (LZW) decompressor
are needed to see this picture.
QuickTime™ and aTIFF (LZW) decompressor
are needed to see this picture.
QuickTime™ and aTIFF (LZW) decompressor
are needed to see this picture.
QuickTime™ and aTIFF (LZW) decompressor
are needed to see this picture.??
L’approximationinitiale
est facile
La sélection des membres est facile et sûre
Le derniermembreest facilementincorporé
Initialisationimmédiate
INITIALISATIONretardée
<Davison 03>...
[Lemaire 05]
[Kwok 04][Solà 05]
10
Définition du Rayon GéométriqueDéfinition du Rayon Géométrique
Définir une série géométrique de Gaussiennes
xR : position de la camera
4r4
3r3
= i / ri
= ri / ri-1
[ rmin rmax ]
Remplir l’espace entre rmin et rmax
1. Avec le nombre minimal de termes
2. Tout en respectant les contraintes de linéarisation
11
• Facteur de forme, base géométrique et limites de distance
• Le nombre de termes est logarithmique en rmax / rmin :
• On obtient des nombres très petits :
• Les membres étant Gaussiens, ils sont facilement manipulables
avec FKE.
Les bénéfices du Rayon Géométrique
Les bénéfices du Rayon Géométrique
Scénario rmin rmax Ratio Ng
Intérieur 0.5 5 10 3
Extérieur 1 100 100 5
Longue portée 1 1000 1000 7
[rmin , rmax]
Ng = f( log(rmax / rmin)
1
2
12
Comment ça marcheComment ça marche
La première observation détermine le Rayon Conique
13
J’approche le Rayon Coniqueavec le Rayon Géométrique
Je peux initialiser les membres maintenant :J’obtiens une méthode immédiate.
Comment ça marcheComment ça marche
€
C = 1Ng
14
Je me déplace et réaliseune deuxième observation
Je peux distinguer les membres dans l’image
Comment ça marcheComment ça marche
15
Je calcule vraisemblanceset actualise crédibilités
C’est comme modifier la forme du rayon
€
C+ = C ⋅λ
Comment ça marcheComment ça marche
€
λ = 1
2π Ze
−z⋅Z −1 ⋅ ′ z
2
16
J'élimine les membresinvraisemblables
C’est une opération triviale et conservatrice
Comment ça marcheComment ça marche
€
C <0.001
nombre _ de _ termes
17
Avec des méthodes immédiates je peux corriger la carte SLAM
Comment ça marcheComment ça marche
18
Je continue...
Comment ça marcheComment ça marche
19
Et un jour il ne resteraqu’un seul membre.
Ce membre est déjà Gaussien!
Si je l’initialise maintenant j’ai une méthode retardée
Comment ça marcheComment ça marche
3
20
Méthodes retardées et immédiates
Méthodes retardées et immédiates
• Plus simples à implémenter.
• L’information issue des observations partielles n’est pas utilisée immédiatement.
reta
rdées
imm
édia
tes
• Plus de difficultés mathématiques et algorithmiques.
• Les observations des amers contribuent au SLAM dès le début.
21
min
Observabilité: Trajectoires non contraintes
Observabilité: Trajectoires non contraintes
22
retardées
retardées
immédiates
immédiates
immédiates
min
Trajectoires fortement contraintes : Méthodes retardées et immédiates
Trajectoires fortement contraintes : Méthodes retardées et immédiates
23
Thomas
24
retardéesimmédiates
retardéesimmédiates
retardéesimmédiates
retardéesimmédiates
Méthodes retardées et immédiates
Méthodes retardées et immédiates
immédiates
Cha
mp
de v
ueC
hamp de vue
QuickTime™ et undécompresseur H.264
sont requis pour visionner cette image.
QuickTime™ et undécompresseur H.264
sont requis pour visionner cette image.
25
• Aspects mathématiques et algorithmiques pour l’initialisation immédiate
• Perception pour le SLAM par vision
• Extensions des méthodes:– Objets mobiles dans la scène– Auto-calibrage pour la Stéréo
Troisième partieTroisième partie
26
QuickTime™ and aTIFF (LZW) decompressor
are needed to see this picture.
L'algorithme du Partage Fédératif de l’Information (PFI)
L'algorithme du Partage Fédératif de l’Information (PFI)
1. Initialiser les membres comme des amers différents dans la même carte SLAM
2. Lors des observations postérieures :• Actualiser les crédibilités et éliminer les mauvais membres• Effectuer une correction fédérée
3. Quand il ne reste qu’un membre:• Rien à faire
QuickTime™ and aTIFF (LZW) decompressor
are needed to see this picture.
imm
éd
iate
27
L'algorithme PFIL'algorithme PFI
• La Correction : un moment délicat
– Une observation / multiples hypothèses
• Si je corrige plusieurs fois : inconsistance
• Si je corrige sur la mauvaise hypothèse : divergence
imm
éd
iate
QuickTime™ and aTIFF (LZW) decompressor
are needed to see this picture.
?
28
L'algorithme PFIL'algorithme PFI
• La Correction Fédérée : Partager l’Information
– Observation y avec bruit de covariance R : information R-1
– N hypothèses à corriger
imm
édia
te
{y, R1 }{y, R2 }
{y, RN }
…Observation {y, R}
correction sur membre 1
correction sur membre 2
correction sur membre N
…
Partage de l’Information:
Coefficient Fédératif i :
Privilège des vraisemblances:
29
Perception : recherche active
Perception : recherche active
• Observation initiale d’un amer
– Sur un point d'intérêt, point de Harris
– Enregistrer une imagette comme descripteur,
15x15 pixels
• Observations ultérieures
– Projeter tous les amers de la carte sur l’image avec
ses ellipses d’incertitude
– En sélectionner ceux avec ellipses de majeure
surface
– Ajuster la taille et rotation de l’imagette selon les
informations de profondeur et orientation de l’amer
contenues dans la carte
– Réaliser une recherche dans l’ellipse par maximum
de corrélation
– Récupérer le pixel gagnant comme mesure de l’amer
30
QuickTime™ et undécompresseur H.264
sont requis pour visionner cette image.
L'algorithme PFIL'algorithme PFI
31
ExtensionsExtensions
• Détection et suivi d’objets mobiles
– Besoin d’observabilité totale : revenir sur la stéréo
• Auto-calibrage d’un banc stéréo
32
Thomas