1

Cartographie et Localisation Cartographie et Localisation par vision monoculairepar vision monoculaire

Cartographie et Localisation Cartographie et Localisation par vision monoculairepar vision monoculaire

Joan Solà et Thomas LemaireLAAS-CNRS

Toulouse, France

Séminaire LAAS29 juin 2006

2

I. Fondements du SLAM par vision. Joan Solà

II. Méthodes retardées. Expériences. Thomas Lemaire

III. Méthodes immédiats et ses extensions. Perception en vision.Joan Solà

IV. Cartographie plus complexe. Cameras panoramiques.Thomas Lemaire

Cartographie et Localisation Cartographie et Localisation par vision monoculairepar vision monoculaire

Cartographie et Localisation Cartographie et Localisation par vision monoculairepar vision monoculaire

3

Exploration: Cartographie et LocalisationCorrectionPerception Déplacement Perception Mise en correspondance

Prédiction Mesure CorrectionEstimation et Filtrage

SLAM

SLAM: de l’anglais, Simultaneous Localization And Mapping

SLAM: de l’anglais, Simultaneous Localization And Mapping

4

QuickTime™ et undécompresseur H.264

sont requis pour visionner cette image.

SLAM: de l’anglais, Simultaneous Localization And Mapping

SLAM: de l’anglais, Simultaneous Localization And Mapping

5

SLAM: de l’anglais, Simultaneous Localization And Mapping

SLAM: de l’anglais, Simultaneous Localization And Mapping

1

2

34

5157

1

2

3

4

R

5

6

Vision Monoculaire vs. StereoVision Monoculaire vs. Stereo

Observabilité 3D immédiate(à distance limitée)

Robustesse et compacitéFragilité mécanique :

problèmes de calibrage

Observabilité 3Dà partir du mouvement

7

Le problème du monoculaire:Initialisation des Amers

Le problème du monoculaire:Initialisation des Amers

• L’approche naïve

?

Te

tactuel

tprecedent tactuel

?

8

Le problème:Initialisation des Amers

Le problème:Initialisation des Amers

• Considération des incertitudes

tactuel

tprecedent tactuel

Le point 3DLe point 3Dest dedansest dedans

Te

?

9

L'idée CLÉEL'idée CLÉE

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.??

L’approximationinitiale

est facile

La sélection des membres est facile et sûre

Le derniermembreest facilementincorporé

Initialisationimmédiate

INITIALISATIONretardée

<Davison 03>...

[Lemaire 05]

[Kwok 04][Solà 05]

10

Définition du Rayon GéométriqueDéfinition du Rayon Géométrique

Définir une série géométrique de Gaussiennes

xR : position de la camera

4r4

3r3

= i / ri

= ri / ri-1

[ rmin rmax ]

Remplir l’espace entre rmin et rmax

1. Avec le nombre minimal de termes

2. Tout en respectant les contraintes de linéarisation

11

• Facteur de forme, base géométrique et limites de distance

• Le nombre de termes est logarithmique en rmax / rmin :

• On obtient des nombres très petits :

• Les membres étant Gaussiens, ils sont facilement manipulables

avec FKE.

Les bénéfices du Rayon Géométrique

Les bénéfices du Rayon Géométrique

Scénario rmin rmax Ratio Ng

Intérieur 0.5 5 10 3

Extérieur 1 100 100 5

Longue portée 1 1000 1000 7

[rmin , rmax]

Ng = f( log(rmax / rmin)

1

2

12

Comment ça marcheComment ça marche

La première observation détermine le Rayon Conique

13

J’approche le Rayon Coniqueavec le Rayon Géométrique

Je peux initialiser les membres maintenant :J’obtiens une méthode immédiate.

Comment ça marcheComment ça marche

€

C = 1Ng

14

Je me déplace et réaliseune deuxième observation

Je peux distinguer les membres dans l’image

Comment ça marcheComment ça marche

15

Je calcule vraisemblanceset actualise crédibilités

C’est comme modifier la forme du rayon

€

C+ = C ⋅λ

Comment ça marcheComment ça marche

€

λ = 1

2π Ze

−z⋅Z −1 ⋅ ′ z

2

16

J'élimine les membresinvraisemblables

C’est une opération triviale et conservatrice

Comment ça marcheComment ça marche

€

C <0.001

nombre _ de _ termes

17

Avec des méthodes immédiates je peux corriger la carte SLAM

Comment ça marcheComment ça marche

18

Je continue...

Comment ça marcheComment ça marche

19

Et un jour il ne resteraqu’un seul membre.

Ce membre est déjà Gaussien!

Si je l’initialise maintenant j’ai une méthode retardée

Comment ça marcheComment ça marche

3

20

Méthodes retardées et immédiates

Méthodes retardées et immédiates

• Plus simples à implémenter.

• L’information issue des observations partielles n’est pas utilisée immédiatement.

reta

rdées

imm

édia

tes

• Plus de difficultés mathématiques et algorithmiques.

• Les observations des amers contribuent au SLAM dès le début.

21

min

Observabilité: Trajectoires non contraintes

Observabilité: Trajectoires non contraintes

22

retardées

retardées

immédiates

immédiates

immédiates

min

Trajectoires fortement contraintes : Méthodes retardées et immédiates

Trajectoires fortement contraintes : Méthodes retardées et immédiates

23

Thomas

24

retardéesimmédiates

retardéesimmédiates

retardéesimmédiates

retardéesimmédiates

Méthodes retardées et immédiates

Méthodes retardées et immédiates

immédiates

Cha

mp

de v

ueC

hamp de vue

QuickTime™ et undécompresseur H.264

sont requis pour visionner cette image.

QuickTime™ et undécompresseur H.264

sont requis pour visionner cette image.

25

• Aspects mathématiques et algorithmiques pour l’initialisation immédiate

• Perception pour le SLAM par vision

• Extensions des méthodes:– Objets mobiles dans la scène– Auto-calibrage pour la Stéréo

Troisième partieTroisième partie

26

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.

L'algorithme du Partage Fédératif de l’Information (PFI)

L'algorithme du Partage Fédératif de l’Information (PFI)

1. Initialiser les membres comme des amers différents dans la même carte SLAM

2. Lors des observations postérieures :• Actualiser les crédibilités et éliminer les mauvais membres• Effectuer une correction fédérée

3. Quand il ne reste qu’un membre:• Rien à faire

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.

imm

éd

iate

27

L'algorithme PFIL'algorithme PFI

• La Correction : un moment délicat

– Une observation / multiples hypothèses

• Si je corrige plusieurs fois : inconsistance

• Si je corrige sur la mauvaise hypothèse : divergence

imm

éd

iate

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.

?

28

L'algorithme PFIL'algorithme PFI

• La Correction Fédérée : Partager l’Information

– Observation y avec bruit de covariance R : information R-1

– N hypothèses à corriger

imm

édia

te

{y, R1 }{y, R2 }

{y, RN }

…Observation {y, R}

correction sur membre 1

correction sur membre 2

correction sur membre N

…

Partage de l’Information:

Coefficient Fédératif i :

Privilège des vraisemblances:

29

Perception : recherche active

Perception : recherche active

• Observation initiale d’un amer

– Sur un point d'intérêt, point de Harris

– Enregistrer une imagette comme descripteur,

15x15 pixels

• Observations ultérieures

– Projeter tous les amers de la carte sur l’image avec

ses ellipses d’incertitude

– En sélectionner ceux avec ellipses de majeure

surface

– Ajuster la taille et rotation de l’imagette selon les

informations de profondeur et orientation de l’amer

contenues dans la carte

– Réaliser une recherche dans l’ellipse par maximum

de corrélation

– Récupérer le pixel gagnant comme mesure de l’amer

30

QuickTime™ et undécompresseur H.264

sont requis pour visionner cette image.

L'algorithme PFIL'algorithme PFI

31

ExtensionsExtensions

• Détection et suivi d’objets mobiles

– Besoin d’observabilité totale : revenir sur la stéréo

• Auto-calibrage d’un banc stéréo

32

Thomas