Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG
description
Transcript of Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG
Julien Morat 1er Juillet 2008 Renault / INRIA1er Juillet 2008 INRIA / Renault
Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile
Présenté par Julien Moratpour obtenir le grade de DOCTEUR DE L’INPG
Président du jury : J. CrowleyRapporteurs : D. Aubert
J-M. LavestExaminateurs : F. Devernay
S. Cornou R. Horaud
Julien Morat 1er Juillet 2008 Renault / INRIA 2
LE CONTEXTE
Centre de recherche et développement Renault : ~12 000 personnes
Direction de la recherche : ~ 120 personnes
Electronique pour l’aide à la conduite : ~ 20 personnes
LE CENTRE DE RECHERCHE ET DÉVELOPPEMENT DE RENAULT
Julien Morat 1er Juillet 2008 Renault / INRIA 3
LA PROBLÉMATIQUELES DIFFÉRENTES PRESTATIONS D’AIDE À LA CONDUITE
http
://w
ww
.gav
rila.
net/M
edia
_Cov
erag
e/m
edia
_cov
erag
e.ht
ml
http
://w
ww
.mob
ileye
.com
/upl
oade
d/A
WS
clip
s/2C
ritic
alS
econ
ds.2
2MB
.mpg
[GBS05] Gavrila et al
Des prestations intelligentes pour améliorer la sécurité et le confort Régulateur de distance (ACC)
Détection de franchissement de marquage routier (Lane Keeping Assist)
Détection anticipée de collision (Collision Warning ou Precrash)
Julien Morat 1er Juillet 2008 Renault / INRIA 4
LA PROBLÉMATIQUE
Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …
Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar
LES BESOINS
Julien Morat 1er Juillet 2008 Renault / INRIA 5
LA PROBLÉMATIQUE
Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …
Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar Caméra
LES BESOINS
Caméra• Semble avoir des performances similaires• Coût attractif• Peut remplacer plusieurs capteurs
Julien Morat 1er Juillet 2008 Renault / INRIA 6
LA PROBLÉMATIQUE
L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques.
Identifier ces problèmes et les solutions possibles Application exemple : régulateur de distance (ACC)
Trois fonctions primordiales : Le calibrage La détection d’obstacles La mesure de vitesse relative
LES OBJECTIFS DE LA THÈSE
Julien Morat 1er Juillet 2008 Renault / INRIA
PLAN DE LA PRÉSENTATION
Modèles mathématiquesI. CalibrageII. Détection d’obstaclesIII. Mesure de vitesse 3-D Conclusions
Julien Morat 1er Juillet 2008 Renault / INRIA 8
caméra
MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA
Centre optique
Plan image
Un objet 3-D
Julien Morat 1er Juillet 2008 Renault / INRIA 9
MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA
Objet projeté
Ligne
de vu
e
rayon
optiq
ue
Plan image
Un objet 3-D
Centre optique
Julien Morat 1er Juillet 2008 Renault / INRIA 10
MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA
Julien Morat 1er Juillet 2008 Renault / INRIA 11
MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA
connuinconnu
Julien Morat 1er Juillet 2008 Renault / INRIA 12
inconnuconnu
MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D
?
Julien Morat 1er Juillet 2008 Renault / INRIA 13
MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D
inconnuconnus
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué
Julien Morat 1er Juillet 2008 Renault / INRIA
CALIBRAGE
Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues.
OBJECTIF
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE1. OBJECTIF ET PRINCIPE
≠
Julien Morat 1er Juillet 2008 Renault / INRIA 17
connu
I. CALIBRAGE1. OBJECTIF ET PRINCIPE
Connaître la fonction de projection P
• Distance focale• Taille des pixels• Nombre de pixels• Distorsions• …
inconnu
connu
Julien Morat 1er Juillet 2008 Renault / INRIA 18
connu
I. CALIBRAGE
Points 3-D connus : une mire
1. OBJECTIF ET PRINCIPE
Julien Morat 1er Juillet 2008 Renault / INRIA 19
I. CALIBRAGE
Acquisition d’images de la mire avec le système
1. OBJECTIF ET PRINCIPE
Julien Morat 1er Juillet 2008 Renault / INRIA 20
I. CALIBRAGE
Extraction des marques fiduciaires
1. OBJECTIF ET PRINCIPE
connuconnu
Julien Morat 1er Juillet 2008 Renault / INRIA 21
inconnu
connu
I. CALIBRAGE1. OBJECTIF ET PRINCIPE
Estimation par optimisation des paramètres p
connuconnu
Julien Morat 1er Juillet 2008 Renault / INRIA 22
I. CALIBRAGE
1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 23
I. CALIBRAGE
Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance
(soit 5% de la distance)
Le système doit être conçu pour atteindre ces performances.
La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux.
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 24
I. CALIBRAGE
Exemple d’un mauvais calibrage
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 25
I. CALIBRAGE2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
Exemple d’un mauvais calibrage
Julien Morat 1er Juillet 2008 Renault / INRIA 26
I. CALIBRAGE
Différence entre le point 3-D réel et estimé : Dénommée « erreur de reconstruction » Se mesure en mètres Du point du vue du constructeur,
c’est le critère essentiel de qualitédu système
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 27
I. CALIBRAGE
Différence entre les points 2-D observés et les projections du point reconstruit Dénommée « erreur de reprojection » Se mesure en pixels Minimiser cette différence est
important pour les algorithmes
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 28
I. CALIBRAGE
1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision
A. Respect du modèleB. Qualité du calibrageC. Variation de la géométrie du capteur au cours du temps
4. Quantifier la qualité du système embarqué
3. LES SOURCES D’IMPRÉCISION
Julien Morat 1er Juillet 2008 Renault / INRIA 29
3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE
Caméra
Centre optique
Julien Morat 1er Juillet 2008 Renault / INRIA 30
Caméra
3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE
Pare-brise
?Respect du modèle1
Julien Morat 1er Juillet 2008 Renault / INRIA 31
I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 32
I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 33
I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 34
I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS
Julien Morat 1er Juillet 2008 Renault / INRIA 35
I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS
Variation des paramètres5
Julien Morat 1er Juillet 2008 Renault / INRIA 36
I. CALIBRAGE
1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué
A. Respect du modèleB. Le calibrageC. Au cours du temps
4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ
Julien Morat 1er Juillet 2008 Renault / INRIA 37
I. CALIBRAGE
Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance)
L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision.
4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ
Julien Morat 1er Juillet 2008 Renault / INRIA 38
I. CALIBRAGE
Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec Srikumar Ramalingam et Peter Sturm)
Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise.
4.A. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : RESPECT DU MODÈLE
Julien Morat 1er Juillet 2008 Renault / INRIA 39
I. CALIBRAGE
1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécisions4. Quantifier la qualité du système embarqué
A. Respect du modèleB. Le calibrageC. Au cours du temps
4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 40
I. CALIBRAGE
La qualité du système dépend de : La configuration du système La mire Les algorithmes de calibrage Les erreurs de détection de la mire Les imperfections de construction de la mire …
Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : Système complexe rendant la modélisation analytique difficile, Permet de tester de nombreuses configurations.
4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE
Julien Morat 1er Juillet 2008 Renault / INRIA 41
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGEsimulation
1. Mire
Julien Morat 1er Juillet 2008 Renault / INRIA 42
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGEsimulation
1. Mire2. Erreurs de
fabrication
Julien Morat 1er Juillet 2008 Renault / INRIA 43
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGEsimulation
1. Mire2. Erreurs de
fabrication3. Projection
Paramètresréels
Julien Morat 1er Juillet 2008 Renault / INRIA 44
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGEsimulation
1. Mire2. Erreurs de
fabrication3. Projection4. Erreurs de
détection
Julien Morat 1er Juillet 2008 Renault / INRIA 45
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGEsimulation
1. Mire2. Erreurs de
fabrication3. Projection4. Erreurs de
détection5. Calibragecalibrage
Paramètres calibrés
Julien Morat 1er Juillet 2008 Renault / INRIA 46
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGEsimulation
1. Mire2. Erreurs de
fabrication3. Projection4. Erreurs de
détection5. Calibrage6. Echantillonnage
de la scène + Projection
calibrage
Paramètresréels
Julien Morat 1er Juillet 2008 Renault / INRIA 47
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGEsimulation
1. Mire2. Erreurs de
fabrication3. Projection4. Erreurs de
détection5. Calibrage6. Echantillonnage
de la scène + Projection
7. Reconstruction
calibrage
Paramètres calibrés
Julien Morat 1er Juillet 2008 Renault / INRIA 48
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGEsimulation
1. Mire2. Erreurs de
fabrication3. Projection4. Erreurs de
détection5. Calibrage6. Echantillonnage
de la scène + Projection
7. Reconstruction8. Evaluation des
erreurs de : reconstructionreprojection
calibrage
Julien Morat 1er Juillet 2008 Renault / INRIA 49
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE Cette méthode par simulation
permet de tester : les différents algorithmes, les différentes configurations de système et les différentes mires
Outil d’aide à la conception
simulation1. Mire2. Erreurs de
fabrication3. Projection4. Erreurs de
détection5. Calibrage6. Echantillonnage
de la scène + Projection
7. Reconstruction8. Evaluation des
erreurs de : reconstructionreprojection
calibrage
Julien Morat 1er Juillet 2008 Renault / INRIA 50
6 mm de focale, capteur 1/3’’,ligne de base 40 cm
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
4.5 m 7 m Erreur* de reconstruction en cm
4.5 m 30 m
9.38 Z 0.38
* Erreur RMS
Julien Morat 1er Juillet 2008 Renault / INRIA 51
I. CALIBRAGE
1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécisions4. Quantifier la qualité du système embarqué
A. Respect du modèleB. Le calibrageC. Au cours du temps
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
Julien Morat 1er Juillet 2008 Renault / INRIA 52
I. CALIBRAGE
Validation de la rigidité de la caisse
Même sous conditions extrêmes, le système reste calibré.
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
Julien Morat 1er Juillet 2008 Renault / INRIA 53
I. CALIBRAGE
Extension de l’outil de simulation pour tester les conséquences d’une perte de calibrage
Résultats Sur un échantillonnage de points à 31.5 m
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
Tangage +0.5° Lacet +0.5°
Erreur* de reconstruction (cm) 20.8 1480
Erreur* de reprojection (pixel) 3.49 0.02
Estimation des distances faussée
Erreur de reprojection >1 pixel met en échec les algorithmes
* Erreur RMS
Julien Morat 1er Juillet 2008 Renault / INRIA 54
I. CALIBRAGE
Le calibrage en ligne : permet de corriger un calibrage existant utilise des images « naturelles » pour calibrer en cours d’utilisation
Méthodes testées : adaptation d’un « ajustement de faisceaux » qui minimise l’erreur de reprojection
Notre contribution : extension de l’outil de simulation de calibrage pour tester les performances du calibrage en ligne
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
Julien Morat 1er Juillet 2008 Renault / INRIA 55
I. CALIBRAGE
Résultats (Même configuration que précédemment) Fonctionne pour les variations de tangage Ne fonctionne pas pour une variation de l’angle de lacet
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
Tangage +0.5° Lacet +0.5°
Avant Après Avant Après
Erreur* de reconstruction (cm) 20.8 10-3 1480 898
* Erreur RMS
Erreur de reprojection >1 pixelErreur de reconstruction ~8 m.
OK
Bien fixer les caméras en lacet
Julien Morat 1er Juillet 2008 Renault / INRIA 56
I. CALIBRAGE
Contributions : Apporter une réponse ou un élément de réponse aux problèmes de précision de calibrage
Des expérimentations sur bancs Validation du système optique + pare-brise Validation de la rigidité de la caisse
Un outil d’aide à la conception et au dimensionnement Simulation du processus de calibrage Simulation de décalibrage Simulation de calibrage en ligne Evaluation quantitative des performances au cours de la vie du véhicule.
CONCLUSION
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES1. Objectifs et approches2. Mise en correspondance stéréoscopique3. Segmentation des obstacles
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
Objectifs : Extraire l’information pertinente de la densité
d’information fournie par le capteur.
Approches : Identification du mouvement
Heinrich et al. [Hei02], Franke et al. [FH02],Rabe et al. [RFG07]
Identification de certains typesd’obstacles (piétons, cycles, …)
[BHD97, SMBD02, HKT+98, YC06,BBFL02,BBB05, LWLW06,…]
Identification de la route Maraninchi et al. [MR01], Nedevschi et al. [NDM+07],
Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], …
1. OBJECTIFS ET APPROCHES
Julien Morat 1er Juillet 2008 Renault / INRIA 59
obstacle ?
II. DÉTECTION D’OBSTACLES1. OBJECTIFS ET APPROCHES
1. Mise en correspondance stéréoscopique
2. Segmentation des obstacles
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
1. Objectifs et approches2. Mise en correspondance stéréoscopique
A. La problématiqueB. Etape préliminaire de simplification : la rectificationC. Mise en correspondance par corrélationD. Choix d’une rectification
3. Segmentation des obstacles
PLAN
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE
61
Caméra gauche Caméra droite
Julien Morat 1er Juillet 2008 Renault / INRIA 62
II. DÉTECTION D’OBSTACLES
Restriction de l’espace de recherche
2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE
Julien Morat 1er Juillet 2008 Renault / INRIA 63
Une étape préliminaire simplificatrice : la rectification
II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA 64
Une étape préliminaire simplificatrice : la rectification Déformation des images pour une recherche horizontale
Il existe une infinité de rectifications valides [Dev97], [Zhang99]
II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA 65
II. DÉTECTION D’OBSTACLES
Pour un point de l’image gauche, il faut estimer la position de son correspondant sur l’image droite : disparité.
2.B. MISE EN CORRESPONDANCE : RECTIFICATION
0
+-
Disparité : -20Distance : 1 m
Julien Morat 1er Juillet 2008 Renault / INRIA 66
Approche pour trouver la disparité :P. Fua 1993
II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION
Image gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA 67
II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION
Image de différenceImage gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA 68
disparité
diffé
renc
e
Approche pour trouver la disparité :P. Fua 1993
II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION
Image gauche Image droite Carte de disparité
Eloigné ProcheEchec
Julien Morat 1er Juillet 2008 Renault / INRIA 69
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Image de différenceImage gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA 70
II. DÉTECTION D’OBSTACLES
Pour avoir une apparence identique dans les deux images, la surface examinée doit être de disparité constante.
2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA 71
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Image de différenceImage gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA 72
Les 9 paramètres de rectification permettent de choisir le faisceau de plans
Les surfaces de disparité constante forment : Dans le cas général des surfaces de section conique [MMB+98 ,PS04]
Dans le cas d’images rectifiées un faisceau de plans d’équation :
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
La disparité dx
sélectionne un plan du faisceau
Julien Morat 1er Juillet 2008 Renault / INRIA 73
Choix des 9 paramètres de rectification de manière à répartir ces plans face aux caméras
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA 74
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA 76
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA 77
Choix des 9 paramètres de rectification de manière à aligner le plan de disparité nulle avec la route
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA 78
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA 79
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Image de différenceImage gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA 80
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
Dans la carte de disparité, il faut différencier les points appartenant à la route et les autres.
Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05],
1. Objectifs et approches2. Mise en correspondance stéréoscopique3. Segmentation des obstacles
A. Cumul des rectificationsB. RésultatsC. Agrégation
PLAN
Julien Morat 1er Juillet 2008 Renault / INRIA 82
II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS
Fron
tale
Pla
n de
la ro
ute
Julien Morat 1er Juillet 2008 Renault / INRIA 83
II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS
disparité
différence
85
69
Julien Morat 1er Juillet 2008 Renault / INRIA 84
II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS
Fron
tale
Pla
n de
la ro
ute
Julien Morat 1er Juillet 2008 Renault / INRIA 85
II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS
Julien Morat 1er Juillet 2008 Renault / INRIA 86
II. DÉTECTION D’OBSTACLES
Qualité de la carte de disparité ~93% des disparités correctement évaluées avec la double
rectification contre ~89% sans.
Qualité de la carte de segmentation 97% des pixels étiquetés (route/obstacle) le sont correctement.
Séquences réelles Ces résultats sont très bons car ce sont des images de synthèse. Pour évaluer sur des séquences réelles, il reste à gérer les
imperfections de calibrage.
3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS
Julien Morat 1er Juillet 2008 Renault / INRIA 87
Etat de l’artMulti-rectification : Utilisation de 3 caméras (et rectifications)
pour estimer l’orientation locale de la surface et ainsi détecter la présence d’obstacles routiers Williamson [Wil98].
Caractérisation des surfaces d’iso-disparité:
Mandelbaum et al. [MMB+98],Pollefeys et al. [PS04]
Contributions
Estimer la disparité plus finement par fusion des deux cartes de disparité
Lien entre le choix de la rectification et le faisceau de plans d’iso-disparité
II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS
Julien Morat 1er Juillet 2008 Renault / INRIA 88
II. DÉTECTION D’OBSTACLES3.C. L’AGRÉGATION
Julien Morat 1er Juillet 2008 Renault / INRIA
III. LA MESURE DE VITESSE 3-D1. La problématique2. Présentation de l’algorithme de Lucas & Kanade3. Extension à la stéréoscopie4. Gestion des variations de taille apparente5. Résultats
Julien Morat 1er Juillet 2008 Renault / INRIA
III. LA MESURE DE VITESSE 3-D
Certaines applications (comme l’ACC) réclament une mesure de vitesse relative précise.
Alors que le RADAR et LIDAR fournissent directement une mesure de vitesse relative (par effet doppler), un système basé vision requiert un traitement des données
1. LA PROBLÉMATIQUE
Julien Morat 1er Juillet 2008 Renault / INRIA 91
III. MESURE DE VITESSE 3-D
Image d’un point 3-D
1. LA PROBLÉMATIQUE
Julien Morat 1er Juillet 2008 Renault / INRIA 92
III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE
Déplacement 3-D :Flux de scène
[VBR+99]
Déplacement 2-D : Flux optique
Déplacement 2-D : Flux optique
Julien Morat 1er Juillet 2008 Renault / INRIA
Recherche d’un mouvement dans une série de reconstructions successives
[BBFN00, SZB99, MSKI06, NDF+04, FH02, RFG07, LCCG07, AKI05].
Recherche de flux optiques puis reconstruction 3-D
[ISK92, DHS02, RFG07, UF02].
III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE
93
Julien Morat 1er Juillet 2008 Renault / INRIA 94
III. MESURE DE VITESSE 3-D
1. La problématique2. Présentation de l’algorithme de Lucas & Kanade [BFSB92]
3. Extension à la stéréoscopie4. Gestion des variations de taille apparente5. Résultats
PLAN
Julien Morat 1er Juillet 2008 Renault / INRIA 95
III. MESURE DE VITESSE 3-D
Algorithme de suivi 2-D[BFSB92]
1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
Julien Morat 1er Juillet 2008 Renault / INRIA 96
III. MESURE DE VITESSE 3-D
Algorithme de suivi 2-D[BFSB92]
1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
Julien Morat 1er Juillet 2008 Renault / INRIA 97
III. MESURE DE VITESSE 3-D
Algorithme de suivi 2-D[BFSB92]
1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
Julien Morat 1er Juillet 2008 Renault / INRIA 98
III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
Algorithme de suivi 2-D Résolution itérative par
méthode de Gauss-Newton
Julien Morat 1er Juillet 2008 Renault / INRIA 99
III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
Algorithme de suivi 2-D Résolution itérative par
méthode de Gauss-Newton
Julien Morat 1er Juillet 2008 Renault / INRIA 100
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
Julien Morat 1er Juillet 2008 Renault / INRIA 101
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
Julien Morat 1er Juillet 2008 Renault / INRIA 102
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
Julien Morat 1er Juillet 2008 Renault / INRIA 103
III. MESURE DE VITESSE 3-D
Adaptation au cas stéréoscopique de la formulation du problème de mesure de flux optique proposée par Lucas & Kanade [BFSB92]
2. EXTENSION À LA STÉRÉOSCOPIE
n vaut l pour « left » et r pour « right »
Julien Morat 1er Juillet 2008 Renault / INRIA 104
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
Julien Morat 1er Juillet 2008 Renault / INRIA 105
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
Le vecteur de paramètres P peut être représenté parUne paire de points 2-D :
4 paramètres pour 3 D.L.Cela revient à mesurer le flux optique eteffectuer la reconstruction séparément
Julien Morat 1er Juillet 2008 Renault / INRIA 106
III. MESURE DE VITESSE 3-D
Le vecteur de paramètres P peut être représenté parUn point 3-D dans l’espace Euclidien :
3 paramètres pour 3 D.L.Calculs complexes
2. EXTENSION À LA STÉRÉOSCOPIE
Julien Morat 1er Juillet 2008 Renault / INRIA 107
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
Le vecteur de paramètres P peut être représenté parUn point 2-D associé à la disparité : p = [x, y, d]T
3 paramètres pour 3 D.L.Simplifie les calculs
Julien Morat 1er Juillet 2008 Renault / INRIA 108
III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE
Julien Morat 1er Juillet 2008 Renault / INRIA 109
III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE
Julien Morat 1er Juillet 2008 Renault / INRIA 110
III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE
Julien Morat 1er Juillet 2008 Renault / INRIA 111
III. MESURE DE VITESSE 3-D
Ajout d’un paramètre w pour l’échelleP = (x, y, d, w)
La taille apparente est liée à la distance Z : La disparité d est liée à la distance Z : La variation de taille apparente est égale à la variation
de disparité :
Possible de gérer la variation de taille sans ajouter de paramètre supplémentaire
P = (x, y, d)
3. GESTION DES VARIATIONS DE TAILLE APPARENTE
Julien Morat 1er Juillet 2008 Renault / INRIA 112
III. MESURE DE VITESSE 3-D4. RÉSULTATS
Julien Morat 1er Juillet 2008 Renault / INRIA 113
III. MESURE DE VITESSE 3-D4. RÉSULTATS
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D4. RÉSULTATS
114
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D4. RÉSULTATS
115
d
x
y
0
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
L’erreur pour la méthode utilisant l’espace 3-D basé image et intégrant les variationsde taille
4. RÉSULTATS
116
Mesure parfaite
Mesure erronée
Erreur d’estimation
d
x
y
0
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Quantifier les performances Bruit de mesure % d’échecs
Utilisation d’un modèle de mélange de Gaussiennes 1ère Gaussienne étroite
pour le bruit 2ème Gaussienne large
pour les échecs
4. RÉSULTATS
117
Julien Morat 1er Juillet 2008 Renault / INRIA 118
III. MESURE DE VITESSE 3-D
Sans contrainte(2 trackers 2-D) Sigma 5 pixels 50% d’échecs
Avec des points 3-D(espace image) Sigma 5 pixels 40% d’échecs
Avec des points 3-D et variation de taille Sigma 0.1 pixel 10% d’échecs
4. RÉSULTATS
Séquence d’évaluation spécialement conçue pour mettre en avant l’apport de l’algorithme.
Julien Morat 1er Juillet 2008 Renault / INRIA
CONCLUSIONS
Julien Morat 1er Juillet 2008 Renault / INRIA 120
Extension de l’algorithme Lucas-Kanade
multiples rectifications + agrégation
Conception d’un outil d’évaluation
CONCLUSIONS
Etude de toute la chaine algorithmique
BILAN
Caméras
Vitesses relatives aux obstacles
Julien Morat 1er Juillet 2008 Renault / INRIA 121
CONCLUSIONS
Reste à valider sur des données réelles : Valider les simulations de calibrage. Gérer finement le calibrage pour appliquer les multiples
rectifications sur des séquences réelles. Comparer la mesure 3-D par flux optique avec une mesure réelle
métrée.
PERSPECTIVES
Julien Morat 1er Juillet 2008 Renault / INRIA 122
CONCLUSIONS
L’avenir de la stéréoscopie pour les applications automobiles A court ou moyen terme
Technologie assez mature pour des prestations non critiques (simple information au conducteur) ou en complément d’un autre capteur (ex : Radar).
A plus long terme A performances égales, la polyvalence du capteur le rend plus attractif que ses
concurrents. Les problèmes de sureté de fonctionnement (fausses détections, ou détections
manquées) ne sont pas insolubles. Tout comme pour le RADAR et le LIDAR, la prise en compte d’hypothèses sur la scène permet de réduire les erreurs.
Les limites infranchissables de ce capteur (brouillard, obscurité, obstacles masqués …) ne sont pas un réel problème dans la mesure où le conducteur souffre des mêmes limitations.
PERSPECTIVES
Julien Morat 1er Juillet 2008 Renault / INRIA 123
QUESTIONS
Merci de votre attention