Julien Morat 1 er Juillet 2008 Renault / INRIA1 er Juillet 2008 INRIA / Renault Vision...

Julien Morat 1er Juillet 2008 Renault / INRIA1er Juillet 2008 INRIA / Renault

Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile

Présenté par Julien Moratpour obtenir le grade de DOCTEUR DE L’INPG

Président du jury : J. CrowleyRapporteurs : D. Aubert

J-M. LavestExaminateurs : F. Devernay

S. Cornou R. Horaud

Julien Morat 1er Juillet 2008 Renault / INRIA

LE CONTEXTE

Centre de recherche et développement Renault : ~12 000 personnes

Direction de la recherche : ~ 120 personnes

Electronique pour l’aide à la conduite : ~ 20 personnes

LE CENTRE DE RECHERCHE ET DÉVELOPPEMENT DE RENAULT

2


LA PROBLÉMATIQUELES DIFFÉRENTES PRESTATIONS D’AIDE À LA CONDUITE

3

http

://w

ww

.gav

rila.

net/M

edia

_Cov

erag

e/m

edia

_cov

erag

e.ht

ml

http

://w

ww

.mob

ileye

.com

/upl

oade

d/A

WS

clip

s/2C

ritic

alS

econ

ds.2

2MB

.mpg

[GBS05] Gavrila et al

Des prestations intelligentes pour améliorer la sécurité et le confort Régulateur de distance (ACC)

Détection de franchissement de marquage routier (Lane Keeping Assist)

Détection anticipée de collision (Collision Warning ou Precrash)


LA PROBLÉMATIQUE

Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …

Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar

LES BESOINS

4


LA PROBLÉMATIQUE

Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …

Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar

Caméra

LES BESOINS

5


LA PROBLÉMATIQUE

L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques.

Identifier ces problèmes et les solutions possibles Application exemple : régulateur de distance (ACC)

Trois fonctions primordiales : Le calibrage

La détection d’obstacles

La mesure de vitesse relative

LES OBJECTIFS DE LA THÈSE

6


PLAN DE LA PRÉSENTATION

Modèles mathématiques

I. Calibrage

II. Détection d’obstacles

III. Mesure de vitesse 3-D

Conclusions


caméra

MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA

8

Centre optique

Un objet 3-D



9

Objet projeté

Ligne

de

vue

rayo

n op

tique

Un objet 3-D

Centre optique



10



11

connuinconnu


inconnuconnu

MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D

12

?


MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D

13

inconnuconnus


I. CALIBRAGE1. Objectif et principe

2. Définition de la qualité du calibrage

3. Les sources d’imprécision

4. Quantifier la qualité du système embarqué


CALIBRAGE

Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues.

OBJECTIF


I. CALIBRAGE1. OBJECTIF ET PRINCIPE

≠


connu


17

Connaître la fonction de projection P

• Distance focale• Taille des pixels• Nombre de pixels• Distorsions• …

inconnu

connu


connu

I. CALIBRAGE

Points 3-D connus : une mire

1. OBJECTIF ET PRINCIPE

18


I. CALIBRAGE

Acquisition d’images de la mire avec le système


19


I. CALIBRAGE

Extraction des marques fiduciaires


20

connuconnu


inconnu

connu


21

Estimation par optimisation des paramètres p

connuconnu


I. CALIBRAGE

1. Objectif et principe




2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE

22


I. CALIBRAGE

Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance

(soit 5% de la distance)

Le système doit être conçu pour atteindre ces performances.

La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux.


23


I. CALIBRAGE

Exemple d’un mauvais calibrage


24


I. CALIBRAGE2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE

25

Exemple d’un mauvais calibrage


I. CALIBRAGE

Différence entre le point 3-D réel et estimé : Dénommée « erreur de reconstruction »

Se mesure en mètres

Du point du vue du constructeur,c’est le critère essentiel de qualitédu système


26


I. CALIBRAGE

Différence entre les points 2-D observés et les projections du point reconstruit Dénommée « erreur de reprojection »

Se mesure en pixels

Minimiser cette différence estimportant pour les algorithmes


27


I. CALIBRAGE



3. Les sources d’imprécisionA. Respect du modèle

B. Qualité du calibrage

C. Variation de la géométrie du capteur au cours du temps


3. LES SOURCES D’IMPRÉCISION

28


3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE

29

Caméra

Centre optique


Caméra

3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE

30

Pare-briseRespect du modèle1


I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE

31



32



33


I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS

34


I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS

35

Variation des paramètres5


I. CALIBRAGE




4. Quantifier la qualité du système embarquéA. Respect du modèle

B. Le calibrage

C. Au cours du temps

4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ

36


I. CALIBRAGE

Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance)

L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision.

4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ

37


I. CALIBRAGE

Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec Srikumar Ramalingam et Peter Sturm)

Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise.

4.A. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : RESPECT DU MODÈLE

38


I. CALIBRAGE



3. Les sources d’imprécisions


B. Le calibrage


4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE

39


I. CALIBRAGE

La qualité du système dépend de : La configuration du système

La mire

Les algorithmes de calibrage

Les erreurs de détection de la mire

Les imperfections de construction de la mire

…

Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : Système complexe rendant la modélisation analytique difficile,

Permet de tester de nombreuses configurations.

4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE

40


I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE

CALIBRAGE

41

simulation

1. Mire



CALIBRAGE

42

simulation

1. Mire

2. Erreurs de fabrication



CALIBRAGE

43

simulation

1. Mire


3. Projection

Paramètresréels



CALIBRAGE

44

simulation

1. Mire


3. Projection

4. Erreurs de détection



CALIBRAGE

45

simulation

1. Mire


3. Projection


5. Calibrage

Paramètres calibrés



CALIBRAGE

46

simulation

1. Mire


3. Projection


5. Calibrage

6. Echantillonnage de la scène + Projection

Paramètresréels



CALIBRAGE

47

simulation

1. Mire


3. Projection


5. Calibrage


7. Reconstruction

Paramètres calibrés



CALIBRAGE

48

simulation

1. Mire


3. Projection


5. Calibrage


7. Reconstruction

8. Evaluation des erreurs de : reconstruction

reprojection



CALIBRAGE

49

Cette méthode par simulation permet de tester : les différents algorithmes,

les différentes configurations de système et

les différentes mires

Outil d’aide à la conception

simulation

1. Mire


3. Projection


5. Calibrage


7. Reconstruction

8. Evaluation des erreurs de : reconstruction

reprojection


6 mm de focale, capteur 1/3’’,ligne de base 40 cm


CALIBRAGE

50

4.5 m 7 m Erreur* de reconstruction en cm

4.5 m 30 m

9.38 Z 0.38

* Erreur RMS


I. CALIBRAGE



3. Les sources d’imprécisions


B. Le calibrage


4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS

51


I. CALIBRAGE

Validation de la rigidité de la caisse

Même sous conditions extrêmes, le système reste calibré.


52


I. CALIBRAGE

Extension de l’outil de simulation pour tester les conséquences d’une perte de calibrage

Résultats Sur un échantillonnage de points à 31.5 m

53


Tangage +0.5° Lacet +0.5°

Erreur* de reconstruction (cm) 20.8 1480

Erreur* de reprojection (pixel) 3.49 0.02

Estimation des distances faussée

Erreur de reprojection >1 pixel met en échec les algorithmes

* Erreur RMS


I. CALIBRAGE

Le calibrage en ligne : permet de corriger un calibrage existant

utilise des images « naturelles » pour calibrer en cours d’utilisation

Méthodes testées : adaptation d’un « ajustement de faisceaux » qui minimise l’erreur de reprojection

Notre contribution : extension de l’outil de simulation de calibrage pour tester les performances du calibrage en ligne


54


I. CALIBRAGE

Résultats (Même configuration que précédemment) Fonctionne pour les variations de tangage

Ne fonctionne pas pour une variation de l’angle de lacet


55

Tangage +0.5° Lacet +0.5°

Avant Après Avant Après

Erreur* de reconstruction (cm) 20.8 10-3 1480 898

* Erreur RMS

Erreur de reprojection >1 pixelErreur de reconstruction ~8 m.

OK

Bien fixer les caméras en lacet


I. CALIBRAGE

Contributions : Apporter une réponse ou un élément de réponse aux problèmes de précision de calibrage

Des expérimentations sur bancs Validation du système optique + pare-brise

Validation de la rigidité de la caisse

Un outil d’aide à la conception et au dimensionnement Simulation du processus de calibrage

Simulation de décalibrage

Simulation de calibrage en ligne

Evaluation quantitative des performances au cours de la vie du véhicule.

CONCLUSION

56


II. DÉTECTION D’OBSTACLES1. Objectifs et approches

2. Mise en correspondance stéréoscopique

3. Segmentation des obstacles


II. DÉTECTION D’OBSTACLES

Objectifs : Extraire l’information pertinente de la densité

d’information fournie par le capteur.

Approches : Identification du mouvement

Heinrich et al. [Hei02], Franke et al. [FH02],Rabe et al. [RFG07]

Identification de certains typesd’obstacles (piétons, cycles, …)

[BHD97, SMBD02, HKT+98, YC06,BBFL02,BBB05, LWLW06,…]

Identification de la route Maraninchi et al. [MR01], Nedevschi et al. [NDM+07],

Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], …

1. OBJECTIFS ET APPROCHES


obstacle ?

II. DÉTECTION D’OBSTACLES1. OBJECTIFS ET APPROCHES

59





1. Objectifs et approches

2. Mise en correspondance stéréoscopiqueA. La problématique

B. Etape préliminaire de simplification : la rectification

C. Mise en correspondance par corrélation

D. Choix d’une rectification


PLAN


II. DÉTECTION D’OBSTACLES2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE

61

Caméra gauche Caméra droite



Restriction de l’espace de recherche

2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE

62


Une étape préliminaire simplificatrice : la rectification

II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION

63


Une étape préliminaire simplificatrice : la rectification Déformation des images pour une recherche horizontale

Il existe une infinité de rectifications valides [Dev97], [Zhang99]

II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION

64



Pour un point de l’image gauche, il faut estimer la position de son correspondant sur l’image droite : disparité.

2.B. MISE EN CORRESPONDANCE : RECTIFICATION

65

0

+-

Disparité : -20Distance : 1 m


Approche pour trouver la disparité :P. Fua 1993

II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION

Image gauche Image droite

66



67

Image de différenceImage gauche Image droite


disparité

dif

fére

nc

e

Approche pour trouver la disparité :P. Fua 1993


Image gauche Image droite Carte de disparité

68

Eloigné ProcheEchec


II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION

69




Pour avoir une apparence identique dans les deux images, la surface examinée doit être de disparité constante.

2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION

70



71



Les 9 paramètres de rectification permettent de choisir le faisceau de plans

Les surfaces de disparité constante forment : Dans le cas général des surfaces de section conique [MMB+98 ,PS04]

Dans le cas d’images rectifiées un faisceau de plans d’équation :


72

La disparité dx

sélectionne un plan du faisceau


Choix des 9 paramètres de rectification de manière à répartir ces plans face aux caméras


73



74



76


Choix des 9 paramètres de rectification de manière à aligner le plan de disparité nulle avec la route


77



78



79




80



Dans la carte de disparité, il faut différencier les points appartenant à la route et les autres.

Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05],

1. Objectifs et approches


3. Segmentation des obstaclesA. Cumul des rectifications

B. Résultats

C. Agrégation

PLAN


II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS

82



83

disparité

différence

85

69



84


II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS

85



Qualité de la carte de disparité ~93% des disparités correctement évaluées avec la double

rectification contre ~89% sans.

Qualité de la carte de segmentation 97% des pixels étiquetés (route/obstacle) le sont correctement.

Séquences réelles Ces résultats sont très bons car ce sont des images de synthèse.

Pour évaluer sur des séquences réelles, il reste à gérer les imperfections de calibrage.

3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS

86


Etat de l’art

Multi-rectification :

Utilisation de 3 caméras (et rectifications) pour estimer l’orientation locale de la surface et ainsi détecter la présence d’obstacles routiers Williamson [Wil98].

Caractérisation des surfaces d’iso-disparité:

Mandelbaum et al. [MMB+98],Pollefeys et al. [PS04]

Contributions

Estimer la disparité plus finement par fusion des deux cartes de disparité

Lien entre le choix de la rectification et le faisceau de plans d’iso-disparité

II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS

87


II. DÉTECTION D’OBSTACLES3.C. L’AGRÉGATION

88


III. LA MESURE DE VITESSE 3-D1. La problématique

2. Présentation de l’algorithme de Lucas & Kanade

3. Extension à la stéréoscopie

4. Gestion des variations de taille apparente

5. Résultats


III. LA MESURE DE VITESSE 3-D

Certaines applications (comme l’ACC) réclament une mesure de vitesse relative précise.

Alors que le RADAR et LIDAR fournissent directement une mesure de vitesse relative (par effet doppler), un système basé vision requiert un traitement des données

1. LA PROBLÉMATIQUE


III. MESURE DE VITESSE 3-D

Image d’un point 3-D

1. LA PROBLÉMATIQUE

91


III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE

92

Déplacement 3-D :Flux de scène

[VBR+99]

Déplacement 2-D : Flux optique

Déplacement 2-D : Flux optique


Recherche d’un mouvement dans une série de reconstructions successives

[BBFN00, SZB99, MSKI06, NDF+04, FH02, RFG07, LCCG07, AKI05].

Recherche de flux optiques puis reconstruction 3-D

[ISK92, DHS02, RFG07, UF02].

III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE

93



1. La problématique

2. Présentation de l’algorithme de Lucas & Kanade [BFSB92]

3. Extension à la stéréoscopie

4. Gestion des variations de taille apparente

5. Résultats

PLAN

94



Algorithme de suivi 2-D[BFSB92]

1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE

95





96





97


III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE

98

Algorithme de suivi 2-D Résolution itérative par

méthode de Gauss-Newton


III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE

99

Algorithme de suivi 2-D Résolution itérative par

méthode de Gauss-Newton


III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE

100



101



102



Adaptation au cas stéréoscopique de la formulation du problème de mesure de flux optique proposée par Lucas & Kanade [BFSB92]

2. EXTENSION À LA STÉRÉOSCOPIE

103

n vaut l pour « left » et r pour « right »



104



105

Le vecteur de paramètres P peut être représenté parUne paire de points 2-D :

4 paramètres pour 3 D.L.

Cela revient à mesurer le flux optique eteffectuer la reconstruction séparément



Le vecteur de paramètres P peut être représenté parUn point 3-D dans l’espace Euclidien :


Calculs complexes

2. EXTENSION À LA STÉRÉOSCOPIE

106



107

Le vecteur de paramètres P peut être représenté parUn point 2-D associé à la disparité : p = [x, y, d]T


Simplifie les calculs


III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE

108



109



110



Ajout d’un paramètre w pour l’échelle

P = (x, y, d, w)

La taille apparente est liée à la distance Z :

La disparité d est liée à la distance Z :

La variation de taille apparente est égale à la variation de disparité :

Possible de gérer la variation de taille sans ajouter de paramètre supplémentaire

P = (x, y, d)

3. GESTION DES VARIATIONS DE TAILLE APPARENTE

111


III. MESURE DE VITESSE 3-D4. RÉSULTATS

112



113



114



115

d

x

y

0



L’erreur pour la méthode utilisant l’espace 3-D basé image et intégrant les variationsde taille

4. RÉSULTATS

116

Mesure parfaite

Mesure erronée

Erreur d’estimation

d

x

y

0



Quantifier les performances Bruit de mesure % d’échecs

Utilisation d’un modèle de mélange de Gaussiennes 1ère Gaussienne étroite

pour le bruit 2ème Gaussienne large

pour les échecs

4. RÉSULTATS

117



Sans contrainte(2 trackers 2-D)

Sigma 5 pixels

50% d’échecs

Avec des points 3-D(espace image)

Sigma 5 pixels

40% d’échecs

Avec des points 3-D et variation de taille Sigma 0.1 pixel

10% d’échecs

4. RÉSULTATS

118

Séquence d’évaluation spécialement conçue pour mettre en avant l’apport de l’algorithme.


CONCLUSIONS


Extension de l’algorithme Lucas-Kanade

multiples rectifications + agrégation

Conception d’un outil d’évaluation

CONCLUSIONS

Etude de toute la chaine algorithmique

BILAN

120

Caméras

Vitesses relatives aux obstacles


CONCLUSIONS

Reste à valider sur des données réelles : Valider les simulations de calibrage.

Gérer finement le calibrage pour appliquer les multiples rectifications sur des séquences réelles.

Comparer la mesure 3-D par flux optique avec une mesure réelle métrée.

PERSPECTIVES

121


CONCLUSIONS

L’avenir de la stéréoscopie pour les applications automobiles A court ou moyen terme

Technologie assez mature pour des prestations non critiques (simple information au conducteur) ou en complément d’un autre capteur (ex : Radar).

A plus long terme A performances égales, la polyvalence du capteur le rend plus attractif que ses

concurrents.

Les problèmes de sureté de fonctionnement (fausses détections, ou détections manquées) ne sont pas insolubles. Tout comme pour le RADAR et le LIDAR, la prise en compte d’hypothèses sur la scène permet de réduire les erreurs.

Les limites infranchissables de ce capteur (brouillard, obscurité, obstacles masqués …) ne sont pas un réel problème dans la mesure où le conducteur souffre des mêmes limitations.

PERSPECTIVES

122


QUESTIONS

Merci de votre attention

123

Julien Morat 1 er Juillet 2008 Renault / INRIA1 er Juillet 2008 INRIA / Renault Vision...

Documents

Transcript of Julien Morat 1 er Juillet 2008 Renault / INRIA1 er Juillet 2008 INRIA / Renault Vision...