Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique...

40
Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée • N’implique pas de coopération de l’usager • Peut exploiter des bases de données existantes et un enrôlement distant • Très liée à d’autres applications (indexation, IHM, cadrage automatique, localisation) • Capteurs très peu chers

Transcript of Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique...

Page 1: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Biométrie «visage »avantages

• Sans contact voire distante, naturelle, bien acceptée

• N’implique pas de coopération de l’usager• Peut exploiter des bases de données

existantes et un enrôlement distant• Très liée à d’autres applications (indexation,

IHM, cadrage automatique, localisation)• Capteurs très peu chers

Page 2: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Inconvénients

• Sensible à l’environnement d’acquisition (segmentation du fond, illumination)

• Sensible aux expressions faciales et aux altérations de l’aspect (âge, pilosité)

• Potentiellement intrusif du point de vue éthique (vie privée) du fait de la non coopération

Page 3: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Galerie de 320 visages

Page 4: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Acquisition

• Capteurs: caméra (fixe/ PTZ)

• Caméras multiples

• Spectre: Visible / IR

• Neutralisation du fond (mise au point)

• Capteurs 3D (stéréo active / passive, « range finder »)

• Image fixe vs vidéo

Page 5: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Multiples

Page 6: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Synthèse d’une vue faciale

Page 7: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Stéréo (1)

Exemple de lignes épipolaires et de pixels homologues

Page 8: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Triangulation

Centre optique

Point dans l’espace

Plan image

P2P1

Point de l’image6/21

Page 9: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Localisation: un problème très difficile

Choix du cadrage, de la forme, problème des visages multiples

Page 10: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Outils pour la localisationAntonio1

006.bmp

50 100 150

20

40

60

80

100

120

apres lissage + seuillage

50 100 150

20

40

60

80

100

120

Teinte chair obtenue par Un modèle statistique (GMM)

85 90 95 100 105 110 115 120 125 130120

130

140

150

160

170

180

190

Diagramme des pixels de peau dans l’espace YCbCr

RGB YCbCr

Y=(R+G+B)/3

Cb = bleu Cr= rouge

Page 11: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

suite

Détection de l’ovale du visage par Transformation de Hough

Page 12: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Transformée de Hough Ellipse

Vote d’un pixel de contour (pour un rayon optimal)

Résultat de des votes accumulés

Page 13: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

suite

Page 14: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Cadrage

Page 15: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Fusion

Page 16: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Matching de visages

• Normalisations radiométriques (illumination)• Vecteur de mesures (après corrections

géométriques))• Portrait robot• Modèles déformables (morphing)• « Eigenface » (Analyse en Composantes

Principales)• Réseaux de neurones

Page 17: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Problèmes d’illumination

Page 18: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Solution SFS: « shape from shading »

Page 19: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Mesures

1.0000 0.3448 0.4705 0.3184 0.0931 0.2538 0.6033

1=3-5

2=1-3

3=1-2

4=1-4

5=4-6

6=6-7

7=3-7

Page 20: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

suite

1.0000 0.3284 0.4735 0.3112 0.0895 0.2589 0.6016

1.0000 0.3448 0.4705 0.3184 0.0931 0.2538 0.6033

Page 21: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

suite

1.0000 0.4705 0.4311 0.2594 0.1417 0.2880 0.5410

1.0000 0.4957 0.4282 0.3113 0.1322 0.3006 0.5716

Page 22: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

suite

1.0000 0.3425 0.4587 0.3104 0.1121 0.2187 0.5980

1.0000 0.3801 0.4850 0.3803 0.1151 0.2584 0.6314

78.9081 27.0276 36.1940 24.4949 8.8473 17.2576 47.188672.5194 27.5622 35.1704 27.5772 8.3445 18.7361 45.7867

Page 23: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

couleur

112.5482 158.9421 1.6436 2.3160

112.8235 154.0980 1.5746 6.0394

111.5658 163.2018 1.6122 3.4773

109.8647 165.9903 1.4718 4.7837

MoyCb,MoyCr,StdCb,StdCr

Page 24: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

suite

113.8812 143.1937 2.2329 4.0492

120.9939 138.0364 1.5594 2.2675

101.0819 159.5731 1.7571 4.9987

Page 25: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Portrait robot

Match avec base d’yeux

Match avec base de bouches

Page 26: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Modèle mpeg4

Page 27: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Appearance Shape Model

S = Vecteur des coordonnées des sommets

On ne conserve que la forme et pas la texture

Page 28: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Exemples de vecteurs de déformation pour la forme

Page 29: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Alignement (ASM)

Page 30: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Alignement des points de références

Page 31: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Modèle 3d

Candide 3d Autre modèle 3d

Page 32: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Modèles moyens

Modèles moyen (F/H)

Page 33: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Transfert de texture

Remise à l’identique (forme) de visages

Page 34: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Eigenfaces

• Un visage 16x16 = un point de R16

• Un ensemble de visages = nuage E de points

• Calcul du centre de E et de ses « axes principaux »

mE

a

a =m + u1V1+…..+ unVn

Page 35: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Visage moyen

Page 37: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Approche 3D et vidéo

• Utiliser la forme 3D du visage (plus d’infos, pas de problèmes d’orientations, permet de tenir compte des illuminations)

• Capteur= Stéréo passive ou active / Vidéo

• Problème de l’appariement des pixels

• Enrôlement plus complexe

Page 38: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Capteur 3D

Page 39: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Exemples de données 3d

Page 40: Biométrie «visage » avantages Sans contact voire distante, naturelle, bien acceptée Nimplique pas de coopération de lusager Peut exploiter des bases de.

Conclusion

• Une technologie encore peu robuste (en reconnaissance) en conditions quelconques  (« images volées »)

• Applicable avec des contraintes (expression, illumination, fond, pose) pour l’authentification

• Impose un enrôlement périodique• Applications embarquées (voiture, téléphone,

portable, …)