1

Le Projet BIOMET IIVérification biométrique multimodale de l’identité

Bernadette DORIZZI , GET/INT

Sonia SALICETTI, GET/INT

2

Plan

• Pourquoi la Biométrie ?

• BIOMET II dans la suite de BIOMET: objectifs

• Principales réalisations de BIOMET II– Base de donnée multimodale– Quelques résultats unimodaux– Résultats de Fusion

• L’après BIOMET

3

Pourquoi la Biométrie ?

• Besoins accrus en terme de sécurité• Les systèmes de vérification standards :

cartes à codes, badges magnétiques présentent des inconvénients : perte, vol, falsification

• L’usage de la biométrie reste encore très limité: problème d ’acceptabilité, de performances, d’usages, de législation...

4

Pourquoi utiliser plusieurs modalités biométriques?

• Modalités intrusives (iris, empreintes digitales) plutôt fiables , versus modalités non intrusives (visage, voix, signatures dynamiques) moins performantes

• Utilisation conjointe : fiabiliser les performances

• Utilisation alternative : s’adapter aux situations d’usage

5

BIOMET II dans la suite de BIOMET

• Le projet BIOMET, coordonné par Marc SIGELLE, GET/ENST (projet incitatif 2001)

• Rappel des objectifs de BIOMET– Créer une base de donnée multimodale : 5 modalités

• visage• voix• signature en-ligne • empreintes digitales• forme de la main

– Mettre au point des systèmes de vérification unimodaux– Tester des stratégies de fusion

6

BIOMET: Participants• INT:

– vérification de signatures en-ligne

– reconnaissance de visages sur images issues d'une caméra infra-rouge

– Fusion de scores

• ENST: – vérification du locuteur

– reconnaissance de visages sur images issues d'un système d'acquisition 3D

– implémentation d ’algorithmes biométriques sur carte à puce

• EURECOM: – vérification du locuteur

– reconnaissance de visages sur images issues d'une caméra numérique

– empreintes digitales

• ELDA : validation/distribution des données

7

La Base BIOMET

• Définition de protocoles d’acquisition, d’enregistrement et de sauvegardes par modalités, réalisation d’un logiciel Biblos

• 3 campagnes d’acquisition échelonnées de 3 mois environ (prise en compte de la variabilité temporelle)

• environ 130 personnes enregistrées

8

Poste de travail et protocoles d’acquisition

• 5 modalités « réparties » sur 3 postes :– Image de la main, signature dynamique

et empreintes digitales

– Visage : caméra infrarouge + caméra 3D

– Visage + parole caméra vidéo numérique

9

Poste de travail (suite)

10

Scanner : forme de la main

• Scanner HP

• Validation des données

Extraction de points caractéristiques dans les images de main (projet ENST)

11

• Modèle DCR-TR20-E • Vidéo + parole• Stockage numérique

– sur cassette DV– sur Memory Stick :

pleine résolution (1152 x 864)

• Validation des données

(stage ENST)

Caméra numérique

12

Caméra infrarouge

• Indépendant de l’illumination visible

• Fiabilité d’acquisition

• Premiers résultats de vérification à confirmer (stage INT)

(a) (b) (c)

(d) (e) (f)

13

Système d’acquisition 3DCharles Beumier, ENST

• Lumière structurée Fiabilité d’acquisition Faible coût mémoire Rapidité algorithmique

Prototype avec flash / diapositiveEn développement pour la couleur

(acquisition de la texture)

Illumination non uniformeCouleurs imparfaites de la diapositive

14

Capteurs d’empreintes digitales

• SAGEM – Morpho Touch

– Scores d’identification

• GEMPLUS – PC TOUCH 430

15

Signatures dynamiquesS. Salicetti, INT

• Tracé dynamique (x,y)• Pression dynamique• Orientation dynamique

• Validation des données

• Implantation d’un système de vérification à base de HMM

16

Signatures dynamiques (suite)

Acquisition d’une signature

Acquisition d’une imitation

17

Activités carte à puceJ. Leroux les Jardins, ENST

• Réalisation d’un algorithme de vérification d’empreintes digitales

• Stockage sur carte à puces des minuties

• Vérification d’identité associée (extraction de caractéristiques sur le PC, mise en correspondance sur la carte)

18

Vérification du locuteur

• Evaluations NIST pour la parole (ENST)– ModèleS GMM et arbre de classification

• Adaptation des reconnaisseurs au locuteur basés sur l’usage de voix propres (Eurecom)– Voix propres et clustering de locuteurs– Prise en compte des accents et des variations

lexicales des locuteurs

19

Reconnaissance de visages en images fixes (Eurecom)

• modélisation de la transformation à effectuer pour apparier diverses variations d’un visage d’une personne plutôt que sur la modélisation directe des variations du visage;

• Approche composée d’une mosaïque d’appariements locaux et flexibles sous la contrainte d’une cohérence globale supervisée par une chaîne de Markov cachée bidimensionnelle (HMM 2-D)

20

Premiers résultats• Validation (partielle) en reco. de visages, avec des

résultats significatifs sur la base Feret.– 500 personnes pour l’apprentissage et 500 pour les tests (2 images / personnes).

– Taux dídentification de lórdre de 96 à 97% (ref. Fisherfaces ~93%)

21

• Base de chimères: – 38 signataires de la base de PHILIPS

– 38 locuteurs de la base POLYVAR

• Modèle HMM de vérification de signatures (INT)

• Modèle HMM de vérification de locuteurs (ENST)

• Fusion par un modèle à base d’apprentissage de type SVM (Support Vector Machine)

Fusion bimodale parole-signatureENST-INT

22

• Résultats

Fusion bimodale (suite)

1.75% 3.00% 2.63% SVM

4.56% 5.11% 4.94%Cov. Inverse

5.61% 9.31% 8.20% Moy. Arith.

7.72% 11.56% 10.41% Parole

17.89% 4.35% 8.41% Signatures

FR FA TE Modèle

23

• Une simple fusion de scores permet de fiabiliser les performances des systèmes unimodaux : ceci a déjà été vérifié dans le contexte parole-visage (projets IST : M2VTS, BANCA)

• Des questions :– Quel algorithme de fusion?– Combien de modalités fusionner? De quelles qualités? Est-ce que la

fusion améliore toujours les performances? – Compromis complexité (implantation) / performance etc…

Conclusion : multimodalité biométrique

24

BIOMET : rayonnement • Publications :

– 21 publications (ICASSP, AVBPA, ICSLP, ICPR etc…)

– A noter une publication commune à AVBPA 03 (base BIOMET)

• Liens avec le COST 275 (Biometrics on Internet), présentation à FT R&D, Sagem, Thalès ID etc…

• Co-organisation du Workshop Multimodal User Authentication, Santa Barbara, Dec 11-12, 03

• Etc…

25

Prolongements ultérieurs • Enregistrement d’une base de donnée

complémentaire à l’Université de Fribourg (Suisse)• Renforcement du partenariat industriel : Thalès,

Gemplus, Sagem, BougueTélecom• Rédaction d’un livre en français coordination Eurecom

• Développer des statégies de fusion plus complexes: rejet, hiérarchie de modalités, alternatives etc…

• Développer la relation usages-modalités-interfaces (projet incitatif GET, BIOLAB en cours)

26

Projets en cours de montage :

• TRUST-eS (projet MEDEA +) , le GET coordonne le WP biométrie

• BIOSECURE : le GET coordonne la proposition pour un NoE du FP6

• Proposition d’une AS biométrie dans le RTP 13, sécurité

• Proposition d’une ACI Sécurité informatique : « Biométrie et multimodalités » (LIA, Eurecom, INT, CLIPS

• Participation à des montages de projets IP et STREPS dans le cadre FP6