Post on 02-Jul-2015
Introduction aux Introduction aux expressions faciales expressions faciales ––
PrPréélude au projet MONNETlude au projet MONNET
France France LalibertLalibert éé14 mars 200514 mars 2005
2
Tous droits réservés © 2005 CRIM
PlanPlan• Qu’est-ce qu’une expression faciale?• Pourquoi les expressions faciales existent-elles?• Pourquoi s’y intéresser?• Mesure des expressions faciales• Expression faciale ≠ émotion• Différence entre reconnaissance et interprétation• Système d’encodage des actions faciales• Expression spontanée versus expression posée• Méthodes et systèmes d’analyse automatique
3
Tous droits réservés © 2005 CRIM
QuQu’’estest--cece ququ’’uneune expression expression facialefaciale??• Changement dans le visage,
perceptible visuellement, dû àl’activation (volontaire ou non) de l’un ou de plusieurs des 44 muscles composant le visage.
• 250000 expressions possibles
4
Tous droits réservés © 2005 CRIM
PourquoiPourquoi les expressions les expressions facialesfaciales existentexistent--elleselles??
• Trois points de vue différents– Les émotions sont au centre de l’explication des expressions
faciales• Sélection naturelle ⇒ 7 émotions de base ⇒ 7 expressions faciales
universelles (colère, dégoût, joie, mépris, peur, surprise, tristesse)• Les étiquettes pourraient être remises en question car elles
dépendent du langage et de la culture– Les expressions faciales sont des signaux de conversation qui
dépendent des intentions de l’émetteur, du comportement durécepteur et du contexte de l’interaction, non des émotions.
• Hausser les sourcils ↔ incrédulité, froncer les sourcils ↔incompréhension, hausser le menton ↔ ignorance
– Les expressions faciales sont des activateurs et des régulateursd’émotion dû à la plasticité du cerveau
• Changent la température de l’hypothalamus pour faciliter ou inhiberla production de neurotransmetteurs reliés aux émotions
5
Tous droits réservés © 2005 CRIM
Pourquoi sPourquoi s’’y inty intééresser?resser?• Indicateur de l’activité émotionnelle moins intrusif que d’autres méthodes,
utilisé en recherche comportementale.• Enseignement à distance (transmission au professeur de l’état des
étudiants sous forme d’information de haut niveau).• Détection de mensonges.
• Interface personne-système (jeux, bureautique, logiciels d’apprentissage)
• Système de mesure objective ou l’interprétation de l’observateur n’entre pas en ligne de compte.
• Création d’avatars réalistes (mouvements des muscles sous-jacents).
• Dispositif dans les voitures qui avertit le conducteur en cas de perte de vigilance.
• Dispositif dans les avions (information supplémentaire pour la boîte noire).
• Reconnaissance de visages invariante à l’expression
6
Tous droits réservés © 2005 CRIM
Mesure des expressions Mesure des expressions facialesfaciales• Contraction des muscles : déformation non-
rigide temporaire (0.25-5s) des structures faciales (sourcils, paupières, nez, lèvres, texture de la peau)
• Terminologie– Position– Intensité (plus faible pour expression spontanée)– Dynamique (attaque, maintien, relaxation)
• Structures faciales permanentes et transitoires.
Difficile de déterminer l’expression à partird’une image fixe, surtout pour les personnesd’un certain âge.
7
Tous droits réservés © 2005 CRIM
Expression faciale Expression faciale ≠≠ éémotionmotion
Émotions
Voix Posture
Gestes
Direction du regardExpressions faciales
Plusieurs facteursExpressionsfaciales
Émotion Réflexion
État d’espritActivités
physiologiques
Besoins biologiquesDouleur
Fatigue
Communicationnon-verbale
Émotion simulée Clin d’oeilFroncement des sourcils
Une Une Une Une éééémotion peut causermotion peut causermotion peut causermotion peut causerune expression faciale ou non etune expression faciale ou non etune expression faciale ou non etune expression faciale ou non etune expression faciale peut être causune expression faciale peut être causune expression faciale peut être causune expression faciale peut être causééééeeeepar une par une par une par une éééémotion ou non.motion ou non.motion ou non.motion ou non.
8
Tous droits réservés © 2005 CRIM
Reconnaissance et interprReconnaissance et interpréétation tation des expressions facialesdes expressions faciales
• Reconnaissance des expressions faciales : classement des déformations des structures faciales en classes abstraites basé sur l’information visuelle
• Interprétation des expressions faciales : lien avec les émotions de base (utilise l’information contextuelle)
9
Tous droits réservés © 2005 CRIM
SystSystèème dme d’’encodage des encodage des actions faciales (FACS)actions faciales (FACS)
2
1 4
ouvrir bouche25
hausser sourcil int.1
hausser sourcil ext.2
hausser menton17
baisser coins lèvres15
bomber joues13
hausser coins lèvres12
creuser ride nasale11
hausser lèvre sup.10
plisser nez9
hausser joues6
hausser paupière sup.5
presser lèvres24
serrer lèvres23
étirer lèvres20
baisser sourcil4
4
5
6
9
10
11
12
12
13
1517
20
23, 24
25
© 2000 A Human Face
10
Tous droits réservés © 2005 CRIM
SystSystèème dme d’’encodage des encodage des actions faciales (FACS)actions faciales (FACS)
1+4+11+15+17tristesse
1+2+5+25surprise
1+2+4+5+20+25peur
6+10+11+12+13+25+37
joie
9+10+17+25dégoût
4+5+17+23+24colère
mépris 10+12+14 unilatéral
11
Tous droits réservés © 2005 CRIM
dégoût
Mouvements faciaux globauxMouvements faciaux globaux
Bassili 1979Essa 1994 (images)
colère joie peur surprise tristesse
12
Tous droits réservés © 2005 CRIM
Expression Expression spontanspontanééee versus versus expression expression posposééee• Pour différencier un sourire authentique d’un sourire social on regarde …
les yeux!
Sourire de Duchenne (UA 6)Neurologiste Français 19 es
Sourire “Pan American”
Ondelettesde Gabor
“Support VectorMachines”
Images dedifférence
•Problème de classification binaire non séparablelinéairement : noyaux gaussiensou polynomiaux pour SVM.•Taux de classification : 86%
Paralysie de larégion volontaire
Paralysie de larégion émotionnelle
SourirePan American
Sourire deDuchenne
© Sinauer Associates, Inc.
13
Tous droits réservés © 2005 CRIM
MMééthodes dthodes d’’analyse analyse automatiqueautomatique
Détection duvisage
Normalisationdu visage
Extraction desstructures faciales
Extraction desdéformations
Extraction dumouvement
Méthodesglobales
Méthodeslocales
Méthodesglobales
Méthodeslocales
Basées surl’image
Basées surun modèle
Basées sur leflux optique
Basées sur un modèle de mvt
Basées sur le suivi de pts de structure
Basées sur les images de ≠≠≠≠
Basées sur un marqueur
Représentation desstructures faciales
Coeff. de proj.Param. de modèles
Classification desexpressions faciales
Reconnaissance Interprétation
Encodageen UA
Émotions
12
3 45
6
14
Tous droits réservés © 2005 CRIM
MMééthodes dthodes d’’analyse automatique analyse automatique ––extraction des structures facialesextraction des structures faciales
Modèle d’apparence activeLanitis 1997
2
Modèle 2D basé sur les ptsPantic 1999
3
Expression neutre requise
Filtres de Gabor1
15
Tous droits réservés © 2005 CRIM
MMééthodethode dd’’analyseanalyse automatiqueautomatique ––extraction des structures extraction des structures facialesfaciales
Flux optiqueLien 2000•Sensibilité au bruit
•Sensibilité à la variation d’illumination•Sensibilité à la discontinuité de mvt•Coût de calcul élevé
•Seuls les mvts possibles d’un•pt de vue physique sont considérés•Construction manuelle des modèles de visage et de tête•Coût de calcul élevé
Modèle de mvt déformable 3DDeCarlo 1996
4
5
6 Suivi de pts de structureWang 1998
Préservent latopologie locale
Servent à reconnaîtreles expressionsfaciales
16
Tous droits réservés © 2005 CRIM
MMééthodesthodes dd’’analyseanalyse automatiqueautomatique ––classification des structures classification des structures facialesfaciales
• Modèle de Markov caché• Réseau de neurones récurrent• Gabarits d’énergie de mouvement• Réseau de neurones feed-forward• Plus proche voisin avec mesure de distance
colère dégoût joie surprise
17
Tous droits réservés © 2005 CRIM
MMééthodesthodes dd’’analyseanalyse automatiqueautomatique–– systsystèèmesmes hybrideshybrides• Utilisent des algorithmes d’extraction qui mettent
l’emphase sur des structures faciales différentes1. Méthode globaled’extraction du mvt
2. Méthode localed’extraction du mvt3. Méthode locale
d’extraction des déformations
3 pts dans la 1re imagede chaque séquence
Lien 1998Fasel 2003 (image)
15 UA
18
Tous droits réservés © 2005 CRIM
ConclusionConclusion• Reconnaissance des expressions faciales est un problème
complexe et pour l’humain et pour la machine– Déformations non-rigides– Variations inter-personnes– Micro-expression (tentative de camouflement d’une émotion 0.06s)– Expression subtile (début d’une émotion)
• Plus facile de reconnaître l’expression– Sujet connu– Expression neutre disponible
• Beaucoup de systèmes demandent une intervention manuelle et/oùont un coût de calcul élevé.
• Reconnaître une émotion n’est pas la comprendre ou comprendrece qui l’a provoquée … sauter aux conclusions peut être pire que de ne pas reconnaître une émotion!
• http://www.emotionsrevealed.com/