Présenté et soutenu par Mickaël MENARD Le 09 Juillet...

Présenté et soutenu par Mickaël MENARD

Le 09 Juillet 2014 Au sein de l'Institut des Sciences et Techniques de l'Ingénieur d'Angers (ISTIA)

Encadrant : Paul RICHARD

MENARD Mickaël - Soutenance de stage - 09 Juillet 2014 2

Plan ◦ Rappels sur la plateforme

◦ Intégration d’une nouvelle modalité

◦ Mise en place des expériences

◦ Analyses des données subjectives et physiologiques

◦ Discussion

◦ Perspectives

Capteurs Signaux

physiologiques

Modèles

mathématiques

Vecteurs

émotionnels Fusion

Etat

émotionnel

3

Plateforme multimodale temps réel ◦ Capteur électro-encéphalogramme (EEG)

◦ Capteur de fréquence cardiaque

◦ Webcam

MENARD Mickaël - Soutenance de stage - 09 Juillet 2014

Développée en 2010 dans le cadre de la thèse de Mr. Hamza HAMDI.

4 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014

Emotions

Tristesse Joie Colère Peur Surprise Dégoût

5

Les 6 émotions « de base » communes à tout être humain définies par P. Ekman en 1972.


Intégration d’une nouvelle modalité physiologique : capteur de conductivité dermique

6

Intégration

matérielle

Intégration

mathématique

Intégration

logicielle


Utilisation de stimuli dynamiques standardisés


Capteurs utilisés: ◦ Conductivité dermique (T.E.A.)

◦ Fréquence cardiaque (Nonin)

Environnement contrôlé ◦ Salle d’expérimentation close

Sujets recrutés


1 - Explication de l’expérience et consentement du sujet

2 - Installation du sujet

3 – Vérification du branchement et du bon fonctionnement des capteurs

4 - Projection des 12 vidéos avec une vidéo neutre entre chaque catégorie

Notation subjective des émotions ressenties après chaque vidéo

5 – Fin de l’expérience, vérification de l’état émotionnel du sujet

6 - Sortie de l’environnement

9

Durée totale de l’expérimentation = 30 min


Matrice de confusion pour l’ensemble des sujets


Graphiques représentant les données de conductivité dermique en fonction du temps

11

Sujet 23 Sujet 26


Décomposition de chacune de nos fonctions (1 vidéo, 1 sujet) en série de Fourier

𝑋𝑖 = 𝑋𝑖,𝑗𝜑𝑗

+∞

𝑗=1

Construction du tableau des coefficients de Fourier pour

chaque vecteur 𝑌1 𝑋1,1𝑌2 𝑋2,1

⋯𝑋1,𝑘𝑋2,𝑘

⋮ ⋱ ⋮𝑌𝑛 𝑋𝑛,1 ⋯ 𝑋𝑛,𝑘

Avec 𝑌𝑖 le label correspondant à l’émotion induite et 𝑋𝑖 les 𝑘 coefficients de Fourier associés à la fonction


Classification par les Machines à Support de Vecteurs (SVM) ◦ Tracent des hyperplans séparateurs entre les

échantillons

◦ Sélectionnent ceux qui maximisent les marges entre les classes

Implémentées dans le logiciel Weka


Taux de classification (%)

𝑘 Conductivité dermique Fréquence Cardiaque

237 78.8462 89.5833

225 78.8462 89.5833

220 85.5769 89.5833

210 85.5769 89.5833

200 85.5769 89.5833

190 85.5769 89.5833

180 78.8462 84.7222

170 70.1923 72.9167

160 71.1538 76.3889

150 61.5385 69.4444

140 52.8846 65.9722

130 52.8846 65.9722

120 46.1538 57.6389

110 32.6923 53.4722

100 27.8846 47.2222


Correctly Classified Instances 129 89,5833%

Incorrectly Classified Instances 15 10,4167%

Kappa statistic 0,8772

Mean absolute error 0,0312

Root mean squared error 0,1535

Relative absolute error 12,7709%

Root relative squared error 43,8940%

Total Number of Instances 144

15

Classifié comme :

Colère Dégout Peur Joie Surprise Tristesse Neutre

Colère 22 0 0 0 0 0 0

Dégout 5 13 0 0 0 0 0

Peur 10 0 12 0 0 0 0

Joie 0 0 0 27 0 0 0

Surprise 0 0 0 0 19 0 0

Tristesse 0 0 0 0 0 25 0

Neutre 0 0 0 0 0 0 11

Rapport fourni par Weka pour les données de conductivité dermique et 𝑘 = 200


Provenance des sujets

Phénomène de « désirabilité sociale »

Variabilité des modèles


Intégration logicielle ◦ Module externe

◦ Création d’un « modèle » SVM

Validation de la plateforme

Publication(s)

17

Modèle

Dummy

Modèle

Empiric

Modèle RL

Modèle

RNL

SVM


18

[1] M. Ménard, «Rapport Intermédiaire de Master SDS - Évaluation des émotions à travers les mouvements et les bio-signaux,» Laboratoire LARIS, 2014.

[2] H. Hamdi, «Plate-forme multimodale pour la reconnaissance d’émotions via l’analyse de signaux physiologiques : Application à la simulation d’entretiens d’embauche,» Université d’Angers, France, 2012.

[3] M.-Z. Poh, N. C. Swenson et R. W. Picard, «A Wearable Sensor for Unobtrusive, Long-Term Assessment of Electrodermal Activity,» IEEE, 2010.

[4] E. . H. Meijer, F. Y. Smulders, J. E. Johnston et H. L. Merckelbach, «Combining skin conductance and forced choice in the detection of concealed information,» Department of Experimental Psychology, Faculty of Psychology, Maastricht University, Maastricht, The Netherlands, 2006.

[5] E. E. Bartolini, «Eliciting Emotion with Film: Development of a Stimulus Set,» Wesleyan University, 2011.

[6] T. Eerola, «A review of music and emotion studies: approaches, emotions models and stimuli,» University of Jyvaskyla, Jyvaskyla, Finland, 2012.

[7] S. Carvalho, J. Leite, S. Galdo-Álvarez et O. Gonçalves, «The Emotional Movie Database (EMDB): a self-report and psychophysiological study.,» Neuropsychophysiology Lab Cipsi, School of Psychology, University of Minho, Campus de Gualtar, Braga, Portugal., 2012.

[8] J. D. Bednarski, «Eliciting Seven Discrete Positive Emotions Using Film Stimuli,» Vanderbilt University, March 29, 2012 .

[9] A. Schaefer, F. Nils, X. Sanchez et P. Philippot, «A multi-criteria assessment of emotional films,» University of Louvain, Louvain-La-Neuve, Belgium., 2004.

[10] S. Visa, B. Ramsay, A. Ralescu et E. van der Knaap, «Confusion Matrix-based Feature Selection,» College of Wooster, Wooster, OH, 2010.

[11] G. Baudoin et J.-F. Bercher, «Transformée de Fourier Discrète,» École Supérieure d’Ingénieurs en Électrotechnique et Électronique, 2001.

[12] C.-W. Hsu, C.-C. Chang et C.-J. Lin, «A Practical Guide to Support Vector Classi,» National Taiwan University, Taipei 106, Taiwan, 2010.

[13] The University of Waikato, «Machine Learning Group,» [En ligne]. Available: http://www.cs.waikato.ac.nz/ml/index.html. [Accès le 3 Juin 2014].

[14] Platt, John C.;Microsoft Research, «Fast Training of Support Vector Machines using Sequential Minimal Optimization,» Redmond, WA 98052, USA, 2000.


Présenté et soutenu par Mickaël MENARD Le 09 Juillet...

Documents

Transcript of Présenté et soutenu par Mickaël MENARD Le 09 Juillet...