Alexis Clay 7 décembre 2009
description
Transcript of Alexis Clay 7 décembre 2009
1
Modèle d’architecture pour la reconnaissance d’émotions :
application au mouvement et à la danse augmentée
Alexis Clay7 décembre 2009
Thèse encadrée par Nadine Couture, Maylis Delest, Laurence Nigay
2
Domaine de recherche
Ingénierie de la reconnaissance d’émotions
3
Besoin d’ingénierie pour les systèmes de reconnaissance
d’émotions
Klein 2002
Reynolds 2001
Healey 1998
personnalisée générique
active
passive
Aznar 2005
Balome-nos 2004
Busso 2004
Camurri 2004
Camurri 2001
Camurri 2000
Castella-no 2008
Chanel 2006
Chi 2000
El Kaliou-by 2004
El Nasr 2000
Castella-no 2009
Gebhard 2005
Ghamen 2008
Gunes 2004
Hammal 2007
Ioannou 2006
Jin 2005
Kapoor 2005
Kim 2006
Lisetti 2004
Mota 2003
Paleari 2006
Pantic 2006
Peter 2005
Scheirer 1999
Volpe 2003
Vyzas et 1999
Wong 2006
Zeng 2006
Zeng 2004
Hétérogénéité des systèmes
passifs et génériques
4
Objectif
Un modèle unificateur pour la reconnaissance d’émotions
5
Comment concevoir un modèle d’architecture ?
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux Coutaz 2001
Validation du modèle1
2
3 4
6
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
B) Décomposition en un motif fonctionnel du domaine
C) Requis pour le modèle
A) Définition d’une émotion et de la reconnaissance d’émotions
Définitions motif fonctionnel RequisDéfinitions
7
Une taxonomie adaptée à l’informatique
Caractéristiques
Etats affectifs
Focus sur l’évènement
Déclenchement d’une évaluation
Intensité
Durée Rapidité de changement
Impact sur le comportement
Synchronisation
Émotions: en colère, triste, joyeux, apeuré, honteux, fier
Humeurs: gai, morose, apathique, enjoué
Positions interpersonnelles: distant, froid, chaleureux
Préférences/ Attitudes: aimant, haïssant, désireux
Dispositions affectives: nerveux, anxieux
Scherer, 2004
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
motif fonctionnel RequisDéfinitions
Evènement Evaluation Expression hautement synchronisée
Définition précise et unificatrice
intenses, courtes
Réactions:MentalesPhysiquesphysiologiques
8
Processus humain d’interaction émotionnelle
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
motif fonctionnel RequisDéfinitions
Expérience émotionnelle
Expression
Communicationvers l’extérieur
Reconnaître des caractéristiques
Capter l’information
Evènement Réaction
Reconnaître l’émotion
4 canauxVisage
VoixMouvement
Réactions neurophysiologiques (ANS)
9
Processus informatique de reconnaissance émotionnelle
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
motif fonctionnel RequisDéfinitions
Reconnaître l’émotion
Reconnaître des caractéristiques
Capter la communication
Réaction
Reconnaître l’émotion
Reconnaître des caractéristiques
Capter l’information
Réaction
Capteurs
Identification et validation de caractéristiques;Reconnaissance multicanaux
Définition et modèles d’émotionsAlgorithmes d’interprétation
Modifier le comportement du système
10
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
B) Décomposition en un motif fonctionnel du domaine
C) Requis pour le modèle
A) Définition d’une émotion et de la reconnaissance d’émotions
Définitions Décomposition fonctionnelle RequisMotif fonctionnel
11
Reconnaître l’émotion
Reconnaître des caractéristiques
Capter l’information
Emergence d’un motif fonctionnel des systèmes existants
Analyse
Capture
Interprétation
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Définitions RequisMotif fonctionnel
Aznar 2005
Balome-nos 2004
Busso 2004
Camurri 2004
Camurri 2001
Camurri 2000
Castella-no 2008
Chanel 2006
Chi 2000
El Kaliou-by 2004
El Nasr 2000
Castella-no 2009
Gebhard 2005
Ghamen 2008
Gunes 2004
Hammal 2007
Ioannou 2006
Jin 2005
Kapoor 2005
Kim 2006
Lisetti 2004
Mota 2003
Paleari 2006
Pantic 2006
Peter 2005
Scheirer 1999
Volpe 2003
Vyzas et 1999
Wong 2006
Zeng 2006
Zeng 2004
Hétérogénéité des systèmes
passifs et génériques
Capter l’information de l’utilisateur de façon passive
Extraire des caractéristiques émotionnellement pertinentes
Inférer une émotion à partir des valeurs des caractéristiques considérées
12
Caractère unificateur du motif en trois niveaux
Camurri 2004
Camurri et 2001
Castella-no 2008
Castella-no 2009
Castella-no 2008
Volpe 2003
Analyse
Capture
Interprétation
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Définitions RequisMotif fonctionnel
Capture vidéo
Prétraitement de l’image
Caractéristiques bas niveau
Caractéristiques haut niveau
Interprétation
13
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
B) Décomposition en un motif fonctionnel du domaine
C) Requis pour le modèle
A) Définition d’une émotion et de la reconnaissance d’émotions
Définitions Motif fonctionnel RequisRequis
14
Capteurs, caractéristiques, et interprétations variées
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Définitions Motif fonctionnel RequisRequis
Analyse
Capture
Interprétation
Approche théorique (psychologie):Approche catégorielleApproche continueApproche à composants
Ekman, 1999
Russell 1980, Mehrabian 1999
Scherer 1984
Outil algorithmique (informatique):Algorithmes de classificationAlgorithmes sans classification Lisetti 2006
Ioannou 2006, Ghamen 2008…
Visage: FACS
Voix: hauteur moyenne, vitesse, intensité…
Mouvement: tronc, vitesse, directivité…
ANS: rythme cardiaque, sudation…
Ekman, 1979
DeMeijer 1989
Scherer 1985 Sebe 2005
Zeng 2009
Volpe 2003
Chanel 2006
Requis
1) Système ouvert
15
Nécessité de séquence de traitements à chaque niveau
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Définitions Motif fonctionnel Requis
Capture vidéo
Prétraitement de l’image
Caractéristiques bas niveau
Caractéristiques haut niveau
Interprétation
Capture vidéo
Prétraitement de l’image
Caractéristiques bas niveau
Caractéristiques haut niveau
Interprétation
Mélange des interprétations
Camurri 2004
Castella-no 2008
Castella-no 2009
Castella-no 2008
Volpe 2003
Requis
1) Système ouvert
2) Séquences de traitements
3) Reconnaissance multicanaux
16
Caractéristiques bloquantes
Capture vidéo
Prétraitement
Carac. bas niveau
Carac. haut niveau
Interprétation
Capture vidéo
Prétraitement
Carac. bas niveau
Carac. haut niveau
Interprétation
Mélange des interprétations
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Définitions Motif fonctionnel Requis
Geste direct
Début
Fin
Geste indirect
Début
Fin
directivité
Directivité = chemin parcouru / le plus court
Volpe 2003
Requis
1) Système ouvert
2) Séquences de traitements
3) Reconnaissance multicanaux
4) Gestion des caractéristiques temporisées
17
Intégration de systèmes tiers
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Définitions Motif fonctionnel Requis
Détection de forme de la
boucheInterprétation
vidéo forme
Interprétation
vidéoForme de la bouche
vidéoForme de la bouche émotion
Système tiers
Système tiers
Système tiers
Requis
1) Système ouvert
2) Séquences de traitements
3) Reconnaissance multicanaux
4) Gestion des caractéristiques temporisées
5) Intégration de systèmes tiers
18
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
19
Style : une architecture basée composants
Composant
Réceptacles Puits d’évènements
Facettes
Sources d’évènements
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
La branche émotion : un modèle d’architecture basé composants
Architectures à composants : extensibilité, modifiabilité et réusabilité
20
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
B) Appui sur le domaine de l’interaction multimodale
A) Définition de la branche émotion
Définitions Multimodalité SynchronisationLa branche émotion
C) Fusion des données: une synchronisation centralisée
D) Intégration de la branche émotion dans des architectures interactives
Intégration dans l’IHM
E) Intégration de systèmes tiers
21
Composants pour la reconnaissance d’émotions
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Analyse
Capture
Interprétation
Unité de capture Flux de capture
Extracteur de caractéristiques Flux de caractéristiques
Interpréteur Flux d’émotions
Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM
Adaptateur
Concentrateur
22
Composant 1 : l’unité de capture
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Rôle : Faire l’interface avec un dispositif
Flux de données:2 x 6 degrés de libertéUC: Capteurs
PolhemusPilote
Flux de données:23 x 6 degrés de libertéUC: Combinaison
MovenPilote
Réseau
t0t1 t0t2 t1 t0t2 t1 t0t3 t2 t1 t0t3t4
Appliquer une estampille de temps initial des données aux blocs de données du flux sortant
Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM
t0t1 t0t2 t1 t0t2 t1 t0t3 t2 t1 t0t3t4
23
Composant 2 : l’extracteur de caractéristiques
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Rôle : extraire une ou plusieurs caractéristiques depuis un ou plusieurs flux de données
EC: écartement des bras
Ouvert / Indéterminé / FerméUC: Combinaison
Moven
UC: Combinaison Moven
EC1: segmentation
du mouvement
EC2: Directivité
UC: Combinaison Moven
EC1: vitesse du bassin
Vecteur vitesse
Lent / Rapide
EC2: direction sagittale
Pause / mouvement
Arrière / immobile / avant
Direct / indirect
Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM
24
Composant 3 : l’interpréteur
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Rôle : Inférer une émotion depuis les flux de caractéristiques
Modèle d’émotions
Algorithme d’interprétation
Joie / Peur / Colère / Tristesse / Dégoût / Surprise
Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM
25
Composant 4 : l’adaptateurAnalyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Forme de la bouche
Positions commissurescaméra
Flux vidéo NdG {sourire, neutre, vers le bas}2x (x,y)caméra
Flux vidéo couleur Ad.
Flux vidéo NdG
Rôle : Modifier un flux de données
UC2: combinaison Moven
UC1: capteurs polhemus
Repère (A, x1, y1, z1)
Repère (B, x2, y2, z2)
AdaptateurRepère (B, x2, y2, z2)
Repère (B, x2, y2, z2)
Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM
26
Composant 5 : le concentrateur
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Rôle : Amalgamer deux flux de données selon une stratégie ad hoc
UC2: combinaison Moven
UC1: capteurs polhemus
Repère (A, x1, y1, z1)
Repère (B, x2, y2, z2)
Adaptateur
Repère (B, x2, y2, z2)
Repère (B, x2, y2, z2)
Concentrateur
Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM
27
Exemple d’assemblageAnalyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
UC2: Combinaison Moven
UC1: Capteurs Polhemus
Adap-tateur
Concen-trateur
EC1: Courbure du tronc
EC2: Expansion des bras
EC3: Vitesse
EC5: Direction sagittale
EC4: Direction verticale
I: Interpréteur
{Joie, colère, peur, tristesse, dégoût,
surprise}Matrice de poids
Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM
DeMeijer 1989
28
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité
B) Appui sur le domaine de l’interaction multimodale
A) Définition de la branche émotion
C) Fusion des données: une synchronisation centralisée
D) Intégration de la branche émotion dans des architectures interactives
E) Intégration de systèmes tiers
29
Définition d’une modalité en IHM
Point de vue utilisateur
• Quel dispositif?• Comment communiquer
(voix, geste, manipulation d’un clavier)?
• Comment construire la communication pour être compris par la machine?
Point de vue système
• Quel dispositif?• Dans quel format les
données sont-elles?• Comment fusionner les
données de modalités différentes?
modalité = <dispositif, système représentationnel> | <modalité, système représentationnel>
Nigay 1996
d
sr
dsr
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité
Bolt 1980
30
Reconnaissance multimodale != reconnaissance multicanaux
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Point de vue utilisateur
• Quel dispositif?• Comment communiquer
(voix, geste, manipulation d’un clavier)?
• Comment construire la communication pour être compris par la machine?
Point de vue système
• Quel dispositif?• Dans quel format les
données sont-elles délivrées?
• Comment fusionner les données de modalités différentes?
Modalité = <(dispositif | modalité), canal de communication émotionnelle>Ex: <microphone, voix>; <caméra, expressions faciales>; <combinaison de suivi,
mouvement>
Redéfinition d’un point vue système
seul
La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité
31
Redéfinition d’une modalité pour notre modèle
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Dispositif Prétrai-tement
Caractéri-stique bas
niveau
Caractéri-stique haut
niveau
Interpré-tation 1
Mélange d’interpré-
tations
Interpré-tation 2
Modalité = <dispositif, système représentationnel> | <modalité, système représentationnel>Modalité = <…<<dispositif, système représentationnel 1>, système représentationnel 2>… >
Modalité = <…< d, srC1>, …, srC
n>, srA1>…, srA
m>, srI
1>…, srIp>
Modalité de capture Modalité d’analyse
Modalité d’interpré-
tation
La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité
32
Bénéfices du domaine de la multimodalité
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Assignation
Equivalence
Redondance
Complémentarité
Propriétés CARE Nigay 1995 Martin 1998
Espace TYCOON
Spécialisation
Equivalence
Redondance
Complémentarité
TransfertTransfert
Outils pour la conception d’application multimodale
Bouchet 2006
EC: écartement des bras
UC: Combinaison Moven
UC2: Combinaison Moven
UC1: Capteurs Polhemus
Adap-tateur
Concen-trateur
EC: bras
EC: troncInterpréteur
EC: écartement des bras
UC: Combinaison Moven
La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité
33
Appui sur l’interaction multimodale pour une modélisation UML
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Système représentationnel
La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité
Bouchet 2006
34
Appui sur l’interaction multimodale pour une modélisation UML
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité
Bouchet 2006
35
Propriétés CARE appliquées au modèle: un cadre
génératif
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
CaptureAnalyse
Interprétation
Complémentarité
Assignation
Redondance
Equivalence
Constat: La redondance de caractéristiques et l’équivalence à tous niveaux ne sont pas explorés dans les systèmes existants.
Espace de conception à explorer
La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité
C
A
R
E
36
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Multimodalité Synchronisation Intégration dans l’IHMSynchronisation
B) Appui sur le domaine de l’interaction multimodale
A) Définition de la branche émotion
C) Fusion des données: une synchronisation centralisée
D) Intégration de la branche émotion dans des architectures interactives
E) Intégration de systèmes tiers
37
Synchronisation des données en reconnaissance d’émotions
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Multimodalité Synchronisation Intégration dans l’IHMSynchronisation
UC2: Combinaison Moven
UC1: Capteurs Polhemus
Adap-tateur
Concen-trateur
EC1: Courbure du tronc
EC2: Expansion des bras
EC3: Vitesse
EC5: direction sagittale
EC4: Direction Verticale
I: Interpréteur
{Joie, colère, peur, tristesse, dégoût,
surprise}Matrice de poids
Apposition d’une estampille de temps entrant des données
Estampille de temps initial: synchronisation de chaque bloc par rapport à l’expression
Chevauchement temporel des blocs même expression émotionnelle
Synchronisation centralisée
38
Le moteur de synchronisation, un mécanisme sous-jacent à
l’assemblage
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Multimodalité Synchronisation Intégration dans l’IHMSynchronisation
UC2: Combinaison Moven
UC1: Capteurs Polhemus
Adap-tateur
Concen-trateur
EC1: Courbure du tronc
EC2: Expansion des bras
EC3: Vitesse
EC5: direction sagittale
EC4: Direction Verticale
I: Interpréteur
{Joie, colère, peur, tristesse, dégoût,
surprise}Matrice de poids
UC1: Capteurs Polhemus
UC2: Combinaison Moven
Adaptateur
Concentrateur
P
P P P P
A
A
39
Gestion des caractéristiques bloquantes: le pot de
synchronisation
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Multimodalité Synchronisation Intégration dans l’IHMSynchronisation
UC2: Combinaison Moven
UC1: Capteurs Polhemus
Adap-tateur
Concen-trateur
UC1: Capteurs Polhemus
UC2: Combinaison Moven
Adaptateur
Concentrateur
PMAC
AM
Pot de synchronisation
Un pot / composant: limiter le blocage
40
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Synchronisation Intégration dans l’IHMIntégration dans l’IHM
B) Appui sur le domaine de l’interaction multimodale
A) Définition de la branche émotion
C) Fusion des données: une synchronisation centralisée
D) Intégration de la branche émotion dans des architectures interactives
E) Intégration de systèmes tiers
Intégration de systèmes tiers
41
Intégration dans ARCH
Noyau Fonctionnel
Interface au Noyau
Fonctionnel
Contrôleur de dialogue
Interaction logique
Interaction physique
Mécanisme de branching
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Synchronisation Intégration dans l’IHM Intégration de systèmes tiers
Interprétation
Analyse
Capture
42
Branchement sur la branche fonctionnelle
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Noyau Fonctionnel
Interface au Noyau
Fonctionnel
Contrôleur de dialogue
Interaction logique
Interaction physique
Interprétation
Analyse
Capture
Exemple: ballet augmenté
Synchronisation Intégration dans l’IHM Intégration de systèmes tiers
43
Branchement sur le contrôleur de dialogue
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Noyau Fonctionnel
Interface au Noyau
Fonctionnel
Contrôleur de dialogue
Interaction logique
Interaction physique
Interprétation
Analyse
Capture
Exemple: système d’apprentissage
Synchronisation Intégration dans l’IHM Intégration de systèmes tiers
44
Branchement sur la branche interaction
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Noyau Fonctionnel
Interface au Noyau
Fonctionnel
Contrôleur de dialogue
Interaction logique
Interaction physique
Interprétation
Analyse
Capture
Exemple: changement de modalités pour un pilote stressé
Synchronisation Intégration dans l’IHM Intégration de systèmes tiers
45
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Synchronisation Intégration dans l’IHM
B) Appui sur le domaine de l’interaction multimodale
A) Définition de la branche émotion
C) Fusion des données: une synchronisation centralisée
D) Intégration de la branche émotion dans des architectures interactives
E) Intégration de systèmes tiers
Intégration de systèmes tiersIntégration de systèmes tiers
46
Encapsulation d’un système dans un composant
Synchronisation Intégration dans l’IHM Intégration de systèmes tiers
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
UC2: Combinaison Moven
UC1: Capteurs Polhemus
Adap-tateur
Concen-trateur
EC1: Courbure du tronc
EC2: Expansion des bras
EC3: Vitesse
EC5: direction sagittale
EC4: Direction Verticale
I: Interpréteur
{Joie, colère, peur, tristesse, dégoût,
surprise}Matrice de poids
Système tiers
Système tiers
Limitation pour la synchronisation: estampille de temps des blocs de données
47
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
B) Modélisation de systèmes existants
C) Réalisation logicielle: eMotion, un canevas logiciel pour la reconnaissance d’émotions
A) Validation des requis
Requis eMotion Cas applicatifRequis
D) Cas applicatif: reconnaissance d’émotions par le mouvement et ballet augmenté
48
Validation des requis posés par le domaine
Requis eMotion Cas applicatif
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Gestion des caractéristiques temporisées
Séquences de traitements
Reconnaissance multicanaux
Système ouvert
Intégration de systèmes tiers
Modèle basé composants:Encapsulation des traitements dans des composants indépendantsAssemblage des composants
Redéfinition des concepts de la multimodalité
Point de vue système seulmultimodale
Moteur de synchronisation
Extensibilité, modifiabilité, réusabilité
Réusabilité : au niveau composant, assemblage de composants, branche entière dans un système interactif
49
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
B) Modélisation de systèmes existants
C) Réalisation logicielle: eMotion, un canevas logiciel pour la reconnaissance d’émotions
A) Validation des requis
Requis eMotion Cas applicatifeMotion
D) Cas applicatif: reconnaissance d’émotions par le mouvement et ballet augmenté
50
Outil interactif pour le concepteur
Requis eMotion Cas applicatif
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
UC2: Combinaison Moven
UC1: Capteurs Polhemus
Adap-tateur
Concen-trateur
EC1: Courbure du tronc
EC2: Expansion des bras
EC3: Vitesse
EC5: direction sagittale relative
EC4: Direction Verticale
I: Interpréteur
{Joie, colère, peur, tristesse, dégoût,
surprise}Matrice de poids
EC6: Direction Sagittale Absolue
51
Une architecture implémentationnelle en agents PAC
Requis eMotion Cas applicatif
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Architecture fonctionnelle: la branche émotion
Architecture implémentationnelle:
eMotion
P A
C
P A
Unités de capture
Extracteurs de caractéristiques Interpréteurs
PAC
52
3 niveaux pour structurer les communications
Requis eMotion Cas applicatif
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
UC2: Combinaison Moven
UC1: Capteurs Polhemus
Adap-tateur
Concen-trateur
EC1: Courbure du tronc
EC2: Expansion des bras
EC3: Vitesse
EC5: direction sagittale relative
EC4: Direction Verticale
I: Interpréteur
{Joie, colère, peur, tristesse, dégoût,
surprise}Matrice de poids
EC6: Direction Sagittale Absolue
53
Modifiabilité du système / cas de l’équivalence
A
C
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Requis eMotion Cas applicatif
Cas 1: Redondance
23 x 6 DDL
Modifications circonscrites
54
Equivalence des dispositifs dans le système
A
C
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Requis eMotion Cas applicatif
Cas 2: usage alternatif
23 x 6 DDL2 x 6 DDL
Modifications propagées
55
Analyse du domaine Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du modèle1
2
3 4
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
B) Modélisation de systèmes existants
C) Réalisation logicielle: eMotion, un canevas logiciel pour la reconnaissance d’émotions
A) Validation des requis
Requis eMotion Cas applicatifCas applicatif
D) Cas applicatif: reconnaissance d’émotions par le mouvement et ballet augmenté
56
Evaluation de la reconnaissance d’émotions par
le mouvement
Requis eMotion Cas applicatif
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
• Séquences dansées expressives sur 8 émotions, effectuées par un danseur
• 7 juges sur les lieux de l’enregistrement
Analyse des résultats: fenêtre temporelle trop courte
57
L’émotion pour moduler les augmentations sur scène
eMotion
Requis eMotion Cas applicatif
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Augmentations
Monde réel Système informatique
58
• Recherche scientifique: émotion, mouvement
• Recherche artistique– Repartir sur les fondamentaux de la danse pour
redéfinir sa communication avec l’autre
• Résultats:– Conférence dansée (Anglet, 2008)– Conférence interactive (Paris, 2009)– Spectacle augmenté (Bayonne, 2009)
Recherche collaborative informatique et danse
Analyse du domaine
Modèle d’architecture conceptuelle
Styles et motifs architecturaux
Validation du
modèle
Requis eMotion Cas applicatif
59
CONCLUSION
60
Contributions conceptuelles
Conception d’un modèle unificateur d’architecture conceptuelle pour la reconnaissance d’émotions dans les systèmes interactifs
Extensibilité, modifiabilité, réusabilitéIntégration dans l’IHMIntégration de systèmes et travaux existants
Immersion du modèle dans les concepts de la multimodalitéRedéfinition d’une modalitéApplication des concepts existants en IHM:
Pouvoir génératif des propriétés CARESpécifications pour les composants du modèle
61
Contributions pratiques
Conception d’un canevas logiciel interactif modifiable et extensible: eMotionExtensibilité, modifiabilité, réusabilité
Application au ballet augmenté: recherche collaborative informatique et danse
62
Extensions pratiques
Implémentation du moteur de synchronisation
Intégration d’un système tiers et d’une concentration des interprétations
63
Bouclage entre interprétation et analyse
Outil d’assemblage de composants
Prolongements : contributions conceptuelles
et pratiques
InterprétationAnalyseCapture
64
Prolongements : cadre applicatif
Approfondissement du lien avec la danse
Autre domaines applicatifs pour la reconnaissance d’émotions par le mouvement ( ex: informatique ambiante)
65
66
• « Une solution serait de prendre une liste des n meilleurs candidats en sortie »
Question 1: mélanges d’émotions
67
• + long rend caduque la synchronisation micro-temporelle seulement
Question 2: humeur ou affect
68
• Et pkoi ICARE et pas EyesWeb?
EyesWeb
69
Espaces de multimodalité
70
Exemple de système non intégrable dans l’architecture?
71
Pourquoi PAC dans eMotion?