Emotions dans les Interactionssma.lip6.fr/seminaires/Exposes/ochs08.pdfEmotions dans les...

Emotions dans les Interactions

Magalie Ochs Lip6 - SMA

Plan de la présentation

1. Introduction à l'informatique affective

2. Travaux de thèse Un agent rationnel dialoguant émotionnel empathique

pour améliorer l'interaction humain-machine

3. Recherche actuelle Modélisation de l'influence des émotions sur

les relations sociales et sur le dialogue des PNJ dans les jeux vidéo

4. Perspectives de recherche

Introduction à l'informatique affective

Le concept d'émotion

"Processus de réaction d'un organisme face à un évènement significatif"

émotion

(Scherer, 2000)

évaluation cognitive de l'évènement

sentiment

réactions physiologiques

expressions

tendance à l'action


L'intelligence émotionnelle

" the question is not whether intelligent machines can have emotions, but whether machines can be

intelligent without any emotions"(Minsky, 1986)

• Adaptation d'un individu à son environnement• Fonctionnement des processus cognitifs• Régulation des interactions sociales

Emotions =

mécanismes utiles

Intelligence émotionnelle : capacité de percevoir, comprendre et gérer ses propres émotions et celles d'autrui

(Goleman, 1997; Isen, 2000; Salovey et al, 2000; Scherer, 2000)

Utiliser les fonctionnalités des émotions pour améliorer les performances d'un système


L'informatique affective

Conception de systèmes de reconnaissance d'émotions

Modélisation de processus émotionels pour doter les agents virtuels d'émotions

approche orientée agent approche orientée utilisateur

émotions : heuristiques émotions : crédibilité

adaptabilité, autonomie et performances de l'agent

engagement, satisfaction et performances de l'utilisateur

Introduction à l'informatique affectiveAgents émotionnels

Woggles, Em Model (Reilly, 1996) FantasyA (Paiva et al., 2001)

Steve, Affective Reasoner (Elliot,Rickel et Lester, 1992)

Cyberella (André et al., 2001) EMA (Gratch et al., 2004)

Kismet (Breazel, 2003)

SCREAM (Predinger et al., 2002)

Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant

émotionnel empathique

Thèse de doctorat

Université Paris 8 – Orange Labs

réalisée sous la direction de Catherine Pelachaud et David Sadek

Attitudes MentalesCroyance Biφ

Incertitude UiφChoix Ciφ

Intention Iiφ

Les agents rationnels dialoguants

Agents cognitifs

état mentalBip ∧ Uiq ∧ Iir

Théorie de l'interaction rationnelle (Sadek, 1991)

(McCarthy, 1979; Newell, 1980)

Théories de l'intention (Cohen et Levesque, 1990; Rao et Georgeff, 1991)

Contexte de recherche

Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique

émotions

utilisateurs agents rationnels dialoguants

(Ekman , 1993)


émotions

Objectif de recherche : intégrer des émotions dans les agents rationnels dialoguants

Les agents émotionnels Evaluations des agents

émotionnels

(Brave et al., 2005; Klein et al., 1999, Mori et al., 2003; Partala et al., 2004; Picard et al., 2007; Prendinger et al., 2005)

Expressions d'émotions empathiques d'un agent virtuel

Amélioration de l'interaction humain-machine


Agent émotionnel empathique

Déterminer l'émotion potentiellement ressentie par l'utilisateur

Modèle des conditions de déclenchement

des émotions

Système de reconnaissance des expressionsdes émotions

Expression de l'émotion d'empathie

Nos hypothèses


(Poggi, 2004)

Méthodologie

Théories de l'évaluation cognitive des émotions(Scherer,88; Ortony et al.,88;

Roseman, 01)1. Déterminer les

conditions de déclenchement des émotions d'empathie

Théorie de l'interaction rationnelle

(Sadek, 1991)

Agents JSA(Louis et Martinez, 07)

Théorie des actes de langage

(Austin,62; Searle,69)

Dialogues émotionnels réels humain-machine

3. Implémenter un agent rationnel dialoguant


4. Évaluer un agent rationnel dialoguant


Utilisateurs

2. Formaliser les conditions de déclenchement

des émotions d'empathie


Analyse empirique : situations dialogiques génératrices

d'émotions négatives

Descriptions théoriques des émotions

Satisfaction <= satisfaction d'une intention ∧ attentes consistantes

Frustration <= échec d'intention ∧ attentes inconsistantes

Irritation <= échec d'intention ∧ potentiel de réaction

Tristesse <= échec d'intention ∧ non(potentiel de réaction)

(Scherer, 2000; Roseman, 2001; Ortony et al., 1988)

Colère <= échec d'intention ∧ conflit de croyance

Déterminer les conditions de déclenchement des émotions empathiques d'un agent rationnel dialoguant

Emotions empathiques de l'agent rationnel dialoguant

Représentation formelle des émotions

Conditions de déclenchement d'une émotion d'empathie :l'agent pense que l'utilisateur a une émotion

Emotion_empi, u(type, c, j, e, Φ) ≡def BiEmotionu(type, c', j, e, Φ)

type de l'émotion empathique=

type de l'émotion de l'utilisateur

Formaliser les conditions de déclenchement des émotions empathiques d'un agent rationnel dialoguant

Emotionu(frustr, c, u, e, φ) ≡def echec_intentionu(e, φ)

avec c= f_intensité_négative(u, e, φ)

Représentation des émotions par leurs conditions de déclenchement

Intensité de l'émotion empathique : niveau d'empathie de l'agent intensité supposée de l'émotion de l'utilisateur

echec _intentionu(evt, φ ) =def

Bu (Fait(evt, Iu φ ∧ (UuFaisable(evt, φ ) ∨ BuFaisable(evt, φ ))) ∧ φ )┐

Axiomes propres : un agent bien intentionné

Ii Emotion(négative, c, u, e, Φ) ┐Ii ( Emotion(satisf, c, u, e, Φ)) ┐ ┐

Théorèmes

" ne pas se réjouir du malheur d'autrui"

Emotioni(satisf, c, i, e, Emotion(négative, c, u, e, Φ)) ┐

Capacité d'introspection

Emotion_empi, u(type, c, j, e, Φ) ⇔ Bi(Emotion_empi, u(type, c, j, e, Φ))


Agent rationnel dialoguant empathique

Croyances de l'agent sur l'état mental de l'utilisateur(croyances, intentions)

Croyances de l'agent sur l'émotion potentiellement ressentie par l'utilisateur

Croyances de l'agent sur les règles de déclenchement des

émotions

Emotion empathique

Réalisation d'un acte communicatif


Calcul dynamique des émotions Calcul et mise à jour de l'intensité des émotions Interface graphique des émotions Flexibilité

Implémentation du modèle formel des émotions

Module de gestion des émotions

Agent JSA Jade Semantic Agent(Louis et Martinez, 2007)

Plug-in

Implémenter un agent rationnel dialoguant émotionnel empathique

ARDEM

Agent JSA Module de

gestion des émotions

Requête de l'utilisateur

Emotion empathique – Réponse de l'agent

Utilisateur

ARDEM : Agent Rationnel Dialoguant Empathique de Messagerie

Implémenter un agent rationnel dialoguant émotionnel empathique

Évaluer un agent rationnel dialoguant émotionnel empathique

Evaluation de l'impact de l'ARDEM sur la perception que l'utilisateur a de l'agent

Perception des expressions d'émotions

congruence expression/situation

Émotion d'empathie

Perception plus positive

Contributions

MéthodeAnalyse empirique

Analyse théorique

Schéma de codage

Modèle formel d'émotions

Module de gestion des émotions

Impact d'un agent émotionnel empathique sur la perception que l'utilisateur a de l'agent


1 revue nat., 9 conférences et workshops intl., 4 conférences et workshops nat.

Projet DEEP (RIAM) Dialogue (PNJ/PJ et PNJ/PNJ) intégrant les Emotions des PNJ, l'Experience du PJ et la Personnalité des PNJ

LIP6 (V. Corruble, N. Sabouret) CEDRIC-CNAM (S. Natkin) Spir.Ops & Quantic Dream

Générer des dialogues PNJ/PJ ou PNJ/PNJ riches en fonction : ● Personnalité et émotions des PNJ (LIP6)● Besoins et expérience du joueur (CNAM)

Sept 2006 – Sept 2008

Architecture générale

Moteur de dialogue(Spirops)

énoncé1

énoncé2

énoncén

...

Modèle de narration(Cnam)

Calcul du potentiel émotionnel de l'énoncé reçu

(Lip6 réalisé)

Etat émotionnel

Personnalité

Calcul de l'impact du potentiel émotionnel sur l'état émotionnel

(Lip6 réalisé)Rôle social

Modèle de la dynamique des relations sociales

(Lip6 en cours)

Calcul de l'influence des émotions et des relations

sociales sur le choix de l'énoncé (Lip6 en cours)

Moteur du jeu(Quantic Dream)

PNJ

Modèle dynamique des relations sociales

(Walker et al., 1997;Rousseau et al., 1998; Gratch, 2000)

● Proposition : Modèle dynamique des relations sociales➔ les rôles sociaux (pour l'initialisation)➔ les émotions (pour la mise à jour)

● Agents sociaux affectifs existants :– Impact du contexte social et des émotions de l'agent sur son

comportement– Modèle du contexte social principalement statique

Relations socialesRôles sociaux Emotions

● Relation sociale : ensemble de variables ➔ appréciation, dominance, solidarité et familiarité

● Relation sociale unidirectionnelle et non nécessairement réciproque

Représentation des relations sociales

(Brown et al.., 1987; Rousseau et al., 1998 Bickmore et al., 2001; Isbister, 2006)

appreciationi,j(t)

dominancei,j(t)

solidaritei,j(t)

familaritei,j(t)

social_relationi,j(t) =

Relation sociale d'un agent i avec un agent j, du point de vue de i, au temps t

∈[-1, 1]

∈[0, 1]

∃ i, j social_relationi,j(t) ≠ social_relation

j,i(t)

● Relation sociale initiale dépend du rôle social d'un individu par rapport à celui de son interlocuteur

➔ Rôles sociaux : paires de rôles complémentaires (employé/manager, patient/médecin...)

Initialisation des relations sociales

(Brown et al.., 1987)

role_appreciationrx/ry

role_dominancerx/ry

role_solidariterx/ry

role_familariterx/ry

role_socialrx/ry

=

Rôle social rx par rapport à un rôle social r

y

∈[-1, 1]

∈[0, 1]

∃ rx, r

y role_appreciation

rx/ry ≠ role_appreciation

ry/rx

∀ rx, r

y role_domiance

rx/ry = − role_domiance

ry/rx

∀ rx, r

y role_solidarite

rx/ry = role_solidarite

ry/rx

∃ rx, r

y role_familiarite

rx/ry ≠ role_familarite

ry/rx

● Rôle social d'un PNJ/PJ : valeurs d'appréciation et dominance(Isbister., 2007)

● PNJ et PJ incarnent générallement plusieurs rôles sociaux simultanément (ex: femme-gangster/homme-flic)


role_sociali/j=

Rôle social d'un agent i par rapport à un agent j

∑1m r

i ∈ roles(i)

rj ∈ roles(j)

role_socialri/rj

m = | {(ri, r

j), t.q r

i ∈ roles(i), r

j ∈ roles(j) et role_social

ri/rj ≠ 0} |

rôles complémentaires

● Initialisation d'une relation sociale suivant :– les rôles sociaux de l'agent et son interlocuteur– le degré de solidarité de l'agent avec les autres agents de l'univers social local


social_relationi,j(0)=

Relation sociale d'un agent i avec un agent j, du point de vue de i, avant toute interaction (t=0)

max_s=max k∈ P(i), k ≠ i

{ role_solidaritei/k

}avec P(i) l'ensemble des agents de l'univers social local de i

(Brown et al., 1987)

role_appreciationi/j

role_dominancei/j

(role_solidaritei/j)/max_srole_familaritei/j

● Emotions modifient les relations sociales :– émotions causées par l'interlocuteur– émotions exprimées par l'interlocuteur

Représentation des émotions

emotioni← j

(evt)=

Emotions d'un agent i suite à un événement evt causé par un agent j

(Ortony., 1991; de Rivera et al., 1986; Keltner et al., 2001; Shiota et al., 2004; Knutson, 1996)

joiei← j

(evt)espoir

i← j(evt)

fiertei← j

(evt)admiration

i← j(evt)

expr_emotioni(t)=

Emotions exprimées par un agent i à un instant t

expr_joiei(t)

expr_espoiri(t)

expr_fiertei(t)

expr_admirationi(t)

(DuyBui, 2004; Sehaba et al., 2007; Prendinger et al., 200; Ortony et al., 1988)

Appréciation de i envers j

Dynamique des relations sociales

(Ortony, 1991)

Degré d'appréciation de i envers j au temps t suite à l'événement evt f(x) = x/k

joieespoir

admirationfierté

tristessepeur

reprochehonte

Appréciationi,j

+

-

émotions de i causées par j

δ = joiei← j

(evt) + espoiri← j

(evt) + fiertei← j

(evt)+ admiration

i← j(evt)

appreciationi,j(t) = g( appreciation

i,j(t-1) + f ( δ/4 ) )

Sensibilité des relations

sociales aux émotions

Dominance de i sur j

Dynamique des relations sociales

(Knutson, 1996;Ortony et al., 1988; Shiota et al., 2004; Keltner et al., 2001)

fiertéreproche

tristessepeur

admiration

peur tristesse

Dominancei,j

+

-

émotions de i causées par j

émotions exprimées par j

+

∆d = 0

si joiei← j

(evt) < 0 alors ∆d + = joie

i← j(evt)

si espoiri← j

(evt) < 0 alors ∆d + = espoir

i← j(evt)

si expr_joie j(t) < 0 alors ∆

d - = expr_joie

j(t)

si expr_espoir j(t) < 0 alors ∆

d - = expr_espoir

j(t)

∆d + = joie

i← j(evt) + fierte

i← j(evt)

domiancei,j(t) = g( dominance

i,j(t-1) + f ( ∆

d /6 ) )

Degré de domiance de i sur j au temps t suite à l'évènement evt

Solidarité de i envers jDynamique des relations sociales

(de Rivera et al., 1986; Keltner et al., 2001)

joie + joie / espoir + espoirtristesse + tristesse / peur + peur

joie+ tristesse /espoir + peur

tristesse, peurhonte, reproche

Solidaritéi,j

+

-

Congruence des émotions de i et j

Degré de solidarité de i avec j au temps t suite à l'évènement evt

Incongruence des émotions de i et j

émotions de i causées par j -

∆s= 0

si joiei← j

(evt) < 0 alors ∆s+ = joie

i← j(evt)

si expr_joie j(t) < 0 alors

∆s+ = 1/(|joie

i← j(evt) - expr_joie

j(t)|)

...(même chose pour espoir)si fierte

i← j(evt) < 0 alors ∆

s+ = fierte

i← j(evt)

si admiration j(t) < 0 alors ∆

s += admiration

i← j(evt)

solidaritei,j(t) = g'( solidarite

i,j(t-1) + f ( ∆

s/6 ) )

Interrelations et Personnalité

Solidaritéi,j

● Interrelations des variables d'une relation sociale : – Appréciation → familiarité : une personne se confie plus lorsqu'elle apprécie

quelqu'un– Solidarité → appréciation : une personne apprécie plus un individu similaire

Appréciationi,j

Dominancei,j

Familiaritéi,j

● Effets indirects de la personnalité sur la relation sociale : – extravertie→ appréciation, dominance : tendance à ressentir plus d'émotions

positives (de joie et fierté)– agréable → solidarité : tendance à ressentir plus d'émotions d'empathie– névrotique → appréciation, solidarité : tendance à ressentir plus d'émotions

négatives

Extravertiei

Névrotiquei

Agréablei

+-

+

+

-+

+

(Smith et al., 2007; Sehaba et al., 2007; Collins et al., 1994)

Effets d'une relation sociale sur le transfert d'information

Pr( info utile)i->j

Pr( info gentille)

i->j

Pr( infovalorisante)

i->j

Pr( infoencourageante)

i->j

joiej←i espoir

j←ifierte

j←i

Appréciationi,j

Pr(info confidentielle)

i->j

Familiaritéi,j

Solidaritéi,j

Dominancei,j

+ + + +

+++

+

-

● Marqueurs d'une information : – degré d'utilité / degré de confidentialité – degré de gentillesse : potentiel à déclencher une émotion de joie ou tristesse– degré d'encouragement : potentiel à déclencher une émotion d'espoir ou peur– degré de valorisation : potentiel à déclencher une émotion de fierté ou honte

Conclusion

émotions déclenchées

personnalité

relations sociales

rôle social

énoncéi-> j

PNJ i

énoncéj->i émotions

exprimées par j

état émotionnel

PNJ j

Relation non modéliséeProjet de stage

➔ Travaux en cours ● Implémentation du modèle dynamique des relations sociales● Evaluation objective ...et subjective

Perspectives de recherche

Intégration d'une dimension émotionnelle dans les systèmes multi-agents

Améliorer la simulation des comportements humains

dans les SMA

Améliorer l'interaction humain-machine dans les SMA mixtes pour une intelligence ambiante

Simulation de comportements humains dans les systèmes multi-agents

Contexte socio-émotionnel

Déclenchement des émotions

Comportements émotionnels

- Rôle social, relations sociales, buts dans l'interaction...- Emotions dans l'interaction (type, origine, intensité)

● Objectif : Modéliser l'interrelation entre le contexte socio-émotionnel, le déclenchement de l'émotion et le comportement émotionnel d'un agent pour enrichir la simulation de comportements humains

● Proposition : utilisation d'un modèle logique de type BDI - Contexte socio-émotionnel : croyances sur l'environnement- Conditions de déclenchement d'émotions : états mentaux particuliers- Impact des émotions sur le contexte socio-émotionnel et interrelation avec le comportement émotionnel : règles d'inférence

Comportements d'agents artificiels adaptés aux émotions des utilisateurs pour l'intelligence ambiante

1. Identification des émotions de l'utilisateur durant l'interaction Outils de reconnaissance

d'émotionsAlgorithme

d'apprentissage par renforcement

Modèle des conditions de déclenchement des

émotions

+ +

2. Comportement à adopter pour optimiser l'interaction

Modèle des conditions de déclenchement des

émotions

Modèle de l'impact des émotions sur les capacités cognitives/la réalisation des tâches

+

● Tâches appropriées aux émotions de l'utilisateur ● Actions à réaliser par l'agent pour influencer les émotions de l'utilisateur

Emotions dans les Interactionssma.lip6.fr/seminaires/Exposes/ochs08.pdfEmotions dans les...

Documents

Transcript of Emotions dans les Interactionssma.lip6.fr/seminaires/Exposes/ochs08.pdfEmotions dans les...