6 juin 2005

1

WINE (Web INtelligent Emotion) : un modèle d’un système émotionnel

intelligent

Développement d’un agent émotionnel au sein d’une plateforme de type PostNuke.

Dorel Gorga

TECFA – mémoire DESS

6 juin 2005

2

Structure de la présentation

• Présentation conceptuelle du modèle– Objectifs

– Clarifications conceptuelles: émotion, motivation, système tuteur intelligent, agent pédagogique, agent pédagogique animé

– Architecture et fonctionnalités du modèle

– Limitations conceptuelles et techniques

• Présentation de la réalisation pratique d’un module

affectif – Architecture et fonctionnalités de l’agent implémenté

– Démonstration de la Version 0.1

------------------------------------------------------------------------------------------------------

6 juin 2005

3

Objectifs

• WINE agit sur la qualité de la communication dans un dispositif de formation à distance:

» la détection et l’évaluation des états émotionnels

» la simulation ou la représentation des émotions (développées dans le contexte des systèmes informatisés)

• Objectifs: – identifier l’état émotionnel de l’étudiant selon sa

personnalité et son activité d’apprentissage dans l’environnement

– générer une interface correspondant à une émotion.– produire un état émotionnel optimal de la plate-forme– induire un état cognitif positif permettant de maximiser la

performance de l’étudiant

------------------------------------------------------------------------------------------------------

6 juin 2005

4

Émotion et ordinateur

• Affective computing (R. Picard, 1999): – Les émotions améliorent les performances des

ordinateurs;– Les ordinateurs acquièrent la capacité de reconnaître et

d’exprimer des émotions (mais ils ne les éprouvent pas)

• Système émotionnel de l’ordinateur (R. Picard, Affective computing, 1997)– transmet l’idée d’émotion – a des réponses émotionnelles – génère sciemment des émotions – présente des expériences émotionnelles

– interagit avec d’autres procès

------------------------------------------------------------------------------------------------------

6 juin 2005

5

Modèles de l’émotion

• Le modèle OCC (Ortony, Clore et Collins. The cognitive structure of emotions, 1988). – Les émotions (22) sont la conséquence de certaines

processus d’évaluation cognitives (les événements et leurs conséquence, actions des agents, l’aspect des objets)

– L’intensité des émotions variera en fonction du désir, de la réalisation (l’effort investi), du mérite, de l’attrait

– Modèle susceptible d’être implanté à l’aide de l’ordinateur

• Exemple: détecter les émotions de joie / détresse et de satisfaction / déception de l'étudiant– Déterminer les buts de l'étudiant afin d’évaluer si les

événements sont souhaitables selon ces buts– Déterminer si l'étudiant est heureux ou contrarié suite à

l’occurrence de ces événements et si la perspective est confirmée ou pas.

------------------------------------------------------------------------------------------------------

6 juin 2005

6

La motivation

• La motivation a un rôle important dans l'éducation, elle stimule les besoins, les intérêts, les désirs et les attitudes particulières et elle est directement influencée par des émotions (Vygotsky, 1962).

• Les orientations motivationnelles– Orientation vers la tâche ou le but d’apprentissage

• un étudiant poursuit un but d’apprentissage pour apprendre et pour développer ses connaissances

– Orientation vers soi-même ou le but de performance• un étudiant poursuit un but de performance pour

démontrer ses compétences, en particulier pour faire mieux que ses camarades.

------------------------------------------------------------------------------------------------------

6 juin 2005

7

Système tuteur intelligent (STI) - 1

• Les nouveaux systèmes tuteurs intelligents – devraient être dotés de l’intelligence émotionnelle.

« L’intelligence émotionnelle désigne notre capacité à reconnaître nos propre sentiments et ceux des autres, à nous motiver nous-mêmes et à bien gérer nos émotions en nous-mêmes et dans nos relations avec autrui » (Daniel Goleman, Working with emotional intelligence, 1998)

– déterminent les émotions qui favorisent l’apprentissage– créent un environnement d’apprentissage sensitif du point

de vue émotionnel

• La vision multi agent d’un STI permet– de créer des agents intelligents qui montrent des émotions

à d'autres agents qui communiquent avec eux dans le même environnement virtuel

– de voir ces sous-systèmes comme des agents dédiés à la reconnaissance, la gestion, la simulation ou la représentation des émotions.

------------------------------------------------------------------------------------------------------

6 juin 2005

8

Système tuteur intelligent (STI) - 2

Architecture générale d’un système tuteur intelligent (Oliveira, 1994)

Utilisateur

Interface

Control

Domaine de base

Stratégie d’enseignement

Modèle cognitif de l’étudiant

------------------------------------------------------------------------------------------------------

6 juin 2005

9

Agent - Agent pédagogique

• Qu’est qu’un agent ?– système capable de percevoir l’environnement par des

détecteurs et d’agir par des déclencheurs. (Russel et Norvig, 1995)

• Qu’est qu’un agent pédagogique?– agents intelligents qui ont un rôle éducatif ou pédagogique

et qui sont donc utilisés pour faciliter ou améliorer l‘enseignement / l’apprentissage. (Gürer, 1998)

• Typologie des agents pédagogiques:– agents coopératifs qui travaillent dans la formation comme

la partie de l'architecture du système éducatif– agents personnels et animés qui interagissent avec

l'utilisateur

------------------------------------------------------------------------------------------------------

6 juin 2005

10

Agent pédagogique animé

• Les agents pédagogiques animés:– agents pédagogiques qui utilisent la technologie d'agents

synthétiques pour la présentation du contenu éducatif.

• Particularités de fonctionnement: – utilisent des ressources multimédia pour fournir à

l'utilisateur un personnage animé qui simule le comportement des personnages intelligentes vivantes.

• Rôle:– rendent les agents plus attractifs aux étudiants ( Elliot;

Brzezinski, 1998).– augmentent la capacité de communication des systèmes

éducatifs

------------------------------------------------------------------------------------------------------

6 juin 2005

11

Exemple d’agent pédagogique animé (1)

• développé dans le Center for Advanced Research in Technology for Education de USC (University of Southern California) au U.S.A.

• utilisé dans les systèmes éducatifs de médecine

• travaille avec les étudiants (en médecine et en odontologie)

• parle à l'utilisateur par un synthétiseur vocal– L’étudiant peut poser des questions à l’agent

seulement par rapport aux scènes présentées puisque Adele n'a pas de mécanisme de traitement de langage naturel pour interpréter les questions de l’étudiant (par voie verbale ou tapée) Le personnage Adele

Adele (Agent for Distance Education - Light Edition)

------------------------------------------------------------------------------------------------------

6 juin 2005

12

Exemple d’agent pédagogique animé (2)

• agent pédagogique animé et autonome construit pour aider les étudiants dans les cours de formation navale

• représenté par un personnage capable de démontrer des procédures – par des gestes

– par communication verbale

• peut contrôler l‘apprentissage de l'étudiant pendant l'interaction avec l'environnement.

• communique avec l'étudiant en langage naturel en utilisant une voix synthétisée (développé par Entropic Research).

Le personnage Steve

Steve (Soar Training Expert for Virtual Environment)

------------------------------------------------------------------------------------------------------

6 juin 2005

13

Le modèle WINE

• Un système émotionnel intelligent qui applique des stratégies affectives – vise à favoriser à l’étudiant une humeur positive– stimule l'apprentissage– fournie à l'étudiant un appui émotif afin de le motiver et de

l’encourager

• Facteurs d’influence dans l’analyse de l’état émotionnel– le profil affectif de départ– l’orientation motivationnelle– l’historique des actions réalisées avant l’apparition de l’émotion– l’état cognitif– l’évolution de l’émotion déjà reconnue– le contexte social (apprentissage de type social ou collaboratif)

• Types d’émotions d’entrée :– Joie, détresse, satisfaction, déception (implémenté)– Gratitude, colère, fierté, honte (possible à implémenter)

------------------------------------------------------------------------------------------------------

6 juin 2005

14

Architecture WINE------------------------------------------------------------------------------------------------------

6 juin 2005

15

Agent de reconnaissance émotionnelle

• Au début de l’interaction de l’étudiant avec le système on peut utiliser un questionnaire pour identifier le profil affectif, le style cognitif et l’orientation motivationnelle de l’étudiant afin de déterminer son état émotionnel.

• Les émotions sont déduites du comportement observable de l'étudiant en incluant ses actions dans l'interface de l’environnement de formation (l’historique de son activité).

• Les états affectifs de l‘étudiant peuvent influencer significativement le comportement de l‘étudiant dans le processus d’apprentissage– Les états affectifs reconnus:

• joie (plaisir) / détresse• satisfaction / déception

------------------------------------------------------------------------------------------------------

6 juin 2005

16

Agent de reconnaissance émotionnelle L’état émotionnel de l’étudiant

• « Quels sont les états affectifs qui doivent être modelés dans une situations d’enseignement / apprentissage accompagnée par un agent pédagogique émotionnel?".

• Fondement théorique: le modèle OCC (Ortony, Clore et Collins.

The cognitive structure of emotions, 1988).– Ce modèle spécifie clairement la signification et la

définition de chaque émotion décrite.– L’état émotionnel à un moment donné peut être exprimé

par une série de valeurs attribuées à chacune de ce types d’émotions groupés en couples contradictoire (joie – détresse, satisfaction – déception) pour évaluer l’intensité de l’émotion.

------------------------------------------------------------------------------------------------------

6 juin 2005

17

Agent de reconnaissance émotionnelle Type d’émotion

• Joie – détresse se produisent quand , pour un étudiant, l’événement est souhaitable ou non par rapport à ses buts– la joie en tant que personne heureuse au sujet d'un

événement souhaitable– la détresse en tant que personne contrariée au sujet d'un

événement indésirable

• Satisfaction – déception (frustration) se produisent quand l’étudiant a une confirmation ou non de la perspective d'un événement souhaitable– la satisfaction surgit quand l’étudiant est satisfait s’il a la

confirmation de la perspective d'un événement souhaitable– la déception quand l’étudiant est contrariée s’il n’a pas la

confirmation de la perspective d'un événement souhaitable.

------------------------------------------------------------------------------------------------------

6 juin 2005

18

Agent de reconnaissance émotionnelle La schéma d'identification de l'émotion

---------------------------------------------------------------------------------------------------------------------------------------------------------

On peut imaginer le scénario suivant:• L'agent capte les actions de l'étudiant dans l'interface du système.• Chaque action (ou jeu d'actions) peut indiquer plus qu'un état affectif• Le système pose des questions à l'étudiant

– Au début de l’interaction pour identifier le profil affectif, le style cognitif, et l’orientation motivationnelle de l’étudiant

– Pendant l’interaction pour identifier et définir les différents degrés de l’état émotionnel de l’étudiant

• L'étudiant répond à la question de l'agent• Finalement, le sous-agent déduit les états émotionnels de l'étudiant et va

choisir la stratégie affective adéquate

Les actions de l'étudiant dans l'interface du système.

Questions pour mieux définir les émotions de l’étudiant

Les réponses de l’étudiant

Stratégies affectives

6 juin 2005

19

Agent de reconnaissance émotionnelle Simulation d’action

---------------------------------------------------------------------------------------------------------------------------------------------------------

• Vu la nature dynamique des informations affectives de l'étudiant, je n’ai pas implémenté cet agent de reconnaissance émotionnelle

• J’ai simulé l’action de cet agent en utilisant comme auxiliaire un outil statique (un questionnaire liées au événement identifié par l’enseignant).

• Exemple pour le cas d’accomplissement de l’activité:1. Considérez-vous avoir investi beaucoup d'effort pour accomplir

cette activité ?2. Est-ce que vous avez utilisé plus de temps que prévu pour

répondre aux exigences de cette activité ?3. Cette activité vous a-t-elle intéressé d’une façon particulière ?4. Considérez-vous cette activité comme un défi dans

l’apprentissage de nouvelles connaissances ?5. Est-il important pour vous d’améliorer votre classement par

rapport à vos collègues ?

6 juin 2005

20

Agent d’analyse du comportement observable de l’étudiant

• Les actions de l'étudiant dans l'interface du système

– Données statistiques (nombres de connexions, temps de connexion, pages visitées, etc.)

– L’analyse de commentaires (blogs, etc.)

– Le temps d'exécution de l’activité

– L’effort investi dans l’activité

– L’accomplissement ou non de l’activité

– La fréquence d'aide exigée

------------------------------------------------------------------------------------------------------

6 juin 2005

21

Agent pour produire des états émotionnels optimales et des stratégies affectives

La stratégie affective

• s’applique selon les états émotionnelles de l'étudiant.

• promeut des actions qui adaptent l’environnement de formation à l'état affectif de l'étudiant

• doit promouvoir à l'étudiant une humeur positive

• doit fournir à l'étudiant un appui émotionnel • l’encourager • le motiver• le faire croire dans ses capacité, etc.

L’agent pédagogique animé présente des comportements émotionnels et des messages (qui correspondent à des stratégies affectives)

------------------------------------------------------------------------------------------------------

6 juin 2005

22

Stratégies affectives (orientation vers la tâche)

Legende : CPh – Comportement physique, CV – Comportement verbal (le texte affiché et parlé)

Evénement Intitulé de la stratégie

L’émotion de l’étudiant Stratégie de l’agent Observation / Texte

1. Félicitation Agent CPh applaudissements Agent CV félicitation CPh Agent CPh cligne et attention

L’agent félicite l'étudiant Bravoo ! Cette activité, tu l’as très bien menée au bout !

2. Compétence acquise Agent CPh attention Agent CV compétence CPh Agent CPh cligne de paupières

Joie / Satisfaction En ce cas il s’agit d’un événement désirable qui provoque un sentiment de satisfaction. L'intensité de ces émotions dépend du degré de la désirabilité de l'événement, de l’effort déposé et sur le fait d'être inattendu de l'événement. Agent CPh en pause

L’agent présente des nouvelles compétences qui peuvent être acquises si on mène bien au bout la tâche. Il y a maintenant de nouvelles habilités que tu maîtrises !

1. Félicitation Agent CPh applaudissements

1. L’accomplissement de l’activité L’étudiant est intérieurement motivé. Il est satisfait et joyeux et il a besoin de maintenir sa motivation d’améliorer ses compétences et d’apprendre de nouvelles choses. Savoir : L’étudiant a déposé un grand effort ?

TacheOui

Aucune émotion L’étudiant est indifférent au événement (il pense que le sujet n’est pas important pour lui)

Agent CV félicitation CPh

L’agent félicite l'étudiant Bravo pour ton effort ! Un très bon travail.

1. Reconnaissance effort Agent CPh attention Agent CV reconn. effort CPh

L’agent reconnaît l’effort de l’étudiant C’est vrai, tu as beaucoup travaillé.

1. Encouragement Agent CPh attention Agent CV encouragement CPh

L’agent présente à l’étudiant un message d’encouragement Il est très important de continuer.

2. Offre d’aide Agent CPh satisfait Agent CV offre aide CPh satisfait

Détresse / Déception En ce cas il s’agit d’un événement indésirable qui provoque un sentiment de déception et d’insatisfaction. L'intensité de ces émotions dépend du degré de réalisation de l'événement et sur le fait d'être inattendu de l'événement.

Agent CPh cligne pause

L’agent présente un aide .Personne n’est un génie et, donc, nous avons besoin d'aide pour apprendre et dépasser les difficultés. Je suis là pour répondre à tes questions.

1. Compétence acquise Agent CPh attention Agent CV compétence CPh

L’agent présente des nouvelles compétences Tu as commencé à acquérir de nouvelles connaissances !

2. Offre d’aide Agent CPh attention Agent CV offre aide CPh satisfait

2. L’activité n’est pas accomplie L’étudiant fait d’habitude des grands efforts (il est intérieurement motivé). En ce cas il n'a pas l'intention de faire moins d'effort, mais il a des difficultés à effectuer l’activité. Savoir : Il a été important pour l’étudiant d’apprendre la partie liée à la tâche demandée ?

TacheNon

Aucune émotion L’étudiant est indifférent au événement (il pense que le sujet n’est pas important pour lui)

Agent CPh cligne pause

L’agent présente un aide générique dans le fait de surmonter ses difficultés. Si tu as besoin d'aide n'hésite pas à me contacter !

6 juin 2005

23

Stratégies affectives (orientation vers la performance)

Legende : CPh – Comportement physique, CV – Comportement verbal (le texte affiché et parlé)

Evénement Intitulé de la stratégie

L’émotion de l’étudiant Stratégie de l’agent Observation

1. Félicitation Agent CPh applaudissements et explique Agent CV félicitation CPh explique Agent CPh cligne et attention

Joie / Satisfaction En ce cas il s’agit d’un événement désirable qui provoque un sentiment de satisfaction. L'intensité de ces émotions dépend du degré de la désirabilité de l'événement, et de l’effort déposé.

Agent CPh en pause

Il est nécessaire de maintenir sa motivation par un fortement encouragement puisque l’étudiant apprécie et a besoin des éloges de l’agent L’agent félicite l'étudiant en remarquant sa performance. Excellent ! Félicitations pour ta persévérance !

1. Félicitation Agent CV félicitation CPh explique Agent CPh cligne et attention

1. L’accomplissement de l’activité L'étudiant qui a la motivation extrinsèque est toujours satisfait et heureux avec l’accomplissement de l’activité, parce qu'il signifie une confirmation de ses capacités. Savoir : L’étudiant a déposé un grand effort ?

PerformOui

Aucune émotion L’étudiant est indifférent au événement (il pense que le sujet n’est pas important pour lui)

Agent CPh en pause

L’agent félicite l'étudiant Félicitations ! C’est une très belle réussite !

1. Renforcement d’aptitudes Agent CPh attention Agent CV renforce aptitude CPh explique

L’agent présente à l’étudiant un message d’encouragement pour continuer de renforcer ses compétences. J’ai la conviction que tu seras capable de réussir.

2. Renforcement d’efforts Agent CPh attention Agent CV renforce effort CPh explique

Détresse / Déception En ce cas il s’agit d’un événement indésirable qui provoque un sentiment de déception et d’insatisfaction. L'intensité de ces émotions dépend du degré de réalisation de l'événement et de l’effort déposé par l’étudiant.

Agent CPh cligne et pause

L’agent présente à l’étudiant un message d’encouragement pour continuer de faire des efforts Il est seulement nécessaire un peu plus d'effort !

1. Compétence acquise Agent CPh attention Agent CV compétence CPh explique Agent CPh cligne de paupières

2. L’activité n’est pas accomplie L’étudiant n’a pas l’habitude de faire plus d’effort quand il a des difficultés (il a une motivation extrinsèque). En ce cas il pense qu'il signifie le manque de capacités Il a été important de réaliser de meilleurs résultats avec plus d'effort pour augmenter la croyance de l'étudiant au sujet de ses propres compétences

PerformNon

Aucune émotion L’étudiant est indifférent au événement (il pense que le sujet n’est pas important pour lui) Agent CPh en pause

L’agent présente des nouvelles compétences qui peuvent être acquises par l’étudiant avec ce sujet Tu as la capacité de réussir !

6 juin 2005

24

Discussion et perspectives

• Ce travail représente une première étape vers le but plus ambitieux de créer les agents pédagogiques réalistes entièrement interactifs et entièrement expressifs.– En quoi les ordinateurs, en intégrant des valeurs affectives,

peuvent-ils, par exemple, améliorer la communication sur Internet ?– Comment le concept d’intelligence émotionnelle pourrait-il être

modélisé sur le web ?– Quel rôle les agents peuvent-ils jouer dans la gestion de la

frustration quand on utilise les nouvelles technologies ?– Quelle aide peut apporter cette technologie dans l’atteinte de la

satisfaction des besoins émotionnels?

• Le développement des stratégies éducatives:– le modèle FEASP (Designing emotionally sound instruction)

développé par Hermann Astleitner (2000)– le modèle CEO (A Constructivist Emotionally-Oriented Model of

Web-Based Instruction) développé par Robert J. MacFadden (2004)

------------------------------------------------------------------------------------------------------

6 juin 2005

25

Architecture et fonctionnalités d’agent implémenté (1)

• Agent pour produire d’états émotionnels optimales et des stratégies affectives– Configuration de l’agent animé Microsoft (le comportement physique et

verbal) – Simulation des événements dans l'environnement de formation qui

produisent des émotions de satisfaction/déception et de joie/détresse (selon l’accomplissement ou non de l’activité)

– Configuration des stratégies affectives

• Simulation des autres sous-agents par le biais d’un questionnaire en deux parties:– Trois questions pour identifier l’état émotionnel de l’étudiant (Agent

de reconnaissance émotionnelle, Agent d’analyse du comportement observable)

– Deux questions pour déterminer l’orientation motivationnelle de l’étudiant (Agent de reconnaissance émotionnelle)

------------------------------------------------------------------------------------------------------

6 juin 2005

26Base de données

Group - étudiants

Etat émotionnel

Stratégie affective

Comportement agent

Agent pédagogique

Module contrôle

Agent MicrosoftInterface

Utilisateur

Architecture du module PostNuke ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------

6 juin 2005

27

Architecture et fonctionnalités du système implémenté (2)

• Limitations techniques et conceptuelles (exemple)– La détermination de l'intensité de l'émotion en fonction du

comportement observable de l'étudiant est difficile et imprécise puisque elle dépend:

• du degré de désirabilité de l’événement• de l'effort fait pour l'accomplissement de l‘activité• de la réalisation de l'événement (le degré avec lequel

l'événement réalisé est confirmé ou infirmé).

– Seulement deux degrés (haut et bas) pour l’intensité de l’émotion (pas encore implémenté)

– L’utilisation de l’agent animé Microsoft (attitude et voix synthétique) dépend du SO Windows

– L’gent de reconnaissance émotionnelle de l’étudiant (difficile d’implémenter)

------------------------------------------------------------------------------------------------------

6 juin 2005

28

Architecture et fonctionnalités du système implémenté (3)

• Directions possibles de développement– Les difficultés dues à la détection des émotions en fonction du

comportement observable de l’étudiant peuvent être surmontées par l’insertion des senseurs physiologiques qui détectent des expressions corporelles des émotions. Cela est, pour l’instant, presque impossible d’appliquer sur le Web

– implémenter des comportements physiques d’un agent animé en utilisant la technologie Flash (facile à appliquer sur le Web)

– implémenter le comportement verbal avec des audio-clips (en format mp3) qui sont interprétés par l’agent animé (on peut résoudre les problèmes du manque d'intonation de la voix

synthétique).

------------------------------------------------------------------------------------------------------

6 juin 2005

29

Simulation du travail pratique------------------------------------------------------------------------------------------------------