Adaptation et intégration d'un module du Langage Parlé Complété (LPC) dans l'agent

conversationnel Greta

Mohammed ZBAKH

25 Septembre 2009

Encadré parMme. Hela DAASSI

M. Jaime Lopez KRAHE

Laboratoire THIM

Laboratoire TCI

2

Plan

1ere partie : État de l’art 2ème partie : Implémentation du LPC dans l’agent

conversationnel Greta(résultats et démonstrations)

Conclusion et perspectives

3

Partie 1

État de l’art

4

Les objectifs de la première partie

Définition de la lecture labiale Passage de labiale vers LPC Rôle de l’agent conversationnel Domaines d’applications

5

La lecture labiale Comment ça marche ?

Les obstacles de la lecture labiale

6

Passage de labiale vers LPC Un codage pour compléter la lecture labiale

Configuration = ConsonnePosition = Voyelle

7

Rôle de l’agent conversationnel Une interface homme-machine

8

Domaines d’applications

Application dans une formation Application dans une réunion Application au téléphone fixe Application de la tête virtuelle à la téléphone mobile

9

Partie 2

Implémentation du LPC dans l’agent conversationnel

Greta

10

Les objectifs de la deuxième partie

Greta non codeuse Création de l’interface LPC Création des gestes du LPC Génération des gestes du LPC Ajout des expressions faciales

11

Greta, la plate-forme choisie Greta est un agent capable de communiquer

verbalement

et non-verbalement

12

Point de départ : interface LPC Interface pour la création des gestes du LPC

13

L’enregistrement des gestes du LPC (1) 5 positions

Côté Bouche Menton Pommette Gorge

14

L’enregistrement des gestes du LPC (2) 8 configurations

15

Vers une création des gestes du LPC (1) Le rôle du fichier XML Deux méthodes d’utilisation :

1ère méthode : fichier

16

Vers une création des gestes du LPC (2)1ère méthode : résultats

1ère méthode : interprétations

17

Vers une création des gestes du LPC (3) Deux méthodes d’utilisation :

2ème méthode : fichier

18

Vers une création des gestes du LPC (3) 2ème méthode : résultats

2ème méthode : interprétations

19

Les expressions faciales

Animation par des émotions faciales

La joie La colère La peur La tristesse

20

Conclusion et perspectives

Greta devient une tête codeuse en LPC Élaboration d’un algorithme pour les syllabes Synchronisation entre les gestes du LPC et les

mouvements des lèvres Développement d’un outil pour la création

automatique des fichiers XML