Du texte en Françaisà l’avatar signant

Kervajan & Breton

DELIC

Université de Provence

Orange Labs

Rennes

TALS 2007 2

Introduction• Suite du travail pour Récital en 2006*

– Décrire la LSF pour l’implémenter.– Être économique dans le passage d’information

• En gardant des infos issues du traitement linguistique automatique utiles à l’avatar.

• => notion de dynamique : rester le plus proche possible des spécificité de la lsf

• Aujourd’hui on va plus loin– comment on envisage le raccord – Malheureusement, la démo n’est pas prête

* Kervajan, 2006

TALS 2007 3

Traitement linguistique

Exemple choisi :• Entrée pour le traducteur* :

je te donne la lourde caisse• Sortie du traducteur :

caisse lourd’oo donner’je’tu’oo= transcription de surface

• Transcription complète : XML (ens de traits)

* TiLT, Orange Labs Lannion

TALS 2007 4

Passage à l’avatar• Interpréter la sortie du traducteur• Traduire la feuille xlm : une entrée = un signe

• Un id (correpondant à la glose* )• Type : var notvar• Traits

• Discussion sur la notion de variation – Par rapport au signe standard : est-ce qu’on peut l’utiliser tel quel– Par rapport à son besoin d’indices : avancer n’a pas de forme neutre

• Penser (notvar) dire (var (mais inv en conf) donner(var)– Var par rapport à la connaissance sur les actants (sinon, neutre) – On utilise cette notion de var uniquement dans une perspective de contraintes

syntaxique. (pour l’heure on en est au niv des actants…. On essaie d’intégrer les adj…. Ensuite il faudra intégrer tout le reste)

* Dubuisson & Lacerte, 1996

TALS 2007 5

Passage à l’avatar• Dans notre exemple, seul caisse est invariable

– Discussion • Grosse caisse vs caisse est grosse.• CAISSE peut subir des variations modales• Il est invariant sur les configurations et des locus (relatifs) de

départs et d’arrivée

• Pour les gestes variables– indications après les apostrophes (surface) que l’on

retrouve dans des traits dans la feuille xml (traits de lourdeur (pour le verbe) non visibles dans la transcription de surface mais bien présent dans xlm)

TALS 2007 6

Rôle de l’accord

• L’intérêt était de montrer comment on gère la variation

• La variation et la présence de traits à compléter ou à modifier sur la base, sont une conséquence de phénomènes linguistiques dont le point commun est l’accord

TALS 2007 7

Phénomènes traités• La variation de configuration

– relie le prédicat avec • son sujet (AVANCER)• son objet (DONNER).

– Elle permet également les processus de qualification (LOURD). • La variation de lieux relie le prédicat avec

– son sujet et son oblique (DIRE, DONNER) ou – avec son objet (PRENDRE, CHOISIR) – mais aussi avec des lieux (ALLER\_\`A, ALLER\_DE\_...\_\`A).

• La variation des formes• de la configuration (plus ou moins grande), • de la forme de la trajectoire (amplitude, répétition)

= processus de modification par un type d'adjectif ou d'adverbe*

* Kervajan & Voisin 2007

TALS 2007 8

Phénomènes traités• La modification de l'emplacement du corps

= mécanisme de transfert personnel qui permet la prise de rôle. – C'est un deuxième moyen de relier le prédicat et son sujet.– Cependant, un transfert a un effet qui dépasse celui de l'accord avec le prédicat

dans la mesure où la modification affecte un ensemble de signes qui correspond en général à la phrase.

• La modification des traits du visage permet de marquer le mode : – l'affirmation, la question, le doute ou l'ironie.

• Enfin, il est également possible de prendre en compte d'autres paramètres de modification tels que les facteurs liés au locuteur, à son style ou son état émotionnel*.

• Il reste un certains nombre d'éléments à rajouter. En effet, nous n'avons pas parlé du regard, par exemple, dont la gestion est indispensable puisqu'elle permet de préciser les catégories grammaticales des signes exécutés.

* Heloir et al, 2006

TALS 2007 9

Description du lgg retenu• Postulat : dictionnaire exhaustif des racines de signes

– À compléter ou modifier en fonction des éléments issus du traitement linguistique

• L’absence d’indication renvoie à une forme par défaut– lieu neutre, configuration de l’infinitif ou du signe standard

correspondant (cf LOURD))• Principe économique

– signe réalisé par infographie mais modifiable– « Peu » de signes au départ, reconstruits par concaténation

de gestes

TALS 2007 10

Interprétation et animation

• À partir du fichier XML, le module de synthèse concatène les gestes et produit la séquence de signes

TALS 2007 11

Interprétation et animation

• Développer* un procédé pour produire un énoncé en LSF à partir de l’équivalent en langage naturel (le fr)

• Postulat du départ : corpus– résultat d’un travail d’info graphie, stocké sous la forme

de fichiers BVH (BioVision Hierarchical data)– Démarche inverse de réaliser un langage de description de

gestes**

* Lee et kunii, 1993 Lebourques et Gibet, 1999

* Prillwitz et al., 1989 Elliot et al., 2004 Losson et Vannobel, 1998

TALS 2007 12

Structure de la séquence• Représentation de l’énoncé

– Création d’un arbre à partir du XLM.– La logique invariant/variant est reprise

• en fonction du type, le geste sera reproduit tel quel ou adapté.

• Répartition des canaux– Un canal pour la configuration (avec orientation du poignet)

• Modification par instanciation directe– Un canal pour la position du poignet

• Modification par l’attribut TRAIT par Motion Blending*• Calcul du coude par cinématique inverse**

– Un canal d’animation faciale (sauf regard, non encore prise en compte)

* Bruderlin et Wiliams, 1995** Tolani et al., 2000

TALS 2007 13

Instanciation des trajectoire• Transformation de la structure discrète (arbre) en une

séquence continue de paramètres.• Insertion des transitions manquantes (dbéut, fin, transition)

et concaténation des paramètres d’animation.

TALS 2007 14

Instanciation des trajectoire• Le système parcourt l'arbre une première fois pour instancier les gestes ainsi que

les postures initiale et finale, puis une seconde fois pour instancier les transitions. Lors du premier passage, les gestes invariants du corpus sont instanciés tels quels sur les deux canaux. Pour les gestes variables, les positions de début et de fin sont déterminées suivant les attributs. La trajectoire est calculée par Motion Warping (Witkin & Popovic 1995) technique qui permet d'infléchir des mouvements pré-enregistrés sous contrainte, puis la configuration est modifiée s'il y a lieu. Enfin, le mouvement résultant est altéré par Motion Blending ou ``mélange de mouvements'', suivant le trait. Lors du second passage, les transitions sont calculées, à partir des paramètres finaux du geste précédant et initiaux du geste suivant, très classiquement par l'intermédiaire de splines cubiques.

TALS 2007 15

Squelette de l’agent

• L’animation de l’agent est réalisée par utilisation classique d’un système de Skin and Bones

TALS 2007 16

Conclusion

• L’intérêt de la communication était de montrer que l’on pouvait traiter la variation du signe, non en multipliant les forme mais selon une approche dynamique. Cela nous permet d’envisager la prise en compte d’un maximum des spécifiés de la LSF*.

• Nécessité d’une évaluation par les locuteurs.• Nécessité d’une implémentation à grande échelle.

* Cuxac, 2000

TALS 2007 17

Conclusion• L’approche en est à ses début et à terme, il est probable

que nous ne parlerons plus d’invariables : nous aurons des signes avec des niveaux de variabilités différenciés (prise en compte des contraintes liées aux actants, aux modifieurs, à l’émotions, au transferts)

• En fait cette notion d’invariant/variant touche certains articulateurs : les mains, l’espace relatif (ou absolu quand on est sur le corps). Cela n’empêche pas qu’au niveau d’autres articulateurs, tous les gestes soient variables.

TALS 2007 18

Merci pour votre attention !

… et rendez-vous à la soutenance de ma thèse pour la démonstration !