Analyse de la LSF - irit.fr · • étude d’une langue toujours en situation de dialogue ... Sign...

Institut de Recherche en Informatique de Toulouse

5 nov 2009 1

Analyse de la LSF

•  Langue des signes, objet linguistique –  Vidéo

•  Méthodes de TS, de TI et de RF •  Complexité

–  Langue •  Méthodes de TAL •  Particularités des LS

•  Langue des signes, langue parlée –  Contexte de la LSF –  Besoins - Applications

•  Etudier la LSF •  Enseigner, apprendre la LSF •  Communiquer, travailler en LSF

•  Justifications –  Recherches / Applications


5 nov 2009 2

Analyse de la LSF

•  Nos travaux –  Passés

•  Étude des composants : visage, mains •  Formes graphiques •  Modélisation ES

–  Actuels •  Segmentation par approche phonétique •  Rôle du regard et couplage regard /gestes manuels •  Configurations manuelles

–  Applications •  Editeurs : annotation, ES, Visage •  Suite logicielle LogiSignes

–  Projets •  LS-Colin, LS-Script, SESCA, SignCom, DictaSign

–  PRESTO


Langue des signes

•  Langue des signes , objet linguistique Oral / écrit ? Il existe des formalismes de notation et une forme d’écriture

5 nov 2009 3

HamNoSys SignWriting

Mais on peut dire que les LS sont encore essentiellement orales


Langue des signes

•  Langue des signes , objet linguistique donc les LS sont analysées à partir de données vidéo …

5 nov 2009 4

… qui posent aux traiteurs d’image des problèmes intéressants, car difficiles.


Langue des signes , objet de TI

•  Problèmes de TS, de TI et de RF Personnage(s) évoluant dans une scène, dont on veut analyser les postures, les

gestes et les expressions qu’il(s) produi(sen)t dans le but de communiquer.

–  Détection : de personnage, de composants corporels –  Suivi –  Reconstruction -> postures 3D, mouvements 3D –  Segmentation : Spatiale / Temporelle –  Caractérisation : formes, trajectoires, relations –  Reconnaissance : de composants / de geste / de comportement

–  Modélisation •  Structurelle •  Statistique

5 nov 2009 5


Langue des signes : objet de TI

•  Complexité de TI

–  Objet articulé, déformable, complexe (configuration des mains, mimiques faciales)

–  animé de mouvements rapides, non linéaires –  avec de fréquentes occultations –  et de nombreux distracteurs –  observé dans des contextes très variés

–  qu’il faut traiter à différents niveaux de résolution (direction du regard --> balancements du corps)

–  en temps réel et de manière robuste (traitement automatique de longues séquences vidéos)

–  dans un cadre de monovision et sans maîtriser ni connaître les paramètres d’acquisition.

5 nov 2009 6


Langue des signes : objet de TAL

•  Tous les niveaux d’analyse d’une langue –  Signal : détection, suivi, caractérisation des composants corporels –  Morpho-phonémique : –  Syntaxe : ordre, organisation spatiale –  Sémantique : lexique, construction du sens –  Pragmatique : langage en contexte, dialogue

•  Tous les domaines d’application du TAL –  Reconnaissance de la parole –  Recherche dans un document –  Lexique, dictionnaire : fabrication, accès –  Traduction –  … + Génération

5 nov 2009 7



•  Des langues des signes •  Les langues des signes / la LSF •  Analogies au niveau grammatical / lexique spécifique

•  Spécificité des langues des signes –  Canal visuo-gestuel ! propriétés linguistiques spécifiques :

•  Multilinéarité •  Utilisation de l’espace, •  Iconicité

5 nov 2009 8



•  Multilinéarité –  Regard : genre discursif, interaction –  Mimique : valeurs modales, aspectuelles, qualifiante, quantifiante –  Tête : maintien du contact phatique, pointage –  Buste : marqueur thématique et de frontières syntaxiques –  Mains/bras : paramètres porteurs de sens

5 nov 2009 9

Langue d’expression corporelle



•  Utilisation pertinente de l’espace •  3D : Espace de signation

–  demi-sphère placée devant le signeur –  Structuration spatio-temporelle de l’énoncé

•  Personnages, choses, notions, évènements représentés et organisés dans l’espace de signation

•  3D+T : ordre des signes –  moins important que leur arrangement dans l'espace.

Tendances : •  Objets les plus grands ou statiques avant les plus petits ou mobiles •  Décor, puis les accessoires et les personnages, puis l'action •  Cause avant effet, stimulus avant réponse, …

5 nov 2009 10

Langue spatio-temporelle



•  Iconicité –  Lexique : iconicité d’image

•  Ex : avion –  Énoncés : iconicité diagrammatique

•  Ex : verbes directionnels •  Structures de transferts

–  De taille et de forme •  Ex : «!immeuble pointu»

–  Situationnel •  Ex : Relations spatiales

–  Personnel •  Ex : regarde par la fenêtre

5 nov 2009 11

Iconicité : Iconicisation de l’expérience perceptivo-pratique



•  Complexité de TAL –  TALN : Parole + Ecrit / TALS : vidéo (parole)

•  Complexité à tous les niveaux d’analyse –  Composants corporels :

•  parallélisme –  Morpho-phonémique :

•  imbrication forme / sens –  Syntaxe :

•  ordre, •  support de l’espace de signation

–  Sémantique : •  lexique, visée illustrative, iconicité

–  Pragmatique : •  étude d’une langue toujours en situation de dialogue

•  5 nov 2009 12


TALS : spécificité

•  Traitement d’image –  Améliorer les performances

•  Méthodes de détection, de suivi et de reconnaissance –  Spécialiser

•  Intégrer des informations propres à la LSF dans les opérateurs de TI

•  TALS –  Les outils du TALN ne sont pas adaptés –  Proposer de nouvelles modélisations

5 nov 2009 13


5 nov 2009 14

Analyse de la LSF

•  Langue des signes, objet linguistique –  Vidéo

•  Méthodes de TS, de TI et de RF •  Complexité

–  Langue •  Méthodes de TAL •  Particularités des LS

•  Langue des signes, langue parlée –  Contexte de la LSF –  Besoins - Applications

•  Etudier la LSF •  Enseigner, apprendre la LSF •  Communiquer, travailler en LSF

•  Justifications –  Recherches / Applications


La LSF : une langue parlée

•  Contexte –  Langue interdite de 1880 à 1991 –  Langue peu utilisée dans les milieux académiques

pas utilisée pour l’accès aux connaissances, dans la formation •  Pas d’outils associés, pas de supports, peu de professionnels

–  Langue peu étudiée •  Pas de corpus de grande taille •  Besoin de modélisation linguistique

•  Situation actuelle (loi du 11 février 2005) –  Reconnaissance officielle de la Langue des Signes Française –  Droit d’usage dans les rapports avec les pouvoirs publics –  Droit d’usage dans la scolarité (option bilingue) –  Loi mise en œuvre :

•  Programme de LSF, CAPES de LSF, LSF optionnelle au bac, MDPH … •  Besoins : nouveaux, spécifiques

5 nov 2009 15


La LSF : une langue parlée

•  Objectifs –  Etudier la LSF : applications linguistiques

•  Outils informatiques pour travailler sur la LSF (éditeurs) comprendre son fonctionnement (analyse)

•  Validation des modèles –  Enseigner, apprendre la LSF

•  Outils et supports d’enseignement et d’apprentissage de la LSF –  Communiquer, travailler en LSF

•  Outils et supports d’enseignement en LSF •  Communication à distance en LSF

–  Messagerie en LSF, écriture en LSF •  Accès à des systèmes d’information, Internet

–  Requêtes en LSF => Comprendre des messages en LSF : traduction –  Services en LSF => Générer et produire des messages en LSF (avatar)

5 nov 2009 16


5 nov 2009 17

Travaux de TCI sur la LSF

•  Analyse des composants corporels –  Analyse des déformations du visage –  Détection et suivi des mains –  Reconstruction de la posture des bras

•  Segmentation temporelle –  Caractérisation –  Segmentation

•  Analyse syntaxique : utilisation de l’espace de signation –  Modélisation de l’espace de signation –  Description / Construction

•  Applications


Analyse des déformations du visage

5 nov 2009 18


Analyse des déformations du visage

5 nov 2009 19

Robustesse aux occultations


Détection du visage et des mains SUIVI

Prédiction de la zone de recherche des mains

(modèle structurel du corps)


Pointage


Suivi par filtre particulaire


Espace de signation

5 nov 2009 24

Espace de signation Emplacement

Entité Fonction

Locatif temporel absolu

Locatif temporel relatif

Actant

Locatif Lieu

Date

Animé

Action

Relations de composition

Relations d ’héritage

Action à destination implicite

Personne

Objet

Implicite


Editeur de l’espace de signation

5 nov 2009 25


Construction de l’espace de signation

5 nov 2009 26

Top

Main Buste Regard

Séquence Gestes Intervalle

Création de différents types d’entités

Différentes façons d’évoquer une entité

Séquences de gestes

pour chaque ACTS Gestes décrits dans les

séquences

composition

héritage

ACTS

ACTS = ACtion de Transformation de l’espace de Signation


Détection et suivi des articulateurs

5 nov 2009 27


Reconstruction 3D de la posture des bras

5 nov 2009 28


Segmentation temporelle en signes

5 nov 2009 29

Seed

Central symmetry : 0.1 Sagittal symmetry : 0.2 Double repetition : 0.0 Triple repetition : 0.0

Rectilinear displacement : 0.8 …

Aggregation

Confidence measures:

Sign : Csij=0.67

Transition : Ctij=0.4

Sign Sign Transition

Motion processing operators

Seed

40 41 42 43 44 46 649 653 657 661 665 669 673

i = 671 j = 677 Temporal segment S671,677

649


Espace de signation

5 nov 2009 31


Logiciel d’Annotation

5 nov 2009 33

vidéo

curseur

pistes

annotation

vignettes


Outil d’annotation

•  SLAnnotation –  Commentaires en français et/ou en LSF –  Couplage avec le TI

PhotoSigne

5 nov 2009 34


Applications pédagogiques

5 nov 2009 35

impression

illustration

Institut de recherche en informatique de Toulouse

Partie élève Partie enseignant

Fermer

Nouveau

Dossier

Enregistrer

Enregistrer sous

Exporter

Aide

Ouvrir une vidéo

Début Rembobine

r

Image précédent

e

Lecture /

pause Ouvrir une

annotation

Enregistrer Supprimer

avant

Supprimer

Afficher l’annotation 1

Capturer le fond

Interface d’AVV

Institut de recherche en informatique de Toulouse

Exemples de documents produits par AVV

Commentaires en LSF sur une production en LSF

Cours en LSF

Présentation en LSF

Documentation technique en LSF


IRIT-TCI février 2008

Pôle de REcherche langue des Signes TOlosan

INTERPRETIS

UTM IRIT

UT1, UTM, UPS- CNRS - INPT

IRIS WEBSOURD

Analyse de la LSF - irit.fr · • étude d’une langue toujours en situation de dialogue ... Sign...

Documents

Transcript of Analyse de la LSF - irit.fr · • étude d’une langue toujours en situation de dialogue ... Sign...