Recherches sur la Langue des Signes Patrice DALLE IRIT - TCI* IRIS - E&R *Institut de Recherches en...

RecherchesRecherchessur la sur la

Langue des SignesLangue des Signes

Patrice DALLEPatrice DALLE

IRIT - TCI*IRIT - TCI*

IRIS - E&RIRIS - E&R

*Institut de Recherches en Informatique de Toulouse équipe Traitement et Compréhension d’Images

IRIS - 25 juin 2003 Recherches sur la LSF 2

IRIT-TCI IRIT-TCI Traitement et Compréhension Traitement et Compréhension

d’Imagesd’Images Vision par ordinateurVision par ordinateur

Retrouver les informations sur la scène Retrouver les informations sur la scène observéeobservée

InterprétationInterprétation Reconnaître les objets, Comprendre la scèneReconnaître les objets, Comprendre la scène

Communication Visuo-GestuelleCommunication Visuo-Gestuelle Analyse des gestes ou signes d’une personneAnalyse des gestes ou signes d’une personne

Présentation


CommunicationCommunication VisuoVisuo--GestuelleGestuelle

Analyse par un système de vision

- Attitudes- Expressions- Mouvements- Gestes- Signes

des émis par une personne

dans un but de communication

avec d’autres personnesou avec une machine

Présentation


Types de recherchesTypes de recherches

Pédagogie en LSFPédagogie en LSF Accès à la culture : documents en LSF :Accès à la culture : documents en LSF : LSF et vie socialeLSF et vie sociale ……

Recherches

sur la langue des Signessur la langue des Signes

sur l’utilisation de la langue des Signessur l’utilisation de la langue des Signes

LSF , objet de l’étude : recherches linguistiquesLSF , objet de l’étude : recherches linguistiques Communication en LSF : Communication en LSF : technologies facilitant la communication en LSF technologies facilitant la communication en LSF


Recherches sur la LSFRecherches sur la LSF Prérequis nécessaires pour étudier la LSFPrérequis nécessaires pour étudier la LSF

Constitution de corpus Constitution de corpus Formalismes de notationFormalismes de notation Outils informatiques d’analyse de corpus vidéoOutils informatiques d’analyse de corpus vidéo

Analyse de la LSFAnalyse de la LSF Formation des signesFormation des signes Caractéristiques de la LSF. Ex : grande iconicitéCaractéristiques de la LSF. Ex : grande iconicité Grammaire de la LSFGrammaire de la LSF

Modalités de la LSF Modalités de la LSF Écriture de la LSFÉcriture de la LSF

LSF , analyseur de faits de languesLSF , analyseur de faits de langues Naissance des langues (étude de sourds isolés)Naissance des langues (étude de sourds isolés) LSF et gestuelle co-verbaleLSF et gestuelle co-verbale

Thèmes des recherches


Communication en LSFCommunication en LSF Communication à distanceCommunication à distance

Compression « intelligente »Compression « intelligente » Interfaces adaptéesInterfaces adaptées Messagerie en LSFMessagerie en LSF

Production d’énoncés en LSFProduction d’énoncés en LSF Avatars signantsAvatars signants

Ecriture de la LSFEcriture de la LSF Prise de notes en LSFPrise de notes en LSF

Résumés en vidéos, annotation, consultationRésumés en vidéos, annotation, consultation Traduction LSF Traduction LSF Français Français

Énoncé Énoncé sens sens représentation représentation génération génération

Thèmes des recherches


Financement public des Financement public des recherchesrecherches Ministère de la rechercheMinistère de la recherche

ACI : Action Cognitique Incitative ACI : Action Cognitique Incitative CNRSCNRS

Département STIC Département STIC (Sciences et Technologies de l’Information et de la (Sciences et Technologies de l’Information et de la Communication) Communication)

4 domaines : 4 domaines : - STIC : technologies de la communication- STIC : technologies de la communication

- IHC (Interaction Humaines et Cognition) ; - IHC (Interaction Humaines et Cognition) ; rôle de l’humainrôle de l’humain

RTP : Réseaux Thématiques PluridisciplinairesRTP : Réseaux Thématiques Pluridisciplinaires Actions spécifiquesActions spécifiques Equipes projetsEquipes projets

INRIAINRIA RégionsRégions

Recherches en cours


Linguistique Linguistique Informatique Informatiqueapports croisésapports croisés

LinguistiqueLinguistique Primitives, niveaux d’analysePrimitives, niveaux d’analyse Démarche d’analyse ou de production d’énoncésDémarche d’analyse ou de production d’énoncés

InformatiqueInformatique Modélisation de la syntaxe et de la sémantiqueModélisation de la syntaxe et de la sémantique

Méthodes formellesMéthodes formelles Représentations pour rendre compte ou pour générerReprésentations pour rendre compte ou pour générer Modélisation du mouvement et des gestesModélisation du mouvement et des gestes

EnvironnementsEnvironnements EditeursEditeurs Outils de manipulation, stockage, interrogationOutils de manipulation, stockage, interrogation

Analyse : LS ( vidéo, direct) Analyse : LS ( vidéo, direct) représentation représentation Génération : représentation Génération : représentation personnage de synthèse personnage de synthèse

CVG


ProjetsProjets

GestesGestes AS STIC : analyse des gestesAS STIC : analyse des gestes

Langue des SignesLangue des Signes ACI LS-COLIN ACI LS-COLIN (Cuxac)(Cuxac) : LS analyseur de langues : LS analyseur de langues (2000-(2000-

2002)2002) AS STIC AS STIC (Gibet,Toulotte)(Gibet,Toulotte) : Communication en LS : Communication en LS (2003-(2003-

2004)2004) ACI ACI (Garcia-Boutet)(Garcia-Boutet) : LSF - Formes graphiques : LSF - Formes graphiques (2003-2005)(2003-2005) INRIA : ARC-LSFINRIA : ARC-LSF

Analyse des gestes co-verbauxAnalyse des gestes co-verbaux AS STIC AS STIC (Dalle, Cuxac)(Dalle, Cuxac) : interaction gestuelle : interaction gestuelle (2002-2003)(2002-2003) Equipe projet Equipe projet (Dalle, Cuxac)(Dalle, Cuxac) : Interaction gestuelle : Interaction gestuelle (2004-(2004-

2007)2007)

Projets


Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique

(Action COGNITIQUE)

- Sciences du Langage, Université Paris 8 (linguistique de la LSF)- CAMS-LaLIC, Université Paris 4 (linguistique cognitive)- IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image)- LIMSI, CNRS, Orsay (informatique)

Langues des signes : Analyseurs privilégiés de la faculté de langage,

Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image)

autour de l'iconicité et de l'utilisation de l'espace.

Projet-1


LS-COLINLS-COLIN

L'iconicité des messages fonctionne comme analyseur L'iconicité des messages fonctionne comme analyseur cognitif. cognitif.

affiner l'inventaire des structures de "grande iconicité" affiner l'inventaire des structures de "grande iconicité" modéliser l’émergence du vocabulaire standard à partir du processus modéliser l’émergence du vocabulaire standard à partir du processus

d'iconicisation initial; d'iconicisation initial; vérifier des hypothèses des grammaires cognitives : l'expression vérifier des hypothèses des grammaires cognitives : l'expression

complémentaire des primitives spatiales et non spatiales issues des complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS.représentations sémantico-cognitives dans les énoncés en LS.

Travaux communsTravaux communs Identification des primitives signifiantes pour linguistes et Identification des primitives signifiantes pour linguistes et

informaticiensinformaticiens Structuration, segmentationStructuration, segmentation Spécification d’un outil de transcriptionSpécification d’un outil de transcription Étude et réalisation d’un corpus Étude et réalisation d’un corpus

Projet-1


LS-COLIN : Travaux des LS-COLIN : Travaux des linguisteslinguistes

Thèmes de Thèmes de publicationspublications issues de l’action issues de l’action(linguistes)(linguistes)

Modèle d’une grammaire iconique de la LSFModèle d’une grammaire iconique de la LSF Structures de grande iconicitéStructures de grande iconicité Opérations de transfertOpérations de transfert

Conséquences cognitives des transferts en LS

Classification des configurations manuelles Classification des configurations manuelles pronomiales en LSFpronomiales en LSF

La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant

Projet-1


Projet-1


Corpus LS-COLINCorpus LS-COLIN

Projet-1


Exploitation du corpus : « histoire du cheval » (I. Fusellier)

Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, …

Projet-1


LS-COLIN : Editeur de partitionsLS-COLIN : Editeur de partitions

Projet-1


Edition assistée par Traitement d ’ImagesEdition assistée par Traitement d ’Images

Données: séquences vidéo

Détection des zones d’intérêtsEntités statiques Locuteur MainsTête

Extraction de l’information mouvement

Entités dynamiquesTrajectoireMotifs temporels

Caractérisation et organisation

de l’information extraite

TrajectoiresContactBalancementPointage …

Vitesse; AccélérationDurée; Direction

Forme, Orientations globales et locales, nombre de régions

Projet-1


AS Interaction gestuelleAS Interaction gestuelle(RTP Dialogue et Communication)(RTP Dialogue et Communication)

Etude et Développement

de la communication Homme-Machine

visuo-gestuelle

Patrice DALLE Patrice DALLE

IRIT IRIT

UMR 5505- Toulouse IIIUMR 5505- Toulouse III

Christian CUXAC Christian CUXAC

Syntaxe formelle et typologie des Syntaxe formelle et typologie des langueslangues

UMR 7023 - Paris VIIIUMR 7023 - Paris VIII

Projet-2


AS-IG : MotivationAS-IG : Motivation

Intérêt : Intérêt : Le geste permet une interaction naturelleLe geste permet une interaction naturelle

ConstatConstat Le geste est peu utilisé dans la communication H-MLe geste est peu utilisé dans la communication H-M La vision est peu utilisée dans les dispositifs La vision est peu utilisée dans les dispositifs

multimodauxmultimodaux CausesCauses

Analyse en temps réel d’un objet composé articulé Analyse en temps réel d’un objet composé articulé déformable, avec beaucoup de degrés de libertédéformable, avec beaucoup de degrés de liberté

Le geste co-verbal est peu contraint et donc difficile à Le geste co-verbal est peu contraint et donc difficile à analyser par un système de visionanalyser par un système de vision

L’expression gestuelle seule est incomplète et ambiguëL’expression gestuelle seule est incomplète et ambiguë

Projet-2


AS-IG : PrésentationAS-IG : Présentation

ObjectifObjectif Enrichir les capacités d’échange de la communication Enrichir les capacités d’échange de la communication

visuo-gestuellevisuo-gestuelle Développer des modèles d’analyse des langues Développer des modèles d’analyse des langues

gestuelles par un système de visiongestuelles par un système de vision

MéthodeMéthode Etude des points communs Etude des points communs

langue des signes / gestuelle co-verbale langue des signes / gestuelle co-verbale dans la communication H-Hdans la communication H-H

Transposition à la communication H-MTransposition à la communication H-M Réalisation d’une maquette de simulationRéalisation d’une maquette de simulation

Projet-2


AS-IG AS-IG Apport de la langue des Apport de la langue des

signessignes

Langue des Signes

Gestesco-verbaux

analyse

enrichit

plus faciles à interpréter

plus expressifs

Projet-2


AS-IG : Laboratoires AS-IG : Laboratoires « cœur »« cœur »

Langue des signesLangue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie UMR 7023 (Paris 8) "Syntaxe formelle et typologie

des langues", Ch Cuxacdes langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG" , R. SabriaUPRESA 6065 (Rouen) "DYALANG" , R. Sabria

Co-verbalCo-verbal UMR 8606 (Paris 5) "LEAPLE" , Ch. HudelotUMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage" , I. UMR 6057 (Aix-Marseille) "Parole et Langage" , I.

Guaïtella- CavéGuaïtella- Cavé

Vision et analyse du geste par ordinateur Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et UMR 5505 (Toulouse 3) IRIT -"Traitement et

Compréhension d'Images" P. DalleCompréhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch

ColletCollet

Projet-2


AS :AS : Communication en langue des signes des sourds

(RTP Handicap)

Représentations et Modélisations du mouvement dans le contexte

de l’interaction et de l’animation d’agents de synthèse communicant en langue des signes.

Projet-3



Modèles et langages de spécification pour la Modèles et langages de spécification pour la génération et l’animation d’agents de génération et l’animation d’agents de synthèse :synthèse :

Analyse et synthèse des expressions facialesAnalyse et synthèse des expressions faciales Codage des gestes des langues des signes Codage des gestes des langues des signes

pour le stockage des gestes, leur transmission pour le stockage des gestes, leur transmission et leur re-synthèse en temps réelet leur re-synthèse en temps réel

Interaction multimodale avec les agents Interaction multimodale avec les agents virtuels de communicationvirtuels de communication

Évaluation des différents systèmes par des Évaluation des différents systèmes par des populations sourdes (représentation, populations sourdes (représentation, reconnaissance des gestes des avatars, reconnaissance des gestes des avatars, dialogue)dialogue)

Projet-3



Porteurs Sylvie Gibet

Laboratoire VALORIA, Université de Bretagne Sud Jean-Marc Toulotte

Laboratoire I3D, université des Sciences et Technologies de Lille

Participants LINC – PARAGRAPHE, Université de Paris VIII Université de Paris VIII, UMR 7023 LIMSI-CNRS, Université de Paris Sud IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 Institut de la Communication Parlée, Université

Stendhal, Grenoble

Projet-3


ACI-JC ACI-JC La LSF : quelles conditions pour quelles formes La LSF : quelles conditions pour quelles formes

graphiquesgraphiques(proposition de projet)(proposition de projet)

Porteurs Dominique Boutet

Brigitte Garcia

(linguistes - Paris 8)

+ laboratoires partenaires

Projet-4


La LSF La LSF quelles conditions pour quelles formes quelles conditions pour quelles formes

graphiquesgraphiques

Enquête , évaluation Enquête qualitative sur les attentes et besoins des populations concernées Expertise (sémio-linguistique et sociologique) des pratiques graphiques

spécifiques

Propositions Approche fondée sur le signifiant physiologique, permettant une forme

graphique monolinéaire et validée pour la gestualité coverbale Etude d’un outil de fabrication de comptes-rendus d’exposés en LSF Étude de la génération d’énoncés en LSF par des agents virtuels informatiques.

Projet-4


Analyse d’imageAnalyse d’imagede personnages signants :de personnages signants :Études menées à l’IRIT-TCIÉtudes menées à l’IRIT-TCI

DescriptionDescription Détection , Extraction de primitivesDétection , Extraction de primitives SegmentationSegmentation CaractérisationCaractérisation

Reconstruction 3DReconstruction 3D ReconnaissanceReconnaissance InterprétationInterprétation

Analyse d’image-TCI


CVG : pourquoi ? CVG : pourquoi ?

ProblématiqueProblématique Thème émergent en analyse d’imagesThème émergent en analyse d’images Cadre d’étude pertinentCadre d’étude pertinent

Scientifique : 3D, mouvement, compréhension, sensScientifique : 3D, mouvement, compréhension, sens Applications : Applications :

Communication Homme-Machine (interaction, commande, Communication Homme-Machine (interaction, commande, observation de l’utilisateur, couplage analyse-synthèse) observation de l’utilisateur, couplage analyse-synthèse)

LSF, LSF, Linguistique : étude des gestes co-verbauxLinguistique : étude des gestes co-verbaux

EnseignementEnseignement DESS SI : Systèmes Intelligents (vision et interaction)DESS SI : Systèmes Intelligents (vision et interaction) DESS IIN : Ingénierie de l’Image NumériqueDESS IIN : Ingénierie de l’Image Numérique

IRR : Intelligence artificielle, Reconnaissance des IRR : Intelligence artificielle, Reconnaissance des formes , Robotique formes , Robotique



CVG : pourquoi ?CVG : pourquoi ?

FinalitéFinalité : Communication, Langue des Signes : Communication, Langue des Signes OpportunitésOpportunités

Équipe TCI Équipe TCI (synergie, masse critique)(synergie, masse critique) Vision , mouvementVision , mouvement CompréhensionCompréhension

IRIT IRIT (coopérations)(coopérations) Image (analyse et synthèse)Image (analyse et synthèse) CHM, analyse de la vidéo, indexationCHM, analyse de la vidéo, indexation TALN (spatial), DialogueTALN (spatial), Dialogue

ToulouseToulouse LSF : fortes compétences (IRIS, Interpretis, UTM, LSF : fortes compétences (IRIS, Interpretis, UTM,

WebSourd,…)WebSourd,…) LAAS (geste)LAAS (geste)



CVG et analyse d’imageCVG et analyse d’image

AnalyseAnalyse Détection : silhouette, visage, mouvementDétection : silhouette, visage, mouvement SegmentationSegmentation

Composants du visage, du corpsComposants du visage, du corps MouvementMouvement

ReconnaissanceReconnaissance Expressions (visage)Expressions (visage) GestesGestes

InterprétationInterprétation Mimiques facialesMimiques faciales Gestes co-verbauxGestes co-verbaux Signes (de la LSF)Signes (de la LSF)



Edition assistée par Traitement d ’ImagesEdition assistée par Traitement d ’Images

Données: séquences vidéo

Détection des zones d’intérêtsEntités statiques Locuteur MainsTête

Extraction de l’information mouvement

Entités dynamiquesTrajectoireMotifs temporels

Caractérisation et organisation

de l’information extraite

TrajectoiresContactBalancementPointage …

Vitesse; AccélérationDurée; Direction

Forme, Orientations globales et locales, nombre de régions

Analyse d’image IRIT-TCI


Analyse d’image dans les Analyse d’image dans les projetsprojets

Système d’analyse de la LSF Système d’analyse de la LSF Boris LenseigneBoris Lenseigne Projet LS-COLINProjet LS-COLIN Action STIC : Communication en LSAction STIC : Communication en LS

Analyse des gestes co-verbauxAnalyse des gestes co-verbaux Frédérick GianniFrédérick Gianni Action STIC : interaction gestuelleAction STIC : interaction gestuelle

Analyse des expressions du visageAnalyse des expressions du visage Hugo MercierHugo Mercier Projet avec WebSourdProjet avec WebSourd

Saisie des formes graphiques de la LSFSaisie des formes graphiques de la LSF Guylhem Aznar, Sébastien BenoistGuylhem Aznar, Sébastien Benoist ACI : LSF - formes graphiquesACI : LSF - formes graphiques



Extraction du locuteurExtraction du locuteur

- Comparaison avec une image de référence du fond

- Filtrage et traitement morphologique



Extraction des entités mains et Extraction des entités mains et visagevisage

1. Extraction des zones de peau

2. Identification des différentes régions par critères de taille et de forme

Mains, Visage



Analyse des mimiques facialesAnalyse des mimiques faciales

Détection du visageDétection du visage Suivi du visage Suivi du visage méthode méthode mean mean

shiftshift Modélisation du visageModélisation du visage Etude des variations des Etude des variations des

composantscomposants



Représentation du mouvement Représentation du mouvement par motifs temporelspar motifs temporels

tMHI : Intensité pixel = fonction de l’historique du mouvement

Détection des gestes symétriques par analyse de l’image tMHI



Détection des contours mobilesDétection des contours mobiles

Frontières des objets en mouvement



Suivi des éléments mobilesSuivi des éléments mobiles

QuickTime™ et undécompresseur sont requis pour visionner cette image.



Estimation 3D de la postureEstimation 3D de la posture

Point 3D = droite de projection sphère



Estimation 3D de la postureEstimation 3D de la posture

Filtrage des solutions–Modèle géométrique du bras

•position 3D valeurs des articulations•butées

–Mouvement•hypothèse de continuité•modèles différentiels (vitesse et accélération)



Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement



Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit



VisualisationVisualisationde l’espacede l’espacede signationde signation



Visualisation de l’espace de Visualisation de l’espace de signationsignation



Visualisation de l’espace de signationVisualisation de l’espace de signation



Système d’analyse de locuteur Système d’analyse de locuteur signantsignant

Cahier des charges (1)Cahier des charges (1) Le système doit fournirLe système doit fournir

des outils de TI permettant de segmenter des des outils de TI permettant de segmenter des composants d’un signecomposants d’un signe

des outils de mesuredes outils de mesure des outils de reconnaissance (régiondes outils de reconnaissance (régioncomposant d ’un composant d ’un

signe)signe) des outils de structuration des composantsdes outils de structuration des composants

pour chaque image isolément



Cahier des charges (2)Cahier des charges (2)

Le système doit fournirLe système doit fournir des outils de TI permettant la segmentation temporelle des outils de TI permettant la segmentation temporelle

de la séquencede la séquence des outils de mesure de la dynamiquedes outils de mesure de la dynamique des outils de reconnaissance de trajectoiresdes outils de reconnaissance de trajectoires des outils de structuration des mouvementsdes outils de structuration des mouvements

pour la séquence d ’images.




Les composants sont identifiables par :Les composants sont identifiables par : leurs caractéristiques (main = tâche de couleur peau + leurs caractéristiques (main = tâche de couleur peau +

taille + forme)taille + forme) le contexte (objet qui touche la tête = main)le contexte (objet qui touche la tête = main)

La méthode de reconnaissance n’est pas uniqueLa méthode de reconnaissance n’est pas unique Le choix de la méthode évolue au cours du tempsLe choix de la méthode évolue au cours du temps

Système adaptatif : - les objets ont une définition unique - il n ’y a pas une description discriminante

Remarque sur la reconnaissance et la structurationRemarque sur la reconnaissance et la structuration




Contrainte : Contrainte : ne pas limiter l ’espace des problèmes ne pas limiter l ’espace des problèmes Le linguiste : doit pouvoir exprimer ce qu’il cherche, au Le linguiste : doit pouvoir exprimer ce qu’il cherche, au

moment de l ’analysemoment de l ’analyse Requêtes : exprimées en termes d ’indices visuels dans Requêtes : exprimées en termes d ’indices visuels dans

le contexte courantle contexte courant

Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d ’images de la LS

Linguiste

Système

vidéo



SystèmeSystème

Système intermédiaire

Interface linguiste

pilote

pilote

Interprète en termes du

TI

Séquence d’images de durée t (=objet) Configuration à un moment

donné (interp= temps d ’interprétation)

Observe et interprète



ContactsContacts

[email protected]@irit.frIRIT-TCI IRIT-TCI UPS UPS 118 route de Narbonne 31062 Toulouse 118 route de Narbonne 31062 Toulouse cedex 4cedex 4tel : 05-61-55-63-09tel : 05-61-55-63-09http://www.irit.fr/ACTIVITES/EQ_TCI/

RéférencesRéférences LS-COLIN : LS-COLIN :

http://www.irit.fr/LS-COLINhttp://www.irit.fr/LS-COLIN Rapport final : contact Patrice DalleRapport final : contact Patrice Dalle

AS-IG : AS-IG : http://www.irit.fr/AS-IGhttp://www.irit.fr/AS-IG

Recherches sur la Langue des Signes Patrice DALLE IRIT - TCI* IRIS - E&R *Institut de Recherches en...

Documents

Transcript of Recherches sur la Langue des Signes Patrice DALLE IRIT - TCI* IRIS - E&R *Institut de Recherches en...