Journée PluriTAL 2012 -Juliette Kahn
Click here to load reader
description
Transcript of Journée PluriTAL 2012 -Juliette Kahn
1Rencontres AFTAL - 2 mai 2012
MesuresRéférences& Clés de la COMPÉTITIVITÉet d’un MONDE PLUS SÛR
Situation actuelle
Ingénieur d’évaluation de systèmes de traitement de l’information multimédia au Laboratoire national de métrologie et d’essais (LNE)
Le LNE¢ Etablissement Public à caractère Industriel et
Commercial¢ Défense du consommateur¢ Accréditation pour la délivrance de normes NF et CE
3Rencontres AFTAL - 2 mai 2012
Cursus universitaire
2003-2006 : Licence Sciences du langage à l’Université Stendhal Grenoble 3¢ Parcours Informatique¢ Stage de licence en phonétique expérimentale
2006-2008 : Master en Sciences du Langage spécialité Traitement Automatique de la Langue Ecrite et Parlée (TALEP) à l’Université Stendhal Grenoble 3¢ Développement de plateforme pédagogique¢ Traitement de base de données Syllabique¢ Stage de Master 2 : Proximité de voix, comparaison de
la perception et du traitement automatique
4Rencontres AFTAL - 2 mai 2012
Thèse
2008-2011 : Doctorat en informatique à l’Université d’Avignon et des Pays de Vaucluse (Prix de thèse AFCP 2011)
u Parole de locuteur : Performance et confiance en identification biométrique vocale¢ Laboratoire Informatique d’Avignon (Jean-François Bonastre)¢ Laboratoire Informatique de Grenoble (Solange Rossato)
u Chercheur invitée au SRI (Stanford, Californie)¢ Vérification du protocole mis en place lors de ma thèse
5Rencontres AFTAL - 2 mai 2012
ThèseTâche de vérification du locuteur
¢ Les deux signaux de parole ont-ils été produits par le même locuteur ?
Vérifier la robustesse des systèmes de vérification du locuteur à la variabilité de la parole¢ Tous les signaux de parole sont-ils équivalent pour modéliser un
locuteur ?¢ Quelle variation de performance des systèmes peut-on observer
en fonction des locuteurs et des signaux sélectionnés ?Mieux comprendre où se situent dans le signal de parole les indices
relatifs au locuteur¢ Complémentarité entre perception humaine et système
automatique¢ Analyse de la variance de mesures d’indices acoustiques dits
idiosyncratiques
6Rencontres AFTAL - 2 mai 2012
Monitorat
Enseignement à l’Université d’Avignon et des Pays de Vaucluse¢ C/C++¢ Gestion documentaire¢ XML¢ Informatique pour les non-spécialistes
7Rencontres AFTAL - 2 mai 2012
Traitement de l’information multimédiaAudiou Qui parle ?u Dans quelle langue ?u Que dit-il ?
Texteu Quel document est pertinent pour répondre à ma question ?u Quelles sont les personnes citées dans ce texte ?
Traduction de documents textuels et de transcriptions de la paroleu Comment traduire en français une phrase produite en arabe ?
Imageu Qu’est-il écrit ?u Où se trouve la personne X ?
8Rencontres AFTAL - 2 mai 2012
Principe d’une évaluation
9Rencontres AFTAL - 2 mai 2012
Applications
TACHES
SYSTEMES
Données d’apprentissage Modèle
Comment vérifier la pertinence du modèle à la tâche?
Développeurs
Données de test
Sorties
RéférencesMesure de la performance
EVALUATION
Humains
Fournisseur de corpus-Evaluateur
Systèmes
Besoins
Théories
Le LNE : tiers de confiance
Evaluer les progrès des systèmes de traitement de l’information multimédia
u Mise en place de métriquesu Organisation de campagnes d’évaluationu Analyse des résultats
Etablir des référentiels communsu Donnéesu Outils d’évaluationu Règles communes d’évaluation
10Rencontres AFTAL - 2 mai 2012
Questions de recherche
Comment évaluer au mieux la performance des systèmes ?
Informatiqueu Métriquesu Optimisation des outilsu Représentation des données
Linguistiqueu Quel corpus pour quelles applications ?u Caractérisation des phénomènes linguistiques grâce aux
« comportements des systèmes »
11Rencontres AFTAL - 2 mai 2012