Interactions langagières et parolières dans une société de linformation Gérard CHOLLET...
-
Upload
frery-colin -
Category
Documents
-
view
107 -
download
1
Transcript of Interactions langagières et parolières dans une société de linformation Gérard CHOLLET...
Interactions langagières et parolières dans une société
de l’information
Gérard CHOLLET
ENST/CNRS-LTCI46 rue Barrault
75634 PARIS cedex 13
Plan
Les attentes sociétales Majordome / Assistant Multimodal Intelligent Traitement Automatique des Langues Domaines du Traitement Automatique de la Parole Codage Reconnaissance / Compréhension Reconnaissance du locuteur, de la langue,… Synthèse à partir du texte, de concepts Apprentissage à partir d’exemples Perspectives
Accès, Communication, Apprentissage
Désir d’accéder à l’information à travers le téléphone sur INTERNET
Besoin de communiquer messagerie visioconférence
Soif d’apprendre Formation continue
«MAJORDOME»
messagerie unifiée intelligente
Projet Eureka no 2340
EDFHolistique
D. Bahu-Leyser, G. Chollet, R. Croce, K. Hallouli , J. Kharroubi, D. Kofman, L. Likforman, E. Matta-Sanchez, D. Petrovska, M. Sigelle, P. Vaillant, F. Yvon
Qu’est-ce qu’un Majordome ?
messages entrants vocal mèl télécopies
serveurtraitement des messages
accès aux messages
téléphone terminal
authentification, dialogue,routage, résumés,mises a jour, agenda
pagerPDA
Le Majordome individuel
Traitements
Traitement Automatique des Langues
Objet : traiter des données de nature linguistique
Limites : la partie purement phonétique relève du domaine du traitement de la parole
Applications : traduction automatique résumé automatique analyse, indexation, filtrage de documents génération automatique de texte dialogue homme-machine
Techniques du T.A.L. : analyse
Étiquetage : identifier les composants d’un texteAquam[nf,acc.sing.] homo[nm,nom.sing.] bibit[v.ind.pre.3s]
Parsing : identifier la structure grammaticale[[Il]Pro,Gnsuj [[[a]Vaux [vu]Vpp]Vpass.comp [[l’]art [ours]n]Gnobj]GV]Phr
Réseau sémantique : représenter le sens[CHAT: #1]<-(agent)-[MANGER]-(objet)->[SOURIS : #2]
Difficultés liées à l’importance du contexte et de l’implicite dans les langues humaines (ex : résolution des anaphores)
Universal Networking Language (UNL) Web sémantique
Techniques du T.A.L. : génération
Engendrer des phrases en langue naturelle :
[CHAT: #1]<-(agent)-[MANGER]-(objet)->[SOURIS : #2]
« Le chat mange la souris. »
Un générateur par langue à partir d’une représentation UNL
Accès aux pages Web représentées en UNL dans la langue de son choix.
Voice Over IP Platform
Network
192.168.223.0/1
1
Network 192.168.222.0/11
Visioconference
VTHD
Renater
UnisphereERX-700
1Gbps (FO Interne)
ENST-Paris
RTC/RNIS
Intranet
GK
PBX
GW IPVR
1Gbps
Cisco Catalyst
6507
Salle C-234
Salle C-234
Salle PBX
Salle C-234
Network192.168.111.0/11
VideoServer
DistanceLearningService
Expéditeur
Destinataire
Mots clés
Télécopies
Partenaires ‘Majordome’
Domaines du Traitement Automatique de la Parole
Identit
é
PHONETIQUE
RECONNAISSANCE
GRAPHEMESVERS PHONEMES
SYNTHESE
ANALYSESTOCKAGE RESTITUTION
TRANSMISSIONBla-blabla … Bla-bla
LANGUE
MESSAGE
Codage de la parole
Codage =transmission d’un message vocal, en diminuant le débit et en conservant un maximum d’information
Types de codeurs : A forme d’onde Hybrides Paramétriques Segmentaux
Quels codeurs pour quels débits
Bit rate (bits/s)1k 2k 4k 8k 16k 32k 64k
IndicativeQuality(MOS )
Paramétriques Hybrides A forme d’onde
1
2
3
4
5 G711 72
G721 84
ST4209 83
G 728 92
FS 1016 90
G 729 96
ST 4479 93
ST 4198 87
LPC 10 83
GSM 871200 HSX 97
G 723-196
VLB
RC
0,5k
Très bas débits
2400 HSX 96
Evolution des codeurs
1
2
3
4
5
1980 1990 2000
IndicativeQuality(MOS)
G.711(64 kb/s) G.721
(32 kb/s) G.729(8 kb/s)
G.728(16 kb/s)
LPC 10(2,4 kb/s)
HSX(2,4 kb/s)
Consumer quality
Minimum qual. for highcost application
Minimum qual. For lowcost application
1970 2010
ALISP(.4 kb/s)
Pourquoi développer des codeurs à très bas débit
Trouver les limites de la compression de la parole(sans sa compréhension)
Applications pratiques : Répondeurs automatiques sans bandes magnétiques Archivage et «boîtes noires » Communication sur des canaux à bas débits Codage redondant en télédiffusion
But à atteindre : Débit moyen de 100-500 bps Indépendant du locuteur, de la langue,
de l’environnement
Comment conserver la qualité en diminuant le débit
Exploiter les limites de l’audition Utiliser le modèle source-filtre de
production de la parole Exploiter les contraintes dynamiques des
articulateurs Indexation de segments de parole Utiliser des modèles de langage
Principes généraux des codeurs à très bas débit < 400 bps
Nommées aussi codeurs segmentaux ou codeurs par indexation
Nécessitent l’utilisation de : Méthodes de reconnaissance
Quelles unités de reco utiliser ? Méthodes de synthèse
Quelles unités de synthèse utiliser ? Données à transmettre :
Indices des unités de parole reconnus Informations prosodiques
Le prix à payer
Complexité croissante Retard au décodage Mémoire plus importante Sensibilité aux erreurs de transmission Sensibilité au bruit ?
Limitations des vocodeurs phonétiques et alternatives
Nécessitent des bases de données de parole transcrites et segmentées (au niveau mots ou phonèmes)
Problèmes avec ces bases de données: Ambiguïté des transcriptions phonétiques Coût élevé Tâches ennuyeuses Sont dépendantes de la langue
Alternative = utiliser seulement les données de parole, sans les transcriptions
Utiliser A L I S P
A utomaticL anguageI ndependentS peechP rocessing
Motivations pour utiliser ALISP
Permet un codage à très bas débit Développement de nouveaux outils pour la
recherche en phonétique Intègre le paradigme d’analyse par la synthèse Applications en reconnaissance de la parole
indépendante de la langue Identification de la langue Amélioration de la qualité de la parole
transmise, débruitage
Cas idéal versus cas actuel
ALISP devrait permettre idéalement un codage Indépendant du locuteur Indépendant de la langue Indépendant de l’environnement
Réalité : On commence par résoudre le cas
dépendant du locuteur Premiers résultats pour le codage
indépendant du locuteur
Comment réaliser le codage par indexation avec ALISP
On a besoin d’un ensemble d’unités acoustiques obtenues automatiquement pour faire le codage
Caractéristiques des unités ALISP Elles doivent représenter d’une manière
précise et concise les sons d’une langue On doit les déterminer sans avoir recours à
une base de données étiquetée phonétiquement
Apprentissage non supervisé des unités de codage
Segmentation initiale
Regroupement des segments en N classes
Modélisation des N classes
Décomposition temporelle
Quantificationvectorielle +
distances cumuléesModélisation HMM
Décomposition temporelle - exemple
En moyenne 17 événements par seconde
Modélisation HMM : topologie utilisée
1 2 3 4 5
a22 a33 a44
a12 a23 a34 a25
3 états émetteurs
Modèle de langage : unigrammes, facteur de langage .
Observation T trames : 3 flux de paramètres indépendants et de mêmes poids : LPCC; LPCC;
log(E).
Pour chaque flux une loi gaussienne simple.
Synthèse
Critère de choix des unités : Dans chaque classe d’unités acoustiques du
codeur, on choisit les 8 plus longs segments pour chaque classe Ci
==> dictionnaire des unités de synthèse Si
Critère de distortion utilisé Pour coder un segment tj qui a été reconnu
comme appartenant à la classe Ci , on le compare par DTW aux unités de synthèse Si
Schéma de codage
parole Analyse spectral
e
Analyse prosodiqu
e
Reconnaissance HMM
Dictionnaire des modèles
HMM des unités ALISP
Représentant A1
…
Représentant A8
HMM A
Détermination des unités de
synthèse
Choix unité de synthèse par
DTW
Codage prosodie
Indice unité ALISP
Indice unité de
synthèsePitch,
énergie, temps
décodage
Parole synthétique
Représentant A1
…Représentant A8
Indice ALISP
N° représentant de synthèse
Paramètres de prosodie
Choix unité de synthèse
Synthèse par
concaténation
Segmentation induite par la décomposition temporelle
Segmentation sur des zones spectralement stables
Segmentation de la phrase à coder
W…A…N….T….E……….D
Recherche des segments les plus ressemblants
Restitution par concaténation
Examples sur « BU corpus »
codage méthode ALISP (HNM) unités de synthèse correspondantes aux modèles HMM
synthèse HNM
original
choix des unités de synthèse à partir des transcriptions phonétiques concaténation des formes d’onde
Expériences indépendantes du locuteur
A l’état actuel le codage avec des unités ALISP n’est fonctionnel que pour un locuteur prédéfini
Situation peu réaliste Cas idéal : codage de n’importe quel locuteur,
parlant n’importe quelle langue Cas intermédiaire : codage des locuteurs
masculins, parlant français de la base de donnés BREF
Cas indépendant du locuteur : suffisamment (?) de données parole d’un échantillon représentatif pour les données d’ entraînement et d’un autre ensemble de locuteurs disjoints pour le test
Base de données de parole BREF
Caractéristiques principales : corpus français composé de textes lus, extraits du journal « Le
Monde » 120 locuteurs, avec en moyenne 40-70 min de
parole par loc. Séparés en 80 locuteurs pour l’entraînement, 40
de développement et 20 de test, avec des textes différents
Enregistrement qualité studio, échantillonné à 16kHz
Correspondance Alisp phones, Bref
Exemples d’analyse synthèse HNM
En français Analyse synthèse HNM OriginalEn anglais (BU corpus) Analyse synthèse HNM Original
Conclusions et perspectives
améliorer l’intelligibilité et la qualité choix d’unités compatibles pour
le codage et la synthèse à partir du texte rendre le codeur indépendant du
locuteur et de la langue restituer l’identité du locuteur
Et à plus longs termes...
• utiliser la technique ALISP de codage avec
des références étiquetées phonétiquement
pour faciliter la reconnaissance automatique
de la parole
• expérimenter le codage ALISP en vérification
du locuteur
Projet SIROCCOSystème générique de reconnaissance de parole
INRIA (IRISA et LORIA), LIA, IRIT, ENST-LTCI
SIROCCO
PROCESSEURACOUSTIQUE
RECONNAISSANCEDE MOTS
STRATEGIE
PROCESSEURLINGUISTIQUE
SIROCCO
SIGNAL
MOT(S) RECONNUS
Vérification du locuteur
Dépendant du texte CAVE – PICASSO COST 250, 277
Indépendant du texte NIST
Multimodal M2VTS BIOMET
BIOMET
Bla-bla
ESPACESECURISE
PIN PIN 1111111111111111
11
Perspectives
Un œil et une oreille pour les terminaux mobiles
UMTS
Indexation de conférences et Enseignement à distance
le Web sémantique,
‘Universal Networking Language’
‘Le bureau du futur’ (voiture !), ‘La maison du futur’
Saisie d’une image