Stratégies d’analyse pour la
Compréhension de la parole
Soutenance de thèseAriane HalberENST7 décembre 1999
Vers une approche à base de Grammaires d’Arbres Adjoints Lexicalisées
2État de l’art Expérimentation Evaluation ConclusionContributionPosition
Instanciationslinguistiques
techniquesd’intégration
techniquesd’analyse
Objectif
Traitement de l’écrit parole
reconnaissance / compréhensionde parole
GrammairesLTAG
3État de l’art Expérimentation Evaluation ConclusionContributionPosition
Cheminement
Interfaces Vocales
Couplage RP-TALN
Analyse TAG
Analysesquelette
Unificationde traits
4État de l’art Expérimentation Evaluation ConclusionContributionPosition
Interfaces Vocales…
Cadres applicatifsDévelopper une interface vocale2 expérimentationsConclusions
5État de l’art Expérimentation Evaluation ConclusionContributionPosition
Cadres Applicatifs
Dialogue finalisé: Virtual Speaker 2 (+Coven)
aide au choix de programme TV 800 mots / énoncés libres / domaine bien décrit / dialogue fin
Requêtes à une base de textes: THISL
recherche d’archives audiovisuelles BBC 40 000 mots / énoncés libres / domaine non décrit / interaction
faible
6État de l’art Expérimentation Evaluation ConclusionContributionPosition
Une interface vocale?
Quels composants?
Le problème de la reconnaissance
L’intégration
7État de l’art Expérimentation Evaluation ConclusionContributionPosition
Composants
RP TALN réponse système
Reconnaissance de Parole
Traitement Automatiquedu Langage Naturel
composantapplication
8État de l’art Expérimentation Evaluation ConclusionContributionPosition
Pb de la reconnaissance
do you hum.. have information on this election ?
RP
modèleacoustiqu
e
Explosion combinatoire
9État de l’art Expérimentation Evaluation ConclusionContributionPosition
langage stat.
(ngram)
Intégration TALN «léger»
do you hum.. have information on this election ?
do you and an half in four mention on this election ?
RP
modèleacoustiqu
e règles de grammai
re
10État de l’art Expérimentation Evaluation ConclusionContributionPosition
langage stat.
(ngram)
Sorties de reconnaissance
do you hum.. have information on this election ?
do you and an half in four mention on this election ?
RP
the you sum and have a for mention and is ale action ?
80
do the sum in have information on this election
94
do you and an half in four mention on this election
100
Graphe de mots /N-meilleures hypothèses
modèleacoustiqu
e règles de grammai
re
11État de l’art Expérimentation Evaluation ConclusionContributionPosition
Graphe de mots
I wouldlike a video
onDiana’s
wedding
my
good
HolliwoodMike
is
Woody
hi-fithe
hormon
anddie
Anna
a nice
suedein
12État de l’art Expérimentation Evaluation ConclusionContributionPosition
Composants
RP TALN réponse système
Traitement Automatiquedu Langage Naturel
composantapplication
meilleureshypothèses
13État de l’art Expérimentation Evaluation ConclusionContributionPosition
interactiondialogue
Traitement des énoncés
TALN
analyseinterprétation
réponse système
enoncé oral
No, not that one…
I mean, Spielberg’s, you bummer!
Do you hum.. have information on this film?
composantapplication
14État de l’art Expérimentation Evaluation ConclusionContributionPosition
règles de grammai
re
Couplage RP > TALN
RP TALNmeilleureshypothèses
réponse système
langage stat.
(ngram)
do you hum.. have information on this election ?
do you and an half in four mention on this election ?
modèleacoustiqu
e
interactiondialogue
analyseinterprétation
15État de l’art Expérimentation Evaluation ConclusionContributionPosition
Interfaces Vocales…
Cadres applicatifsDévelopper une interface vocale2 expérimentationsConclusions
16État de l’art Expérimentation Evaluation ConclusionContributionPosition
Analyse fine
does-N0-deal-with-N1
S
V
N0does deal
Prep
with N1
PPV
VP
[type : film-entity] [type : film-topic]
N
it
17État de l’art Expérimentation Evaluation ConclusionContributionPosition
Boucle de prédiction
filtredialogue..
grammaireparamètres
acquis
parseur
?
RP hyp
18État de l’art Expérimentation Evaluation ConclusionContributionPosition
Boucle de prédiction (exemple)
filtredialogue..
grammaireparamètres
acquis
parseur
what time does it (smart/art/start/..) at?
whom was the film shot (die/by/bye/..) ? ? does-N0-deal-with-(N1)Does it deal with
(you foes/UFOs/..) ?
wh-aux-N0-shot-(by)
19État de l’art Expérimentation Evaluation ConclusionContributionPosition
Boucle de prédiction (avantages)
filtredialogue..
grammaireparamètres
acquis
parseur
?
analyse partielle(robuste)
prédictionscontextuelles
grammaire finedu domaine
retour vers la reconnaissance
20État de l’art Expérimentation Evaluation ConclusionContributionPosition
Boucle de prédiction (problèmes)
filtredialogue..
grammaireparamètres
acquis
parseur
? surgénérationambiguïtélexicale
(développement)(insuffisant)
21État de l’art Expérimentation Evaluation ConclusionContributionPosition
Analyse légère
I would like a video on Diana’s wedding
Formulation
KW
S
Vaux
Det
NP
NP
NPVP
Aux V
N
PP
Prep
KW
22État de l’art Expérimentation Evaluation ConclusionContributionPosition
Graphe de mots
I wouldlike a video
onDiana’s
wedding
my
good
HolliwoodMike
is
Woody
hi-fi
thehormon
anddie
Anna
a nice
suedein
23État de l’art Expérimentation Evaluation ConclusionContributionPosition
Filtrage progressif
parseur moteur derecherche..
grammaire
sous-règlesrobustes
filtre
règlesmots-clefs
ngram
RP graphe
24État de l’art Expérimentation Evaluation ConclusionContributionPosition
Filtrage progressif (exemple)
parseur
Diana’s wedding
filtre
I would like a video on <>
ngramI would like a videoon Diana’s wedding
moteur derecherche..
25État de l’art Expérimentation Evaluation ConclusionContributionPosition
Filtrage progressif (avantages)
parseur
filtrengram
moteur derecherche..
fusion de connaissances
analyses partielles(robustes)
grammaire légère
26État de l’art Expérimentation Evaluation ConclusionContributionPosition
Filtrage progressif (problèmes)
parseur
filtrengram
moteur derecherche..
combinaison descritères ?
rapidité / efficacité du parcours (descendant)
statut et parsage de ces règles ?
27État de l’art Expérimentation Evaluation ConclusionContributionPosition
Interfaces Vocales…
Cadres applicatifsCouplage RP-TALN2 expérimentationsConclusions
28État de l’art Expérimentation Evaluation ConclusionContributionPosition
Cahier des Charges
Une analyse à la fois...
La quadrature du cercle?
filtrante fine
rapide
hypothèses de reconnaissance interprétation
robusteoralité, erreurs RP, couverture grammaire
contrainte temps réel
29État de l’art Expérimentation Evaluation ConclusionContributionPosition
Adéquation des LTAG?
rapide
robusteschémas oraux /analyse partielle /dépendances heuristiques
filtranteanalyse lexicale
finefinesse syntaxique +sémantique
C’est par ici
lexicalisation
schémas syntaxiques
unités sémantiques
30État de l’art Expérimentation Evaluation ConclusionContributionPosition
Analyse TAG efficace...
Introduction aux grammaires LTAGAnalyser un énoncé...Trois techniquesUn cadre pour les unifierApplications
31État de l’art Expérimentation Evaluation ConclusionContributionPosition
Grammaire de la langue
Substitution - argument
S
V
N0 N1aime
N
Paul
Adj
bon
N
N
Det
painle
Paul aime le bon pain
32État de l’art Expérimentation Evaluation ConclusionContributionPosition
Formalisme TAG
X
X
substitution X
33État de l’art Expérimentation Evaluation ConclusionContributionPosition
Grammaire de la langue
Adjonction - modifieurs
le bon petit pain
N
Adj
N*bonAdj
bon
N
N
Det
le
N
NDet
painle N
Adj
petit
N
petit pain
Adj N
34État de l’art Expérimentation Evaluation ConclusionContributionPosition
Formalisme TAG
X
X*X
XX adjonction
35État de l’art Expérimentation Evaluation ConclusionContributionPosition
Grammaire de la langue
Adjonction prédicative
Paul pourrait manger ce painV
V
V*pourrait
N1
NDet
paince
VN0
mangerPaul
S
N1
NDet
paince
VN0
mangerPaul
S
V V
pourrait
36État de l’art Expérimentation Evaluation ConclusionContributionPosition
Propriétés TAG
Adjonction englobante
V
Conj
V*ne
Conj
pas
N1
NDet
paince
VN0
mangePaul
S
Paul ne mange pas ce pain
37État de l’art Expérimentation Evaluation ConclusionContributionPosition
Propriétés TAG
Localisation des dépendancesQuel pain pensez-vous que Paul pourrait manger?
quN
NQu
painquel
V
V
V*pourrait
V
N0quN1 manger
S
S
S*
N
vouspensez
Conj
que
V C N
Paul
38État de l’art Expérimentation Evaluation ConclusionContributionPosition
Propriétés TAG
Factorisation des récursions
S
S*
N
Marie pense
Conj
que
VC
S
S*
N
Jean pense
Conj
que
VC
N1
NDet
painle
VN0
mangePaul
S
N
Adj
N*bon
N
Adj
N*petit
N
Adj
N* noir
..
Marie pense que Jean pense que .. Paul mange le bon petit .. pain noir
..
39État de l’art Expérimentation Evaluation ConclusionContributionPosition
Analyse TAG efficace...
Introduction aux grammaires LTAGAnalyser un énoncé...Trois techniquesUn cadre pour les unifierApplication
40État de l’art Expérimentation Evaluation ConclusionContributionPosition
Enoncés reconnus
graphe de mots hypothèses
this
is
if
at
a
the
what
that
this
feature
film
is on
and
done
end
41État de l’art Expérimentation Evaluation ConclusionContributionPosition
Ambiguïté lexicale
is that film on ?
144 S
VN PP
3 S
VWh PP
1 S
V N Adj
2 S
V N N
... ...
N
Det N*
14 N
Pron
16
N
34N
PP
N* Prep
...
35
Adj
...
N1
16N
N1 N*
(ce film est-il en cours [de diffusion]?)
PP
Prep N1
34
17C
V
N
N
N*
ConjConj15
42État de l’art Expérimentation Evaluation ConclusionContributionPosition
Trois approches graduelles
Parsage Tabulaire factorisation des analyses
Parsage probabiliste sélection dynamique des items
dérivés
Superétiquetage pré-sélection des arbres
élémentaires
is
N
that film onreally
is that film on
is that film on
0.3 0.04N C
0.02
43État de l’art Expérimentation Evaluation ConclusionContributionPosition
Parsage tabulaire
Mémorisation / factorisation• garder les sous-analyses trouvées• # exponentiel de dérivations mais parsage polynomial
Heuristiques de parcours
np
comp-…….
wh v
isthat film on tomorrowwhenmetell
advn
vp
adjprep
sp
v
n
conj
dets
s-conj-...
vp
44État de l’art Expérimentation Evaluation ConclusionContributionPosition
Parsage probabiliste
Probabilité incrémentale « interne » Critère d’élagage
• cohérence interne + capacité de combinaison future ?
np
comp-…….
0.03
0.02
wh v
isthat film on tomorrowwhenmetell
advn
vp
adjprep
sp
v
n
conj
dets
s-conj-...
45État de l’art Expérimentation Evaluation ConclusionContributionPosition
Superétiquetage
is that film on </s>
14
2 34
...
35...
16
...
<s>
1 16
14
34
émissionlexicale
prédictioncontextuelle(bigram)
3
4
...
4 17
46État de l’art Expérimentation Evaluation ConclusionContributionPosition
Ambiguïté lexicale
is that film on ?
144 S
VN PP
3 S
VWh PP
1 S
V N Adj
2 S
V N N
... ...
N
Det N*
14 N
Pron
16
N
34N
PP
N* Prep
...
35
Adj
...
N1
16N
N1 N*
(ce film est-il en cours [de diffusion]?)
PP
Prep N1
34
17C
V
N
N
N*
ConjConj15
47État de l’art Expérimentation Evaluation ConclusionContributionPosition
Prédiction contextuelle
1 1614 34
S
V N Adj
N
Pron N
PP
Prep N1
is that film on
48État de l’art Expérimentation Evaluation ConclusionContributionPosition
Prédiction contextuelle
1 1614 34
<(V) N Adj> <(N)> <(N)> <(Prep) N>
<(Det) N*> <(V) N N>
<Conj (V) N> <(Conj)>
<(Adj)>
<N* (Prep) N> <N (V) PP>
S
V N Adj
N
Pron N
PP
Prep N1
49État de l’art Expérimentation Evaluation ConclusionContributionPosition
Analyse TAG efficace...
Introduction aux grammaires LTAGAnalyser un énoncé...Trois techniquesUn cadre pour les unifierApplication
50État de l’art Expérimentation Evaluation ConclusionContributionPosition
Type linéaire d’arbre (ltt)
V N Adj
(is)
N
Det
(that)
N
(film)
S
(N <> N )(S °V<>N Adj S° S )
V Adj
(is)
N
Det
(that)
N
(film)
S (S °V<> Adj S° S )V Adj
(is)
N
Det
(that)
N
(film)
S (S <> S )
(on)
Forme finale:
51État de l’art Expérimentation Evaluation ConclusionContributionPosition
Superétiquetage étendu
is that film on </s>
14
2 34
35
<s>
1 16
14
émissionlexicale
prédictioncontextuelle(bigram)17
52État de l’art Expérimentation Evaluation ConclusionContributionPosition
Prédiction contextuelle de ltt
<°V [S] V° N Adj> <°N [N] N°>
<°N [N] N°><[PP] N>
<°N [N*]> <°V [S] V° N N>
<Conj °V [*N] V° N> <[Conj]>
<[Adj]>
<[N*] °PP N PP°> <N °V [S] V° PP>
<[S] N> <[*N] N>
<[S] Adj>
<[S] N Adj>
is that film on </s><s>
53État de l’art Expérimentation Evaluation ConclusionContributionPosition
Localité croissante
(that)
N
Det
N*
Dépendances de plus en plus locales
Adj
(violent)
N
(film)
S
V
Adj(is) N (really)
V
Adv
V*
54État de l’art Expérimentation Evaluation ConclusionContributionPosition
Localité croissante
(that)
N
Det
N*
Dépendances de plus en plus locales
Adj
(violent)
N
(film)
S
V
Adj(is) N(really)
V
Adv
55État de l’art Expérimentation Evaluation ConclusionContributionPosition
Localité croissante
Dépendances de plus en plus locales
Adj
(violent)
S
V
Adj(is) N
N
Det
(that)
N
(film)(really)
V
Adv
56État de l’art Expérimentation Evaluation ConclusionContributionPosition
Localité croissante
Dépendances de plus en plus locales
Adj
(violent)
S
V
Adj(is)
N
Det
(that)
N
(film)(really)
V
Adv
57État de l’art Expérimentation Evaluation ConclusionContributionPosition
Localité croissante
Dépendances de plus en plus locales
S
V
Adj
(is)
N
Det
(that)
N
(film)(really)
V
Adv
(violent)
58État de l’art Expérimentation Evaluation ConclusionContributionPosition
Généralisation contextuelle
Comportements contextuels
S
V
Adj(is) N
S
V
Adj(is)N
59État de l’art Expérimentation Evaluation ConclusionContributionPosition
Généralisation contextuelle
S
V
Adj(is)
N
Det
(that)
N
(film)
Comportements contextuels analoguesaprès dérivation
S
V
Adj(is)
N
Det
(that)
N
(film)
S
V
Adj(is) N
S
V
Adj(is)N
60État de l’art Expérimentation Evaluation ConclusionContributionPosition
Généralisation contextuelle
S
V
Adj(is)
N
Det
(that)
N
(film)
Adj
(on)
S
V
Adj(is)
N
Det
(that)
N
(film)
Adj
(on)
S
V
Adj(is) N
S
V
Adj(is)N
Comportements contextuels analoguesaprès dérivation
61État de l’art Expérimentation Evaluation ConclusionContributionPosition
Généralisation contextuelle
S
V
N0 (watch) N1
V
S
V
N0 (give) N2
V
N1
Comportements contextuels
62État de l’art Expérimentation Evaluation ConclusionContributionPosition
Généralisation contextuelle
S
V
N0 (watch) N1
V
S
V
N0 (give) N2
V
N1
N2
(me)
S
V
N0 (give)
V
N1
Comportements contextuels analoguesaprès dérivation
63État de l’art Expérimentation Evaluation ConclusionContributionPosition
Généralisation contextuelle
S
V
N0 (watch) N1
V
S
V
N0 (give) N2
V
N1
N2
(me)
S
V
N0 (give)
V
N1
N
(they)
N
(they)
N
Det
(the)
N
(program)
N
Det
(the)
N
(program)
Comportements contextuels analoguesaprès dérivation
64État de l’art Expérimentation Evaluation ConclusionContributionPosition
Un modèle «tout-terrain»
Améliore superétiquetage• ajouter 1 ou 2 étapes de parsage
Intermédiaire étiquetage/parsage• arbres élémentaires + qques dépendances
Intègre étiquetage dans parsage• choix avant/pendant parsage ratio tp/précis.
Optimise parsage probabiliste• apporte facteur contextuel «outside»
65État de l’art Expérimentation Evaluation ConclusionContributionPosition
Implémentation
parseur tabulaire LTAG bidirectionel• fondé sur le ltt• algo correct & complet• complexité O(n6) + distinction CF / CS • codé en PROLOG
Modèle statistique• probabilités internes dans le parseur tabulaire• calcul de lissage pour le modèle contextuel• apprentissage et élagage encore à valider
66État de l’art Expérimentation Evaluation ConclusionContributionPosition
Perspectives
Tests en grandeur réelle
Intégration dans des stratégies de rattrapage
recherche de dépendancesprise en compte de l’oralité
Outil paramétrable pour interfaces vocales
Top Related