Soutenance7dec[1]

Stratégies d’analyse pour la

Compréhension de la parole

Soutenance de thèseAriane HalberENST7 décembre 1999

Vers une approche à base de Grammaires d’Arbres Adjoints Lexicalisées

2État de l’art Expérimentation Evaluation ConclusionContributionPosition

Instanciationslinguistiques

techniquesd’intégration

techniquesd’analyse

Objectif

Traitement de l’écrit parole

reconnaissance / compréhensionde parole

GrammairesLTAG


Cheminement

Interfaces Vocales

Couplage RP-TALN

Analyse TAG

Analysesquelette

Unificationde traits


Interfaces Vocales…

Cadres applicatifsDévelopper une interface vocale2 expérimentationsConclusions


Cadres Applicatifs

Dialogue finalisé: Virtual Speaker 2 (+Coven)

aide au choix de programme TV 800 mots / énoncés libres / domaine bien décrit / dialogue fin

Requêtes à une base de textes: THISL

recherche d’archives audiovisuelles BBC 40 000 mots / énoncés libres / domaine non décrit / interaction

faible


Une interface vocale?

Quels composants?

Le problème de la reconnaissance

L’intégration


Composants

RP TALN réponse système

Reconnaissance de Parole

Traitement Automatiquedu Langage Naturel

composantapplication


Pb de la reconnaissance

do you hum.. have information on this election ?

RP

modèleacoustiqu

e

Explosion combinatoire


langage stat.

(ngram)

Intégration TALN «léger»


do you and an half in four mention on this election ?

RP

modèleacoustiqu

e règles de grammai

re


langage stat.

(ngram)

Sorties de reconnaissance



RP

the you sum and have a for mention and is ale action ?

80

do the sum in have information on this election

94

do you and an half in four mention on this election

100

Graphe de mots /N-meilleures hypothèses

modèleacoustiqu

e règles de grammai

re


Graphe de mots

I wouldlike a video

onDiana’s

wedding

my

good

HolliwoodMike

is

Woody

hi-fithe

hormon

anddie

Anna

a nice

suedein


Composants

RP TALN réponse système

Traitement Automatiquedu Langage Naturel


meilleureshypothèses


interactiondialogue

Traitement des énoncés

TALN

analyseinterprétation

réponse système

enoncé oral

No, not that one…

I mean, Spielberg’s, you bummer!

Do you hum.. have information on this film?



règles de grammai

re

Couplage RP > TALN

RP TALNmeilleureshypothèses

réponse système

langage stat.

(ngram)



modèleacoustiqu

e

interactiondialogue

analyseinterprétation



Cadres applicatifsDévelopper une interface vocale2 expérimentationsConclusions


Analyse fine

does-N0-deal-with-N1

S

V

N0does deal

Prep

with N1

PPV

VP

[type : film-entity] [type : film-topic]

N

it


Boucle de prédiction

filtredialogue..

grammaireparamètres

acquis

parseur

?

RP hyp


Boucle de prédiction (exemple)

filtredialogue..


acquis

parseur

what time does it (smart/art/start/..) at?

whom was the film shot (die/by/bye/..) ? ? does-N0-deal-with-(N1)Does it deal with

(you foes/UFOs/..) ?

wh-aux-N0-shot-(by)


Boucle de prédiction (avantages)

filtredialogue..


acquis

parseur

?

analyse partielle(robuste)

prédictionscontextuelles

grammaire finedu domaine

retour vers la reconnaissance


Boucle de prédiction (problèmes)

filtredialogue..


acquis

parseur

? surgénérationambiguïtélexicale

(développement)(insuffisant)


Analyse légère

I would like a video on Diana’s wedding

Formulation

KW

S

Vaux

Det

NP

NP

NPVP

Aux V

N

PP

Prep

KW


Graphe de mots

I wouldlike a video

onDiana’s

wedding

my

good

HolliwoodMike

is

Woody

hi-fi

thehormon

anddie

Anna

a nice

suedein


Filtrage progressif

parseur moteur derecherche..

grammaire

sous-règlesrobustes

filtre

règlesmots-clefs

ngram

RP graphe


Filtrage progressif (exemple)

parseur

Diana’s wedding

filtre

I would like a video on <>

ngramI would like a videoon Diana’s wedding

moteur derecherche..


Filtrage progressif (avantages)

parseur

filtrengram


fusion de connaissances

analyses partielles(robustes)

grammaire légère


Filtrage progressif (problèmes)

parseur

filtrengram


combinaison descritères ?

rapidité / efficacité du parcours (descendant)

statut et parsage de ces règles ?



Cadres applicatifsCouplage RP-TALN2 expérimentationsConclusions


Cahier des Charges

Une analyse à la fois...

La quadrature du cercle?

filtrante fine

rapide

hypothèses de reconnaissance interprétation

robusteoralité, erreurs RP, couverture grammaire

contrainte temps réel


Adéquation des LTAG?

rapide

robusteschémas oraux /analyse partielle /dépendances heuristiques

filtranteanalyse lexicale

finefinesse syntaxique +sémantique

C’est par ici

lexicalisation

schémas syntaxiques

unités sémantiques


Analyse TAG efficace...

Introduction aux grammaires LTAGAnalyser un énoncé...Trois techniquesUn cadre pour les unifierApplications


Grammaire de la langue

Substitution - argument

S

V

N0 N1aime

N

Paul

Adj

bon

N

N

Det

painle

Paul aime le bon pain


Formalisme TAG

X

X

substitution X



Adjonction - modifieurs

le bon petit pain

N

Adj

N*bonAdj

bon

N

N

Det

le

N

NDet

painle N

Adj

petit

N

petit pain

Adj N


Formalisme TAG

X

X*X

XX adjonction



Adjonction prédicative

Paul pourrait manger ce painV

V

V*pourrait

N1

NDet

paince

VN0

mangerPaul

S

N1

NDet

paince

VN0

mangerPaul

S

V V

pourrait


Propriétés TAG

Adjonction englobante

V

Conj

V*ne

Conj

pas

N1

NDet

paince

VN0

mangePaul

S

Paul ne mange pas ce pain


Propriétés TAG

Localisation des dépendancesQuel pain pensez-vous que Paul pourrait manger?

quN

NQu

painquel

V

V

V*pourrait

V

N0quN1 manger

S

S

S*

N

vouspensez

Conj

que

V C N

Paul


Propriétés TAG

Factorisation des récursions

S

S*

N

Marie pense

Conj

que

VC

S

S*

N

Jean pense

Conj

que

VC

N1

NDet

painle

VN0

mangePaul

S

N

Adj

N*bon

N

Adj

N*petit

N

Adj

N* noir

..

Marie pense que Jean pense que .. Paul mange le bon petit .. pain noir

..



Introduction aux grammaires LTAGAnalyser un énoncé...Trois techniquesUn cadre pour les unifierApplication


Enoncés reconnus

graphe de mots hypothèses

this

is

if

at

a

the

what

that

this

feature

film

is on

and

done

end


Ambiguïté lexicale

is that film on ?

144 S

VN PP

3 S

VWh PP

1 S

V N Adj

2 S

V N N

... ...

N

Det N*

14 N

Pron

16

N

34N

PP

N* Prep

...

35

Adj

...

N1

16N

N1 N*

(ce film est-il en cours [de diffusion]?)

PP

Prep N1

34

17C

V

N

N

N*

ConjConj15


Trois approches graduelles

Parsage Tabulaire factorisation des analyses

Parsage probabiliste sélection dynamique des items

dérivés

Superétiquetage pré-sélection des arbres

élémentaires

is

N

that film onreally

is that film on

is that film on

0.3 0.04N C

0.02


Parsage tabulaire

Mémorisation / factorisation• garder les sous-analyses trouvées• # exponentiel de dérivations mais parsage polynomial

Heuristiques de parcours

np

comp-…….

wh v

isthat film on tomorrowwhenmetell

advn

vp

adjprep

sp

v

n

conj

dets

s-conj-...

vp


Parsage probabiliste

Probabilité incrémentale « interne » Critère d’élagage

• cohérence interne + capacité de combinaison future ?

np

comp-…….

0.03

0.02

wh v

isthat film on tomorrowwhenmetell

advn

vp

adjprep

sp

v

n

conj

dets

s-conj-...


Superétiquetage

is that film on </s>

14

2 34

...

35...

16

...

<s>

1 16

14

34

émissionlexicale

prédictioncontextuelle(bigram)

3

4

...

4 17


Ambiguïté lexicale

is that film on ?

144 S

VN PP

3 S

VWh PP

1 S

V N Adj

2 S

V N N

... ...

N

Det N*

14 N

Pron

16

N

34N

PP

N* Prep

...

35

Adj

...

N1

16N

N1 N*

(ce film est-il en cours [de diffusion]?)

PP

Prep N1

34

17C

V

N

N

N*

ConjConj15


Prédiction contextuelle

1 1614 34

S

V N Adj

N

Pron N

PP

Prep N1

is that film on


Prédiction contextuelle

1 1614 34

<(V) N Adj> <(N)> <(N)> <(Prep) N>

<(Det) N*> <(V) N N>

<Conj (V) N> <(Conj)>

<(Adj)>

<N* (Prep) N> <N (V) PP>

S

V N Adj

N

Pron N

PP

Prep N1



Introduction aux grammaires LTAGAnalyser un énoncé...Trois techniquesUn cadre pour les unifierApplication


Type linéaire d’arbre (ltt)

V N Adj

(is)

N

Det

(that)

N

(film)

S

(N <> N )(S °V<>N Adj S° S )

V Adj

(is)

N

Det

(that)

N

(film)

S (S °V<> Adj S° S )V Adj

(is)

N

Det

(that)

N

(film)

S (S <> S )

(on)

Forme finale:


Superétiquetage étendu

is that film on </s>

14

2 34

35

<s>

1 16

14

émissionlexicale

prédictioncontextuelle(bigram)17


Prédiction contextuelle de ltt

<°V [S] V° N Adj> <°N [N] N°>

<°N [N] N°><[PP] N>

<°N [N*]> <°V [S] V° N N>

<Conj °V [*N] V° N> <[Conj]>

<[Adj]>

<[N*] °PP N PP°> <N °V [S] V° PP>

<[S] N> <[*N] N>

<[S] Adj>

<[S] N Adj>

is that film on </s><s>


Localité croissante

(that)

N

Det

N*

Dépendances de plus en plus locales

Adj

(violent)

N

(film)

S

V

Adj(is) N (really)

V

Adv

V*



(that)

N

Det

N*


Adj

(violent)

N

(film)

S

V

Adj(is) N(really)

V

Adv




Adj

(violent)

S

V

Adj(is) N

N

Det

(that)

N

(film)(really)

V

Adv




Adj

(violent)

S

V

Adj(is)

N

Det

(that)

N

(film)(really)

V

Adv




S

V

Adj

(is)

N

Det

(that)

N

(film)(really)

V

Adv

(violent)


Généralisation contextuelle

Comportements contextuels

S

V

Adj(is) N

S

V

Adj(is)N



S

V

Adj(is)

N

Det

(that)

N

(film)

Comportements contextuels analoguesaprès dérivation

S

V

Adj(is)

N

Det

(that)

N

(film)

S

V

Adj(is) N

S

V

Adj(is)N



S

V

Adj(is)

N

Det

(that)

N

(film)

Adj

(on)

S

V

Adj(is)

N

Det

(that)

N

(film)

Adj

(on)

S

V

Adj(is) N

S

V

Adj(is)N




S

V

N0 (watch) N1

V

S

V

N0 (give) N2

V

N1

Comportements contextuels



S

V

N0 (watch) N1

V

S

V

N0 (give) N2

V

N1

N2

(me)

S

V

N0 (give)

V

N1




S

V

N0 (watch) N1

V

S

V

N0 (give) N2

V

N1

N2

(me)

S

V

N0 (give)

V

N1

N

(they)

N

(they)

N

Det

(the)

N

(program)

N

Det

(the)

N

(program)



Un modèle «tout-terrain»

Améliore superétiquetage• ajouter 1 ou 2 étapes de parsage

Intermédiaire étiquetage/parsage• arbres élémentaires + qques dépendances

Intègre étiquetage dans parsage• choix avant/pendant parsage ratio tp/précis.

Optimise parsage probabiliste• apporte facteur contextuel «outside»


Implémentation

parseur tabulaire LTAG bidirectionel• fondé sur le ltt• algo correct & complet• complexité O(n6) + distinction CF / CS • codé en PROLOG

Modèle statistique• probabilités internes dans le parseur tabulaire• calcul de lissage pour le modèle contextuel• apprentissage et élagage encore à valider


Perspectives

Tests en grandeur réelle

Intégration dans des stratégies de rattrapage

recherche de dépendancesprise en compte de l’oralité

Outil paramétrable pour interfaces vocales


techniquesd’analyse

Conclusion

Traitement de l’écrit parole

linguistiquesémantique

élagagestatistique

unificationsde traits

reconnaissance / compréhensionde parole

oralité

GrammairesLTAG

Soutenance7dec[1]

Documents

Transcript of Soutenance7dec[1]