Représentation des connaissances Cours 6. Dialogue Applications Tour de parole Classification des...
-
Upload
perrine-piquet -
Category
Documents
-
view
103 -
download
0
Transcript of Représentation des connaissances Cours 6. Dialogue Applications Tour de parole Classification des...
Représentation des connaissancesCours 6. Dialogue
Applications
Tour de parole
Classification des actes de dialogue
Reconnaissance des actes de dialogue
Applications
Applications liées à la simulation d'un dialogue
- réservation de voyages
- réponse à des questions
- interface téléphonique pour courrier électronique
- génération de comptes-rendus de réunions
La plupart de ces applications nécessitent la reconnaissance de la parole de l'utilisateur
Reconnaissance de la parole
Entrée
Un signal de parole capté par un micro
Sortie
Du texte écrit
Difficultés
Interruptions Il me faudrait le... vous avez le suivant ?
Répétitions Il me faudrait le... il me faudrait le suivant
Chevauchements A que[lle heure ?] - [Pardon], le 7 mai
Ambiguïtés Qu'elle freine ? Quel frêne ?
Euh A quelle heure ? - Euh, à, euh, 18 heures
Prosodie Qu'elle freine ? Quel frêne ?
Reconnaissance de la parole
Prosodie
Exemple : comparer 72 80 13 et 60 12 93
Intonation : hauteur du son
Volume ou énergie : force du son
Durée de chaque voyelle ou consonne
Phonétique
Exemple : comparer 4 22 et 80 2
[katxvndø] [katxøvdø]~ ~
Tour de parole
Chacun parle à son tour
Après la fin d'un tour de parole, ne pas laisser de pause avant de répondre
S'il y a une pause, l'interlocuteur pense qu'on n'a pas compris
Si l'utilisateur laisse une pause, il faut le relancer
A Il y a quelque chose qui vous gêne ou non ?
B (pause 1 s)
A Oui ou non ?
B (pause 1,5 s)
A Allô ?
B Non.
Signes de compréhension
Chacun signale régulièrement s'il comprend
- réponse cohérente avec le tour de parole précédent
A quelle heure ? - A 18 heures.
- mot de continuation : m-hm, oui, bon, OK, et...
Il part à 16 h 25 - m-hm. - et il arrive à 18 h 55.
Je vais à Lisbonne. - Et vous voulez partir quand ?
- reformulation : Il arrive à 18 h 55. - 18 h 55.
- compléter la phrase de l'interlocuteur
Il y a un autre vol après celui de... - de 16 h 25 ?
- demande de réparation
A quel taux ? - Comment ?
Inférence
- Quel jour vous voulez partir ?
- J'ai une réunion le 12 mai au matin.
L'interlocuteur devine la date du voyage : le 11 au soir ou le 12 au matin
- Vous pouvez me répéter les horaires ?
L'interlocuteur devine que la question ne porte pas sur la possibilité de répéter, mais plutôt sur les horaires
Simulation d'un dialogueLe système contrôle le dialogue et demande une information à la fois
quelle ville de départ ?
donnez le nom d'une ville
où allez-vous ?
etc.
réponse=villeréponse=ville
réponse=villeréponseville
réponse=ville
réponseville
donnez le nom d'une ville
réponseville
réponseville
Simulation d'un dialogueLe système remplit des formulaires (templates, frames) prédéfinis
Formulaire Vol aéroport de départ
aéroport d'arrivée
heure de départ
heure d'arrivée
classe de tarif
compagnie
aller simple/aller-retour
Si l'utilisateur donne plusieurs informations en une seule phrase, le système les retrouve et les sauvegarde dans le formulaire
Classification des actes de dialogue
1. En fonction des actes futurs
Affirmation
Demande d'informations
Demande de confirmation
Influence sur l'interlocuteur
Options
Ordre
Influence sur soi-même
Offre
Engagement
Conventionnel
Ouverture
Fermeture
Remerciements
Classification des actes de dialogue
2. En fonction des actes passés
Réponse à offre
Acceptation
Acceptation partielle
Peut-être
Refus partiel
Refus
Mise en attente
Réponse à question
Compréhension
Avis non-compréhension
Avis compréhension
OK
Répétition
Complétion
Exemple
affirm B Je dois voyager en mai.
dem d'inf, OK A Et quel jour vous voulez voyager ?
affirm, rép B Alors, euh, j'ai des réunions là-bas du 12 au 15.
dem d'inf, OK A Et vous allez où ?
affirm, rép B A Lisbonne.
dem d'inf, OK A Et à quelle heure vous voulez quitter Paris ?
dem conf, att B Ben euh, je crois qu'il n'y a pas tellement le choix.
accept, OK A Effectivement.
affirm Il y a trois vols directs aujourd'hui.
dem d'inf B A quelle heure ?
Exemple
affirm, opt A Le premier part de Roissy à 10 h et arrive à Lisbonne à 12 h 05, heure locale. Le deuxième vol part de Roissy à 17 h 55 et arrive à Lisbonne à 20 h. Et le dernier part de Roissy à 20 h 15 et arrive à Lisbonne à 22 h 30.
accept, OK B Bon, alors je prends le vol de 17 h et quelques, la veille, le 11.
dem conf, OK A Le 11 ?
affirm, OK D'accord. Départ 17 h 55, arrivée à Lisbonne 20 h, par le vol QI 115.
OK B D'accord.
Reconnaissance des types d'actes de dialogue
Utilisation de la syntaxe des phrases
affirm B Je dois voyager en mai.
dem d'inf, OK A Et quel jour vous voulez voyager ?
Même syntaxe, actes différents
ordre B Est-ce que vous pouvez me donner les horaires ?
dem d'inf B Est-ce qu'on sert à manger sur ce vol ?
(est-ce que vous pouvez : souvent un ordre)
dem confirm B Vous dites qu'il y a un troisième vol ?
affirm B J'ai une carte de fidélité avec cette compagnie
(prosodie différente)
Reconnaissance des types d'actes de dialogue
Par des mots et des constructions syntaxiques
Est-ce que vous pouvez... ordre
Par quel... dem d'inf
D'accord OK
Par la prosodie
intonation montante dem d'inf, dem confirm...
Oui avec intonation montante OK
Oui avec intonation stable accept
Par la structure du dialogue
Oui après affirm OK
Oui après offre accept
Reconnaissance des types d'actes de dialogue
Observations disponibles sur le dialogue : O
Séquence d'actes de dialogue : D
P(D|O) probabilité que la séquence d'actes soit D connaissant O
On recherche argmaxD P(D|O) = argmaxD P(O|D)P(D)/P(O)
= argmaxD P(O|D)P(D)
argmaxD P(M|D)P(P|D)P(D)
où M est l'ensemble des observations sur les mots et constructions et P sur la prosodie (on suppose M et P indépendants : approximation)
Reconnaissance des types d'actes de dialogue
On suppose que m et p pour chaque tour de parole sont indépendants des autres tours de parole (approximation)
P(M|D) = P(m1|d1)P(m2|d2)...P(mn|dn)
P(P|D) = P(p1|d1)P(p2|d2)...P(pn|dn)On marque à la main les actes de dialogue dans un corpus
d'apprentissageP(m|d) : pour chaque type d'acte de dialogue on entraîne un modèle
de Markov dont les états sont les motsP(p|d) : on sélectionne quelques caractéristiques prosodiques et on
entraîne un arbre de classification dont les feuilles donnent P(d|p)P(D) : on entraîne un modèle de Markov des séquences d'actes de
dialogue
Séquences d'actes de dialogueModèle de Markov des séquences d'actes de dialogue
ouverture
refus
contraintesuggest
accept
fermeture
0,18 0,36
0,46
0,18
0,77
0,76 0,230,99
0,63
0,22
0,19
Reconnaissance des types d'actes de dialogue
argmaxD P(M|D)P(P|D)P(D)On combine les modèles pour ces 3 probabilités dans un
modèle de Markov caché
- Etats : les actes de dialogue d1 d2...dn
- Observations : m1 m2...mn et p1 p2...pn
Utilisation- à l'exécution : interpréter un tour de parole de l'utilisateur- pour l'apprentissage : interpréter des dialogues enregistrés servant
de corpus d'apprentissage- génération automatique de comptes-rendus de réunions