Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT Les systèmes de...

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Les systèmes deQuestion-Réponse

1. Le TALN et le Question-Réponse

2. Question-Réponse et B to C

3. Question-Réponse et B to B

4. Quelques perspectives


1. Le TALN et le Question-RéponseQu’est-ce qu’un système de Question-Réponse ?

• Un système capable d’extraire une ou des réponses à une question posée sur un corpus en langage normal (« Comment s'appelle le ministre des finances polonais ? », « Où se situe Kitchinev ? », « Qu'est-ce que l'OMC ? »)

• Problématique du type de question,

• Une réponse ou des réponses, éventuellement une liste, à partir d’un document ou de plusieurs, une réponse du type oui/non…,

• En une seule langue, en plusieurs…Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.1. Question-Réponse et Traitement du Langage

• Un système de Question-Réponse semble une application TAL par excellence,

• Pourtant certains systèmes sont uniquement basés sur du pattern matching (cf Soubotine & Soubotine),

• Mais ces systèmes semblent avoir atteint leurs limites, en dehors de contextes ad hoc, du type CV, etc.

• Les questions complexes sont hors de leur portée,

• Les systèmes les meilleurs à TREC et CLEF sont des systèmes basés sur le TAL.


1.2. Synapse Développement et le traitement du langage

• Société crée en janvier 1994, à partir d’une autre société ayant une expérience du traitement de texte,

• Développement d’un analyseur syntaxique et d’un correcteur orthographique et grammatical,

• Développement en parallèle de riches ressources linguistiques, constamment mises à jour,

• Commercialisation en B2C de logiciels de correction et d’analyse de la langue, en B2B de composants linguistiques.Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Quelques données sur la société :

• CA moyen : 500 k euros,

• Employés : 7 dont 3 ingénieurs en développement et 2 linguistes,

• Références :

Outils de traitement de la langue pour le français intégrés aux logiciels Microsoft,

Intégration de composants dans l’Encyclopédie Universalis, pour l’AFP, les Pages Jaunes, etc.

Plus de 50 000 clients en B to C.Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.3. Nos outils de traitement de la langue

Analyseur syntaxique

• Basé sur des méthodes essentiellement statistiques et des jeux de règles : règles d’accord et règles d’habitude (un verbe a au plus un COD, etc.),

• Conçu pour la correction, donc n’obéissant pas à une grammaire formelle rigide, laquelle rendrait impossible la correction,

• Très optimisé pour autoriser la correction en temps réel (12 000 mots/seconde sur Pentium 3 GHz)


Désambiguïseur sémantique

• Egalement basé sur des compilations statistiques,

• Utilise les données linguistiques, ontologiques et sémantiques et, surtout, le contexte de voisinage,

• Segmentation des sens moins restrictive que dans les dictionnaires papier car :

Ne concerne que les mots courants

Comment distinguer les sens trop voisins ?

• Taux de bonne désambiguïsation : 87% en moyenne.


Taxinomie sur 4 niveaux

• Taxinomie globale couvrant une part importante du vocabulaire (150 000 lemmes et expressions),

• Taxinomie à quatre niveaux, 256 feuilles au 3e niveau et 3781 feuilles au 4e niveau,

• Taxinomie parallèle, actuellement complète pour le français, l’anglais, l’espagnol et le portugais, en cours pour l’allemand et l’italien,


Gestionnaire de synonymes

• Plus de 37 000 entrées lemmatisées, plus de 250 000 synonymes lemmatisés, soit 4 500 000 synonymes,

• Distinction des synonymes par sens pour les mots-vedettes et pour les synonymes,

• Coefficient de proximité synonymique, calculé par similitude de contexte,


Correction orthographique et grammaticale

• La correction est un domaine en soi,

• Mais elle peut s’appliquer dans la plupart des composants car chacun fait des fautes,

• Taux de correction grammaticale d’environ 85% avec une fausse erreur environ pour 800 mots,

• Très dépendant de l’utilisateur et du domaine, mais les vocabulaires très riches s’appliquent même à des spécialités « pointues ».


1.4. Nos ressources linguistiques

Dictionnaire « orthographique »

• Plus de 200 000 lemmes (soit plus de 3 fois les dictionnaires courants et 2 fois le Grand Robert ou le Tlf),

• Plus de 40 000 noms propres avec informations sémantiques,

• Données sur le domaine et sur la fréquence, calculée à partir d’un corpus de fond de plus d’un milliard de mots,


Dictionnaire « grammatical »

• Plus de 70 000 lemmes, dont :

environ 45 000 lemmes monosémiques,

environ 25 000 sens pour environ 9 000 mots polysémiques,

• Plus de 50 000 expressions (=> 120 000 fin 2006)

• Données grammaticales et sémantiques, références croisées aux autres dictionnaires,

• Cf. programme de gestion des bases grammaticales.


Dictionnaires de traduction

• Dictionnaires de traduction pour tous les couples de langues : français – anglais – allemand – espagnol – portugais - italien,

• Plus de 180 000 lemmes et expressions traduites, avec distinction des sens, pour le français, l’anglais, l’espagnol et le portugais, 80 000 pour l’allemand et l’italien (en cours de mise à niveau),

• Ajout prochain d’environ 50 000 expressions pour le couple français-anglais,

• Dictionnaire de traductions de noms propres (6 000)Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.5. Système de Question-Réponse

• Développé dans le cadre d’un projet ANVAR entre 1999 et 2001,

• Puis dans le cadre d’un projet européen TRUST entre fin 2001 et fin 2003,

• Actuellement dans le cadre du projet européen M-CAST, sur 2005 et 2006,

• Caractéristiques principales : vise le B2B et le B2C, multilingue, utilisant intensivement le TAL.


Une architecture modulaire

ModuleLinguistique

français

ModuleLinguistique

italien

ModuleLinguistique

portugais

ModuleLinguistique

polonais

ModuleLinguistique

anglais

Moteur d’indexationMoteur d’extraction de

blocs de texte

IndexDocumentsDocuments VisualisationDes résultats

VisualisationDes résultats


Ontologiegénérale

Documents

Dico desformes

dérivées

Ontologiedes typesquestions

Indexation Découpage des blocs

Correction orthographe Analyse syntaxique

Analyse conceptuelle

Index mots-clés blocs

Index entités nommées Index têtes dérivation Index des concepts Index des domaines

Résolution anaphores

Index des types de questions-réponses

Question

Traitement Question Correction orthographe

Analyse syntaxique Analyse conceptuelle Extraction mots-clés Type de la question

Traduction si multilingue

Recherche dans Index Synonymes + converses

Sélection des blocs Ordonnancement blocs

Extraction des blocs

Extraction réponse

Réponse(s)

Correction orthographe Analyse syntaxique

Analyse conceptuelle Type de la réponse Mots-clés du bloc

Résolution des anaphores Détection des métaphores

Sélection phrase(s) Tri des phrases

Cohérence, justification Extraction réponse(s)


1.6. Technologies TAL spécifiques au QR

• Certaines technologies décrites plus haut ont été appliquées au QR de manière innovante (cf. correction),

• Mais des techniques plus spécifiques ont dû être développées :

Pour l’indexation

Pour l’analyse de la question

Pour l’extraction de la/les réponse(s)

• Ces techniques sont décrites rapidement maintenant.


Dictionnaire de dérivations

• Dérivations plutôt que stemming,

• 66 780 dérivations renvoyées vers 24 307 têtes de dérivations ou équivalents,

• Plus de 10 000 équivalents ou synonymes vrais (type cancérologie – carcinologie – oncologie),

• Têtes de dérivations et dérivations distinguées par sens, selon classification exposée plus haut,

• Réduction de l’index d’environ 40%,

• Cf. visu dictionnaire de dérivés.Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Résolution des anaphores

• Anaphores pronominales prises en compte (65% des anaphores) + adjectifs possessifs (30%),

• Mais dispositif parallèle pour les noms propres,

• Taux de bonne résolution de 83% pour les pronoms et 69% pour les adjectifs possessifs (moyenne : 79%),

• Très difficile pour « en » (50%), « y » (55%),

• Mais 94% pour les démonstratifs,

• Statistiques effectuées sur un corpus de 1906 anaphores.Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Détection des métaphores

• Métaphores ou polysémie (cf. requin),

• Bruit causé par les métaphores,

• Problématique plus large du système dit intelligent,

• Taux de rappel : 78 %. Taux de précision : 93 %.


Typologie des Questions et Réponses

• Clé essentielle des systèmes de Question-Réponse,

• Typologies existantes conçues pour les évaluations du type TREC,

• 86 types de questions et réponses retenus,

• Détection du type de la question par jeu de règles,

• Détection de la réponse par délimitation d’entités nommées (en général) et vérification de cohérence,

• Cf. typologie des questions-réponses.


1.7. Evaluation de notre système de Q-R

• Pour notre système de QR, nous avons participé aux campagnes d’évaluation EQueR (en 2004) et CLEF (2005 et 2006),

• Les évaluations sont lourdes pour une petite société mais elles aident à se faire connaître.


Campagne d’évaluation EQueR

• Organisée par les ministères de l’Industrie, de la Recherche et de la Culture,

• Dans le cadre de Technolangue (www.technolangue.net),

• Campagne portant sur un corpus général (1,5 Go) et un corpus spécialisé médical (150 Mo),

• Six participants effectifs, dont 2 industriels (Sinequa et Synapse Développement.


http://www.technolangue.net/

Métrique des résultats

• La métrique utilisée pour noter les résultats était le MRR (Mean Reciprocal Rank), c’est-à-dire 1 pour une réponse exacte en première position, ½ pour une réponse exacte en seconde position, 1/3 pour une réponse exacte en troisième position, etc. Seules 5 réponses étaient prises en compte, sauf pour les questions binaires ou une seule réponse justifiée était acceptée,

• Pour les questions dont la réponse était une liste, la métrique utilisée était le NIAP (Non Interpolated Average Precision).


• Le moteur de Questions-Réponses de Synapse Développement évalué pour EQUER était une préversion de notre logiciel grand public QRISTAL,

• Le système testé ne disposait pas encore de l’ensemble des fonctionnalités d’extraction de réponse exacte,

• Avec EQUER, Synapse Développement participait à sa première campagne d’évaluation de moteurs de questions-réponses,

• Plusieurs autres participants avaient déjà été évalués dans TREC-QA ou CLEF-QA, pour le moteur en langue anglaise ou en langue française.


Quelques données techniques• L’ensemble des 500 questions du corpus général est examiné par le moteur en 23 minutes et 17 secondes, soit un peu moins de 3 secondes par question,

• La vitesse d’analyse linguistique des blocs est d’environ 400 Mo/heure à l ’indexation, soit 18 000 mots/seconde. La vitesse d ’analyse et d’extraction de réponse est d ’environ 230 Mo/heure, soit 10 000 mots/seconde,

• Sur 500 questions, le type correct a été déterminé dans 98% des cas,

• Ces tests de vitesse ont été effectués sur Pentium 3 GHz avec 1 Go de mémoire vive.


Résultats de la tâche générale (500 questions)0,

22

0,18

0,37

0,31 0,

37

0,7

0,33

0,15 0,

22

0,16

0,12

0,58

0,24

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5

Sy

na

ps

e 7

Participants

MR

R

Passages

Réponses exactes


Résultats de la tâche spécialisée (200 questions)

0,09

0,02

0,13

0,09

0,49

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 Synapse

Participants

MR

R

Passages


Résultats par type de question (tâche générale : passages)0

,24

0,1

7

0,3

7

0,3

0,3

6

0,7

0,3

1

0,2

3

0,1

7

0,4

7

0,4

9

0,6

6

0,7

4

0,4

3

0,0

4

0,3

8

0,2

5

0,3

5

0,3

2

0,6

7

0,3

8

0

0,1

3

0,0

9

0,0

8

0

0,2

9

0,0

8

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 Synapse 7

MR

R

Factuelles

Définitions

Binaires (oui/non)

Listes


Résultats par type de question (tâche générale : réponses exactes)

0,1

6

0

0,2

4

0,1

6

0,0

9

0,5

7

0,2

4

0,0

1

0 0

0,1

7

0,5

8

0,6

9

0,2

7

0,1

3

0,2

9

0,2

9

0,2

9

0

0,6

7

0,3

2

0 0

0,0

3

0 0

0,7

1

0,0

2

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 Synapse 7

MR

R

Factuelles

Définitions

Binaires (oui/non)

Listes


Résultats des questions factuelles par type

0

10

20

30

40

50

60

70

80

90

100

% p

ass

ag

es

exa

cts

1

2

3

4

5

Synapse

7


Comparaison des résultats d'EQUER, TREC et NTCIR0

,68

0,5

7

0,4

8

0,4

3

0,4

1

0,3

9

0,6

1

0,5

2

0,4

6

0,3

9

0,3

8

0,3

7

0,5

8

0,2

4

0,2

2

0,1

6

0,1

5

0,1

3

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6

TREC

NTCIR

EQUER


Evaluation CLEF 2005

• Nous avons participé à la campagne d’évaluation CLEF en 2005 (et nous participons en 2006) en monolingue (français) et en multilingue (anglais -> français, portugais -> français, italien -> français),

• Le corpus est un sous-ensemble d’EQueR (0,5 Go),

• Une seule réponse « exacte » est prise en compte,

• Les questions sont quasi toutes factuelles ou définitoires,

• 200 questions par langue (contre 500 dans EQueR).


Résultats de l’évaluation CLEF 2005

64

%

39

,50

%

25

,50

%

36

,50

%

0%

10%

20%

30%

40%

50%

60%

70%

French-French English-French

Italian-French Portuguese-French

Right


Résultats par type de question64,0

%

59,2

%

86,0

%

46,7

%

0,2

3

0,2

5

36,5

%

26,7

%

68,0

%

23,3

%

0,0

7

0,1

5

25,5

%

15,0

%

54,0

%

20,0

%

0,1

3

0,4

5

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

80,0%

90,0%

100,0%

Overallaccuracy

Factoidquestions

Définitionquestions

Temporallyrestricted

factoidquestions

NILprecision

NIL recall

French-French

English-French

Portuguese-French

Italian-French


2. Question-Réponse et B to C• Dès novembre 2001, sous le nom de « Chercheur »,

nous avons commercialisé un système de Question-Réponse, alors uniquement monolingue,

• Depuis novembre 2004, nous commercialisons ce système sous le nom de Qristal (acronyme de « Questions-Réponses Intégrant un Système de Traitement Automatique des Langues »),

• Ce logiciel grand public est le premier du genre,

• Comme souvent les précurseurs, il a dû mal à se faire une place !


Conception de Qristal

• Orienté corpus fermé et Web, via un métamoteur,

• Conçu à partir de tests utilisateurs et des réactions au précédent logiciel « Chercheur »,

• Tient compte de la limite de tolérance d’attente observée: environ 3 secondes,

• Sous-estimation du temps passé à rechercher une réponse dans les moteurs classiques,

• Questions en langage naturel ou en booléen.


Leçons tirées de la commercialisation

• Difficile de vendre un logiciel de Question-Réponse quand les moteurs sont « gratuits »,

• Ne pas sous-estimer le côté jeu dans la dérive de page en page,

• Difficile d’imposer un logiciel d’un nouveau type (cf. certaines questions posées par des utilisateurs de Qristal),

• Inégalité des résultats selon les langues (français et anglais quasi seules utilisées).


Système de QR et moteurs de recherche• Distinction entre recherche sur corpus et recherche sur le

Web,

• Temps de réponse et temps pour extraire la réponse,

• Habitude de questions en deux ou trois mots,

• Test comparatif Google Desktop – Qristal (papier EACL, avril 2006)


3. Question-Réponse et B to B• Notre approche du B to B est directement liée aux projets

européens auxquels nous participons, spécialement le plus récent, M-CAST (bibliothèques, ouvrages numérisés),

• Les problématiques d’entreprise diffèrent beaucoup du B to C (ontologies spécifiques, types de questions peu fréquents en B to C comme des demandes de bibliographie, etc.)


Projet M-CAST• Testé sur la bibliothèque nationale Tchèque et la

bibliothèque de Torun,

• Traite plusieurs millions de documents numérisés,

• Prend en compte les méta-données et la classification CDU,

• Accepte les questions et fournit les réponses en anglais, français, italien, portugais, polonais et tchèque,

• Sera implanté sur les portails des deux bibliothèques tests.


4. Quelques perspectives• Les systèmes de Question-Réponse sont encore au

stade de la chrysalide,

• Qristal est le seul système commercialisé en B to C,

• Les implantations opérationnelles en B to B sont très réduites,

• Les résultats des évaluations montrent que le factuel est bien traité par les meilleurs systèmes,

• Ces résultats montrent aussi que les questions du type « pourquoi » ou « comment » sont encore mal traitées.


• Dans quelques années tous les moteurs traiteront les questions en langage naturel,

• Les applications mobiles ne peuvent traiter que ce type d’interrogation (imaginer « ouvrez les guillemets »…),

• Nos contacts commerciaux indiquent que le marché mûrit et que les entreprises prennent conscience du potentiel des systèmes de QR (cf. EADS),

• Quaero devrait permettre d’imposer le Question-Réponse en B to B comme en B to C, sur les 5 ans à venir.


Conclusions

• Le développement d’un système de QR est coûteux (plus de 20 années-homme avec des ressources préexistantes importantes),

• La typologie de questions-réponses est capitale,

• Le développement d’un vrai moteur d’inférence pourrait permettre d’améliorer les résultats pour les questions « complexes »,

• Les contraintes de temps de réponse imposent des outils de base très performants et des contraintes lourdes pour le développement.Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

FIN J’attends vos questions !

Merci !


Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT Les systèmes de...

Documents

Transcript of Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT Les systèmes de...