Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 [email protected] ...

35
Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane @ gmail . com http:// aurianefaure .free.fr Auriane Faure

Transcript of Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 [email protected] ...

Page 1: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 1

Approche critique des produits IdL

Master 1 IdL Année 2009 - 2010

[email protected] http://aurianefaure.free.fr

Auriane Faure

Page 2: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 2

Objet du cours

• Produits IdL et Sciences du langage

• Construction et mise en œuvre d’une évaluation

• Quelle évolution possible / nécessaire d’un logiciel

• Regard critique sur le TAL et les outils qui l’utilisent

Approche critique des produits IdL - Cours 1

Page 3: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 3

Déroulement

• Cours d’introduction à l’évaluation

• Cours sur 4 grandes familles d’outils IdL

• Mener une évaluation

Approche critique des produits IdL - Cours 1

Page 4: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 4

Plan

1. Le TAL et les produits IdL

2. Une approche critique ?

3. Principes d’évaluation– Pourquoi ?– Quoi ?– Comment ?

Approche critique des produits IdL - Cours 1

Page 5: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 5

1. Le TAL

Approche critique des produits IdL - Cours 1

Page 6: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 6

Terminologie

• TAL : plutôt recherche. Utilisation de l’informatique pour traiter le langage naturel

• TAL = NLP = Linguistique computationnelle = CL

• IdL : domaine applicatif. Logiciels utilisant le langage sous des aspects très limités

Approche critique des produits IdL - Cours 1

1. Le TAL

Page 7: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 7

D’où vient le TAL ?

• Du mythe de l’automate…– Imiter les fonctions humaines– Mécanique physique– Mécanique des langues

• À la linguistique computationnelle– Naissance de l’ordinateur– Ordinateur et cerveau humain…– Linguistique informatique

D’après J. Véronis (2001)

Approche critique des produits IdL - Cours 1

1. Le TAL

Page 8: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 8

Le TAL

• Double objectif– Etude des langues et de la faculté de

langage– Exécution de certaines tâches

linguistiques

• Double compétence– Sciences du langage– Informatique

• Traditionnel « Analyse / Génération »

Approche critique des produits IdL - Cours 1

1. Le TAL

Page 9: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 9

Le TAL (2)

• Modélisation informatique– Opérationnaliser des modèles

linguistiques pour les tester et comprendre le système linguistique sous-jacent

– Reproduire une capacité humaine (sans comprendre son fonctionnement) pour exécution d’une tâche

• Modélisation linguistique– Parole– Ecrit

Approche critique des produits IdL - Cours 1

1. Le TAL

Page 10: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 10

Produits IdL

• Typologie– Parole

• A : reconnaissance• G : synthèse

– Ecrit• Traduction automatique• Recherche d’information• Dialogue homme-machine• Aide à la rédaction• Outils pour l’apprentissage des langues• Génération automatique de textes

Approche critique des produits IdL - Cours 1

1. Le TAL

Page 11: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 11

2. Approche critique

Approche critique des produits IdL - Cours 1

Page 12: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 12

Esprit critique…

• La Zététique – La science de l’esprit critique– Je doute donc je suis

Approche critique des produits IdL - Cours 1

2. Approche critique

Page 13: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 13

Approche critique…

• Approche critique– Regard complet et complexe– Analyse– Méthode expérimentale

• Evaluation• Croiser les regards critiques :

– Journaux spécialisés– Campagnes d’évaluation

Approche critique des produits IdL - Cours 1

2. Approche critique

Page 14: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 14

3. Principes d’évaluation

Approche critique des produits IdL - Cours 1

Page 15: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 15

3.1. Pourquoi évaluer

Approche critique des produits IdL - Cours 1

Page 16: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 16

Pourquoi évaluer ?

• Emulation• Validation• Retour d’expérience

Approche critique des produits IdL - Cours 1

3.1. Pourquoi évaluer ?

Page 17: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 17

Pourquoi évaluer en TAL?

• Problématique ancienne– Test de Cranfield : 1960– Pratique informatique forte

• Problématique actuelle– Maturité des propositions– Foisonnement de l’offre

Approche critique des produits IdL - Cours 1

3.1. Pourquoi évaluer ?

Page 18: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 18

Deux orientations

• Evaluation orientée système– Méthodes de laboratoire– Limites

• Evaluation orientée utilisateur– Prise en compte du contexte

d’usage– Modélisation des usages/usagers

Approche critique des produits IdL - Cours 1

3.1. Pourquoi évaluer ?

Page 19: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 19

Campagnes d’évaluation

• Campagnes thématiques• Organisation et objectifs• Ressources fournies• Déroulement

– Phase d’entraînement

– Phase d’apprentissage

– Phase de test

– Analyse des résultats

Approche critique des produits IdL - Cours 1

3.1. Pourquoi évaluer ?

Page 20: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 20

Campagnes d’évaluation

• Cranfield 2 (1960)• Campagnes USA (80’s)• Programmes européens (90’s)• Le programme Technolangue

– Organisation de campagnes d’évaluation

– Élaboration de méthodologies génériques d’évaluation

– Enjeux théoriques et méthodologiques des pratiques évaluatives

Approche critique des produits IdL - Cours 1

3.1. Pourquoi évaluer ?

Page 21: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 21

3.2. Quoi évaluer ?

Approche critique des produits IdL - Cours 1

Page 22: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 22

La « qualité » d’un système

• « Ensemble des caractéristiques d’un logiciel pour répondre aux besoins de ses utilisateurs »

• 3 dimensions– À l’usage– Externe– Interne

3.2. Quoi évaluer ?

Norme ISO

Page 23: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 23

La « qualité » d’un système

• « Ensemble des caractéristiques d’un logiciel pour répondre aux besoins de ses utilisateurs »

• 3 dimensions– À l’usage– Externe– Interne

3.2. Quoi évaluer ?

Norme ISO

Page 24: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 24

5 niveaux d’évaluation

• Evaluation de la recherche de base

• Evaluation technologique• Evaluation d’usage• Evaluation d’impact• Evaluation de programme

D’après le consortium ELSE

Approche critique des produits IdL - Cours 1

3.2. Quoi évaluer ?

Page 25: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 25

5 niveaux d’évaluation

• Evaluation de la recherche de base

• Evaluation technologique• Evaluation d’usage• Evaluation d’impact• Evaluation de programme

D’après le consortium ELSE

Approche critique des produits IdL - Cours 1

3.2. Quoi évaluer ?

Page 26: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 26

Dimension « usages »

• Utilisabilité• Satisfaction• Rendement

• Replacer l’utilisateur dans processus d’évaluation

• Analyse des pratiques

3.2. Quoi évaluer ?

Page 27: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 27

Dimension « externe »

• Pour résoudre un problème posé :– Performance– Couverture – Robustesse– Pertinence

3.2. Quoi évaluer ?

Page 28: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 28

Dimension « interne »

• Caractéristiques intrinsèques– Modèle linguistique– Conception du système

3.2. Quoi évaluer ?

Page 29: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 29

3.3. Comment évaluer ?

Approche critique des produits IdL - Cours 1

Page 30: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 30

Individuelle vs comparative

• Evaluation individuelle– Aptitude d’un système à réaliser

une tâche– Mesure de performance au

regard d’une mesure étalon

• Evaluation comparative– Réalisation d’une tâche et

comparaison avec résultats d’autres systèmes

Approche critique des produits IdL - Cours 1

3.3. Comment évaluer ?

Page 31: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 31

Deux types d’évaluation

• Boîte noire– Entrée/sortie– Evaluation des résultats

• Boîte transparente– Structure interne– Diagnostic précis des

performances

• Le choix entre les 2 dépend du but de l’évaluation

Approche critique des produits IdL - Cours 1

3.3. Comment évaluer ?

Page 32: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 32

Processus

• Quelle tâche linguistique ?• Quelle tâche de contrôle ?• Quelles ressources ?• Quelle métrique ?

• Exemple : campagne d’évaluation en RI

Approche critique des produits IdL - Cours 1

3.3. Comment évaluer ?

Page 33: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 33

Métriques

• Idée générale du niveau de performance

• Etat de l’art commun• Types de mesures :

– Une valeur de référence– Une comparaison entre

systèmes

• Implication de l’humain

Approche critique des produits IdL - Cours 1

3.3. Comment évaluer ?

Page 34: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 34

Ressources

• TOUT tester est impossible• Echantillon représentatif et

significatif• Construction :

– Cas général– Cas particuliers

Approche critique des produits IdL - Cours 1

3.3. Comment évaluer ?

Page 35: Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 faureauriane@gmail.com  Auriane Faure.

Page 35

Exemples de travaux rendus

• Analyse comparative de la correction orthographique entre Word et OpenOffice (accessible en ligne : )

• Google vs. Yahoo!Search (RI)• RI avec ou sans index dans

l’encyclopédie Universalis