Séance 4 : Savoir évaluer l’information et mesures de qualité et évaluation dans le monde de l’info-doc

DUT Gestion de l’Information et du Document (IUT Ponsan,Toulouse 3)Formation continue 2010-2011

Françoise Gouzi Quiroz frgouzi@gmail.com

Plan du cours

I/Contexte : tout quantifier, tout mesurerII/Terminologie :qualité/information/évaluationIII/Quelques outils pratiques pour évaluer l’infoIV/Evaluer l’activité des bibliothèquesV/Evaluer la production universitaire (du

classement de Shangaï à l’ISI Web of Science-WOS)

VI/Relativité de l’information (de l’Impact Factor à Wikipedia!)

I/Contexte : tout quantifier, tout mesurer

« Evoluer d’une culture de moyens à une culture d’objectifs et de responsabilités »

LOLF (loi organique relative aux lois de finances) du 1e août

2001

loi sur la LRU (loi relative aux libertés et responsabilités des universités) du 10 août 2007 et…

L’AERES (l’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur), instance administrative, partie prenante d’une démarche qualité.

I/Contexte : tout quantifier, tout mesurer

• L’information : une notion centrale dans toute société enjeu de pouvoir .

Exemple: censure de Google en Chine, les sites dits « sensibles » sont inaccessibles « printemps de 1989 », sites sur les droits de l’homme…

• Rapidité accrue de la circulation de l’information liée aux nvlles techno Internet (I-Phone, Twitter…) rend plus difficile son analyse et évaluation par les médiateurs de l’information (journalistes, documentalistes…)

• Disparition progressive du rôle de l’éditeur et place prépondérante de l’utilisateur, du citoyen

II/Terminologie :information/qualité/évaluation

Des flous autour de ces termes• L’information est construite : par un humain, relative à un

sujet

• L’information est relative : sa signification va dépendre des conditions de sa réception

• L’information est organisée matériellement : le contenu et le contenant sont indissociables de la réception de l’information

II/Terminologie :information/qualité/évaluation

• Evaluer : mais selon quelle méthode (quels critères, transparence, que veut dire « classement des meilleures revues en SHS »?)

• La qualité: caractéristiques d’une BONNE informationQue trouve-t-on derrière la notion de Qualité

IdentifiéeFiable (citation des sources)Précise, exacte, complèteAccessibleActualiséeStructurée, rédigée, présentée

Différence entre QUALITE et PERTINENCE

• Pertinence-système capacité du système d’information à indexer un document et à le retrouver.

• Pertinence-utilisateur capacité à choisir les bons mots clefs, la bonne équation de recherche pour un résultat conforme aux besoins exprimés au départ.

• Pertinence-thème concerne le contenu (ce qui est visé dans les méthodes d’évaluation).

Différence entre VALIDATION et ÉVALUATION

• Validation : vérification de la conformité à certaines exigences.• Evaluation : estimation de la qualité relativement à différents

critères.Qualité VS pertinence

L’information de qualité doit être :

IdentifiableFiableActuelle, précise, accessible, mise à jour,

ergonomique

Mais est-elle pertinente pour autant ?

III/Quelques outils pratiques pour évaluer l’info

Les grilles pour analyser les sites web

• Licence Méthodologie documentaire et traitement de l’information-Univ. Paris 8: Modèle de grille d’analyse http://etudoc.files.wordpress.com/2008/11/grille-analyse_ap_2008.pdf .Cours en ligne sur le blog http://etudoc.wordpress.com/

• SAPRISTI Evaluation de l’information presente sur Internet, 2007.http://docinsa.insa-lyon.fr/sapristi/index.php?rub=1004

• EDUCNET Rechercher sur internet : méthodologie et outils 2010http://www.educnet.education.fr/dossier/rechercher/default.htm

• CERISE, guide méthodologique de l’URFIST Paris – Evaluer des sites Internet, 2007 http://urfist.enc.sorbonne.fr/anciensite/cerise/p361.htm

• Chercher pour trouver École de bibliothéconomie et des sciences de l'information (EBSI), Université de Montréal. http://www.ebsi.umontreal.ca/jetrouve/internet/evalsite.htm

Des exemples de grilles thématiques

• Netscoring (critères de qualité de l'info. de santé sur l'Internet) 2005 http://www.chu-rouen.fr/netscoring/

• Université de Montréal : conseils et stratégies de recherche par disciplines http://guides.bib.umontreal.ca/disciplines

IV/Evaluer l’activité des bibliothèques

Mesurer les performances et les activités en Bib Univ.• ERE (Enquête sur les Ressources Electroniques) =recensement

des actions des établissements en matière d’acquisition des RE payantes spécialisées.

• ESGBU (Enquête Statistique Générale sur les Bibliothèques Universitaires) depuis 1976. 300 champs à renseigner sur 1 année, depuis 1999 par voie électronique ! 154 établissements qui répondent chaque année à cette enquête. Ce qui est mesuré :

L’activité et les servicesLes collections et les acquisitionsLes moyens, locaux et personnels

IV/Evaluer l’activité des bibliothèques

Mesures à la Culture pour une meilleure observation des pratiques de lecture publique en région

• Le MCC depuis 1969 collecte et analyse l’activité des bibliothèques territoriales.

• Soumises à l’enquête : les BDP et Bibliothèques Municipales.• Depuis la création de L’Observatoire de la lecture publique

(01/2008), refonte de l’enquête pour se rapprocher de la norme ISO2789 « Statistiques des bibliothèques » en vue d’une interopérabilité avec les stat. internationales.

• Les nvx services en ligne et l’action culturelle sont mis en exergue ds l’enquête (liées aux évolutions des pratiques dans les Bib)

Répertoire des adresses des Bibliothèques publiques/Ministère de la culture et de la communication. http://www.culture.gouv.fr/documentation/bibrep/pres.htm

V/Evaluer la production scientifique(du classement de Shanghaï à l’ISI Web of Science-WOS)

1/Le classement de ShanghaïLe 1er classement académique international des universités (2003). Très médiatisé. Il est utilisé par les décideurs politiques pour lancer des projets de réforme. Il est mis en avant par les universités pour justifier leurs performances. Chaque univ. est évaluée sur 6 critères :1 ALU= nb d’anciens élèves ayant reçu un prix Nobel (sauf Paix et Littérature) ou 1 médaille Fields2 STA= nb de professeurs de l’institution ayant reçu 1 prix Nobel ou 1 médaille Fields3 HiCi= nb de chercheurs les plus cités tel que calculé par Thomson Scientific4 N&S= nb d’articles publiés dans les revues Nature et Science5 PUB= nb d’articles indexés par Thomson Scientific6 PROD= score total des 5 premiers indicateurs divisé par la taille du corps professoral (tps plein) Pour chaque institution on calcule 1somme pondérée de ces 6 scores normalisés. Les poids attribués axu critères st = à 20% sauf pr ALU et PROD (poids de 10%).

L’Observatoire des Sciences et des techniques (fournit les définitions des normes sur les impacts de citation et autres indicateurs)

V/Evaluer la production scientifique(du classement de Shanghaï à l’ISI Web of Science-WOS)

2/ISI Web of Knowledge (abonnement UPS depuis 1975)

1 bdd payante d’évaluation scientifique statistique des publications. -WOK (Web of Knowledge) toutes disciplines, toutes citations-WOS (concurrent de SCOPUS/Elsevier médecine) regroupe les bdd publications + bdd citations

Sciences et Techniques, médecineS SocialesSHS

Dépend du bon adressage ou non publications (normes du PRES de Toulouse,normes CNRS ou de l’OST, écriture monoligne ?) débat!!Pb d’homonymie !!

H-index ou facteur H= coïncidence entre le nb de publications et le nb de citations . Facteur d’impact crée par Jorge E. Hirsch,

ne favorise pas les jeunes chercheursPb des autocitations (d’excellence, de complaisance)

Facteur G d’Egghe (D-Space)

Eigenfactor de Bergstrom (notion de rang/cartographie, mesure de l’influence d’1 revue)

L’impact factor (IF) = nb de citation / nb d’articles publiésLe ranking des revues (rang)JCR (Journal Citation reports) = évaluation des sources/revues tous les 2 ans (comme l’OST). Il y a 6000 revues pluridisciplinaires analysées. L’AERES tente d’imposer les mêmes critères d’évaluation aux SHS (débat, monographies échappent à l’analyse or en SHS ce type de publi prévaut sur la revue!!!)

Hal-Life = Année à partir de laquelle le nb de citations vers la revue commence à décliner. Plus le HL est basrevues brûlantesPlus le HL est haut revues bonne assise internationale

VI/Relativité de l’information : de l’Impact Factor à Wikipedia!

Photo : Joseph R. Smyth http://ruby.colorado.eduLa pancarte additionne l’année, l’altitude et le nombre d’habitants.Le lien avec le classement de Shanghaï n’aura échappé à personne.

Source « Arabesques », Ed. ABES, n°57, 2010.

Les limites du classement de Shanghaï

• En 2009 sur les 20 meilleures universités mondiales : 17 univ. US, 2 britanniques et 1 japonaise.

• Pertinence. Un classement pourquoi et pour qui ? (question qui n’a jamais été posée !) que cherche-t-on à évaluer ?

• Question de la définition d’1 université (différence entre grande école, institut de recherche, université..) cas du Collège de France (aucun diplôme et aucun étudiant !)

• Question du public : est-il adressé aux étudiants, aux pdts d’université, aux recruteurs de haut niveau, aux politiques ?

• Critères discutables : choisis sur la base de la seule disponibilité des info. sur Internet (paramètres arbitraires, pas de transparence sur les données initiales) ex. Prix Nobel !

• Méthode de calcul: poids adoptés dans 1 somme pondérée sont liés à la normalisation des échelles. Si celle-ci change on doit changer les poids, sinon résultats absurdes.

• Cherpa-Network Réaliser 1 classement européen des universités ( 1 Appel d’Offres de la CE)

Source: J.-C. Billaut, D. Bouyssou, Ph. Vincke « Arabesques » n° 57, 2010, pp. 14-15

3/Le tout collaboratif • 1 Internet participatif où l’internaute devient producteur de

contenus (wikis, Twitter, Blogs, réseaux sociaux…)Partager des contenus, collaborer en ligne

• Un web modifiable, dynamique et fluctuant• WIKIPEDIA = l’ancêtre du Web 2.0 (le 1 er wiki).Le contenu de

Wikipedia est mis en ligne sans garantie. Loi du 1% (1% rédigent, 19 % commentent, 80 % lisent !)

• Risque d’utilisation frauduleuse des données personnelles (réseaux sociaux)

• Absence de vérification des adresses IP, des identités…• Spam, spyware, faux site…• Hal = entière responsabilité des auteurs

Biblio-webographie• Arabesques, « Mesures et évaluation », n° 57 janvier - février mars 2010 (en ligne

http://www.abes.fr/abes/DocumentsWebAbes/abes/arabesques/Arabesques57.pdf )• Liens utiles sur les notions de facteurs d‘impact et citations:

http://www.scd.ups-tlse.fr/barthez/liens_citat.htm • Observatoire des Sciences et des Techniques : http://www.obs-ost.fr/ • Mars 2011. Charte de signature des publications scientifiques de l'université Paris Diderot. Lien• Qualité en bibliothèques : L'application statistique interactive des Bibliothèques universitaires

(Ministère de l’Enseignement Supérieur et de la recherche) https://www.sup.adc.education.fr/asibu/

• « Faut-il classer les revues en sciences humaines et sociales ? Dix années de controverses françaises (1999-2009) », Gabriel Galvez-Behar, http://halshs.archives-ouvertes.fr/halshs-00548183/fr/

• Evaluer la production scientifique en SHS-Outils bibliométriques (CNRS-INSHS INstitut des Sciences Humaines et Sociales http://www.cnrs.fr/inshs/recherche/evaluation-production-scientifique/outils-bibliometriques.htm

• Michèle Dassa, Christine Kosmopoulos et Denise Pumain,. « JournalBase. Comparer les bases de données scientifiques internationales en sciences humaines et sociales (SHS) » , 2010, http://cybergeo.revues.org/22864