Wikis - Les nouveaux indicateurs dans le domaine des … · Classement 2007: top 10 Hebdo Synthèse...

Bibliothèques Universitaires de Médecine et Santé Publique - CHUV 1

Les nouveaux indicateurs dans le domaine des publications et de la recherche scientifique

Isabelle de KaenelPablo Iriarte

Juin 2008


Plan

Introduction : des indicateurs pourquoi ?1. dénombrer les publications et les citations reçues2. mesurer la notoriété des revues scientifiques3. évaluer des chercheurs4. classer des institutions de recherche

Les modèles de basepour dénombrer, mesurer, évaluer, classer

Les modèles émergentspour dénombrer, mesurer, évaluer, classer

Conclusionentre obsession, perplexité et prudence…


1666: les anglais citaient les français1666 : An Accompt of the Use of the Grain of Kermes for Coloration. Philosophical Transactions, Vol. 1, p. 362-63

« The maximum number of references, strictly enforced, is 50 for Articles and 30 for Letters ».Nature Formatting guide : http://www.nature.com/nature/authors/gta

En 2008, combien de revues francophones sont citées par les revues britanniques ?

http://www.nature.com/nature/authors/gta


Bibliographies : l’innocence perdue

Un ensemble de références à recenserle modèle historique : Science Citation Index

Une indication de la notoriété des revuesle modèle monopoliste : Journal Citation Report

Une base d’évaluation des chercheursle modèle normalisé utilisé à la FBM / UNIL

Un élément des classements des institutsle modèle mécaniste des palmarès

Article de Mr “X”RevueDateTitre

--------------------------------------------------------------------------------------------------------------

References1.-------------2.-------------3.-------------4.-------------


Attraction, sélection en équilibre

Chercheurs InstitutionsIndice individuel

Classements

CitationsArticles

RevuesFacteur d’impact

victimes ?

complices ?


Des modèles ébranlés

Un ensemble de références à recenserles initiatives des grands acteurs de l’Internet

Une indication de la notoriété des revuesnouvelle granularité : l’article prime sur la revue ?

Une base d’évaluation des chercheursmesurer la production des chercheurs au plus juste

Un élément des classements des universitésindicateurs et reconnaissance internationale

voir billet de Olivier Ertzscheid sur Affordance : http://affordance.typepad.com/mon_weblog/2008/01/scientomtrie.html

http://affordance.typepad.com/mon_weblog/2008/01/scientomtrie.html


Le modèle historique : SCI + SSCI

Collecte les citations à partir de 40 millions de références d’articles150 millions de références citées (après dédoublonnage ?)

Fait une analyse statistique des références citées/citantes et fournit les indicateurs suivants

nombre de citations reçu par article, par revuenombre total / moyen de citations reçu par auteurnombre total / moyen de citations reçu par institutionnombre de citations reçu par an, par domaine, etc.


Limites du Web of Science

Sélection des publications référencéesarticles de 8 700 revues, pas de livres, thèses, etc.aire géographique, linguistique, scientifique

Problèmes d’identification des auteurs : homonymes, variationsdes institutions : variations

Problèmes des autocitationsdes auteursdes revues

Des indicateurs quantitatifs sont interprétés comme des mesures qualitatives


Le modèle monopolistique : JCRFournit pour 5 900 revues STM, 1 700 SSH

une indexation par sujets (200 domaines)le nombre d'articles publiés annuellement par chaque revue le nombre de citations reçues par les articles de chaque revue durant les 2 années précédentes, selon le contenu du WOS

Calcule sur cette base une série d’indicateursle facteur d'impact (impact factor)l'indice d'immédiateté (immediacy index)

rapidité avec laquelle un article paru dans une revue donnée est citépour repérer les revues spécialisées dans la recherche de pointe

la demi-vie citée (cited half-life)la demi-vie citante (citing half-life)


Mode de calcul de l’IF

Rapport entre le nombre de citations sur le nombre d'articles publiés par un journal, sur une période de référence de deux ans

Nbre citations reçues en 2007 par les articles publiés en 2006 et 2005

Nbre d’articles publiés en 2006 et 2005IF 2007 =

Science2007

20 876 + 27016

885 + 93126.372= =

47 892

1 816=


Limites du JCRSélection étroite de revues Le calcul privilégie certains types de revue

revues généralistes, les publications de «reviews»les revues hebdomadaires

Indicateur facile à manipuler avec autocitationsCalcul sur un temps trop court : 2 ans

pénalise les domaines avec des recherches longuespénalise les articles en avance sur leur temps

Les pratiques de citations diffèrent par domainetaux moyen de citations par article lié à la discipline

en pharmacologie: 11en génétique : 28


Classement 2007: top 10

Hebdo

Synthèse

Synthèse

SynthèseSynthèse

Synthèse

Synthèse

1. CA – A Cancer Journal for Clinicians 69.0262. New England Journal of Medicine 52.5893. Annual Review of Immunology 47.9814. Reviews of Modern Physics 38.4035. Nature Reviews Mol Cell Biol 31.9216. Annual Review of Biochemistry 31.1907. Cell 29.8878. Physiological Reviews 29.6009. Nature Reviews Cancer 29.19010. Nature 28.751 Hebdo


Utilisation dévoyée de l’IF ?L’IF ne reflète pas la qualité de l’article

un article peut être cité négativementOn lie la qualité d’un article à la visibilité du support (contenant)

les articles non cités restent corrélés à l’IF de la revueIls ont passé le processus de sélection

L’évaluation du support (le journal scientifique) l’emporte sur l’évaluation individuelle par article (élément particulier d’un contenant).

le travail est simplifié car le nombre de supports est inférieur au nombre d’articles


Utilisation pondérée de l’IF à la FBMRPU* : Research Production Unit par chercheur

introduit une pondération par domainecalcule l’écart entre l’IF de la revue qui a publié l’article et l’IF du meilleur journal de sa spécialitémais comment fait-on lorsqu’une revue appartient à plusieurs domaines ?

tient compte de la place de l’auteurtaux de participation de 100% si 1er ou dernier auteursinon au prorata du nombre d’auteurs : 25% si 4 auteurs

tient compte du type d’article publiéreviews =50%, lettres=20%

* Schwartz & Lopez Hellin Scientometrics 35: 119-132, 1996

Pour en savoir plus, voir les pages « Publications scientifiques » et « Bibliométries » de la FBM : http://www.unil.ch/fbm/page47017.html et http://www.unil.ch/fbm/page2347_fr.html

http://www.unil.ch/fbm/page47017.html

http://www.unil.ch/fbm/page2347_fr.html


Indice de citations et «rankings»Classement des institutions par le «Times HES»

http://www.timeshighereducation.co.uk, onglet « Statistics »

indicateurs qualitatifs : évaluation par les pairs (50%)indicateurs quantitatifs

5 indicateurs au totalréputation internationale : 5 000 chercheurs évaluentréputation auprès des chefs du personnel (10%)performance de la recherche (20%)

taux de citation des membres de facultés, quelle identification ?taux d’encadrement des étudiants (20%)nombre d’étudiants étrangers (5%)nombre de collaborateurs étrangers (5%)

http://www.timeshighereducation.co.uk/


Mouvements de libérationRecensement des citations

de nouveaux concurrents face au SCIL’utilisation de l’IF de la revue est remis en cause

avec l’Open access le projecteur est mis sur l’articlela revue perd de son importance

De nouveaux outils, calculs, indices individuelsproposés par des physicienspar des chercheurs en sciences humainespar des sites d’archives ouvertes

Des classements d’institutions diversifiésmais le nombre de publications et citations reste incontournable


Les concurrents du SCIDe nouveaux entrants : http://urfist.univ-lyon1.fr/cocitations.html

éditeurs commerciaux : Scopus (Elsevier)moteurs de recherche : GScholar, Live Academicarchives ouvertes : Citeseer, Citebase, Repec, BMC, PMCserveurs de revues :

Highwire : citations venant des revues HW, et liens sur GSOvid : base PsycInfo, et revues Journals@Ovid

Diversifient les sources citées / citantes15 000 revues : Scopuslivres, rapports etc : Scholardocuments des archives ouvertes : working papers…

La qualité des bases est centrale pour tout calculaucune n’est parfaite (types docs, domaines)

http://urfist.univ-lyon1.fr/cocitations.html

http://scholar.google.com/

http://academic.live.com/

http://citeseer.ist.psu.edu/

http://www.citebase.org/

http://ideas.repec.org/

http://www.biomedcentral.com/

http://www.pubmedcentral.org/


Comparaison de 3 bases *

Utilisation des informations

WoS Scopus GScholar

Pluridisciplinaire, 8 700 revuesNotices citantes : 40 millions depuis 1900600 millions documents cités?

Pluridisciplinaire, 15’000 titresNotices : 16 millions dès 96,17 millions pré-1996, Ø biblio.83 millions documents cités?

Pluridisciplinaire Nombre inconnu de notices, de sources, d'éditeurs Plusieurs types documents

Options Recherche dans les citations

Auteur citéPublication citée ( par titre abrégé de périodique, titre d’ouvrage ou conférence) Année citée

L’interrogation simple :par mot-clé et phrase dans le champs « Références »L’interrogation avancée par : auteur cité, titre cité, article cité, année citée, page citée

Par tous les mots de la référenceOn peut limiter par : Auteur, Publication, Date et Sujet

Outils d’analyse des citations

Analyse « citation report »par année, citations reçuesAnalyse des articles citants avec « analyse results »

Analyse de citations aveccitation tracker

Non Possible avec couplage d’un autre logiciel Harzing’s Publish or Perish

Export des notices pour les logiciels de gestion biblio.Service web sur demande

Export des notices pour les logiciels de gestion biblio.Service web ouvert (limité)

Export des notices pour les logiciels de gestion biblio.Pas de service web ouvert

Couverture

* Voir Christoph Neuhaus, Hans-Dieter Daniel. Data sources for performing citation analysis: An overview.Journal of Documentation, 2008, 64 (2), 193-210 http://e-collection.ethbib.ethz.ch/eserv/eth:29124/eth-29124-01.pdf

http://e-collection.ethbib.ethz.ch/eserv/eth:29124/eth-29124-01.pdf


Moteur spécifique : Live Academic

Windows Live Academic : lancé par Microsoft en avril2006 (GScholar fin 2004)lié au moteur de rechercheMicrosoft : Live Search

Fédère différents contenus CrossrefPubmed archives ouverteséditeurs en sciences sociales

Moins populaire que GScouverture moins large

Interface ergonomiquefenêtre divisée en 2 partiesaffichage interactif ducontenu de la noticepossibilités de tri de noticesregroupement par revues, auteurs…

Pour en savoir plushttp://help.live.com

http://academic.live.com/

http://www.live.com/

http://help.live.com/


PubMed Central

Citations reçues provenant des articles présents dans le corpus PMC

Ex. Bull Med Libr Assoc. 1998 October; 86(4): 475–485. PMCID: PMC226438 Copyright noticeImplementation and evaluation of information desk services provided by library technicalassistants.K J Graves Library of the HealthSciences, University of Illinois at Chicago 60612-7223, USA.

http://www.pubmedcentral.nih.gov/about/copyright.html


2005 : Indice individuel de HirschL’indice H établit une relation entre

un nombre total de publications et leurs citationsPour un ensemble d’articles, le point H =

nombre d’articles avec un nombre de citations >= HH =30 si 30 publications sont citées au moins 30 fois

C’est un indice cumulé sur N annéesH ne peut qu’augmenter, même si le chercheur arrête

L’indice M (H/N) relativise en fonction de la duréeM= 1(H = 20 après 20 ans d’activité)M=2 (H = 40 après 20 ans d’activité)

Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102

http://www.pnas.org/cgi/doi/10.1073/pnas.0507655102


Comment calculer l’indice H?Choisir sa base de donnéesCalcul manuel si la base permet un tri par nombre de citations reçu (times cited)Calcul automatique donné par la plupart des bases

WOS, ScopusGoogle Scholar a bloqué le calcul en temps réel

http://www.brics.dk/~mis/hnumber.html

Calcul différé avec logiciels spécifiquesLogiciel «publish or perish» de Harzing

http://www.harzing.com/resources.htm#/pop.htm

http://www.brics.dk/~mis/hnumber.html

http://www.harzing.com/resources.htm#/pop.htm


Recherche l’index H pour un auteur


Recherche manuelle


Calcul automatique : citation report


Les limites de l’indice HVarie en fonction de la base de données choisie

la qualité, la couverture des bases varientl’indice H est sous estimé pour les auteurs de livres

Varie d’une discipline à l’autreH en biologie (190) > physique (110) > sciences info

Il ignore le nombre total de citations Ne met pas en valeur les articles très cités10 article cités 10 fois = 10 articles cités 100 fois

L’indice est corrélé avec le tempsH et M ont un sens au bout de 10 ans environ

Problèmes non résoluscitations négatives, place des auteurs


Variations autour de l’indice HContemporary H : intègre l’âge de la publication

citations pour un article de l’année courante x 4 citations pour article vieux de 4 ans compte 1 foiscitations pour article vieux de 7 ans compte 4/7 fois

Trend H : intègre l’âge de la citationchaque citation a un poids décroissant avec le temps

article ancien encore cité : publication de référencearticle plus cité : article ou domaine dépassé

G-index : + de poids pour les articles très citésG est le plus grand nombre,

tel que les G premiers papiers ont, ensemble, au moins G2

citationsExemple : h =4, g = 83, G/H=2.02


Autres déclinaisons d’indices…Individual H (Hi) : intègre le nombre d’auteurs

Na : nombre moyen d’auteurs dans les H publicationsHi = H/Na

A-index et B-indexA inclut le nombre moyen de citations reçuesB inclut le nombre d’articles parmi les 10% les + cités

Indicateurs influencés par la métrique du webnombre de citations + nombre de téléchargements

délai entre publication, téléchargement et citationscorrélation entre téléchargements et citations ?les articles en accès libre sur le Web semblent bien cités

compter l’activité du chercheur sur le web ?citations de billets blogs, citations de commentaires, etc..


Logiciels pour analyser les citations

« Publish or Perish »logiciel open sourcedisponible sur le site de Harzingutilise GS, calcule de nombreux d’indicateurs

Histcitelogiciel payant, avec période d’essai gratuitedéveloppé par E. Garfield, utilise Web of Scienceorienté visualisation graphique : « citation maps »

permet de visualiser les « lignées intellectuelles »dresse des cartes de corrélation entre publications, chercheurs, champs de recherche.

http://www.harzing.com/


Citations maps dans Highwire


Visualisation limitée aux titres HW


Bibliométrie, Scientométrie, WebométrieFréquence

Structure

Auteurs Lecteurs

ISI Impact Factor

Web Ipact Factor

Reader Factor

Webometrics

Page Rank

Structural-Reader

Citations Téléchargements

Consultations, téléchargements, corrélations…Liens, citations, corrélations,

contenu semantique…

Web 2.0Web 2.0

Source : Johan Bollen, Herbert Van de Sompel, Joan A. Smith and Rick Luce, Toward alternative metrics of journal impact: A comparison of download and citation data. Information Processing & Management, 2005, 41(6), p. 1419-1440. DOI:10.1016/j.ipm.2005.03.024

http://dx.doi.org/10.1016/j.ipm.2005.03.024

http://www.capitalspectator.com/archives/032006c.GIF

http://www.cbr.washington.edu/data/Streams/img/sine.correlations.gif


Webométrie : impact et relationsAnalyse des liens (Web Impact Factor)

Rapport entre productivité et visibilité sur le WebCapacité d’actualisation ?

Citations des articles sur le Web : ACIElargissement mais corrélation avec ISI IF

Moteurs de rechercheCouverture et pertinence

Mesures du Web 2.0Relations des liens et du contenu sémantiqueMarketing et data mining

Vers un « Citation Rank »

http://eprints.rclis.org/archive/00005543/

http://citeseer.ist.psu.edu/aci-computer/aci-computer99.html

http://zeroseconde.blogspot.com/2004/11/les-hyperliens-ont-un-concurrent-la.html


Webométrie : avantagesMesure rapide de l’impact

Contenus OA, pages web des instituts, auteursISI IF toujours avec un temps de retard

Prise en compte d’autres contenusPrésentations, brevets, données, logiciels, sites

Mise en lumière des relationsRelations cachées entre auteurs, instituts, labos

Gratuité (OpCit, Citebase, Citeseer…)Certaines informations peuvent être utilisées dans les DI pour augmenter son utilisation

http://opcit.eprints.org/

http://www.citebase.org/

http://citeseer.ist.psu.edu/citeseer.html


Webométrie : inconvenientsManque de contrôle de qualité

Argument de choc de l’ISI : sélection des sourcesManque de structure dans les données

Seulement les liens sont clairement quantifiablesDifficulté à identifier les types de document

Absence des datesMélange du contenus anciens et nouveaux

Données partielles et mouvantesMélange de granularité (FT / abstracts / citations) et exhaustivité (recensement des publications)


Webométrie : un cas extrèmeLa médaille Fields et les archives ouvertes

Médaille Fields, la plus haute distinction dans le domaine des mathématiques, attribuée en 2006 à Grigori Perelman pour avoir éclairci la conjoncture de Poincaré.En 2002 le mathématicien russe avait publié sur arXiv un article de 39 p., après 10 ans sans aucune publicationGrigori Perelman a refusé la médaille FieldsL’institut de mathématiques Clay est prêt à changer son règlement (sa découverte n’a pas été publiée dans une revue à comité de lecture), pour lui verser 1 million de dollars pour ses travaux sur la conjoncture de Poincaré.

http://www.internetactu.net/2006/09/20/la-medaille-fields-aux-archives-ouvertes/

http://arxiv.org/find/math/1/au:+Perelman_Grisha/0/1/0/all/0/1

http://www.claymath.org/


Webométrie et OA : Oaister

Nombre de reqêtes


Webométrie et OA : ArXiv

http://arxiv.org/find/math/1/au:+Perelman_Grisha/0/1/0/all/0/1


Webométrie et OA : @rchiveSIC


Webométrie et OA : E-LIS

http://eprints.rclis.org/


Webométrie et OA : RePec

http://www.repec.org/


Webométrie : libérez les données!!Open Access for bibliographic data

API de SCOPUS gratuit en version limitée

http://www.earlham.edu/~peters/fos/2007/12/petition-for-oa-to-bibliographic-data.html

http://www.scopus.com/scsearchapi/

http://www.saphirdoc.ch/adocument.htm?bib=&style=&record=19136522124919547049


API WOS dans revues HW ?


API WOS + Crossref avec Atypon


Webométrie : l’art de tout mesurer

http://web.media.mit.edu/~marcelo/art-o-meter/index.htm


Retour à l’analyse qualitativeAnalyse du contenu par les pairs au lieude principes statistiques

Faculty of 1000 Biology, Medecine (ils sont 3 000 !)3 niveaux :

3 «recommanded», 6 «must read», 9 «exceptional»3 examinateurs, 2 attribuent «must Read», 1 «exceptional»moyenne des deux indices les plus élevés à laquelle on ajoute un trentième de la somme des indices(6+9)/2 + (6+6+9)/30 = 8,2

Commentaires par les lecteursCiteseer propose un lien de commentairepossibilité de noter l’articlecomment citer des commentaires et évaluations

F1000 Biology : « How to cite this evaluation »


Evaluation des revuesH index pour les revues

calcul à partir du nom de la revuecalcul limité à 1 000 articles dans WOS

limiter sur une fenêtre de temps : 3 ans ?faire le calcul en local ?

B-index facteur de Bollen ou Journal status

SCImago Journal Rank (SJR) indicatorhttp://www.scimagojr.com/journalrank.php

Facteurs d’usage issus de la métrique du webCiteseer : nombre de téléchargementsprestige de la publication qui cite une autre

= prestige du site qui pointe sur un autre site

http://www.scimagojr.com/journalrank.php


Evaluation des Unis par Shangaï


Critères retenus par ShangaïQualité de l’enseignement

nombre de prix Nobel parmi les anciens élèves (10%)Qualité du personnel

nombre de prix Nobel parmi les chercheurs (20%)nombre de chercheurs largement cités (20%)

Production scientifique (output de la recherche)articles dans Nature et Science sur 4 années (20%)nombre d’articles indexés dans SCI et SSCI (20%)

Productivité apparente (10%)somme des indicateurs divisée par EPT chercheurs

Reconnaissance internationale = excellence


Critères retenus par LeidenL'université de Leiden propose un nouveau classement entièrement fondé sur des indicateurs bibliométriques

nombre de publicationsnombre de citations par publicationfacteur d’impact selon le domaine

L’excellence de la recherche calculéesur la base de la production scientifique globale et de qualité de cette production

Pour en savoir plus :http://www.unige.ch/sciences/InfoPlus/Rankings.htmlhttp://www.universityrankings.ch/fr

http://www.unige.ch/sciences/InfoPlus/Rankings.html

http://www.universityrankings.ch/fr


Tectonique des métriquesFinanceurs (modèle rationnel) :

Répartir les crédits de la recherche en amont

Institutions académiques (contexte d’émulation) : Mesurer la productivité des équipes en aval

Auteurs (comportement individualiste) :Tirer parti des changements dans la communication scientifique

Communautés scientifiques (mode collaboratif) :Utiliser les nouvelles technologies et puissances de calcul à disposition

Editeurs (modèle marchand) :Concurrence accrue

Bibliothèques (fonctionnement bibliothéconomique) :Définir une politique d’acquisition pour l’électronique, surtout les revues


Vers de nouveaux modèlesIndicateurs à utiliser avec prudence

améliorer l’indexation dans les bases par une affiliation soignéeaméliorer l’identification des auteurs

Homonymesprénoms en entier

dans WOS depuis septembre 2006dans Pubmed depuis 2006 aussi

Un numéro d’identification par auteur, qui ne varie pasScopus Author Identifier: http://www.info.scopus.com/Researcherid (Thomson) : www.researcherid.com/

donc nettoyage et harmonisation requis!Combiner indicateurs qualitatifs et quantitatifs

complémentarité des sources et des approches

http://www.info.scopus.com/docs/SCO228_a282_GS_Author_ID_French_LR.pdf

http://www.info.scopus.com/

http://www.researcherid.com/


Do you sincerely want to be cited? Or: read before you citeSimkin, Mikhail; Roychowdhury, VwanySignificance, Volume 3, Number 4, December 2006 , pp. 179-181(3)http://dx.doi.org/10.1111/j.1740-9713.2006.00202.x

Read before you cite!Authors: M.V. Simkin, V.P. Roychowdhury (UCLA) Journal-ref: Complex Syst. 14 (2003) 269-274version preprint :http://arxiv.org/pdf/cond-mat/0212043

http://dx.doi.org/10.1111/j.1740-9713.2006.00202.x

http://arxiv.org/pdf/cond-mat/0212043

Wikis - Les nouveaux indicateurs dans le domaine des … · Classement 2007: top 10 Hebdo Synthèse...

Documents

Transcript of Wikis - Les nouveaux indicateurs dans le domaine des … · Classement 2007: top 10 Hebdo Synthèse...