Les enjeux de la bibliométrie

Du côté des institutions :différentes échelles d’évaluationL’avancement individuel des carrières tout comme

l’attribution des crédits s’appuient désormais sur l’évaluation de l’activité des chercheurs vue à travers le prisme de leurs publications

Dossiers soumis à l'Agence Nationale de la Recherche : pas d'évaluation officielle rigoureuse à l'heure actuelle, mais des éléments…

En France, l’Observatoire des Sciences et Techniques (OST) est chargé notamment  (créé en 1990): - « de la conception et production d'indicateurs quantitatifs relatifs aux activités scientifiques […] »- « [de l’] interprétation en termes de position de la France en Europe et dans le monde »- de la « publication, diffusion et valorisation [de ces] indicateurs ».

Cf. site de l’OST (consulté le 25-03-2013).

La recherche mondiale 2008Dépenses en R&D: E-U 34%, U-E 24%, Japon

13,5%, Chine 9,3%La Corée du Sud est au même niveau que la

France et le R-U 3,7%Il y a autant de chercheurs en Chine qu’aux

E-U43% des étudiants du monde sont en Asie,

24% en EuropeL’Office américain des Brevets a accordé plus

de brevets en Asie (31%) qu’en Europe (16%)

La recherche française: quelques chiffresLa recherche française, publique et privée, compte en ETP,

375 235 personnes dont 59% sont des enseignants-chercheurs. 56,2% appartiennent au secteur privé, 45,8% au secteur public

Rappel: les E-U comptent 1,4 M de chercheurs, soit 1/5 de la pop. mondiale des chercheurs (UE=1,3 M et Chine=1,1M)

Plus de 4/10 sont en Ile de France et plus d’1/10 en Rhône/Alpes (2005)

La France compte 6,76 chercheurs pour 1000 actifs (Japon=10,6 et E-U=7,42, UE= 5,86, Asie=1,88). Le nbre de chercheurs a augmenté de 23% en France entre 2000 et 2005

Rappel: On compte, en 2007, près de 6,6 millions de chercheurs dans le monde. 40,6 % sont en Asie, 30,4 % en Europe et 24,3 % en Amérique du Nord.

La production scientifique de la FranceEn 2006, 4,2% des publ.mondiales en sciences de la

matière et de la vie sont publiées en F. (4,2% des citations mondiales). En mathématiques cette part est de 6,8. cf.rapport OST p.76

L’indice d’impact de la France est supérieur ou égal à la moy.mondiale dans presque toutes les disciplines (1,01). C’est en recherche médicale qu’il est le plus faible (0,91) et en biologie appliquée-écologie qu’il est le plus fort (3,28).

En 10 ans, la part des publications a baissé (5,4% en 1996) mais l’indice d’impact s’est nettement amélioré (0,91 en 1993)

Retour OST sur production scientifiqueBrevets : En 2008, la part mondiale de la France dans le système de

brevet européen est de 6,3 %, contre 8,9 % en 1990. Dans le système américain de brevets elle est de 2,0 % en 2008, contre 3,3 % en 1990.

Participation PCRD (programme-cadre de recherche et développement)

La France est présente dans plus d’un tiers des projets du 7ème PCRD. Elle coordonne 11,4% des projets. Les équipes françaises ont reçu 12,1% du budget, soit 1542 millions d’euros.

Le Programme 150 de la LOLFLes objectifs fixés aux établissements

d’enseignement supérieur et de recherche sont présentés dans le rapport Programme 150 consultable sur le web.

L’évaluation et l’évolution de la recherche française sont déclinées selon 5 objectifs (pages 52 à 59)

http://www.performance-publique.gouv.fr/farandole/2006/lfi/pdf/DBGPGMLFIPGM150.pdf

Les objectifs du Programme 150

OBJECTIF n° 7 : Produire des connaissances scientifiques au meilleur niveau international

OBJECTIF n° 8 : Développer le dynamisme et la réactivité de la recherche universitaire

OBJECTIF n° 9 : Contribuer à l’amélioration de la compétitivité de l’économie nationale par le transfert et la valorisation des résultats de la recherche

OBJECTIF n° 10 : Concourir au développement de l’attractivité internationale de la recherche française

OBJECTIF n° 11 : Consolider l’Europe de la recherche

L’évaluation de la recherche : qualitative et quantitativeIl existe deux types d’évaluation des publications

scientifiques :

L’évaluation qualitative. C’est le « peer reviewing » ou évaluation par les pairs. Le papier est examiné par le comité de rédaction de la revue composé d’experts de la discipline

L’évaluation quantitative. C’est l’évaluation de l’activité des

chercheurs vue à travers le prisme de leurs publications.Cette évaluation est menée par des personnes qui ne sont pas forcément spécialistes de la discipline et de l’axe de recherche concernés. Il ne s’agit pas d’entrer dans les contenus.

Le recours à la statistique s’impose donc et le critère retenu est le taux de citation de la publication.

Qu’est-ce que la scientométrie?Branche de la bibliométrie: applique à

l’analyse des activités de communication rédigée de la recherche scientifique et technique les principes d’étude statistique

La communauté scientifique: une élite qui publie beaucoup, une masse de chercheurs peu productifs

Les « collèges invisibles »

Évaluation quantitative : l’Institute of Scientific Information (ISI)Créé par Eugène Garfield en 1958. Acquis par Thomson

Scientific en 1992

Sa spécialité est l’indexation de citations et leur analyse

Maintient une base de données de citations couvrant des milliers de revues : le Science Citation Index (SCI), accessible seulement électroniquement à travers le service appelé Web of science

Cette base de donnée permet d'identifier les articles les plus souvent cités et qui les a cités

ISI publie aussi un rapport annuel, le Journal Citation Report, qui établit un facteur d’impact pour chaque journal suivi

Les méthodes de l’ISI :évaluation des revuesLes données sont publiées dans le Journal

Citation Report qui paraît au printemps pour l’année précédente

Il analyse plus de 7 500 titres issus de 60 pays différents

Le but est de définir le « facteur d’impact » de chaque revue sur les deux années précédant l’année de référence

Calcul du facteur d’impact :exempleQuel est le facteur d’impact d’EMBO Journal en 2006 ?

1 - Nombre d’articles de cette revue publiés en 2004 et 2005 et cités dans les titres de la base en 2006 :

2005 = 3503 2004 = 5131 Total = 8634

2 - Nombre d’articles qu’a publiés cette revue en 2005 et en 2004 :

2005 = 394 2004 = 462 Total = 856

3 - facteur d’impact = le nombre de citations divisé par le nombre d’articles publiés :

8634 : 856 = 10.086 = Le facteur d’impact de cette revue est de 10.086

RankAbbreviated Journal Title(linked to journal information)

ISSN Total CitesImpactFactor

ImmediacyIndex

ArticlesCitedHalf-life

1 CA-CANCER J CLIN 0007-9235 5266 63.342 16.526 19 2.9

2 NEW ENGL J MED 0028-4793 177505 51.296 12.743 303 6.9

3 ANNU REV IMMUNOL 0732-0582 15482 47.237 9.500 24 6.3

4 ANNU REV BIOCHEM 0066-4154 16761 36.525 4.433 30 8.5

5 REV MOD PHYS 0034-6861 20672 33.508 6.656 32 >10.0

6 NAT REV CANCER 1474-175X 13189 31.583 4.675 80 3.4

7 PHYSIOL REV 0031-9333 16209 31.441 4.906 32 7.2

8 NAT REV MOL CELL BIO 1471-0072 14132 31.354 3.894 85 3.6

9 SCIENCE 0036-8075 361389 30.028 5.555 885 7.7

10 CELL 0092-8674 132528 29.194 6.403 352 8.7

11 NAT REV IMMUNOL 1474-1733 11098 28.697 4.628 78 3.3

12 NAT MED 1078-8956 43664 28.588 5.261 153 5.3

13 ANNU REV NEUROSCI 0147-006X 9139 28.533 3.050 20 6.8

14 NAT IMMUNOL 1529-2908 20761 27.596 5.856 132 3.6

15 NATURE 0028-0836 390690 26.681 6.789 962 7.8

16 ANNU REV CELL DEV BI 1081-0706 7499 26.576 1.000 27 6.3

17 CHEM REV 0009-2665 57509 26.054 2.778 189 7.5

18 LANCET 0140-6736 133932 25.800 7.419 301 7.4

19 BRIEF BIOINFORM 1467-5463 1428 24.370 0.207 29 2.6

20 NAT GENET 1061-4036 54053 24.176 7.144 202 6.1

De nombreux biais et a prioriConsidère que seule la citation est une

preuve « d’utilité scientifique »Biais introduits par la différence de taille

des communautés (acoustique est moins lue que la biologie)

Biais introduits par les choix de titres dans la base WoS :Biologie, santé, médecine bien représentéesSciences humaines très mal représentées

Un système qui n’est pas sans défaut…

Quelques faiblesses du système ISI d’évaluation des revues

Le calcul sur deux ans n’est pas adapté à toutes les spécialités. Dans certaines disciplines, le contenu des articles publiés est susceptible d’être cité sur une durée plus longue. Depuis 2007, un IF sur 5 ans est calculé également. Pour les années antérieures, une méthode est proposée.

Les « jeunes » périodiques peuvent être défavorisés le temps de prendre de l’importance…Le système fonctionne comme une prime aux revues déjà installées et jouissant d’une certaine notoriété

Les articles de type « review » sont comptabilisés avec les articles de recherche ce qui « gonfle » les résultats des titres publiant de nombreuses « reviews » (même si ensuite, on peut afficher le détail du nombre de « reviews » sur le nombre total d’articles publiés, le calcul du facteur d’impact n’en tient pas compte)

Les revues dans des langues autres que l’anglais et des alphabets autres que le latin, sont très défavorisées dans ce « jeu » des citations.

Les citations opportunistesLes articles « importants » sont parfois cités

préférentiellement, pas forcément en rapport direct avec leur utilité dans la recherche poursuivie.

Les articles des « grands journaux » sont plus souvent cités, et en meilleure place, que ceux publiés dans les journaux à tirage moyen

Auto-citations, citations de collègues en vue, citations d’articles du journal auquel on soumet un manuscrit, etc.

Articles cités pour rectifier des erreurs nombreusesArticles considérés comme « classiques » et donc

plus cités ou au contraire sur-citation des art.très originaux

La « peopleisation » des journaux scientifiquesUn article peut être jugé important parce

qu’il est publié dans un journal prestigieux comme Nature ou Science

Certaines revues, pour préserver leur IF diminuent le nombre d’art.publiés, elles favorisent les disciplines « à la mode », elles publient de plus en plus de « reviews »

Le problème de la définition des auteursDes disparités entre les disciplinesQuelle est la contribution des signataires du

milieu?Quelle est la contribution des techniciens et

laborantins signataires?Cf. les critères d’authorship de Vancouverhttp://www.icmje.org/ethical_lauthor.html

L'utilisation des données ISIUtilisation individuelle par le chercheur

Connaître ses articles les plus citésSavoir qui cite les articles

Utilisation comme outil d'évaluationPerformances individuellesPerformances d'un groupe

Laboratoire Établissement Organisme

Tout ce qui est laissé de côté par cette méthodeOriginalité de la recherche, innovation

conceptuelle, applications, utilité scientifique ou industrielle

Rayonnement ou création d’une école de pensée

Conclusion: PRUDENCELes deux médailles Fields 2010, Cédric

Villani cité 1520 fois par 629 auteurs et Ngo Bao Chau cité 102 fois par 52 auteurs, ne peuvent absolument pas être classés l’un par rapport à l’autre.

Le problème des SHS

La citation devient dans le modèle de l’ISI une preuve « d’utilité scientifique » ce qui ne s’applique pas aux SHS

Parce que la monographie est la forme de publication majeure de ces domaines où les contenus ont une longue durée de vie.

En France, une part importante des recherches sont publiées dans le cadre d’ouvrages collectifs qui échappent à la recension de l’ISI

Le principe de visibilité utilisé pour sélectionner les jrnx est également contestable: des périodiques à tirage limité et à faible indice d’impact sont cpdt fondamentaux pour leur communauté de chercheurs

La prédominance de la langue anglaise n’est pas attestée pour nbre de disciplines (archéologie, littératures nationales)

Parce que dans ces disciplines en particulier, les « pratiques de citation » française et anglo-saxonne diffèrent très nettement. Exemple sur l’année 2000 : Ecole Française de Rome, section Moyen-Age : 3858 références pour 283 articles Speculum : 3495 pour 167 articles

Source : enquête CNRS 1992-2001 sur les revues SHS

Mais il y a aussi des points positifs!

Le chercheur peut ainsi étudier les revues de sa discipline et définir sa stratégie de publication :

Meilleurs résultats dans les meilleures revuesRésultats moins importants dans les autresDiversifier les sources dans des domaines

voisins et des IF équivalents

Scopus et ScimagoNouvel indicateur prenant en compte les

revues de tous les pays: le Journal Rank Indicator

http://www.scimagojr.com/Plus de 18 000 revues indexées depuis 1996Les sciences sociales sont encore le parent

pauvre mais sont représentées et permettent un classement des revues.

Les indicateurs relationnels Indicateur de co-publications internationales d’un pays (2006: E-U

sont le 1er partenaire de la F, présents dans 24,6% des cop.)Analyse du réseau de recherche dans lequel s’inscrit un chercheurAnalyse dynamique des liaisons entre les revues: permet de suivre la

déformation et la réorganisation des domaines de rechercheAnalyse des citations d’articles scientifiques dans les brevets (et

inversement): relations entre sciences et techniquesAnalyse des réseaux de citations: étude d’un contexte de recherche L’analyse des mots associés: grâce à des logiciels tels que Leximappe, on

peut détecter la co-occurrence de mots et déterminer des indices d’équivalence. Les réseaux de mots associés permettent d’indiquer la place d’une recherche par rapport à un ensemble: centralité et densité dessinent des diagrammes stratégiques qui permettent d’évaluer la structure d’un domaine de recherche. Permet de prévoir dans le temps quels thèmes vont être développés.