MODMODELELEESS, , OUTILS ET METOUTILS ET METHHODESODES

DE BIBLIOMDE BIBLIOMETETRRIEIE

Session de Formation Session de Formation lundi 17 mars 2008lundi 17 mars 2008

URFIST de RennesURFIST de Rennes

Manuel Durand-BarthezManuel Durand-Barthez, SCD Toulouse 3, SCD Toulouse 3

2 types 2 types d’évaluation:d’évaluation:

2 types 2 types d’évaluation:d’évaluation:

• A priori, qualitative, par les pairs (peer reviewing)• A posteriori, quantitative, par les citations (bibliométrique)

• A priori, qualitative, par les pairs (peer reviewing)• A posteriori, quantitative, par les citations (bibliométrique)

Définition du problèmeDéfinition du problème

Nécessité de promouvoir des

alternatives de type qualitatif par rapport au modèle dominant

quantitatif

Nécessité de promouvoir des

alternatives de type qualitatif par rapport au modèle dominant

quantitatif

MéthodeMéthodeMéthodeMéthode

• Démonter le système quantitatif Démonter le système quantitatif (bibliométrie) qui trop souvent (bibliométrie) qui trop souvent régit en amont la soumission régit en amont la soumission d’articled’article

• Réformer ce système de l’intérieurRéformer ce système de l’intérieur• Introduire une évaluation Introduire une évaluation

qualitative coopérativequalitative coopérative• Y associer étroitement l’OAIY associer étroitement l’OAI

• Démonter le système quantitatif Démonter le système quantitatif (bibliométrie) qui trop souvent (bibliométrie) qui trop souvent régit en amont la soumission régit en amont la soumission d’articled’article

• Réformer ce système de l’intérieurRéformer ce système de l’intérieur• Introduire une évaluation Introduire une évaluation

qualitative coopérativequalitative coopérative• Y associer étroitement l’OAIY associer étroitement l’OAI

L’EVALUATION DES L’EVALUATION DES PUBLICATIONS SCIENTIFIQUESPUBLICATIONS SCIENTIFIQUESL’EVALUATION DES L’EVALUATION DES PUBLICATIONS SCIENTIFIQUESPUBLICATIONS SCIENTIFIQUES

Depuis 1960, modèle quasi Depuis 1960, modèle quasi monopolistique:monopolistique:

ISI (Institute of scientific ISI (Institute of scientific Information – Philadelphie)Information – Philadelphie)

[Groupe U.S. Thomson Inc.]

Depuis 1960, modèle quasi Depuis 1960, modèle quasi monopolistique:monopolistique:

ISI (Institute of scientific ISI (Institute of scientific Information – Philadelphie)Information – Philadelphie)

[Groupe U.S. Thomson Inc.]

EVALUATION DES EVALUATION DES AUTEURSAUTEURSEVALUATION DES EVALUATION DES AUTEURSAUTEURS

9750 titres9750 titres revendiquéssur la Plate-Forme propriétaire

de l’ISIWEB OF SCIENCE (WoS)

9750 titres9750 titres revendiquéssur la Plate-Forme propriétaire

de l’ISIWEB OF SCIENCE (WoS)

Répartition par Répartition par DomainesDomainesRépartition par Répartition par DomainesDomaines• 6650 titres6650 titres en Sciences

Technologie MédecineBase Science Citation Index• 1950 titres1950 titres en Sciences socialesBase Social Science Citation Index• 1150 titres1150 titres en Sciences humainesBase Arts & Humanities Citation

Index

• 6650 titres6650 titres en Sciences Technologie Médecine

Base Science Citation Index• 1950 titres1950 titres en Sciences socialesBase Social Science Citation Index• 1150 titres1150 titres en Sciences humainesBase Arts & Humanities Citation

Index

EVALUATION DES SOURCES(Titres des revues)EVALUATION DES SOURCES(Titres des revues)

JOURNAL CITATION REPORTJOURNAL CITATION REPORT

(J.C.R.)(J.C.R.)Tableau statistique annuel

paraît au Printemps de l’année « n+1 »

2006: + de 6000 titres analysés

JOURNAL CITATION REPORTJOURNAL CITATION REPORT

(J.C.R.)(J.C.R.)Tableau statistique annuel

paraît au Printemps de l’année « n+1 »

2006: + de 6000 titres analysés

Journal:Journal: EMBO J

Impact FactorImpact Factor: 10. 053

Cites in 2006 to articles published in:Cites in 2006 to articles published in: 20052005 = 3503

20042004 = 5131

04+0504+05 = 8634

Number of articles publishedNumber of articles published in:in: 20052005 = 394 

20042004 = 462 04+0504+05 = 856

Calculation:Calculation:

Cites to recent articlesCites to recent articles 8634 ------------------------------ = ---------- = 10.086

Number of recent articlesNumber of recent articles 856

Le calcul sur deux ans n'est pas forcément le Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités : plus adapté à toutes les spécialités :

Certaines peuvent mieux supporterCertaines peuvent mieux supporter

5 ans de délai5 ans de délai

Notamment parce que la nature des articles publiés possède un caractère

plus pérenne et plus fondamental, appréciable (et donc "citable") sur une

plus longue durée

Facteurs de pondération:Facteurs de pondération:

- Périodicité + ou – grande: 2 ou 52 num. par an ?Périodicité + ou – grande: 2 ou 52 num. par an ?

- Nombre d’articles par numéroNombre d’articles par numéro

- Changement de titre en cours d’annéeChangement de titre en cours d’année

- « Jeune » périodique (libre, par ex.)« Jeune » périodique (libre, par ex.)

- Nombre de textes type « Nombre de textes type « review review  » »

- Langue, alphabetLangue, alphabet

- AutocitationsAutocitations

Scholar GoogleScholar GoogleScholar GoogleScholar Google

• Une réplique « ouverte » du Une réplique « ouverte » du W.O.S.W.O.S.

• Pas d’exploitation Pas d’exploitation « sophistiquée » des données« sophistiquée » des données

• Délimitation du corpus Délimitation du corpus inconnue et mouvanteinconnue et mouvante

• Une réplique « ouverte » du Une réplique « ouverte » du W.O.S.W.O.S.

• Pas d’exploitation Pas d’exploitation « sophistiquée » des données« sophistiquée » des données

• Délimitation du corpus Délimitation du corpus inconnue et mouvanteinconnue et mouvante

10è référence

Citée 511 fois

Lien vers Nature

La « Fronde »La « Fronde »La « Fronde »La « Fronde »

Publication d’articles Publication d’articles polémiques, notamment polémiques, notamment

dans dans NatureNature

Publication d’articles Publication d’articles polémiques, notamment polémiques, notamment

dans dans NatureNature

Citebase Citebase et et CiteseerCiteseerUne autre conception du Une autre conception du Facteur d’ImpactFacteur d’Impact

Citebase Citebase et et CiteseerCiteseerUne autre conception du Une autre conception du Facteur d’ImpactFacteur d’Impact• Des expériences fondées sur l’OAIDes expériences fondées sur l’OAI• Comparaisons portant sur:Comparaisons portant sur:

- Nb. de téléchargements- Nb. de téléchargements- Nb. de citations générées- Nb. de citations générées- Temps écoulé entre ces deux - Temps écoulé entre ces deux

actionsactions- Cycle de la publication (long - Cycle de la publication (long

terme)terme)

• Des expériences fondées sur l’OAIDes expériences fondées sur l’OAI• Comparaisons portant sur:Comparaisons portant sur:

- Nb. de téléchargements- Nb. de téléchargements- Nb. de citations générées- Nb. de citations générées- Temps écoulé entre ces deux - Temps écoulé entre ces deux

actionsactions- Cycle de la publication (long - Cycle de la publication (long

terme)terme)

CiteSeer

Mining Sequential Patterns: Generalizations And Performance Improvements (1996) Ramakrishnan Srikant, Rakesh AgrawalProc. 5th Int. Conf. Extending Database Technology, EDBT

Facteur de HIRSCHFacteur de HIRSCH Facteur de HIRSCHFacteur de HIRSCH

Calcul d’une moyenne faisant Calcul d’une moyenne faisant coïncider:coïncider:

• Nb de Publications et Nb de Publications et • Nb de CitationsNb de Citations

= indice = indice hh

Calcul d’une moyenne faisant Calcul d’une moyenne faisant coïncider:coïncider:

• Nb de Publications et Nb de Publications et • Nb de CitationsNb de Citations

= indice = indice hh

Il y associe unIl y associe un indiceindice m portant surportant sur la duréela durée n (nombre d’années)(nombre d’années)

résultant de la penterésultant de la pente (slope)(slope) h versusversus n

•m m 11 ( (h h = 20 après 20 ans d’activité) : = 20 après 20 ans d’activité) : chercheurchercheur de « bon niveau » de « bon niveau »•m m 22 ( (h h = 40 après 20 ans d’activité) : = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de chercheur responsable d’une équipe de haut niveau dans une université très cotéehaut niveau dans une université très cotée•m ≥ m ≥ 33 ( (h h = 60 après 20 ans d’activité, = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors voire 90 après 30 ans) : chercheur hors pair, Nobel etc…pair, Nobel etc…

EVALUATION EVALUATION QUALITATIVEQUALITATIVE

(hors Citations)

Le Le Peer Reviewing Peer Reviewing classiqueclassique

Le Le Peer Reviewing Peer Reviewing classiqueclassique

• 2 2 referees referees en principe en principe anonymesanonymes• Arbitrage parArbitrage par l’l’Editor in ChiefEditor in Chief• 1 (rarement 2) « navettes »1 (rarement 2) « navettes » Voir les Recommandations aux Voir les Recommandations aux AuteursAuteursExemple de la Charte de Exemple de la Charte de l’American Chemical Societyl’American Chemical Society

• 2 2 referees referees en principe en principe anonymesanonymes• Arbitrage parArbitrage par l’l’Editor in ChiefEditor in Chief• 1 (rarement 2) « navettes »1 (rarement 2) « navettes » Voir les Recommandations aux Voir les Recommandations aux AuteursAuteursExemple de la Charte de Exemple de la Charte de l’American Chemical Societyl’American Chemical Society

L’évaluation qualitative L’évaluation qualitative coopérativecoopérative

L’évaluation qualitative L’évaluation qualitative coopérativecoopérative

arXiv arXiv

CiteseerCiteseer

F1000F1000

arXiv arXiv

CiteseerCiteseer

F1000F1000

Citeseer – Commentaire en ligneCiteseer – Commentaire en ligne

Addition du CommentaireAddition du Commentaire

Evaluation a priori partagée - Modèle de Rodriguez

The convergence of digital libraries and the peer-review process [2006]

Evaluation a priori partagée - Modèle de Rodriguez

The convergence of digital libraries and the peer-review process [2006]

Faculty of 1000 (1)Faculty of 1000 (1)

 

"Recommended""Recommended" Recommended reading for a section (i.e. of specialist interest) (F1000 Biology rating of 3)

 

"Must read" Must read for more than one subject/section (i.e. of general interest) (F1000 Biology rating of 6),

 

"Exceptional" A landmark paper representing the top 1% of publications (F1000 Biology rating of 9).

            Recommended

F1000 Factor 3.1

Must Read

F1000 Factor 6.2

  Exceptional

F1000 Factor 10.7

Fac of 1000 (2)Fac of 1000 (2)Fac of 1000 (2)Fac of 1000 (2)

• F1000 Factor =F1000 Factor = Moyenne des 2 scores les plus élevés + (Somme de tous les Scores/30)

• Exemple: 3 examinateurs, 2 Exemple: 3 examinateurs, 2

attribuent la mentionattribuent la mention Must Read, le , le 3è d3è déécerne l’Exceptionalcerne l’Exceptional => on a on a un F1000 Factor deun F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2

• Ceci correspond Ceci correspond àà un "Exceptional" un "Exceptional" rating badge.rating badge.

• F1000 Factor =F1000 Factor = Moyenne des 2 scores les plus élevés + (Somme de tous les Scores/30)

• Exemple: 3 examinateurs, 2 Exemple: 3 examinateurs, 2

attribuent la mentionattribuent la mention Must Read, le , le 3è d3è déécerne l’Exceptionalcerne l’Exceptional => on a on a un F1000 Factor deun F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2

• Ceci correspond Ceci correspond àà un "Exceptional" un "Exceptional" rating badge.rating badge.

F1000 – Les « perles F1000 – Les « perles cachées »cachées »F1000 – Les « perles F1000 – Les « perles cachées »cachées »• Signalement périodique

d’articles issus de revues « prestigieuses » à faible impact : Hidden Jewels

• Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »

• Signalement périodique d’articles issus de revues « prestigieuses » à faible impact : Hidden Jewels

• Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »

Citation et Accès libreCitation et Accès libre

• Les articles en accès libre sur Les articles en accès libre sur le Web sont cités de 2,5 à 7 le Web sont cités de 2,5 à 7 fois plus que les autresfois plus que les autres

• La philosophie de l’accès libre La philosophie de l’accès libre n’a pas la citation pour objectif n’a pas la citation pour objectif principal mais de fait, il la principal mais de fait, il la facilitefacilite

• Les articles en accès libre sur Les articles en accès libre sur le Web sont cités de 2,5 à 7 le Web sont cités de 2,5 à 7 fois plus que les autresfois plus que les autres

• La philosophie de l’accès libre La philosophie de l’accès libre n’a pas la citation pour objectif n’a pas la citation pour objectif principal mais de fait, il la principal mais de fait, il la facilitefacilite

Pour conclurePour conclure

• La citation: un problème déontologique ?

• Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ?

• Importance d’un travail coopératif sur les alternatives

• La citation: un problème déontologique ?

• Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ?

• Importance d’un travail coopératif sur les alternatives

Sources Sources (1)(1)Sources Sources (1)(1)

Lefèbvre, Muriel (Urfist Toulouse) Vers une remise en question des

modalités traditionnelles d'évaluation des savoirs scientifiques ? (13/04/2006)

http://archivesic.ccsd.cnrs.fr/sic_00112197

Lefèbvre, Muriel (Urfist Toulouse) Vers une remise en question des

modalités traditionnelles d'évaluation des savoirs scientifiques ? (13/04/2006)

http://archivesic.ccsd.cnrs.fr/sic_00112197

Sources (2)Sources (2)Sources (2)Sources (2)

• http://isiwebofknowledge.com/• http:// arxiv.org • http://citebase.org • http://citeseer.ist.psu.edu • http://scholar.google.com • http://www.f1000biology.com/

home/

• http://isiwebofknowledge.com/• http:// arxiv.org • http://citebase.org • http://citeseer.ist.psu.edu • http://scholar.google.com • http://www.f1000biology.com/

home/

Sources Sources (3)(3)Sources Sources (3)(3)

• Hirsch, Jorge E.: Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 PNAS, Nov. 15, 2005, 102 (46) 16569-16572(46) 16569-16572www.pnas.org/cgi/doi/10.1073/pnas.0507655102

• Rodriguez, Marko A.; Bollen, Johan; Van de Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status.Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030v1.pdf

• Les mêmesLes mêmes:: The convergence of digital The convergence of digital libraries and the peer-review process 2006libraries and the peer-review process 2006

http://arxiv.org/ftp/cs/papers/0504/0504084.pdf

• Hirsch, Jorge E.: Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 PNAS, Nov. 15, 2005, 102 (46) 16569-16572(46) 16569-16572www.pnas.org/cgi/doi/10.1073/pnas.0507655102

• Rodriguez, Marko A.; Bollen, Johan; Van de Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status.Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030v1.pdf

• Les mêmesLes mêmes:: The convergence of digital The convergence of digital libraries and the peer-review process 2006libraries and the peer-review process 2006

http://arxiv.org/ftp/cs/papers/0504/0504084.pdf