Les classements des universités Ghislaine Filliatreau, OST, JRC, EHESS, 15 mai 2008.

Les classements des universités

Ghislaine Filliatreau, OST,

JRC, EHESS, 15 mai 2008

15-5-08 GhFilliatreau-JRC 2

• Caractéristiques et propriétés • Exemples de classements internationaux • Effets directs et indirects

• Usages


1870 : la Commission du département à l’éducation américain publie les premières statistiques systématiques sur les universités américaines

1910 James Catell établi les premières statistiques sur « l’élite des chercheurs » et se sert des données obtenues sur les chercheurs d’excellence pour classer les établissements (étudiants/professeurs/ratios ...)

1925 Raymond Hughes (American Council of Education) classe les établissements d’après leur score dans une enquête de réputation

1957 le Chicago Tribune publie six rankings annuels .... 1983 : lancement du classement de l’U.S. News & World Report (nbrx classements dans le

domaine de la santé )2002 :une réunion internationale sur les classements, à Varsovie, répertorie 20 registres de

résultats (classements nationaux, trans-nationaux ou internationaux, thématiques ou globaux) 2003 : Academic Ranking of World Universities - ARWU de l’IHE - Université Jiao Tong de

Shanghai, sur demande du gouvernement. A l’époque, il existe en Chine une vingtaine de classements nationaux orientés « étudiants »

2004 : classement international du Times Higher Education Supplement,

Création en 2004 du Groupe international d’experts en classements (International Rankings Expert Group - IREG), qui s’est réuni à Berlin en 2006 et à Shangai en 2007.Création d’un observatoire international par les producteurs de classements.

Une histoire déjà longue

Exemples de classements pour usager

Auteur -------------------Asiaweek*

CHE/Stern

Good Guides

The Guardian

Maclean’s

Melbourne Institute

Perspektyw

U.S. News

Titre ------------------------------------------------------------Les meilleures universités d’Asie

Les classements universitaires du CHE

Le guide des bonnes universitésdu CHE

Le guide des universités

Le classement des universités

Classement des universités canadiennes

Le classement des universités

Le guide des bonnes universités

Les meilleurs collèges des États-unis

Pays/Région --------------------Asie

Allemagne

Royaume-Uni

Canada

Australie

Pologne

Etats-Unis

But poursuivi ---------------------------------Honorer l’excellence

Identifier les meilleures universités

Aider les diplômés de lycée à choisir où étudier

Choix des lycéens

Choix des lycéens

Choix des lycéens

Classement des universités australiennes

Choix des lycéens

Choix des lycéens

Source :Volume XXX Numéro 2 Juillet 2005 : Nina Van Dyke, « Vingt ans de registres de résultats universitaires“ p.9

Classements internationaux

-Shanghai Jiao Tong University

- Times Higher Education Supplement (THES)

- Classement du CHE

- Classement de Leiden

- Nombreux classements thématiques

Source :Volume XXX Numéro 2 Juillet 2005 : Nina Van Dyke, « Vingt ans de registres de résultats universitaires“ p.9


« Ranking » : palmarès annuel appliqué à un ensemble d’établissements supposés comparables, Deux catégories : au service de l’usager (dévoilement) ou du décideur/prescripteur (pilotage) avec

des données et des indicateurs différents (étroit/large)

Etabli par « une équipe indépendante » (notion de jugement extérieur, de désanctuarisation, éviter le « old boy network »)

Principes généraux (opérations de base) : collecte de données pour la mesure (bases, enquêtes ad hoc), chaque mesure est transformée en score (base 100) plusieurs scores sont pondérés et combinés pour calculer un indice unique le nombre d’indices utilisés varie de 1 à 15, pour établir une ou plusieurs listes, qui

« objectivent » la qualité de l’établissement.

Les classements (« palmarès »)


Source: Les auteurs et <http://ed.sjtu.edu.cn/ranking.htm>.

La distribution des scores


L’Academic Ranking of World Class Universities de l’université Jiao Tong :

-produit par une structure universitaire par un pays lointain (« neutralité ») -indices soigneusement calculés – mais données biaisées -travail sur la base WoS (SCI expanded et SSCI) de Thomson Scientific : hiérarchie internationale strictement basée sur l’activité de recherche-méthode mise au point par défaut (données d’inputs trop variables)-à l’origine, destiné à un usage national : évaluer la notoriété recherche des établissements chinois sur la scène internationale, -en Europe, perçu comme preuve de l’existence d’un « marché international » d’étudiants de haut niveau, mobiles. -deux usages dérivés nouveaux liés à l’exercice lui-même : utilisation pour caractériser les systèmes nationaux (France : « la taille est une qualité ») et classer les pays (prestige de la France lié à la place de ses établissements)


Paramètre Indicateurs Pondération

Qualité de la formation

1. Nombre d’anciens étudiants ayant remporté un Prix Nobel ou le prestigieux prix de mathématiques Fields Medal in Mathematic entre 1911 et 2005.

10 %

Qualité du personnel

2. Nombre de chercheurs ayant remporté un Prix Nobel de physique, de chimie, de médecine ou d’économie et/ou le prestigieux prix de mathématiques Fields Medal in Mathematic entre 1911 et 2005.

20 %

3. Nombre de chercheurs les plus cités entre 1981 et 1999 dans 21 catégories réparties dans les disciplines des sciences du vivant, de la médecine, de la physique, des sciences de l’ingénieur et des sciences sociales.

20 %

Output de la recherche

4. Nombre d’articles publiés dans Nature et Science entre 2001 et 2005 (N&S). 20 %

5. Nombre d’articles répertoriés dans le Web of Science (SCI Expanded & SSCI Expanded) en 2005 et dans les index Social Science Citation Index et Arts & Humanities Citation Index.

20 %

Grandeur des institutions

6. Nombre total de points aux indicateurs 1 à 5 divisé par les effectifs du personnel scientifique de l’université concernée (équivalents plein-temps). En l’absence de données relatives au personnel académique, c’est le total de points des indicateurs 1 à 5 qui est retenu.

10 %

Les indicateurs du Shanghai Ranking 2007 et leur pondération

Source : http://www.universityrankings.ch/fr/methodology/shanghai_jiao_tong

http://www.universityrankings.ch/fr/methodology/shanghai_jiao_tong


Direct correlation among indicators correlation total score Alumni Award HiCi N&S SCI Size

total score 1.00

Alumni 0.80 1.00

Award 0.84 0.76 1.00

HiCi 0.90 0.60 0.65 1.00

N&S 0.93 0.67 0.70 0.86 1.00

SCI 0.81 0.55 0.50 0.68 0.74 1.00

Size 0.83 0.68 0.73 0.70 0.77 0.56 1.00

Sources: Liu, N.C., Cheng, Y.; <http://ed.sjtu.edu.cn/ranking.htm>.

-« les résultats confirment ce qu’on pensait »-« les données convergent » : ici, corrélation par la taille et la durée


• Le THES ranking : palmarès des 200 premières universités mondiales

• Produit par TSL Education Ltd of London, une filiale de l’éditeur du Times

• notoriété : apprécier le prestige auprès des professionnels (« insiders »). Démocratisation et réassurance sur le capital social.


Source : http://www.universityrankings.ch/fr/methodology/times_higher_education

Domaine Indicateur Pondération

2005 - 2007

Réputation internationale des universités

1. Evaluation par les pairs: 5 101 chercheurs de réputation internationale notent les universités par domaines de recherche.

40 %

Réputation internationale des universités parmi les DRH

(2) Enquête mondiale auprès de 1 471 chefs du personnel d’entreprises internationales désignant les 20 universités avec les meilleurs diplômés.

10 %

Performance internationale de recherche (impact)

2. Taux de citation par membre des facultés selon la Thomson Scientific Database (2004-2006) ou Scopus(2007).

20 %

Place de l’enseignement dans les cursus académiques

3. Conditions d’encadrement des étudiants. 20 %

Orientation internationale et attractivité

4. Nombre d’étudiants étrangers. 5 %

Orientation internationale et attractivité

5. Nombre de collaborateurs étrangers dans les facultés. 5 %

Le THES ranking


Classement de Leiden

Source : http://www.universityrankings.ch/fr/methodology/leiden

Le centre d’études sur les sciences et les technologies (CWTS) de l’université de Leiden développe un nouveau ranking basé uniquement sur des indicateurs bibliométriques, sur financement de la CE

Le CWTS présente les résultats pour les 100 universités européennes qui ont le plus grand nombre de publications scientifiques. Ce ranking propose quatre indicateurs différents, chacun donnant un classement différent selon : - le plus grand nombre de publications - le nombre de citations par publication - le nombre total de publications multiplié par l'impact relatif selon le domaine -le nombre de citations par publication divisé par l’impact moyen selon le domaine.

Deux caractéristiques 1) purement bibliométriques – base Thomson 2) reconnaissance automatique des établissements


DECISION MODEL

students study outcome internationa-

lisation

study & teaching resources research

employability

overall assessment (students, professors)

city & university

usage 1 : http://www.che.de/cms/?getObject=2&getName=CHE-Ranking&getLang=de

Classement du CHE

Le CHE

2) Visée européenne pour usage d’objectiver une élite : une présélection des établissements d’enseignement supérieur s’opère au moyens de quatre indicateurs mesurant les « prestations de recherche » au niveau des « facultés » ou des départements (a) nombre de publications dans des revues internationales, b) citations relatives au standard international, c) nombre des auteurs les plus cités et des prix Nobel de l’université, d) le nombre de projets soutenus dans le cadre du programme de promotion de recherches Marie Curie de l’Union européenne (UE). Ces "facultés" ou départements reçoivent des médailles de bronze, d’argent ou d’or. Les " facultés " ayant obtenu une médaille d’argent ou d’or font partie du "groupe de tête". Au moins trois médailles d’argent attribuées fait rejoindre le "groupe d’excellence".

Résultats :A) Médailles : Allemagne et Royaume-Uni : 283 (or : respectivement 64 et 111)France : 112 (31); Italie : 98 (20); Pays-Bas : 90 (27); Suisse : 67 (30); Suède : 62 (19)B) Excellence group : 66 HEI, qui ont obtenu pour un département au moins une médaille d’argent dans au moins 3 des indicateurs. Allemagne : 16, Royaume-Uni : 14, Pays-Bas : 7, France, Italie, Suède : 5, Suisse : 4, Belgique : 3, Espagne : 2, Autriche, Danemark, Finlande, Norvège : 1Des informations complémentaires ont été obtenues directement auprès des Présidences, et des étudiants, d’un certain nombre de HEI représentatifs. Mais pas assez de précision sur la méthodologie.

http://www.excellenceranking.org/eusid/EUSID


• IREG : « Rankings are here to stay »

• La méthode du ranking a des effets directs : le score est transformé en un nouvel « indicateur », le rang, qui distribue les établissements sur une échelle linéaire (cf diapo 7).

• La différence de score, aussi insignifiante (au deux sens) soit-elle, est transformée en différence de rang, un chiffre décontextualisé qui a toujours un sens (« le résultat des courses » déchiffrable par tous ) : on a créé une nouvelle information, intuitive.

Deux manières d’analyser cet « outil informationnel »• - par ce qu’il contient (ie la pertinence des données sélectionnées par rapport aux usages

visés)• - par les effets qu’il a (effets liés aux résultats, et effets liés à l’exercice lui-même)

L’analyse des effets directs


• La taille de la « maille » est déterminante dans ces classements .• On mesure une position historique plutôt que celle des résultats actuels (avis d’experts,

prix Nobel, effet Matthieu, …)• Il induit une normalisation (concurrence) mais aussi des séparations (« les 100

premiers »)• l’émergence, la nouveauté, certaines disciplines, des politiques de niche et de risque, la

multidisciplinarité peuvent être pénalisées. • Le rang ne peut servir ni à l’évaluation ni au suivi de performance (qui supposent une

prise en compte de l’établissement et son environnement, de ses progrès et de leur analyse).

Les effets liés aux contraintes,


Quelques effets observés sur les établissements • a) uniformisation par concurrence : la concurrence n’est pas choisie, et il est très difficile de développer une stratégie « dissidente » • b) prophétie auto-réalisatrices et « effet Matthieu » classiques, renforcés par le fait qu’il n’y a pas besoin de savoir expert pour « comprendre ce que signifie un rang » • c) neutralisation des opérations sous-jacentes pour deux raisons :• - le lien entre le rang obtenu et les mesures primaires est très indirect • - certaines opérations de départ sont peu explicites, notamment

– pourquoi le choix des mesures (ce qu’on dénombre, souvent dû aux contraintes) et pas – la construction d’un « espace d’équivalence » entre établissements, autoréférence « l’espace existe puisqu’on a une mesure commune » – les notions contextuelles pas mesurables ou pas mesurées

la contrainte majeure, qui est celle de la comparabilité, est largement minimisée

on compare pommes et poires : tout le monde essaie de devenir une poire


On peut utiliser les classements : au niveau national, pour organiser certaines phases de pilotage du

système dans son ensemble mécanisme type « accréditation qualité », benchmark justifiant des décisions politiques de différenciation, outil de pression de parties prenantes « extérieures », orientation efficace du

système.

au niveau européen, pour rendre plus visible certaines valeurs « prouver » l’espace européen de la recherche au niveau international imposer les spécificités européennes (diversité, sites, mixités et

superpositions, réseaux transnationaux....)

Conclusion


Annexe sur les résultats français


• 2006• 1 45 Paris University VI• 2 64 Paris University XI• 3 96 Strasbourg I University• 4 99 École Normale Sup. Paris• 5 102-150 Paris University VII• 6 151-200 Grenoble I University• 7 201-300 École Polytechnique• 8 201-300 Lyon I University• 9 201-300 Méditerranee University• 10 201-300 Montpellier II University• 11 201-300 Paris University V• 12 201-300 Toulouse III University• 13 301-400 Bordeaux I University• 14 301-400 École Nat. Sup. Mines Paris• 15 301-400 École Sup. Phys. & Chem Industry• 16 301-400 Nancy I University• 17 301-400 Paris University IX• 18 401-500 Aix Marseille I University• 19 401-500 Bordeaux II University• 20 401-500 École Normale Supérieure Lyon• 21 401-500 Nice University

• 2007• 1 39 Paris University VI • 2 52 Paris University XI • 3 83 École Normale Sup. Paris • 4 99 Strasbourg I University • 5 102-150 Paris University VII • 6 151-202 Grenoble I University • 7 151-202 Paris University V • 8 203-304 Ecole Polytechnique • 9 203-304 Lyon I University • 10 203-304 Méditerranee University • 11 203-304 Montpellier II University • 12 203-304 Toulouse III University • 13 305-401 Aix Marseille I University • 14 305-401 Bordeaux I University • 15 305-401 École Nat. Sup. Mines Paris • 16 305-401 Nancy I University • 17 305-401 Paris University IX • 18 402-508 Bordeaux II University • 19 402-508 École Normale Supérieure Lyon • 20 402-508 Lille I University • 21 402-508 Nice University • 22 402-508 Rennes I University

Les établissements français dans le classement de SHANGHAI

Source : http://www.universityrankings.ch/fr/results/results_main_rankings


Les établissements français dans le classement du TIMES (THES)

2007

1 26 École Normale Supérieure, Paris 2 28 École Polytechnique 3 132 Université Pierre et Marie Curie, Paris VI 4 157 École Normale Supérieure de Lyon 5 184 Université Louis Pasteur, Strasbourg I

2006

1 18 École Normale Supérieure de Paris 2 37 École Polytechnique 3 52 Sciences Po 4 72 École Normale Supérieure de Lyon 5 93 Pierre et Marie Curie University 6 161 Louis Pasteur Strasbourg University 7 200 Paris Université -Sorbonne (Paris University IV)



• 2007 (Uniquement)

• 1 52 Paris University XI Sud 2 55 Grenoble I Joseph Fourier University 3 59 Paris University V Rene Descartes 4 64 Paris University VI Pierre & Marie Curie 5 67 Paris University VII Denis Diderot 6 86 Lyon I Claude Bernard University 7 87 Toulouse III University

Les établissements français dans le classement de LEIDEN Bibliométrie



Table 14: Distribution of excellence group placements across universities

University

Number ofsubjects in the

excellence group

Subjects in the excellence group

Biology Chemistry Mathematics Physics

Université Paris-Sud 11 2 X X

Université de Rennes 1 1 X

Université Louis Pasteur Strasbourg 1 X

Université Paris 7 - Denis Diderot 1 X

Université Pierre et Marie Curie 1 X

Les établissements français dans le classement du CHE

Source : Working paper No. 99 December 2007 :Source : Working paper No. 99 December 2007 : "Identifying the Best : The CHE Ranking of Excellent European Graduate Programmes in the Natural Sciences and Mathematics“, p.36


• www.obs-ost.fr

Les classements des universités Ghislaine Filliatreau, OST, JRC, EHESS, 15 mai 2008.

Documents

Transcript of Les classements des universités Ghislaine Filliatreau, OST, JRC, EHESS, 15 mai 2008.