14 Avril 2009
description
Transcript of 14 Avril 2009
2
• L’évaluation des unités de recherche • Différents outputs de cette évaluation• Quelques réflexions sur les innovations
introduites par l’AERES
3
Organisation à 4 niveaux• Pilotage: HCST (Prés.), DGRI (Min.)• Financement (ANR (2005), CNRS,
INSERM,…)• Implémentation (Univ.(LRU (2007),
CNRS,…?)• Evaluation (AERES (2006))
4
Evaluation
• La réforme induit un changement des pratiques d’évaluation . Une agence indépendante et transparente d’évaluation pour atteindre les standards internationaux et améliorer l’efficacité du système (p-f-i-e).
• L’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur) est créée en 2007 pour atteindre cet objectif.
5
Le « système français »
• Un paysage hétérogène:– Universités, Grandes Ecoles et Organismes de Recherche
(une multitude) avec une très grand variété de pratique.– Des chercheurs temps plein et des enseignants-chercheurs
à l’investissement très variable.
• Un paysage en évolution: – Libertés et Responsabilités des Universités LRU (2007), – Création d’ Agences de financement (ANR (2005)), et
d’évaluation indépendantes(AERES 2006)), – Evolution des institutions (CNRS, INSERM) opérateurs et:ou
agences de financement, – « Grandes Ecoles » développent une activité de recherche.
6
Les 4 missions de l’AERES
AERES a reçu 4 missions– Évaluer les organismes de recherche (INSERM,
CEA, CNRS...) et les universités en prenant en compte toutes leurs missions et leurs activités.
– Évaluer l’activité de recherche des laboratoires et unités de ces institutions
– Évaluer les formations du système d’enseignement supérieur français (LMD)
– Valider les processus d’évaluation du personnel scientifique de ces institutions.
7
Do and don’t• AERES évalue et NE décide PAS
Accréditation et financement reviennent aux Universités, Organismes, Etat,…
• AERES évalue la recherche ET la formation : Les sections Recherche et FORMATION travaillent de concert. 70% des délégués scientifiques sont communs aux deux sections:
• Fertilisation croisée• Master et doctorat sont liés aux groupes de recherche• L’évaluation des universités (tâche 3) requiert de connaître celle des
recherches et formations (tâches 1 et 2). • AERES N’évalue PAS les individus
Des représentants des instances d’évaluation des Ch. et EC sont intégrés à différents niveaux de l’AERES :
• Conseil de l’AERES• Comités d’experts visitant les laboratoires
8
Les 3 sections• Section 1 (Institutions)
– Évalue les universités et organismes de recherche, – Valide les processus d’évaluation du personnel
scientifique des ces institutions
• Section 2 (Unités de recherche) évalue les unités de recherche (5-500) ET les équipes(3-10) de ces institutions par– Évaluation directe, – ou accord avec ces institutions si leurs processus sont validés.
• Section 3 (Formation)évalue licence, master et doctorat par– Évaluation directe, – ou accord avec les institutions si leurs processus sont validés.
12
Evaluation des unités de recherche
• Objet: évaluation de toutes les unités de recherche fonctionnant sur fonds publics – 600 unités de recherche en 2008 (700 en 2009) par
3200 experts (peer review)– 32 universités et agences (62 in 2009)– 2000 formations en 2008 par 700 experts.
• Couvrant TOUS les organismes de recherche sur fonds publics, y compris les universités privées, la recherche culturelle ou architecturale et peut être, la recherche clinique … en utilisant une méthodologie et un référentiel homogène.
13
Quelques principes• Quoi?
– Une évaluation orientée vers l’amélioration de la structure évaluée, dans une logique de site.
– associant quantitatif (signaux d’alerte) et qualitatif (impact, importance, prise de risque,…).
• Qui?– une évaluation basée sur l’appréciation par les pairs.– des délégués scientifiques à temps partiel (1 à 3 j./sem.) et
ne restant pas plus de trois ans à l’AERES.
– des visites par une large base d’experts (3200) nationaux et internationaux (2007: 20%, objectif 2010 : 50%)
15
Processus d’évaluation des Unités de recherche
4 étapes :
Output: un rapport détaillé, 4 notes + 1 note globale
Chacune est divisée en 5-6 sousprocessus
16
Rédaction du rapport
Rédaction =report production
Le « retour » de l’unité évaluée est intégré ici
Le rapport est- préparé par le président du comité d’experts- vérifié par le Délégué Scientifique de l’AERES (test de qualité)- envoyé aux entités évaluées et à la tutelle principale pour observations - intégré à la base de données en attente de la « fourniture finale » (= report + observations + marks)
17
Le rapport • Le rapport doit
– fournir un regard critique et non descriptif,– détailler l’évaluation de chaque équipe de
recherche de l’unité,– spécifier les Forces, Faiblesses et formuler
des Recommandations.
• Les observations formulées par l’unité de recherche et sa tutelle sont ajoutées à la revue par les pairs.
• Le rapport et les observations sont publiés sur le Web.
18
Notation des équipes et unités de recherche (1)
• Une approche délibérément anti-algorithmique.
• Basée sur une grille en 15 points.
• Combine données quantitatives et qualitatives.
• Met l’accent sur les résultats marquants plus que sur les valeurs moyennes.
19
Notation des équipes et unités de recherche
(2)• Quatre items:
– Production (Qualité, quantité, impact)– Attractivité (nationale, internationale,..)– Stratégie, pilotage– Projet
• Plus une note globale donnée par l’ AERES
• Chaque note est sur 4 niveaux: A+, A, B et C
20
Notation des équipes et unités de recherche (3)
• La notation n’est pas proposée par le comité d’experts (inhomogénéité, effet avocat…).
• Mais par des panels regroupant env. 10 présidents de comité d’experts et des délégués de l’AERES.
• Les panels suivent à peu près le découpage de l’ERC* .
* European Research Council
22
Post traitement• Les utilisations internes aux
établissements et universités et établissements.– Une pratique très diversifiée– mais prenant en compte les évaluations de
l’AERES,– et probablement évolutive.
• Les synthèses d’information AERES
23
Synthèses AERES• Etape 1: Synthèse par champ scientifique
sur un site donné (Jan-Mar), faite par les DS à la fin d’une « mini-vague ».
• Etape 2: Synthèse de site (Jan-Mar) à destination de la section des Etablissements faite par un DS en collaboration avec les autres DS du même domaine, en amont du processus d’évaluation de l’établissement.
• Etape 3: Synthèse par champ thématique sur une vague donnée (Juil-Sept) faite par les DS d’un champ scientifique donné (env. un panel de l’ERC) à la fin d’une vague donnée.
25
• Données globales concernant la vague C: – Unités par domaine (ScD, SHS, équipes en SdV)– Effectifs par domaine
• Répartition des effectifs par établissement et par grand domaine (SHS, ScD, SdV)
• Quelques exemples de répartition dans un domaine thématique : Géo-Aménagement, Eco-gestion, Maths & Appl., Physique
• Analyse géographique comparée : Alsace et Lorraine
26
effectifs pourcentages
Secteur AERES Domaine scientifique C B A A+ Totaux C B A A+
Sciences Dures Math. Appl. 64 155 592 811 7,9% 19,1% 73,0% 100%
Physique 41 562 449 1052 3,9% 53,4% 42,7% 100%
Sc. Terre Univ. 58 472 364 894 6,5% 52,8% 40,7% 100%
Chimie 17 294 525 217 1053 1,6% 27,9% 49,9% 20,6% 100%
Sc. Ing. 88 248 346 286 968 9,1% 25,6% 35,7% 29,5% 100%
STIC 48 190 964 297 1499 3,2% 12,7% 64,3% 19,8% 100%
Total ScD 153 895 3024 2205 6277 2,4% 14,3% 48,2% 35,1% 100%
Sciences de la Vie
LS1 : Bio. Mol., Bio. Str.,Bioch. 30 168 295 138 631 4,8% 26,6% 46,8% 21,9% 100%
LS2 : Génét., Génom., Bioinf, Bio systèmes 10 10 8 28 35,7% 35,7% 28,6% 100%
LS3 : Bio cell., Bio.dévelop. 48 98 132 75 353 13,6% 27,8% 37,4% 21,2% 100%
LS4 :Physio., Physiopatho., Endocrino.
29 239 312 45 625 4,6% 38,2% 49,9% 7,2% 100%
LS5 Neurosc. 31 157 183 69 440 7,0% 35,7% 41,6% 15,7% 100%
LS6 Immuno, Infectio. 37 150 280 124 591 6,3% 25,4% 47,4% 21,0% 100%
LS7 :Rech.Clin, Santé publique 12 97 102 45 256 4,7% 37,9% 39,8% 17,6% 100%
LS8 : Evol., Eco., Bio.Envir. 6 85 191 87 369 1,6% 23,0% 51,8% 23,6% 100%
LS9 : Sc. Tech. viv., Biotechno. 8 53 62 123 6,5% 43,1% 50,4% 100%
Total SdV 201 1057 1567 591 3416 5,9% 30,9% 45,9% 17,3% 100%
S H S Anthropo., Ethno. 31 120 151 20,5% 79,5% 100%
Arts, Lett. , Lang. Soc. Cult. Etr. 38 191 342 172 743 5,1% 25,7% 46,0% 23,1% 100%
Droit 14 299 227 160 700 2,0% 42,7% 32,4% 22,9% 100%
Eco gestion 199 226 53 198 676 29,4% 33,4% 7,8% 29,3% 100%
Géo, Aménag., Urbanisme 33 156 121 310 10,6% 50,3% 39,0% 100%
Histoire 20 196 254 44 514 3,9% 38,1% 49,4% 8,6% 100%
Info. Comm. 9 47 100 61 217 4,1% 21,7% 46,1% 28,1% 100%
Lang.Litt.Franç, Philo 14 278 188 198 678 2,1% 41,0% 27,7% 29,2% 100%
Psycho 61 111 65 237 25,7% 46,8% 27,4% 100%
Sc. Pol., Socio. 52 187 123 110 472 11,0% 39,6% 26,1% 23,3% 100%
Sc. Educ. 133 133 ###### 100%
Sc. langage 18 199 90 78 385 4,7% 51,7% 23,4% 20,3% 100%
STAPS 3 36 39 7,7% 92,3% 100%
Total SHS 461 2054 1719 1021 5255 8,8% 39,1% 32,7% 19,4% 100%
27
effectifs pourcentages
Secteur AERES Domaine scientifique C B A A+ Totaux C B A A+
Sciences de la Vie
LS1 : Bio. Mol., Bio. Str.,Bioch. 30 168 295 138 631 4,8% 26,6% 46,8% 21,9% 100%
LS2 : Génét., Génom., Bioinf, Bio systèmes 10 10 8 28 35,7% 35,7% 28,6% 100%
LS3 : Bio cell., Bio.dévelop. 48 98 132 75 353 13,6% 27,8% 37,4% 21,2% 100%
LS4 :Physio., Physiopatho., Endocrino.
29 239 312 45 625 4,6% 38,2% 49,9% 7,2% 100%
LS5 Neurosc. 31 157 183 69 440 7,0% 35,7% 41,6% 15,7% 100%
LS6 Immuno, Infectio. 37 150 280 124 591 6,3% 25,4% 47,4% 21,0% 100%
LS7 :Rech.Clin, Santé publique 12 97 102 45 256 4,7% 37,9% 39,8% 17,6% 100%
LS8 : Evol., Eco., Bio.Envir. 6 85 191 87 369 1,6% 23,0% 51,8% 23,6% 100%
LS9 : Sc. Tech. viv., Biotechno. 8 53 62 123 6,5% 43,1% 50,4% 100%
Total SdV 201 1057 1567 591 3416 5,9% 30,9% 45,9% 17,3% 100%
S H S Anthropo., Ethno. 31 120 151 20,5% 79,5% 100%
Arts, Lett. , Lang. Soc. Cult. Etr. 38 191 342 172 743 5,1% 25,7% 46,0% 23,1% 100%
Droit 14 299 227 160 700 2,0% 42,7% 32,4% 22,9% 100%
Eco gestion 199 226 53 198 676 29,4% 33,4% 7,8% 29,3% 100%
Géo, Aménag., Urbanisme 33 156 121 310 10,6% 50,3% 39,0% 100%
Histoire 20 196 254 44 514 3,9% 38,1% 49,4% 8,6% 100%
Info. Comm. 9 47 100 61 217 4,1% 21,7% 46,1% 28,1% 100%
Lang.Litt.Franç, Philo 14 278 188 198 678 2,1% 41,0% 27,7% 29,2% 100%
Psycho 61 111 65 237 25,7% 46,8% 27,4% 100%
Sc. Pol., Socio. 52 187 123 110 472 11,0% 39,6% 26,1% 23,3% 100%
Sc. Educ. 133 133 ###### 100%
Sc. langage 18 199 90 78 385 4,7% 51,7% 23,4% 20,3% 100%
STAPS 3 36 39 7,7% 92,3% 100%
Total SHS 461 2054 1719 1021 5255 8,8% 39,1% 32,7% 19,4% 100%
29
Données globales :histogramme effectifs
Vague C 2009 - Effectifs par domaine
592
449364
217286
297
138
8
75
45
69
124
4587
172160 19844
61
198
11078
0
200
400
600
800
1000
1200
1400
1600
Mat
hém
atiq
ues
et a
pplic
atio
ns
Phys
ique
Scie
nces
de
la te
rre
et d
e l'u
nive
rs
Chi
mie
Scie
nces
pou
r l'in
géni
eur
STIC
LS1
: Bio
logi
e m
oléc
ulai
re, B
iolo
gie
stru
ctur
ale,
Bi
ochi
me
LS2
: Gén
étiq
ue, G
énom
ique
, Bio
info
rmat
ique
, Bi
olog
ie d
es s
ystè
mes
LS3
: Bio
logi
e ce
llula
ire, B
iolo
gie
du d
ével
oppe
men
t
LS4
: Phy
siol
ogie
, Phy
siop
atho
logi
e, E
ndoc
rinol
ogie
LS5
: Neu
rosc
ienc
es
LS6
: Im
mun
olog
ie, I
nfec
tiolo
gie
LS7
: Rec
herc
he c
liniq
ue, S
anté
pub
lique
LS8
: Evo
lutio
n, E
colo
gie,
Bi
olog
ie d
e l'e
nviro
nnem
ent
LS9
: Sci
ence
s et
tech
nolo
gies
du
viva
nt,
Biot
echn
olog
ie
Anth
ropo
logi
e, E
thno
logi
eAr
ts, L
ettre
s, L
angu
es
et S
ocié
tés
des
Cul
ture
s Et
rang
ères
Dro
it
Econ
omie
et g
estio
n
Géo
grap
hie,
Am
énag
emen
t, U
rban
ism
e
His
toire
Info
rmat
ion
et c
omm
unic
atio
nLa
ngue
et l
ittér
atur
e fra
nçai
ses,
Ph
iloso
phie
Psyc
holo
gie
Scie
nce
Polit
ique
, Soc
iolo
gie
Scie
nces
de
l'édu
catio
n
Scie
nces
du
lang
age
STAP
S
Sciences Dures Sciences de la Vie Sciences Humaines et Sociales
Domaines scientifiques
Effe
ctifs
A+
AB
C
30
Vague C 2009 - Nombres d'unités ou équipes par domaine
912
5
129 4
37
3
278
1729
10
15
6
9
3 32
87
3
0
20
40
60
80
100
120
140
160
180
200
Mat
hém
atiq
ues
et a
pplic
atio
ns
Phys
ique
Scie
nces
de
la te
rre
et d
e l'u
nive
rs
Chi
mie
Scie
nces
pou
r l'in
géni
eur
STIC
LS1
: Bio
logi
e m
oléc
ulai
re, B
iolo
gie
stru
ctur
ale,
Bi
ochi
me
LS2
: Gén
étiq
ue, G
énom
ique
, Bio
info
rmat
ique
, Bi
olog
ie d
es s
ystè
mes
LS3
: Bio
logi
e ce
llula
ire, B
iolo
gie
du d
ével
oppe
men
t
LS4
: Phy
siol
ogie
, Phy
siop
atho
logi
e, E
ndoc
rinol
ogie
LS5
: Neu
rosc
ienc
es
LS6
: Im
mun
olog
ie, I
nfec
tiolo
gie
LS7
: Rec
herc
he c
liniq
ue, S
anté
pub
lique
LS8
: Evo
lutio
n, E
colo
gie,
Bi
olog
ie d
e l'e
nviro
nnem
ent
LS9
: Sci
ence
s et
tech
nolo
gies
du
viva
nt,
Biot
echn
olog
ie
Anth
ropo
logi
e, E
thno
logi
eAr
ts, L
ettre
s, L
angu
es
et S
ocié
tés
des
Cul
ture
s Et
rang
ères
Dro
it
Econ
omie
et g
estio
n
Géo
grap
hie,
Am
énag
emen
t, U
rban
ism
e
His
toire
Info
rmat
ion
et c
omm
unic
atio
nLa
ngue
et l
ittér
atur
e fra
nçai
ses,
Ph
iloso
phie
Psyc
holo
gie
Scie
nce
Politi
que,
Soc
iolo
gie
Scie
nces
de
l'édu
catio
n
Scie
nces
du
lang
age
STAP
S
Sciences Dures Sciences de la Vie Sciences Humaines et Sociales
Domaines scientifiques
Nom
bre
d'un
ités
ou é
quip
es
A+
A
B
C
Données globales : histogramme unités
31
Vague C 2009 - SHS - Répartition des effectifs
81
19
44 63104
7713
132
143
80
104
81
20
50 100
200
400
600
800
1000
1200
Etablissements
Effe
ctifs
A+
A
B
C
Répartition des effectifs par établissement
32
Répartition des effectifs par établissement
Vague C 2009 - ScD - Répartition des effectifs
217
30
161
510
367
48 12 83146
73 221
19374 12
58
0
200
400
600
800
1000
1200
1400
1600
Etablissements
Effe
ctifs
A+
A
B
C
33
Répartition des effectifs par établissement
Vague C 2009 - SdV - Répartition des effectifs
151
14
222
264
70
3 24
32
90
200
400
600
800
1000
1200
1400
Etablissements
Effe
ctifs
A+
A
B
C
34
Quelques exemples d’analyse par secteur thématique
Vague C 2009 - SHS - Géographie, Aménagement, Urbanisme
0
10
20
30
40
50
60
70
80
90
100
Etablissements
Effe
ctifs
A+
A
B
C
35
Quelques exemples d’analyse par secteur thématique
Vague C 2009 - SHS - Economie et gestion
81
80
37
0
20
40
60
80
100
120
140
160
Etablissements
Effe
ctifs
A+
A
B
C
36
Quelques exemples d’analyse par secteur thématique
Vague C 2009 - ScD - Mathématiques et applications
90
116
218
4873
47
0
50
100
150
200
250
300
Etablissements
Effe
ctifs
A+
A
B
C
37
Quelques exemples d’analyse par secteur thématique
Vague C 2009 - ScD - Physique
72
30
139
70
26
112
0
50
100
150
200
250
300
Etablissements
Effe
ctifs
A+
A
B
C
38
Quelques exemples d’analyse par secteur thématique
Vague C 2009 - ScD - Sciences pour l'ingénieur
135
23
48
10
12
58
0
50
100
150
200
250
Etablissements
Effe
ctifs
A+
A
B
C
Vague C 2009 - ScD - STIC
6836
193
0
50
100
150
200
250
300
350
EtablissementsEf
fect
ifs
A+
A
B
C
39
Comparaison de pôles géographiques (Lorraine-Alsace)
Vague C 2009 - Alsace - Effectifs par domaine
90
72
55
66
21
3
10
39
12
19
4481
0
50
100
150
200
250
300
350
Mat
hém
atiq
ues
et a
pplic
atio
ns
Phys
ique
Scie
nces
de
la te
rre
et d
e l'u
nive
rs
Chi
mie
Scie
nces
pou
r l'in
géni
eur
STIC
LS1
: Bio
logi
e m
oléc
ulai
re, B
iolo
gie
stru
ctur
ale,
Bi
ochi
me
LS2
: Gén
étiq
ue, G
énom
ique
, Bio
info
rmat
ique
, Bi
olog
ie d
es s
ystè
mes
LS3
: Bio
logi
e ce
llula
ire, B
iolo
gie
du d
ével
oppe
men
t
LS4
: Phy
siol
ogie
, Phy
siop
atho
logi
e, E
ndoc
rinol
ogie
LS5
: Neu
rosc
ienc
es
LS6
: Im
mun
olog
ie, I
nfec
tiolo
gie
LS7
: Rec
herc
he c
liniq
ue, S
anté
pub
lique
LS8
: Evo
lutio
n, E
colo
gie,
Bi
olog
ie d
e l'e
nviro
nnem
ent
LS9
: Sci
ence
s et
tech
nolo
gies
du
viva
nt,
Biot
echn
olog
ie
Anth
ropo
logi
e, E
thno
logi
eAr
ts, L
ettre
s, L
angu
es
et S
ocié
tés
des
Cul
ture
s Et
rang
ères
Dro
it
Econ
omie
et g
estio
n
Géo
grap
hie,
Am
énag
emen
t, U
rban
ism
e
His
toire
Info
rmat
ion
et c
omm
unic
atio
nLa
ngue
et l
ittér
atur
e fra
nçai
ses,
Ph
iloso
phie
Psyc
holo
gie
Scie
nce
Politi
que,
Soc
iolo
gie
Scie
nces
de
l'édu
catio
n
Scie
nces
du
lang
age
STAP
S
ScD SdV SHS
Domaines scientifiques
Effe
ctifs
A+
AB
C
Vague C 2009 - Lorraine - Effectifs par domaine
30
26
135
8
6
41
22
0
50
100
150
200
250
300
350
400
Mat
hém
atiq
ues
et a
pplic
atio
ns
Phys
ique
Scie
nces
de
la te
rre
et d
e l'u
nive
rs
Chi
mie
Scie
nces
pou
r l'in
géni
eur
STIC
LS1
: Bio
logi
e m
oléc
ulai
re, B
iolo
gie
stru
ctur
ale,
Bi
ochi
me
LS2
: Gén
étiq
ue, G
énom
ique
, Bio
info
rmat
ique
, Bi
olog
ie d
es s
ystè
mes
LS3
: Bio
logi
e ce
llula
ire, B
iolo
gie
du d
ével
oppe
men
t
LS4
: Phy
siol
ogie
, Phy
siop
atho
logi
e, E
ndoc
rinol
ogie
LS5
: Neu
rosc
ienc
es
LS6
: Im
mun
olog
ie, I
nfec
tiolo
gie
LS7
: Rec
herc
he c
liniq
ue, S
anté
pub
lique
LS8
: Evo
lutio
n, E
colo
gie,
Bi
olog
ie d
e l'e
nviro
nnem
ent
LS9
: Sci
ence
s et
tech
nolo
gies
du
viva
nt,
Biot
echn
olog
ie
Anth
ropo
logi
e, E
thno
logi
eAr
ts, L
ettr
es, L
angu
es
et S
ocié
tés
des
Cul
ture
s Et
rang
ères
Dro
it
Econ
omie
et g
estio
n
Géo
grap
hie,
Am
énag
emen
t, U
rban
ism
e
His
toire
Info
rmat
ion
et c
omm
unic
atio
nLa
ngue
et l
ittér
atur
e fra
nçai
ses,
Ph
iloso
phie
Psyc
holo
gie
Scie
nce
Politi
que,
Soc
iolo
gie
Scie
nces
de
l'édu
catio
n
Scie
nces
du
lang
age
STAP
S
ScD SdV SHS
Domaines scientifiques
Effe
ctifs
A+
A
B
C
40
Innovations AERES
• Transparence totale (rapports, procédures, statistiques, comités publiés)
• Observations associées au rapport• Toutes les unités sont évaluées quel que soit
leur statut; leur organisme• Evaluation intégrée (recherche,
enseignement, établissement)