Faculté de médecine CPASS -Évaluation
53
Faculté de médecine CPASS -Évaluation Déterminer la note de passage et qualifier la réussite dans des épreuves de certification Serge Normand, M.A. XVII e Journées universitaires de pédagogie des sciences de la santé CIDMEF Lille - 5-8 avril 2008
description
Faculté de médecine CPASS -Évaluation. Déterminer la note de passage et qualifier la réussite dans des épreuves de certification. Serge Normand, M.A. XVII e Journées universitaires de pédagogie des sciences de la santé CIDMEF Lille - 5-8 avril 2008. - PowerPoint PPT Presentation
Transcript of Faculté de médecine CPASS -Évaluation
Faculté de médecineCPASS -Évaluation
Déterminer la note de passage
et qualifier la réussite
dans des épreuves de certification
Serge Normand, M.A.
XVIIe Journées universitaires de pédagogie des sciences de la santé
CIDMEF
Lille - 5-8 avril 2008
Un peu de vocabulaire …
NotationAction d’attribuer un score ( chiffre ou pourcentage )ou une cote ( lettre ou symbole ) sur les apprentissages.
NoteValeur numérique qui traduit le résultat de la mesure ou de l’appréciation d’une performance.
CoteSymbole alphabétique ( A, B, C, D, E, F, …), numérique (1,2,3,4,5, …) ou autre qui traduit le résultat d’une performance.
ScoreNombre exprimant le résultat obtenu à un test, à un examen ou`à une production scolaire.
Note de passageSeuil de réussite appliqué à la totalité d’un instrument de mesure qui porte sur un large domaine et imposé à tous les répondants.
Legendre, R, Dictionnaire actuel de l’éducation, 2005
Nos échelles … Nos habitudes …
20
19
18
…
13
12
11
10
9
…
1
D’un coté de l’Atlantique
100
99
98
…
61
60
…
50
49
…
1
De l’autre côté
Comment déterminer une note de passage qui soit la
plus « juste » possible ?
Comment qualifier la réussite
dans une cohorte de candidats qui ont subi une épreuve d’évaluation des
apprentissage ?
Aborder des problématiquessouvent négligées
Épreuves écrites
1. Méthode EBEL2. Cote Z3. Approche Hofstee
Grilles d’observation
4. ECOS – Borderline Group
5. Échelles descriptives
Grilles d’observation
4. ECOS – Borderline Group
5. Échelles descriptives
Vulgariser quelques approchesrelativement faciles à implanter
Évaluer les apprentissages
Décider
Juger
Interpréter
Mesurer
Évaluer
ExamensTravauxObservationsetc.
Approche :- relative- absolue
Qualifier la réussiteNote de passage
Certification
Rappel
Évaluer les apprentissages
Décider
Juger
Interpréter
Mesurer
Évaluer
Approche :- relative- absolue
Interpréter les résultats
Approche
Relative Absolue
Compareravec d’autres
sujets
Compareravec descritères
Évaluationnormative
Évaluationcritériée
Évaluer les apprentissages
Décider
Juger
Interpréter
Mesurer
Évaluer
Qualifier la réussiteNote de passage
Un enjeux important:déterminer la note de passage
( Setting Performance Standards )
C o m p é t e n c e s
Niveauacceptable
How much is
enough ?
Combien faut-il pour
passer ?
Un enjeux important:déterminer la note de passage
( Setting Performance Standards )
Méthodes• Angoff• Nedelsky• Ebel• Hofstee• Contrasting Group• Borderline Group• Direct Borderline (2003)• Etc…
Candidatà la LIMITE« borderline
»
Candidatà la LIMITE« borderline
»
Déterminer la note de passage ( selon la méthode EBEL )
Université de Montréal Faculté de médecine Bureau d’évaluation
Diffi culté
Pertinence I mportance relative
Facile Moyenne Diffi cile
+ + + + (80%)
(70%)
(60%)
+ + + (70%)
(60%)
(50%)
+ + (60%)
(50%)
(40%)
+ (50%)
(40%)
(30%)
Situez chaque question ou élément de questions qui composent l’épreuve dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille.
Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée.
Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits.
La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue la note de passage pour cette épreuve exprimée en pourcentage.
Déterminer la note de passage( selon la méthode EBEL )
Université de Montréal Faculté de médecine Bureau d’évaluation
Diffi culté
Pertinence I mportance relative
Facile Moyenne Diffi cile
+ + + + (80%) 14
(70%) 4
(60%)
2
+ + + (70%)
9 (60%)
12
(50%) 7
+ + (60%) 4
(50%) 13
(40%) 5
+ (50%)
1 (40%)
1 (30%) 0
Nombre de questions : 72
SAP : 61 %
Déterminer la note de passage( variante: méthode « Direct Borderline » )
Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question.
Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.
Question 1 ouinon
Question 2 ouinon
Question 3 ouinon
Question … ouinon
Question … ouinon
Question 25 ouinon
ExempleNombre de questions: 25Nombre de OUI : 16SAP : 64 %
Étude de cas No 2Utilisation de la cote Z
Qualifier la réussite et/ou Déterminer la note de passage
Cote Z Note Fréquence en % % Normalisé
1,71 92 1 1% 100% 2,331,64 91 2 2% 99% 2,321,56 90 1 1% 97% 1,881,49 89 1 1% 96% 1,751,41 88 1 1% 95% 1,641,33 87 2 2% 94% 1,551,26 86 1 1% 92% 1,401,10 84 7 7% 91% 1,341,03 83 1 1% 84% 0,990,95 82 2 2% 83% 0,950,88 81 2 2% 81% 0,870,80 80 5 5% 79% 0,800,72 79 1 1% 74% 0,640,65 78 5 5% 73% 0,600,57 77 2 2% 68% 0,460,50 76 1 1% 66% 0,400,42 75 4 4% 65% 0,380,34 74 7 7% 61% 0,270,27 73 2 2% 54% 0,090,19 72 1 1% 52% 0,040,11 71 4 4% 51% 0,010,04 70 6 6% 46% -0,09-0,19 67 2 2% 40% -0,24-0,27 66 1 1% 38% -0,30-0,34 65 3 3% 37% -0,32-0,42 64 2 2% 34% -0,40-0,50 63 2 2% 32% -0,46-0,57 62 3 3% 30% -0,52-0,65 61 2 2% 27% -0,60-0,72 60 1 1% 25% -0,67-0,80 59 1 1% 24% -0,70-0,88 58 2 2% 23% -0,73-0,95 57 2 2% 21% -0,80-1,03 56 1 1% 19% -0,87-1,10 55 2 2% 18% -0,91-1,18 54 1 1% 16% -0,99-1,26 53 4 4% 15% -1,03-1,41 51 1 1% 11% -1,22-1,49 50 1 1% 10% -1,28-1,64 48 2 2% 9% -1,34-1,71 47 3 3% 7% -1,47-1,87 45 2 2% 4% -1,75-1,94 44 1 1% 2% -2,05-2,93 31 1 1% 1% -2,32
X - Mx
sx
Zx
76 – 69,5
13,130,50
MoyenneÉcart typeN
69,513,1399
Les formulesoù X et Y = scores du « sujet » n et N = ensemble des « sujets »
X
NMoyenne : Mx
X - Mx 2
N
Écart type : sx
X - Mx
sx
Score standard : Zx
Variance : xsx2
-3,00 -2,75 -2,50 -2,25 -2,00 -1,75 -1,50 -1,25 -1,00 -0,75 -0,50 -0,25 0,00 0,25 0,50 0,75 1,00 1,25 1,50 1,75 2,00 2,25 2,50 2,75 3,00
Distribution normale
Distribution normale
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
68 %
96 %
μ σσ
Cote Z Note Fréquence en %
1,71 92 1 1%1,64 91 2 2%1,56 90 1 1%1,49 89 1 1%1,41 88 1 1%1,33 87 2 2%1,26 86 1 1%1,10 84 7 7%1,03 83 1 1%0,95 82 2 2%0,88 81 2 2%0,80 80 5 5%0,72 79 1 1%0,65 78 5 5%0,57 77 2 2%0,50 76 1 1%0,42 75 4 4%0,34 74 7 7%0,27 73 2 2%0,19 72 1 1%0,11 71 4 4%0,04 70 6 6%-0,19 67 2 2%-0,27 66 1 1%-0,34 65 3 3%-0,42 64 2 2%-0,50 63 2 2%-0,57 62 3 3%-0,65 61 2 2%-0,72 60 1 1%-0,80 59 1 1%-0,88 58 2 2%-0,95 57 2 2%-1,03 56 1 1%-1,10 55 2 2%-1,18 54 1 1%-1,26 53 4 4%-1,41 51 1 1%-1,49 50 1 1%-1,64 48 2 2%-1,71 47 3 3%-1,87 45 2 2%-1,94 44 1 1%-2,93 31 1 1%
MoyenneÉcart typeN
69,513,13
99
Cote Z Note Fréquence en %
1,76 93 1 1%1,66 92 2 2%1,56 91 1 1%1,46 90 2 2%1,36 89 2 2%1,26 88 1 1%1,06 86 8 8%0,96 85 2 2%0,86 84 2 2%0,76 83 6 6%0,66 82 5 5%0,56 81 2 2%0,46 80 5 5%0,36 79 7 7%0,26 78 2 2%0,16 77 5 5%0,06 76 6 6%-0,14 74 2 2%-0,24 73 1 1%-0,34 72 3 3%-0,44 71 2 2%-0,54 70 5 5%-0,64 69 2 2%-0,74 68 1 1%-0,84 67 3 3%-0,94 66 2 2%-1,04 65 1 1%-1,14 64 3 3%-1,24 63 4 4%-1,44 61 2 2%-1,64 59 2 2%-1,74 58 3 3%-1,84 57 2 2%-1,94 56 1 1%-2,94 46 1 1%
75,410,099
Distribution Z standardisée
Cote Z Note Fréquence en %
2,28 99 3 3%1,78 94 1 1%1,68 93 1 1%1,58 92 1 1%1,48 91 2 2%1,28 89 8 8%0,89 85 3 3%0,79 84 2 2%0,69 83 5 5%0,59 82 1 1%0,49 81 5 5%0,39 80 2 2%0,29 79 5 5%0,19 78 7 7%-0,01 76 7 7%-0,11 75 6 6%-0,31 73 2 2%-0,41 72 4 4%-0,51 71 4 4%-0,61 70 3 3%-0,71 69 3 3%-0,81 68 3 3%-0,91 67 3 3%-1,01 66 3 3%-1,11 65 4 4%-1,30 63 2 2%-1,40 62 2 2%-1,50 61 3 3%-1,80 58 2 2%-2,10 55 1 1%-2,40 52 1 1%
Cote Z Note Fréquence en %
1,71 92 1 1%1,64 91 2 2%1,56 90 1 1%1,49 89 1 1%1,41 88 1 1%1,33 87 2 2%1,26 86 1 1%1,10 84 7 7%1,03 83 1 1%0,95 82 2 2%0,88 81 2 2%0,80 80 5 5%0,72 79 1 1%0,65 78 5 5%0,57 77 2 2%0,50 76 1 1%0,42 75 4 4%0,34 74 7 7%0,27 73 2 2%0,19 72 1 1%0,11 71 4 4%0,04 70 6 6%-0,19 67 2 2%-0,27 66 1 1%-0,34 65 3 3%-0,42 64 2 2%-0,50 63 2 2%-0,57 62 3 3%-0,65 61 2 2%-0,72 60 1 1%-0,80 59 1 1%-0,88 58 2 2%-0,95 57 2 2%-1,03 56 1 1%-1,10 55 2 2%-1,18 54 1 1%-1,26 53 4 4%-1,41 51 1 1%-1,49 50 1 1%-1,64 48 2 2%-1,71 47 3 3%-1,87 45 2 2%-1,94 44 1 1%-2,93 31 1 1%
MoyenneÉcart typeN
76,110,04
99
69,513,13
99
Distribution Z normalisée
Utiliser la Cote Z pour …
C o m p é t e n c e s
Niveauacceptable
Qualifier la réussite ?
Système de notation littérale
A+AA-B+BB-C+CC-D+DE
Excellent
Très bon
Bon
Passable
Échec
Identifierdes « paliers »
de réussite
Utiliser la Cote Z pour qualifier la réussite
A+ 96 100 Excellent A+ 1.75A 92 95 A 1.50 à 1.74A- 89 91 A- 1.00 à 1.49
B+ 85 88 Très Bon B+ 0.51 à 0.99B 82 84 B 0.50 à -0.25B- 78 81 B- -0.26 à -0.74
C+ 74 77 Bon C+ -0.75 à -1.49C 71 73 C -1.50 à -1.74C- 67 70 C- -1.75 à -1.99
D+ 64 66 Passable D+ -2.00 à -2.49D 60 63 D -2.50
E 33 59 Échec E Note inférieure au SAP
et plus
et moins
A+AA-B+BB-C+CC-D+DE
Excellent
Très bon
Bon
Passable
Échec
Total > SAP
Moyenne 82.0 82.4 Médiane 83Écart-type 7.7 7.1N 134 132 SAP 60%
NotationZ littérale (Z) proposée en % brute en %
1.92 A+ A+ 96 1 1 1.78 A+ A+ 95 1 1 1.64 A A 94 3 2 1.50 A A 93 3 2 1.36 A- A- 92 4 3 1.22 A- A- 91 4 3 1.08 A- A- 90 7 5 0.94 B+ B+ 89 9 7 0.79 B+ B+ 88 10 7 0.65 B+ B+ 87 3 2 0.51 B+ B+ 86 3 2 0.37 B B 85 2 1 0.23 B B 84 7 5 0.09 B B 83 10 7 -0.05 B B 82 10 7 -0.19 B B 81 5 4 -0.33 B- B- 80 8 6 -0.48 B- B- 79 5 4 -0.62 B- B- 78 4 3 -0.76 C+ B- 77 2 1 -0.90 C+ C+ 76 3 2 -1.04 C+ C+ 75 6 4 -1.18 C+ C+ 74 4 3 -1.32 C+ C+ 73 5 4 -1.46 C+ C 72 2 1 -1.61 C C 71 4 3 -1.75 C- C- 70 2 1 -1.89 C- C- 69 2 1 -2.03 D+ D+ 68 1 1 -2.17 D+ D+ 67 1 1 -2.45 D+ D+ 65 1 1
E 57 1 1 E 55 1 1
Fréquence
0
5
10
15
20
25
30
35
40
Fréquence 2 6 15 25 34 19 18 6 4 3 0 2
A+ A A- B+ B B- C+ C C- D+ D E
Note en %
-3
-2
-1
0
1
2
3
4
5
6
7
8
9
10
11
Fréquence 1 1 3 3 4 4 7 9 10 3 3 2 7 10 10 5 8 5 4 2 3 6 4 5 2 4 2 2 1 1 1 1 1
Cote Z 1.9 1.7 1.6 1.5 1.3 1.2 1.0 0.9 0.7 0.6 0.5 0.3 0.2 0.0 -0.0 -0.1 -0.3 -0.4 -0.6 -0.7 -0.9 -1.0 -1.1 -1.3 -1.4 -1.6 -1.7 -1.8 -2.0 -2.1 -2.4
96 95 94 93 92 91 90 89 88 87 86 85 84 83 82 81 80 79 78 77 76 75 74 73 72 71 70 69 68 67 65 57 55
Exemple de notation littérale via Cote Z
Utiliser un score standard ( Cote Z )pour analyser le « profil » d’un candidat
Cote Z
Moyenne = 0,0
Écart-type = 1,0
Score standard
Moyenne = 500
Écart-type = 100
Calculer un score standard à partir d’une cote Z
81 – 69,5
13,130,87
MoyenneÉcart type
69,513,13
Calculer le score standard pour une note de 81
Statistiques de la distribution
Calcul du score Z
Calcul du score standard 5870,87 X 100 ) + 500
Score standard = 587
Distribution normale – Score standard
200 225 250 275 300 325 350 375 400 425 450 475 500 525 550 575 600 625 650 675 700 725 750 775 800
Moyenne = 500
Écart-type = 100
Profil de candidats en Scores standards
Candidat Ex 1 Ex 2 Ex 3 Ex 4 Ex 5
A 482 503 515 408 575
B 680 710 590 740 760
C 273 405 333 397 410
Déterminer la note de passage( selon la méthode Hofstee )
Quelle est la note de passage maximun ?6050
30 %Quel est le % maximun d’échecs ?
Quelle est la note de passage minimum ?
Quel est le % minimum d’échecs ?
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
55%
60%
65%
70%
75%
80%
85%
90%
95%
100%
30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80
Scores
Ta
ux
d'é
ch
ec
10 %
Étude de cas No 4Méthode « Borderline Group »
Déterminer la note de passage - ECOS
Fait Non fait
Item 1
Item 2
Item x
TOTAL
Grille d’observationStation ECOS
Examen clinique objectif standardisé
Éval. Globale 1 2 3 4 5
1 = Échec
2 = Limite insuffisant
3 = Limite suffisant
4 = Attendu
5 = Excellent
Moyennes
des scores
par examinateurs
Déterminer la note de passage – Station ECOS( selon la méthode Borderline Group )
Station No 1
Moyennes des Moyennes par examinateurexaminateurs
Ex. A Ex. B Ex. C Ex. D Ex. E Ex. F92,8 Excellent 99,0 88,0 96,0 96,0 88,0 90,076,5 Attendu 82,6 73,2 78,5 77,8 74,9 72,260,0 Limite / Suffisant 53,5 64,0 64,0 58,451,0 Limite / Insuffisant 51,0
Nombre de candidats par examinateur
Ex. A Ex. B Ex. C Ex. D Ex. E Ex. F12 Excellent 1 2 1 1 3 4
163 Attendu 30 23 30 31 22 2716 Limite / Suffisant 6 2 1 7 1 Limite / Insuffisant 1
Déterminer la note de passage –ECOS( selon la méthode Borderline Group )
Cohorte Limite / Suffisant
Station N Moyennes
S1 16 60,0
S2 17 69,2
S3 6 61,8
S4 30 70,3
S5 24 64,5
S6 16 63,8
S7 25 62,2
S8 20 59,5
S9 25 64,8
S10 10 64,3
Moyenne 18,9 64,0
Étude de cas No 5Échelles qualitatives et descriptives
Déterminer la note de passage
SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004
Critère : coopération ( échange des idées )
Échelleuniforme
Excellente Satisfaisante Insatisfaisante
Échelledescriptive
Donne ses idées et
accepte celle des autres
Donne ses idées ou
accepte celles des autres
Ne donne pas d’idée et
n’accepte pas celles des
autres
ExemplesÉchelles qualitatives et descriptives
Évaluation formative
Évaluation certificative
Échelle de notation
au-delà des attentes : (Plus +)conforme aux attentes : (Attendu)en deçà des attentes : (Moins –)
Protocole de notation
1. 100% des critères cotés (Attendu) => B+
si aucun critère n’est coté (Moins -) et que :
2. 75% des critères cotés (Plus +) => A+3. 50% des critères cotés (Plus +) => A4. 25% des critères cotés (Plus +) => A-
si des critères cotés (Moins -) sont présents et que 50% des critères sont cotés (Plus +) :
5. les règles 2 à 4 s’appliquent, mais la notation littérale est réduite d’un nombre de paliers égal au nombre de critères (Moins -)
Exemple : si les règles 2 à 4 génèrent une notation de A,mais que 2 critères ont été cotés (Moins -),la notation sera réduite de 2 paliers à B+
autrement :
6. 10% des critères cotés (Moins -) => B+7. 20% des critères cotés (Moins -) => B8. 25% des critères cotés (Moins -) => B-9. 30% des critères cotés (Moins -) => C+10. 35% des critères cotés (Moins -) => C
Situation d’échec
Si 50% des critères sont cotés (Moins -)
ou
Si l’un ou l’autre des critères déterminantssont cotés (Moins - )
Exemple d’un protocole de notation pour grille d’observation
Ne sait pas faire
Sait faire avec le soutien du superviseur
Sait faire de manière autonomesans le soutien du superviseur
Sait maîtriser parfaitement
Sait maîtriser parfaitementet sait transmettre ses connaissances
Sait faire évoluerle domaine en innovant
Débutant
Intermédiaire
Compétent
Compétentprofessionnel
Compétentprofessionnel confirmé
Expert
Échelles d’appréciation
Critères déterminants
CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008
Dépasse les attentes Conforme aux attentes Inférieur aux attentes Insuffisant
Ponctualité Est toujours ponctuel. 1 ou 2 retards. 3 retards et plus, ou retards importants.
Compréhension Explique les phénomènes complexes.
Explique les concepts évoqués et sa progression est satisfaisante.
Au retour ne peut répondre aux questions du tuteur ou ne peut expliquer un concept à l'étude.
Au retour est souvent dans l'erreur.
Langage médical Utilise un vocabulaire médical approprié et évite les expressions populaires.
Utilise parfois des expressions populaires alors que le terme médical existe.
Utilise fréquemment des expressions populaires et ne s'exprime qu'à l'aide des termes médicaux les plus élémentaires.
Participation Exprime ses opinions de manière appropriée. Attention soutenue.
S'exprime très peu ou prend souvent la parole sans laisser les autres s'exprimer. Inattentif.
S'exprime très peu ou prend très souvent la parole sans laisser les autres s'exprimer. Manque d'attention ou d'intérêt. Ne modifie pas son comportement malgré la rétroaction.
Comportement Modifie son comportement en fonction de la rétroaction.
Est ouvert à la critique, poli et respecte les autres.
Raisonnement Fait des liens entre les concepts complexes et avec les notions des systèmes précédents. Démontre une capacité à déduire, à tirer des conclusions à partir desdifférentes notions.
Fait peu de liens entre les concepts et avec les notions des cours précédents. Déduit rarement à partir des différentes notions.
Ne réfère pas aux autres APP ou aux notions normalement déjà acquises.
Esprit de synthèse
Résume avec précision, et de façon succinte, les renseignements pertinents et les opinions des membres du groupe.
Ne peut rassembler les éléments de la discussion de manière structurée.
Ne peut rassembler les éléments de la discussion de manière structurée et les propos comportent des erreurs sur ce qui a été dit.
Fait des liens entre les concepts et avec les notions des cours précédents. Démontre une capacité à déduire, à tirer des conclusions à partir des différentes notions.
Résume en quelques phrases les éléments de la discussion de façon structurée.
Évite ou refuse de remplir ces fonctions.Exécute bien le rôle qui lui est assigné : comme intendant, scribe, animateur, secrétaire, etc.
Aide au fonctionnement du groupe
Tient des propos hors d'ordre. Propose des hypothèses ne reposant pas sur des principes ou notions valables.
Tient des propos hors d'ordre. Ne modifie pas son comportement malgré la rétroaction.S'approprie une place exagérée qui nuit au fonctionnement du groupe.
Écoute, démontre un esprit critique. Suscite le questionnement du groupe. Émet des hypothèse valables et constructives.
Ne modifie pas son comportement malgré la rétroaction. Irrite par son comportement.
N’accepte pas la rétroaction, argumente systématiquement. Harcèlement envers les collègues ou le tuteur.
Diversité des sources d’information
Utilise l'ensemble du matériel didactique suggéré.
Ne réfère qu'au texte de base proposé.
Limite ses lectures au stricte minimum (ex: résumés des années passées).
Utilise une variété de matériel didactique, lectures, livres de référence, CD, Internet…
Activités de gestion
Inefficace ou ne joue pas le rôle qui lui est assigné.
CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008
Vierset, V. et Foidart, J.M., Faculté de Médecine. Université de Liège Service Gynécologie-Obstétrique, 2007
Bibliographie sélectiveNotation – Standard Setting
BOULET, J.R. et al., Setting defensible performance standards on OSCEs and standardized patient
examinations, Medical Teacher 2003;25(3):245-249.
CUSIMANO, MD. et al., The Effect of Incorporating Normative data into a Criterion-Referenced
Standard Setting in Medical Education, Acad Med 2003;78(10suppl):S88-90.
DOWNING,SM et al., Establishing Passing Standards for Classroom Achievement Tests in Medical
Education: A Comparative Study of Four Methods, Academic Medicine, Acad Med
2003;78(10suppl):S85-87.
SMEE, SM., Setting standards for an objectif structured clinical examination: the borderline group
method gains ground on Angoff, Med Educ 2001;35:1009-1010.
WILKINSON TJ. et al., Standard setting in an objective structured clinical examination: use of global
ratings borderline performance to determine the passing scores, Med Educ 2001;35:1043-1049.
McILROY, JH., The Impact of an Alternative Approach to Computing Station Cut Scores in an OSCE,
Acad Med 2000;75(10suppl):S18-20.
FRIEDMAN BEN-DAVID, M., Standard setting in student assessment, AMEE Medical Education Guide
No 18, University of Dundee, 2000.
CIZEK, GJ., Setting Passing Scores, Educational Measurement: Issues and Practice, NCME, 1996.
CUSIMANO, MD., Standard Setting in Medical Education, Acad Med 1996;71(10suppl):S112-120.
Diaporama
Documentation
http://www.medbev.umontreal.ca/docimo
Merci de votre attention !
Les formulesoù X et Y = scores du « sujet » n et N = ensemble des « sujets »
X
NMoyenne : Mx
X - Mx 2
N
Écart type : sx
X - Mx
sx
Score standard : Zx
X - Mx Y - My
Nsxsy
Corrélation : rxy
Variance : xsx2
Les formulesoù X = score du « sujet », N = ensemble des « sujets »
et r xx = indice de fidélité
X
NMoyenne : Mx
X - Mx 2
N
Écart type : sx
sx
N
Erreur type (moyenne) : s x =
Niveau de confiance à 95% : plus ou moins 1.96 s x
Erreur de mesure : se = sx 1 – r xx
FidélitéCoefficient d ’homogénéité interne
Alpha de Cronbach
k
k - 1
j
t
1 -
où :
k : nombre d’items j : variance des scores à l’item jt : variance des scores à l ’ensemble du test
