Julie Lyne Leroux Cégep de St-Hyacinthe Étudiante au doctorat Université de Sherbrooke

Colloque de l'ACFAS Mai 2004

L’évaluation des compétences en stage,conception et expérimentation d’échelles à

énoncés descriptifs en éducation à l’enfance

L’évaluation des compétences en stage,conception et expérimentation d’échelles à

énoncés descriptifs en éducation à l’enfance

Julie Lyne LerouxCégep de St-HyacintheCégep de St-Hyacinthe

Étudiante au doctoratÉtudiante au doctorat

Université de SherbrookeUniversité de Sherbrooke

Julie Lyne LerouxCégep de St-HyacintheCégep de St-Hyacinthe

Étudiante au doctoratÉtudiante au doctorat

Université de SherbrookeUniversité de Sherbrooke


Le profil de sortie de l’éducatrice professionnelle

•Développement global de l’enfant

de 0-12 ans•Développement global de l’enfant

de 0-12 ans

•Contexte de travail coopératif

•Contexte de travail coopératif

respect

confiance

autonomie

Non-discrimination

coopération

En concertation avec les parents, l’équipe de travail et les communautés;En contribuant à l’organisation pédagogique et administrative du service de

garde

En concertation avec les parents, l’équipe de travail et les communautés;En contribuant à l’organisation pédagogique et administrative du service de

garde


Techniques d’éducation à l’enfance (322.AO)

liste des compétences 4 axes

Techniques d’éducation à l’enfance (322.AO)

liste des compétences 4 axes

• L’intervention:observer l’enfant pour intervenir

• L’intervention:observer l’enfant pour intervenir

• Travail en équipe et créativité

• Travail en équipe et créativité

Les routines: santé, sécurité, alimentation

Les routines: santé, sécurité, alimentation

Le programme éducatif: la planification, l’animation et l’évaluation

Le programme éducatif: la planification, l’animation et l’évaluation


Les stagesLes stages

• Stage d’implication (1-5-1) 90 heures

1e année (2e trimestre)

• Stage d’implication (1-5-1) 90 heures


Stage d’animation (1-11-1) 180 heures


Stage d’animation (1-11-1) 180 heures


Stage d’intervention (1-15-1) 240 heures


Stage d’intervention (1-15-1) 240 heures



Paradigme d’évaluation Paradigme d’évaluation

Passage d’un paradigme traditionnel centré sur l’enseignement

vers un paradigme centré sur

l’apprentissage. Huba et Freed (2000)

Passage d’un paradigme traditionnel centré sur l’enseignement

vers un paradigme centré sur

l’apprentissage. Huba et Freed (2000)


Quels sontQuels sont

les changementsles changements

sursur

les pratiques évaluatives ?les pratiques évaluatives ?

Quels sontQuels sont

les changementsles changements

sursur

les pratiques évaluatives ?les pratiques évaluatives ?


Comparaison des pratiques d’évaluation. Scallon (2004)


Perspective traditionnelle• L’élève répond à des questions à

réponse brève ou à choix multiples

• Les questions ou les problèmes ont un caractère artificiel , abstrait ou scolaire

• Les conditions s’observation sont absolument identiques et uniformes pour tous les individus.Il y a peu de communication entre l’enseignant et l’élève.

• En matière de rendement, on considère une seule dimension à la fois, et plus particulièrement la dimension cognitive.

Perspective traditionnelle• L’élève répond à des questions à

réponse brève ou à choix multiples

• Les questions ou les problèmes ont un caractère artificiel , abstrait ou scolaire

• Les conditions s’observation sont absolument identiques et uniformes pour tous les individus.Il y a peu de communication entre l’enseignant et l’élève.

• En matière de rendement, on considère une seule dimension à la fois, et plus particulièrement la dimension cognitive.

Perspective nouvelle• Les tâches ou les problèmes

exigent que l’élève construise une réponse élaborée

• Les problèmes sont réalistes c’est-à-dire liés è ceux de la vie courante

• L’élève évalué peut formuler des commentaires et l’enseignant peut poser des sous-questions.

• L’observation est contextualisée, c’est-à dire qu’elle repose sur des situations permettant d’observer l’individu sous plusieurs aspects.

Perspective nouvelle• Les tâches ou les problèmes

exigent que l’élève construise une réponse élaborée

• Les problèmes sont réalistes c’est-à-dire liés è ceux de la vie courante

• L’élève évalué peut formuler des commentaires et l’enseignant peut poser des sous-questions.

• L’observation est contextualisée, c’est-à dire qu’elle repose sur des situations permettant d’observer l’individu sous plusieurs aspects.


Perspective traditionnelle• L’interprétation se fonde

habituellement sur la comparaison entre les élèves. Ce qui doit être réussi par l’élève n’est pas décrit de façon précise.

• La mesure est privilégiée dans la perspective traditionnelle (tests, examens objectifs)

• L’observation porte sur le produit• L’évaluation et l’apprentissage

ont lieu à des moments distincts.• L’élève n’évalue pas ses

productions

Perspective traditionnelle• L’interprétation se fonde

habituellement sur la comparaison entre les élèves. Ce qui doit être réussi par l’élève n’est pas décrit de façon précise.

• La mesure est privilégiée dans la perspective traditionnelle (tests, examens objectifs)

• L’observation porte sur le produit• L’évaluation et l’apprentissage

ont lieu à des moments distincts.• L’élève n’évalue pas ses

productions

Perspective nouvelle• L’individu est de plus en plus

souvent évalué au regard de standards de performance, c’est-à-dire d’ exigences qui ne sont pas liés au rang qu’il occupe dans un groupe.

• La mesure demeure mais doit débouché sur un jugement explicite.

• On s’intéresse à ce que l’élève sait faire et comment il le fait.

• L’évaluation est intégrée à l’apprentissage

• L’évaluation de tous les jours se démarque de l’évaluation certificative. L’élève peut,à divers degrés, participer à l’évaluation de ses apprentissages.

Perspective nouvelle• L’individu est de plus en plus

souvent évalué au regard de standards de performance, c’est-à-dire d’ exigences qui ne sont pas liés au rang qu’il occupe dans un groupe.

• La mesure demeure mais doit débouché sur un jugement explicite.

• On s’intéresse à ce que l’élève sait faire et comment il le fait.

• L’évaluation est intégrée à l’apprentissage

• L’évaluation de tous les jours se démarque de l’évaluation certificative. L’élève peut,à divers degrés, participer à l’évaluation de ses apprentissages.




Comment adapter Comment adapter

nos pratiques évaluativesnos pratiques évaluatives

dans une approche dans une approche

par compétences ?par compétences ?

Comment adapter Comment adapter

nos pratiques évaluativesnos pratiques évaluatives

dans une approche dans une approche

par compétences ?par compétences ?


• qui s’appuie sur le jugement expert • qui propose des tâches complexes et des

problèmes réalistes de la vie courante• qui conçoit des échelles descriptives pour

observer en contexte réel.• qui fait participer l’élève à l’évaluation des

apprentissages.(autoévaluation, autocorrection)

• qui propose un algorithme décisionnel précisant le niveau de performance et les seuils de réussite pour chaque critère.

• qui s’appuie sur le jugement expert • qui propose des tâches complexes et des

problèmes réalistes de la vie courante• qui conçoit des échelles descriptives pour

observer en contexte réel.• qui fait participer l’élève à l’évaluation des

apprentissages.(autoévaluation, autocorrection)

• qui propose un algorithme décisionnel précisant le niveau de performance et les seuils de réussite pour chaque critère.

Mise en place d’une pratique évaluative

Mise en place d’une pratique évaluative


Processus de conceptionProcessus de conception

Première étape:Les objets d’évaluation et le

choix des tâches complexes

Première étape:Les objets d’évaluation et le

choix des tâches complexes

Deuxième étape:La conception des échelles

descriptives

Deuxième étape:La conception des échelles

descriptivesTroisième étape:

L’algorithme de décision

Troisième étape:L’algorithme de décision

Quatrième étape:L’expérimentation et la

validation

Quatrième étape:L’expérimentation et la

validation


Première étape:Les objets d’évaluation et le choix

des tâches complexes

Première étape:Les objets d’évaluation et le choix

des tâches complexes

1. Le profil de sortie

2. L’identification des compétences

3. Le regroupement des compétences

4. L’identification de ou des tâches complexes

5. La sélection des objets d’évaluation et conception

d’un schéma intégrateur

1. Le profil de sortie

2. L’identification des compétences

3. Le regroupement des compétences

4. L’identification de ou des tâches complexes

5. La sélection des objets d’évaluation et conception

d’un schéma intégrateur


Schéma intégrateur


Deuxième étape :La conception des échelles descriptives

Tableau 5.1 La grille à échelle descriptive à quatre niveaux (Leroux, 1999)


Tableau 5.1 La grille à échelle descriptive à quatre niveaux (Leroux, 1999)

[1] Les notes explicatives sont des précisions quant aux termes utilisés, aux références (modèles, structure, processus, grille de vérification) inférées afin d’alléger le texte et de situer les utilisateurs de l’échelle.

Le critère

Seuils de performance

Incompétence Compétence

Une échelle des descriptions qualitatives des éléments de la compétence (les objets d’évaluation) à l’aide des critères de performance. Les seuils de performance sont précisés d’un niveau supérieur vers un niveau inférieur (ex. : compétence

supérieure vers la compétence insuffisante).

Notes explicatives[1]

Compétence insuffisante Compétence minimale Compétence moyenne Compétence supérieure




Questions à se poser :1- Quels critères sont à considérer ou quels éléments

essentiels doivent être présents dans les travaux, les productions ou les tâches exécutées par des étudiants, garants d’une production de grande qualité ?

2- Combien de niveaux de compétence ou de réussite choisissons-nous de présenter aux étudiants ?

3- Est-ce qu’il y a un contexte ou un délai de réalisation spécifique à l’exécution de la tâche ?

4- Pour chaque critère ou élément qualitatif, quelle description claire énonce-t-on des performances propres à chaque niveau de compétence ?

Questions à se poser :1- Quels critères sont à considérer ou quels éléments

essentiels doivent être présents dans les travaux, les productions ou les tâches exécutées par des étudiants, garants d’une production de grande qualité ?

2- Combien de niveaux de compétence ou de réussite choisissons-nous de présenter aux étudiants ?

3- Est-ce qu’il y a un contexte ou un délai de réalisation spécifique à l’exécution de la tâche ?

4- Pour chaque critère ou élément qualitatif, quelle description claire énonce-t-on des performances propres à chaque niveau de compétence ?


Questions à se poser- suiteQuestions à se poser- suite

5- Quels concepts ou termes-clés devrons-nous préciser?

6- Dans le contexte d’une évaluation sommative ou certificative, quel type ou modèle de notation allons-nous utiliser pour produire un résultat ?

7- Lorsque j’utilise une échelle à énoncés descriptifs, quels aspects fonctionnent bien et lesquels doivent être améliorés ?

Questions à se poser- suiteQuestions à se poser- suite

5- Quels concepts ou termes-clés devrons-nous préciser?

6- Dans le contexte d’une évaluation sommative ou certificative, quel type ou modèle de notation allons-nous utiliser pour produire un résultat ?

7- Lorsque j’utilise une échelle à énoncés descriptifs, quels aspects fonctionnent bien et lesquels doivent être améliorés ?




Échelle à énoncés descriptifs4 niveaux

Échelle à énoncés descriptifs4 niveaux


Notes explicativesNotes explicatives


Échelle à énoncés descriptifs2 niveaux- dichotomique

Échelle à énoncés descriptifs2 niveaux- dichotomique


Notes explicativesNotes explicatives


Grille d’autoobservation des activités de routine et des soins d’hygiène

Routine 2: changement de couche

Grille d’autoobservation des activités de routine et des soins d’hygiène

Routine 2: changement de couche


Grille d’autoanalyse de mes interventions sur-le-champGrille d’autoanalyse de mes interventions sur-le-champ


Troisième étape :l’algorithme de décision

Troisième étape :l’algorithme de décision

• Qu’est-ce qu’un algorithme de décision ?L’algorithme de décision est un processus. Selon Legendre (1993), il s ’agit d’une « procédure structurée en un nombre fini d’opérations » ayant pour but de définir le niveau d’atteinte des compétences exigé de l’étudiant.

• Pourquoi un algorithme de décision ?

Parce que la mesure de la maîtrise d’une compétence s’accorde mal avec les pratiques actuelles de comptabilisation des notes qui ont cours au collégial.L’ensemble des opérations constituant ce processus, plutôt que l’addition de résultats, nous permet de construire l’algorithme décisionnel qui précise les seuils de réussite à atteindre pour chacun des critères que comporte l’instrument d’évaluation.

• Qu’est-ce qu’un algorithme de décision ?L’algorithme de décision est un processus. Selon Legendre (1993), il s ’agit d’une « procédure structurée en un nombre fini d’opérations » ayant pour but de définir le niveau d’atteinte des compétences exigé de l’étudiant.

• Pourquoi un algorithme de décision ?

Parce que la mesure de la maîtrise d’une compétence s’accorde mal avec les pratiques actuelles de comptabilisation des notes qui ont cours au collégial.L’ensemble des opérations constituant ce processus, plutôt que l’addition de résultats, nous permet de construire l’algorithme décisionnel qui précise les seuils de réussite à atteindre pour chacun des critères que comporte l’instrument d’évaluation.


Trois étapes Trois étapes

dans la construction dans la construction

d’un algorithme de décisiond’un algorithme de décision


Procédures d’établissement de standards pour l’évaluation des performances: le jugement du profil dominant

Leroux, J.L.(2001) adapté de Jaeger, Hambleton et Plake (1997)

Procédures d’établissement de standards pour l’évaluation des performances: le jugement du profil dominant

Leroux, J.L.(2001) adapté de Jaeger, Hambleton et Plake (1997)


Profil de réussite minimal-Moyen- 70%Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)

Profil de réussite minimal-Moyen- 70%Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)


Feuille de notationCahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)

Feuille de notationCahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)


Profil du niveau de réussite minimal-moyen notation 70%

Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)

Profil du niveau de réussite minimal-moyen notation 70%

Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)


Sommaire des résultats sommatifs au stage d’implicationCahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)

Sommaire des résultats sommatifs au stage d’implicationCahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)


Validité interneValidité interne : :Validité de construitValidité de contenu

Fidélité:Fidélité:Consistance interne

Validité interneValidité interne : :Validité de construitValidité de contenu

Fidélité:Fidélité:Consistance interne

Quatrième partie :Quatrième partie : ll’expérimentation et la ’expérimentation et la

validationvalidation

Quatrième partie :Quatrième partie : ll’expérimentation et la ’expérimentation et la

validationvalidation


La validité interneLa validité interneLa validité interneLa validité interne

Validité de contenu**

Validité de contenu**

** réfère au respect des critères à mesurer

** réfère au respect des critères à mesurer

* réfère aux qualités dela structure de

l’instrument

* réfère aux qualités dela structure de

l’instrument

Validité de construit*



• Connaissance théorique de l’évaluation en situation authentique

• Méthodologie s’appuyant sur des écrits

• Processus structuré et schématisé• Rétroaction fréquente et critique sur

le processus de conception de l’instrument

• Consignes précises et écrites• Vérification de la compréhension à

chacune des étapes• Encadrement par tutorat

• Connaissance théorique de l’évaluation en situation authentique

• Méthodologie s’appuyant sur des écrits

• Processus structuré et schématisé• Rétroaction fréquente et critique sur

le processus de conception de l’instrument

• Consignes précises et écrites• Vérification de la compréhension à

chacune des étapes• Encadrement par tutorat





• Conception des compétences par des groupes d’experts

• Analyse rigoureuse des objets d’évaluation

• Identification de la tâche • Conception et présentation d’un

schéma intégrateur en lien avec la tâche

• Partage d’expertise entre les experts (coenseignement)

• Critères en lien avec les compétences ciblées

• Rétroaction fréquente et critique de tous les enseignants impliqués quant au choix des critères retenus

• Conception des compétences par des groupes d’experts

• Analyse rigoureuse des objets d’évaluation

• Identification de la tâche • Conception et présentation d’un

schéma intégrateur en lien avec la tâche

• Partage d’expertise entre les experts (coenseignement)

• Critères en lien avec les compétences ciblées

• Rétroaction fréquente et critique de tous les enseignants impliqués quant au choix des critères retenus

Validité de contenu

Validité de contenu



• Réfère à la tendance de différentsitems à évoquer la même réponse,d’un répondant à l’autre, lors de lamême administration de l’instrument(Martella, Nelson, Marchand-

Martella,1999). • C’est la constance de

l’interprétation(de deux personnes) face aux items de la mesure (Louis,1999).

• Réfère à la tendance de différentsitems à évoquer la même réponse,d’un répondant à l’autre, lors de lamême administration de l’instrument(Martella, Nelson, Marchand-

Martella,1999). • C’est la constance de

l’interprétation(de deux personnes) face aux items de la mesure (Louis,1999).

Consistance Interne

Consistance Interne

La fidélitéLa fidélitéLa fidélitéLa fidélité


• Rencontres de clarification des énoncés entre les enseignantes avant, pendant et après l’utilisation des nouveaux instruments.

• Présentation aux étudiants, en début de session, de la signification des énoncés descriptifs.

• Rétroaction fréquente et critique de tous les enseignants impliqués dans l’utilisation des nouveaux instruments d’évaluation des compétences.

• Rencontres de clarification des énoncés entre les enseignantes avant, pendant et après l’utilisation des nouveaux instruments.

• Présentation aux étudiants, en début de session, de la signification des énoncés descriptifs.

• Rétroaction fréquente et critique de tous les enseignants impliqués dans l’utilisation des nouveaux instruments d’évaluation des compétences.

Consistance Interne

Consistance Interne

Consistance Interne

Consistance Interne


Trois niveaux d’analyse qualitative :

1- Conception des outils2- Expérimentation des outils3- Pertinence des caractéristiques des

énoncés descriptifs

Trois niveaux d’analyse qualitative :

1- Conception des outils2- Expérimentation des outils3- Pertinence des caractéristiques des

énoncés descriptifs

Constats préliminairesConstats préliminairesConstats préliminairesConstats préliminaires


Difficultés :- La direction d’une telle

démarche par des pairs d’un même département peut être difficile dans certains cas.

- L’importance du changement de paradigme nécessite une formation préparatoire plus longue en évaluation.

- Le caractère novateur d ’une telle pratique évaluative provoque incertitude et scepticisme quant à l’utilisation des grilles.

Difficultés :- La direction d’une telle

démarche par des pairs d’un même département peut être difficile dans certains cas.

- L’importance du changement de paradigme nécessite une formation préparatoire plus longue en évaluation.

- Le caractère novateur d ’une telle pratique évaluative provoque incertitude et scepticisme quant à l’utilisation des grilles.

Forces :- Nécessité du travail en

équipe avec ses pairs

- Nécessité du retour au devis ministériel

- Travail en petites équipes d’experts

Forces :- Nécessité du travail en

équipe avec ses pairs

- Nécessité du retour au devis ministériel

- Travail en petites équipes d’experts

Constats préliminaires concernant la Conception des outils :

Constats préliminaires concernant la Conception des outils :


Forces :- Total alignement de

l’enseignant sur ses objectifs.

- Le milieu de travail se reconnaît davantage dans les critères évalués.

- Prise de conscience par les étudiants et les enseignants de la nature complexe d’une compétence.

- Une fois rédigés, les savoirs être sont plus faciles à observer.

Forces :- Total alignement de

l’enseignant sur ses objectifs.

- Le milieu de travail se reconnaît davantage dans les critères évalués.

- Prise de conscience par les étudiants et les enseignants de la nature complexe d’une compétence.

- Une fois rédigés, les savoirs être sont plus faciles à observer.

Difficultés :- Grande insécurité des

étudiants face à ce nouveau mode d’évaluation.

- Désintéressement des étudiants face aux contenus de cours plus généraux.

- Irréalisme de certaines grilles.

- Étudiants soumis sans préavis ni préparation à un paradigme d’évaluation non connu.

Difficultés :- Grande insécurité des

étudiants face à ce nouveau mode d’évaluation.

- Désintéressement des étudiants face aux contenus de cours plus généraux.

- Irréalisme de certaines grilles.

- Étudiants soumis sans préavis ni préparation à un paradigme d’évaluation non connu.

Constats préliminaires : Expérimentation des outils

Constats préliminaires : Expérimentation des outils


Forces :- Très en lien avec la

situation authentique, les critères annoncés, les caractéristiques des tâches complexes et les niveaux de performance.

- Permettent de mieux mesurer une compétence dans sa globalité

- Plus en lien avec ce qui a été enseigné dans le nouveau programme.

Forces :- Très en lien avec la

situation authentique, les critères annoncés, les caractéristiques des tâches complexes et les niveaux de performance.

- Permettent de mieux mesurer une compétence dans sa globalité

- Plus en lien avec ce qui a été enseigné dans le nouveau programme.

Difficultés :- Certains énoncés sont

incomplets.- Attentes imprécises.- Vocabulaire mal défini.- Seuil de réussite ou

standards parfois trop élevés.

- Algorithme décisionnel à retravailler

Difficultés :- Certains énoncés sont

incomplets.- Attentes imprécises.- Vocabulaire mal défini.- Seuil de réussite ou

standards parfois trop élevés.

- Algorithme décisionnel à retravailler

Constats préliminaires : Pertinence des caractéristiques des énoncés

Constats préliminaires : Pertinence des caractéristiques des énoncés


- Cette expérience favorise la concertation et oblige les

intervenants d’une équipe départementale à échanger au

niveau des contenus mais aussi au niveau des pratiques

d’évaluation.

- Mettre l’accent sur la validation du processus

de conception plutôt que sur l’instrument.

- Ce nouveau paradigme d’évaluation nécessite des

changements de pratiques importants. Il est urgent de

documenter ces pratiques dans le milieu collégial.

- Cette expérience favorise la concertation et oblige les

intervenants d’une équipe départementale à échanger au

niveau des contenus mais aussi au niveau des pratiques

d’évaluation.

- Mettre l’accent sur la validation du processus

de conception plutôt que sur l’instrument.

- Ce nouveau paradigme d’évaluation nécessite des

changements de pratiques importants. Il est urgent de

documenter ces pratiques dans le milieu collégial.

ConclusionConclusion


«En terminant, nous croyons que cette pratique évaluative est un pas de plus afin de soutenir le développement des compétences de l’éducatrice professionnelle «en formation» qui sera engagée quotidiennement dans le développement et le maintien d’un service de garde de qualité.»

Leroux,J.L. (2004)

«En terminant, nous croyons que cette pratique évaluative est un pas de plus afin de soutenir le développement des compétences de l’éducatrice professionnelle «en formation» qui sera engagée quotidiennement dans le développement et le maintien d’un service de garde de qualité.»

Leroux,J.L. (2004)

Julie Lyne Leroux Cégep de St-Hyacinthe Étudiante au doctorat Université de Sherbrooke

Documents

Transcript of Julie Lyne Leroux Cégep de St-Hyacinthe Étudiante au doctorat Université de Sherbrooke