RAPPORT D’ÉVALUATION

Approche préalable à l’évaluation de l’efficacité du système d’assurance qualité

de l’École de sténographie judiciaire du Québec

Mai 2016

Introduction

En prévision de l’évaluation de l’efficacité des systèmes d’assurance qualité, la Commission demande aux nouveaux établissements et à ceux qui n’ont pas complété l’évaluation de l’ensemble des composantes d’assurance qualité prévues à la réglementation, d’évaluer un programme, d’évaluer l’application de leur Politique institutionnelle d’évaluation des programme (PIEP) ainsi que l’application de leur Politique institutionnelle d’évaluation des apprentissages (PIEA). Les attentes de la Commission sont définies dans un Cadre de référence1. L’évaluation du programme Sténographie judiciaire (JCA.0L) et de l’application de la Politique institutionnelle d’évaluation des programmes et de la Politique institutionnelle d’évaluation des apprentissages de l’École de sténographie judiciaire du Québec s’inscrit dans le cadre de cette approche.

Le rapport d’autoévaluation de l’École de sténographie judiciaire du Québec a été reçu par la Commission le 10 avril 2015. Un comité présidé par une commissaire l’a analysé puis a effectué une visite à l’établissement les 10 et 11 juin 20152. À cette occasion, le comité a rencontré la direction de l’établissement, la présidente du conseil d’administration, les personnes ayant travaillé à l’autoévaluation ainsi que des professeurs3, des étudiants et des professionnels. Cette visite a permis un examen complémentaire des principaux aspects de la mise en œuvre du programme et de l’application de la PIEP et de la PIEA.

Le présent rapport expose les conclusions de la Commission, après que celle-ci ait analysé le rapport d’autoévaluation et recueilli de l’information additionnelle lors de la visite. À la suite d’une brève présentation des principales caractéristiques de l’École de sténographie judiciaire du Québec et du programme évalué, la Commission présente des observations sur la démarche d’évaluation suivie par l’établissement. Elle porte ensuite un jugement sur le programme lui-même à partir des critères retenus par la Commission, soit la pertinence du programme, sa cohérence, la valeur des méthodes pédagogiques et de l’encadrement des étudiants, l’adéquation des ressources humaines, matérielles et financières, l’efficacité du programme (comprenant l’évaluation des apprentissages) et la qualité de la gestion du programme. Par ailleurs, elle porte un jugement sur l’application de la PIEP et sur l’application de la PIEA selon les critères de conformité et d’efficacité.

1. Commission d’évaluation de l’enseignement collégial. Approche préalable. Évaluation de l’efficacité des

systèmes d’assurance qualité des nouveaux collèges. Orientations et cadre de référence. Août 2015. 29 pages.

2. Outre la commissaire, Mme Céline Durand, qui en assumait la présidence, le comité était composé de : Mme Brenda Gareau, conseillère pédagogique au Cégep de Saint-Jérôme, M. Louis Morneau, directeur adjoint à la Direction des études au Collège Bart, et M. Louis Pilote, professeur retraité du Cégep de Sainte-Foy. Le comité était assisté de Mme Johanne Cloutier, agente de recherche de la Commission, qui agissait à titre de secrétaire.

3. Dans le présent document, le genre masculin désigne, lorsque le contexte s’y prête, aussi bien les femmes que les hommes.

2

Enfin, le rapport traite du plan d’action que l’École apportera à son évaluation de programme, à l’évaluation de l’application de sa PIEP et à l’évaluation de l’application de sa PIEA. La Commission formule, au besoin, des commentaires, des suggestions et des recommandations susceptibles de contribuer à l’amélioration du programme d’études et de l’application de la PIEP et de la PIEA.

3

Principales caractéristiques de l’établissement et du programme

L’École de sténographie judiciaire du Québec est un établissement privé subventionné qui a été mis sur pied en 2005 par l’Association professionnelle des sténographes officiels du Québec (APSOQ) en collaboration avec le Barreau du Québec pour pallier le manque de relève dans la profession de sténographe judiciaire. L’École, située à Montréal, offre un seul programme qui conduit à une attestation d’études collégiales (AEC), soit Sténographie judiciaire (JCA.0L). Après avoir offert ce programme à deux cohortes d’étudiants entre 2005 et 2008, l’École a interrompu ses activités pendant deux ans en raison du manque de financement. En 2010, l’École offrait à nouveau le programme. Ce dernier est offert en ligne, en mode synchrone. Entre l’année 2012 et l’année 2014, le nombre d’étudiants inscrits dans le programme a varié entre 36 et 42.

Le programme Sténographie judiciaire est défini en objectifs et standards. Il compte 59 1/3 unités et il comporte 1530 heures de cours auxquelles s’ajoute un stage de 90 heures qui sont réparties sur six sessions condensées sur deux ans. La formation donnée par l’École de sténographie judiciaire du Québec est la seule qui est reconnue par le Comité sur la sténographie lequel relève de l’Association. Les étudiants doivent donc l’avoir suivie et réussie pour avoir accès à l’évaluation certificative dont la réussite est exigée par le Comité de sténographie pour travailler comme sténographe officiel. Au moment de la visite, cinq chargées de cours dispensaient la formation à 40 étudiants, dont 16 étaient en dernière session.

Les fonctions de la Direction générale et de la Direction des études sont assumées par une seule personne.

La version de la Politique institutionnelle d’évaluation de programme de l’établissement, adoptée par son conseil d’administration en décembre 2012, a été évaluée par la Commission en mars 2013 qui l’a jugée satisfaisante. Cette politique a servi d’assise à l’évaluation du programme.

La version de la Politique institutionnelle d’évaluation des apprentissages d’août 2014, en vigueur au moment de la visite, a été évaluée en février 2015 par la Commission qui l’a jugée entièrement satisfaisante.

4

La démarche d’autoévaluation

L’École de sténographie judiciaire du Québec a traité les trois volets d’évaluation demandés par la Commission. La démarche s’est échelonnée du printemps 2014 au printemps suivant. L’École a formé un comité composé du directeur général, de la présidente du conseil d’administration, d’une représentante des professeurs, d’une étudiante finissante et d’un consultant. Après l’adoption du devis, le comité a réalisé l’autoévaluation du programme Sténographie judiciaire selon les six critères fixés par la Commission ainsi que l’autoévaluation de l’application de la PIEP et de l’application de la PIEA selon les critères de conformité et d’efficacité. La cueillette et l’analyse des données ainsi que la rédaction du rapport ont été réalisées par le consultant. La validation des outils de cueillette et l’approbation du rapport ont été faites par le comité. Le conseil d’administration a adopté le rapport, incluant un plan d’action, en avril 2015.

Le devis, adopté par l’École, souligne les enjeux qui l’ont guidée dans son autoévaluation du programme, indique la méthodologie employée et précise les responsabilités. Les enjeux que l’École s’est fixés concernent le taux élevé d’abandon du programme, l’impact sur le programme des changements apportés au Code de procédure civile et l’adaptation des méthodes à l’évolution des technologies dans le domaine de la sténographie judiciaire. Le devis ne prenait pas en compte l’évaluation de l’application de la PIEP.

Pour réaliser l’évaluation du programme, le comité s’est surtout appuyé sur des données perceptuelles. Pour ce faire, le comité a recueilli l’opinion des professeurs, des étudiants, des diplômés et d’anciens étudiants qui ont abandonné la formation. Les cinq professeurs ont été interrogés lors d’entrevues individuelles et dans le cadre d’une entrevue de groupe par vidéoconférence. Les diplômés (12/20; cohortes 2005 à 2009 et 2010 à 2013), les étudiants (26/40; cohortes 2012-2014 et 2013-2015) et certains étudiants qui ont abandonné le programme (13/57) ont répondu à des questionnaires en ligne. Le comité a également réalisé une entrevue téléphonique avec la présidente du conseil d’administration de l’École qui est aussi une sténographe officielle. On l’a questionnée sur l’impact que pourraient avoir les changements dans le Code de procédure civile, les développements technologiques et les méthodes de saisie sur le programme. Les étudiants et les professeurs ont été amenés à donner leur appréciation sur les différents aspects du programme. Les questions posées aux diplômés étaient plus générales ce qui les a conduits à se prononcer principalement sur la pertinence du programme, sur la qualité globale de la formation reçue et sur la qualité du stage. Le comité a aussi analysé quelques données documentaires et statistiques. Ainsi, il a analysé les grilles de cours ainsi que quelques plans de cours. Pour ce qui est des statistiques, il a utilisé les données de l’École sur le taux de réussite dans les cours, le taux de persévérance et de diplomation. En ce qui a trait au taux de placement, le comité s’est basé sur l’information des diplômés qui ont répondu à ses questions. Le comité n’a toutefois analysé que quatre

5

des dix compétences du programme, il n’a pas examiné d’épreuves terminales de cours et il n’a examiné qu’un faible échantillon de plans de cours. De plus, le comité n’a pas suffisamment analysé les causes d’échec et d’abandon des étudiants, ce qui nuit à la compréhension des besoins des étudiants. La Commission considère que les données recueillies par l’École ont été pertinentes et analysées avec objectivité, mais qu’elles ont été insuffisantes pour donner une idée juste du programme évalué. Le portrait que dresse l’École du programme est par conséquent incomplet.

L’évaluation de l’application de la PIEA a été sommaire. Celle-ci a aussi été essentiellement basée sur des données perceptuelles; les étudiants et les professeurs ont été interrogés. Cependant, les questions ne portaient pas sur l’ensemble des règles prescrites dans la PIEA ni sur l’ensemble des processus. Les questions portaient sur la distribution des plans de cours au début de la session et sur leur contenu, elles portaient également sur l’évaluation du français, sur la correction des travaux et sur la rétroaction faites par les professeurs. En outre, seulement un faible échantillon de plans de cours a été analysé et aucune évaluation terminale de cours ne l’a été. La Commission juge que les données recueillies par l’École ont été pertinentes, analysées objectivement, mais qu’elles ont été insuffisantes pour permettre à l’École de bien traduire sa réalité concernant la conformité et l’efficacité de l’application de sa PIEA. Ainsi, l’École n’est parvenue que partiellement à traduire cette réalité.

Enfin, pour ce qui est du regard critique porté sur l’application de la PIEP, celui-ci a été fait sans aucune consultation ni analyse documentaire. Il s’agit plutôt d’une réflexion générale portée par la direction de l’École. Par conséquent, la démarche lui a permis de ne traduire que partiellement la réalité concernant la conformité et l’efficacité de l’application de sa PIEP.

Par ailleurs, la Commission observe que, à l’exception du conseil d’administration, aucun groupe, notamment les professeurs, n’a été consulté sur le devis, sur les conclusions du rapport ou sur le plan d’action. L’École aurait gagné à les consulter sur ces objets et à partager les constats avec eux. La Commission note que la confidentialité a été respectée en tout temps dans le cadre de la démarche.

Compte tenu des lacunes qu’elle a observées dans la démarche de l’École, la Commission lui suggère, lors d’une prochaine évaluation, de s’assurer de consulter l’ensemble des personnes concernées, d’avoir des données suffisantes, de les analyser rigoureusement afin de parvenir à tirer des conclusions adéquates et ainsi de pouvoir apporter, le cas échéant, les améliorations appropriées.

En somme, la démarche n’a permis à l’École de sténographie judiciaire du Québec de ne dresser qu’un portait incomplet du programme et de ne traduire que partiellement sa réalité concernant la conformité et l’efficacité de l’application de sa PIEP et de sa PIEA.

6

Évaluation du programme

La Commission se prononce sur les résultats et les conclusions de l’établissement sur la qualité du programme évalué. Pour chacun des critères, la Commission fait ses principales constatations, note les points forts et souligne les points à améliorer par rapport à la mise en œuvre du programme.

La pertinence du programme

L’évaluation de la pertinence a pour but d’examiner l’adéquation du programme aux besoins du marché du travail et aux attentes des étudiants, et d’apprécier les mécanismes mis en place pour adapter de façon continue le programme à ces besoins.

L’École conclut que son programme Sténographie judiciaire est pertinent en s’appuyant notamment sur le sondage fait auprès des diplômés et sur sa connaissance du milieu de l’emploi.

Bien que l’École ne dispose pas de mécanismes de liaison structurés avec les employeurs ni avec les diplômés, elle entretient des liens étroits avec le Comité sur la sténographie ainsi qu’avec l’Association professionnelle des sténographes officiels du Québec lui permettant de valider les compétences du programme. Aussi, les professeurs qui donnent la formation sont à la fois des diplômés de l’École et des membres de l’Association.

Selon les données de l’École, tous ceux qui ont diplômé de l’École et réussi l’examen du Comité de sténographie réussissent à travailler dans leur domaine de formation, ce que les diplômés ayant répondu au sondage ont confirmé. La direction a d’ailleurs fait état d’une pénurie de sténographes judiciaires dans la province. De plus, l’École a mis en évidence l’impact positif sur la fonction de sténographe qu’auront les changements apportés au Code de procédure civile. Selon la direction, ces changements assurent la pérennité de la profession en ouvrant de nouvelles avenues pour les sténographes. Par exemple, ceux-ci seront appelés à travailler par vidéoconférence ou par téléphonie pour prendre en sténographie des interrogatoires de témoins situés dans des régions éloignées. De plus, les sténographes sont en demande dans d’autres secteurs d’activité, par exemple pour la prise de notes en sténographie lors de grandes conférences. Dans la foulée de l’autoévaluation du programme et des changements au Code de procédure civile, l’École de sténographie judiciaire a décidé de procéder à l’examen des compétences. La Commission invite l’établissement à poursuivre l’analyse de son programme.

7

La Commission juge que le programme est pertinent; il répond aux besoins des employeurs et aux attentes des étudiants.

La cohérence du programme

L’évaluation de la cohérence permet d’examiner le choix de cours en relation avec les compétences à développer, l’articulation de la séquence de cours en fonction de la progression des apprentissages ainsi que la charge de travail des étudiants.

Il se dégage des constats de l’École et des propos tenus par la direction lors de la visite, que le programme manque de cohérence.

Le programme Sténographie judiciaire comporte dix compétences dont une compétence, soit Communiquer à l’aide de divers codes linguistiques et sémiotiques, qui est déployée dans les 26 cours et le stage du programme. Neuf cours sont liés à quatre compétences, quatorze le sont à trois compétences, alors qu’un cours est associé à huit compétences, un autre l’est à six et enfin, deux cours sont liés à deux compétences. Bref, le nombre de cours associés à chaque compétence est souvent important, ce qui rend difficile de garantir que toutes les compétences du programme soient prises en compte. L’école reconnaît que cette répartition des compétences nuit à la clarté des liens entre les cours et les compétences et qu’elle ne peut pas affirmer que toutes les compétences sont prises en charge; elle envisage de revoir le découpage des compétences. L’École a prévu élaborer un cahier de programme qui rendrait les exigences du programme plus explicites; elle envisage d'associer les professeurs à cette démarche. Ce cahier devrait notamment inclure un logigramme, la liste des compétences et le profil du diplômé. Au moment de la visite, l’École n’avait pas commencé à élaborer ce cahier. Étant donné que les liens entre les cours et les compétences ne sont pas clairs et que l’École n’est pas en mesure de garantir que l’ensemble des compétences et des éléments de compétence est pris en charge dans le programme,

la Commission recommande à l’École de sténographie judiciaire de revoir la cohérence de son programme de façon à garantir que toutes les compétences du programme sont prises en charge dans les cours et que les liens entre les cours et les compétences sont clairs.

Par ailleurs, l’analyse que la Commission a réalisée d’un échantillon de plans de cours l’a conduite à relever certaines lacunes sur le plan de la cohérence du programme. Dans la majorité des plans de cours, les objectifs du cours et les modalités de participation au cours ne sont pas précisés alors que les modalités d’évaluation ne comportent pas toute l’information à laquelle l’étudiant a droit, ce qui contrevient aux prescriptions du Règlement sur le régime des études collégiales (RREC). Par exemple, plusieurs plans de cours manquent de précision sur l’évaluation formative, sur la pondération des

8

évaluations, sur les modalités de reprise en cas d’échec ou d’absence et sur le plagiat. Bref, les plans de cours ne sont pas tous conformes au RREC ni à la PIEA de l’École. Par conséquent,

la Commission recommande à l’École de sténographie judiciaire de s’assurer de la conformité des plans de cours au RREC et à la PIEA.

Enfin, selon les groupes rencontrés lors de la visite, l’agencement des cours est équilibré d’une session à l’autre, mais il ne tient pas toujours compte de la progression des apprentissages et de la maîtrise des compétences du programme. Par exemple, selon la plupart des étudiants rencontrés lors de la visite, le cours Sténotypie, vitesse croissante I donné en première session est trop tôt dans le programme. L’École envisage revoir la grille de cours et plus précisément de déplacer les cours Sténotypie, vitesse croissante I et Transcription assistée par logiciel I. Par ailleurs, dans certains cours, la charge de travail demandée aux étudiants semble plus importante que ce qui est prévu par la pondération. Même si les étudiants n’expriment pas de mécontentement à ce sujet, la Commission juge que l’École gagnerait à apporter des modifications afin que la pondération corresponde à la réalité. Enfin, la pondération du cours Sténotypie, vitesse croissante II ne correspond pas à celle mentionnée dans le Système des objets des études collégiales (SOBEC); la Commission l’invite à apporter la correction.

La Commission juge que le programme est peu cohérent.

La valeur des méthodes pédagogiques et de l’encadrement des étudiants

Ce critère permet d’évaluer l’adéquation des méthodes pédagogiques aux objectifs des cours et leur adaptation aux caractéristiques des étudiants, de même que l’encadrement des étudiants et la disponibilité des professeurs.

L’École conclut qu’il a y place à amélioration en ce qui concerne les méthodes pédagogiques et l’encadrement offert aux étudiants. Elle arrive à cette conclusion en s’appuyant sur les réponses que les étudiants et les diplômés ont données lors de l’évaluation de programme. Par ailleurs, l’École précise que l’approche par compétences n’est pas encore maîtrisée par les professeurs et l’approche programme n’est pas encore implantée dans l’École, ce qui n’est pas sans avoir d’incidence sur la manière d’enseigner des professeurs. La Commission note que la direction a adopté certaines mesures, notamment celle de donner de la formation pédagogique aux professeurs pour remédier à ces lacunes ce qu’elle l’invite à faire.

Les étudiants interrogés dans le cadre de l’autoévaluation et ceux rencontrés par la Commission se sont montrés généralement satisfaits des méthodes pédagogiques

9

utilisées dans leurs cours. Néanmoins, ils souhaiteraient que celles-ci soient plus diversifiées et stimulantes. Actuellement, il y a alternance de cours théoriques de mises en situation et de périodes d’exercices pratiques. La Commission souligne les mesures prises par l’École pour aider ses professeurs à développer des méthodes pédagogiques adaptées aux compétences du programme et aux caractéristiques des étudiants. Ainsi, elle s’est adjoint les services d’une conseillère pédagogique de l’Association pour les applications pédagogiques de l’ordinateur au postsecondaire dont le mandat est d’apporter une aide ponctuelle et personnalisée aux professeurs sur le plan pédagogique et techno pédagogique. Les professeurs rencontrés lors de la visite ont manifesté leur satisfaction concernant le soutien que cette conseillère pédagogique leur a apporté, notamment par rapport au développement de stratégies pédagogiques adaptées à l’approche par compétences et à l’enseignement donné en classe virtuelle interactive de mode synchrone à partir d’une plate-forme de formation à distance. En outre, avant le début de la session d’automne, l’École donne aux professeurs une journée de formation sur l’utilisation de la plateforme avec laquelle ils travaillent.

Les étudiants interrogés dans le cadre de l’autoévaluation et ceux rencontrés par la Commission se sont montrés généralement satisfaits du soutien et de l’encadrement qu’ils reçoivent de même que de la disponibilité de leurs professeurs. Cependant, ils aimeraient pouvoir échanger davantage, notamment sur leurs difficultés. La Commission note que l’École a recours à une aide pédagogique individuelle (API) qui apporte son soutien aux étudiants qui en font la demande; les étudiants aimeraient recevoir davantage d’aide de la part de cette API. Enfin, une journée de rencontre qui réunit la direction, l’API et les professeurs est consacrée à l’analyse des dossiers des étudiants de première session afin de dépister les étudiants à risque.

La Commission juge que les méthodes pédagogiques et l’encadrement des étudiants sont généralement adéquats.

L’adéquation des ressources humaines, matérielles et financières

Ce critère a pour but d’évaluer si les différentes ressources sont suffisantes pour assurer le bon fonctionnement du programme. Il concerne principalement le nombre de professeurs et leurs compétences. Il touche également la contribution du personnel technique, l’adéquation des aménagements (locaux, plateaux, laboratoires, etc.) et des équipements en fonction des besoins du programme.

L’École conclut qu’elle dispose de ressources humaines et matérielles suffisantes en se basant sur l’opinion des étudiants, des professeurs et des diplômés. La Commission est arrivée à la même conclusion au terme de la visite.

10

Les cours sont donnés par une équipe de cinq professeures qui sont des diplômées de l’École et qui sont actives sur le marché du travail dans le domaine de la sténographie judiciaire. Elles possèdent donc les compétences disciplinaires. Au cours des dernières années, le personnel enseignant a été renouvelé. Aussi, l’École a le défi de constituer une équipe stable et de former des nouvelles recrues, notamment sur le plan pédagogique et sur l’enseignement à distance. Un soutien d’assistance technique est offert quotidiennement aux étudiants et aux professeurs par l’École; les professeurs comme les étudiants en sont globalement satisfaits. Enfin, l’École peut compter sur les services d’une adjointe administrative.

Depuis la session d’automne 2014, à la fin de chaque cours, les étudiants remplissent un questionnaire afin d’évaluer l’enseignement qu’ils ont reçu. La Commission constate que les étudiants et les diplômés se sont dits satisfaits de la plupart des ressources du programme, tout en souhaitant certaines améliorations concernant le matériel audio.

La Commission juge que dans l’ensemble, les ressources humaines, matérielles et financières répondent aux besoins du programme.

L’efficacité du programme (comprenant l’évaluation des apprentissages)

Ce critère porte sur la maîtrise par les diplômés des compétences visées par le programme et sur la réussite des étudiants. Ce critère permet de vérifier si les objectifs de la politique institutionnelle d’évaluation des apprentissages de l’École sont atteints, c’est-à-dire si l’application de la PIEA assure l’équité et la justice de l’évaluation.

L’École conclut que le programme Sténographie judiciaire n’est pas efficace en se basant sur les faibles taux de persévérance et de diplomation ainsi que sur le faible taux de réussite à l’examen du Comité sur la sténographie.

Pour être admis dans le programme, l’étudiant doit répondre aux exigences du RREC et se soumettre à un test psychométrique, à un test de français et à un test de vitesse sur un clavier d’ordinateur. L’École s’est engagée à parfaire son processus d’admission afin d’améliorer le recrutement de candidats qui sont en mesure de persévérer et de réussir dans le programme, ce que la Commission l’encourage à faire.

L’École se montre généralement satisfaite des taux de réussite des cours. En fait, les étudiants qui persévèrent réussissent les cours et diplôment. Toutefois, selon les données de l’établissement qui portent sur les cohortes 2010-2012 et 2011-2013, entre 35 et 40 % des étudiants diplôment de l’École et moins du quart des étudiants réussissent l’examen du Comité. Afin d’aider ses étudiants à persévérer jusqu’au diplôme, l’École a engagé sur une base contractuelle une API dont le mandat est de recenser les obstacles à la réussite

11

et de faire de la prévention auprès des étudiants en leur apportant de l’aide au besoin. D’autres mesures sont envisagées comme d’offrir des cours de rattrapage ou d’examiner les causes du faible taux de réussite dans certains cours. Par ailleurs, l’École fait des représentations auprès de l’Association professionnelle des sténographes officiels du Québec afin que le Comité divulgue le barème d’évaluation de son examen, ce qui permettrait aux professeurs de l’École de mieux préparer les étudiants à le réussir. La Commission encourage l’École à poursuivre ses efforts pour améliorer la persévérance et la diplomation dans le programme.

Par ailleurs, l’École conclut que l’application de sa PIEA est partiellement efficace en s’appuyant sur l’évaluation des modalités du stage, sur l’analyse de plans de cours et sur les réponses faites par les étudiants dans le cadre de la démarche. La PIEA de l’établissement vise à assurer à l’étudiant une évaluation juste, équitable et transparente ainsi qu’à accorder à l’étudiant un droit de recours s’il estime avoir été lésé lors d’une évaluation.

La Commission a porté une attention particulière aux objectifs d’équité et de justice qui intègrent les principaux objectifs de la PIEA de l’École. Elle a d’abord apprécié l’objectif d’équité en portant un regard sur le lien entre le contenu des cours et l’évaluation, sur la capacité de l’évaluation à attester l’atteinte des objectifs selon les standards et sur l’équivalence de l’évaluation.

Il ressort des données de l’École, de l’analyse que la Commission a faite d’un échantillon de plans de cours et d’outils d’évaluation ainsi que de la visite que les évaluations sont fidèles au contenu enseigné.

Un des objectifs de la PIEA de l’École est d’assurer que l’évaluation permette à l’étudiant de démontrer qu’il a atteint les objectifs du cours selon les standards visés. L’École conclut qu’elle ne peut pas se prononcer sur l’équité de l’évaluation parce que d’une part, elle n’examine pas les outils d’évaluation et d’autre part, en raison du fait que les compétences sont déployées dans plusieurs cours ce qui rend difficile de garantir leur maîtrise. De son côté, la Commission a pu constater en s’appuyant sur son analyse de quelques plans de cours et d’évaluations finales de cours ainsi que sur l’information obtenue lors de la visite que les évaluations finales de cours ne permettent pas toujours d’attester la maîtrise de la ou des compétences des cours. Parmi les évaluations qu’elle a examinées, certaines étaient plutôt des examens de connaissance. En outre, en ce qui concerne l’évaluation du stage, l’École reconnaît que seulement cinq des huit compétences associées au stage sont évaluées par le maître de stage, les trois autres ne font l’objet que de discussions. Par conséquent,

la Commission recommande à l’École de sténographie judiciaire du Québec de s’assurer que, dans chaque cours incluant le stage, il y ait

12

une évaluation finale synthèse qui permette d’attester la maîtrise des compétences.

Selon les étudiants et les professeurs rencontrés, l’évaluation est équivalente puisque chaque cours est donné par un seul professeur. Toutefois, l’évaluation du stage est problématique selon le rapport d’autoévaluation. Chaque stagiaire est jumelé à un maître de stage qui l’évalue selon une échelle de trois niveaux de réussite. Or, l’École a constaté que les critères d’évaluation varient selon le milieu du stage et que la grille d’évaluation manque de précision et laisse place à de la subjectivité, ce que la Commission a également pu observer. Cette lacune des outils d’évaluation est d’autant plus grave que c’est le maître de stage qui décide, au final, de la réussite ou de l’échec du stage et par le fait même si le stagiaire possède la compétence minimale pour accéder à la profession.

La Commission recommande donc à l’École de sténographie du Québec de revoir les critères d’évaluation du stage en précisant ceux qui sont prioritaires et de voir à ce que les mêmes critères s’appliquent dans tous les milieux de stage de façon à assurer l’impartialité et l’équivalence dans l’évaluation des stages.

La Commission a également apprécié l’objectif de justice dans l’évaluation en jugeant de l’information que reçoivent les étudiants sur les règles d’évaluation, de l’impartialité de l’évaluation et de la possibilité pour eux d’obtenir un droit de recours s’ils ne sont pas satisfaits de leur évaluation.

La PIEA vise clairement la transparence de l’évaluation. Cependant, selon les données de l’École, les étudiants connaissent plus ou moins les règles de la PIEA et les plans de cours ne comprennent pas toute l’information au sujet des modalités d’évaluation. La Commission a notamment constaté que les plans de cours ne précisent pas toujours les critères d’évaluation. De plus, selon les étudiants rencontrés, l’information sur le stage est donnée trop tardivement dans le programme. Enfin, ceux-ci dénoncent l’opacité du barème d’évaluation de l’examen du Comité de sténographie. La Commission note que l’École a commencé la révision des plans de cours afin qu’ils contiennent toute l’information prévue dans la politique, notamment celle qui touche les règles d’évaluation. De plus, elle a mis en place une journée d’accueil au cours de laquelle elle présente notamment la PIEA aux étudiants.

Selon les étudiants rencontrés lors de la visite, leurs demandes de révision de notes sont traitées de manière juste. Par ailleurs, ils considèrent qu’ils sont généralement évalués avec impartialité par leurs professeurs. Ces derniers évaluent les travaux à partir de critères clairs et connus des étudiants.

13

Compte tenu des lacunes observées par rapport à l’efficacité du programme et à l’application de la PIEA, la Commission est arrivée à la conclusion que le programme Sténographie judiciaire n’est que partiellement efficace et que l’application de sa PIEA n’assure que partiellement l’équité et la justice de l’évaluation des apprentissages.

La qualité de la gestion du programme (comprenant l’application de la PIEA)

L’évaluation de la gestion porte sur la répartition des rôles et des responsabilités ainsi que sur les communications entre les professeurs et les instances administratives ou pédagogiques de l’établissement. Ce critère permet entre autres de considérer les procédures d’évaluation et de perfectionnement des professeurs ainsi que l’encadrement pédagogique et l’application de la Politique institutionnelle d’évaluation des apprentissages.

La gestion du programme repose sur une seule personne qui assume les responsabilités de directeur général et de directeur des études. La Commission tient à souligner le leadership dont la direction fait montre sur le plan pédagogique.

Pour enseigner dans le programme, l’École exige que les professeurs soient des sténographes professionnels, qu’ils s’engagent à participer aux activités pédagogiques et qu’ils détiennent un diplôme de l’École. Cette dernière exigence rend le recrutement difficile selon la direction, ce qui l’amène à envisager de changer les conditions d’embauche. L’expérience professionnelle est priorisée au moment de l’embauche et l’École offre à ses professeurs du perfectionnement pédagogique et de la formation sur l’enseignement à distance. Par exemple, à l’automne 2014, l’École a organisé six journées pédagogiques auxquelles tous les professeurs ont assisté. De plus, ceux-ci peuvent recevoir de l’aide technico pédagogique personnalisée par la conseillère pédagogique que l’École a engagée pour donner de l’aide ponctuelle. Pour ce qui est de l’évaluation du personnel enseignant, les étudiants remplissent un questionnaire à la fin de chaque cours qu’ils remettent à la direction.

Selon les témoignages recueillis lors de la visite, les échanges entre la direction, les professeurs et les étudiants se font facilement (courriel, cellulaire). De plus, chaque début d’année, l’École organise une journée et demie d’information sur le programme et la PIEA qui s’adresse aux étudiants et aux professeurs. Les professeurs rencontrés lors de la visite ont mentionné que les étudiants devraient être mieux informés sur les particularités du métier dès le début du programme ce qui aiderait les étudiants à valider leur choix de faire une carrière de sténographe; l’École a décidé d’aller dans ce sens.

14

Toutefois, selon les informations fournies lors de la visite, il apparaît que les règles d’évaluation prévues dans la PIEA ne sont pas appliquées de manière rigoureuse. La Commission note que l’École a pris des mesures pour que la PIEA soit mise en œuvre correctement. Elle a notamment profité de la révision des plans de cours de la première année pour informer les professeurs sur les différentes règles d’évaluation qu’ils doivent appliquer.

La PIEA fait état de responsabilités en matière d’élaboration, d’approbation et de diffusion de plans de cours. Les professeurs doivent produire des plans de cours conformes à la PIEA, les remettre à la direction de l’École pour approbation deux semaines avant le début de la session et les distribuer au début de la session à leurs étudiants. L’analyse de plans de cours que la Commission a réalisée et les témoignages entendus lors de la visite l’ont amenée à conclure, comme l’École, que plusieurs plans de cours et en particulier ceux de deuxième année n’incluent pas les éléments prévus à la PIEA. En fait, les plans de cours de la deuxième année se résument en un calendrier qui indique les dates des leçons et des examens. La Commission encourage l’École à poursuivre la standardisation des plans de cours de façon à ce qu’ils soient tous conformes à la politique. Les plans de cours sont remis au début de la session comme prévu selon les étudiants interrogés lors de l’autoévaluation et ceux rencontrés par la Commission.

La PIEA prévoit que le professeur inclut l’évaluation formative dans ses cours. La Commission a constaté que l’on retrouvait la mention de l’évaluation formative dans les plans de cours de première année, soit ceux que l’École avait révisés. Les témoignages recueillis lors de la visite font état d’une variété de pratiques allant de dictées, de mises en situation ou de jeux-questionnaires. La Commission constate, au regard de l’évaluation formative, que les responsabilités sont exercées en conformité avec les règles de la politique.

Pour ce qui est des évaluations sommatives, la politique stipule que chaque cours doit en comporter au moins trois dont une évaluation terminale ayant une pondération se situant entre 40 et 50 %; les deux autres évaluations devant avoir une pondération de 20 à 30 %. Les plans de cours analysés ont permis à la Commission de constater que cette règle est appliquée dans les cours de première année, mais qu’elle ne l’est pas dans les cours de deuxième année. Autre exigence de la PIEA, l’évaluation finale doit être synthèse et doit vérifier l’atteinte des objectifs de cours selon les standards. Comme nous l’avons expliqué en examinant l’efficacité du programme, cette exigence de la PIEA n’est pas systématiquement respectée.

Le processus de révision de notes décrit dans la PIEA de l’établissement prévoit que, dans des cas d’insatisfaction avec une évaluation en cours de session ou à la fin du semestre, l’étudiant s’adresse d’abord à son professeur. Si l’insatisfaction persiste, l’étudiant peut faire une demande auprès de la direction de l’École. Selon les

15

témoignages recueillis lors de la visite, le processus est appliqué en conformité avec la politique.

La politique stipule que l’évaluation du français doit se faire dans tous les cours selon un barème établi. Le pourcentage attribué au français varie entre 10, 30 et 100 % de la note finale de cours selon le type de cours. Les groupes rencontrés lors de la visite ont confirmé que l’évaluation du français se fait systématiquement. Toutefois, ni les données de l’École, ni les informations recueillies lors de la visite et ni l’analyse que la Commission a faite d’un échantillon de plans de cours ne permettent de conclure que le barème d’évaluation prescrit dans la politique est respecté.

En vertu de la PIEA, la présence aux cours ne peut être l'objet d'une évaluation dans le but d'attribuer une note ou d’imposer une pénalité. Selon les étudiants et les professeurs rencontrés, les pratiques sont conformes à la politique en ce qui concerne la présence aux cours.

La PIEA stipule que le plagiat entraîne la note zéro pour l’évaluation en cause, la note zéro pour le cours en cas d'une deuxième occurrence et l’exclusion de l’étudiant en cas d'une troisième récidive. Selon les témoignages, le problème de plagiat ne se pose pas en raison du genre d’évaluation qu’ils font.

L’École doit procéder à une évaluation de la PIEA et de son application trois ans après son adoption selon les critères de conformité, d’efficacité et d’équivalence. Toutefois, le conseil d’administration peut exiger à tout moment que la politique fasse l’objet d’une évaluation totale ou partielle. La présente autoévaluation de l’application de la politique est la première que l’École a effectuée. La Commission note que l’autoévaluation a été menée en conformité avec les modalités définies dans la politique.

Bien que l’École ait pris des mesures pour améliorer la conformité de l’application de la politique, la Commission constate que celles-ci ont été insuffisantes et que les intervenants engagés dans la mise en œuvre de la PIEA ne s’acquittent pas toujours correctement des responsabilités que la PIEA leur confie, notamment en ce qui concerne la conformité des plans de cours et des évaluations finales de cours. C’est pourquoi

la Commission recommande à l’École de sténographie judiciaire du Québec de s’assurer de la conformité de l’application de la PIEA ou de l’ajuster au besoin.

La Commission juge que la gestion du programme Sténographie judiciaire est partiellement efficace et que l’application de la PIEA est peu conforme.

En conclusion, la Commission note que l’évaluation que l’École judiciaire du Québec a faite de son programme lui a permis de relever en partie les points forts du programme et

16

les points à améliorer. L’École a adopté des pistes d’action qui devraient contribuer à améliorer le programme. Au terme de l’évaluation du programme selon les critères qu’elle a proposés et la PIEP de l’établissement, la Commission juge que le programme comporte des forces et des faiblesses.

Par ailleurs, la Commission juge que l’application faite par l’établissement de sa PIEA n’assure que partiellement la qualité des apprentissages, c’est-à-dire que la justice et l’équité de l’évaluation des apprentissages ne sont assurées qu’en partie. En somme, la Commission juge que les intervenants engagés dans la mise en œuvre de la PIEA pourraient mieux s’acquitter des responsabilités que la politique leur confie. En outre, les actions prévues pour améliorer la conformité de l’application de la politique sont insuffisantes.

17

Plan d’action – suites prévues à l’autoévaluation du programme

Au terme de son autoévaluation, l’École a dressé une liste de recommandations devant la guider pour améliorer son programme. Toutefois, elle ne s’est pas donné de priorités ni d’échéancier et n’a pas précisé les responsabilités. L’École n’a adopté qu’une action devant améliorer l’application de la PIEA, ce qui est insuffisant pour corriger les lacunes observées au regard de l’efficacité et de la conformité de l’application de la PIEA. La Commission invite l’École à compléter son plan d’action en prenant en charge l’ensemble des améliorations à apporter à son programme ou à l’application de ses politiques, à prioriser ses actions, à préciser les responsabilités et à se fixer un échéancier.

La visite a permis à la Commission de constater que l’École avait commencé à mettre en œuvre quelques actions adoptées. Elle a notamment entrepris la standardisation des plans de cours.

18

Évaluation de l’application de la Politique institutionnelle d’évaluation des programmes

Le regard critique posé par l’établissement permet d’examiner la conformité et l’efficacité de l’application de sa Politique institutionnelle d’évaluation des programmes et permet également de vérifier si la politique est bien adaptée à sa situation particulière.

Évaluation de la conformité de l’application de la PIEP

La conformité exprime le rapport de concordance entre la démarche suivie par l’École et le contenu de sa politique. L’examen de la conformité vérifie si l’exercice des responsabilités respecte la PIEP et si l’évaluation de programme se déroule selon le processus et les critères prévus dans la politique.

L’École conclut que l’évaluation de son programme Sténographie judiciaire n’a été réalisée que partiellement en conformité aux modalités prévues à sa PIEP.

En ce qui concerne le système d’information, la politique mentionne qu’il est composé de données statistiques, perceptuelles et documentaires qui sont utilisées lors de l’évaluation du programme. Toutefois, il a été difficile pour l’École de réunir des données statistiques portant entre autres sur les taux de réussite, de diplomation et d’abandon parce que le tableau de bord n’avait jamais été alimenté. En outre, contrairement à ce qui est établi dans la politique, le comité n’a pas examiné d’évaluations finales de cours. Par contre, le comité a sondé les étudiants, les professeurs et les diplômés comme prévu.

La Commission remarque que les responsabilités liées au processus d’évaluation ont été assumées en conformité à la PIEP. Un comité d’autoévaluation a été mis sur pied dont la composition respectait les balises de la politique; l’École justifie les changements survenus dans le comité en cours de démarche. Comme prévu, le comité a élaboré un devis, il a procédé à l’évaluation du programme selon les critères définis dans la politique, il a élaboré les instruments de collecte de données perceptuelles et il a recueilli l’opinion des principaux intéressés par le programme. Cependant, il n’a pas consulté les professeurs sur le devis ni sur les conclusions du rapport et il n’a pas examiné d’évaluations finales de cours. Enfin, le rapport a été rédigé et a été adopté par son conseil d’administration. Toutefois, il n’a pas été diffusé comme prévu et aucun échéancier n’a été fixé par rapport à la réalisation des actions listées à la fin du rapport.

En conclusion, la Commission juge que l’application de la PIEP faite par l’École judiciaire de sténographie judiciaire de Québec n’a été que partiellement conforme aux dispositions de la politique. L’École n’a pas prévu de revoir sa PIEP.

19

Évaluation de l’efficacité de l’application de la PIEP

L’examen de l’efficacité vérifie si les résultats attendus par l’application de la politique sont atteints. L’établissement aura vérifié si l’application de sa politique est propre à soutenir la prise de décisions relatives à la gestion du programme et si elle a un impact sur son amélioration, si l’évaluation conduit à un diagnostic juste et précis de l’état du programme.

L’École conclut que les objectifs de sa PIEP ne sont atteints que partiellement. Le principal problème concerne l’amélioration continue du programme, ce qui s’explique par l’absence de cueillette régulière de données sur le programme afin de suivre l’évolution de sa mise en œuvre et de l’ajuster au besoin permettant ainsi d’assurer la qualité de la formation. Considérant qu’un système d’information sur les programmes constitue un élément majeur de la gestion de l’évaluation de programme,

la Commission recommande à l’École de mettre en place et d’alimenter le tableau de bord de gestion du programme prévu dans sa politique. Celle-ci prévoit que certaines données doivent être recueillies annuellement sur les étudiants, notamment le taux de réussite par cours, le taux de persévérance aux 3e et 5e sessions et le taux de diplomation en durée prévue.

L’École, qui appliquait pour la première fois sa PIEP lors de l’évaluation de son programme Sténographie judiciaire, considère que sa politique a été un bon guide et que son application l’a conduite à poser un diagnostic juste et précis de l’état de son programme en lui permettant de relever les forces ainsi que les points à améliorer dans le programme. Cette évaluation l’a amenée à prévoir des actions comme la conception d’un cahier de programme visant l’amélioration de sa cohérence, la standardisation des plans de cours et l’amélioration de l’information sur le programme transmise aux étudiants. De son côté, en s’appuyant sur la documentation et les témoignages recueillis lors de la visite, la Commission constate que, bien que les données recueillies aient été pertinentes et analysées rigoureusement, celles-ci ont été insuffisantes pour dresser un portrait approfondi du programme, notamment en ce qui concerne la cohérence du programme et l’évaluation des apprentissages. Le portrait que dresse l’École du programme est par conséquent incomplet.

En conclusion, la Commission juge que l’application de la PIEP n’a été que partiellement efficace.

20

Plan d’action – suites prévues à l’autoévaluation de l’application de la PIEP

L’École n’a pas élaboré de plan d’action propre à l’application de la PIEP à la suite de l’autoévaluation puisqu’elle a jugé que l’application de sa politique avait été efficace.

21

Conclusion

Au terme de l’évaluation du programme selon les critères qu’elle a retenus, la Commission estime que le programme Sténographie judiciaire (JCA.0L) de l’École de sténographie judiciaire du Québec comporte des forces et des faiblesses. De plus, elle juge que l’application faite par l’École de sa Politique institutionnelle d’évaluation des programmes lors de l’évaluation de son programme n’a été que partiellement conforme et que partiellement efficace. Enfin, la Commission estime que l’application que l’École fait de sa Politique institutionnelle d’évaluation des apprentissages est peu conforme et qu’elle n’assure que partiellement la qualité de l’évaluation des apprentissages.

Au nombre des points forts du programme, la Commission relève la pertinence du programme, le leadership dont fait montre la Direction sur le plan pédagogique, l’adéquation des ressources et les questionnaires d’évaluation que les étudiants doivent remplir à la fin de chaque cours. Toutefois, l’évaluation du programme a fait ressortir certains éléments à améliorer. La Commission recommande à l’École de sténographie judiciaire de revoir la cohérence de son programme de façon à garantir que toutes les compétences du programme sont prises en charge dans les cours et que les liens entre les cours et les compétences sont clairs. Elle lui recommande également de s’assurer de la conformité des plans de cours au RREC et à la PIEA. Du côté de l’efficacité du programme, la Commission recommande à l’École de s’assurer que, dans chaque cours incluant le stage, il y ait une évaluation finale synthèse qui permette d’attester la maîtrise des compétences comme prévu dans la PIEA. En outre, elle recommande à l’École de revoir les critères d’évaluation du stage en précisant ceux qui sont prioritaires et de voir à ce que les mêmes critères s’appliquent dans tous les milieux de stage de façon à assurer l’impartialité et l’équivalence dans l’évaluation des stages.

En ce qui concerne l’application de la PIEA, la Commission a observé que les intervenants engagés dans la mise en œuvre de la PIEA ne s’acquittaient pas toujours correctement des responsabilités que la PIEA leur confie, notamment en ce qui concerne la conformité des plans de cours et des évaluations finales de cours. C’est pourquoi la Commission recommande à l’École de sténographie judiciaire du Québec de s’assurer de la conformité de l’application de la PIEA ou de l’ajuster au besoin. La Commission a également noté que l’application qui est faite de la politique n’assure pas complètement la qualité de l’évaluation des apprentissages; des avis ont été émis dans les sections de la cohérence et de l’efficacité du programme à ce sujet.

La Commission conclut que l’application de la PIEP faite par l’École n’a été que partiellement conforme aux dispositions de la politique. Les consultations ont été faites comme prévu dans la politique et les responsabilités liées au processus d’évaluation ont généralement été assumées en conformité à la PIEP. Par contre, l’utilisation du système d’information et la diffusion des conclusions du rapport n’ont pas été faites en conformité avec la politique. Le processus

22

d’évaluation a été partiellement efficace ce qui a conduit l’École à poser un diagnostic qui n’est que partiellement juste et précis de l’état de son programme. La Commission recommande à l’École de mettre en place et d’alimenter le tableau de bord de gestion du programme prévu dans sa politique. Celle-ci prévoit que certaines données doivent être recueillies annuellement sur les étudiants, notamment le taux de réussite par cours, le taux de persévérance aux 3e et 5e sessions et le taux de diplomation en durée prévue.

Au terme de son évaluation, l’École a produit un plan d’action qui comprend des mesures qui devraient contribuer à l’amélioration de la qualité du programme, mais elle n’a pas adopté suffisamment d’actions qui permettraient d’améliorer l’évaluation des apprentissages.

La Commission estime que la démarche n’a permis à l’École de sténographie judiciaire du Québec de ne donner qu’une idée incomplète du programme et de ne traduire que partiellement la réalité du Collège concernant la conformité et l’efficacité de l’application de sa PIEP et de sa PIEA. Aussi, lui suggère-t-elle, lors d’une prochaine évaluation, de s’assurer de consulter l’ensemble des personnes concernées, d’avoir des données suffisantes, de les analyser rigoureusement afin de parvenir à tirer des conclusions adéquates et d’avoir un regard complet sur le programme et ainsi de pouvoir lui apporter, le cas échéant, les changements appropriés pour l’améliorer.

L’autoévaluation que l’École de sténographie judiciaire du Québec a réalisée constitue une étape préalable à l’évaluation de l’efficacité de son système d’assurance qualité interne qu’elle devra faire d’ici quelques années. Le suivi que l’École fera des avis que la Commission a émis dans ce rapport l’aidera à assurer l’efficacité de ses mécanismes destinés à assurer la qualité de son programme et la qualité de l’évaluation des apprentissages.

23

Les suites de l’évaluation

En réponse à la version préliminaire du rapport d’évaluation portant sur l’approche préalable à l’évaluation de l’efficacité du système d’assurance qualité, l’École de sténographie judiciaire du Québec souscrit aux avis formulés et aux jugements émis par la Commission.

La Commission souhaite être informée, au moment opportun, des actions réalisées pour donner suite aux six recommandations formulées dans le présent rapport.

La Commission d'évaluation de l'enseignement collégial,

Original signé

Céline Durand, présidente

COPIE CERTIFIEE CONFORME