Les fonctions sont celles qu'occupaient les personnes … · au Sous-secrétariat à la...

4

La publication de ce document sur l’évaluation de programme a été rendue possible grâceà la participation des personnes suivantes qui ont formé le comité de travail*:

Mishèle Bérubé, présidente du Groupe des responsables de l’analyseet de l’évaluation de programme (GRAEP)

Marlen Carter, représentante du Groupe d’action en gestion financière (GAGF)

Paul-É. Arsenault, directeur des politiques et des opérations budgétairesau Secrétariat du Conseil du trésor (SCT)

Jean-Yves Baril, secrétaire du Conseil des directrices et des directeurs généraux de l’administration du gouvernement du Québec (CDGA)

Jean-René Bibeau, président de la Société canadienne d’évaluation (SCE)

Alain Chassé, président du Comité des responsables de la vérification interne (CRVI)

Serge Giguère, observateur représentant le Vérificateur général du Québec

Patrick Moran, président de la Société québécoise d’évaluation de programme(SQEP)

Georges-Octave Roy, représentant du CDGA

André Villeneuve, secrétaire du comité de travail (SCT)

Nous remercions sincèrement pour leur participation les représentants et représentantesdes organismes ainsi que toutes les personnes qui ont été consultées ou qui ont, de près oude loin, contribué à la préparation de ce document.

RéalisationSous-secrétariat aux politiques budgétaires et aux programmes

Révision linguistique et éditionDirection des communications

Le présent document est disponible dans le site Internet du Secrétariat du Conseil du trésor[www.tresor.gouv.qc.ca] ainsi que dans l'intranet gouvernemental [www.modernisation.qc].

Pour de plus amples renseignements concernant ce document, vous pouvez vous adresserau Sous-secrétariat à la modernisation de la gestion publique, par téléphone, au numéro(418) 528-7655, ou par courriel : [email protected].

Dépôt légal 2002Bibliothèque nationale du QuébecBibliothèque nationale du CanadaISBN : 2-550-39080-6

* Les fonctions sont celles qu'occupaient les personnes au moment des travaux du comité de travail.

TA B L E D E S M AT I È R E S

PRÉSENTATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

L’ÉVALUATION DE PROGRAMME : QU’EST-CE QUE C’EST ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

Les définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

Les champs d’appréciation et la portée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

Des liens et des distinctions à faire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

POURQUOI FAIT-ON DE L’ÉVALUATION DE PROGRAMME ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

QUI EST RESPONSABLE DE L’ÉVALUATION DE PROGRAMME ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

COMMENT ÉVALUER ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

1. La clarification ou la formulation du mandat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

2. La planification de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3. La réalisation de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4. L’utilisation des résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

5. Le bilan de l’utilité de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

LES CONDITIONS DE RÉUSSITE DE L’ÉVALUATION DE PROGRAMME . . . . . . . . . . . . . . . . . . . . . . . . .16

ANNEXE

Résistances parfois manifestées devant une démarche d’évaluation et pistes de solutions . . . .17

RÉFÉRENCES THÉMATIQUES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

BIBLIOGRAPHIE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

4 L ’ é v a l u a t i o n d e p r o g r a m m e

Ce document sur l’évaluation de programmea été conçu pour sensibiliser les dirigeantset dirigeantes des ministères et des orga-nismes à la démarche d’évaluation de pro-gramme et au rôle qu’ils et elles auront àassumer.

En effet, il incombe aux ministères et auxorganismes de s’assurer que leurs pro-grammes ou leurs politiques sont évalués.Les programmes et les politiques doiventêtre évalués en vue de déterminer leur per-tinence actuelle, la mesure dans laquelleles activités et les résultats sont conformesà la mission, la mesure dans laquelle lesobjectifs ont été atteints, les effets positifset négatifs et, s’il y a lieu, les moyens d’at-teindre les objectifs d’une manière plusefficace soit par des améliorations opéra-tionnelles au programme existant, soit parl’introduction d’un nouveau programme.L’évaluation de programme constitue unefonction à valeur ajoutée pour la gestionaxée sur les résultats.

Bien que la méthodologie et l’utilisationde l’évaluation soient étroitement liées, cedocument n’a pas la prétention de présen-ter aux dirigeants et dirigeantes de minis-tères ou d’organismes une approcheméthodologique particulière. Il met davan-tage l’accent sur les concepts fondamen-taux et les pratiques recommandables enmatière d’évaluation de programme. Ilexiste plusieurs façons de mener une éva-luation et il incombera aux ministères etaux organismes d’adapter le contenu de cedocument à leur environnement.

Ce document comprend deux parties. Lapremière partie présente un aperçu del’évaluation de programme, de sesconcepts fondamentaux, et les raisonsd'entreprendre une telle démarche, sansoublier le rôle des principaux participantset participantes (sous-ministres, dirigeants,coordonnateurs, évaluateurs et gestion-naires) au processus. Dans la deuxième par-tie, sont présentées les principales compo-santes d’une démarche d’évaluation réus-sie. En annexe, les lecteurs et les lectricestrouveront des références thématiques surdifférents aspects de l’évaluation, ainsiqu’une bibliographie.

Nous espérons que, en tant que dirigeantou dirigeante de ministère ou d’organis-me, vous pourrez vous inspirer, en tout ouen partie, de cet outil de gestion.

PR É S E N TAT I O N

4

5L ’ é v a l u a t i o n d e p r o g r a m m e

L’ÉVALUATION DE PROGRAMME, UNE FONCTION

ESSENTIELLE DANS UN CADRE DE GESTION AXÉE SUR

LES RÉSULTATS

De nouvelles règles du jeu s’imposent pourque la gestion axée sur les résultats prenneson envol au sein de l’administrationpublique. Le nouveau cadre de gestiongouvernementale établi par la Loi sur l’ad-ministration publique met dorénavant l’ac-cent sur l’atteinte des résultats plutôt quesur la conformité aux règles et aux procé-dures.

Cela implique notamment que, lorsquec'est possible, des contrôles a posterioriremplaceront des contrôles a priori. Le sensdes responsabilités des gestionnaires detous les niveaux est mis à profit. Le choixdes moyens d’exécution des mandats estdavantage laissé aux dirigeants et diri-geantes des ministères et des organismes.Le plan stratégique, les objectifs, les indi-cateurs, les cibles et les résultats obtenussont rendus publics. La reddition decomptes est renforcée à tous les paliers del’administration publique.

Pour les ministères et les organismes, ilimporte plus que jamais « d’être en con-trôle », car c'est là une condition fonda-mentale pour exercer une véritable ges-tion axée sur les résultats. Pour l’atteintedes objectifs, toutes les composantes del’organisation, tant les ressources, les sys-tèmes, les processus, la structure et lestâches, doivent être maîtrisées.

Dans cette perspective, l'évaluation deprogramme est une fonction de gestionimportante à l'intérieur de l'organisationpour « être en contrôle ».

IN T R O D U C T I O N


LES DÉFINITIONS

L’évaluation de programme est unedémarche rigoureuse de collecte et d’analy-se d’information qui vise à porter un juge-ment sur un programme, une politique, unprocessus ou un projet pour aider à la prisede décision. Elle permet d’apprécier à la foisla pertinence du programme, l’efficacitéavec laquelle ses objectifs sont poursuivis,l’efficience des moyens mis en place ou sarentabilité, ainsi que son impact.1

Il est important de noter qu’il n’existe pasde consensus général sur ce qu’est l’évalua-tion de programme et même, parmi sesnombreuses définitions, quelques-unessemblent parfois contradictoires. Malgrécette diversité, l’Organisation de coopéra-tion et de développement économiques2

reconnaît qu’on y trouve des caractéris-tiques communes : « ce sont des apprécia-tions analytiques systématiques concernantles principaux aspects d’un programme etde sa valeur, et qui s’attachent à fournirdes conclusions fiables et utilisables »3.

La notion de programme va au-delà decelle qui est rattachée au processusbudgétaire :

Le programme désigne ici un

ensemble cohérent et structuré d’ob-

jectifs, d’activités et de ressources

humaines, financières, matérielles et

informationnelles, regroupés pour

offrir des produits et des services parti-

culiers qui satisfassent les besoins ciblés

d’une population prédéterminée.

L’évaluation de programme produit desrenseignements opportuns, utiles et crédi-bles sur la pertinence des politiques et desprogrammes gouvernementaux, et surleurs répercussions. Ces renseignementsoffrent la possibilité de mettre en place desmoyens d’intervention ou des mécanismesde prestation de services plus rentables.L'évaluation de programme met l’accentsur ce qui fonctionne réellement, sur ce quine fonctionne pas et sur les moyens detrouver de nouvelles façons d’atteindre lesobjectifs du gouvernement à moindrecoût, avec la préoccupation constante duservice à la clientèle, et de parvenir auxrésultats attendus.

L’évaluation de programme doit présenterdes qualités fondamentales, soit :

- la validité (qui permet la correspon-dance entre les données recueillies etl’information recherchée) ;

- la fidélité (qui est conforme à lasituation) ;

- la crédibilité (qui est digne deconfiance) ;

- l’utilité (qui permet de répondre aubesoin et de passer à l’action).

LES CHAMPS D’APPRÉCIATION ET LA PORTÉE

L'évaluation de programme peut traiter leschamps suivants :

• la pertinence ou l’évaluation desbesoins ou de la raison d’être du pro-gramme ;

• l’efficacité ou l’atteinte des objectifs ;

• l’efficience ou l’évaluation du rende-ment qui vise à mettre en relation lesrésultats observés avec les coûts engen-drés ou les ressources utilisées ;

1 Cette définition s’inspire de celle que retient le Groupe de travail sur l’exercice des fonctions decontrôle et de vérification dans l’administration publique québécoise, dans son rapport dejuillet 1998 à la Commission de l’administration publique.

2 Mieux connue sous le sigle OCDE.3 Cet énoncé est extrait du document de l’OCDE, intitulé Promouvoir l’utilisation de l’évaluation de

programme, publié en novembre 1997.

L’ É VA L U AT I O N D E P R O G R A M M E :Q U’E S T-C E Q U E C ’ E S T ?

7

4

L ’ é v a l u a t i o n d e p r o g r a m m e

• l’impact ou l’évaluation des effets surles plans social et économique ou surcelui de la protection des ressources, etqui porte sur l’importance des retom-bées d’un programme.

Il incombe à chaque gestionnaire de déter-miner les champs d’appréciation appro-priés pour l'évaluation des programmesqui sont sous sa responsabilité. Ainsi, l’éva-luation de programme pourra porter,notamment, sur un ou plusieurs desaspects suivants :

• Les besoins : l’évaluation porte sur laraison d’être du programme, sur saconformité avec le besoin exprimé ousur les problèmes reconnus à l'origine ;

• Les possibilités d’action : l’évalua-tion est centrée sur les objectifs initiauxet la nature du programme à offrir ;

• L’implantation : l’évaluation s’inté-resse au fonctionnement d’un pro-gramme, à sa dynamique et aux fac-teurs, tant internes qu’externes, quiinfluent sur sa mise en œuvre ;

• Les résultats et les effets : l’évalua-tion porte sur l’atteinte des objectifs,les effets et l’impact intentionnel ounon sur la population ;

• Le rendement : l’évaluation déter-mine si le coût des ressources inves-ties justifie les bénéfices résultant duprogramme.

DES LIENS ET DES DISTINCTIONS À FAIRE

La gestion axée sur les résultats etl’évaluation de programme

La démarche de gestion axée sur les résul-tats, dans l’administration publique québé-coise, repose sur la prise en compte desattentes des citoyens, l’atteinte de résultatsen fonction d’objectifs, d’indicateurs et decibles préétablis (notamment par unedéclaration de services aux citoyens, unplan stratégique pluriannuel ainsi qu'unplan annuel de gestion des dépenses), laresponsabilisation des intervenants, lamesure des résultats permettant le suivivers l’atteinte des objectifs et, finalement,la reddition de comptes. De ce fait, la red-dition de comptes, effectuée au moyen durapport annuel de gestion, porte essentiel-lement sur les résultats obtenus et expliqueles écarts par rapport aux cibles fixées.

L'illustration qui suit présente la démarche4

de la gestion axée sur les résultats.

4 Source : Secrétariat du Conseil du trésor

L'évaluation de programme permet d'ap-puyer l'ensemble de la démarche de ges-tion axée sur les résultats. Le ou la gestion-naire peut obtenir l’évaluation de la perti-nence des objectifs, des indicateurs et descibles, ainsi que de l'efficacité et de l'effi-

cience des processus, des produits et ser-vices, des mécanismes de suivi et de mesu-re ou des retombées du programme. En finde compte, l'évaluation renseigne les ges-tionnaires sur les résultats de cettedémarche et sur les procédés.


Deux composantes de la démarche de ges-tion axée sur les résultats présentent desliens plus étroits avec l’évaluation de pro-gramme. Il s’agit de la planification straté-gique pluriannuelle et de la reddition decomptes.

La planification stratégique et l'évaluationde programme

Bien que distinctes, l’évaluation de pro-gramme et la planification stratégiquesont intimement liées.

La planification stratégique définit notam-ment les orientations qu’une organisationsouhaite prendre, compte tenu des enjeuxauxquels elle doit faire face. Les orienta-tions peuvent se traduire par la modifica-tion, le maintien ou la mise en œuvre d’unnouveau programme.

L’évaluation de programme permet d'ap-précier la pertinence et de mesurer l’im-pact réel d’un programme par rapport à cequi était souhaité. Les résultats de l'éva-luation de programme peuvent mêmeentraîner la modification des orientationsstratégiques ou, à tout le moins, des axesd’intervention.

La reddition de comptes et l’évaluation deprogramme

Dans la démarche de gestion axée sur lesrésultats, la reddition de comptes porte surla performance dans l'atteinte des résultatset s'effectue au moyen du rapport annuelde gestion5. Son contenu est déterminé parla Loi sur l'administration publique etconsiste essentiellement à présenter lesrésultats obtenus par rapport aux enga-gements pris.

La reddition de comptes est soutenue parun suivi continu de la progression desrésultats. Certains des éléments de ce suivialimenteront le contenu du rapport annuelde gestion, alors que d'autres soutiendrontla gestion des activités conduisant auxrésultats.

Le suivi de la performance et l’évaluationde programme sont des fonctions complé-mentaires qui renforcent la crédibilité de lareddition de comptes auprès des parlemen-taires et des citoyens. L'évaluation de pro-gramme concourt à la présentation d'infor-mation opportune, fiable et crédible.

Cependant, la fonction d’évaluation deprogramme est plus ponctuelle et plusciblée que le suivi de la performance. Ellepermet d'apprécier le rendement d’un pro-gramme ou de sa gestion par un examenapprofondi. Elle analyse les liens entre lesressources, les processus, les produits et lesrésultats afin d’expliquer la performanceobtenue. L’évaluation de programme per-met de prendre le recul nécessaire pourproposer des ajustements adéquats auxactions mises de l’avant afin d’atteindre lesobjectifs des plans stratégiques des minis-tères et des organismes.

La vérification interne et l'évaluation deprogramme

Compte tenu que leurs champs d’interven-tion respectifs sont très proches, il peutêtre difficile de tracer une ligne de démar-cation nette entre les fonctions de gestionque sont l’évaluation de programme et lavérification interne.

C’est ainsi que l’évaluateur ou l’évaluatricede programme cherchera avant tout àposer un jugement sur la pertinence etl’impact des programmes mis en place,ainsi que sur l’atteinte des objectifs établis.Pour sa part, le vérificateur ou la vérifica-trice interne procédera à l’évaluation desrisques de l’organisation et à l’analyse descontrôles nécessaires pour les gérer, demême qu’à l’examen de la pertinence et dela fiabilité de l’information de gestion dis-ponible, ou encore, de l’économie, de l’ef-ficience et de l’efficacité des opérations.

Il n’y a pas de barrière étanche entre l’éva-luation et la vérification interne. Il peutêtre opportun pour l’évaluateur ou l’éva-luatrice de programme, de remettre en

5 Le Secrétariat du Conseil du trésor a également publié le Guide sur le rapport annuel de gestion.

9

4


question l’efficience des programmes ou lafiabilité des données. Cependant, en géné-ral, ces aspects ne seront pas à l’origine deleurs travaux.

Le rapport du Groupe de travail sur l’exerci-ce des fonctions de contrôle et de vérifica-tion, cité précédemment, apporte la préci-sion suivante : « L’utilisation des fonctionsde vérification interne et d’évaluation deprogramme augmente la crédibilité de lareddition de comptes. La première fonctionrenforce l’exercice du contrôle et la secondeappuie les choix de gestion à l’égard desprogrammes réalisés et des activités. Lesdirigeants et dirigeantes des ministères etdes organismes ont tout avantage à utiliserces fonctions comme outils de gestion ». Onmet donc en évidence le caractère complé-mentaire de ces deux fonctions.


Les programmes font l’objet de jugementsmême sans évaluation de programme.Aussi, est-il dans l’intérêt de tous que lesjugements portés soient fondés sur unedémarche rigoureuse, systématique etméthodique plutôt que sur des idées pré-conçues ou des impressions subjectives. Ence sens, l’évaluation de programme sertprincipalement de soutien au processus dedécision et de planification et vise l’optimi-sation des ressources. Il en découle uneamélioration de la qualité de la gestion etde la qualité dans la prestation des pro-duits et services.

L’évaluation de programme joue donc unrôle primordial dans un modèle de gestionaxée sur les résultats. En effet, elle vise àdéterminer l’efficacité relative des énoncésde politique et des programmes, à situerles relations de cause à effet et à cerner lesfacteurs expliquant le niveau de perfor-mance. Suivant ce modèle, on peut direqu’elle répond aux finalités suivantes :

• procurer une information opportune,fiable et crédible sur un programme ;

• porter un jugement éclairé sur la per-tinence d’un programme en vue deguider le gouvernement dans sa déci-sion de maintenir le programme, dele développer, de le modifier ou del’interrompre ;

• donner à un ministère ou à un organis-me une aide opérationnelle pour laplanification, la mise en œuvre et l’ad-ministration des programmes en pro-duisant l’information qui le guideradans la gestion des programmes et luipermettra d’en mesurer l’efficacité etd’en accroître l’efficience.

L’évaluation de programme en matière deprise de décision présente de nombreuxavantages :

• elle permet d’assurer une meilleureaffectation des ressources ; ainsi, dansun contexte de rareté, elle permet deles attribuer de façon rationnelle etd’en tirer le maximum ;

• elle permet de prendre du recul, d’éva-luer et d’expliquer l’impact réel d’unprogramme par rapport à ce qui étaitsouhaité lors de la planification straté-gique ; le programme évalué pourra êtreadapté ou modifié en conséquence ;

• elle favorise la reddition de comptes desgestionnaires de la fonction publiqueen ajoutant de la crédibilité aux résul-tats atteints par le programme.

PO U R Q U O I FA I T-O N

D E L ’ É VA L U AT I O N D E P R O G R A M M E ?

4


Les ministères et organismes ont la res-ponsabilité du choix des programmes etdes processus à évaluer. Cependant, selonl’article 75 de la Loi sur l’administrationpublique, il est également possible pour leConseil du trésor, lorsque la situation le jus-tifie, d’exiger la mise en place d’un pro-gramme d’évaluation.

Les évaluations peuvent être effectuées àl’échelle gouvernementale ou multiministé-rielle. À l’échelle gouvernementale, elles peu-vent avoir différents objectifs, comme celuid’évaluer la pertinence et les résultats desénoncés de politique et des programmes quisont essentiels au respect des grandes priori-tés gouvernementales, ou encore la pertinen-ce et les résultats de certaines pratiques degestion qui sont communes à l’ensemble del’appareil gouvernemental. Quant aux éva-luations multiministérielles, elles sont misesen place soit pour revoir un énoncé de poli-tique ou un programme géré par plus d'unministère ou organisme, soit pour examinerun ensemble de programmes ou d’actions quitouchent différents ministères et dont lesrépercussions affectent un groupe particulier.

Les ministères et organismes

L’évaluation de programme fait partieintégrante du cycle de la gestion ministé-rielle. La responsabilité de cette fonctionest partagée entre le ou la sous-ministre oule dirigeant ou la dirigeante d’organisme,le coordonnateur ou la coordonnatrice del’évaluation et le ou la gestionnaire du pro-gramme à évaluer.

Le ou la sous-ministre ou le dirigeant ou ladirigeante d’organisme

• est responsable de la mise en place etdu développement d’une fonctiond’évaluation répondant aux besoins duministère ou de l’organisme, ce quisignifie qu’il doit prévoir les évalua-tions dès la préparation de la planifica-tion stratégique ;

• est responsable du suivi de l’évaluationet s’assure que les décisions au regarddes résultats mènent à l’action ;

• met à contribution les membres ducomité de direction dans les choix stra-tégiques à faire concernant, notam-ment, les programmes à évaluer, lesressources à affecter, la disponibilité del’expertise nécessaire. En ce qui a traità l’affectation des ressources, les choixeffectués auront une influence sur laprésence ou non d’une structure appli-quée à cette fonction et sur le person-nel nécessaire ;

• peut, par le truchement de la redditionde comptes du ministère ou de l’orga-nisme, faire état des travaux effectuésen évaluation de programme pourexpliquer les écarts entre les cibles etles résultats obtenus ;

• peut mettre en place, là où celaconvient, un comité consultatif poursoutenir cette fonction.

Le coordonnateur ou la coordonnatrice del’évaluationLe ou la sous-ministre ou le dirigeant ou ladirigeante d’organisme pourra opter, selonle contexte organisationnel, pour unestructure permanente ou pour le partageentre des ressources internes et externesmais, peu importe la structure privilégiée,la présence d’un coordonnateur ou d’unecoordonnatrice assure le bon déroulementde l’opération. Le coordonnateur ou lacoordonnatrice assume, pour la fonctiond’évaluation de programme, les tâches sui-vantes :

• prépare et met à jour la planificationministérielle en matière d’évaluationde programme et communique à ladirection l’information pertinente quien découle ;

• développe une expertise en évaluationet affecte les ressources nécessaires àune évaluation de qualité (parexemple, engage du personnel externepour compléter l’expertise recherchéeet, ainsi, ajouter à la crédibilité des tra-vaux d’évaluation) ;

QU I E S T R E S P O N S A B L E

D E L ’ É VA L U AT I O N D E P R O G R A M M E?


• recommande des critères encadrant lapratique de l’évaluation ;

• assure la qualité des évaluations.

L’évaluateur ou l’évaluatrice apour tâches :

• de formuler et de suggérer les ques-tions précises de l’évaluation au regarddes préoccupations du ou de la sous-ministre ou du dirigeant ou de la diri-geante d’organisme en ce qui concerneun programme, une activité, un pland’action, en vue d’une entente sur unmandat d’évaluation ;

• de proposer une stratégie et uneméthode précise de nature à répondreaux questions incluant le recours à desmoyens spécifiques (sondage, parexemple) ;

• de collecter les données pertinentesqui lui permettront de bien asseoir leprocessus d’évaluation et de faire lesanalyses nécessaires et utiles à la prisede décision ;

• de faire participer le ou la gestionnaireresponsable et son équipe aux étapesstratégiques de la démarche d’éva-luation.

Cette partie est décrite plus particulière-ment à la section « Comment évaluer ? »du document.

Le ou la gestionnaire

• participe au processus d’évaluationpour s’assurer que les opérations etleur environnement sont pris en consi-dération ;

• participe à la planification de l’évalua-tion et à l’élaboration de la pratiqueméthodologique ;

• fournit, si c’est nécessaire, du person-nel à l’équipe d’évaluation ;

• commente les critères, les résultats etles recommandations ;

• met en place les actions retenuesdécoulant de l’évaluation.

CO M M E N T É VA L U E R4


Cinq grandes étapes doivent être franchiespour assurer le bon fonctionnement d’uneévaluation :

1. La clarification ou la formulation dumandat

À cette étape, les objectifs sont définiset les bornes entre lesquelles l’évalua-tion doit se dérouler sont fixées. Lebesoin d’information et le contexte deprise de décision dans lequel l’informa-tion sera utilisée sont clairement éta-blis. C’est le point de départ d’uncontact étroit qui lie, tout au long de ladémarche d’évaluation, la personnequi commande l’étude et celle qui estchargée de la réaliser.

Le mandat doit inclure : le contexte etles enjeux dans lesquels s’inscrivent leprogramme, la problématique qui est àl’origine de la demande, les destina-taires de l’étude et les personnes qui ysont engagées, l’analyse des facteursexogènes qui influent sur les résultats,l’impact du programme sur les objectifsd'autres ministères, les objectifs d’éva-luation et l’énoncé des questions aux-quelles l’évaluation doit répondre, lepartage des responsabilités et, enfin,les conditions de réalisation du man-dat, incluant la durée et les ressourcesnécessaires.

La prise en considération du contexteest fort importante car on n’évaluepas de la même façon, par exemple,un programme de compensation desvictimes d’un sinistre conçu dans unesituation d’urgence et un programmede remboursement des dépensesadmissibles à l’intérieur d’un pro-gramme régulier.

2. La planification de l’évaluation

La planification de l’évaluation permetde dégager les points essentiels à laréalisation de l’évaluation. Elle permetd’éviter des erreurs de stratégie et de

méthodologie et de raccourcir lesdélais de préparation de l’évaluation.Elle permet d’acquérir une connais-sance du programme, d’examiner lapossibilité de répondre aux « questionsd’évaluation » ou, s’il y a lieu, de lesréviser, de choisir une stratégie et d’enpréciser les modalités de réalisation enfixant le plan détaillé d’évaluation.

Outre les considérations méthodolo-giques, la planification de l’évaluationdoit prendre en compte la disponibilitédes données et les contraintes detemps et de ressources. En ce sens, lesresponsables de l’évaluation doiventsensibiliser le ou la sous-ministre, ledirigeant ou la dirigeante d’organismeaux délais et aux coûts qu’implique larecherche des réponses aux questionsprécisées dans le mandat de l’évalua-tion de programme.

3. La réalisation de l’évaluation

La réalisation d’une évaluation s’effec-tue en trois phases : la collecte de l’in-formation, l’analyse de l’information,la préparation des rapports d’analyse.Cette dernière étape exige la participa-tion des gestionnaires pour exercer unsuivi et rectifier le cours des activitésd’évaluation, s’il y a lieu, en tenantcompte des objectifs et des difficultés.Tous les responsables de l’évaluation doi-vent aussi collaborer activement à l’ana-lyse et à l’interprétation des résultats.

Lorsque la réalisation d’une évaluationde programme exige l’utilisation derenseignements personnels, la collectede ceux-ci doit se faire dans le respectdes règles établies à cet égard. Un ren-seignement personnel est confidentiels'il se rapporte à une personne phy-sique et s’il permet de l'identifier. Lasection II de la Loi sur l'accès aux docu-ments des organismes publics et sur laprotection des renseignements person-nels présente les conditions de collecte,

CO M M E N T É VA L U E R ?


de conservation et d'utilisation de ren-seignements nominatifs.

En cas d'incertitude lorsqu'il s'agit d'as-surer la protection des renseignementspersonnels, on peut consulter le ou laresponsable de la protection des ren-seignements personnels de son minis-tère ou de son organisme ou laCommission d'accès à l'information.

4. L’utilisation des résultats

L’utilisation des résultats de l’évalua-tion de programme comme aide à laprise de décision constitue l’aboutis-sement et la raison d’être de cettedémarche. Les conclusions de l’éva-luation permettent de mesurer l’écartentre les résultats obtenus et lesrésultats attendus. Au regard de lagestion axée sur les résultats, lesconclusions des travaux de l’évalua-tion peuvent mener à revoir la plani-fication stratégique.

À cet égard, il est important pour le oula gestionnaire d’intégrer les décisionsdécoulant de la conclusion des travauxen évaluation dans son plan d’actionannuel et d’adopter une stratégie dediffusion appropriée qui permettra lamise en oeuvre des décisions prises.

Le ou la sous-ministre ou le dirigeantou la dirigeante de l'organisme est res-ponsable du rapport d'évaluation pro-duit. La diffusion totale ou partielle durapport reste, en tout temps et confor-mément à la Loi sur l'accès aux docu-ments des organismes publics et de laprotection des renseignements person-nels, du ressort du ou de la sous-ministre ou du dirigeant ou de la diri-geante d'organisme. Il leur revientaussi de faire en sorte que les décisionsissues des résultats de l'évaluationmènent à l'action.

5. Le bilan de l’utilité de l’évaluation

En dernier lieu, il convient d’examiner jus-qu’à quel point l’évaluation aura été perti-nente et efficace, c’est-à-dire utile.

4


Le graphique qui suit illustre les étapes d’une évaluation de programme. Dans les faits, cesétapes ne suivent pas nécessairement une séquence linéaire. En effet, dans certains cas, onprivilégiera une démarche circulaire où les mouvements d’aller et de retour entre les diffé-rentes étapes seront possibles et parfois même indispensables.

LES GRANDES ÉTAPES DE LA DÉMARCHE D’ÉVALUATION

➩ Définir les objectifs ➩ Établir le besoin d’information ➩ Déterminer le contexte de prisede décision et les ressourcesnécessaires

La clarification ou la formulation du mandat

➩ ➩ Choisir une stratégie d’évaluation ➩

La planification de l’évaluation

Acquérir la connaissancedu programme

Préciser les modalités de réalisa-tion en fixant le plan détaillé del’évaluation

➩ ➩ Analyser l’information ➩

La réalisation de l’évaluation

Recueillir l’information Préparer les rapports d’analyse

➩

L’utilisation des résultats

Prise en compte des conclusions de l’évaluationdans le processus de décision

➩ Adopter une stratégie de diffusion des résultats

➩

Le bilan de l’utilité de l’évaluation

Évaluer la pertinence et l’efficacité de l’évaluation

➩➩

➩➩

1 L ’ é v a l u a t i o n d e p r o g r a m m e16

Le succès de la mise en place d’une fonction d’évaluation de programme ou de la conduited’une démarche d’évaluation est conditionnel à l’observation de certains principes etrepose sur les éléments suivants :

• un appui ferme du ou de la sous-ministre ou du dirigeant ou de la dirigeanted’organisme ;

• un leadership exercé par l’équipe d’évaluation de programme à tous les niveaux de lachaîne hiérarchique ;

• une compréhension partagée de la portée de l’évaluation entre le ou la sous-ministreou le dirigeant ou la dirigeante d’organisme et le coordonnateur ou la coordonnatrice,l’évaluateur ou l’évaluatrice et les gestionnaires, dès l’acceptation du mandat ;

• une démarche d’évaluation effectuée par du personnel possédant l’habileté, les connais-sances et l’expertise nécessaires ;

• une détermination des ressources nécessaires à l’évaluation de programme dès l’af-fectation du budget ;

• un arrimage entre l’évaluation de programme et la démarche de gestion axée sur lesrésultats ;

• une définition d’objectifs clairs et d’indicateurs mesurables en fonction de l’atteinte desrésultats escomptés dès l’élaboration d’un nouveau programme ;

• un cadre d’évaluation et un système d’information adéquats qui assureront la qualitéde l’évaluation ;

• une stratégie et une méthode appropriées à l’environnement du programme.

LE S C O N D I T I O N S D E R É U S S I T E D E

L ’ É VA L U AT I O N D E P R O G R A M M E

4


AN N E X ERÉ S I S TA N C E S PA R F O I S M A N I F E S T É E S D E VA N T U N E

D É M A R C H E D’ É VA L U AT I O NE T P I S T E S D E S O L U T I O N



Pistes de solutionRésistances

Crainte que l’évaluation conduise àl’élimination du programme.

Se rappeler qu’une évaluation négative conduit rarement à l’abolition d’unprogramme. Une évaluation, même défavorable, conduit plus souvent àl’amélioration ou au raffinement du programme existant. La participation dupersonnel à l’élaboration du processus, dès le début et tout au long de ladémarche, contribue généralement à atténuer ces craintes.

Crainte que l’information obtenuegrâce à l’évaluation soit utilisée àd’autres fins.

Expliquer clairement, à l’étape de la planification, les méthodes de collecte dedonnées qui seront utilisées. Suivre le plan prévu et, dans le cas contraire, bieninformer les partenaires des raisons des modifications apportées au plan initial.Il est important de préciser, dès le départ, que l’évaluation de programme nevise pas à évaluer le rendement individuel, c’est-à-dire la qualité du travail despersonnes.

Crainte que l’évaluation repose surdes outils de mesure inadéquats etdifficiles à utiliser.

Mettre au point des outils d’évaluation simples. S’assurer que les outils ouinstruments de mesure utilisés ou développés conviennent à l’évaluation en cours.

Crainte de perdre le contrôle del’information fournie par l’évaluationet des décisions qui en découleront.

Procéder à l’évaluation au fur et à mesure du déroulement du programme oude l’activité permet aux acteurs en présence de suivre davantage la démarche.L’information fournie par l’évaluation peut, au contraire, permettre auxpartenaires d’exercer un suivi sur le programme ou l’activité évaluée.

Crainte que l’évaluation ait peud’effet sur la prise de décision àvenir.

Garder en tête que l’évaluation ne se déroule pas dans un contexte neutre etqu’elle est un outil parmi d’autres d’aide à la prise de décision. Tenir comptedu point de vue des différents acteurs en place permet de maximiser l’utilitéde la démarche et sa légitimité aux yeux des personnes qui seront appelées àmettre les recommandations en application.

4


Crainte que la remise en question decertains aspects d’un programmemette en cause la réputationprofessionnelle du ou de lagestionnaire.

Vouloir évaluer un programme ou une activité montre, au contraire, unepréoccupation et le désir d’offrir les meilleurs services possibles.

Crainte que l’évaluation se substitueau jugement et aux observations dupersonnel visé par le programme oul’activité.

Tenir compte du fait que le personnel participant peut fournir une informationpertinente sur différents aspects du programme évalué. Cependant, faire appel àdiverses sources de données augmente la possibilité de poser un jugement valablesur le programme. En donnant au personnel participant l’occasion de se prononcersur le plan d’évaluation et sur les résultats obtenus, on atténue ses craintes devoir son jugement supplanté par des questionnaires ou des instruments de mesure.

Crainte que l’évaluation accapare desressources qui pourraient être utiliséesdans l’exécution du programme.

Prise au premier degré, cette crainte peut paraître fondée. Il faut toutefois avoiren tête que la finalité de l’évaluation est l’amélioration des programmes existants.Affecter des ressources à des programmes dont la valeur n’a pas été établie neconstitue pas un choix judicieux pour un ou une gestionnaire. Une évaluationbien conduite peut contribuer à faire connaître la qualité du travail accompli etla pertinence du programme, et même favoriser un meilleur financement duprogramme par la suite. Il est important de savoir qu’il est possible de réaliserune évaluation valable avec des ressources financières limitées.

Crainte que des attentes irréalistessoient exprimées quant aux effetsd’un programme bonifié à la suited’une évaluation.

Aider le personnel à établir des critères de succès réalistes. Il faut être conscientqu’une légère amélioration expérimentée par plusieurs personnes peut avoir uneffet global important.

Crainte que des pressions induess’exercent de la part de certainsgroupes visant à orienter la conduitede l’évaluation.

Maîtriser ces influences en mettant en place un comité consultatif pourl’évaluation qui sera en mesure de gérer la pression externe.

Pistes de solutionRésistances

Source : Adapté du Cadre de pratique pour l’évaluation de programme - application en promotion de la santé et

en toxicomanie, publié par le ministère de la Santé et des Services sociaux, 1998.



Certaines références permettent, à l’aide de liens, de naviguer dans une multitude de sites Webassociés à la fonction d’évaluation de programme. De plus, d’autres sites ont été développés pourpermettre les échanges entre évaluateurs et évaluatrices. Deux références sont utiles à ce sujet : ils’agit, pour la gestion publique sur le plan international, de GOVTEVAL [[email protected]]et, sur le plan local, du groupe de discussion électronique de la Société québécoise d’évaluation deprogramme (SQEP) [[email protected]]. La page d’accueil du site Web de la SQEP[www.evaluationcanada.ca/sqep] indique de quelle façon on peut adhérer à ce groupe de discussion.

SUR LE PLAN DE L’ÉTHIQUE

Il existe, sur ce sujet, une vaste documentation qui a été synthétisée, notamment par la Société cana-dienne d’évaluation, à l’intention de ses membres :

• LA SOCIÉTÉ CANADIENNE D’ÉVALUATION (français/anglais).[www.evaluationcanada.ca/ethicsf.html].

SUR LE PLAN DES NORMES

Les diverses associations professionnelles dans le domaine de l’évaluation se réfèrent, en matière denormes, au « Joint Committee on Standards » et au Secrétariat du Conseil du Trésor du Canada, orga-nismes pour lesquels les références sont les suivantes :

• SANDERS, James R. The Program Evaluation Standards, The Joint Committee on Standards forEducational Evaluation, Sage Publications, 1994. [www.wmich.edu/evalctr/jc] et [www.twu.edu/hs/hs/hs5483/stdsev.htm].

• SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Normes d’évaluation dans les ministèreset les organismes fédéraux (français/anglais).[www.tbs-sct.gc.ca/Pubs_pol/dcgpubs/TBM_161/CHAP3-2_f.html].

SUR LE PLAN DE LA MÉTHODOLOGIECertaines organisations représentent des sources maîtresses en matière de méthodologie ; il s’agit,notamment, du Secrétariat du Conseil du Trésor du Canada, de l’Organisation de coopération et dedéveloppement économiques (OCDE) et du General Accounting Office (GAO) aux États-Unis. On peutconsulter les sites Web suivants :

• COMMISSION D’ÉVALUATION DE L’ENSEIGNEMENT COLLÉGIAL. Les rapports d’évaluation.[www.ceec.gouv.qc.ca/].

• SANTÉ ET SERVICES SOCIAUX. Les indicateurs et la gestion par résultats (voir CollectionsPlanification-Évaluation).[www.msss.gouv.qc.ca/fr/document/index.htm].

• SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (français/anglais).[www.tbs-sct.gc.ca/ep/contenu.htm].

• OCDE. Vers de meilleures pratiques de l’évaluation : Guide des meilleures pratiques à suivrepour l’évaluation (Site de l’OCDE ➡ Documents en ligne ➡ Gestion publique ➡ La gestion desperformances) (français/anglais).[www.oecd.org].

• GAO. General Accounting Office, Washington. Designing Evaluations. [www.gao.gov/policy/10_1_4.pdf].

RÉ F É R E N C E S T H É M AT I Q U E S *

* Certaines adresses Internet peuvent avoir été modifiées depuis la parution du présent document.

4


• INSPECTOR GENERAL FOR THE DEPARTMENT OF HUMAN AND HEALTH SERVICES (USA). PracticalGuide for Public Managers.[www.dhhs.gov/progorg/oei/other/pepm.pdf].

• FRIEDMAN, Mark. A Guide to Developing and Using Performance Measures in Results-basedBudgeting, May 1997.[www.financeproject.org/results.html].

SUR LE PLAN DE LA PROTECTION DES RENSEIGNEMENTS PERSONNELS

• Commission d'accès à l'information.[www.cai.gouv.qc.ca].

• La fonction contrôle et de surveillance de la Commission d'accès à l'information.[www.cai.gouv.qc.ca/fr/avis_r.htm].

• Décisions rendues par la Commission et les jugements des tribunaux supérieurs, y compris laCour d'appel, composant la jurisprudence en matière d'accès aux documents administratifs etde protection des renseignements personnels.[www.cai.gouv.qc.ca/fr/dec_r.htm].

• Pratiques équitables de traitement de l'information établie par l'Organisation de coopérationet de développement économiques (OCDE), Lignes directrices régissant la protection de la vieprivée et les flux transfrontières de données de caractère personnel, 1981, I.L.M. 422, O.C.D.E.,doc. no C(80)58, version finale.[www.oecd.org//dsti/sti/it/secur/prod/priv-fr.html#lignes].



BI B L I O G R A P H I E

CONSEIL DE LA SCIENCE ET DE LA TECHNOLOGIE. Pour une évaluation de la performancedes programmes de science et de technologie, Québec, 1997, 65 p.

GOVERNMENT OF MANITOBA. The Management Practices Guide, 1996, 105 p.

GROUPE DE TRAVAIL SUR L’EXERCICE DES FONCTIONS CONTRÔLE ET VÉRIFICATION DEL’ADMINISTRATION PUBLIQUE QUÉBÉCOISE. Rapport, juillet 1998, 26 p.

GROUPE DES RESPONSABLES DE L’ANALYSE ET DE L’ÉVALUATION DE PROGRAMME.L’analyse de programme au gouvernement du Québec : un atout pour le citoyen, Québec,1992, 8 p.

INSTITUT CANADIEN DES COMPTABLES AGRÉÉS. « Recommandations sur l’évaluation ducontrôle », Contrôle, risque et gouvernement d’entreprise, numéro 3, avril, Toronto,avril 1999, 50 p.

MARCEAU, R., D. Otis et P. Simard sous la direction de R. Parenteau. « La planificationd’une évaluation de programme », dans Management Public. PUQ, 1992, p. 445-480.

MINISTÈRE DE L’ÉDUCATION, Service d’évaluation de programme. La démarche, Québec,1988, 15 p.

MINISTÈRE DE LA SANTÉ ET DES SERVICES SOCIAUX. Cadre de pratique pour l’évaluation deprogrammes, Québec, 1998, 130 p.

OCDE. Guide des meilleures pratiques à suivre pour l’évaluation, Paris, 1997, 9 p.

OCDE. Promouvoir l’utilisation de l’évaluation de programme, Paris, 1997, 41 p.

PLANTE, Jacques. Évaluation de programme, Société québécoise d’évaluation de pro-gramme, Québec, 1996, 86 p.

SECRÉTARIAT DU CONSEIL DU TRÉSOR. Étude comparative sur l’évolution des pratiquesd’évaluation de programme dans certaines juridictions, février 1999.

VÉRIFICATEUR GÉNÉRAL DU QUÉBEC. La gestion par résultats. Les conditions favorables àson implantation. Extrait du rapport à l’Assemblée nationale pour l’année 1998-1999,Tome II, Québec, 1999, p. 301-332.

Les fonctions sont celles qu'occupaient les personnes … · au Sous-secrétariat à la...

Documents

Transcript of Les fonctions sont celles qu'occupaient les personnes … · au Sous-secrétariat à la...