OUtils de Gestion de Projets (1)

download OUtils de Gestion de Projets (1)

of 109

Transcript of OUtils de Gestion de Projets (1)

  • Partie 3

    LES OUTILS DVALUATION

    Introduction

    Les outils de planification de projet

    Les outils de planification de lvaluation

    Les outils de mise en uvre de lvaluation

    Lapplication des rsultats de lvaluation

    Planification du projetHoup !

    ObjectifglobalPlanification

    Problme

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    66

    Nous avons vu, dans la premire partie, quoi pouvait servir une valuation son objectif ainsi que lecontexte dans lequel elle se droule. Dans la deuxime partie, nous avons examin le processusdvaluation lui-mme, en montrant plus particulirement comment il sapplique aux projets, produits etservices dinformation. Les discussions ont port sur les quatre phases majeures du processusdvaluation : la prparation des termes de rfrence, la conception de lvaluation, sa mise en uvre etson suivi.

    Cette troisime partie est consacre la description des diffrents outils spcifiquement adapts lvaluation de projets, produits et services dinformation. Dans la mesure o les professionnels delinformation souhaitent de plus en plus assumer eux-mmes le processus dvaluation, plutt que davoirrecours des valuations externes, les outils slectionns ici sont galement adapts aux procduresdauto-valuation et contribuent promouvoir lapprentissage et la participation des parties prenantes.

    Le terme outils sapplique aux diffrentes approches ayant dj fait leurs preuves que vous pourrezutiliser afin dvaluer votre produit/service. La plupart de ces outils peuvent tre utiliss chaque tapedu processus dvaluation. Nous les avons rpartis de la manire suivante :

    z Les outils de planification de projet (cadres de planification, benchmarking et indicateurs) : ainsique leur nom lindique, ils servent planifier un projet. Bien utiliss, ces outils peuvent se rvler unesource dinformation trs prcieuse et servir de rfrence lors de lvaluation dun projet.

    z Les outils de planification de lvaluation (termes de rfrence et modle logique) : ces outils combins aux cadres de planification de projet contribueront fournir une base solide partir delaquelle il sera possible de choisir les outils ncessaires la mise en uvre de lvaluation.

    z Les outils de mise en uvre de lvaluation (collecte de donnes, analyse FFOM questionnaires,discussions de focus group, diagrammes de flux, tudes de cas, entretiens, outils cratifs, analyses aprs-action et analyse des donnes) : les diffrents outils dvaluation seront choisis en fonction deplusieurs facteurs, savoir lobjectif de lvaluation, le temps imparti, les ressources financires et lescomptences disponibles, etc.

    z Lapplication des rsultats de lvaluation (rdaction du rapport, canaux de diffusion, approchespromotionnelles, analyse des forces en prsence et brainstorming pour la ralisation dun plandaction) : il nous parat intressant de souligner limportance de ces outils car, trop souvent, laccentest plutt mis sur la planification et la mise en uvre du processus dvaluation, la production dersultats et de recommandations, alors que peu est fait pour la valorisation et la promotion desrsultats.

    Dans la quatrime partie, nous dcrirons plus en dtail tous ces outils et proposerons un guidedvaluation pour les produits/services dinformation slectionns.

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    67

    Les outils de planification dcrits dans cette section comprennent les cadres de planification, la mthodede benchmarking et les indicateurs.

    Les deux cadres de planification de projet les plus communment utiliss sont :

    z le cadre logique,z la gestion axe sur les rsultats.

    Dans cette section, nous examinerons en dtail ces deux cadres de planification. tant donn que lesagences de dveloppement utilisent lune ou lautre de ces approches, il serait intressant de sefamiliariser avec ces outils. En 1992, par exemple, la Commission europenne (CE) a adopt la Gestion du cycle de projet (GCP) comme outil de conception et de gestion de projets bas surlapproche du cadre logique. Dautres organisations, comme lAgence canadienne de dveloppementinternational (ACDI), la Banque mondiale et lUSAID, ont recours la gestion axe sur les rsultats.

    Un autre cadre utilis principalement pour planifier une valuation est le modle logique (voirpages 103-105).

    Le tableau 3.1 prsente les principales composantes de ces trois cadres de planification, les diffrentstermes utiliss et les critres gnraux dvaluation (voir deuxime partie, pages 33-34).

    La mthode de benchmarking (ou analyse comparative) vous aide fixer des objectifs de progression atteindre pour valuer la performance de votre projet. En comparant les activits de votreorganisation celles dorganisations comparables, vous pouvez tirer les leons de leur exprience et lesappliquer pour amliorer votre performance.

    Dans le cadre de la planification de votre projet, il convient galement de choisir des indicateurs quivous permettront de mesurer le degr de russite du projet.

    Tableau 3.1 Principales composantes des cadres de planification du projet et de lvaluation

    Objectif gnral

    Objectif(s) spcifique(s)

    Rsultats escompts

    Activits

    Apports

    Rsultats ( long terme)

    Rsultats ( court et moyen terme)

    Rsultats

    Processus

    Ressources/contributions

    Impact long terme

    Rsultats ( court et moyen terme)

    Rsultats

    Activits

    Contributions

    CADRE GESTION AXE SUR MODLE CRITRES LOGIQUE LES RSULTATS LOGIQUE DVALUATION

    ImpactPertinenceDurabilitUtilit

    EfficacitPertinenceConvivialit

    EfficacitAccessibilitConvivialit

    Efficience

    Efficience

    LES OUTILS DE PLANIFICATION DE PROJET

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    68

    Le cadre logique

    Le cadre logique, qui est apparu la fin des annes 1960, reste loutil de gestion et de planification deprojet le plus couramment utilis par les agences de dveloppement.

    Les agences de financement ont tendance utiliser le cadre logique pour valuer et assurer le suivi desprojets. Les organismes chargs de lexcution lutilisent pour planifier, mettre en uvre et assurer lesuivi des projets.

    POURQUOI ?Le cadre logique peut tre utilis chaque tape des processus de planification, de mise en uvre etdvaluation de votre projet. Cette approche intgre vise sassurer que les mmes critres serontutiliss tout au long du cycle de projet et que chacune des phases du cycle de projet est gre partirdu mme cadre de rfrence.

    COMMENT ?Jusque dans les annes 1990, la planification de projet tait gnralement assure par des consultantsexternes. Depuis, lapproche a chang : un nombre croissant dorganisations adoptent lide duneapproche participative interne.

    Lapproche du cadre logique se rfre deux phases :

    z la phase danalyse,z la phase de planification.

    Nous examinerons ces deux phases en dtail et prsenterons des exemples dutilisation du cadre logiquedans le processus dvaluation.

    Phase danalyse

    La phase danalyse dun projet est une tche essentielle du processus de planification. Il conviendra dyimpliquer lensemble des parties prenantes cls potentielles pour veiller ce que les besoins, lesproccupations, les points de vue et les perspectives des diffrentes catgories de parties prenantessoient reprsents et compris.

    Parmi les techniques susceptibles dtre utilises au cours de cette phase, citons notamment lanalyseFFOM (voir pages 115-119), les diagrammes de Venn (voir pages 152-154) et les images-contexte (voirpages 150-152).

    Nous examinerons quatre types danalyse correspondant cette premire phase :

    z lanalyse des parties prenantes,z lanalyse du problme,z lanalyse des objectifs,z lanalyse de la stratgie.

    Tous ces schmas danalyse serviront laborer le cadre logique

    Lanalyse des parties prenantes

    Les parties prenantes sont des groupes dindividus concerns par un projet et le problme quil cherche aborder. Elles peuvent avoir des intrts directement ou indirectement lis au dveloppement du

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    69

    projet et tre touches, aussi bien positivement que ngativement, par ce projet. Les parties prenantes cls comprennent gnralement les responsables politiques, les fournisseurs dintrants,les partenaires et, bien sr, les utilisateurs eux-mmes. La deuxime partie prsente quelques exemples dindividus ou de groupes susceptibles de devenir des parties prenantes du projet (figure 2.2, page 35).

    Cette dmarche vise :

    z identifier qui sont exactement les parties prenantes ;z clarifier leur perception du problme aborder dans le cadre du projet ;z identifier les ressources (politiques, humaines, financires et de lgitimation) affectes au projet ;z dfinir le rle attendu des parties prenantes dans le processus de rsolution du problme ;z analyser leur potentiel dinfluence sur le processus dvaluation ;z dterminer les sources possibles de conflit ;z dterminer leurs besoins en termes daccessibilit et de convivialit du produit/service.

    Le tableau 3.2 montre comment structurer une analyse des parties prenantes. Il rsume (a) dans quellemesure diffrents groupes de parties prenantes peuvent tre affects par le problme auquel le projetcherche rpondre et (b) comment les interventions proposes peuvent affecter ces groupes. Il estpossible dadapter ces deux exemples pour inclure des informations supplmentaires concernant lesparties prenantes, en fonction des priorits et du cadre des questions abordes.

    Parties prenantes Dans quelle mesure sont-elles Motivation / capacit aider Relations avec les autres affectes par le problme ? rsoudre le problme parties prenantes

    Tableau 3.2 Analyse des parties prenantes pour valuer a) leur relation avec le problme abord et b) et dans quelle mesure elles sont affectes par le projet

    (a)

    Parties prenantes Niveau dimplication Impact positif Impact ngatif Impact dans le projet escompt et bnfices escompt et cots net

    (b)

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    70

    Lanalyse de genre parmi les parties prenantes est un aspect important de lanalyse des partiesprenantes. Le tableau 3.3 montre comment intgrer lapproche selon le genre dans cette analyse.

    Une fois termine, lanalyse des parties prenantes devra tre revue en consquence. Le cas chant, elledevra tre actualise tout au long de la phase de planification, au fur et mesure de lavance du projetet que de nouvelles informations seront communiques.

    Lanalyse des parties prenantes, en tant que telle et dans le contexte du cadre logique, constitue unesource importante dinformations pour lvaluation dun projet.

    laboration des Qui est charg de ce travail ? Frquence de lactivitproduits/services Femmes Hommes

    Tableau 3.3 Analyse de genre parmi les parties prenantes cls

    Ressources Qui a accs ? Qui contrle ?Femmes Hommes Femmes Hommes Autres*

    Tches mnagres

    Tches communautaires

    Benefits Qui a accs ? Qui contrle ?Femmes Hommes Femmes Hommes Autres*

    1

    2

    3

    1

    2

    3

    1

    2

    3

    1

    2

    3

    1

    2

    3

    * Pouvoirs publics, organisation prive, etc.

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    71

    Lanalyse du problme

    Lanalyse du problme contribue fortement influencer llaboration dun projet. Sans une analyseapprofondie du problme auquel le projet doit rpondre, la phase de planification ne permettra pas deconstruire les bases solides dont dpend la russite du projet.Trop souvent, les projets sont mis en uvreavec des solutions prdfinies aux problmes poss, dont on ne connat pas suffisamment la nature.

    Sur la base dune analyse FFOM (voir pages 115-119), le brainstorming est une mthode efficace pourlanalyse des problmes. Sil est difficile pour certaines parties prenantes de participer en personne unesance de remue-mninges (brainstorming), vous pourriez envisager de lancer un forum dediscussion en ligne.

    La ralisation dun arbre problmes peut tre un moyen efficace dillustrer lanalyse du problme.Il convient avant tout didentifier les causes du problme ainsi que ses effets intermdiaires et ultimes.Larbre problmes claire les relations entre les causes et les effets. Il contribue amliorer leprocessus dlaboration du projet, son suivi et son valuation.

    Lencadr 3.1 prsente une tude de cas qui passe en revue les consquences potentielles dune analysede problme inadquate.

    Dclin de la productivit agricolenationale

    Recherche malcible

    Remarque : Cet arbre problmes suppose quil existe des liensde causalit linaires entre les causes et les effets. Il est importantde noter, toutefois, que les liens de cause effet dans votre projetpeuvent ne pas apparatre de manire aussi vidente et claire.

    Figure 3.1 Exemple darbre problmes

    Faibles rsultats de la recherche

    Conseils insuffisants aux agriculteurs

    Financement externelimit en raison de

    propositionsinsuffisantes

    Promotioninapproprie du SQR

    parmi les partiesprenantes cls

    Faible sensibilisationaux informationsexistantes sur la

    recherche

    CAUSES CAUSES

    Lanalyse des objectifs

    Faire lanalyse des objectifs dun projet revient globalement cartographier une vision du futur. Unmoyen utile dillustrer cette analyse consiste laborer un arbre objectifs , ce qui suppose de :

    z transformer chaque nonc ngatif (problme) de larbre problmes en dclarations positives(objectifs) ;

    z tester la logique de la hirarchie des objectifs.

  • La partie suprieure de larbre correspond lobjectif gnral alors que les niveaux infrieursreprsentent les moyens mettre en uvre pour parvenir cet objectif.Tous les objectifs serontutiliss pour valuer la performance du projet. La figure 3.2 prsente un exemple darbre des objectifs.

    Par consquent, larbre problmes indique les relations de cause effet entre les problmes, alors quelarbre des objectifs permet de visualiser les relations moyens-fins entre les objectifs.

    Il faudra ensuite tester la logique de larbre objectifs. Le moyen le plus simple dy parvenir est decommencer au sommet de la hirarchie et de se poser la question de savoir comment passer dunniveau lautre. Partir ensuite de la base de la hirarchie et se demander pourquoi, chaque niveau, untel objectif a t dfini.

    Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    72

    En 1995, un service dinformation panafricain bas en Afrique australe a commenc dcentraliser ses activits et misen place un service rgional de questions-rponses en Afrique de lEst, en plus de celui qui couvrait lAfrique australe.

    La rgion du Kolomari tait jusqualors desservie par le service tabli en Afrique australe. Intgre lAfrique de lEstdepuis 1998, cette rgion continua toutefois dtre desservie par le service bas en Afrique australe. Elle avait toublie lors du changement. De ce fait, les services fournis ne rpondaient plus aux besoins spcifiques des agriculteursdu Kolomari. Il sest galement avr que le manque dinformations en temps opportun a entran une baisse delutilisation de ce service. Tout cela a affect les activits des instituts de recherche de la rgion la mobilisation deressources de financement externe devenant encore plus difficile et a eu des effets ngatifs sur la production agricole lchelon national.

    Cette situation aurait pu tre vite travers une analyse approfondie du problme, au moment de la dcentralisation etlorsque la rgion du Kolomari a t intgre lAfrique de lEst.

    Encadr 3.1 tude de cas sur les consquences potentielles dune analyse de problme inadquate

    Augmentation de la productivit agricole nationale

    Recherche mieuxcible

    Figure 3.2 Exemple darbre objectifs

    Amlioration des rsultats de la recherche

    Conseils de meilleure qualit aux agriculteurs

    50 employs sesont forms en

    gestion de cycle de projet

    Parties prenantesmieux sensibilises

    aux avantages du SQR

    Chercheurs conscients du besoin

    dinformations sur la recherche

    CAUSES CAUSES

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    73

    Lanalyse de la stratgie

    Cette analyse permettra de prendre des dcisions concernant les moyens mettre en uvre pourrsoudre le(s) problme(s) identifi(s). Il sera ncessaire de regrouper les objectifs et dexaminer lafaisabilit des options proposes, en tenant compte des ressources disponibles. Cette analyse permettradalimenter un choix dactions prioritaires qui contribueront atteindre lobjectif gnral du projet. Enbref, il sagit dun exercice de priorisation.

    Le choix dune stratgie est guid par les critres suivants :

    z sa contribution potentielle lobjectif gnral du projet ;z lavantage que pourraient en tirer les parties prenantes cls ;z sa complmentarit avec les objectifs des projets/programmes actuels ou venir de votre

    organisation ;z ses implications en termes de capital et de cots, et les ressources (humaines et financires)

    disponibles au niveau local ;z sa contribution ventuelle au renforcement des capacits ;z sa faisabilit technique.

    Augmentation de la productivit agricole nationale

    Recherche mieuxcible

    Figure 3.3 Exemple darbre danalyse de stratgie

    Amlioration des rsultats de la recherche

    Conseils de meilleure qualit aux agriculteurs

    50 employs sesont forms en

    gestion de cycle de projet

    Parties prenantesmieux sensibilises

    aux avantages du SQR

    Chercheursconscients du besoin

    dinformations sur la recherche

    CAUSES CAUSES

    DEDANS

    DEHORS

    La phase de planification

    Cette tape consiste crer la matrice du cadre logique, formuler le plan de mise en uvre et prparer le budget.

    Il y a galement lieu de mentionner le systme appel projets en cascade, li une situation danslaquelle un ensemble dexigences complexes caractrise lobjectif dun projet.

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    74

    Llaboration dun cadre logique

    Un cadre logique est une matrice constitue de quatre colonnes verticales et de cinq ligneshorizontales, comme indiqu dans le tableau 3.4. Bien que la matrice implique un processus linaire, saconstruction est un processus itratif.

    Examinons prsent chacun des lments constitutifs de la matrice du cadre logique.

    Logique dintervention. Ce terme dcrit les diffrents niveaux dobjectifs, des contributions auxactivits, buts et rsultats escompts. Ces objectifs doivent tre lis de manire cohrente et logiquede telle sorte que le but final recherch ait le maximum de chances dtre atteint. Le terme logiquedintervention est parfois remplac par rsum narratif ou hirarchie des objectifs .

    Objectif gnral du projet. Lobjectif gnral du projet est formul de faon gnrale et embrasseune srie dinitiatives envisages sur le long terme. Par exemple, si lon se rfre lencadr 3.1,lobjectif gnral est le suivant : Amliorer la productivit agricole en Afrique de lEst . Cela nesignifie pas que le service de questions-rponses nest pas suffisant lui seul pour atteindre lobjectifpoursuivi ; dautres initiatives lchelon international, national, rgional et local serontncessaires pour amliorer la situation.

    Objectif spcifique. Lobjectif spcifique du projet dcrit le rsultat auquel aspire le projet pour lesgroupes cibles et dans une priode donne. Il doit de prfrence tre formul en une seule phrase.Si les rsultats sont atteints et les hypothses associes ces rsultats se concrtisent, alors lobjectifspcifique sera atteint.

    Rsultats attendus (Outputs). Les produits des activits mises en place sont les rsultats du projet.Lintgralit de ces produits constitue les rsultats auxquels aspirent les parties prenantes cls etassure la ralisation de lobjectif spcifique du projet. Un cadre logique pourra spcifier les rsultatsattendus au fil du temps (la premire anne, la deuxime anne, etc.).Ainsi, de nouveaux rsultats (y compris des rsultats imprvus) pourront tre ajouts au fur et mesure.

    Objectifgnral

    Objectifspcifique

    Rsultatsescompts

    Activits

    Apports

    LOGIQUE INDICATEURS OBJECTIVEMENT MOYENS DE HYPOTHSESDINTERVENTION VRIFIABLES VRIFICATION

    Tableau 3.4 La matrice du cadre logique

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    75

    Activits. Les activits inhrentes au projet devront spcifier les moyens (actions) et les cots ncessaires la ralisation du projet. chaque objectif devra tre associe une activit (ou un groupe dactivits).

    Intrants (Inputs). Il sagit des fonds, des ressources, des comptences et des matriels ncessaires lexcution du projet.Alors quils sont un facteur de succs essentiel tout projet, les intrants ne sontpas assez souvent pris en compte au moment de dterminer les objectifs et activits du projet.

    Indicateurs. Les indicateurs du projet permettent de mesurer ltat davancement des activits vers laralisation des objectifs. Objectivement vrifiable signifie que vous devez tre capable de vrifiersi les objectifs ont t atteints ou, le cas chant, le degr de ralisation des objectifs qui ont tfixs. Comme nous lavions not dans la deuxime partie, les indicateurs doivent tre SMART(spcifiques, mesurables, ralistes, ralisables dans le temps ) et reposer sur des donnes fiables etreprsentatives (voir encadr 3.2). Le processus didentification des indicateurs lorsquilscomportent des lments qualitatifs fondamentaux devra notamment impliquer les partiesprenantes cls. La dmarche damlioration de la qualit des indicateurs peut tre peruediffremment par les membres de la communaut et les observateurs extrieurs. Il peut trenanmoins utile de considrer les diffrences de points de vue entre les hommes et les femmes.

    Moyens de vrification. Il conviendra dtablir un rpertoire de sources de donnes pour chaqueindicateur et pour chaque niveau objectif gnral, objectifs spcifiques, rsultats et activits. Celapermettra de savoir si oui ou non les indicateurs peuvent tre mesurs de manire raliste.

    Hypothses. Un projet nest jamais tenu lcart des vnements extrieurs. Il est toujours soumis linfluence de facteurs externes au processus de contrle direct de la gestion de projet, tels que lesenvironnements instables.Afin de prparer au mieux la phase dlaboration du projet, il est essentielde tester le ralisme des hypothses sur lenvironnement dans lequel le projet doit sinsrer. Labsencedhypothses ralistes est une cause majeure de risque dans un projet.

    Pour comprendre limportance du choix initial des hypothses, il convient de mettre en lumire le lienexistant entre ces hypothses et la logique dintervention, comme indiqu dans le tableau 3.5. Afin

    Tableau 3.5 Mettre en vidence le lien existant entre lintervention et lhypothse

    Objectif gnral

    alors

    Objectif spcifiquesi

    alors

    Rsultats

    si

    alors

    Activits si

    LOGIQUE INDICATEURS OBJECTIVEMENT MOYENS DE HYPOTHSES DINTERVENTION VRIFIABLES VRIFICATION

    Hypothses pour la durabilit

    et

    Hypothses pour la contribution lobjectif global

    et

    Hypothses pour la ralisation delobjectif spcifique

    et

    Hypothses pour la ralisation desrsultats

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    76

    dvaluer le degr de risque pour chaque hypothse, nous pouvons utiliser une construction logiquedu type si alors . Lorsque vous compltez les colonnes de la matrice, posez-vous les questionscls suivantes :

    z Si les activits ont t mises en uvre, quels autres facteurs faut-il prendre en compte pourparvenir aux rsultats escompts ?

    z Si les rsultats sont atteints, quels autres facteurs faut-il prendre en compte pour atteindrelobjectif spcifique ?

    z Si lobjectif spcifique est atteint, quels autres facteurs faut-il prendre en compte pour que leprojet contribue la ralisation de lobjectif gnral ?

    En outre, il est important de savoir qui contrle les hypothses et si une hypothse parat essentielle larussite du projet. Si tel est le cas et dans la mesure o vous ne pouvez exercer une quelconqueinfluence sur cette hypothse il vous faudra reconsidrer ce quil est alors possible denvisager.

    Vous ne pouvez enregistrer les changements apports par un projet sans disposer dun point de dpart par rapport auquel sont mesursces changements. Autrement dit, il est important de comprendre la situation pralable au dmarrage du projet. Les informationsrecueillies constitueront les donnes de base de lvaluation.

    En rgle gnrale, la collecte des donnes de base a lieu au dbut du projet. Si vous ne disposez daucune de ces bases de donnes, il vous faudra alors procder leur collecte. Assurez-vous que les donnes sont compatibles avec les indicateurs qui ont t identifis.vitez de perdre du temps recueillir dautres informations que celles dont vous avez besoin dans la mesure o vous ne les utiliserezprobablement pas.

    Lorsque vous identifiez des sources de donnes, posez-vous les questions suivantes :

    z Les sources de donnes sont-elles accessibles ou disponibles sur une base rgulire et de faon opportune et fiable ?z Ces sources permettent-elles de recueillir des donnes de qualit ?z Le processus de collecte des donnes partir des sources identifies est-il possible et rentable ?z Comment collecter les donnes ? (enqutes par chantillonnage, documents administratifs, groupes de discussion).z Qui sera charg de collecter les donnes ? (agents de terrain, chargs de projet, parties prenantes).z quel moment (et selon quelle frquence) faut-il procder la collecte, lanalyse et la diffusion des donnes ? (mensuellement,

    annuellement).z Quel format faut-il utiliser pour stocker les donnes collectes ?z Qui sera charg danalyser ces donnes ?

    Encadr 3.2 Collecte de donnes de base

    Les projets en cascade

    Ce qui doit caractriser en premier lieu le projet, cest son objectif unique. Si lanalyse du problmervle une situation qui parat trop complexe aborder en un seul projet, que pouvez-vous faire ? Larponse est la suivante : adopter le systme appel projets en cascade , cest--dire dvelopper unesrie de projets parallles en vous assignant le mme objectif gnral mais des objectifs spcifiquesdiffrents. Il conviendra alors de modifier le cadre logique, comme indiqu dans lexemple du tableau 3.6.

    Les projets en cascade prsentent les avantages suivants :

    z ils permettent dviter de se lancer dans des projets trs complexes ;z chaque projet et sous-projet doit rpondre un objectif clairement dfini ;z des responsabilits clairement dfinies sont assignes chaque objectif spcifique ;

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    77

    z chaque projet doit reposer sur une logique dintervention clairement dfinie ;z chaque projet doit dfinir ses propres indicateurs de suivi-valuation ;z chaque projet et sous-projet doivent tenir compte de leur propre environnement externe.

    La mise en uvre du projet

    Le diagramme de Gantt est un outil qui permet de modliser la planification de tches ncessaires laralisation dun projet. Il est li aux rsultats du projet spcifis dans le cadre logique.

    OG

    OS1

    R1.1R1.2R1.3

    Objectifgnral

    Objectifspcifique

    Rsultatsescompts

    Activits Moyens Cot

    LI IOV MV H

    Tableau 3.6 Matrice du cadre logique pour les projets en cascade

    OS1

    R1.1

    Z1Z2

    Objectifgnral

    Objectifspcifique

    Rsultatsescompts

    Activits Moyens Cot

    LI IOV MV H

    Projet 1 Projet 2

    LI : logique dinterventionIOV : indicateurs objectivement vrifiablesMV : moyens de vrificationH : hypothses Source : Schiefer et al. (2001)

    Objectifgnral

    Objectifspcifique

    Rsultatsescompts

    Activits Moyens Cot

    LI IOV MV H

    OS1

    R1.2

    X1X2X3

    Objectifgnral

    Objectifspcifique

    Rsultatsescompts

    Activit Moyens Cot

    LI IOV MV H

    OS1

    R1.3

    Y1Y2

    Objectifgnral

    Objectifspcifique

    Rsultatsescompts

    Activits Moyens Cot

    LI IOV MV H

    OG : objectif gnralOS : objectif spcifiqueR : rsultats

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    78

    Les parties prenantes sontmieux sensibilises auxavantages que prsente unSQR

    Activits

    Prparation des activits desensibilisation

    Prparer des brochures surles prestations offertes par les centres SQR et lesdistribuer via les journauxlocaux

    Annonce dune journeportes ouvertes dans lesjournaux locaux et sur lesradios locales aux heures de grande coute

    Organisation de deuxsessions portes ouvertes pour sensibiliser les partiesprenantes (de prfrence lesamedi pendant leur tempslibre)

    Prparer et distribuer desformulaires permettant derecueillir leurs commentairessur ces deux sessions

    1.1

    1.1.1

    1.1.2

    1.1.3

    1.1.4

    1.1.5

    Prestataire :Tango & Co.

    Rf. n Rsultats et activits Personne Commentaires 2009-2010indicatives responsable N D J F M A M J J A S O

    Tableau 3.7 Exemple de diagramme de Gantt pour planifier (a) la mise en uvre dun projet et (b) les ressources

    1.1 Activits Jours Prix unitaire Quantit Total (en euros)

    1.1.1

    1.1.2

    1.1.3

    1.1.4

    1.1.5

    Prparation des activits de sensibilisation

    Prparer des brochures sur les prestationsoffertes par les centres SQR et les distribuer via les journaux locaux

    Annonce dune journe portes ouvertes dansles journaux locaux et sur les radios localesaux heures de grande coute

    Organisation de deux sessions portes ouvertespour sensibiliser les parties prenantes (deprfrence le samedi pendant leur temps libre)

    Prparer et distribuer des formulairespermettant de recueillir leurs commentaires sur ces deux sessions

    (a)

    (b)

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    79

    Le diagramme de Gantt rpertorie toutes les tches accomplir pour mener le projet bien et indiquela date laquelle ces tches doivent tre effectues. Pour chaque activit, il indique une date de dbutet de fin au plus tt et au plus tard, ainsi que le nom de la personne responsable de son excution etles tches qui lui incombent. Il fait apparatre les liens entre les diffrentes activits (savoir, par exemple,si la tche B peut dbuter lorsque la tche A nest pas termine). Le tableau 3.7 prsente un diagrammede Gantt type.

    Le budget du projet

    Les ressources physiques et non physiques du projet sont les moyens ncessaires pour excuter lesactivits planifies et grer votre projet. Ces ressources comprennent les intrants humains et matriels,le temps et les fonds. Elles constituent la base du budget global de votre projet, qui permet de dfinir lecadre financier de sa mise en uvre. La liste de contrle prsente dans lencadr 3.3 vous aidera dterminer les lments prendre en compte dans llaboration de votre budget.

    z Identifiez les principales rubriques budgtaires du projet en fonction de leur rpartition au sein de lensemble du budget. Est-ilacceptable pour le projet (et sur la base des standards existants) que ces lignes budgtaires constituent la principale rubrique dubudget du projet ?

    z Le budget concide-t-il avec les rubriques budgtaires retenues par lorganisme de financement ?

    z Existe-t-il une politique dencadrement des cots financer par chaque organisme de financement (par exemple, les cots defonctionnement, la rmunration du personnel local) ? Cette politique reflte-t-elle vraiment les cots associs au projet ?

    z Avez-vous intgr les cots fixes dans le budget ? Si tel est le cas, cela a-t-il t convenu lavance avec lorganisme de financement ?

    z Certaines des activits intermdiaires sont-elles coteuses ? Pourquoi le sont-elles ? Existe-t-il des moyens plus rentables de parveniraux mmes rsultats ?

    z Est-il possible de solliciter la contribution des parties prenantes cls afin de rduire les besoins en fonds allous par lorganisme de financement ?

    z Le projet gnre-t-il des revenus qui lui seront ensuite restitus ?

    z valuez la rentabilit du projet. Quel est le cot par bnficiaire ? Ce cot est-il acceptable par rapport aux projets similaires de mme envergure raliss dans la rgion ou dans le secteur ?

    z Le budget prvu est-il viable ? (par exemple, peut-on atteindre les objectifs fixs avec un minimum de ressources, et ce au cot le plus bas possible ?)

    Encadr 3.3 Liste de contrle permettant dtablir le budget dun projet

    Cadre logique et valuation

    Lvaluation remet en cause les hypothses initiales qui fondent le processus dlaboration du projet etpermet de dterminer si les objectifs spcifiques du projet ont t atteints. La mthode du cadre logiqueutilise pour concevoir un nouveau projet est diffrente de celle qui est utilise pour valuer un projet encours ou termin. En effet, au cours de la phase danalyse de lvaluation, vous utiliserez les informationsutiles la conduite du projet plutt que les sources de donnes primaires.

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    80

    La figure 3.4 met en vidence les principaux liens existant entre critres dvaluation et lments cls ducadre logique.

    Lorsque vous tablissez des liens entre les critres dvaluation et les lments du cadre logique, posez-vous la question suivante : Tout sest-il pass comme prvu ? . Pour rpondre cette question, ilconvient de mettre en exergue les points suivants :

    z la qualit de la gestion au quotidien,z la rentabilit,z le niveau de contribution des parties prenantes,z la qualit du suivi,z le caractre appropri des indicateurs.

    ImpactPertinenceDurabilit

    Utilit

    Figure 3.4 Liens existant entre les critres dvaluation et les lments du cadre logique

    EfficacitPertinence

    Convivialit

    EfficacitAccessibilitConvivialit

    Efficience

    Objectif gnral

    Objectif spcifique

    Rsultats escompts

    Activits

    Apports

    CRITRES DVALUATION LMENTS DU CADRE LOGIQUE

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    81

    La description des principaux critres dvaluation ci-aprs a pour but de mettre en vidence leurs liensavec les diffrents lments cls du cadre logique.

    La pertinence. Elle repose sur lanalyse des objectifs du projet au regard des enjeux identifis. Lesprincipaux facteurs prendre en considration sont les suivants :

    z ladquation du produit/service par rapport aux priorits des parties prenantes cls ;z la complmentarit et la cohrence avec les autres activits ou projets mis en uvre dans la

    rgion ;z la conception globale du projet (avantages et limites).

    Laccessibilit. Cest la possibilit quont les parties prenantes cls daccder votre projet.Autrementdit, leur facilit daccs au produit/service dinformation en termes de diffusion, de disponibilit etdopportunit.

    La convivialit. Il sagit de la facilit dutilisation par les parties prenantes cls de votre produit/service.Celle-ci repose sur plusieurs facteurs :

    z lexhaustivit du produit/service par rapport au contexte dans lequel il sera utilis ;z le niveau de langue accessible (la langue par elle-mme, son niveau et son style, si elle est

    prsente sous forme crite) ;z sa pertinence par rapport aux conditions de vie des parties prenantes, la clart des diagrammes et

    des illustrations ainsi que la prcision des informations sur le plan technique.

    Lefficacit. Cela renvoie la conformit des rsultats obtenus par le projet avec les objectifs du projet.Les principaux facteurs prendre en considration sont les suivants :

    z dans quelle mesure les objectifs viss ont t atteints ;z dans quelle mesure les bnfices escompts sont perceptibles ;z la pertinence des indicateurs au regard des bnfices ;z si les rsultats sappuient sur des hypothses inadquates ou non valides ;z comment des rsultats non planifis auraient pu affecter les bnfices apports.

    Limpact. Il dsigne les relations entre le but (ou lobjectif spcifique) et lobjectif gnral du projet.Lanalyse de limpact doit tre considre sous un angle tant quantitatif que qualitatif. Les principauxfacteurs prendre en considration sont les suivants :

    z dans quelle mesure les objectifs viss ont t atteints ;z la pertinence des indicateurs du cadre logique ce niveau ;z le caractre appropri des impacts spcifiques (ceux lis au genre, par exemple).

    La durabilit. Elle permet de dterminer si les rsultats positifs du projet sont susceptibles de perdureraprs que les financements ont pris fin. Les principaux facteurs prendre en considration sont lessuivants :

    z lappropriation des objectifs et des ralisations ;z lappui politique et les responsabilits des institutions bnficiaires ;z la capacit institutionnelle ;z ladquation du budget ;z les facteurs socioculturels ;z la durabilit financire.

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    82

    Lutilit. Cest la possibilit de voir votre projet reproduit avec succs ailleurs ou auprs dautresgroupes de parties prenantes. Il convient de prendre en compte les facteurs suivants :

    z lutilisation possible du produit dinformation par dautres groupes de personnes similaires ;z les conditions de succs du produit et le fait de savoir sil fait recette ailleurs ou auprs dautres

    groupes de personnes ;z ce quil convient de faire pour sassurer que le produit pourra tre utilis par dautres personnes

    dans dautres rgions (par exemple, traduction dans une autre langue et utilisation des illustrationsdans un autre contexte) ;

    z les enseignements tirs du projet dans la mesure o ceux-ci pourraient tre appliqus utilement dautres projets.

    Lefficience. Il sagit du rapport cot-efficacit de votre projet, produit ou service dinformation entermes de rsultats (quantit, qualit et respect des dlais) par rapport aux intrants engags. Lesprincipaux facteurs prendre en considration sont les suivants :

    z le projet a-t-il mobilis plus de ressources que ncessaire ;z la qualit de la gestion au quotidien ;z le niveau de contribution (financire et humaine) des partenaires ;z la qualit du suivi ;z le caractre appropri des indicateurs.

    Dans votre valuation, certains critres peuvent tre plus importants que dautres, en fonction du projet valuer.

    z Soyez clair et convaincant propos des spcifications concernant limpact du projet envisag.

    z Fixez des objectifs ralistes sappuyant sur un ensemble dactivits clairement dfinies.

    z tablissez des liens entre les ressources (intrants), les activits, les impacts et les objectifs oprationnels.

    z Veillez prendre en compte les facteurs externes qui peuvent avoir une influence sur la russite du projet.

    z Les indicateurs et les sources de vrification doivent tre constamment suivis et valus. Adaptez le cadre logique, si ncessaire.

    z Ne partez pas du principe selon lequel un cadre logique bien conu est forcment la cl du succs de votre projet.

    z Lorsque toutes les cases concernes de la matrice du cadre logique auront t remplies, ne relguez pas celle-ci aux oubliettes ; on doit sy rfrer en permanence pour pouvoir vrifier si les objectifs (gnraux et spcifiques) sont en voie dtre atteints.

    Encadr 3.4 Construction dun cadre logique Points cls retenir

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    83

    La gestion axe sur les rsultats

    La gestion axe sur les rsultats parfois appele gestion des performances ou mesure desrsultats est un modle de planification de projet qui vise rpondre une demande croissantequant la preuve que les activits finances obtiennent des rsultats long terme. Cette demande maneen particulier des organisations bnficiant dun financement public.

    Ce systme de gestion reflte le passage dun mode dvaluation ax sur les intrants du projet (parexemple, lefficacit financire, lutilisation des ressources humaines) un mode dvaluation ax sur lesextrants du projet (les rsultats attendus). Cette approche donne une comprhension plus raliste de lamanire dont le projet influe sur les conditions de vie de ses principales parties prenantes.

    Les plus fervents partisans de la gestion axe sur les rsultats sont la Banque mondiale, lAgence destats-Unis pour le dveloppement international (USAID) et lAgence sudoise de cooprationinternationale pour le dveloppement (SIDA). Les responsables de projet ont recours cet outil pourgrer leurs projets et en assurer le suivi. Pour les bnficiaires, cest un indicateur de ce quils peuventvraiment attendre dun projet. Pour les valuateurs, cest le moyen le plus simple de mesurer les rsultatsdun projet.

    LIMITESz La ralisation (tout comme lapplication) du cadre logique

    peut exiger un temps considrable.

    z Risque de simplifier outre mesure les objectifs.

    z Sil nest pas formul de manire participative, il risque dene pas reflter prcisment les solutions convenues.

    z Peut minimiser les objectifs moins quantifis et les effetsimprvus.

    z Cette approche repose sur la dtermination lavancedes rsultats du projet, alors que les contextes dudveloppement tendent tre complexes et pleindincertitudes.

    Encadr 3.5 Lapproche du cadre logique Avantages et limites

    AVANTAGESz Montre clairement le lien logique de moyens fins

    par lequel laccomplissement des objectifs spcifiquespermet la ralisation de lobjectif gnral.

    z Fait apparatre clairement les objectifs, les responsabilits,la mesurabilit et les sources de vrification.

    z Spcifie les intrants mis disposition et les cots inhrentsaux activits du projet.

    z Permet didentifier les hypothses et les risques majeurslis au projet.

    z Met laccent sur la collecte systmatique et efficace desinformations accessibles.

    z Contribue lamlioration des processus dcisionnels.

    z Joue un rle important dans toutes les tapes du cycle deprojet (y compris dans les processus de planification et demise en uvre de lvaluation).

    z Formul de manire participative, le cadre permet dereflter les multiples perspectives des parties prenantes.

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    84

    POURQUOI ?La gestion axe sur les rsultats est le meilleur moyen dtablir un lien entre les mesures de performanceet les rsultats attendus dun projet. Llaboration de rsultats spcifiques attendus durant la phase deplanification facilite non seulement les phases ultrieures de gestion et de suivi, mais aussi la mise enuvre de lvaluation.

    COMMENT ?Mme si le mode de mise en uvre de la gestion axe sur les rsultats varie selon les organisations, danstous les cas, elle se focalise sur les rsultats et les moyens de les atteindre, travers notamment :

    z une analyse de la situation existante ;z lidentification dobjectifs spcifiques ;z le choix dune stratgie permettant datteindre les objectifs fixs ;z llaboration de critres de russite ;z lanalyse des hypothses et des obstacles potentiels la russite du projet.

    La gestion axe sur les rsultats est perue comme tant un lien essentiel entre la phase dvaluation etla phase de planification. Lorsquune valuation est mene pendant la mise en uvre du projet, lesrsultats peuvent permettre dalimenter le processus de planification en cours. Lorsquune valuation estmene une fois le projet termin, les rsultats peuvent servir alimenter tout processus ultrieur deplanification stratgique et de diffusion des rsultats.

    Nous examinerons tout dabord le cadre de rfrence pour la mise en uvre de la gestion axe sur lesrsultats et vous en prsenterons, travers un exemple pratique, une application. Notre rflexion porteraensuite sur la gestion axe sur les rsultats dans le contexte du suivi-valuation.

    Le cadre de rfrence

    La gestion axe sur les rsultats repose sur la faon dont une organisation exploite ses capacits, renforcesa motivation, matrise ses processus et mobilise ses ressources pour atteindre les rsultats viss.

    Ce mode de gestion est gnralement fond sur des rsultats concrets montrant des effets bnfiquespour la communaut. Il ne faut surtout pas confondre rsultats avec activits . Bon nombre depersonnes, lorsquon leur demande ce quelles produisent, dcrivent leurs activits plutt que les rsultatsescompts qui dcoulent de ces activits (les produits).

    Les critres essentiels dune application efficace de gestion axe sur les rsultats sont les suivants :

    z des rsultats spcifis qui sont mesurables, pertinents et valuables ;z des ressources adquates pour atteindre les rsultats viss ;z des dispositions organisationnelles pour sassurer que les responsabilits sont alignes sur les rsultats

    et les ressources disponibles ;z des processus de planification, de suivi, de communication et de mobilisation de ressources qui

    permettent une organisation dutiliser efficacement ses ressources pour parvenir aux rsultatssouhaits.

    Les hypothses qui sous-tendent le cadre de gestion axe sur les rsultats sont exactement les mmesque celles qui ont t formules pour le cadre logique. Un projet est troitement li lenvironnementdans lequel il sinscrit et le responsable de projet ne peut exercer aucun contrle sur ce qui pourrait seproduire. La comprhension et lvaluation des hypothses prises en compte dans lenvironnement dunprojet font partie intgrante de son processus dlaboration.Afin dviter lchec dun projet, ilconviendra non seulement didentifier les hypothses de manire raliste, mais aussi den tenir compte etden assurer constamment le suivi.

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    85

    Lencadr 3.6 propose un exemple dapplication pratique dune approche de gestion axe sur les rsultats. Celui-ci met en exergue deux composantes importantes de la gestion axe sur les rsultats :

    z Cette approche fait la distinction entre les ralisations (rsultats), dune part, et lesactivits et la mise en uvre, dautre part. Dans lexemple propos, les activits comprennent laconduite dune analyse primaire pour avoir un aperu des points de vue et valuer les niveaux deconnaissances des personnes, prparer les moyens matriels affects au projet et enfin sensibiliser auprojet ces activits ne doivent en aucun cas tre considres comme des rsultats atteints.

    z Cette approche souligne la ncessit de dterminer lavance les rsultats attendus du projet. Dans lexemple propos, si lobjectif consiste uniquement susciter davantage lattention sur limportance dutiliser de leau potable, alors le projet ne peut tre tenu responsable si les fermiers utilisent encore leau dirrigation pour faire la cuisine. Si lobjectif est de changer leurcomportement, le rsultat qui importe ici est le nombre de fermiers ayant commenc utiliser leaupotable.

    Impact

    Figure 3.5 Cadre de la gestion axe sur les rsultats

    Rduire la mortalit due aux maladieshydriques lchelon national

    RSU

    LTATS

    ATTE

    NDUS

    POUR

    QUO

    I?O

    bjecti

    fsde

    lage

    stion

    bas

    esu

    rles

    rsu

    ltats

    Ralisations 100 agriculteurs connaissent le programme radio 50 agriculteurs ont chang leurs habitudes et

    pensent dsormais quil vaut mieux utiliser leaudu robinet pour faire la cuisine

    50 agriculteurs convertis Sensibilisation gnrale sur lintrt

    dutiliser leau potable pour faire la cuisine Ralisation de 10 campagnes mdiatiques

    Lancement dune campagne radiophonique Conversion des matriels en pisodes

    radiodiffuss Commission dexperts

    Experts Personnel Ressources financires

    Rsultats

    Activits

    Apports

    COM

    MEN

    T?M

    iseen

    uv

    re

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    86

    Le tableau 3.8 numre huit questions que vous pourriez utiliser pour dcrire votre projet selon uneapproche de gestion axe sur les rsultats. Cet exercice est particulirement utile pour apprendre treclair, concis et prcis sur les rsultats attendus de votre projet.

    Dans cet exemple, le projet vise lancer un programme radiophonique dans le but de sensibiliser les agriculteurs dune rgion donnesur la ncessit dutiliser leau potable du robinet (et non pas leau dirrigation) des fins domestiques.

    Lobjectif du projet serait de :z sensibiliser un nombre x dagriculteurs, travers la diffusion dun programme radio, sur lintrt dutiliser leau potable du robinet

    plutt que leau dirrigation pour faire la cuisine, boire et faire la lessive.

    La stratgie du projet consisterait :z lancer un programme radiophonique en langue locale qui serait diffus un moment o les agriculteurs coutent la radio un

    moment opportun pour leur faire passer une information sur les avantages de lutilisation domestique de leau potable et les risquespotentiels lis lutilisation de leau dirrigation ces fins.

    Exemples dactivits proposes :z mener une enqute pour connatre le nombre dagriculteurs qui ont accs leau potable mais ne lutilisent pas ;z identifier et dresser la liste des raisons pour lesquelles ils nutilisent pas leau potable ;z constituer une quipe dexperts charge de prparer une documentation scientifique pour le programme ; ils pourront par ailleurs

    sen inspirer pour laborer une srie dpisodes susceptibles dintresser les agriculteurs ;z dterminer le moment opportun pour promouvoir et diffuser le programme radiophonique.

    Exemples de rsultats possibles diffrents niveaux :z Niveau 1 : un nombre x dagriculteurs connaissent le programme radio et ont dj commenc lcouter.z Niveau 2 : un nombre x dagriculteurs le comprennent et savent dsormais pourquoi il faut utiliser leau du robinet.z Niveau 3 : un nombre x dagriculteurs ont chang leurs habitudes et pensent dsormais quil vaut mieux utiliser leau potable du

    robinet pour faire la cuisine, boire et faire la lessive.z Niveau 4 : un nombre x dagriculteurs ont chang leurs habitudes et nutilisent plus leau dirrigation pour faire la cuisine, boire et

    faire la lessive ; ils utilisent dsormais leau propre du robinet.

    Encadr 3.6 Exemple dapplication dune approche de gestion axe sur les rsultats

    Quel problme cherchez-vous rsoudre dans le cadre de ce projet ?

    Qui peut en tirer avantage ?

    Quelles sont les principales activits lies au projet ?

    Quelles sont les ralisations attendues de ces activits ?

    Quels sont les rsultats escompts partir de ces ralisations ?

    Quel impact aura votre projet ?

    Quels peuvent tre les obstacles majeurs au succs du projet ?

    Quels indicateurs utiliserez-vous pour mesurer ltat davancement duprojet en matire de ralisations et de rsultats ?

    Problme

    Qui ?

    Activits

    Ralisations

    Rsultats

    Impact

    Obstacles

    Indicateurs

    QUESTION MOT-CL VOTRE RPONSE

    Tableau 3.8 Exercice visant dcrire un projet selon lapproche de la gestion axe sur les rsultats

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    87

    Le suivi-valuation

    La possibilit davoir une gestion vritablement axe sur les rsultats implique la mise en adquation desobjectifs de suivi-valuation avec les plans annuels et les autres plans de travail de lorganismedexcution. Cette approche aide lorganisation se concentrer sur la ralisation des objectifs, en mettantlaccent sur une utilisation effective et pas seulement efficace des ressources.

    Le suivi

    Le suivi, tel quon le dcrit gnralement, consiste en la collecte systmatique de donnes (voir la deuxime partie). Il aide identifier les problmes courants lis la mise en uvre des activits.Il fournit en outre aux gestionnaires dun projet en cours des renseignements sur le degr de ralisation des objectifs viss et, le cas chant, dtermine les actions correctives ncessaires avantlvaluation.

    La gestion axe sur les rsultats met surtout laccent sur le suivi. Dans cette approche, on utiliselacronyme CREAM pour dcrire un bon indicateur :Clear (clair), Relevant (pertinent),Economic (conomique), Adequate (adquat) et Monitorable (valuable). Les points suivants sont essentiels :

    z satisfaire les besoins dinformation sur les rsultats au niveau du projet, du programme et de lapolitique ;

    z identifier la demande dinformation sur les rsultats chaque niveau ;z linformation sur les rsultats doit tre dissmine la fois horizontalement et verticalement au sein

    de lorganisation ;z dfinir clairement les responsabilits chaque niveau pour la collecte de donnes.

    Lvaluation

    Dans le cadre de lapproche de gestion axe sur les rsultats, les questions cls de lvaluation sont lessuivantes :

    z Stratgie : Ce qui est fait est-il juste sur le plan stratgique ? Cela renvoie une analyse raisonne et une thorie de laction qui soit claire.

    z Activits : Les choses sont-elles faites correctement ? Il sagit ici de lefficacit dans la ralisation des rsultats attendus, de lefficience dans loptimisation des ressources et de la satisfaction desutilisateurs.

    z Apprentissage : Peut-on amliorer la faon de faire les choses ? Il sagit denvisager dessolutions alternatives et de mettre en avant les meilleures pratiques et les leons tires de lexprience.

    La mthode de gestion axe sur les rsultats prvoit quatre cas qui justifient la collecte des donnesdvaluation pour appuyer le processus de prise de dcision en matire de gestion :

    z diffrence entre performance planifie et performance relle ;z ncessit de faire la distinction entre la phase dlaboration et la phase de mise en uvre pour savoir

    laquelle de ces deux phases contribue latteinte des rsultats ;z ncessit de dterminer ce qui marche (ou pas) de manire efficace et effective ;z interprtations divergentes des rsultats.

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    88

    Le benchmarking

    Le benchmarking, ou analyse comparative, est un outil de planification de projet qui consiste comparerun produit/service par rapport dautres produits/services ayant des fonctions similaires et destins auxmmes parties prenantes. Il est important de savoir comment ce produit/service a t valu et si lesparties prenantes cls ont t consultes.Autrement dit, il vous faut comparer ce qui est comparable, enutilisant les mmes paramtres.

    Le benchmarking est une dmarche qui vise identifier les meilleures pratiques lies aux procdures,produits et services dune organisation.Avant de se lancer dans ce type dexercice, il conviendra de tirerprofit des expriences russies dans ce domaine.

    Initialement dveloppe aux tats-Unis dans les annes 1970, la mthode de benchmarking a t utiliseprincipalement par des socits oprant dans le secteur industriel. Elle est aujourdhui de plus en plusutilise par les organisations du secteur public, les universits et les agences de dveloppement.

    Encadr 3.7 Construire un cadre de gestion axe sur les rsultats Points cls retenir

    z Clarifiez les paramtres du projet.

    z Rappelez-vous que lenvironnement dans lequel sinscrit votre projet est compos de multiples facteurs dincertitude susceptiblesdaffecter votre projet. Il vous faudra par consquent actualiser ce cadre en permanence.

    z Ne concevez pas votre projet pour ensuite essayer didentifier les causes du problme .

    z Montrez clairement dans quelle mesure les personnes impliques dans les activits du projet contribuent aux amliorations attendues long terme.

    z Ne dcrivez pas lobjectif du projet en fonction de ce qui doit tre fait mais plutt en termes de rsultats tangibles.

    LIMITESz Cette approche peut paratre confuse dans la mesure o

    on la dsigne parfois sous diffrentes appellations.

    z Les termes utiliss ne sont pas les mmes que ceux utilisspour le cadre logique, ce qui peut prter confusion.

    Encadr 3.8 Approche de gestion axe sur les rsultats Avantages et limites

    AVANTAGESz Requiert la participation des parties prenantes cls et des

    acteurs impliqus dans la mise en uvre du plan.

    z Approche objective et axe sur les rsultats qui metlaccent sur les objectifs fixs et les moyens dy parvenir.

    z Elle est base sur la squence logiqueintrants/activits/rsultats court terme/objectifs moyenet long termes.

    z Flexible.

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    89

    POURQUOI ?Le benchmarking vise amliorer lefficacit et lefficience de votre projet et contribue ainsi renforcerson niveau de performance. Il vous aide identifier et adopter des normes plus strictes et des pratiquesoptimales.

    COMMENT ?Le processus de benchmarking se droule en plusieurs tapes. Sil doit tre excut de faon squentielle,comme lindique la figure 3.6, le benchmarking ne doit pas tre considr comme un processus linaire.Il est possible que vous soyez amen revisiter des activits intervenant au cours des tapes prcdentes(revenir sur le droulement de vos propres oprations, par exemple) et enchaner simultanmentdiffrentes activits en plusieurs tapes conscutives.

    Quel que soit le type de squence utilis, il faut toutefois sassurer que chacune des tapes a t suivie.

    Les types de benchmarking

    Il existe diffrents types de benchmarking, comme indiqu dans le tableau 3.9.

    Le processus de benchmarking

    Le processus de benchmarking est illustr la figure 3.6, qui rend compte des huit tapes du processus.Ltape 8 est particulirement importante. Spore, le magazine phare du CTA destin toutes lespersonnes impliques dans des projets de dveloppement agricole et rural dans les pays ACP , est utilis

    Interne

    Concurrentiel

    Fonctionnel

    Gnrique

    Il sagit de comparer ses activits dautresactivits similaires lintrieur de sa propreorganisation

    Il sagit de se comparer au meilleur desconcurrents sur le march

    Il sagit de comparer des mthodes similaires ausein dorganisations oprant dans diffrentssecteurs dactivit afin damliorer les fonctions etprocessus de travail

    Il sagit de comparer ses pratiques avec cellesdun secteur diffrent (pratiques innovantes etexemplaires, par exemple)

    TYPE DESCRIPTION EXEMPLE

    Tableau 3.9 Typologie du benchmarking

    Entre les diffrents services au sein dune mmeorganisation. Principal avantage : facilit daccsaux donnes et informations sensibles. Inconvnient : manque dinnovation

    Un centre de formation bas au RU a compar sesactivits avec celles de lOpen University, rputepour son enseignement distance de qualit

    Souvent utilis lorsquil ny a aucun homologue (parexemple, une agence de dveloppement ayant uneapproche unique pour la mise en ?uvre de projetsdinformation dans les pays ACP devra explorerdautres horizons que le secteur de linformation lieau dveloppement pour comparer ses activits)

    Une agence de dveloppement pourrait se comparer une agence de lobbying afin dexaminercomment elle utilise son rseau pour influencer leprocessus dcisionnel sur le plan politique

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    90

    comme exemple. Ce magazine se distingue plusieurs titres : son utilit, son rapport cot-efficacit, sesanalyses systmatiques et rigoureuses, la qualit de son contenu, sa ractivit (Spore parat en formatsimprim et lectronique).

    TAPE 1

    Identifier leproduit/service comparer

    Votre bulletindinformation

    Figure 3.6 Les tapes du processus de benchmarking

    TAPE 2

    Que souhaitez-vousvaluer et quipropose unexemple derfrence ?

    Le magazine Spore

    TAPE 3

    Slectionner unprocessus etlorganisationproposant la meilleure pratique

    Au moment delanalyse desdonnes, prparerles questions poser

    TAPE 4

    Questions (exemples) :

    Q : Quel tait le tauxde distribution initialdu bulletindinformation (parrapport au magazineSpore) ?

    R : 20 %

    Q : O en sommes-nous prsent ?

    R : 40 %

    Q : Taux dedistribution attendupour tre comparable Spore ?

    R : en 1 an 60 %en 2 ans 80 %en 3 ans 100 %

    TAPE 5

    Q : Quels sont lesmoyens pour yparvenir ?

    R : Amliorer laformation du personnelen charge de lapublication ; amliorerla prsentation ;proposer davantagede questionstransversales ; inviterles experts apporterleur contribution

    Q : Comment savoir si nous y sommesparvenus ?

    R : Enqutes auprsdes lecteurs ;augmentation deschiffres de diffusion du bulletin

    Analysez votre bulletin dinformation et comparez vos rsultats avec ceux dumagazine Spore en termes dutilit, de rentabilit, de qualit du contenu,dopportunit et de diffusion

    TAPE 6

    laide desrponses auxquestions de ltape 5, vrifierles rsultats obtenuset tablir lesindicateurs deperformance

    TAPE 7

    Formuler un plandaction (pour lamise en uvre deschangements).Prsenter les rsultatsde votre exercice debenchmarking auxmembres dupersonnel afindobtenir leuradhsion auxchangements

    TAPE 8

    Mise en uvre deschangements.Assurer le suivi deschangements surune base rgulirepour vrifier que leschoses avancentdans la bonnedirection

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    91

    Lidentification des indicateurs

    Cet outil de planification de projet vous aidera identifier les indicateurs appropris pour mesurer ltatdavancement de ce quoi vous souhaitez parvenir.

    Les indicateurs sont des mesures quantitatives ou qualitatives qui vous permettent dvaluer le degr de ralisation des rsultats et de limpact de votre projet. Ils vous aident galement mettre laccent surce que vous essayez vraiment de raliser, et pourquoi. Ils refltent les aspects que vous jugez les plusimportants de la qualit de votre produit/service. Ils peuvent tre quantitatifs (par exemple, combien depersonnes ont cout tel programme radiophonique ?) ou qualitatifs (quont-elles pens du contenu dece programme ?). Certaines choses sont relativement faciles mesurer (par exemple, le nombre de

    Encadr 3.9 Mener bien un exercice de benchmarking Points cls retenir

    z Assurez-vous dobtenir laval de la direction avant de vous lancer dans ce type dexercice.

    z Entourez-vous de personnes dotes de comptences largies afin de renforcer votre quipe de benchmarking interne.

    z Ne vous basez pas sur des points de comparaison prexistants.

    z Nessayez pas dtudier un systme dans son intgralit ; scindez votre systme en plusieurs parties, plus faciles grer.

    z Ne vous lancez pas dans un exercice de benchmarking uniquement pour le plaisir.

    z Choisissez des sujets tangibles qui ne sont pas trop difficiles valuer.

    LIMITESz Peut ncessiter du temps et un socle commun de

    comptences et de connaissances.

    z Il est parfois difficile, pour des raisons de confidentialit,de convaincre les partenaires de partager leursinformations.

    z Il peut y avoir des problmes de communication entre lespartenaires.

    z La direction nappuie pas toujours cette dmarche dansla mesure o elle risque dexposer les faiblesses delorganisation.

    z Il peut savrer difficile de transfrer les meilleurespratiques vers dautres organisations en raisonnotamment de facteurs culturels et environnementaux.

    z Il faut un certain temps avant daboutir des rsultatsquantifiables, en fonction de la porte et de la nature deschangements apports.

    Encadr 3.10 Lexercice de benchmarking Avantages et limites

    AVANTAGESz Offre lopportunit de sappuyer sur le travail des autres,

    pour viter de rinventer la roue et faciliter une utilisationoptimale des ressources.

    z Aide identifier ce qui doit tre amlior, et comment(normes plus strictes, qualit).

    z Aide identifier les zones dombre et les moyens dactionncessaires pour les clarifier.

    z Permet didentifier les meilleures pratiques institutionnelles.

    z Men de manire participative, ce processus permet auxemploys de visualiser les amliorations apportes, ce quipeut tre un catalyseur pour le changement.

    z Encourage les organisations trouver les moyensdvaluer leurs produits/services en termes dintrants et dersultats afin de promouvoir les aspects les plusbnfiques dun projet.

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    92

    personnes qui utilisent votre produit/service), dautres le sont moins (par exemple, comment lesutilisateurs ont-ils tir parti de ce produit/service ?). En raison dune adquation imparfaite entre certainsindicateurs et ce quils sont censs mesurer, il est souvent prfrable dutiliser plusieurs indicateurs pourrendre compte de diffrentes dimensions.

    Afin den valuer la performance, identifiez tout dabord votre produit/service dinformation, puisdemandez-vous qui il sadresse et comment il est fourni. Cela vous donnera des orientations sur ce quepeuvent tre des indicateurs defficacit ou defficience. Des mesures rptes au fil du temps montrerontsi les changements vont dans la direction souhaite.Au besoin, il conviendra de prendre certainesmesures afin dapporter de nouveaux changements.

    La procdure est la mme pour valuer limpact de votre produit/service. Ici, les indicateurs sont lis auxrsultats, aux effets bnfiques pour les parties prenantes cls et leur impact sur lenvironnement socio-conomique. Par exemple, limpact des missions radiophoniques hebdomadaires sur les agriculteurs peutse rvler au travers dune meilleure connaissance des prix pratiqus sur le march ; lindicateur icipourrait tre le changement de prix la production sur le march local par rapport ceux pratiqusdans les agglomrations urbaines. Cette meilleure connaissance pourrait orienter les agriculteurs vers desproductions mieux rmunres ; un indicateur utile pourrait ici tre le pourcentage de changement dansla production de certaines cultures au cours dune priode donne.

    POURQUOI ?Les indicateurs constituent un moyen de rendre mesurables les questions que vous jugez importantes. Ilsvous permettent de rpondre des questions telles que :

    z Offrons-nous un produit/service utile rpondant la demande/au besoin des principales partiesprenantes ?

    z Les utilisateurs en ont-ils pour leur argent ?z Son utilisation est-elle optimale par rapport aux ressources engages ?z Devrions-nous procder diffremment ?

    Vous devrez par consquent tablir pourquoi vous souhaitez valuer certaines questions et quellesdimensions vous semblent importantes.Vous choisirez votre mthode de collecte de donnes en fonctiondes indicateurs identifis. Ces indicateurs vous guideront par ailleurs dans lanalyse, linterprtation et ladiffusion des donnes.

    COMMENT ?Tout dabord, ayez une ide prcise de ce que vous voulez connatre. Rflchissez ensuite au meilleurmoyen de recueillir ces informations et identifiez-en les dimensions qui peuvent tre mesures. Parexemple, si vous vous intressez au niveau de satisfaction des auditeurs , vous pouvez conduire uneanalyse daudience au cours de laquelle vous poserez notamment la question : Avez-vous aim leprogramme X ? .Vous devrez ensuite mesurer le pourcentage dauditeurs ayant rpondu oui .Vouspourriez galement souhaiter connatre quelles parties du programme les auditeurs ont le plus apprcies; dans ce cas, un entretien individuel vaut mieux quun questionnaire pour obtenir ce type dinformations.

    Llaboration des indicateurs

    Le processus se droule en cinq tapes :

    z tape 1 : Vrifier que les objectifs du projet sont mesurables.z tape 2 : Choisir les indicateurs.z tape 3 : Spcifier le type dindicateursz tape 4 : Dterminer les points de rfrencez tape 5 : valuer la qualit des indicateurs

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    93

    tape 1 : Vrifier que les objectifs du projet sont mesurables

    Certaines questions sont des indicateurs vidents (par exemple, le nombre dutilisateurs dun servicedinformation). Dautres sont plus abstraites (par exemple, des termes comme la qualit du servicedinformation, ou l apprentissage qui rsulte du service offert).Ainsi, vous devrez dfinir en destermes concrets la question et les activits affrentes. Lencadr 3.11 montre comment rendre mesurableune question abstraite.

    Pour mesurer la qualit dun service dinformation, il faudra tenir compte des critres suivants :

    z Laccessibilit (la distance depuis le point de service, le temps ncessaire pour rpondre aux diffrentes demandes, les moyenstechniques requis pour pouvoir accder au service).

    z La convivialit (disponibilit des informations ncessaires laccomplissement de certaines tches, documentation pertinente dansune langue comprhensible, images et diagrammes comprhensibles par tous, etc.).

    z La pertinence (met laccent sur les problmes rels auxquels les parties prenantes cls sont confrontes, offre des choix et denouvelles perspectives, indique dautres sources dassistance disponibles et intervient en complmentarit).

    z Lefficience (lenchanement logique, lutilisation de matriel didactique et illustratif).

    Les aspects lis la mesure de lapprentissage leffet bnfique direct dun service dinformation sont les suivants :

    z lamlioration des connaissances (aptitude identifier et rsoudre les problmes) ;

    z ladoption dun comportement plus assur (plus mme de fournir le service) ;

    z lutilisation rgulire des comptences (nombre de fois o de nouvelles connaissances sont appliques).

    Encadr 3.11 Rendre une question abstraite mesurable

    Afin dvaluer le concept abstrait, identifiez les aspects spcifiques mesurer. Chaque aspect peut devenirun indicateur. Leur nombre dpendra du temps et des ressources disponibles.

    Les diffrents aspects mesurer devront reflter les points de vue des parties prenantes. Lutilit dunproduit dinformation dpend par ailleurs des valeurs de la communaut desservie. Pour assurer unereprsentation approprie des questions, il sera donc utile dexplorer les points de vue des partiesprenantes. Lutilisation dune approche participative peut galement reprsenter un gain de tempssignificatif dans la dure.

    tape 2 : Choisir les indicateurs

    Ltape 1 offre de nombreuses possibilits pour formuler les questions dvaluation. Ltape 2 consiste slectionner une batterie dindicateurs pour lvaluation.Vous devrez passer en revue tous les points derfrence ncessaires afin de dterminer quelles sont les questions essentielles valuer. Lvaluation dela performance dun produit/service comprendra des indicateurs sur la qualit des services offerts, lesbnfices attendus et le groupe cibl par le projet. Lvaluation de limpact dun produit/service inclura

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    94

    des indicateurs relatifs aux rsultats, aux bnficiaires immdiats et aux changements apports au sein dela communaut.

    Le nombre dindicateurs sera choisi en fonction des ressources disponibles pour lvaluation. Il ne faut pasplus de 10 15 indicateurs maximum, sauf pour les tudes de plus grande envergure. En rgle gnrale, ilvaut mieux se limiter un petit nombre dindicateurs fondamentaux.

    Les indicateurs doivent galement tre choisis sur la base de critres mthodologiques (voir encadr3.12). Pour dterminer, parmi les questions identifies ltape 1, celles qui sont susceptibles de setraduire par un indicateur, consultez la liste ci-aprs. vitez tout chevauchement ou double emploi dans laliste des indicateurs dfinitifs.

    Les critres communment utiliss pour dfinir de bons indicateurs sont les suivants :

    VALIDIT Lindicateur mesure-t-il la situation/le rsultat ?

    FIABILIT Cette mesure sera-t-elle fiable dans le temps ?

    SENSIBILIT Cette mesure est-elle sensible aux changements de situation ?

    SIMPLICIT La collecte et lanalyse des donnes seront-elles simples mettre en uvre ? Les informations recueillies seront-elles utilespour la prise de dcision et lapprentissage ?

    ABORDABILIT Dispose-t-on des ressources suffisantes pour collecter ces informations ?

    Encadr 3.12 Exigences mthodologiques respecter dans le choix des indicateurs

    tape 3 : Spcifier le type dindicateurs

    Dans ltape 3, vous dciderez si un indicateur doit tre qualitatif ou quantitatif :

    z Les indicateurs qualitatifs prsentent des informations descriptives. Ils ont pour but de mettre envidence des processus et des diffrences qualitatives plutt que de compter des lments.Linformation pour ces indicateurs est souvent issue dobservations individuelles ou de groupe et dejugements. Les indicateurs qualitatifs peuvent tre transforms en informations quantitatives (dans uneenqute, par exemple, aprs avoir demand aux rpondants si un bulletin dinformation tait facile lire, intressant et attractif, vous pourriez utiliser les informations obtenues pour quantifier le nombrede rponses positives cette question).

    z Les indicateurs quantitatifs sont principalement utiliss pour les lments qui peuvent tre compts.Les donnes sont relativement simples obtenir. Elles sont souvent gnres lors du processus demise en uvre dun projet et devront faire lobjet dune simple analyse (par exemple, le nombre detlchargements sur un site Web). Dautres types de donnes devront en revanche faire lobjet duneanalyse explicite, sur la base des statistiques disponibles et de questionnaires formels.

    Comme le dcrit lencadr 3.13, il est possible daffiner vos indicateurs qualitatifs et quantitatifs en ajoutant lunit danalyse en termes de niveau du systme social (qui individus, communauts,organisations, rseaux, etc.), de priode de mesure (quand) et, le cas chant, de couverture gographique (o).

    Si les indicateurs quantitatifs sont plus prcis, les indicateurs qualitatifs ont le mrite de fournir une imageplus riche de la ralit et permettent de mieux comprendre les raisons du changement. Chacun de cesdeux types dindicateurs est objectif sa faon. Les donnes quantitatives sont moins susceptibles

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    95

    dtre remises en cause. Les donnes qualitatives, en revanche, aident montrer la pertinence des faitsquon ne peut ignorer . Dans le contexte dun processus dapprentissage ouvert et dynamique, lesdonnes qualitatives sont souvent plus utiles pour convaincre les gens de la valeur dun projet. Il estgalement possible dutiliser une combinaison dindicateurs qualitatifs et quantitatifs ; cette approchesavre souvent la plus approprie.

    noter quil nest souvent pas possible dobtenir les donnes dtailles qui idalement vousconviendraient. Dans lexemple de lencadr 3.11, il serait plus raliste dutiliser un indicateur qualitatif quise penche sur la perception globale et le degr de satisfaction quont les utilisateurs vis--vis de votreservice dinformation plutt que danalyser les critres qui dterminent la qualit du servicedinformation (accessibilit, convivialit, pertinence, efficience).

    tape 4 : Dterminer les points de rfrence

    Quil sagisse dun indicateur qualitatif ou quantitatif, il est ncessaire de dfinir un point de rfrence partir duquel il sera possible de comparer des mesures entre elles. Les donnes de base, qui se rfrentexactement aux critres associs lindicateur, constitueraient un point de rfrence idal.

    Pour les donnes de base quantitatives lexception de quelques mesures simples (par exemple, leschiffres relatifs la diffusion dun bulletin dinformation) on ne dispose gnralement pas de tellesinformations. Il est beaucoup plus facile de trouver des donnes de base qualitatives. Les projets dedveloppement disposent gnralement dune documentation concernant les problmes auxquels ils sontcenss rpondre et de plusieurs sources de donnes de base.

    Hormis les donnes de base, il existe des points de rfrence alternatifs partir desquels il est possiblede comparer plusieurs mesures entre elles, comme indiqu dans lencadr 3.14.

    tape 5 : valuer la qualit des indicateurs

    Ltape suivante consiste valuer la qualit des indicateurs slectionns. Une technique communmentutilise cet effet est appliquer les critres SMART et SPICED aux indicateurs (voir deuxime partie,page 50).

    Indicateurs quantitatifs relatifs l accessibilit dun service dinformation :

    z Distance qui spare les communauts rurales dun tlcentre offrant des services dassistance un cot relativement bas.

    z Changement en pourcentage du nombre de visiteurs du tlcentre sur une priode dfinie.

    Indicateurs qualitatifs relatifs l amlioration des connaissances induite par un service dinformation :

    z Un certain nombre communauts vivent proximit du tlcentre, ce qui leur permet dutiliser ses services lorsquelles en ont besoin.

    z Les expriences positives et ngatives des utilisateurs du service dinformation dans la rsolution des problmes pour lesquels ceservice a t mis en place.

    z Aptitude des utilisateurs dbattre du problme pos.

    Encadr 3.13 Exemples dindicateurs qualitatifs et quantitatifs

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    96

    Ces critres sont utiliss pour une vrification finale des indicateurs. Il nest pas facile de rpondre tousles critres la fois. Pour que votre valuation soit rentable, il faut viter de dfinir des indicateurs tropambitieux ou financirement coteux mesurer.

    La cration dindicateurs est un processus itratif. partir de ltape 5, il pourra savrer utile de revenirsur certaines tapes prcdentes. Souvent, la mise au point dindicateurs fait dj partie du processusdvaluation, notamment lorsque vous travaillez en troite collaboration avec les parties prenantes.

    z Les tendances (par exemple, une augmentation ou une baisse constante des demandes de subvention, une augmentation dunombre de commentaires et suggestions de la part des lecteurs dune publication).

    z Les seuils (par exemple, au moins trois districts couverts dans une base de donnes, le nombre minimum dtudiants participant un cours).

    z Les cibles (par exemple, le nombre de documents distribus une date convenue, les actes dune confrence disponibles en formatpapier une date convenue).

    Encadr 3.14 Points de rfrence pour comparaison

    Vrifiez que vos indicateurs sont bien SMART :

    Spcifiques et simples SMesurables MRalisables (Applicables) ARalistes RTemporellement opportuns T

    Exemple dindicateur SMART :Si lobjectif du projet est de promouvoir lutilisation de varits amliores de semences et les pratiques agricoles au sein dune rgion donne, la proportion dagriculteurs ayant utilis long terme ces varits amliores ainsi que les techniques agricolesrecommandes serait un bon indicateur. Ces informations sont spcifiques, mesurables, disponibles, ralistes et temporellementopportunes.

    Vrifiez que vos indicateurs sont bien SPICED :

    Subjectifs SParticipatifs PInterprts et communicables ICroiss et compars CDonnant du pouvoir EDivers et dsagrgs D

    Exemple dindicateur SPICED :Si lobjectif du projet est de promouvoir lutilisation de varits amliores de semences et les pratiques agricoles au sein dune rgiondonne, la question de savoir pourquoi les agriculteurs ont utilis (ou non) ces nouvelles varits et pratiques et qui taient cesagriculteurs (ge, genre, sant, niveau de pauvret, etc.) seraient de bons indicateurs.

    Encadr 3.15 Critres SMART et SPICED permettant de mesurer la qualit des indicateurs

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet

    97

    Lapplication des indicateurs

    Une fois les indicateurs mis au point, utilisez les donnes collectes pour valuer la performance de votreproduit/service dinformation.Vous devez tre mme de comprendre la signification des donnesfournies par les indicateurs de manire les rendre plus pertinentes.

    Les autres donnes recueillies au cours du processus dvaluation hormis celles issues des indicateurs peuvent savrer trs prcieuses pour comprendre les rsultats. Les indicateurs qualitatifs offrentdavantage de possibilits cet gard.

    Encadr 3.16 Sources dinformations supplmentaires sur les indicateurs

    Les agences et associations professionnelles ont dress des listes dindicateurs cls de performance et de codes de conduite.

    Parmi les exemples, citons le Systme dvaluation de la performance et de gestion de la qualit pour les bibliothques lectroniques(http://equinox.dcu.ie), ainsi que lIFLA (Fdration internationale des associations et institutions de bibliothques) qui travaille surlvaluation des performances (http://www.ifla.org/VII/s22/annual/sp22.htm). Un autre exemple est celui du standard thique de laFdration internationale des journalistes (http://ifj.org/).

    Il est galement utile de sintresser aux guides spcifiques dvaluation, notamment ceux fournis par le Centre de recherches pour ledveloppement international (CRDI) sur lvaluation des tlcentres (Whyte, 1999 a, b).

    Encadr 3.17 Crer et appliquer des indicateurs Points cls retenir

    z Les indicateurs doivent tre dfinis au stade de la planification dune activit.

    z Rappelez-vous que vous avez besoin dindicateurs qualitatifs pour expliquer ce qui se passe et pourquoi.

    z Ayez lesprit que tous les indicateurs doivent tre utiliss de faon critique.

    z Assurez-vous que les parties prenantes saccordent sur le choix des indicateurs. La valeur dune valuation peut tre mise en cause siles indicateurs ne sont pas perus comme le critre adquat. Chaque indicateur peut tre contest (par exemple, un indicateur montreque 80 % des lecteurs dune publication donne la trouvent utile ; nanmoins, ces lecteurs sont-ils capables dappliquer cesconnaissances nouvellement apprises ?).

    z Il est important de donner des lments dexplication concernant les indicateurs quantitatifs. La signification des nombres gnrsdevra tre clarifie en dcrivant en termes qualitatifs ce quun chiffre particulier signifie dans un contexte donn.

    z Lutilisation dindicateurs standards ou manant de prcdentes tudes permet dconomiser du temps, mais utilisez-les avecprcaution et assurez-vous quils sont bien compris de tous et quils correspondent votre objectif.

    z vitez de passer trop vite de lanalyse la mesure des questions poses. Il vaut parfois mieux formuler des questions que desindicateurs, notamment dans le contexte de lapprentissage social, qui est caractris par des changements graduels, des points devue divergents et par la dimension culturelle du changement social.

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    98

    LIMITESz En mesurant les changements sans tenir compte du

    contexte dans lequel est effectue la collecte desdonnes, il est possible daboutir des conclusionsinappropries.

    Encadr 3.18 Utilisation des indicateurs Avantages et limites

    AVANTAGESz Bien formuls, les indicateurs constituent un lment cl de

    lvaluation et de lvaluation dimpact.

    z La cration des indicateurs peut amener les participants lvaluation (y compris les parties prenantes cls et les membres de lquipe de projet) rflchir sur lesobjectifs du projet et rvler leurs attentes concernant leprojet.

  • Partie 3: LES OUTILS DVALUATION : Les outils de planification de lvaluation

    99

    LES OUTILS DE PLANIFICATION DE LVALUATION

    prsent, vous tes prt planifier votre valuation.Avant toute chose, posez-vous la question de savoirpourquoi vous souhaitez conduire un processus dvaluation afin de ne pas prjuger de lventualit dedcisions ultrieures. Par consquent, prenez le temps de bien clarifier vos objectifs.

    Vous devrez ensuite rflchir la faon de procder, tape par tape, cette valuation. Il vous faudranotamment choisir les personnes qui y participeront. Qui sera impliqu dans le processus ? Leurs pointsde vue peuvent-ils influencer les dcisions lies aux objectifs de lvaluation ? Quels indicateurs faudra-t-ilmesurer, et comment ? Si certaines ou lensemble des dcisions doivent tre prises en commun avec voscollgues, voire avec les parties prenantes cls ? La prise de dcision seul ou en petit groupe permet ungain de temps prcieux mais se fait parfois au dtriment de la qualit des informations fournies et durenforcement des capacits organisationnelles.

    Si vous dcidez dimpliquer les parties prenantes cls, vous avez disposition une gamme compltedoutils (jeux de rle, reprsentations graphiques, vidos) pour encourager leur participation et runirdes informations utiles lvaluation. Dans la mesure du possible, celle-ci devra reposer sur unedmarche participative (qui demande galement du temps). La dmarche participative apparat dautantplus pertinente quelle nous permet dapprendre beaucoup plus de choses.

    Les outils utiliser pour planifier votre valuation comprennent :

    z les termes de rfrence,z le modle logique.

    Dans cette section, nous allons dcrire chacun de ces outils et comment les utiliser avant de dtaillerceux dont vous avez rellement besoin pour mettre en uvre votre valuation.

    Les termes de rfrence

    Les termes de rfrence (TDR) dfinissent les modalits et les chances qui devront tre prises encompte par lquipe dvaluation. Ils prcisent notamment :

    z le contexte du projet valuer ;z les principales raisons de lvaluation ;z les objectifs et les rsultats attendus de lvaluation ;z les questions cls et la porte de lvaluation ;z la mthode dvaluation ;z les rles et responsabilits des participants lvaluation ;z le plan de travail et le budget de lvaluation ;z les processus de communication et de diffusion des rsultats ;z les principaux documents consultables pendant lvaluation.

    Initialement tablis pour les tches de suivi-valuation, les TDR peuvent tre utiliss dautres fins,notamment pour laborer des plans daffaires ou proposer des tudes de recherche.

    POURQUOI ?Il est trs important de prparer soigneusement les termes de rfrence, qui fixent les critrespermettant de juger les performances de lquipe dvaluation. Lquipe doit sassurer que le rapport finalaborde tous les points soulevs dans les termes de rfrence. Dans le cas contraire, notamment en raison

  • Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation

    100

    de circonstances indpendantes de votre volont, vous devez en informer le plus tt possible la directionet les autres parties prenantes cls.

    COMMENT ?Le contenu des TDR peut varier en fonction de la porte du projet et des questions cls aborder dansle cadre de lvaluation. Nanmoins, il existe un format gnralement accept et un rfrentiel standardpour tablir ces termes de rfrence.

    La prparation des termes de rfrence

    La prparation des TDR se fait en neuf tapes, dcrites ci-aprs.

    tape 1 : Contexte de lvaluation

    Prparez un profil du produit/service dinformation valuer : son contexte historique, son volution et son lien ventuel avec lobjectif du projet et avec votre institution. Identifiez clairement les partiesprenantes cls, leurs problmes, leurs rles respectifs dans le processus dvaluation ainsi que les besoinsqui ont abouti llaboration de ce produit/service.

    tape 2 : Raisons de lvaluation

    Vous devrez indiquer les raisons qui justifient la mise en uvre dun processus dvaluation, autrement dit les facteurs qui ont motiv cette demande dvaluation (par exemple lapprentissage, lamlioration duproduit/service, la redevabilit vis--vis des agences de financement). Sil existe dautres raisons,ajoutez-les ici.

    tape 3 : Objectifs de lvaluation et rsultats escompts

    Dcrire clairement les objectifs, et notamment :

    z dterminer si le projet est en voie daboutir ;z collecter des donnes de base qui serviront dintrants (inputs) dans dautres activits similaires ;z fournir lorganisme de financement suffisamment dinformations pour lui permettre de porter un

    jugement clair sur la performance du projet.

    Dcrire clairement les rsultats escompts, travers notamment :

    z une analyse des rsultats en termes de critres dvaluation (voir deuxime partie, pages 33-34) ;

    z lidentification des points forts et faiblesses des recommandations sur le projet afin de dterminer lesstratgies futures de projets similaires.

    tape 4 : Questions cls et port