Des évaluations innovantes pour éclairer la décision...

Midi-Pyrénées (siège social) :Christian HuguesSoraya Fahmytél 33 (0) 5 61 76 89 30fax 33 (0) 5 61 76 89 [email protected] d’En SériéF 31810 Clermont-le-Fort

Ile-de-France :Frédéric Lefebvre-NaréLucie Pothin-MadonDelphine Rivièretél 33 (0) 1 30 76 00 40fax 33 (0) 1 30 76 06 [email protected], boulevard Jeanne d’ArcF 95100 Argenteuil

Pays de la Loire :Christine de Bonnechosetél et fax 33 (0) 2 28 13 00 [email protected], rue KléberF 85200 Fontenay-le-Comte

SARL au capital de 10 000 RCS Toulouse B 419 661 129APE 742 CSiret 419 661 129 00025TVA FR 29 419 661 129

www.evalua.com

Des évaluations innovantes pour

éclairer la décision publique :

l'expérience d'evalua depuis 1998

Journées SFE Limoges - 27 octobre 2003

mailto:[email protected]



Journées SFE Limoges - octobre 2003 Page 1

evalua en quelques motsDepuis 1998, evalua est l’un des quelques cabinets qui font de l’évaluation des interventionspubliques leur expertise centrale. Plus de 50 missions nous ont été confiées dont unequarantaine d'évaluations, en France et à l'étranger (Union européenne, PECO, PVD).

evalua met au service des décideurs publics une gamme de méthodologies orientées sur laprise de décision, adaptées à la diversité des questions et des enjeux, et validées par plusieursutilisations à ce jour :

Évaluations de synthèse sur des programmes ou politiques multi-sectorielles,

Conception et analyse d'enquêtes, petites ou grandes, auprès du public,

Diagnostics orientés sur la prospective stratégique,

Jeux de rôles pour la formation à l'évaluation, Généralisation, appuyée sur des questionnaires, des leçons d'études de cas,

Analyse financière du coût complet des politiques,

Sélection et évaluation d'indicateurs à partir de l'audit d'une production statistique,

Appui à l'écriture de cahier des charges, Création d'outils d'auto-évaluation,

Analyse du cadre logique assistée par des outils statistiques,

Expertise et conseil à la fonction évaluation interne …

Sur chaque secteur précis, nous intervenons en binôme avec des spécialistes, souventuniversitaires, du champ concerné. Dans chaque pays étranger, nous nous associons avec desconsultants nationaux. Ces associations assurent au commanditaire la meilleure synergie entreconnaissances préalables et regard extérieur, entre innovation et faisabilité des recommandations.

La satisfaction de nos commanditaires est mesurée et améliorée par une enquête réaliséeauprès d'eux tous les 18 mois.En-dehors de la SFE dont les associés d'evalua sont membres fondateurs, les consultantsparticipent activement aux travaux des autres associations professionnelles : SociétéEuropéenne d’Évaluation (EES), Afigese … et aux listes de discussion sur l'évaluation.

Innover pour répondre aux enjeux des nouvelles politiques publiques, et aux incertitudesque leur imposent un contexte toujours plus mouvant - c'est un engagement constant desconsultants d'evalua (Cf. mission de recherche-développement de Christian Hugues chez KPMG-Fiduciaire de France, 1994 à 1997 ; recherche et développement en marketing des services publicspar Frédéric Lefebvre-Naré chez Démoscopie puis Isée, 1991-1997). Les communications à la SFE,rassemblées dans ce fascicule, en témoignent, par un travail sur des questions comme :

Quels indicateurs, mesurables dans quelles conditions, peuvent attester de quels typesd'impacts ? (SFE 2003) ;

Quels bénéfices attendre d'une démarche de "programmation" concertée entre desinstitutions aux logiques et calendriers différents ? (SFE 2003) ;

Quelles questions évaluatives peuvent rendre compte du succès de l'action publique,quand celle-ci interagit fortement avec son environnement ? (SFE 2003) ;

Quelles sont les clés de l'utilisation des évaluations, selon la littérature anglophone ?(SFE 2001) ;

Quel rapport le public de l'action publique, peut-il avoir à l'évaluation ? (SFE 1999).

Merci aux institutions qui nous ont permis de faire état des résultats des évaluations menées pourelles, et se sont associés à ces communications, cette année le ministère des Affaires étrangères(MAE/DGCID), l'Observatoire français des drogues et toxicomanies (OFDT) et Épargne sansFrontières (ESF).


VOS INTERLOCUTEURS : LES CONSULTANTS D'EVALUAChristian Hugues (Directeur associé, evalua Midi-Pyrénées).

ESC Lyon, DESS Gestion Publique Paris-Dauphine, Cycle Supérieur de Formationà l'Evaluation de l'ENTPE.

KPMG Fiduciaire de France - Chargé d'une mission de recherche etdéveloppement dans le domaine de l'évaluation des politiques publiques (1994-97). Ville de Blagnac - Contrôleur de gestion (1990-93).

Langues de travail: Anglais, Espagnol

Frédéric Lefebvre-Naré (Directeur associé, evalua Ile-de-France).

X, Ecole Nationale des Ponts et Chaussées, CESS ENSAE.

Fondateur d'Isée, entreprise individuelle spécialisée dans le conseil en étudesquantitatives (1996). Institut Français de Démoscopie - Directeur scientifique(1991-95) ; Médiamétrie - Directeur scientifique et technique (1995-96).

Langues de travail : Anglais, Allemand

Christine de Bonnechose (consultante, evalua Pays de la Loire).

IEP-Paris (Service Public), Allemand, Chinois.

Adjointe au responsable de la section service public et de la préparation auxconcours administratifs, chargée de l'encadrement de programmes deformation (Institut d'Etudes Politiques de Paris, 1992-96). Adjointe auresponsable des langues vivantes à l'IEP Paris (1990-91).

Langues de travail : Anglais, Allemand

Lucie Madon (Chargée d’études, evalua Ile-de-France).DESS « Développement industriel et évaluation de projets » Paris I ; diplôméeIEP Lyon – Université Goethe de Francfort.

Stages à la GTZ (Tchad) et à l’AfD (Tunisie).

Langues de travail : Allemand, Anglais, notions d’Italien

Delphine Rivière (Chargée d’études, evalua Ile-de-France).DESS « Entreprises et collectivités locales dans l’Europe communautaire » Lyon2 ; diplômée IEP Lyon – Université d’Aberdeen (Royaume-Uni).

Langue de travail : Anglais

Soraya Fahmy (Chargée d’études, evalua Midi-Pyrénées)

DESS « Gestion de l’innovation » IAE de Toulouse ; diplôme de l’Institutd’études judiciaires de Toulouse et Maîtrise de droit des affaires – Toulouse.Chargée d’études à Technopolis (Brighton puis Paris, 2000-2002)

Langue de travail : Anglais


Sommaire

VOS INTERLOCUTEURS : LES CONSULTANTS D'EVALUA........................................... 2

RÉFÉRENCES.................................................................................................... 4

COMMUNICATIONS ............................................................................................ 8

1. "Transversalité et indicateurs du développement durable" : Revue critique desdifférents types d'indicateurs utilisés en suivi-évaluation pour apprécier l'impactde la microfinance 8

2. Comment le temps balisé des plans, projets et programmes interagit avec le tempslong des politiques de prévention : l'exemple des Programmes départementaux deprévention "drogues et dépendances". 11

1. Les Programmes départementaux de prévention des dépendances 11

2. Méthodologie 12

3. Résultats de l’évaluation 15

3. Renouveler la liste des questions évaluatives pour rendre compte de la réussite deprojets en environnement risqué : méthodologie et test sur 48 petits projets dedéveloppement financés par le Fonds Social de Développement du Ministère desaffaires étrangères 18

1. Pourquoi changer les questions évaluatives ? 18

2. L'évaluation du Fonds social de développement 21

3. Test des critères évaluatifs alternatifs vs. les critères classiques 21

4. " Que peut-on apprendre des approches anglophones sur l’utilisation del’évaluation ? " 27

1. Quel est le degré d’utilisation des évaluations aux Etats-Unis ? 27

2. Facteurs et stratégies d’utilisation des évaluations 30

Conclusion 33

Bibliographie 34

5. LE DÉVELOPPEMENT ET SES BÉNÉFICIAIRES : L’IMPLICATION DES BÉNÉFICIAIRESDANS L’ÉVALUATION, MYTHE OU POSSIBILITÉ ?..............................................35

1. Deux points de vue sur l'aide au développement 35

2. L’implication des bénéficiaires, mythe et réalité 35

3. “ Les bénéficiaires ”, versant sud d’un réseau d’acteurs : L’évaluateur traducteur etmédiateur 36

AU TRAVAIL !..................................................................................................39


REFERENCES

MÉTHODOLOGIES D’ÉTUDE ET D’EVALUATION

Agence Française de Développement (2002)

Étude récapitulative sur les SRAP (Rapports deSuivi et d'Achèvement de Projets) 1988-2002.

Région Centre (2002)Méthodologie pour l’évaluation des actions decoopération décentralisée et mise en place d’unréférentiel de formation. Avec A-R. Ouedraogoet Agnieszka Krason.

Épargne Sans Frontière (2001-2002)

Expertise sur les méthodologies d’évaluationd’impact en microfinance. Avec A.-R.Ouedraogo.

DARES et Eurostat (2001)

Expertise des statistiques sur la formationprofessionnelle des demandeurs d’emploi.

ADEME, Ministère chargé des Transports,EDF (2001)

Assistance à l’évaluation du contrat TOP enfaveur du transport combiné : animation deséminaires et rédaction du cahier des charges.

Agence Française de Développement (2000)

Diagnostic des grilles d’évaluation de projetsde l’AfD. : revue du système et des manuels deprocédures avec les évaluateurs,« benchmarking » avec d’autres institutions.

Ministère de la Défense (1999)

Prospective budgétaire horizon 2015 : analyseprospective de sept grands postes du budgetde l’État. Contribution méthodologique à uneétude du GRISP/EHESS.

ACCOMPAGNEMENT / FORMATION

Conseil Régional du Nord-Pas de Calais (encours)

Mission d’accompagnement pour la définitiond’une politique de relations internationales etd’une stratégie de mise en œuvre régionale.Avec Elisabeth Paquot.

Institut Forhom (2003)

Formation à l’évaluation de programmes pourdes stagiaires de différents pays africains.

Institut National des Etudes Territorialesdu CNFPT (2002)Formation à l’évaluation pour les élèvesadministrateurs territoriaux.

Conseil Régional et Préfecture de RégionBretagne, Caisse des Dépôts etConsignations, ARIC (2001)Formation à l’évaluation pour les acteurs desPays bretons.

Préfecture de Région Picardie (2001)

Assistance et animation pour l’écriture duProjet Territorial de l’État en Région Picardie.

Secrétariat d’État aux PME (1999)

Sensibilisation à l’évaluation.

Ponts Formation Editions (1998)

Formation de techniciens de l’Équipement àl’utilisation et à l’analyse des donnéesquantitatives.

Centre National de la Fonction PubliqueTerritoriale (1996)Élaboration d'un programme de formation àl'évaluation des Contrats de Plan et desContrats de Ville.

ESC Toulouse (1995-1997)

Animation du module "Management despolitiques publiques" du Mastère spécialisé enManagement Public.

NOUVELLES TECHNOLOGIES

Conseil Régional Franche-Comté (2003)

Contribution méthodologique à l'évaluationdu programme PR@TIC. Avec Proposition.

Conseil Régional Picardie (2003)

Évaluation de l’opération « Cartablenumérique » dans le cadre du contrat de Plan.Avec Daniel Kaplan (Proposition).

Conseil Régional Nord-Pas de Calais (2002)

Évaluation de l’opération « Cyber Nord-Pas deCalais ». Avec Proposition et Dianoïa.

ÉGALITÉ HOMMES/FEMMES

Région Centre (2003)Outils d’auto-évaluation en matière d’égalitédes chances entre les femmes et les hommes.Avec Initielles.

mailto:PR@TIC


PME, TRANSFERT, DÉVELOPPEMENT LOCAL

Région Lorraine (en cours)

Évaluation des actions de l'État menées dans lecadre du Contrat de Plan État-Région Lorraine etde son avenant volet forestier. Avec AnneStenger-Letheux et Marc Gizard.

Préfecture de Région Ile de France, SGAR(2003)Évaluation intermédiaire du programmeeuropéen Objectif 2.

Conseil Régional Rhône-Alpes (2001)

Évaluation de la politique régionale en faveurdes Parcs Naturels Régionaux. Avec Anne Gentil(ACEIF - Urbicand).

ANVAR Picardie (2001)

Expertise sur un projet du Centre deValorisation des Glucides et des ProduitsNaturels.

Ministère de l’Agriculture et de la Pêche(2000-2001).

Évaluation des effets de la suppression de lataxe forestière sur la filière bois. Avec MarcGizard.

CRCI d’Alsace (2000)

Évaluation des effets économiques sur les PMEvosgiennes, de la fermeture au trafic poids-lourds du tunnel de Sainte-Marie-aux-Mines.Avec Corinne Nogarède (Terralie).

Conseil Régional Picardie et Préfecture deRégion (1998)Évaluation du programme du CPER en faveur duCentre de Valorisation des Glucides et desProduits Naturels. Avec Corinne Nogarède(Terralie).

ENSEIGNEMENT ET RECHERCHE

Agence de modernisation des universités etdes établissements publics d’enseignementsupérieur et de recherche (2000-2001)

Évaluation de la capacité d’action desétablissements d’enseignement supérieur et derecherche sur la définition et l’évolution de leuroffre de formation (lot 1) : analyse statistiquedes offres de formation universitaires enFrance. Avec Ridha Ennafaa, Paris VIII.

Préfecture de la Région Picardie - SGAR(1999)Rapport pour le Schéma de services collectifsde l'enseignement supérieur et de larecherche en Picardie. Diagnostic prospectif ;stratégie de développement horizon 2020 ;programmation dans le cadre du Contrat dePlan. Zooms sur sept villes. Avec MauriceRonai, Philippe Amiel (Novexis), la J.E. del’ESSEC, Corinne Nogarède (Terralie), RidhaEnnafaa (Paris VIII)

POLITIQUES DE PREVENTION

Union européenne SANCO (en cours)

Processus d’évaluation de la politique deprévention du tabagisme de la Commission.Avec Burt Perrin, Agnieszka. Krason et ungroupe d’experts européens.

Observatoire Français des Drogues et desToxicomanies (2002)

Evaluation des plans départementaux deprévention “drogues et dépendances”. AvecCaroline Lioret.

Centre Régional d’Information et dePrévention SIDA (CRIPS Ile-de-France) (2000-2001)

Assistance méthodologique pour l’évaluationcomparative de deux modes d’intervention deprévention du SIDA en milieu lycéen.Assistance à l’élaboration des questionnairesd’enquête avant-après, et à l’analyse desrésultats.

TRANSPORTS ET INFRASTRUCTURES

Conseil régional Aquitaine (en cours)

Évaluation des mécanismes financiers de laconvention d’exploitation entre la RégionAquitaine et la SNCF. Avec Pierre Zembri

Conseil Régional Midi-Pyrénées (encours)

Évaluation du dispositif de gratuité destransports régionaux de voyageurs en Midi-Pyrénées. Avec Corinne Nogarede (Terralie)

DRE Pays-de la Loire (en cours)

Évaluation de la modernisation de l’AxeAngers –Cholet dans le cadre du contrat dePlan. Avec Pierre Zembri


Conseil Régional Midi-Pyrénées (2002)

Expertise financière sur les devis SNCF desdessertes TER de décembre 2002.

DRE et Conseil Régional Rhône-Alpes (2002)Assistance à maîtrise d’ouvrage pour l’évolutionde l’Observatoire Régional des Transports. AvecPierre Zembri.

DRE Midi-Pyrénées (2001-2002)Animation de groupes de travail del’Observatoire Régional des Transportsconsacrés aux difficultés du recrutement dansles métiers transport et logistique en Midi-Pyrénées : conception, réalisation et évaluationd’actions pilotes.

Conseil Régional Midi-Pyrénées (2000-2002)Assistance pour l’organisation et l’animation dela concertation au niveau des transports publicsde voyageurs.

Ministère de l’Equipement, des Transports etdu Logement (2001)Évaluation des actions menées par lesObservatoires régionaux des Transports et desrésultats pour les bénéficiaires. Avec PierreZembri.

Syndicat des Transports Parisiens,Délégation Interministérielle à la Ville,Région Ile-de-France (évaluation « avantmise en œuvre des actions » réalisée en1998, évaluation « après » : 2000-2001)Évaluation de l'appel à projets "TransportsPublics et Intégration Urbaine" du Pacte deRelance pour la Ville de 1996. Partenaire : I.F.de Démoscopie. Budget total : 4 MF (dont 2 x6600 interviews). 11 sites d’étude en Ile-de-France.

Conseil Régional Alsace (2001)

Évaluation de l’axe routier Nord-Sud en Alsace,dans le cadre de l’évaluation du Contrat de PlanÉtat-Région 1994-1999. Avec Geneviève Mary-Zembri (LATTS/ENPC).

DRE du Centre (1999)Évaluation de la régionalisation expérimentaledes TER de voyageurs : liaisons entre lesrégions Centre et Ile de France. Conditions demise en œuvre ; généralisation aux régionslimitrophes à l'Ile-de-France. Avec PierreZembri.

Ville de Blagnac (1998)Analyse du rapport coût-efficacité de laparticipation de la ville de Blagnac auprogramme de transport interurbain.Relations financières ville/structuresintercommunales, alternatives pour optimiserle rapport coût-efficacité.

Conseil Régional Nord - Pas-de-Calais (1998-99)

Évaluation de la régionalisation expérimentaledu TER. Évaluation du cadencement de ladesserte Lille-Valenciennes ; analyseprospective à horizon 2015 de la demande detransport et de l’offre TER. Avec PierreZembri.

COOPERATION INTERNATIONALE

Commission européenne (en cours)Évaluation des subventions aux Associationset Fédérations d'intérêt européen (lignebudgétaire A-3024). Avec Antonio de laFuente.

Fédération Artisans du Monde (2003)

Evaluation du projet « formation au commerceéquitable » 1999-2002

Région Lorraine (en cours)

Évaluation de la coopération décentraliséeavec la région Nord de la Hongrie. AvecAgnieszka Krason.

Ministère des Affaires Étrangères (2003)

Bilan et perspectives des Programmes d’Appuiaux Administrations Economiques etFinancières (PAAFIE).

Ministère des Affaires Étrangères (2003)

Évaluation rétrospective de l'Institut deFormation et de Recherche Démographique(IFORD-Cameroun) et perspectives dedéveloppement. Avec Jean-Pierre Guengant.(IRD).

Région Centre (2002)Méthodologie pour l’évaluation des actions decoopération décentralisée. Avec A.-R.Ouedraogo et Agnieszka Krason.

Ministère des Affaires Étrangères (2002-2003)Évaluation des actions d’éducation audéveloppement co-financées par le MAE et


menées par des Organisations de SolidaritéInternationales françaises (depuis 1994). AvecAntonio de la Fuente (Iteco).

Ministère des Affaires Étrangères (2002)Évaluation rétrospective des actions de lacoopération française dans le secteurcinématographique (depuis 1991). Avec OlivierBarlet.

Agence Intergouvernementale de laFrancophonie (2001-2002)Évaluation du programme « BIEF » deconsolidation des capacités documentairesnationales. Études notamment en Haïti, Bénin,Sénégal. Avec Isabelle Gachié (BDPA) et A.-R.Ouedraogo.

Ministère des Affaires Étrangères (2001-2002)Évaluation du dispositif Crédits Déconcentrés– Fonds Social de Développement. Partenairesnationaux en Haïti, Mauritanie, Tchad,Burundi, Madagascar, Mozambique.

Ministère des Affaires Étrangères (2001-2002)Évaluation rétrospective de la coopérationfrançaise au Niger, 1990-2001. Avec NouhouTari (FCA-Niamey), Maman Sani Sanda et A - ROuedraogo.

Région Nord – Pas-de-Calais (2000)Collaboration à l’évaluation de la coopérationentre la Région Nord – Pas-de-Calais etplusieurs districts polonais. RunDéveloppement et Agnieszka. Krason.


COMMUNICATIONS

1. "Transversalité et indicateurs du développement durable" : Revuecritique des différents types d'indicateurs utilisés en suivi-évaluation pour apprécier l'impact de la microfinance

Lucie Pothin-Madon, Frédéric Lefebvre-Naré (evalua), Patricia Lavocat (Épargne sans Frontière)

L'association Épargne Sans Frontière (ESF), pour le compte du Ministère des Affaires Etrangères1 a commandé àevalua une revue méthodologique sur le suivi et l'évaluation de l'impact en microfinance, mission qui a été menée encollaboration avec André-Richard Ouedraogo (cabinet AfriCG). Les institutions de microfinance (IMF) des pays duSud sont des structures associant des approches très diversifiées, des réseaux du type mutualiste comparables auxcaisses mutuelles du XIXème siècle européen, des caisses villageoises, des structures de crédit solidaire, desmicrobanques pour le financement des micro et petites entreprises. Parviennent-elles à améliorer durablement la viede leurs utilisateurs, et en particulier des pauvres ? C'est une question que se posent, en particulier, leurs bailleurs defonds, et qui a donné lieu à un certain volume de littérature, notamment anglophone.

La revue méthodologique réalisée par evalua est en cours de publication en français et en anglais : la communicationrend compte de ses principaux résultats en ce qui concerne le choix des indicateurs.

L'étude est parti d'un cadre logique conceptuel de la micro-finance, assez général pour rendre compte des différentsdocuments analysés :

À partir de ce cadre, nous avons analysé, pour chaque étude sous revue, à quelle échelle (individu, ménage,territoire …) l'impact était étudié et quel type d'impact était mesuré : en termes d'effectif et de composition du public ?en termes de relations de la clientèle avec l’IMF (adhésion, participation active, départ …) ? impact sur la concurrencede l'IMF ? destination du crédit et impact sur la micro-entreprise ? résultats pour la situation financière des ménages ?

1 Dans le cadre du Programme d’Appui au Financement Décentralisé (PAFID)


résultats pour leurs conditions de vie matérielles ? sur la situation individuelle des clients, notamment les femmes ? surdes indicateurs plus généraux de pauvreté / aisance (éducation, santé, "degrés de liberté" …?) ?

Des outils de suivi ou d'enquête donnés ne peuvent étudier qu'une partie de ces directions ; il y a donc des choix deméthode à faire, d'autant plus sensible qu'on part souvent d'une documentation agrégée (encours totaux, nombres deprêts …) qui ne rend pas compte des situations individuelles des clients.

Pour caractériser ces choix méthodologiques, quatre modèles-types ont été définis et positionnés sur le cadre logiqueprécédent : chacun d'entre eux "cherche l'impact dans une direction donnée" et est donc plus performant sur certainstypes d'indicateurs ; en même temps, la réalisation effective de chaque type de mesure d'impact est sujette à desconditions institutionnelles qui seront précisées.

Ces quatre modèles sont :

1.Le profil des clients entrants : lors de l’entrée de nouveaux clients / adhérents, ou lors de la souscription à unnouveau produit de la part de clients existants, les agents de l’IMF peuvent recueillir et enregistrer des informations deprofil. Ces informations peuvent être comparées à une base constante (recensement, enquête posant des questionsanalogues sur un échantillon de non-clients) et permettre ainsi d’identifier les caractéristiques particulières des clientsexistants par rapport à l’ensemble de la population. Par rapport au schéma présenté, cet outil permet d’élargir « vers lagauche », vers « l’avant-IMF », l’information interne à l’IMF, donc en substance de répondre à la question « qui estimpacté ? ».

2. L’étude des interactions socio-économiques : en étudiant comment l’offre de l’IMF interagit avec le tissu socialet économique existant, on établit par quels mécanismes les objectifs d’impact visés ont une chance d’être atteints, et onidentifie les effets pervers que peut produire l’IMF. Sur le schéma, on étend donc l’information « vers la droite » en sedemandant « quels impacts » sont produits. C'est la façon la plus classique de concevoir une étude d'impact.

3.Le suivi des anciens clients : interroger les anciens clients, notamment peu après leur sortie du programme, estune pratique qui s’est beaucoup développée dans les années 90 en marketing des services. Elle a le mérite de pouvoiraisément être systématisée, donc intégrée dans les outils de gestion réguliers. La sortie de clients du programme est unsujet sensible pour les managers, facilement attentifs aux informations à ce sujet. Menés de façon non directive, cesentretiens procurent souvent des informations qualitatives à valeur stratégique touchant à l’amont, à l’aval et au contenudu programme.

4. L’analyse financière orientée sur les usages : la plupart des études mobilisent l’information financièredisponible sur les IMF. Cette information est même, sauf exception, la seule à permettre des comparaisons entre IMF, ycompris si on s’intéresse à l’impact. S'agit-il seulement d'analyser « les comptes de résultats » ? Il s'agit plutôt d'une


« analyse de portefeuille », d'une analyse des données financières portant sur les clients, en les croisant par descaractéristiques de clients, pertinentes au regard d’hypothèses sur les mécanismes d’impact. On peut obtenir ainsi desinformations portant sur l’amont (qui est impacté) et sur l’aval (quel impact) - à condition de disposer d'une base dedonnées au niveau individuel des clients.

Au-delà du cas précis de la micro-finance, ces modèles s'appliquent probablement à toute politique publique quis'institutionnalise, dans la durée, sous forme d'une relation marchande avec une clientèle enregistrée. Etudier la"durabilité" de cette politique, c'est certes étudier la viabilité de long terme, financière, technique et institutionnelle, del'institution, c'est aussi (et surtout ?) analyser ses relations avec son environnement (clients, économie destinataire,public non client), par exemple dans l'une des quatre directions précitées.


2. Comment le temps balisé des plans, projets et programmesinteragit avec le temps long des politiques de prévention :l'exemple des Programmes départementaux de prévention "drogueset dépendances".

Fabien Devaugermé et Frédéric Lefebvre-Naré (evalua), Carine Mutatayi (OFDT).

À travers les textes d’orientations de l’Education nationale sur la prévention des conduites à risque, les politiques deprévention des drogues, du tabagisme et de l'alcoolisme ont connu une convergence croissante au cours des dixdernières années. Ce rapprochement s'est manifesté dans le Plan triennal de lutte contre la drogue et de prévention desdépendances 1999-2001, et s’est également traduit dans les tâches imparties à la Mission Interministérielle de Luttecontre la Drogue et les Toxicomanies (MILDT) et à ses représentants locaux.

Dans le cadre de son mandat d’évaluation, l'Observatoire Français des Drogues et Toxicomanies (OFDT) acommandité 4 évaluations du Plan triennal de lutte et de prévention des drogues et dépendances, dont l'une a porté surles Programmes départementaux de prévention "drogues et dépendances" (PDP), dédiés à l’organisation locale de lanouvelle approche de prévention2. Cette évaluation a été confiée au cabinet evalua.

Après des descriptions de la politique évaluée (partie 1), de la méthodologie de l'évaluation (partie 2) et de sesrésultats d'ensemble (3.1) la communication s'interroge (3.2) sur une question qui est apparue particulièrement sensibleà l'issue de l'évaluation : l'interaction entre deux temporalités, celle d'une action centrale planifiée et balisée dans letemps, qui se présente comme coordinatrice, et celle des institutions censées être coordonnées, dont l'action en matièrede prévention des dépendances se déploie de façon continue et à long terme.

1. LES PROGRAMMES DÉPARTEMENTAUX DE PRÉVENTION DES DÉPENDANCES

1.1 Une démarche déconcentrée de Programmes départementaux de prévention desdépendances aux substances psycho-actives

La démarche des Programmes départementaux de prévention des dépendances a été lancée dans le cadre du Plantriennal 1999-2001 de lutte contre les dépendances. Ce mode de mise en œuvre déconcentrée de la politique nationaleest issu des constats sur la consommation de substances psycho-actives et vise à répondre aux défis de la prévention desrisques associés.

Le Plan triennal, dans son introduction, rappelle ainsi que les modes de consommation ont profondément évolué ouque le niveau de consommation est préoccupant au cours des années 1990:

Stabilité, voire diminution de la consommation d’héroïne ;

Augmentation de la consommation de cannabis (en 1999, 1/3 des jeunes de 15 à 19 ans déclarent en avoirconsommé) ;

Consommation de plus en plus importante des drogues de synthèse ;

Fréquence des consommations abusives associant produits licites et illicites ;

Croissance chez les jeunes de la consommation d’alcool fort et des ivresses répétées ;

Stabilisation de la consommation de tabac à un niveau élevé ;

Progression de la consommation de médicaments psycho-actifs, en particulier chez les jeunes filles ;

Tendance à la banalisation de l’usage des produits dopants.

Prenant acte de cette situation, notamment des consommations des jeunes, de la « mise en évidence des corrélationstrès importantes entre consommations de plusieurs produits licites et illicites et conduites à risques », le Plan triennal1999-2001 propose des programmes de prévention et de prise en charge qui prennent en compte toutes les conduitesaddictives, au-delà du caractère légal des consommations.

2 Cf. http://www.ofdt.fr/ofdt/fr/epp1.htm

http://www.ofdt.fr/ofdt/fr/epp1.htm


Le Plan triennal précise que

" cette démarche ne conduit pas à remettre en cause les spécificités culturelles, sociales ou pharmacologiques dechacun des produits, mais à faire comprendre que toutes les substances psycho-actives sont susceptibles d’un usagenocif, que leur usage soit ou non prohibé".

Pour accompagner la mise en œuvre de cette approche – originale dans l’histoire des politiques de lutte contre ladrogue – le plan triennal préconise une programmation départementale de la politique de prévention, confié au chef deprojet « drogues et dépendances » départemental. Nommé par le préfet parmi les cadres de la préfecture ou de laDDASS, ce chef de projet a pour mission d’animer cette politique en réunissant, au sein d’un comité de pilotage,l’ensemble des acteurs locaux concernés par les démarches de prévention dans tous les lieux de vies des jeunes, aupremier chef les services déconcentrés de l’Etat.

2. MÉTHODOLOGIE

2.1 Des questions évaluatives principalement axées sur la mise en œuvre et sa cohérence avecles orientations nationales

L’évolution des perceptions et des pratiques liées aux substances psychoactives (comprendre les drogues illicites,l’alcool et le tabac) s’inscrivent dans des temps plus longs que celui des cycles politiques et administratifs. Cetteévaluation s’est donc concentrée sur la cohérence des programmations départementales mises en œuvre et s’est attachéeà apprécier les premiers résultats observables en termes d’actions de prévention menées. Elle a eu pour but deconfirmer, infirmer ou préciser les hypothèses constituant le cadre logique des Programmes Départementaux dePrévention “Drogues et Dépendances” (PDP), et plus précisément de répondre à la douzaine d’interrogations soulignéespar le cahier des charges, qui renvoient aux différentes étapes de la démarche de programme, notamment :

Les programmes et objectifs :

La qualité des PDP publiés : sont-ils en adéquation avec les orientations interministérielles ?sont-ils opérationnels ? etc.

Les moyens et les réalisations prévues : sont-ils en adéquation avec les objectifs des PDP ?

Sur la mise en œuvre :

La mise en réseau et le partenariat – au niveau interne aux services déconcentrés de l’État ; dansles relations entre ces services et leur environnement ;

L’opportunité même d’une politique partenariale : quel est son apport réel compte tenu desmodes de travail antérieurs et des objectifs de prévention ?

L’importance et l’adéquation des moyens et des ressources dont disposent les Chefs de projet "Drogues et Dépendances ".

Sur les réalisations effectives et l’impact du PDP : Les actions prévues ont-elles effectivement eu lieu ?Avec quelle cohérence, quelle qualité, quelle continuité ? La vision globale recherchée s’est-elleeffectivement traduite en termes d’intégration des questions des substances psychoactives dans lesdispositifs préventifs de la politique de la ville (contrat de ville, CEL, CLS) ; prévention dans tous les lieuxde vie des jeunes ; approche comportementale, plus axée sur les usages que sur les substances ;développement du rôle des parents, des enseignants et des pairs ; réduction des risques sur les sites festifs ;approches de proximité enracinées dans les besoins locaux …

2.2 Une approche méthodologique mixte (qualitative et quantitative)

L’évaluation a eu essentiellement recours à trois méthodes de recueil d’information :

L’analyse du contenu d’un échantillon de 15 Programmes Départementaux de Prévention Drogues etDépendances ;

Des entretiens et réunions au niveau national, et dans un échantillon de 4 départements (études de cas) ;

Une enquête par questionnaire écrit diffusé par mail aux chefs de projets départementaux " drogues etdépendances ".


Les évaluateurs ont également reconstitué, sur la base du travail antérieur de l'OFDT, un cadre logique ex post del'efficacité des Programmes départementaux. Une typologie des situations départementales a été dressée à partir del'enquête semi-quantitative.

1) Analyse du contenu des Programmes départementaux

Un échantillon de 15 départements a été tiré au hasard pour analyse, sur documents, du contenu de leursProgrammes.

Le tirage est aléatoire mais selon des modalités qui optimisent la représentativité de l’échantillon en termes de :

Incidence de l’usage de drogues illicites ;

Incidence de la consommation excessive d’alcool ;

Focalisation ou non du Programme sur la question de la prévention (selon un pointage rapide de leur contenu,réalisé à réception par la MILDT).

Les indicateurs utilisés pour caractériser la consommation de drogues illicites et d’alcool ont été sélectionnés au seinde la base de données géographiques ILIAD3. Ont été évités, les indicateurs pour lesquels de fortes différencesexistaient entre départements voisins, sans logique géographique apparente : ce cas de figure laisse supposer quel’indicateur est fortement influencé par une politique départementale en matière sanitaire ou policière. Sur lesindicateurs retenus : ventes de Stéribox® par 100 habitants de 20 à 39 ans en 2000 d’une part, décès avant 65 ans paralcoolisme et cirrhose du foie en 1998 par 10 000 habitants de 40 à 64 ans d’autre part, la carte fait apparaître descontinuités géographiques, au-delà des frontières administratives (régionales), qui laissent supposer qu’à la dated’aujourd’hui l’indicateur saisit plus une réalité " sociologique " qu’une réalité " politique ". Ce ne sont certes pas desindicateurs parfaits à cet égard ; leur valeur est cependant adéquate compte tenu de l’usage pour lequel ils sontmobilisés : optimiser la représentativité de l’échantillon.

Concrètement, le tirage se fait en triant les départements aléatoirement, puis en les triant sur les trois variablesindiquées (sur Excel), puis en tirant aléatoirement un premier département et en sélectionnant dans la liste les 14suivants selon un pas fixe.

2) Études de cas dans 4 départements

Les 4 départements étudiés ont été sélectionnés, pour l’un d’entre eux parmi ceux n’ayant pas de programme publié(les Bouches-du-Rhône - 13). Parmi les 15 de l’échantillon précédent, les trois autres départements ont été sélectionnésde façon à avoir une diversité de situations en termes d’incidence de la consommation illicite ou nocive de drogues etd’alcool. La disposition des chefs de projet à participer à l’évaluation a également été prise en compte. Les trois autresdépartements retenus sont le Finistère (29), l’Oise (60) et les Pyrénées-Atlantiques (64).

3) Enquête par questionnaire auprès des chefs de projet

La vocation et la méthode de cette enquête peuvent se définir comme suit :

Objet "Quantifier" la répartition, sur l'ensemble des départements, des configurations et modes de fonctionnement

apparues dans les études de cas ;

Pour cela, compléter les résultats des rapports d’activité (préexistants) des chefs de projet par des questionsplus ciblées sur le partenariat, dans la suite des résultats de l’enquête qualitative.

Modalités

Choix d’un échantillon de départements (cohérent avec l’étude documentaire). L’échantillon doit être assezétendu pour permettre de conclure au niveau national – tandis qu’une enquête exhaustive aurait dépassé lesmoyens alloués à l’étude. Nous avons interrogé :

un département sur deux parmi ceux ayant terminé l’écriture du PDP ;

un département sur trois parmi les autres.

Soit 41 départements.

Rédaction, validation par le comité d’évaluation, et envoi par mail aux Chefs de projet " drogues etdépendances ", de ce questionnaire (diffusion assurée par la MILDT pour un meilleur taux de réponse).Réception des réponses par evalua, par mail ou fax (relances en cas de non-réponses), et saisie.

3 www.ofdt.fr/BDD/iliad/index.htm


Une attention particulière a été apportée à la rédaction du questionnaire. L’objectif ne pouvaitêtre de mesurer des taux de " bonnes " réponses (conformes aux orientations nationales …)car les répondants auraient alors été incités à répondre de façon orientée.

Le questionnaire est entièrement " à réponses fermées " à l’exception d’un espace laissé auxcommentaires spontanés du Chef de projet.

Il est volontairement limité à 5 pages.

Le questionnaire a été testé en interne par les consultants (en " simulant " les réponses deschefs de projets rencontrés antérieurement), puis en externe auprès de trois des chefs deprojet des départements étudiés sur place (13, 60, 64).

Le questionnaire a été diffusé par courrier électronique par la MILDT et deux relances ont étéeffectuées également par mail.

Analyses statistiques complémentaires :

Typologie des départements, c’est-à-dire construction de groupes de départements auxréponses proches. Plusieurs étapes y ont conduit : matrice des corrélations deux à deux entreréponses ; analyse en composantes principales de cette matrice ; sélection d’axes pertinents(4 axes en l’occurrence) ; classification ascendante hiérarchique ; sélection d’un niveaupertinent de rupture dans cette classification (au niveau de 4 groupes de départements, enl’occurrence).

Calcul question par question de la différence entre la moyenne des réponses des 4 chefs deprojet rencontrés (départements 13, 29, 60, 64), et la moyenne des perceptions desévaluateurs concernant les 4 mêmes départements. Ce calcul permet d’identifier d’éventuelsdécalages systématiques, c’est-à-dire des points sur lesquels des évaluateurs externeschoisiraient sans doute d’autres réponses que celles retenues par les chefs de projet.

Cette méthode d’analyse statistique, basée sur des questionnaires à contenu surtout " qualitatif " (au lieud’indicateurs chiffrés de bonne marche des programmes), sur un échantillon limité aux correspondants directs dufinanceur du programme (les chefs de projet), a semblé innovante à certains membres du comité de pilotage.

Il peut donc être utile d’en préciser la portée et les limites :

Cette méthode produit des résultats à la fois descriptifs et analytiques. Descriptifs parce qu’elle donne l’opinion deschefs de projet - qui sont l’une des " parties " de la politique évaluée. Analytiques parce que la formulation desquestions incorpore les analyses des consultants dans les études de cas : le choix par les chefs de projet de telle ou telleréponse possible est aussi une préférence pour telle ou telle analyse de la situation départementale.


Le questionnaire porte sur tout le champ de l’évaluation ; en fait, les questions reformulent sous forme interrogative,les réponses que formuleraient les évaluateurs à chacune des questions évaluatives. Cependant, venant en complémentde rapports d’activité existants, le questionnaire ne comprend pas de mesures de la " quantité " des réalisationsdépartementales en matière de prévention (nombre d’actions, budget dépensé …) ni en matière de partenariat (effectifdu comité de pilotage …).

Parmi les 43 répondants au questionnaire, 29 sont les chefs de projet, 11 sont les adjoints au chef de projet. Lesfonctions des répondants se répartissent de la manière suivante : DDASS : 27 ; Directeur de Cabinet du Préfet : 8 ;Sous-Préfet : 2 ; Chargé de mission auprès du Préfet : 2.

3. RÉSULTATS DE L’ÉVALUATION

3.1 Les principaux résultats aux questions évaluatives

Les défis de la prévention des risques liés à la consommation des substances psychoactives.

La préoccupation première des chefs de projet départementaux, en matière de prévention, est très nettementl’alcool. Le tabac est la deuxième préoccupation et le cannabis vient en troisième. Ainsi, interrogés sur " les deuxproduits les plus problématiques ", les chefs de projet ne citent presque jamais les drogues dures illicites. Les jeunes etles enfants sont les premiers publics visés pour la prévention. Cette hiérarchie des préoccupations, dans laquelle lesrisques à court terme (accidents de la route) jouent un rôle important, est partagée par les chefs de projet issus de lapréfectorale comme des DDASS.

Les acteurs les plus en pointe en matière de prévention semblent être, dans les départements, les spécialistesde l'éducation pour la santé d'une part, les structures intervenant auprès de personnes dépendantes d'autre part.

Les acteurs identifiés par les chefs de projet comme étant les mieux placés pour prévenir la consommation dedrogues et les dépendances chez les jeunes sont souvent les enseignants, les parents d’élèves, voire lesinstructeurs sportifs, plutôt que les "spécialistes" de la prévention. Cet écart bien naturel pose la question del'atteinte, par la politique de prévention, de ces acteurs bien placés : certains évoquent des réunions thématiques/conférences pour les parents d’élèves, d'autres la formation initiale en IUFM … Comment faire pour que la politiquede prévention sorte du cénacle des institutions départementales au sein desquelles elle est élaborée ?

La démarche de programmation et les institutions départementales

La démarche d’élaboration du programme départemental apporte, même si à l'arrivée le programme n'est pastoujours finalisé :

de la visibilité institutionnelle au chef de projet sur ce champ,

une compilation des actions menées par les acteurs du département,

des éléments de stratégie : diagnostic, objectifs, priorités.Les chefs de projet disent avoir "répondu à la demande du niveau national sans perturber le fonctionnement des

services" : l’implication des services déconcentrés consiste donc surtout en une adhésion intellectuelle auxorientations nationales. La modification des pratiques opérationnelles a été plus rare. La démarche d’élaboration duprogramme a cependant été l'occasion d'échanges d'informations et d'opinions, d'un élargissement du partenariat surtout le département, d'une (re)connaissance mutuelle.

Facteurs de succès ou d’échec de la démarche

Plusieurs éléments provenant du niveau national apparaissent comme des facteurs de succès de la démarche :

les crédits MILDT dont la gestion est déléguée au chef de projet départemental ; la clarté des orientations nationales ;

leur expression à travers les outils de prévention et de communication développés par la MILDT.D'autres facteurs, liés au chef de projet et influant sur le succès de sa mission, sont :

sa disponibilité (globalement insuffisante, mais ce manque de disponibilité pose surtout problème sur lestâches de gestion) ;

la dimension interministérielle de sa mission première, dimension dans laquelle puisse s'inscrire le dossier "drogues et dépendances " ;


son autorité auprès des divers services concernés par le champ de la prévention des substancespsychoactives (c'est globalement le cas lorsqu’il relève de la préfecture et ça l’est dans une moindre mesurelorsqu’il relève de la DDASS) ;

sa continuité sur le poste (souvent faible) ;

ses ressources financières (globalement suffisantes) ;

sa compétence et son intérêt pour la problématique " drogues et dépendances ".

L’impact de la démarche sur les pratiques professionnelles de prévention.

La mise en place de la politique départementale de prévention a été bien accueillie. Une partie des acteurs locauxpartageaient déjà la vision "plus sanitaire que légaliste" et l'approche "par les publics plutôt que par lesproduits", que diffuse la MILDT et qu'exprime le Plan Triennal. Les informations en provenance de quelquesdépartements suggèrent deux types de blocages ou freinages possibles :

l’action prédominante du Conseil général, instance dont la participation au comité de pilotage départemental n’estpas systématique et dont le rôle, relativement à cette organisation des acteurs « État », est mal défini ;

les réserves de la part d'acteurs spécialisés, "toxicomanies" ou "alcool" par exemple, par rapport à une préventionélargie "tous produits".

Toutefois ces blocages éventuels sont en tout cas très minoritaires (ils concernent au total un département sur cinqou moins).

L’évolution des pratiques professionnelles se situe donc en premier lieu au plan institutionnel, dans lameilleure compréhension réciproque, entre services, de leur action et des enjeux, dans une cohérence accrueentre politiques départementales. Elle a également parfois consisté en l’interruption du financement d’actions "nonconformes" aux orientations et à l’état de l’art défendu par la MILDT.

Sans que cela ait toujours été formalisé dans le texte des programmes départementaux de prévention, une bonnepartie des départements, comme le Finistère (objet d'une des études de cas), a vu le développement d’actions deprévention en milieu scolaire comme en milieu festif (raves, …), et l’extension des CESC (Comités d'Education à laSanté et à la Citoyenneté des collèges et lycées)4 - même si les questions liées à la violence semblent actuellement plusmobilisatrices que celles des drogues et dépendances.

Les attentes des chefs de projet "drogues et dépendances", pour la poursuite de leur action et en particulier vis-à-visde la MILDT, portent sur :

la diffusion d’outils de prévention, de cas concrets ;

le bilan et l’évaluation des actions de prévention ;

l’attribution de plus de personnel (secrétaire et/ou adjoint), en particulier pour la gestion des dossiersgénérés par les appels à projets et les aspects logistiques et administratifs de la création de groupes detravail, de la rédaction, de la validation, de la publication et de la diffusion d’un programme départemental.

la possibilité de mener des financements à plus long terme.

Les chefs de projet sont satisfaits du niveau actuel des crédits MILDT, ce qui peut renvoyer au grand nombre deguichets qui peuvent être sollicités pour des actions de prévention - Conseil général, CPAM et mutuelles, politique de laVille, etc. De plus, les actions de prévention, en majorité, exigent plus de temps et d'implication (d'enseignants,éducateurs, etc.) que de crédits. Elles n'apparaissent pas nécessairement comme projets à financer.

3.2 Réflexion sur la temporalité des instruments de mise en œuvre utilisés

Les instruments utilisés dans la mise en œuvre de la politique de prévention appartiennent à deux types detemporalités :

Le temps balisé d'une programmation pluriannuelle des actions (3 ans) accompagnée, selon lesconsignes nationales, de la mise en place d'une logique de projet (résultats attendus, moyens associés, outilsde reporting et de suivi, etc.)

4 Comités implantés dans de nombreux établissements d’enseignement secondaire (67 % en 2001) et chargés d’y

organiser la prévention, en regroupant autour la communauté éducative des partenaires extérieurs (associatifs ouétatiques) compétents.


Le temps long des institutions au contact des jeunes, dont une mission seconde est la prévention oul'éducation à la santé (Éducation nationale, police, justice, associations…). Les temporalités des diversesinstitutions sont en effet demeurées indépendantes du Plan triennal. Ces institutions sont égalementfinancées par d’autres guichets publics délégataires des crédits « promotion de la santé » ou « sécuritépublique » qui ont leurs temporalités propres.

En fin de compte, là où les politiques font le pari de la coordination et de la mise en cohérence des dispositifs, quelssont les contours et la portée réalistes de cette notion de coordination quand les temporalités des dispositifsdiffèrent ?

Le temps long des institutions au contact des jeunes a empêché la « planification » stricto sensu de la prévention desdrogues et dépendances. Les programmes départementaux de prévention décrivent d’ailleurs rarement àproprement parler les programmes d’action de chaque institution ainsi que leurs financements.

La notion de « programmation » prend certes un sens au regard des fonds nationaux déconcentrés au niveaudépartemental (les "crédits MILDT" du chef de projet), mais ceux-ci ne représentent qu’une portion congrue dans lecoût global du fonctionnement des institutions. Les engagements de celles-ci sont donc d'abord conditionnés par leursressources pérennes.

Ces ressources pérennes (emplois …) sont par ailleurs complétées sur le court terme, celui de l’annualité budgétaire,qui permet une programmation à ce même court terme.. Quand bien même connaîtraient-ils un essor substantiel, les"crédits MILDT" ne seraient pas en eux-mêmes de nature à permettre aux acteurs une projection dans le moyen termedu "programme". Les chefs de projet l’ont bien compris : dans leurs réponses au questionnaire, ils revendiquement plusfortement l'engagement pluriannuel des "crédits MILDT" que leur augmentation en valeur absolue. .

La confusion sémantique constatée par l'évaluation prouve d'ailleurs que cette notion de "programme" n’est pas bienintégrée : plusieurs acteurs parlent ainsi de « plan triennal départemental » par référence directe au plan national.

Les termes officiels sont eux-mêmes source d'incertitude puisque le coordinateur local désigné par le préfet estappelé chef de « projet », et a pour mission de décliner le « plan » national en « programme » départemental. Cestermes font référence à des conceptions légèrement différentes de la gestion publique : management par projet, gestionpar programme, planification de l'intervention publique … mais aucun de ces termes ne semble décrire de façonadéquate la manière dont peut effectivement être gérée cette politique.

En revanche, de nombreux éléments de la démarche des programmes départementaux de prévention ont démontréleur adéquation à la réalité institutionnelle.

Ce sont les éléments les plus caractéristiques d'une démarche stratégique, c’est-à-dire ceux qui sont, dès le départ,valides sur le long terme et ne prétendent pas interférer avec les temporalités des institutions partenaires :

le rôle central du coordinateur local désigné par le préfet, le chef de projet - l'existence de créditsinterministériels à sa disposition contribue à lui assurer ce rôle central

la concertation au niveau départemental,

le partage au moins partiel par les acteurs locaux d'un diagnostic ou d’une réflexion locale, la recherche de cohérence, et d’une « culture commune » aux champs des drogues, de l’alcool et du tabac

inscrits dans la prévention des dépendances,

le partage de règles d'intervention communes.

Finalement, les enseignements de l'évaluation conduisent-ils à recommander de renouveler la même démarche deprogrammation départementale ?

Quelle que soit la solution retenue, il apparaît souhaitable qu'elle permette, comme cela a été le cas sur 1999-2001,la définition de priorités locales, et qu'elle régule l’attribution des crédits MILDT, qui jouent un rôle opérationnelmais aussi symbolique en fléchant les démarches et les structures encouragées par la coordination départementale.

La notion de " programmation " avec ses connotations d'organisation et d'allocation de moyens, apparaît moinsadéquate, puisque les moyens propres des institutions sont peu " actionnables " par le programme.

Dans un système où chaque institution garde une forte autonomie par rapport à la coordination départementale,l'essentiel est que toutes agissent de façon à la fois dynamique et cohérente.


3. Renouveler la liste des questions évaluatives pour rendre comptede la réussite de projets en environnement risqué : méthodologie ettest sur 48 petits projets de développement financés par le FondsSocial de Développement du Ministère des affaires étrangères

Christian Hugues et Frédéric Lefebvre-Naré (evalua), Michael Ruleta (MAE)5

1. POURQUOI CHANGER LES QUESTIONS ÉVALUATIVES ?

Pour de plus en plus d'interventions publiques, l'environnement extérieur est à la fois influent et variable, doncsource d'opportunités comme de risques : de ce fait, comme l'écrit l'appel à contributions, "les bases conventionnellesclassiques de l'évaluation ne sont-elles pas mises en doute (…) ? Les liens de causalité entre problèmes à résoudre,projets et politiques, résultats et impacts, s'effritent (…)".

Comment résoudre ce problème ?La façon habituelle est de travailler sur les réponses, sur la façon dont les évaluateurs vont prendre en compte

l'influence de l'environnement sur la réussite ou non du projet.

Or une dimension caractéristique de l'évaluation, plus que la façon de trouver les réponses (pour laquelle onmobilise les outils standard des sciences sociales), est dans la façon de poser les questions, comme le rappelaitrécemment Bernard Perret6 :

Évaluer une politique c'est d'abord la questionner. (…) Il est très important que les différents partenaires, lecommanditaire, les membres de l'instance de l'évaluation se mettent d'accord sur une liste de questions. (…) Une listede questions qui font sens [pour eux, et] en même temps sont suffisamment précises pour que l'on puisse y articuler desprocessus d'études, des recherches, qui permettront de donner un caractère objectif et si possible quantifiable auxréponses apportées à ces différentes questions.

À quoi bon, diront certains, puisque les questions évaluatives sont connues, il suffit de les décliner dans chaque casparticulier : pertinence, cohérence, efficience, efficacité, impact … Malheureusement, ces critères, du moins dansl'acception habituelle qui leur est donnée, rendent très mal compte de la relation avec l'environnement.

Ce problème est bien connu dans le secteur de l'aide au développement : ses professionnels estiment travaillerdans un environnement risqué, où les mécanismes de succès sont peu prévisibles (Cf. Forss et Samset, communication àl'EES, Rome, 1998)7.

Si bien que dans ce secteur, en complément des 5 critères précédents, un sixième est devenu standard : la"viabilité", censée résumer les interactions entre le projet et son environnement, du moins celles qui suivent l'entrée duprojet en service (réalisation)8.

Cette solution est peu satisfaisante. L'interaction avec l'environnement peut être un facteur clé de succès à toutes lesétapes de l'intervention publique, pas seulement en phase aval. En particulier, la réussite d'interventions en terreétrangère pour leur financeur repose fortement sur la nature de la relation de coopération, de partenariat, que desacteurs présents sur place noueront autour du projet. Les notions d'appropriation, de réponse aux attentes, d'impact surles structures, expriment des aspects de cette interaction entre une intervention et son environnement - or les critèresévaluatifs classiques rendent mal compte de ces notions.

Une alternative est de reformuler le jeu de questions évaluatives standard, pour le cas des interventions dont lesuccès dépend de risques et opportunités liés à l'environnement. Ces nouvelles questions portent, comme sur lesprécédentes, sur les différentes étapes de l'action publique (objectifs, moyens, mise en œuvre, résultats …), maisdésormais vues sous l'angle de l'interaction entre le projet et son environnement.

5 Avec les contributions de Martine Blatin, Natalie Bockel, Romain Louvet, Charles Ndayiziga et Khalidou Traoré,6 Journée de formation à l'évaluation, 30 Mai 2002, Conseil économique et social régional de Midi-Pyrénées.7 Les politiques d'appui à l'innovation sont dans le même cas. Burt Perrin a proposé pour ce secteur une liste de

critères alternatifs dans "A Venture Capitalist Approach to Evaluation, or How to Evaluate Innovation", p. 8.8 Il a également une acception purement financière : les recettes du projet peuvent-ils financer le fonctionnement ?

Mais les coûts de fonctionnement, et surtout les recettes, peuvent dépendre fortement de l'environnement.


Une reformulation est proposée ici en s'inspirant assez largement de deux publications de Jean-Michel Cornu :"S'adapter à un monde innovant"9 et "Nouvelles approches de la coopération". Dans la première, il distingue 4 situationsdans lesquelles se trouve le décideur, selon que les ressources qu'il peut mobiliser sont prévisibles ou ne le sont pas(situation de risques), et selon que ces ressources potentielles sont abondantes (situation d'opportunités) ou sont rares.

Par exemple, un contexte dans lequel les acteurs publics perçoivent souvent leur action est celui de ressources rares(les "restrictions budgétaires" qui souvent sont invoquées pour légitimer l'évaluation) mais prévisibles(programmes pluri-annuels d'investissement, stabilité des fonctionnements institutionnels).

Selon les cas, indique J.-M. Cornu, trois modes de direction peuvent être adaptés :

Si la prévisibilité est faible (risques importants) mais les ressources rares, on est dans l'univers décrit par leséconomistes comme celui du marché. La valeur des contributions (inputs) et des produits (outputs) s'ajuste au jourle jour. La puissance publique a beaucoup de mal à agir dans un tel cadre.

Si les risques comme les opportunités (externes) rares, la planification est le mode de management indiqué. C'estprécisément le fonctionnement habituel de la puissance publique et les critères évaluatifs classiques sont définis surce mode, ils apprécient la qualité d'une politique planifiée.

Si, inversement, risques comme opportunités sont importants, J.-M. Cornu propose d'appeler "stratégie" le mode demanagement adapté.

Risques importants Risques modérés (prévisibilité)

Opportunités abondantes Stratégie. A priori, chacun des trois peutfonctionner.

Opportunités rares (ressourcesinternes seules)

Régulation par le marché. Planification.

J.-M. Cornu reconnaît que les critères de qualité de la "stratégie" sont actuellement peu documentés : "si le mondede la planification et de l'efficacité est bien connu, celui de la facilitation et de l'adaptation l'est moins10". C'est l'objetde l'autre publication utilisée, qui formule "neuf lois de la coopération", qui ont en partie inspiré la définition alternativedes critères évaluatifs, que nous proposons ci-dessous.

9 Première partie de "Internet tome 1 : les technologies de demain", ouvrage édité par la Fondation Internet Nouvelle

Génération. Le schéma infra s'appuie également sur le premier chapitre de "L’Internet – Tome 2 : des services auxusages", à paraître (communication personnelle).

10 Op. cit., p. 19.


termestandard (environnement de planification)

termealternatif (environnement stratégique)

réussite échec réussite échecdétermination desobjectifs

pertinence Les bénéficiairespotentiels font partiedes cibles prioritairesde la politique, et leprojet est de nature àrésoudre desproblèmes majeurs lesconcernant.

Une analyse de lasituation despersonnes oustructures concernéespourrait conduire àutiliser plutôt l'argentailleurs.

validité Au travers desévènements que peutvivre le public visépendant la durée duprojet, les finalités duprojet et le choix de cepublic restentconformes auxpriorités de lapolitique.

Le projet trouve saraison d'être dans unesituation qui, en fait, atoutes chances de semodifier profondémentavant la fin du projet.

choix desmoyens

cohérence Les moyens allouésau projet sont denature à atteindre lesobjectifs visés.

Par leur nature, leurniveau ou leurrépartition, les moyensalloués sont décaléspar rapport auxobjectifs affichés.

attractivité Le lancement du projetpermet de mobiliser etd'orienter vers lesobjectifs visés, l'actionet les moyens denombreuses partiesprenantes.

Les seules ressourcesexistant pour atteindreles objectifs visés,sont les moyenspropres alloués auprojet.

mise enœuvre

efficience La façon dont est géréle projet permetd'utiliser au mieux lesmoyens alloués.

Les moyens allouéssont utilisés de façonimproductive.

résilience La gestion du projetsait faire face auxcrises de façonadaptée, et a suprofiter d'opportunitésimprévues.

Des situations de criseen cours d'exécutionaffectent durablementla marche du projet, etses gestionnaires nesavent pas valoriserdes opportunitésponctuelles.

résultatsobtenus

efficacité Ce que le projetprocure à sesbénéficiaires directscorrespond à ce quiétait projeté au départ.

Les réalisationsfinancées par le projetsont décevantes,inutilisées, oudétournées de leurobjet.

adéquation Le dispositif, que leprojet finance, fournit àtout instant desservices adaptés aupublic visé.

Les services, dont leprojet finance lafourniture, sontfréquemment décaléspar rapport à lademande exprimée oupotentielle.

amélioration de lasituation

impact Le projet contribuesignificativement àrésoudre lesproblèmes identifiésau départ.

La contribution duprojet à la résolutiondes problèmesidentifiés au départ,est négligeable, ounégative.

utilité La situation depersonnes oustructures prioritaires,est significativementmeilleure qu'ellen'aurait été sans leprojet.

Le bénéfice apportépar le projet à despersonnes oustructures prioritaires,est négligeable, ounégative.

La colonne "alternative" propose un ensemble cohérent de critères, sachant que tous ne sont pas innovants : lecritère "adéquation" est classique en marketing ; l'alternative entre "impact" au regard des problèmes initiaux, et"utilité" au regard de la situation finale, est classique en évaluation ; la distinction entre "pertinence" et "validité" n'estpas si tranchée.

Les critères "attractivité" et "résilience" sont plus inhabituels, tout en faisant écho à des questions souventposées dans les cahiers des charges, comme la "mobilisation" des acteurs. De même, une part importante des rapportsd'évaluation est-elle consacrée à l'historique des projets et politiques, à la façon dont ont été vécus les évènements et lescrises. Sans doute cet historique est-il important pour l'évaluation - aussi peu relié soit-il aux critères évaluatifsstandard.

Les critères alternatifs proposés sont donc de nature à répondre, au moins pour certains, à un "manque" de la grilleclassique. Mais cette réponse est-elle une réussite ? En d'autres termes, les critères alternatifs donnent-ils une bonne (etsi possible une meilleure) idée du succès ou de l'échec des projets, globalement et aux différentes étapes, que les critèresclassiques ?

Pour les tester de façon comparative, nous avons utilisé, avec l'accord du Ministère des affaires étrangères, unéchantillon de 48 micro-projets visités et notés dans le cadre de l'évaluation du Fonds social de développement, qui les afinancés.


2. L'ÉVALUATION DU FONDS SOCIAL DE DÉVELOPPEMENT

Le ministère français de la Coopération a établi par instruction du 9 mai 1996 un dispositif appelé « créditsdéconcentrés / fonds social de développement (CD/FSD) », qui prend la suite de dispositifs antérieurs, et dont l'objet estdéfini ainsi :

Les crédits déconcentrés ont pour vocation de rapprocher la prise de décision et la mise en oeuvre des projets FACde petite taille de leur bénéficiaire. De ce rapprochement sont espérés une meilleure adéquation aux réalités locales etl’émergence de nouveaux partenaires issus de la société civile.

Chaque année, les CD/FSD représentent de l'ordre de 17 Mn d'engagements, soit 0,3-0,4% de l'APD française. Lesstructures associatives ou ONG du pays sont les principales organisations bénéficiaires avec 43% des fonds ; les Étatsnationaux bénéficient de 21% des fonds, une part inférieure au maximum autorisé par l'instruction de 1996 ; 15% desbudgets en moyenne vont aux collectivités locales. 82% des projets concernent des réalisations physiques, localiséespour en milieu urbain pour 67% des fonds. Le montant moyen par projet est de 41 k .

La Direction Générale de la Coopération Internationale et du Développement (DGCID) du Ministère des AffairesÉtrangères a procédé à une évaluation externe de ce dispositif au regard de 7 questions, "les trois premières étantnettement prioritaires" :

Bénéfice durable pour les populations pauvres,

Structuration des acteurs,

Capacité opérationnelle des postes,

Articulation avec les stratégies sectorielles,

Justification du maintien du dispositif,

Image de la coopération française,

Concertation avec les autres acteurs.

Cette évaluation a été l'occasion d'une formation-action avec la contribution du cabinet Eureval-C3E, en particulierdans l'élaboration du cahier des charges.

Le cabinet evalua a réalisé l'évaluation.

Elle a notamment compris des analyses documentaires et des entretiens d'acteurs dans six pays, d'octobre 2001 àmars 2002 (7 à 12 jours par pays) : Haïti, Madagascar, Mozambique, Mauritanie, Tchad, Burundi. Chaque mission étaitréalisée par un trinôme composé d'un consultant d'evalua, d'un consultant national, et d'un agent du MAE membre ducomité de pilotage (dans le cadre de la formation-action).

Lors de ces mêmes études nationales, les évaluateurs ont visité et noté, sur une grille développant les critèresprécédemment cités, 48 projets tirés au sort dans la base de données initiale. La notation a été faite dans la mesure dupossible par consensus des trois membres de l'équipe d'évaluation dans le pays.

3. TEST DES CRITÈRES ÉVALUATIFS ALTERNATIFS VS. LES CRITÈRES CLASSIQUES

3.1 L'échantillon est-il, par construction, adapté à l'une des grilles de critères ?

L'intérêt de l'échantillon de 48 micro-projets FSD est de permettre un test quantitatif, sur une base homogène, desnotations selon les différents critères. Il s'agit cependant d'un échantillon assez particulier par rapport à la massedes évaluations de politiques publiques . Cet échantillon peut-il être biaisé "en faveur" des critères classiques ou descritères alternatifs ?

Les micro-projets FSD peuvent être considérés comme sensibles à leur environnement social, économique etculturel, ce qui les qualifierait comme particulièrement redevables d'une approche "coopérative" ou "stratégique".

Il s'agit cependant (dans 82% des cas) de projets d'investissement qui se déroulent dans un délai de l'ordre del'année sur un budget modeste mais prédéfini (donc avec peu de risques pendant leur déroulement), soit desconditions apparemment idéales pour une approche "planificatrice".

Il est donc difficile de dire a priori quels critères sont les plus appropriés.


3.2 Méthodologie du test.

Les critères évaluatifs définis par le Comité de pilotage recoupaient en partie les critères classiques (pertinence,etc.), sans qu'on puisse pour autant les considérer comme identiques. Les notations réalisées pendant l'évaluation nepeuvent donc être directement rapprochées de l'une des grilles précédentes.

Nous avons donc procédé à la renotation de la totalité des projets sur les 10 critères. L'échantillon résultantest de 70 cas, soit :

48 renotations, une par projet, par les consultants d'evalua qui les avaient visités : Christian Hugues (26 projets) ouFrédéric Lefebvre-Naré (22) ;

14 par des consultants nationaux partenaires, Khalidou Traoré (8), Natalie Bockel (3) et Charles Ndayiziga (3) ;

8 renotations par des agents du MAE "accompagnateurs", Martine Blatin (5) et Romain Louvet (3).

Pour neutraliser les biais liés à chaque évaluateur, les notations ont été "centrées" par rapport à la moyenne des notesdonnées par le même évaluateur sur le même critère, tous projets confondus.

Pour neutraliser les biais liés à l'ordre de passation des critères (corrélations entre critères posés successivement …),les 10 critères ont été posés dans un ordre aléatoire. De plus, 9 autres critères ont été ajoutés en "sandwich" entre lesprécédents, et posées dans le sens opposé ; de sorte qu'un même projet tend à recueillir des notes alternées à droite et àgauche de la grille, non des réponses "à la file" dans une même colonne).

Ces 9 autres critères ont été créés au cours d'un exercice de brainstorming réunissant 4 consultants d'evalua (FabienDevaugermé, Frédéric Lefebvre-Naré, Lucie Pothin, Delphine Rivière). 25 critères différents ont été formulés, puisregroupés en 9 paquets de signification voisine, et reformulés. L'objet de ces 9 autres critères est d'exprimerbrièvement en langage courant (contrairement aux critères "longs et techniques" précédents) le fait qu'uneintervention publique est réussie ou non. Comme les précédents, ils sont définis sous forme d'opposition entre"réussite" et "échec" :

Ça améliore les choses Ça ne sert pas à grand chose

Tout le monde en est content Ça crée des problèmes

Ça sert à plein de gens Ça profite toujours aux mêmes

C'est de l'argent utilisé à bon escient C'est de l'argent jeté par les fenêtres

C'est un exemple à imiter C'est l'exemple à ne pas suivre

C'est une très bonne idée C'est n'importe quoi

Il y a toujours quelqu'un qui s'en occupe Ça s'arrête au moindre pépin

Ça a été mené à bien C'est resté en plan

On a tenu compte des différentes opinions Ça a été imposé d'en haut

Une fois données ces 1330 notes (70x19), reste à les analyser statistiquement pour faire ressortir, parmi les deuxséries de critères testés, les critères les plus explicatifs de la réussite des projets.

La difficulté est évidemment qu'on ne dispose pas, en référence, d'une "vraie" mesure de la réussite des projets.

Deux méthodes statistiques différentes ont été utilisées :

Analyse descriptive des corrélations entre les 19 critères (analyse en composantes principales, qui constitue desvariables de synthèse ou "axes") : elle permet de mieux interpréter la signification de ces critères, notammenten rapprochant langage technique et langage courant ;

Analyses de régression multiple ; elles identifient la contribution de chacun des 10 critères "techniques" pour"expliquer" la réussite globale du projet ; cette réussite globale étant définie de deux façons différentes :

Soit par la moyenne des notes sur 3 des 9 critères "en langage courant", en l'occurrence les 3 qui, selon l'analyseprécédente, résument le mieux la réussite du projet ;

Soit par la moyenne des notes données au même projet, lors de l'évaluation FSD.

Cette notation lors de l'évaluation FSD est liée aux questions spécifiques posées par le comité de pilotage.Ayant été faite 15 mois avant le présent exercice, de façon collective par le trinôme d'évaluateurs présent dansle pays, elle est plus "extérieure" que la précédente à l'exercice de renotation.


3.3 Résultats du test

En résumé, les résultats du test sont … partagés :

la valeur ajoutée d'au moins un des critères "alternatifs" est évidente, mais d'autres demandent au moins àêtre reformulés ;

globalement, la grille de 5 critères "alternatifs" se comporte aussi bien, mais pas mieux, que la grille"classique", sur l'échantillon de 48 micro-projets FSD.

On peut considérer ce résultat comme un succès, puisqu'il s'agit d'un tout premier test de ces nouvelles formulations,qui ne bénéficient pas, comme la grille classique, de décennies de mise au point ; inversement, une grille alternative nesera adoptée par rapport à la grille habituelle que si elle démontre un avantage comparatif !

L'analyse descriptive montre tout d'abord la forte autocorrélation entre notes : un projet bien noté sur uncritère donné tendra à être également bien noté sur chacun critère11. De ce fait, une seule variable de synthèse (premieraxe), qu'on peut baptiser "projet réussi", suffit à résumer 49% de l'information présente dans les 19 critères12.

Les critères qui expriment le plus directement, "sans nuances", l'idée de réussite du projet (c'est-à-dire ceuxqui sont corrélés à plus de 80% avec l'axe 1), sont :

Quatre critères du langage courant :

C'est un exemple à imiter (vs. : C'est l'exemple à ne pas suivre) : 90% ;

Ça améliore les choses (vs. : Ça ne sert pas à grand chose) : 88% ;

C'est de l'argent utilisé à bon escient (vs. : C'est de l'argent jeté par les fenêtres) : 83% ;

C'est une très bonne idée (vs. : C'est n'importe quoi) : 80%.

Deux critères techniques de la grille "alternative" :

"Utilité" : La situation de personnes ou structures prioritaires, est (ou sera certainement) significativementmeilleure qu'elle n'aurait été sans le projet. (vs. : Le bénéfice apporté par le projet à des personnes ou structuresprioritaires, est (devrait être) négligeable, ou négative.) : 85%.

"Adéquation" : Le dispositif que le projet finance, fournit à tout instant des services adaptés au public visé. (vs. :Les services dont le projet finance la fourniture, sont fréquemment décalés par rapport à la demande exprimée oupotentielle.) : 80%.

Un critère technique de la grille "classique" :

Impact : Le projet contribue significativement (ou contribuera de façon certaine) à résoudre les problèmes identifiésau départ. (vs. : La contribution du projet à la résolution des problèmes identifiés au départ, est (devrait être)négligeable, ou négative.) : 83%.

Une fois isolé ce premier axe "de réussite du projet", les axes suivants sont, par construction, indépendants de cecaractère "plus ou moins réussi" et constituent donc des descriptifs contrastés des différentes façons, des différentsangles sous lesquels un projet peut être réussi. La carte infra est basée sur les axes 2 et 3, qui portent respectivement 8 et6% de l'information.

11 À une exception près : la corrélation est négative (-3%) entre le critère "du langage courant", "Ça a été mené à bien

(vs. : C'est resté en plan)", et le critère "technique" de "validité", "Au travers des évènements que peut vivre le publicvisé pendant la durée du projet, les finalités du projet et le choix de ce public restent conformes aux priorités duprogramme. (vs. : Le projet trouve sa raison d'être dans une situation qui, en fait, a toutes chances de se modifierprofondément avant la fin du projet)". Cependant, ce niveau de -3% n'est pas significativement différent de 0 sur unéchantillon de 70 cas. De plus, une corrélation négative "de bruit de fond" devrait être attendue entre critères posésen sens opposé, ce qui est le cas entre critères "techniques" et critères "du langage courant". ("Bruit de fond" de l'ordrede -6%, selon l'expérience de l'auteur : analyses statistiques de questionnaires grand public dans divers pays).

12 Plus exactement 20 : la "note donnée lors de l'évaluation FSD" a été intégrée comme 20ème critère dans cette analysedescriptive.


L'axe 2, vertical, distingue, d'après notre interprétation, des projets "sans problèmes", une notion qui ressortd'ailleurs surtout à travers des critères du langage courant ; et des projets "de nature à résoudre les problèmes"(pertinents, valides), de bonne conception (bonne idée).

L'axe 3, horizontal, distingue des projets menés de façon conforme à leurs objectifs et leurs moyens propres, sur lagauche, et des projets menés de façon concertée et mobilisatrice, sur la droite. On peut reconnaître là une distinctionentre de (bons) projets "planifiés" ou de bons projets "coopératifs", c'est-à-dire menés selon l'approche recommandéepar J.-M. Cornu dans un contexte de "stratégie".


Les libellés des critères les moins liés aux axes 2 ou 3 ont été omis sur le graphique, sauf celui de la "note donnéelors de l'évaluation du FSD".

On remarque :

Que la "note donnée lors de l'évaluation du FSD" se positionne en plein centre. En d'autres termes, les questionsposées par le comité de pilotage ne privilégiaient aucune de ces quatre conceptions de la réussite des projets.

Que cinq critères "du langage courant" y figurent. Ajoutés aux trois critères les plus liés à l'axe 1, qui n'y figurentpas, cela fait 8 critères brefs et simples qui rendent bien compte de trois dimensions déjà "techniques" en elles-mêmes13 !

Que trois critères "classiques" de même que trois critères "alternatifs" y figurent. Plus précisément :

Les critères classiques semblent pouvoir suffire à rendre compte des notions de "projet de nature à résoudre lesproblèmes" et de "projet planifié (réussi)" ;

Les critères alternatifs semblent pouvoir suffire à rendre compte des notions de "projet de nature à résoudre lesproblèmes" (mieux que les précédents) et de "projet collaboratif (réussi)" ;

La corrélation moyenne de l'un des critères "alternatifs" avec l'un des axes 2 ou 3 est de 0,29 en valeur absolue,contre 0,21 seulement pour les critères "classiques" … et 0,30 pour les critères "du langage courant".

Le positionnement du critère de "résilience" est assez surprenant, nous l'attendions plus à droite. Il apparaît icicomme une simple variante de l'efficience. L'analyse explicative permettra de comparer la valeur de chacun de cesdeux approches de la qualité au stade de la mise en œuvre des projets.

L'analyse "explicative" du succès des projets se fait par une régression multiple dans laquelle les 10 critèresinterviennent, soit ensemble, soit en séparant les deux grilles, comme variables "explicatives".

En voici les résultats chiffrés. Les nombres à un chiffre après la virgule (2,2, etc.) sont des coefficients de régressionstandardisés : ils sont en gras si la contribution du critère (pertinence, etc.) pour l'explication globale de la réussite (entête de colonne) est statistiquement significative, c'est-à-dire si le coefficient est supérieur à 1,75.

13 Le critère restant est "Ça sert à plein de gens (vs. : Ça profite toujours aux mêmes)".


Variables à expliquer :

Moyenne des 3 items "langage courant"

les plus liés à l'axe 1 Note donnée lors de l'évaluation du FSDQualité globale de l'explication

(R2) : 83% 79% 76% 41% 34% 38%

pertinence 2,2 5,2 0,2 1,9

cohérence 1,2 1,5 1,9 2,0

efficience -0,7 -0,1 -0,3 -0,1

efficacité 2,5 3,0 0,0 0,7

impact 2,0 4,2 -0,1 0,9

validité 0,6 0,9 0,9 1,1

attractivité 1,5 1,8 0,1 0,4

résilience 1,4 2,9 1,7 2,1

adéquation 0,4 2,7 0,0 0,7

Variables

explica-tives

utilité 2,2 4,8 1,5 1,8

Moyenne14 grille 1 1,43 2,77 0,32 1,09

Moyenne grille 2 1,24 2,63 0,74 1,23

On constate tout d'abord que chacune des deux grilles, utilisée de façon autonome, donne une qualité globaled'explication presque aussi bonne que la liste globale des dix critères. Ceci évitera la recommandation "utilisonsdésormais les 10 critères" !

Ensuite, la qualité d'explication avec chacune des deux grilles est voisine. La grille classique explique (c'est-à-diredécrit) un peu mieux le succès au sens du langage courant, la grille alternative explique un peu mieux le succès selon lescritères posés par le comité de pilotage de l'évaluation FSD15. Par ailleurs, ses différents critères contribuent de façonplus homogène à l'explication globale du succès des projets.

Objectifs : le critère "pertinence" fonctionne mieux que le critère "validité" ;

Moyens : les critères "cohérence" (des moyens avec les objectifs) et "attractivité" ont des performances voisines ;

Mise en œuvre : le critère "résilience" fonctionne beaucoup mieux que le critère "efficience", dont la contributionn'est jamais significative16 ;

Résultats (directs) : le critère "efficacité" l'emporterait sur le critère "adéquation", mais aucun des deux necontribue à expliquer la note donnée dans l'évaluation FSD.

Effets : le critère "utilité" fonctionne mieux que le critère "impact", notamment pour expliquer la note donnée dansl'évaluation FSD.

Le résultat le plus intéressant à notre sens est que l'un des deux critères les plus innovants, la "résilience", apparaîtcomme une alternative valable à l'acception usuelle de "l'efficience" … alors même que ce dernier critère joue un rôlecentral dans les évaluations, si nombreuses, centrées sur la qualité des processus de mise en œuvre.

14 Il s'agit ici d'une moyenne algébrique : elle rend compte du point de vue du praticien, selon lequel un critère de

performance qui contribue négativement à l'appréciation de la performance globale, n'enrichit pas la grille.15 Que les % d'explication sur la 1ère variable ("langage courant") soient globalement plus élevés, s'explique par les

conditions du test (cette 1ère variable est notée simultanément aux critères "techniques", et par la même personne).16 Nous avons déjà constaté ce résultat dans une étude (non publiée) pour l'AfD. Le critère d'efficience n'apporte

aucune information supplémentaire sur la réussite du projet, une fois connues les notes sur les 4 autres.


4. " Que peut-on apprendre des approches anglophones surl’utilisation de l’évaluation ? "

Fabien Devaugermé (evalua) - Journées SFE 2002

L’utilisation de l’évaluation est un sujet foisonnant au centre de la recherche sur l’évaluation dans le mondeanglophone17. Tout un corpus de littérature a déjà été constitué depuis les 25 dernières années à partir d’études surl’évaluation et d’expériences de consultants en évaluation. Ces recherches s’inspirent également de champs d’étude oude disciplines telles que la psychologie sociale (expérimentations sur les effets de la participation de petits groupes), lacommunication (comment transmettre de l’information de façon compréhensible et utile pour les destinataires) et lemanagement.

La présente communication répondra aux questions suivantes :

Quel est le degré d’utilisation des évaluations selon les études menées aux Etats-Unis ?

Quels sont les facteurs d’utilisation des évaluations, et par suite, les méthodes évaluatives et les démarchesd’évaluation permettant d’améliorer l’utilisation des évaluations ?

Cette réflexion se nourrit :

d’une part des travaux d’auteurs comme C. Weiss, M.Q. Patton, Rossi et Freeman, Guba et Lincoln, etd’autres auteurs référencés dans la bibliographie. Pour chaque question susmentionnée, nous souligneronsles différences et les convergences de chaque approche.

d’autre part, d’une lecture des échanges ayant eu lieu depuis 1998 sur la liste de discussion de la sociétéaméricaine d’évaluation (Evaltalk, American Evaluation Association)18. Cette analyse de contenu permettrade donner une idée sur le degré de consensus atteint sur le sujet dans le monde anglophone ainsi que sur lesapproches les plus citées actuellement.

1. QUEL EST LE DEGRÉ D’UTILISATION DES ÉVALUATIONS AUX ETATS-UNIS ?

Il existe plusieurs manières de répondre à cette question. Nous pouvons soit faire appel à des souvenirsd’évaluations qui nous ont semblé avoir eu une influence sur des décisions, soit nous appuyer sur une étude fondée surdes informations recueillies de façon plus systématique et fiable à propos de l’utilisation d’évaluations.

Aux Etats-Unis, cette question a été posée depuis les années 1970, notamment par deux auteurs : Michael QuinnPatton et Carol H. Weiss. Une lecture rapide des échanges ayant eu lieu sur la liste Evaltalk nous montre que ces deuxauteurs sont les plus fréquemment cités dans le monde anglophone lorsque l’on évoque le thème de l’utilisation del’évaluation (evaluation utilization).

Weiss et Patton ont chacun approfondi ce thème à la fois à partir d’études et de réflexions tirées de leur pratique enévaluation.

Quelques constats sur l’utilisation d’évaluations ou de recherches en politiques publiques tiréspar Weiss et Patton

Carol Weiss

Carol Weiss (Université de Harvard) a publié un livre précurseur dans le domaine, en 1977, intitulé Using SocialResearch in Public Policy Making. Ce livre est une première étude comparative de 20 études différentes et de leurutilisation. D’autres articles ou livres ont ensuite suivis jusqu’à nos jours.

Pour Weiss (1977, 1990), il existe peu d’application directe et immédiate des résultats d’évaluation aux décisions deprogrammation. D’où une déception par rapport à ce que l’on peut attendre de l’évaluation de politiques.

17 Dans la suite de l’article, il s’agira essentiellement de travaux américains. Toutefois, force est de constater que les

idées formulées en langue anglaise sont facilement véhiculées dans les autres pays anglophones, notamment leRoyaume-Uni, le Canada, l’Australie, l’Irlande, la Nouvelle-Zélande et bien d’autres…

18 iste électronique de discussion comportant 2400 abonnés avec 5 à 10 emails par jour en moyenne. Réf. :http://www.eval.org/

http://www.eval.org/


Toutefois, cela ne signifie pas qu’il n’y a pas d’utilisation du tout. L’utilisation des résultats d’évaluation et de larecherche a principalement lieu sur le long terme, en particulier à des moments de formulation de la politique. Rossi etFreeman (1993) appellent ce type d’utilisation, une « utilisation conceptuelle », qui est une utilisation de plus longterme reprenant les principales distinctions ou concepts qui émergent de l’étude.

Michael Quinn Patton

Le constat de Patton (1990, 1997) est un peu différent. Certes, lors d’une étude menée vers la fin des années 1970avec ses étudiants, il aboutissait à la conclusion que les évaluations étaient peu utilisées. Mais cette étude date d’unepériode à laquelle les évaluateurs n’avaient pas été sensibilisés à cette question et n’avait pas suivi les conseils et lesrecommandations de la recherche sur l’évaluation selon Patton.

Plus récemment (1997), Patton cite volontiers des exemples suggérant une bonne utilisation des évaluations auxEtats-Unis. C’est le cas au GAO (General Accounting Office). Ce service produisit, en 1995, 290 rapports et 1134recommandations, soit une moyenne de 3,9 recommandations par rapport. Une étude interne suivit le devenir de cesrecommandations pendant 18 mois. Elle montra que 80 % des recommandations avaient été acceptées par les agencesconcernées.

Pour Patton, ce niveau élevé d’utilisation est dû au lien entre l’évaluation de la performance des responsables del’évaluation au GAO, et l’utilisation, c’est-à-dire l’utilité, des évaluations menées dans cette organisation.

De même, l’unité d’évaluation du FBI suit leurs rapports pendant 6 mois pour connaître l’utilisation qui en est faite.Ils publient un rapport tous les ans sur cette étude. Ainsi, de 1980 à 1985, ils conduisirent 37 évaluations deprogrammes importants du FBI contenant 342 recommandations. 82 % de ces recommandations furent approuvées parles administrateurs et 90 % de celles-ci furent appliquées.

À l’issue de cette comparaison, force est de constater une certaine différence entre les deux constats. Cettedifférence peut renvoyer à la définition même de « l’utilisation des évaluations ».

Qu’est-ce qu’une évaluation utilisée ?

Types d’évaluation et types d’utilisation

La différence de diagnostic ente Weiss et Patton semble liée à une différence de niveau d’évaluation. Weiss parleessentiellement d’évaluations correspondant à ce qui est appelé en anglais « Policy research » essentiellement au niveaufédéral. En France, nous pourrions faire le parallèle avec les grandes évaluations interministérielles ou les évaluationscommanditées par le Commissariat Général au Plan, tel que dernièrement sur les politiques de développement rural.Patton tire surtout son expérience d’évaluations de programme, Program Evaluation, plus locales au niveau de l’Etatfédéré ou d’une agence locale, portant sur un objet de recherche plus étroit. Le programme étant compris comme unniveau d’action publique plus local avec des programmes d’action spécifiques, alors que la politique est entenduecomme un cadre d’orientation plus large ayant des acteurs moins facilement identifiables.

Ce n’est pas tant la différence de niveau territorial qui est importante que la différence de caractéristiques entre desévaluations portant sur un champ large et des évaluations plus ciblées. Deux caractéristiques ressortent fréquemment :

1) L’échelle temporelle de l’utilisation. Dans le cas de l’évaluation globale de la politique fédérale, l’utilisationapparaît davantage à moyen ou à long terme (5-10 ans), tandis que l’utilisation d’une évaluation locale d’un programmea plus de chances d’être immédiate et directe.

2) L’ouverture et la grandeur du système d’acteurs concerné. Dans le cas de l’évaluation de politique, la policycommunity, concept que l’on peut traduire par système d’acteurs concernés par une politique, est plus large et diffus.Dans le cas du programme local d’un Etat, l’identification des quelques décideurs importants est nettement plus aisée.

Le temps d’appropriation, donc d’utilisation, d’une étude large et globale, diffusée à un champ d’acteurs diffus etdifficilement identifiable, est plus long que pour une évaluation ciblée ayant des échéances de court terme.

À ces deux types d’évaluation (de politique d’une part, et de programme d’autre part) correspondent fréquemmentdeux fonctions relevées par Carol Weiss : une fonction d’ingénierie sociétale d’utilisation immédiate et directe, et unefonction d’éveil (enlightenment) qui influence indirectement le cadre de pensée du champ évalué.


Types d’évaluation Program Evaluation Policy research

Caractéristiqueshabituelles

Local, champd’évaluation ciblé

Souvent national, champplus global

Fonctions selon C.Weiss

Ingénierie sociétale(social enginering)

Éclairage, éclaircissements(enlightenment) : éclaire etinfluence la pensée sur lesujet

Ces deux fonctions peuvent être rapprochées de la typologie utilisée par Rossi et Freeman (1993)19 : l’utilisationdirecte et instrumentale d’une part, et l’utilisation conceptuelle d’autre part.

Ils ajoutent également l’utilisation appelée persuasive evaluation. Cette utilisation plus orientée est liée au contextepolitique de la politique publique (policy arena), et notamment du degré de consensus ou de dissensions caractérisantcelle-ci (plus il existe des dissensions, plus l’évaluation sera utilisée dans le débat politique), et des modes de lobbyingutilisés (manifestations de rue et soutien populaire, luttes juridiques, arguments techniques…).

Il arrive ainsi que des évaluations de grande envergure d’une politique aient un impact immédiat, même si les typesd’impact cités ne sont pas toujours considérés positivement. C’est le cas des études dont la principale raison d’être estd’obtenir des données permettant de confirmer des opinions déjà constituées, notamment les études de lobbies ou desthink tank américains qui ont une tendance politique marquée. D’autres manuels d’évaluation désignent cette approchesous le terme de « advocacy evaluation » (plaidoyer).

Qu’est-ce que l’« utilisation » et comment la mesurer ?

Que le champ évalué soit une politique, un programme, un projet ou un produit, on pourra dire que l’évaluation estutilisée si elle influence ce champ. Toutefois cette influence peut avoir des degrés différents selon le type d’évaluation.

Ainsi, l’utilisation conceptuelle ou politique d’une évaluation peut très bien s’en tenir à la réutilisation d’argumentsou de concepts apparaissant dans une évaluation. Un indicateur de mesure serait alors sa présence dans les canaux decommunication. Weiss mentionne plusieurs canaux de communication à travers lesquels des idées d’évaluationsvoyagent : les acteurs du programme eux-mêmes, les commissions, les mass médias, les groupes d’intérêt, les réseauxde politiques publiques. Dans ce cas, l’évaluation peut être citée ou seul son contenu peut être réutilisé. Notons qu’elleaura plus de chances d’être citée lorsqu’elle est perçue comme crédible par le public, et qu’elle peut servir à crédibiliserun discours par le recours à la science. Mais dans le cas d’une utilisation politique, le fait qu’elle soit citée ne signifiepas pour autant qu’elle ait « influencée » la politique publique : il se peut très bien en effet qu’elle soit utiliséeuniquement parce qu’elle vient défendre une idée préexistante. Dans ce cas, cette utilisation idéologique est quelque peudétournée de son intention originelle. Quoiqu’il en soit, l’identification de son utilisation devient plus floue et la mesurede l’utilisation des évaluations moins fiable.

Dans le cas d’une utilisation directe et immédiate, Patton (1997) définit l’utilisation comme une « utilisation désiréepar les utilisateurs cibles » (intended use by intended users). Nous avons également découvert à travers les exemplescités par Patton un indicateur de mesure d’utilisation utilisé par les services du GAO et du FBI : celui du pourcentage derecommandations approuvées et appliquées.

Cet indicateur est toutefois sujet à des précautions méthodologiques comme le remarque Weiss. Lesrecommandations ne sont qu’une partie d’un rapport. Leurs origines et leurs modes de fabrication ne sont pas toujoursexplicites, voire parfois douteuses. Dans le meilleur des cas, elles émergent directement des données. Dans d’autres cas,elles proviennent de standards professionnels, ou bien d’une expertise sectorielle. Parfois, l’évaluateur peut s’inspirerd’un élément du programme qui ne marche pas pour faire l’hypothèse qu’une stratégie opposée réussira. Le lien avecles données qualitatives ou quantitatives du rapport, et le mode de raisonnement utilisé pour les produire ne sont engénéral pas évidents. L’utilisation de recommandations n’est donc pas forcément identique à l’utilisation del’évaluation.

19 repris de Leviton et Hugues (1979, 1981) et Rich (1977).


2. FACTEURS ET STRATÉGIES D’UTILISATION DES ÉVALUATIONS

2.1 Quelques réserves préalables quant aux stratégies d’utilisation des évaluations

On imagine parfois l’utilisation de l’évaluation dans le contexte d’un processus décisionnel rationnel linéaire(définir un problème, chercher les différentes options de solutions, étudier les avantages et les désavantages de chaquesolution, et choisir l’option la plus satisfaisante en se fondant sur des preuves (evidence)).

Weiss inclut dans sa réflexion les théories de la décision (Allison, Essence of Decision (1971) ; March et Olsen(1976)) découvrent les organisations agissant selon des règles formelles ou informelles parfois bureaucratiques, ouselon les luttes de pouvoir entre individus ou groupes avec des enjeux très variés. Weiss (1990) détaille ainsi quelquesenjeux :

« Les individus veulent avoir un travail satisfaisant, s’entendre avec leurs collègues, gagner de la reconnaissance etdu respect, voir leur organisation accroître son prestige et ses marges de manœuvres financières, peut-être dépasserune agence ou une faction rivale, augmenter ses chances d’avancement, faire un travail avant tout reconnu par lespairs, observer des rituels organisationnels ou culturels, etc. »

Elle cite également le modèle de la poubelle (garbage can) selon lequel une décision est le résultat d’un entassementde participants, de problèmes, de solutions, et d’opportunités de choix qui traversent l’organisation à ce moment, ouencore le cas d’actions qu’il faut légitimer ensuite en créant des justifications et les nommant a posteriori« décisions »20.

Weiss en tire la conclusion qu’il faut savoir être modeste dans l’impact que peut avoir une évaluation sur ladécision. L’étude d’évaluation ne peut pas couvrir tous les aspects du programme, et elle ne peut pas être une baseunique pour les décisions. Elle peut cependant améliorer la connaissance et la compréhension du programme et éclairerl’étendue des options de décisions et leurs effets. Dans le contexte politique de l’organisation, elle alimente lanégociation à partir d’une réflexion sur des données empiriques. L’évaluation ne peut être qu’un input plus ou moinsimportant. Plus l’évaluation s’inscrira dans le contexte socio-politique de l’organisation, plus elle aura des chancesd’orienter profondément la décision.

Quels sont les moyens de maximiser l’utilisation d’une évaluation dans le processus décisionnel, c’est-à-dire sonappropriation par les décideurs ?

2.2 Réunir les conditions d’appropriation des résultats d’évaluation

Les facteurs d’utilisation des évaluations sont parfois présentés en quatre blocs : les caractéristiques contextuelles,de l’évaluation, de l’évaluateur, et de l’utilisateur. Nous en ajouterons un cinquième en mettant en relation l’évaluateuravec l’utilisateur.

2.2.1 Le contexte

Certaines caractéristiques contextuelles sont davantage des contraintes que des variables manipulables permettantd’améliorer l’utilisation des évaluations.

Néanmoins, l’évaluation s’insère dans un contexte socio-politique qui influence son utilisation selon certainsfacteurs que l’on peut arriver à contrôler. Citons par exemple :

le temps de l’évaluation par rapport au processus décisionnel. Si le niveau de décision est politique parexemple, les moments de restitution des résultats d’évaluation devront être liés au temps décisionnel deshommes politiques et des assemblées.

la prise en compte des caractéristiques de l’organisation (les enjeux de pouvoir, ses règles), et les modalitésde communication des résultats (le bon message aux bonnes personnes).

20 La théorie de la rationalité limitée élaborée par Herbert Simon, ou d’autres théories de la décision, conduirait à

d’autres réserves du même type.


2.2.2 Les caractéristiques de l’évaluation

Cela inclut la qualité de l’évaluation et la communication des résultats d’évaluation, la procédure utilisée, lapertinence de l’information apportée par l’évaluation, le degré de dialogue, et la nature de la restitution des résultats del’évaluation.

La qualité de la présentation orale ou écrite de l’évaluation est également importante. Ainsi trouve-t-on dansl’ouvrage « How to communicate evaluation findings ? » (Morris, Fitz-Gibbon, Freeman, 1987) des conseils decommunication en fonction du public cible de la communication, ou des conseils généraux de présentation desgraphiques, tableaux de données, etc.

2.2.3 Les caractéristiques de l’utilisateur

L’intérêt des utilisateurs pour l’évaluation apparaît selon la littérature comme le facteur le plus important. Larecherche en évaluation parle également de la « réceptivité de l’audience ».

Cela renvoie à l’importance des attentes des utilisateurs potentiels par rapport aux questions spécifiques del’évaluation en question, ce qui entraîne en amont un important travail de préparation de l’évaluation et de sonquestionnement.

Par ailleurs, plus un utilisateur est sensibilisé à l’intérêt de l’évaluation en général, plus l’évaluation aura de chancesd’être utilisée. Concrètement, cet intérêt peut être suscité par des formations à l’évaluation des politiques publiques, eten particulier sur les manières dont l’évaluation pourrait être bénéfique pour le processus décisionnel.

Enfin, il est bien connu que les « décideurs » reçoivent beaucoup d’informations et ont peu de temps pour lire desrapports. Ce constat conduit les évaluateurs à rédiger des synthèses ou des résumés en tête des rapports.

2.2.4 Les caractéristiques de l’évaluateur

L’utilisation des résultats de l’évaluation sera facilitée par un rôle actif de l’évaluateur, ce qui se décline par :

l’importance pour l’évaluateur de l’utilisation de l’évaluation, ce qui présuppose qu’il soit sensibilisé à l’intérêtde l’utilisation. Les discussions sur la liste Evaltalk parlent notamment des formations des évaluateurs, quiconsidèrent leur métier de façon très technique, en oubliant les facteurs d’utilisation d’évaluation, et audétriment d’une vision plus politique de l’évaluation.

la volonté d’impliquer les utilisateurs de l’évaluation (la question des méthodes participatives, tout au long del’évaluation ou à des moments stratégiques) ;

la relation qu’ils sont capables de développer avec les utilisateurs.

La crédibilité de l’évaluateur est également un sujet de discussion fréquemment cité. Cette crédibilité n’est passtatique et immuable mais est acquise tout au long de la conduite de l’évaluation.

Cette crédibilité augmente, selon House (Alkin), lorsque les caractéristiques de l’évaluateur et de celles desdécideurs et utilisateurs sont voisines.

2.2.5 L’interaction évaluateur / utilisateur

Ce dernier facteur synthétise les précédents pour les replacer au sein de la relation entre l’évaluateur et l’utilisateur.

Carol Weiss (1990) reprend les conseils donnés aux évaluateurs au sujet de cette interaction.

En amont :

« Identifiez les décideurs clés ;

Impliquez-les dans la planification de l’évaluation ;

Assurez-vous que l’évaluation traite des questions qu’ils soulèvent ;

Limitez l’étude aux variables qu’ils peuvent manipuler ; »

Et lors de la restitution des résultats :

« Communiquez les résultats assez tôt ;

Parlez-leur en personne ;

Rédigez le rapport de façon claire, concise et simple ;

Rendez explicites les recommandations d’amélioration ;

Assurez-vous que les recommandations que vous tirez des résultats sont faisables par rapport auxcontraintes de leur organisation. »


Cependant, Weiss estime que ces conseils ont de portée limitée pour l’évaluation de politique.

La distinction entre « grandes évaluations » de politiques et les « petites évaluations » de programmes est, parconséquent, importante pour la question de la dissémination des résultats.

Dans les grandes études d’évaluation d’une politique où il est plus difficile d’identifier, aux Etats-Unis, quiva être à l’origine des décisions, la question de la dissémination prend plus d’importance. Tous lesutilisateurs susceptibles de participer au processus décisionnel deviennent les cibles de la diffusiond’information. En outre, la crédibilité et la qualité de l’évaluation deviennent décisives dans la mesure oùelle servira de référence à des prises de position publiques.

Dans les évaluations de programme, un effort important porte sur l’identification et l’implication desutilisateurs premiers. L’information est très ciblée et adaptée aux besoins particuliers des utilisateurs. Laprise en compte des différences de situation et l’intérêt dans les situations et les préoccupations spécifiquesdes utilisateurs potentiels est résumée, notamment par Patton, sous le terme de « situationalresponsiveness ».

Dans cette perspective plus ciblée, Patton semble aller plus loin dans la relation évaluateur-utilisateur dans son livrejustement nommé « Utilization-focused evaluation » (1997). Il place en effet la question de l’utilisation de l’évaluationau centre du processus évaluatif. L’évaluation est présentée comme un processus d’interaction continue entre lecommanditaire ou l’instance d’évaluation et l’équipe d’évaluation, afin d’améliorer l’appropriation des résultats del’évaluation et d’obtenir des ajustements mutuels à propos de l’information désirée et l’information disponible.

Pour Patton (1982, 1997), l’utilisation de l’évaluation est une responsabilité de l’évaluateur (interne et/ou externe).« L’évaluation orientée vers l’utilisation » est un processus de collaboration étroite avec le groupe d’utilisateursprimaires afin de prendre des décisions méthodologiques sur toutes les phases d’une évaluation. L’hypothèse de base decette approche repose sur trois points :

Les utilisateurs cibles utiliseront davantage des évaluations s’ils comprennent et s’approprient le processuset les résultats d’évaluation ;

Et ils les comprendront et se les approprieront davantage s’ils sont activement impliqués ;

En impliquant activement les premiers utilisateurs, l’évaluateur forme les utilisateurs à l’utilisation, préparel’utilisation future, et renforce l’utilité attendue de l’évaluation à chaque étape du processus.

Il souligne l’importance de collaborer étroitement avec l’utilisateur dans toutes les phases de l’évaluation :

la vérification de la compréhension et de l’intérêt d’une évaluation chez les premiers utilisateurs de l’évaluation ;

l’identification préalable de chaque utilisateur potentiel de l’évaluation et de leurs besoins d’information ;

l’analyse du contexte et de la situation par rapport à l’utilisation (expériences passées d’évaluation dans ceprogramme, identification des facteurs bloquant ou facilitant à l’utilisation, identification des dates limites et deleur synchronisation avec les décisions à venir, niveau de connaissance en évaluation et expériences passées despremiers utilisateurs ; contexte politique et facteurs politiques susceptibles d’affecter l’utilisation ; s’assurer de lareprésentation des différents porteurs d’enjeux (stakeholders) dans le groupe des premiers utilisateurs et estimer lesconséquences d’éventuelles absences.

identification des premières utilisations attendues (amélioration du programme (formatif), contribution à desdécisions majeures tel que des évolutions dans le financement (récapitulatif), contribution à la connaissance)

l’identification du questionnement évaluatif

le protocole d’évaluation (des méthodes efficientes doivent permettre de répondre aux questions prioritaires)

la simulation éventuelle de l’utilisation avant le recueil des données (permet de vérifier que le protocole del’évaluation permet de répondre utilement aux questions)

le recueil des données (rapport d’avancement, rapport intermédiaire pour maintenir l’intérêt dans l’évaluation)

l’analyse des données (organisée de façon à faciliter l’utilisation par les utilisateurs identifiés)

facilitation de l’utilisation (faciliter l’appropriation des résultats et leur engagement à agir sur la base de cesrésultats)

metaévaluation (l’évaluation a-t-elle été utilisée ?)

Ces différences d’approches, souvent implicites, entre Weiss et Patton, liées notamment à la possibilité d’identifierles acteurs-clés, tendent à produire ainsi deux stratégies d’utilisation distinctes. Pour l’évaluation de politique, l’accentest mis sur la dissémination large des résultats d’évaluation. Concernant l’évaluation de programme, l’approche se


tournera vers l’implication en amont des décideurs et la participation des acteurs à l’évaluation. Ces deux approchessont reprises dans le tableau ci-dessous.

Types d’évaluation Program Evaluation Policy research

Caractéristiqueshabituelles

Local, champd’évaluation ciblé

Souvent national, champplus global

Fonctions selon C.Weiss

Ingénierie sociétale(social enginering)

Éclairage, éclaircissements(enlightenment) : éclaire etinfluence la pensée sur lesujet

Stratégie decommunication oustratégie d’implicationdes acteurs

Identification desdécideurs et implicationdans le processusévaluatif ; Utilization-focused evaluation

Dissémination large à la« policy community » et auxcitoyens

Un autre type de relation entre l’évaluateur et l’utilisateur est de transformer l’utilisateur en évaluateur à traversl’auto-évaluation. Cela fait référence notamment aux travaux de David Fetterman (1996) sur « l’empowermentevaluation » : les personnes évaluent leurs activités eux-mêmes pour en tirer des recommandations directementpertinentes et applicables à leur situation, qu’ils sont les mieux placés à connaître. Cela contribue à redonner du sens àleurs activités et une meilleure maîtrise de leur métier.

L’auto-évaluation est fréquemment évoquée aux Etats-Unis concernant les enseignants et leurs activités.

Cette dimension d’auto-évaluation fonctionne mieux dans les situations formatives que récapitulatives (ousommatives), c’est-à-dire mieux lorsque les auto-évaluateurs sont placés dans des situations d’amélioration de leurprogramme et de sélection entre plusieurs alternatives, que dans des évaluations devant aboutir à des jugements absolussur leur programme. Ainsi, le questionnement de l’évaluation ne doit pas être menaçant, mais doit offrir des possibilitésd’amélioration du programme.

CONCLUSION

Le thème de l’utilisation des évaluations est un thème abordé depuis plusieurs décennies dans le monde del’évaluation aux Etats-unis. Les nombreuses typologies et concepts nous ont montré que l’utilisation pouvait êtreconsidérée sous plusieurs angles selon les caractéristiques de l’évaluation en question.

Certaines approches élaborées en réponse au déficit d’utilisation conduisent à un rapprochement entre l’utilisateur etl’évaluateur. Dans cette orientation vers des « évaluations tournées vers le client » (client-focused evaluation), certainsévaluateurs craignent la perte de l’intégrité de l’évaluation, de sa neutralité (notamment dans le cas de l’auto-évaluation) ou de son caractère scientifique.

Une autre question est celle de la marge de manœuvre de chacun des acteurs de l’évaluation dans le contextefrançais. La démarche proposée par Patton d’une collaboration active entre les évaluateurs et les premiers utilisateurs-clés des résultats d’évaluation est a priori séduisante. Cependant, dans quelle mesure peut-elle s’intégrer auxprocédures des marchés publics qui, en formalisant les relations sous la forme d’un cahier des charges et d’uneproposition écrite, réduisent les possibilités de l’interactivité et d’allers-retours constants entre utilisateurs et évaluateursque propose Patton ? Comment concilier d’une part l’égalité des concurrents face à l’appel d’offres et la diffusion del’information, et d’autre part la collaboration interactive en amont du processus d’évaluation ? Dans quelle mesure cespréoccupations peuvent-elles être prévues dans les cahiers des charges des évaluateurs afin de maximiser l’utilisationdes évaluations ? Quelle est la responsabilité respective des évaluateurs internes et externes dans la facilitation del’utilisation des résultats de l’évaluation par les porteurs d’enjeux ?

Nul doute que les comparaisons internationales en matière d’évaluation puissent aider à la fois les prestataires et lescommanditaires à améliorer le cadre de l’évaluation et sa capacité à influencer l’intervention publique.


BIBLIOGRAPHIE

Alkin, Marvin C. (1990), Debates on Evaluation, Sage.

FETTERMAN, David (2000).Foundations of Empowerment Evaluation: Step by Step, Sage.

FETTERMAN, KAFTARIAN, AND WANDERSMAN (1996), Empowerment Evaluation: Knowledge and Tools forSelf-assessment and Accountability, Sage.

KINGDON J. (1984), Agendas, Alternatives and Public Policies, Boston, Little Brown.

GUBA, E. C., & LINCOLN, Y. 5. (1981). Effective evaluation: Improving the usefulness of evaluation results throughresponsive and naturalistic approaches. San Francisco: Jossey-Bass.

MORRIS, L. L., FITZ-GIBBON, C. T., & FREEMAN, M. E. (1987), How to communicate evaluation findings.

PALUMBO, D. (Ed.) (1991). The politics of program evaluation. Newbury Park, CA: Sage Publications.

PATTON, Michael Q. (1982), Practical Evaluation, Sage.

PATTON, Michael Quinn. 1987. How to Use Qualitative Methods in Evaluation. Newbury Park, CA: Sage

PATTON, Michael Quinn, (1990). Qualitative Evaluation and Research Methods. 2nd ed. Beverly Hills, CA: Sage

PATTON, Michael Q., "The Evaluator's Responsibility for Utilization" in Marvin C. Alkin, Ed. Debates on Evaluation(Sage, Newbury Park, California, 1990).

PATTON, Michael Q. (1997), Utilization-Focused Evaluation, Sage, 3rd edition.

ROSSI, Peter H. and FREEMAN, Howard E. (1993). Evaluation: A Systematic Approach. 5th edition. Newbury Park:Sage Publications

SABATIER Paul A., JENKINS-SMITH H.(1993), Policy Change and Social Learning. An Advocacy-Coalitionframework, Boulder, Westview Press.

WEISS, Carol (1977), Ed. Using Social Research in Public Policy Making, Lexington Books.

WEISS, Carol, "Evaluation for Decisions. Is Anybody There? Does Anybody Care?" in Alkin, Ed. op cit.

WEISS, Carol, "If Program Decisions Hinged Only on Information : A Response to Patton" in Alkin, Ed. op cit.


5. LE DEVELOPPEMENT ET SES BENEFICIAIRES : L’IMPLICATIONDES BENEFICIAIRES DANS L’EVALUATION, MYTHE OUPOSSIBILITE ?Frédéric Lefebvre-Naré

Journées SFE (1999)

Comment expliquer le fossé entre l’appel rituel à l’implication des bénéficiaires dans l’évaluation (comme dans ledéveloppement en général), et la pratique ? Au-delà des conflits d’intérêts ou de priorités entre acteurs, on souligne lerôle des distances matérielles et culturelles ; on en déduit, dans le cas de l’évaluation en PVD, un modèle del’évaluateur comme traducteur et médiateur.

1. DEUX POINTS DE VUE SUR L'AIDE AU DÉVELOPPEMENT

Le "village aux seize parrains". Ainsi appelait-on Boulounga, une petite bourgade du centre du Burkina, auxportes du Sahel. Seize services étatiques, Ong, associations de développement, projets s'y étaient établis.Chacun ayant son idée sur la meilleure façon de "développer" le village, on y comptait une multitude decomités de développement, avec tous leur philosophie et leur mode d'intervention, bref leur formule dubonheur.

Trop d'aide donnée de façon brouillonne n'a pas réussi à faire de ce village un modèle de développement. Bienau contraire ! (…) Boulounga ressemble à un vaste panneau publicitaire où s'étalent en gras les noms des"généreux donateurs". Quant aux réalisations, elles sont à peine visibles. "Ce fut une catastrophe pire que lasécheresse", estime Désiré Ouédraogo, préfet de Sabcé, un village de la région. "Chaque organisme d'appuitenait à créer un groupe cible pour travailler. Or, tous s'adressaient aux mêmes paysans", poursuit-il. Iln'était pas rare de voir certains "intervenants" s'approprier des groupements villageois, empêchantquiconque de les approcher sans leur autorisation.

OUATTARA (1997), Les "développeurs" apprennent à se parler.

Si tu le vois dans nos ghettos … il n’est pas là pour rien …

TIKEN JAH FAKOLY (1999), “ Toubabou ” (album Cours d’Histoire).

2. L’IMPLICATION DES BÉNÉFICIAIRES, MYTHE ET RÉALITÉ

Dans les manuels d’évaluation, l’implication ou la consultation des bénéficiaires sont fréquemment recommandées,de même que celle des porteurs d’enjeux affectés par l’évaluation et que celle des acteurs de terrain chargés de la miseen œuvre du programme (projet, politique) ; ceci particulièrement dans les manuels axés sur les PVD comme F3E(1996) p. 25 ss. Dans ce cas des PVD, comme dans d’autres (politique de la ville en France), l’implication desbénéficiaires dans l’évaluation est recommandée dans la même logique et souvent au même endroit que leur implicationdans la définition et la mise en œuvre du projet, programme ou politique de développement (p.ex. KANKWENDA (1998),pp. 124-125). Pour certains programmes ou ONG, comme le Programme de Santé Alimentaire et de Nutrition (PSAN)au Burkina, “ la population est au début et à la fin du processus c'est-à-dire de la définition du projet à son évaluation enpassant par son exécution et son suivi ” (SAWADOGO (1997)).

Qui sont “ les bénéficiaires ” ? Cela varie : il s’agit des pauvres et spécialement des femmes pour les coopérationsdanoise ou néerlandaise (BOISDEFFRE (1998) p. 61) ; il s’agit d’une administration d’État, “ bénéficiaire premier del’aide ”, pour la coopération française : “ aucune procédure du Fonds d’aide et de coopération … ne prévoit d’associerles populations bénéficiaires de l’aide à l’identification des actions à conduire, à leur exécution ou à leur suivi. La seulelatitude existante concerne les attributions plus ou moins étendues de l’administration bénéficiaire ” (op. cit. p. 63). Entout cas, le bénéficiaire annoncé est au Sud.

Si l’implication des bénéficiaires est souhaitée, l’axe central des méthodologies d’évaluation proposées restetechnique, au Nord comme en PVD : au Nord, l’accent est mis sur la formalisation des objectifs du (des) porteur(s) dela politique, commanditaire(s) de l’évaluation, et sur les liens de cause à effet qu’on peut établir entre réalisations etobjectifs visés (Conseil Scientifique de l’Évaluation (1996), C3E (1995)) ; en PVD, l’accent est sur la descriptionobjective d’une situation, suivie d’une appréciation d’expert où “ l’évaluateur … énonce ses critères de jugement, c’est-


à-dire ses propres références qui le conduisent à considérer tel résultat comme un succès et non comme une banalité ”(F3E (1996) p. 11).

La pratique la plus fréquente à notre connaissance dans le cas des projets en PVD combine une analyse menée pourl’essentiel au Nord, et une mission de 2-3 semaines sur le “ terrain ”, donnant souvent lieu à per diem. Ce formatvalorise l’expertise sectorielle, technique, nécessaire pour réunir une information significative en si peu de temps.

À l’inverse, les évaluations “ au Nord ”, particulièrement les évaluations partenariales, se déroulent souvent sur 6mois voire plus, rythmées par des réunions des principaux acteurs (“ comité de pilotage ” ou autres formules). Ceformat donne une grande importance à l’expertise politique, relationnelle, de l’évaluateur, qui a le temps nécessairepour situer et recueillir les données.

Dans aucun des deux cas, la consultation des bénéficiaires n’apparaît comme logiquement nécessaire à l’évaluation.Les acteurs de terrain sont des fournisseurs de données sur le projet, de la même façon que, sur l’ensemble du projet,“ la participation des populations se limite le plus souvent à la phase d’exécution des travaux collectifs ”, même avec lesONG (PIVETEAU (1998)). Le “ recours aux appréciations personnelles des bénéficiaires ” devient même un pis-allerpour le cas où les incertitudes des mesures sont trop grandes (HOFMANN (1997), p. 485).

3. “ LES BÉNÉFICIAIRES ”, VERSANT SUD D’UN RÉSEAU D’ACTEURS : L’ÉVALUATEUR

TRADUCTEUR ET MÉDIATEUR

Re-bailleurs,donateurs,électeurs

Bailleurs

Décideurs, poli-tiques, porteursde programmes

Techniciens deterrain, metteursen œuvre

Population,acteurs micro

Presse, TV

Serviceévaluation,contrôle,inspection

Inspection État,Min. Finances, …

Bureaux d’étude,syndicats, leaders« société civile »

...

Ce schéma simplifié du réseau d’intervenants dans un programme de développement (où les flèches désignent desflux financiers et matériels) met en évidence la position de force relative des institutions-bailleurs (Banque mondiale,ONG du nord, etc.), qui tendent à monopoliser la relation entre les fournisseurs de fonds (donateurs, contribuables) et leSud, des politiques aux bénéficiaires. La stratégie des bailleurs peut être soit celle du cartel (tables rondes, groupespays) soit concurrentielle ; dans ce dernier cas, l’évaluation peut jouer un rôle de légitimation par rapport auxfournisseurs de fonds (DEGEORGES et al., 1990), légitimation obtenue soit, pour un acteur dominant, par la prééminencede sa technique (cas de la Banque mondiale), soit pour un “ challenger ”, par le recours à des évaluateurs indépendants(cas du PNUD) encadrés par un cahier des charges si détaillé qu’il porte en lui-même une partie des conclusions (UnionEuropéenne ?).

L’importance de l’enjeu pour les bailleurs eux-mêmes amène parfois ceux-ci à renoncer en chemin à des velléitésd’évaluations plus ouvertes, voire partenariales (Banque Mondiale dans la décennie 90). Le recentrage de l’évaluationsur les enjeux du bailleur lui-même est parfois explicite (cas de l’AFD dans les années 90).

Comme tout acteur, le bailleur ne peut avoir d’intérêt à l’évaluation qu’à proportion des décisions qu’il a à prendresur ses stratégies et méthodes. L’échelle de temps des budgets annuels, et même des programmes, est si courte parrapport aux effets escomptés, que la mesure des effets sur les bénéficiaires est en général inutilisable (elle arriverait troptard) donc non pratiquée - au Sud comme au Nord.

Or, par rapport à leurs propres points de vue, les autres acteurs de la chaîne ont aussi leurs sources d’information etleur évaluation de la réussite de leur action (colonne de droite).


Par exemple le donateur final, le contribuable du Nord, est peu sensible au discours évaluatif technique du bailleur :“ La réaction [de l’opinion française] aux problèmes du Tiers Monde … est souvent plus affective que raisonnée. Laméconnaissance … des enjeux du sous-développement et de l’interdépendance est flagrante. (…) L’actualité estprimordiale ” (PORGÈS (1998), p. 141).

Les politiques nationaux, eux, cherchent à maximiser les flux entrants, la légitimité de l’État (hors monopole de laviolence) étant fondée sur sa capacité distributive.

Les acteurs intermédiaires au Sud ont une stratégie de développement propre bien informée : “ Si aujourd'hui vousvoulez créer une Ong, pour avoir de l'argent, mettez-vous dans l'un des trois créneaux porteurs que sontl'environnement, les femmes et les droits humains. En moins de trois mois, vous avez un partenaire [bailleur] ”. André-Eugène Ilboudo, président du Secrétariat permanent des Ong du Burkina Faso. in DADJO (1998).

Quant aux bénéficiaires, leur maîtrise des réalités sociales, économiques et techniques leur permet de développer desstratégies performantes : “ Dans un univers incertain, les agents privilégient à la fois le court terme du marché et lesinvestissements intergénérationnels. Ils effectuent à court terme les choix qui laissent ouverts le plus grand nombred’actions futures ” (HUGON (1999), p. 57) ; “ les bénéficiaires sont actifs. Ils maîtrisent les caractéristiques de l’aide desONG, s’en accomodent utilement et se satisfont de certains effets positifs pourtant en deçà des attentes initiales desopérateurs ” (PIVETEAU (1998), p. 82).

Cette forte diversité de points de vue sur le développement (qui exclut toute velléité de diagnostic partagé ou destratégie solidaire) n’est pas spécifique aux relations Nord-Sud ; mais, dans ce cas, elle s’accompagne d’une diversité delieux, d’échelles de temps et même de conceptions du temps : à la vision dite cyclique du temps des sociétés ruralestraditionnelles s’opposent une linéarisation et une orientation du temps (dans les diagrammes de projets, deprogrammes). On peut donc exclure que les acteurs du Sud intègrent leur vision évaluative dans les schémas de projetdes bailleurs. Les annonces de stratégie d’empowerment, laissant aux acteurs nationaux la responsabilité des politiques,prennent acte de cette impossibilité de trouver un cadre conceptuel réellement commun.

Quel est dans ce contexte l’objectif possible de l’évaluation, d’un point de vue extérieur à cette chaîne d’acteurs (dupoint de vue du développement) ?

La nouvelle économie fournit une piste, en montrant les limites de la vision classique du temps du projet, auprofit d’un temps flexible, tissé d’imprévu et de bifurcations, dans lequel l’information et le partage des pointsde vue fournissent des opportunités créatives.

L’évaluation pourrait (dans quelles conditions ?) jouer ce rôle de traduction, de médiation, de raccourcissement desdistances entre points de vue, pour rendre tous les acteurs plus innovants et plus efficaces.

Les missions mixtes (Nord+Sud) d’évaluateurs sont un élément allant dans ce sens ; bien que “ le ‘chef d’équipe’des évaluateurs [reste] le plus souvent un ressortissant d’un pays industrialisé ” (HOFMANN (1997), p. 482), les acteurs“ PVD ” constatent que leur vision peut commencer à être prise en compte dans les évaluations (entretiens d’acteurs parl’auteur au Burkina).

BIBLIOGRAPHIE

Articles et communications :

GABAS Jean-Jacques, MAINGUY Claire (1998), “L’aide au développement en Afrique et en Asie : anciennes pratiques etnouveaux enjeux”, in Les aides à l’Afrique en questions, Afrique contemporaine n°188.

DADJO Crépin Hilaire (1998), Environnement : trop d'Ong, peu de résultats, Syfia Burkina.

DE BOISDEFFRE Lionel (1998), “Un exemple de coopération à contre-courant : l’aide française à la réduction de lapauvreté au Burkina Faso”, in Les aides à l’Afrique en questions, Afrique contemporaine n°188.

DEGEORGES Olivier, MONNIER Eric, SPELENHAUER Vincent (1990), “L’évaluation comme outil de légitimation : le casdes grandes organisations internationales”, Politiques et management public vol. 8, n°4, déc. 1990.

HOFMANN Elisabeth (1997), “L’évaluation dans des pays en voie de développement”, Revue d’économie régionale eturbaine, n°3/1998.

KANKWENDA Mbaya (1998), “Le PNUD et l’action opérationnelle”, in Les Nations Unies et le développement : le casde l’Afrique, IEP Aix-en-Provence, colloque sous la direction d’Yves Daudet, Paris, éditions A. Pedone.

OUATTARA Souleymane (1997), Les "développeurs" apprennent à se parler, Syfia Burkina.

PIVETEAU Alain (1998), “Les ONG au Burkina Faso : de la réputation à l’évaluation”, in Les aides à l’Afrique enquestions, Afrique contemporaine n°188.


PORGES Laurence (1998), “L’aide et l’opinion française ou les limites de la générosité”, in Les aides à l’Afrique enquestions, Afrique contemporaine n°188.

Ouvrages :

Centre Européen d’Expertise en Évaluation - C3E (1995, 1996), Cahiers MEANS n°1 à 7, Commission européenne, DGXVI/02.

CRET - Centre de recherche sur les espaces tropicaux (1998), Aspects du développement économique dans un paysenclavé : Le Burkina Faso, collection “ Pays enclavés ”, n°9.

Conseil Scientifique de l’Évaluation (1996), Petit guide de l’évaluation des politiques publiques, Paris, Ladocumentation française.

F3E (Fonds pour la promotion des études préalables, études transversales, évaluations) (1996) Guide méthodologique :l’évaluation, un outil au service de l’action, rédigé par Marie-Christine GUENEAU et Étienne BEAUDOUX.

FITZ-GIBBON Carol Taylor, MORRIS Lynn Lyons (1987), How to design a program evaluation, Newbury Park (Ca),Sage Publications.

GRET - Groupe de recherche et d’échange technologique, SIC - Sahel Ingénieurs Conseil (1999), Évaluation despartenariats de coopération décentralisée des membres du ‘groupe pays Sénégal’ et de leurs homologuessénégalaises : rapport de synthèse, Cités Unies France, AMS et APCR.

HUGON Philippe (1999), L’économie de l’Afrique, 2ème éd., Paris, La découverte.

OCDE (1999), Vers de meilleures pratiques de l’évaluation, Document de travail de l’OCDE n°11, Paris.

SAWADOGO Kimseyinga (1997), La pauvreté au Burkina Faso: une analyse critique des politiques et des stratégiesd’intervention locales, Document de travail de l'ECDPM n°51.


AU TRAVAIL !

Lucie Madon et Jean Croisel (ENGREF)dans une forêt touchée par la tem-

pête (Bannoncourt, Meuse)

Séminaire animé par Frédéric Lefebvre-Naré et IsabelleGachie (BDPA) pour l'Agence intergouvernementale de

la Francophonie

Christian Hugues et Frédéric Lefebvre-Naré, Argenteuil

Atelier d'experts animé par evalua à Luxembourg

Des évaluations innovantes pour éclairer la décision...

Documents

Transcript of Des évaluations innovantes pour éclairer la décision...