1

Réseau Rural Auvergne

Mémo réseau : groupe de travail « évaluation des politiques publiques »

2

3

Sommaire

1. Une demande initiale de cadrage théorique sur le s définitions et la méthodologie de l’évaluation

1.1. Qu’est-ce que l’évaluation ? 1.2. Cadrage et méthodes d’évaluation appliquée au SCOT du Pays

de la Vallée de Montluçon et du Cher

2. Des demandes plus pratiques sur les sources et l’utilisation des données

2.1. Présentation des différents types d’indicateurs 2.2. Présentation de l’INSEE sur leurs données et leurs usages

3. Vers des demandes opérationnelles émanant d’acteurs locaux

3.1. L’évaluation comme outil de suivi des actions d’une association

3.2. Demande sur les outils de l’évaluation : une nécessité forte de concevoir les outils dès le départ

4. Des demandes plus ciblées sur la préparation de la programmation suivante

4.1. Quels liens entre évaluation et stratégie de territoire ? 4.2. Une demande axée sur l’amélioration des pratiques évaluatives - un retour de l’expérience d’évaluations croisées et participatives : l’évaluation « regards croisés » entre deux GAL d’Auvergne et de Rhône-Alpes

4

Le groupe de travail « évaluation des politiques publiques », créé début 2008, est un des six groupes thématiques du Réseau Rural Auvergne. Sa constitution a été motivée par la volonté d’apporter une réponse collective à des demandes ponctuelles des territoires en matière d’évaluation et ainsi favoriser la diffusion d’une culture commune de l’évaluation auprès des acteurs des territoires.

Pour répondre à ces attentes, le groupe a répondu favorablement à un ensemble de sollicitations diverses. En premier lieu, le groupe a répondu à une demande de cadrage théorique sur les définitions et la méthodologie de l’évaluation, puis à une sollicitation de structuration de deux évaluations au moyen de graphe d’objectifs (Association des sites casadéens et GAL du Pays d’Aurillac). Ensuite, les travaux du groupe se sont concentrés sur des demandes concernant les sources et l’utilisation des données (GAL Sologne et Bocage Bourbonnais) et les outils de l’évaluation, notamment l’élaboration d’un questionnaire (cas du GAL du Pays d’Aurillac). Enfin, le croisement entre évaluation et stratégie de territoire a été explicité. Une première expérience d’évaluation participative entre GAL est présentée pour envisager de nouvelles modalités de mise en œuvre d’évaluation au niveau local : des « regards croisés » entre territoires.

Les réunions du groupe de travail ont permis de mettre autour de la table chercheurs, acteurs des territoires… dont les niveaux de connaissances et de pratiques de l’évaluation hétérogènes peuvent être perçues comme une difficulté, ou au contraire comme l’un des éléments forts du Réseau.

1. Une demande initiale de cadrage théorique sur le s définitions et la méthodologie de l’évaluation

1.1. Qu’est-ce que l’évaluation ?

Le 20 mai 2008, la première réunion du groupe a permis de poser les bases d’une définition partagée de l’évaluation.

L’ensemble des participants s’accordent sur l’idée que l’évaluation est à la fois : - une analyse du passé, une observation, une analyse du réalisé par rapport au prévu ; - une projection dans l’avenir, un outil d’aide à la décision, une recherche d’opérationnalité. Quel que soit l’horizon temporel, l’évaluation, doit être partagée par l'ensemble des acteurs. L’évaluation peut être mise en œuvre : - Ex ante : pour aider à axer son programme ou sa politique en relation avec ses objectifs, - Ex post : après la programmation pour construire un nouveau programme, - In itinere : pendant la période de la programmation.

Action publique

Ex-

ante

Ex-

post

Inte

rméd

iaire

Suivi en continu + évaluation régulière

In-itinere

t0 t1

Source : Dominique VOLLET

5

Quels sont les principaux points d’attention d’une évaluation de politique territoriale ? L’évaluation gagne à être pensée en amont d’un projet afin de mieux ordonner la collecte de données. Un protocole (ou méthodologie) doit être élaboré. Il doit faire consensus pour tous les acteurs. Le processus de collecte et d’analyse des données est intégré au protocole, de même que les indicateurs qui seront utilisés. Ces éléments servent à la rédaction du cahier des charges de l’évaluation. Il est important d’identifier le périmètre du programme ou de la politique à évaluer pour bien définir les objectifs et les questions posées.

1.2. Cadrage et méthodes d’évaluation appliquée au SCOT du Pays de la Vallée de Montluçon et du Cher

Le 6 octobre 2008, le groupe de travail s’est réuni à Marcillat-en-Combraille pour un cadrage sur la méthodologie de l’évaluation. Après une présentation théorique par Farid HADJAB, Directeur de la Maison Départementale des Personnes Handicapées à Nevers ayant exercé la mission de chargé d'évaluation au Conseil général de la Nièvre pendant 10 ans, le groupe a travaillé sur l’évaluation du SCOT (schéma de cohérence territoriale) du Pays de la Vallée de Montluçon et du Cher. Cadrage méthodologique : L'évaluation consiste à porter un jugement sur une politique publique ou un programme afin d'en améliorer la valeur. Elle se traduit de 3 façons : - Apprécier le plus objectivement possible les effets du programme ou de la politique publique sur la société :

Quels sont les résultats mesurables ? Quels sont les effets directs ou indirects ?

- Comprendre le processus de mise en œuvre de cette politique publique : Comment les agents de la mise en œuvre du programme se sont-ils organisés ? En quoi cette organisation a-t-elle favorisé ou gêné l'atteinte des objectifs ?

- Aider les commanditaires à porter un jugement de valeur sur la politique publique : La politique publique choisie a-t-elle permis d'apporter une réponse aux enjeux ciblés lors de

sa mise à l’agenda ?

Pourquoi évaluer ?

Avant de lancer une évaluation, il convient de préciser les raisons motivant l’évaluation : - pour contrôler le bon usage des fonds publics ? - pour mesurer l’efficacité des actions ? - pour apprécier l’impact de la politique publique ? - pour améliorer la mise en œuvre de la politique publique - pour donner du sens (relier les actions à des orientations politiques) - pour produire du changement (transversalité, décloisonnement…) - pour mobiliser les acteurs (participation, responsabilisation…) - pour mieux communiquer sur les actions menées. L’évaluation peut également contribuer à passer d’une logique de guichet (un catalogue d’actions juxtaposées sans articulation entre elles) à une logique de projet (une cohérence entre des objectifs stratégiques et des actions inscrites dans la durée permettant une évaluation de cohérence et de pertinence).

Quoi évaluer ?

Trois registres classiques d’évaluation sont à noter : - évaluer ce qui a changé pour le territoire et pour ses habitants (résultats, impacts) - évaluer l’organisation de l’action publique (cohérence, décloisonnement, moyens mobilisés) - évaluer la mobilisation des acteurs et habitants. La chaîne de l’évaluation synthétise la démarche d’évaluation en articulant les sept grands registres de l’évaluation d’une politique publique au sein du processus : la cohérence, la pertinence, l’efficacité, la faisabilité, l’efficience, l’utilité.

6

Source : Farid HADJAB

Questions-Réponses :

Quelle différence entre évaluation externe et autoévaluation ? - L’autoévaluation ne permet pas de tout évaluer et doit se limiter à quelques questions évaluatives. Elle permet de remettre en cause certains éléments : organisation, utilisation des subventions, redéploiement des effectifs. Mais la « pression » parfois exercée en interne ne permet pas toujours une véritable remise en cause ni une réelle objectivité. - L’évaluation externe permet une impartialité et une prise de recul. Néanmoins, pour qu’une évaluation externe soit efficiente, il faut veiller à une commande claire et précise, à bien travailler le cahier des charges. Comment impliquer les élus dans une démarche évaluative ? - Les élus doivent être impliqués pour définir l’intention évaluative et la clarification des objectifs à atteindre. De la volonté des élus dépendra le type d’évaluation. Quelle différence entre bilan et évaluation ? - Le bilan est un outil au service de l’évaluation. Quantitatif, qualitatif, statistique, il est une des sources d’information pour mener à bien l’évaluation. Il est important de préciser que l’évaluation est une action finie dans le temps. Quel type d’évaluation pour quel périmètre ? - L’évaluation doit être partagée par le territoire qui la porte. Elle doit donc être adaptée au périmètre territorial de la politique.

Pour aller plus loin : L’évaluation des politiques publiques, 2001, PUF,

Bernard PERRET Petit guide de l’évaluation, 1996, Conseil scientifique

de l’évaluation Manuel de l’évaluation des politiques publiques, 2008,

Quae, Dominique VOLLET et Farid HADJAB

7

Travail en ateliers sur une méthodologie d’évaluati on appliquée au SCOT du Pays de la Vallée de Montluçon et du Cher

Contexte : Le Pays de la Vallée de Montluçon et du Cher a engagé plusieurs chantiers devant s’inscrire dans une stratégie de développement et conditionnant la refonte de sa charte à partir de 2010, la charte de Pays arrivant à son terme en 2013. Parmi ces chantiers figure une démarche SCOT (Schéma de Cohérence Territoriale) démarrée en septembre 2007 et dont le diagnostic et enjeux sont validés depuis février 2008. Ils font l’objet d’une large communication en direction des décideurs locaux et de la population locale.

Atelier 1 : Accessibilité L’enjeu SCOT du Pays en matière d’accessibilité est de « passer du tout automobile à une offre de déplacements diversifiée » ou « de la mobilité contrainte à la mobilité choisie ». Afin de travailler sur l’évaluation de cet enjeu, il est nécessaire d’identifier la question évaluative. Pour cela, un exercice de compréhension des enjeux et de distinguo entre besoins et problèmes est nécessaire. Ainsi, plusieurs questions évaluatives peuvent être identifiées : - dans quelle mesure le SCOT a-t-il amélioré la cohérence des différentes politiques ? - dans quelle mesure le SCOT a-t-il permis la mise en cohérence et la coordination entre mixité sociale et transport ?

Atelier 2 : Communication La réussite du SCOT passera aussi par une bonne communication : auprès des élus et auprès de la population locale. Une première phase d’appropriation du sujet par les élus est donc nécessaire, ils seront ensuite le relais auprès des citoyens. Cet élément a sans doute été sous-estimé dans la phase de démarrage. Question évaluative proposée : - comment rendre lisible la communication et donner les moyens d’une consultation ? Cas pratique : réflexion en commun sur une évaluati on « interpolitique » Le GAL Territoire de projet en Sologne et Bocage Bourbonnais a sollicité le groupe de travail « évaluation des politiques publiques » du Réseau rural Auvergne alors qu’il venait d’être sélectionné nouveau territoire LEADER et que son « Contrat Auvergne+ deuxième génération » (contrat de développement signé entre le Conseil Régional d'Auvergne, le Pays et ses Communautés de communes adhérentes) était en cours d’élaboration. Dans ce contexte, le territoire se posait une question qui a été débattue en groupe : comment articuler l’évaluation des différentes politiques ? Deux méthodes contradictoires ont été évoquées : - évaluer chaque politique puis les confronter ; - partir du territoire et voir en quoi les différentes politiques concourent au projet global du territoire. Après discussion, la deuxième méthode parait être la plus appropriée.

2. Des demandes plus pratiques sur les sources et l ’utilisation des données

2.1. Présentation des différents types d’indicateu rs

Le GAL Territoire de projet en Sologne et Bocage Bourbonnais a exprimé une demande concernant les sources de données et leur utilisation. Une réunion du groupe de travail a été organisée en réponse le 29 juin 2010, avec la présentation des différents types d’indicateurs, des données INSEE et de leur utilisation. La structuration du travail évaluatif Pour évaluer, il faut structurer le travail évaluatif. En effet, pour essayer de porter un jugement sur une politique publique, il convient de décrypter les relations de causes à effets de cette politique (autrement dit la théorie d’action de la politique publique). Cette dernière permet de définir le

8

référentiel de l’évaluation, c’est à dire les normes par rapport auxquelles on jugera que la politique est efficace ou efficiente. Au lieu de se lancer dans une collecte d’indicateurs tous azimuts, il faut commencer par une première observation et récolter les données, auprès de l’INSEE et, outre les services statistiques, les données propres à partir d’enquêtes sur le terrain, d’entretiens... Puis la phase d’analyse des données permet d’estimer les effets, de croiser les informations qualitatives et quantitatives. Enfin le jugement de synthèse peut être émis après avoir structuré, observé et analysé les données.

Source : Farid HADJAB Pour structurer une évaluation, plusieurs outils existent : les graphes d’objectifs, les diagrammes logiques d’impact, l’analyses des forces faiblesses - opportunités menaces (matrice AFOM). Voici un exemple de structuration d’une évaluation sur deux territoires aux mêmes enjeux (communautés de communes souhaitant rénover et réaliser des logements) mais situés dans deux zones différentes (une zone péri urbaine et une zone rurale isolée). Pour la première, l’objectif est de limiter l’étalement urbain et de maintenir des activités commerciales locales dans les bourgs tandis que la seconde vise à stimuler l’arrivée de nouveaux-venus. Dans le premier cas, en décomposant la démarche, la finalité générale est d’assurer un développement équilibré et durable en synergie avec un pôle urbain. A chaque niveau d’objectifs correspondent des types d’indicateurs qui permettront de suivre l’avancée du programme et comment se décompose la relation de causes à effets (actions, objectifs opérationnels, objectifs stratégiques et finalités). Nous pouvons remarquer que plus on monte dans les objectifs plus les indicateurs sont difficiles à déterminer. Au stade de l’observation, l’outil statistique est complémentaire à d’autres outils comme les enquêtes quantitatives ou entretiens qualitatifs.

Structuration d’un graphe d’objectifs

Source : Dominique VOLLET

2.2. Présentation de l’INSEE sur leurs données et leurs usages Que peut apporter l’INSEE aux démarches d’évaluatio n ? Le rôle de l’INSEE est d’éclairer le débat économique et social, collecter, produire et analyser les données, diffuser ces informations sur les champs économiques ou de société. Elle a une mission de coordination du système de statistique publique. C’est une direction générale du Ministère de l’économie avec une implantation locale dans toutes les régions françaises. L’INSEE intervient sur le recensement de la population et dans les travaux sur la démographie à plusieurs échelons. Elle produit également des études pour les collectivités et les acteurs de la vie économique et sociale des territoires.

9

Les politiques publiques sont évaluées avec un certain nombre de critères de pertinence, d’utilité, d’efficacité, de cohérence, d’efficience. L’INSEE intervient sur le critère de l’efficacité vis à vis des objectifs déterminés.

3. Vers des demandes opérationnelles émanant d’acte urs locaux

3.1. L’évaluation comme outil de suivi des actions d’une association

L’exemple des sites Casadéens Le contexte de l’évaluation

L’association « Réseau Européen des Sites Casadéens » a souhaité évaluer son projet de valorisation de son patrimoine naturel et culturel. Elle a fait appel au groupe de travail du Réseau rural Auvergne pour structurer sa démarche évaluative. Depuis 10 ans, le Réseau Européen des Sites Casadéens regroupe les communes et les associations animant un ou plusieurs Sites Casadéens. L’association a pour vocation d’animer et promouvoir les Sites Casadéens et publie notamment un livret d’itinéraires pour découvrir l’ouest de la Haute-Loire à travers ses 40 sites. L’évaluation de l’association a permis aux membres du groupe de travail de découvrir le site de La Chaise-Dieu (réunion du 23 mars 2012) et aussi une démarche d’évaluation appliquée à une association. Les outils d’évaluation

Plusieurs outils peuvent être réalisés lors de la première phase de structuration de l’évaluation. Pour l’association des Sites Casadéens, le groupe de travail a établi deux types d’outils : un graphe d’objectifs et un tableau reprenant l’ensemble des indicateurs facilitant l’évaluation (voir annexes 1 et 2). Ces outils ont permis de rendre la démarche totalement opérationnelle au profit de l’association dans la mesure où le tableau d’indicateurs constitue un véritable tableau de suivi des actions de l’association.

3.2. Demande sur les outils de l’évaluation : une nécessité forte de concevoir les outils dès le départ

Le 29 janvier 2013, le groupe évaluation des politiques publiques s’est réuni à Massiac pour travailler sur l’élaboration et le traitement d’un questionnaire, avec un éclairage méthodologique réalisé par Nadia GUIFFANT, assistante-ingénieur à l’Irstea.

Présentation de la démarche du Pays d’Aurillac

Le GAL du Pays d’Aurillac a souhaité définir l’évaluation globale de son programme en 2009. L’évaluation du programme LEADER+ n’avait pas donné entière satisfaction, car elle s’appuyait sur

10

des données trop quantitatives. Pour son programme LEADER 2007-2013, le GAL du Pays d’Aurillac a voulu impliquer les acteurs locaux dans le processus d’évaluation. Il y a également eu une volonté d’articulation entre ce processus d’évaluation et d’autres démarches d’évaluation comme le Contrat Auvergne+. Cette approche nous sert d’exemple concret pour acquérir une méthode sur la conception et surtout sur l’analyse d’un questionnaire qui a été co-construit avec l’IRSTEA et le Pays de la Vallée de Montluçon et du Cher, structure porteuse d’un autre GAL auvergnat. L’évaluation du programme LEADER permet aussi au GAL de préparer la prochaine programmation 2014-2020 et de rentrer dans un processus d’amélioration de ses pratiques. Ce sont en tout 4 questionnaires différents qui ont été conçus pour récolter les données manquantes. Comment créer un questionnaire ?

La démarche d’Aurillac est représentative des démarches d’évaluation de politique publique menée au niveau local. A cet effet, le questionnaire découle d’une méthodologie acquise lors des réunions précédentes. Un bref rappel est nécessaire pour comprendre l’utilité d’un questionnaire dans une démarche d’évaluation. Des étapes doivent être respectées avant de préparer un questionnaire : - la création d’un graphe d’objectifs (voir annexe 3), - la mise en place d’une grille d’indicateurs qui correspondent aux objectifs du graphe, - la définition d’un référentiel d’évaluation qui comporte des précisions quant aux indicateurs et à leur sens exact. Pour réussir une évaluation, il faut apporter des éléments et des données pour chaque indicateur. De fait, certaines données ou informations sont déjà connues par l’intermédiaire de tableaux de suivi. Pour le programme LEADER, par exemple, les données Osiris sont suffisantes pour apporter des éléments de réponse sur certains indicateurs. Pour d’autres, il est nécessaire d’aller chercher l’information par des méthodes différentes. Le questionnaire est un des outils qui peut être utilisé pour combler les lacunes mais il doit être conçu à l’aide de questions évaluatives qui émanent de la grille d’indicateurs pour être réellement efficace. Les questions évaluatives sont les grandes questions auxquelles doivent répondre le questionnaire. Elles sont généralement validées dans le cadre d’un comité de pilotage de l’évaluation. Ces questions évaluatives ne sont pas posées directement dans le questionnaire. En ce qui concerne le programme LEADER d’Aurillac, les questions évaluatives sont : - Le programme LEADER est-il cohérent avec les autres programmes ? - Les actions mises en place dans les programmes sont-elles cohérentes entre elles ? - Le dispositif LEADER répond-il aux objectifs de développement fixés par le pays ? - Comment isoler les effets propres du dispositif LEADER pour arriver à l’évaluer ? Quelques conseils pour réussir son questionnaire

- enquêter un minimum de 30 personnes, de façon à avoir un échantillon suffisamment large, - éviter d’être juge et parti : il peut être décidé que la personne qui réalise les questionnaires soit

différente de celle qui les analyse, un comité d’évaluation peut aussi discuter des résultats des questionnaires,

- réfléchir aux modes de distribution et de diffusion du questionnaire, - faire attention aux libellés des questions et rédiger des questions simples pour éviter les biais

d’enquêteurs, - prévoir le traitement des questionnaires en même temps que sa conception, - tester le questionnaire avant sa diffusion ; cela permet de corriger certaines questions incomprises et

d’améliorer la pertinence de son questionnaire, - être conscient qu’il est impossible qu’un questionnaire soit parfait ; le taux de réponse ne sera jamais

de 100 %, - construire le questionnaire en déterminant ce que l’on souhaite en ressortir, jusqu’à l’analyse des

données afin que l’analyse réponde aux questions de départ, - cibler les personnes interrogées ou créer un échantillon, ce dernier point étant facultatif. Si toutefois

l’échantillon n’est pas complet ou est orienté vers une cible, le préciser lors de la restitution des résultats des questionnaires,

- se référer aux référentiels de l’objet que l’on évalue ; dans l’exemple du programme LEADER, il faut se référer aux 7 critères qui le caractérisent,

- éviter la confusion entre les questions évaluatives et les questions du questionnaire, qui doivent répondre aux questions évaluatives,

11

- choisir un questionnaire guidé ou non guidé, un questionnaire nominatif ou anonyme. L’accompagnement dans la rédaction peut apporter une plus value et réduire le biais dans les réponses de la part des enquêtés.

Traitement d’un questionnaire : faire parler les do nnées récoltées

Quelques conseils pour traiter les données d’un qu estionnaire Plusieurs difficultés sont rencontrées dans l’analyse des données : - les mauvaises réponses dans l’envoi des questionnaires, - le faible taux de retour des questionnaires, - il peut être utile dans la conception de prévoir de poser plusieurs fois les mêmes questions sous des angles différents pour ensuite les croiser lors de l’analyse et pouvoir en tirer des conclusions. Pour traiter un questionnaire, il faut apporter les réponses aux questions que l’on s’est posé à la conception du questionnaire, par exemple : comment isoler les effets propres ? Qu’apporte LEADER par rapport aux autres contrats ? Il existe de nombreux logiciels d’analyse de questionnaires, parmi lesquels SPHINX (logiciel payant) et SONAL (gratuit). Exemple : traitement d’un questionnaire à partir d u logiciel SPHINX

Les participants se sont livrés à un exercice pratique : croiser les données récoltées des questionnaires pour répondre aux questions évaluatives. - le caractère innovant du programme LEADER : le jugement évaluatif est fait à partir du croisement de plusieurs questions, il émane de l’interprétation des résultats. D’après les premières exploitations des résultats, le dispositif est faiblement satisfaisant sur l’évaluation du caractère innovant. Les résultats obtenus par le traitement des données sont issus du croisement de différentes variables. Le logiciel permet également de faire des graphes, des histogrammes… - la dimension intégrée : réalisation de croisements sur le nombre de partenaires différents intervenant sur un projet, sur le programme. - la dimension innovante : comparaison de l’action soutenue avec d’autres déjà menées.

Pour aller plus loin : Ouvrages généraux : - BEAUD S. & WEBER F., 1997, Guide de l'enquête de terrain, Ed. la Découverte, coll. Guide

repère. - DE KETELE J.-M., ROEGIER X., 1996, Méthodologie du recueil d'informations – Fondements

des méthodes d'observations, de questionnaires, d'interviews et d'études de documents, de Boeck université, 226 p.

- DE SINGLY F., 2008, L'enquête et ses méthodes : le questionnaire, Armand Colin, Paris, 128 p. - GRAWITZ M., 2001, Méthodes des sciences sociales, 11e éd., Dalloz, Paris, 1019 p. - MARTIN, O., 2007, L'analyse de données quantitatives, Armand Colin. - QUIVY R., VAN CAMPENHOUDT L., 1988, Manuel de recherche en sciences sociales, Dunod,

271 p. Sites Internet de guides de réalisation de question naires et de sondages : - http://members.tripod.com/frede_dast/conseil1.html - http://www.apce.com/pid531/realiser-un-questionnaire.html?espace=1 - http://perso.univ-rennes1.fr/benoit.le-maux/Questionnaire.pdf - Une méthode pour l’évaluation par questionnaire - http://ec.europa.eu/europeaid/evaluation/methodology/examples/too_qst_res_fr.pdf - Réseau Quetelet : http://www.reseau-quetelet.cnrs.fr/spip/ - Portail français d’accès aux données pour les sciences humaines et sociales Site Internet pour télécharger des outils gratuits pour l’analyse de questionnaire : - Limesurvey pour les questionnaires (enquêtes quantitatives) : http://docs.limesurvey.org/Installation+… - Sonal pour les entretiens (l’analyse qualitative) : http://www.sonal-info.com/

12

4. Des demandes plus ciblées sur la préparation de la programmation suivante

4.1. Quels liens entre évaluation et stratégie de territoire ?

Dans un contexte de fin de programmation européenne 2007-2013, de préparation des nouvelles candidatures des territoires LEADER (programmation 2014-2020) et de la troisième génération à venir des politiques contractuelles de la Région, certains territoires auvergnats ont exprimé le souhait de travailler sur le lien entre évaluation et stratégie de territoire. Le groupe de travail « évaluation des politiques publiques » s’est donc réuni le 24 avril 2014 à Aubière sur la thématique du lien entre évaluation et stratégie de territoire. Un apport théorique a été réalisé le matin par les animateurs du groupe de travail ainsi que par Laurent BARBUT, directeur du Cabinet Epices, spécialisé dans l’appui à la définition et la mise en œuvre de politiques territoriales. L’après-midi était dédié à la mise en pratique des notions vues le matin lors d’ateliers.

Pourquoi faire le lien entre évaluation et stratégi e de territoire ? Même si le lien entre évaluation et stratégie de territoire n’est pas spontané (les deux exercices sont souvent menés séparément), plusieurs raisons motivent la liaison entre ces deux exercices : - La première raison est historique, liée au contexte régional. Par des formations mises en place par l’Agence Régionale des Territoires d’Auvergne pour le Réseau Rural Auvergne, une culture de l’évaluation a été développée. L’évaluation est ancrée dans les programmes LEADER ou les contrats Auvergne+ et un certain nombre d’EPCI développe la démarche sur certaines thématiques. Un effort de structuration et formalisation des exercices d’évaluation est à remarquer (diagrammes logiques d’impact, arbres d’objectifs…). - La deuxième raison, plus générale, est liée à des niveaux de nécessité (gouvernance et raisons budgétaires). L’évaluation n’est pas sans difficultés :

- combinaison de différentes échelles d’évaluation (niveaux européen, national, régional, local) et des périmètres ne concordant pas toujours (PNR, GAL sur une partie d’un PNR…),

- temporalité : prévoir son évaluation ex-post pour qu’elle puisse servir à la préparation d’un futur programme,

- les démarches de suivi financier ont tendance à prendre le pas sur l’évaluation, - difficultés d’évaluer lorsque les indicateurs ne sont pas bien définis dès la mise en œuvre du

programme, - difficulté de passer d’une évaluation thématique à une évaluation plus territoriale.

Il en résulte des nécessités plus fortes de lier évaluation et stratégie. Dans un contexte de pression budgétaire, nous devons être plus précis sur les choix budgétaires (justifier la pertinence du programme ou de l’action, par rapport à la stratégie notamment). Des outils d’évaluation combinés à des outils d’animation peuvent permettre de démocratiser l’évaluation, de faire participer les porteurs de projets, des membres du conseil de développement ou du comité de programmation. Ainsi cet exercice peut servir au pilotage du programme, être utilisé comme un outil et non pas être perçu uniquement comme une contrainte supra. Comment faire un diagnostic de territoire plus stra tégique ? Des diagnostics très fournis (de 150 pages et plus !) sont souvent produits, intégrant toutes sortes de données et de cartes. Mais est-ce vraiment de cela dont on a besoin pour construire la stratégie du territoire ? Ce type de diagnostic pose aussi la question de l’actualisation des données.

Pour un diagnostic plus stratégique, il faut qu’il soit : - dynamique, qu’il dégage des tendances et non pas qu’il soit une photographie du territoire à un moment donné. - problématisé, c'est-à-dire qu’il doit prendre en compte les priorités locales ou les orientations des partenaires (priorités régionales…).

13

- orienté vers l’action, c’est en cela que le diagnostic sera stratégique. Pour cela, l’analyse de la gouvernance et des jeux d’acteurs est importante. Les personnes qui vont conduire le projet de territoire doivent être impliquées dans le diagnostic. - hiérarchisé pour passer du diagnostic à des priorités. Il en résulte de ces caractéristiques la sélection d’un nombre réduit d’indicateurs pertinents qui ont du sens par rapport aux priorités. Il peut aussi mobiliser des avis d’experts, voire même une série d’entretiens, une petite enquête auprès de la population du type « quelles sont pour vous les trois priorités du territoire ? ». Un diagnostic stratégique contient des indicateurs statistiques mais il doit aussi croiser des avis plus qualitatifs.

Il est préférable que ce type de diagnostic stratégique adopte une démarche participative pour impliquer dans la démarche les acteurs du territoire, les décideurs si possible, les élus… avec des approches d’animation territoriale. Cet exercice ne doit pas être un exercice technique pris exclusivement en charge par un petit groupe de personnes (il en est de même pour l’évaluation).

La matrice AFOM comme outil de synthèse du diagnost ic stratégique La matrice AFOM est un outil qui vient du monde industriel. Elle se constitue autour des quatre cases « Atouts, Faiblesses, Opportunités, Menaces ». C’est une bonne synthèse du diagnostic stratégique. Elle combine les éléments internes et externes au territoire (ce qui est lié à l’environnement du territoire). Elle peut aussi avoir une dimension prospective (ce qui va venir). Elle permet de faire la synthèse des outils mobilisés (indicateurs, avis d’experts…). Elle se prête bien à des démarches participatives (elle peut être construite en groupe de travail, être mise en débat). Elle permet enfin de bien préparer le passage à l’élaboration des orientations ou de la stratégie à partir des questions suivantes : - comment maximiser les forces ? - comment minimiser les faiblesses ? - comment utiliser les forces pour tirer parti des opportunités ? - comment corriger les faiblesses en tirant parti des opportunités ? A partir de ces questions, il est facile, en terme d’animation, de basculer vers l’action. Comment faire le lien entre évaluation et stratégie ?

La meilleure utilisation possible des outils tels que le diagnostic stratégique, la prospective territoriale, le suivi et l’évaluation… est d’en faire des étapes d’un projet de territoire. Ces étapes interviennent à des temporalités différentes mais elles s’alimentent les unes des autres (Comment passer du diagnostic à la stratégie ? Comment préparer en amont l’évaluation dès le stade de la stratégie ?). Toutes ces démarches contribuent à « l’ingénierie intégrée du territoire ». Ces démarches renforcent la capacité d’un territoire à prendre du recul sur lui-même, sans toujours faire appel à un expert externe. La contribution de ces démarches au renforcement de l’ingénierie incorporée sera plus ou moins maximisée par : - le caractère « global et stratégique » ou territorial de

chacune de ces étapes (plutôt qu’une approche trop sectorielle, segmentée), - les démarches doivent être participatives et appropriées (et non pas techniques et réservées à un échantillon d’acteurs techniques ou très reportées sur un prestataire externe qui fait l’évaluation ou qui écrit la stratégie), - l’optimisation de la temporalité par rapport aux échéances de la vie du territoire et notamment la contractualisation. Il faut arriver à anticiper l’évaluation pour qu’elle soit utile pour la nouvelle stratégie mais cela pose parfois problème car les projets antérieurs ne sont pas terminés. Même si tous les montants ne sont pas engagés ou payés, ce n’est pas le plus important, il faut quand même avancer pour que cela serve à l’élaboration de la stratégie. Il sera toujours possible de compléter avec les réalisations plus tard.

14

Traiter des questions évaluatives à caractère strat égique : Avoir des questions évaluatives à caractère stratégique n’implique pas de se limiter aux réalisations et aux résultats. Les questions peuvent être du type : - quelle contribution des projets à la stratégie d’ensemble ? Trop souvent il y a une période de construction de la stratégie avec de l’animation, puis celle-ci est négligée au profit de considérations plus opérationnelles axées sur la recherche de projets. Il peut être pertinent de se demander en fin de période comment les projets contribuent à la stratégie : - quelle évolution de la stratégie dans le temps ? Sommes-nous capables de faire évoluer la stratégie ? Comment la pilote-t-on ? - quelle utilisation de la stratégie dans le choix des projets ? Est-ce un critère de choix des projets ? Impliquer dans l’évaluation les futures parties pre nantes de la stratégie et faire de l’évaluation un objet de débat

L’évaluation est souvent considérée comme un exercice technique, fastidieux, où il n’est pas facile d’impliquer les élus. Pourtant en tant que futures parties prenantes de la stratégie, il est conseillé de les impliquer. Faire de l’évaluation un objet de débat, notamment dans le choix des questions évaluatives. Il ne faut pas constituer le comité de pilotage de l’évaluation après avoir choisi les questions évaluatives. Les acteurs de l’évaluation doivent être impliqués dès l’amont de l’évaluation (avant de rédiger le cahier des charges ou la sélection d’un prestataire). Trop souvent les élus arrivent au dernier comité de pilotage, au moment de la restitution de l’évaluation, avec la déception de ne pas connaître les tenants et aboutissants de la démarche (pourquoi a-t-on choisi ces questions ? pourquoi ce thème n’a pas été traité ? etc...). « Le plus important dans l’évaluation ce sont les débats qui ont lieu pendant »

Penser le lien entre le pilotage de la démarche d’évaluation et la gouvernance du territoire : l’évaluation doit être connectée avec les instances territoriales (comité de programmation, conseil de développement,…). Pour cela, il faut une personne qui fasse le lien entre les deux ou prévoir des restitutions en comité élargi. Organiser la mise en débat des principaux résultats de l’évaluation. Préparer avec l’évaluation le pilotage futur de la stratégie L’évaluation (ou le diagnostic) doit mettre en lien les enjeux clés et les éventuels manques d’indicateurs. Il est plus facile de s’organiser pour avoir les indicateurs pour la suite si on sait de quoi on aura besoin et quels sont les manques. La journée s’est poursuivie par un travail en ateliers autour des questions suivantes : - Comment allez-vous vous y prendre pour que votre évaluation soit au service de votre stratégie ? - Quels enjeux clés de réussite ? - Quelles difficultés identifiées ? - Quelles solutions envisagées ? 4.2. Une demande axée sur l’amélioration des prati ques évaluatives - un retour de l’expérience d’évaluations croisées et particip atives : l’évaluation « regards croisés » entre deux GAL d’Auvergne et de Rhône-A lpes

La démarche d’évaluation « regards croisés », en projetant un double regard sur le territoire, est un bon outil d’évaluation stratégique. La comparaison de la mise en œuvre du programme LEADER nourrit la réflexion stratégique. Elle apparaît comme étant très pertinente pour l’amélioration continue de la conduite et du pilotage des programmes. Le 24 avril 2014, les GAL du Pays de Jeune-Loire et ses Rivières et des Monts du Lyonnais ont présenté leur démarche.

15

La démarche d’évaluation « regards croisés » a été initiée suite à un échange téléphonique, fin 2013, entre les animateurs LEADER des territoires de Jeune Loire et ses Rivières (Haute Loire, région Auvergne) et les Monts du Lyonnais (à cheval sur les départements du Rhône et de la Loire, région Rhône-Alpes) sur un projet de coopération. Puis le thème de l’évaluation est entré dans la conversation et l’idée de faire une évaluation « regards croisés » a ainsi germé.

En Rhône-Alpes, la DRAAF exige des territoires LEADER un regard extérieur pour leur évaluation, soit par le biais d’une prestation, soit du regard d’un autre territoire. Le « regards-croisés » s’inscrit comme un mode partagé d’analyse qui concourt aux travaux d’évaluation menés, en interne, par chacun des territoires.

Avant la première rencontre entre les deux territoires, les animateurs se sont réunis pour faire connaissance, voir en quoi un regard croisé avec le partenaire pouvait être enrichissant et déterminer leur méthodologie. Un document de présentation des territoires a été préparé (4 pages, sur la stratégie et la programmation des territoires, les caractéristiques du territoire, les structures porteuses) pour présenter le projet de « regards croisés » en comité de programmation (en mars 2014).

En avril 2014 a eu lieu, une première rencontre de découverte mutuelle dans les Monts du Lyonnais. Une seconde rencontre, de « mise en question » s’est déroulée le 22 mai sur le territoire du Pays de la Jeune Loire et ses rivières.

La première rencontre a été l’occasion d’un premier échange simple, entre une quinzaine de personnes présentes. Une approche par thématique et par action a permis de mobiliser les élus, qui ont joué le jeu : ce sont les opérations subventionnées qui sont la porte d’entrée de la discussion sur la stratégie. Il a été décidé de ne pas évoquer les freins à la mise en œuvre de LEADER afin de laisser un maximum de place aux échanges de fond, qui concernent directement les acteurs du GAL. Cette approche opérationnelle de l’évaluation, a rendu les choses concrètes, plus simples, sans « mots compliqués ». La démarche d’évaluation « regards croisés » permet de s’enrichir du regard d’un pair, de s’enrichir d’une autre expérience, mais aussi et surtout d’apporter quelque chose à l’autre, la démarche est bilatérale et « gagnant-gagnant ». Elle fonctionne à condition de ne pas être critique, ni complaisant, mais d’être curieux, de vouloir réfléchir ensemble : « Face aux autres, on est plus autocritique ! »

A l’issue de la première rencontre, il a été demandé aux participants de rédiger un « rapport d’étonnement » répondant aux questions suivantes : Qu’est-ce que vous avez aimé ? Qu’est-ce qui vous a étonné ? Qu’est ce que vous avez appris ? Qu’est-ce que vous voulez approfondir ?

La démarche d’évaluation choisie et la façon d’aborder l’évaluation dans le comité de programmation sont très importantes pour que les élus et les acteurs se l’approprient. Peut-être que la coopération est une des clefs pour intéresser le plus grand nombre à l’évaluation ou en tout cas à la prise de recul ?

Enfin, le 10 juillet, une rencontre « regards d’experts » (rencontre entre le GAL et les animateurs du groupe évaluation) a également enrichi l’analyse sur la mise en œuvre du programme. Les participants ont salué tant l’initiative « regards-croisés » que celle de « regard d’experts » qui ont permis d’enrichir l’évaluation d’une dimension d’échange, rendant la démarche plus riche qu’une démarche plus « classique » qui rend les acteurs plus « passifs » vis-à-vis de l’exercice. Il semble y avoir là matière à transfert d’expérience afin de rendre les travaux d’évaluation plus constructifs. De plus, elle présente l’intérêt de lier évaluation et mise en perspective stratégique et de ne plus borner l’exercice à une logique de jugement rétrospective pour, au contraire, l’ouvrir sur des perspectives d’amélioration continue.

16

Annexes

17

Augmenter la qualité des projets culturels sur les

aspects

Renforcer la capacité d’expertise des acteurs

décisionnels

Préserver le

patrimoine matériel

et immatériel liés

aux sites casadéens

Accroître la notoriété des sites casadéens

Augmenter le nombre d'actions culturelles

Accroître le nombre de projets retenus et remontant à l’équipe

d’animation

Innovation

Qualité des partenariats

Accroitre la fréquentation des sites casadéens

Cohérents par rapport à une valorisation

durable du patrimoine

Innovants

Favoriser la remontée de projets

correspondant à la valorisation du

patrimoine culturel casadéen

Favoriser le développement

rural intégré

Finalité Objectifs stratégiques Objectifs opérationnels

Renforcer les liens entre acteurs locaux par le

biais du réseau Transversalité

Privilégier les supports de communication

Annexe 1 : Structuration de la démarche évaluative du réseau des sites casadéens

Différencier les supports de

communication

3 types d'actions

Réunions

Coopération Emilie-Romagne, sites clunisiens

Bouche à oreille

Conférence

Démarchage Animations, évènementiel (inauguration église

Selgues)

Reportages TV, Radio

Brochures

Newsletter : actualité du réseau

Site Internet

Articles PQR, presse spécialisée, réseaux

sociaux

Signature convention "pépinières d'itinéraires"

Mise en place livret itinéraires casadéenss

Communication

interpersonnelle

Communication

médiatique

Mise en valeur des sites casadéens

18

Annexe 2 : Tableau des indicateurs d’évaluation des sites Casadéens

Niveau du graphe d'objectifs Indicateurs Sources Finalité Favoriser le développement rural intégré Indicateur très général servant de toile de fond sur

les valeurs partagées par le réseau

Objectifs spécifiques

1. Renforcer les liens entre acteurs locaux par le biais du réseau

2. Favoriser la remontée de projets correspondant à la valorisation du patrimoine casadéen

3. Accroître la notoriété des sites casadéens

4. Préserver le patrimoine matériel et immatériel liés aux sites casadéens

1. Nature des relations entre acteurs, diversité des acteurs

2. Nombre de projets remontés grâce aux différents moyens de communication dans le cadre des différentes programmations (LEADER, contrat de Pays)

3. Evolution des indicateurs de notoriété dans la presse quotidienne régionale et la presse nationale sur la période

4. Evaluation de la valeur monétaire liée aux sites casadéens

1. Entretiens à prévoir ? 2. Entretiens avec animateurs GAL, EPCI

dans les différents sites casadéens à prévoir ?

3. Analyse presse à prévoir ? 4. Bilan des investissements matériels

réalisés, évaluation de la valeur d'existence des sites (pour mémoire, trop cher pour ce type d'évaluation)

Objectifs opérationnels

1. Renforcer la capacité d'expertise des acteurs décisionnels

2. Augmenter la qualité des projets 3. Privilégier les supports de

communication 4. Augmenter le nombre d'actions

culturelles 5. Accroître la fréquentation des sites

casadéens

1. Analyse dans les différents programmes mobilisés LEADER, fréquence des réunions, composition Privé/Public du GAL, l'intensité des échanges en comité de programmation : prises de paroles "collégiales" ou "croisées"

2. Appréciation de l'évolution de la prise en compte des aspects culturels depuis le début de la programmation dans les projets déposés (dans les projets strictement culturels, dans les autres dossiers)

3. Appréciation du degré de différenciation des supports de communication : degré 1 : support spécifique au programme sollicité degré 2 : support spécifique relatif aux questions culturelles, degré 3 : supports particulièrement "innovants" : Internet, blogs, démarche participative, réseaux sociaux …

4. Evolution du nombre de projets proposés depuis le début de la programmation

5. Evolution de la fréquentation des sites casadéens au sens strict (les monuments rénovés) et globalement sur les communes concernées

1. Entretiens animateurs, décisionnaires ? 2. Analyse des dossiers programmés 3. Exploitation enquête réseau déjà menée 4. Entretiens animateurs, décisionnaires 5. Enquêtes sur les sites et dans les offices

de tourisme (interroger INSEE et CRDTA aussi)

19

Annexe 3 : Graphe d’objectifs pays d’Aurillac (LEAD ER et contrat Auvergne+)

20

Le groupe de travail évaluation des politiques publ iques du Réseau rural Auvergne est co-animé par Dominique VOLLET et Bertrand COIFFARD (qui succède à Anne-Sophie BARBAROT depuis septembre 2012). Le Réseau les remercie vivement pour leur fo rte implication depuis la création de ce groupe de travail.

Dominique VOLLET est directeur de l’Unité Mixte de Recherche Métafort AgroParisTech-Irstea-Inra-VetAgroSup. Docteur habilité à diriger des recherches en sciences économiques et ingénieur, sa double culture lui a permis à la fois de réaliser des évaluations de politiques publiques au service de collectivités territoriales ou de l’Etat mais aussi de piloter des évaluations dans le cadre d’instances nationales ou régionales.

Bertrand COIFFARD est adjoint à la chef du service agriculture et développement rural de la Délégation régionale de l’ASP. Dans le cadre de son expérience de plus d’une douzaine d’années dans la mise en œuvre et le suivi de fonds européens, il a contribué à différents travaux d’évaluation, en particulier au titre du programme LEADER.

Rédaction : Marianne BRUN (Réseau Rural Auvergne), Bertrand COIFFARD (ASP), Céline MONIN (Réseau Rural Auvergne), Dominique VOLLET (IRSTEA).

Mise en page : Sandrine LAGOUTTE (IRSTEA) Réseau rural Auvergne, 2014.