Méthodes d’élaboration des indicateurs d’impact territorial

et interprétation des données d’évaluation

Jean-Jacques GIRARDOT

Université de Franche-Comté

ENTI Scientific coordinator

Séminaire sur l’évaluation des politiques publiques de développement humain

Rabat (Maroc) 23 et 24 juin 2009

Objectif

Cet exposé vise à présenter les méthodes utilisées au niveaudes système communautaires d’intelligence territorialeCatalyse pour évaluer l’impact des projets de développementhumain conduits à l’échelle d’un territoire, dans le cadre depolitiques publiques nationales ou régionale. Il présenteégalement les protocoles d’interprétation des donnéesd’évaluation

2

d’évaluation

Catalyse qui a été développée dans différents observatoiresterritoriaux depuis 1989 intègre différentes méthodesd’évaluation participative. La caENTI, action de recherche du7e PCRD de l’UE, a récemment permis une refonte et uneharmonisation des outils en fonction des usages des acteurset des standards européens. Un prototype de système de webmapping d’indicateurs territoriaux a été réalisé

PlanCatalyse veut promouvoir une évaluation participative.Ce sont les acteurs qui sélectionnent les informations et les indicateursqui leur seront utiles. Ils réalisent ensemble les analyses, ils interprètentles résultats qui leur seront utiles pour faire évoluer leurs actions de façonà répondre aux attentes de la communauté territoriale.

Le réseau ENTI leur propose via Catalyse, des sélections d’indicateurs,des outils et des protocoles d’analyse.

3

Nous allons montrer comment Catalyse :

1.Organise l’évaluation de l’impact à partir de la confrontation entre lesdonnées individuelles et les indicateurs territoriaux

2.Intègre l’évaluation et l’interprétation des résultats d’évaluation dans lagouvernance du partenariat.

Ces deux aspects seront parfois mêlés notamment dans la présentationdes outils.

Impact

Nous définissons l’impact d’un projet comme la relation entrele projet et le territoire.

On pense aux effets induits du projet, au delà de ses résultatsannoncés et de ses usagers directs sur la communautéterritoriale et sur les dynamiques territoriales.Il s’agit aussi de l’influence que les dynamiques territoriales

4

Il s’agit aussi de l’influence que les dynamiques territorialesont eu sur la pertinence ou sur l’efficience du projet.

L’impact s’observe dans l’espace et dans le temps. Enparticulier, les effets induits peuvent s’observer longtempsaprès la fin d’un projet. L’évaluation de l’impact s’opère doncpendant la durée du projet et après, à moyen et long terme,dans le cadre de l’observation.

Évaluation de l’impact

L’évaluation de l’impact suppose un projet précis, réalisant unobjectif observable sinon mesurable, avec un public défini,sur un territoire bien délimité avec une population deréférence.

Si le projet comporte plusieurs actions, éventuellementconstituées de plusieurs activités, on agrègera dans un

5

constituées de plusieurs activités, on agrègera dans unlogique down top, les impacts des activités, puis des actions.

L’impact d’une politique s’analyse comme l’agrégation desimpacts des projets territoriaux menés dans le cadre du (oud’un des) programme qui opérationnalise cette politique. Onévalue donc l’impact d’une politique, du projet territorial versle programme, puis vers la politique.

La méthode Catalyse

Catalyse permet aux acteurs de répondre à trois questions :

1. Quels sont les besoins des personnes ?

2. Les ressources - produits et services individuels oucollectifs, privés ou publics - disponibles sur leterritoire peuvent-elles satisfaire ces besoins ?

6

territoire peuvent-elles satisfaire ces besoins ?

3. Quels sont les forces et les faiblesses du territoire quifavorisent ou qui freinent une meilleure adaptation desressources aux besoins des personnes ?

Méthodes et outils pour les acteurs

7

Outils Catalyse

Catalyse propose :

- Un diagnostic quantitatif et qualitatif, pour définir et mesurerles principaux profils de besoins. C'est l'état des lieux del'Agenda 21 du développement durable.

- Un répertoire de ressources disponibles sur le territoire pour

8

- Un répertoire de ressources disponibles sur le territoire pourles confronter aux profils de besoins en afin d'améliorer lapertinence des services et d'évaluer leur efficience.

- Des indicateurs territoriaux utiles pour estimer l'impact desactivités des services au niveau du territoire et de lacommunauté territoriale.

Guide de diagnostic et d'évaluationLe guide de diagnostic et d'évaluation recueille les donnéesindividuelles selon une approche multisectorielle : emploi,logement, santé, autonomie … Il débouche sur un projetindividuel sous forme d'activités à réaliser (prévues).

Le logiciel epragma enregistre les réponses en ligne et lesstocke dans une base de données unique. Les donnéespeuvent être regroupées en temps réel pour établir des

9

peuvent être regroupées en temps réel pour établir destableaux de bord quantitatifs par projet et au niveau duterritoire.

Anaconda, logiciel d'analyse multicritère établit une typologiedes personnes à l'échelle du territoire en fonction de leursprofils de besoins.

Le guide sert ensuite pour évaluer les parcours et lesservices en confrontant activités prévues et réalisées.

Le répertoire des servicesLe répertoire de services est une base de données qui peutêtre actualisée en Intranet et consultée sur Internet.

Il inventorie les services aux personnes et les services à lacommunauté accessibles à la communauté territoriale.Chaque service est décrit grâce à un formulaire :coordonnées, secteur d'activité, activités, publics accueillis,capacités.

10

capacités.

C'est un outil quotidien de consultation et de gestion desservices.

La comparaison entre les données individuelles du guide etles informations du répertoire permet d'évaluer l'adaptationdes des services aux besoins, au niveau d'un projet ou duterritoire.

Le système d'indicateurs territoriaux

Le système d'indicateurs territoriaux intègre une sélectiond'informations à caractère socio-économique décrivant leterritoire et la communauté territoriale. Ils sont compatiblesavec les données du guide.

Ces données sont constituées et fournies par les services

11

Ces données sont constituées et fournies par les servicesstatistiques d'institutions spécialisées. Certains indicateurssont directement accessibles sur Internet.

Le système d'indicateurs territoriaux permet d'éditer en lignedes cartes d'indicateurs territoriaux (web maopping). Ilcartographie aussi les besoins et les services et permetd'analyser leur répartition spatiale.

Observatoires Catalyse

De nombreux observatoires territoriaux réalisentessentiellement l’actualisation des indicateurs territoriaux etl’analyse leurs relations et leurs évolutions pour éclairer lessystèmes territoriaux et leurs dynamiques, avec des cartes etdes modèles spatiaux.

Les observatoires Catalyse stockent les indicateurs

12

Les observatoires Catalyse stockent les indicateursterritoriaux dans un système d’indicateurs territoriaux,architecturés comme des SIG, pour les confronter auxdonnées collectées auprès des personnes et des services.Ces sit ne sont pas des SIG, ils sont gratuits et ils sontaccessibles sur Internet (webmapping).Les sit sont également alimentés par des indicateursprovenant des données sur les personnes et sur les services,ce qui permet de palier aux insuffisances des indicateursterritoriaux.

Niveaux d’information

Catalyse confronte trois niveaux d’informations :•Les personnes•Les services concernant des groupes de personnes, et quicorrespondent aux activités d’un projet•Le territoire

Les deux premiers niveaux concernent des données

13

Les deux premiers niveaux concernent des donnéescollectées par l’observatoire alors que les indicateursterritoriaux sont des données acquises auprès d’instituts oude services statistiques spécialisés.

L’évaluation résulte de la confrontation des ces informations,entre les niveaux, dans l’espace territorial et dans le temps.

Organisation générale des confrontations

Catalyse permet d’identifier les besoins de chaque individu pour l’aider a

élaborer son projet, puis à évaluer ses résultats.

L’efficience résulte de la confrontation des besoins dans le temps pour

observer leur satisfaction au niveau individuel, puis des services et enfin

du territoire, rapportée au coût consenti pour obtenir un résulat positif.

14

Agrégés par service, les données individuelles permettent d’estimer la

pertinence des services, en les confrontant les besoins des individus et

du groupe aux compétences des services dans l’espace territorial

Regroupés au niveau du territoire ils permettent d’évaluer l’impact d’un

projet en relation avec l’évolution des indicateurs territoriaux concernant

le territoire, la populations, des zones ou des groupes.

Évaluation de l’impact dans Catalyse

Dans Catalyse l’évaluation de l’impact ne repose pas seulement surl’analyse des indicateurs territoriaux.

Elle se fonde d’abord dans la confrontation des données individuellescollectées auprès du public d’un projet et des données territorialesrelatives à la communauté dans son ensemble.

L’analyse de l’évolution des besoins apporte également des informations

15

L’analyse de l’évolution des besoins apporte également des informationssur les dynamiques communautaires (diversification des profils,développement du capital social, des pratiques participatives). On peutajouter au guide de diagnostic des questions concernant l’impact auniveau individuel.

La confrontation entre le répertoire des services et les indicateursterritoriaux permet de montrer la contribution des services au

développement du territoire.

caENTI 2006 : harmonisation du guide

16

caENTI 2007 : integration des contenus

17

Collecte des données : Pragma

18

Cross-platform Pragma

19

Diagram 5: Integration of basic modules (J-J. Girardot, ThéMA)

epragma

20

Diagram 6: Cross-platform version of Pragma (J. Bénilan, ThéMA)

Résultats qualitatifs du diagnostic

21

L’analyse des correspondances combinée avec une classification identifie les profilsdes besoins qui sont quantifiés avec une analyse statistique quantitative classique.Les ateliers de réflexion permettent d’approfondir la réflexion avec l’ensemble desacteurs.

Anaconda global integration

22

ExclusionExclusion

Familles nombreusePrécaires

Exclus

diagnostic de territoire

23

Prot ect ionProt ect ion

Familles aisées

Jeunes familles

Favorisés

Anciens migrants

Personnes malades

Personnesâgées

Personneshandicapées

From REIT to ENTI

24

Diagram 2 : La mapa social de Huelva.

SIT

25

Portail Européen d’indicateurs territoriaux

26

Etat des lieux des indicateurs

territoriauxLes indicateurs territoriaux souffrent encore de nombreux défauts,notamment au regard du développement durable :•Forte hétérogénéité•Actualisation tardive•Manque d’indicateurs du développement durable.•Faible accessibilité

Faute d’homogénéité entre les territoires et entre les secteurs lescomparaisons sont souvent impossibles.

27

comparaisons sont souvent impossibles.

Les indicateurs disponibles sont souvent trop anciens au regard del’accélération des évolutions.

Ce sont essentiellement des indicateurs économiques. Il y a trop peud’indicateurs sociaux, environnementaux … du bien être des personnes …

Les indicateurs publics disponibles sont essentiellement accessibles auniveau communal. Or les acteurs travaillent le plus souvent sur desterritoires infra et pluri communaux.

Évolutions souhaitablesNous manquons de standards internationaux de référence.Les pouvoirs publics doivent se préoccuper de l’homogénéité, de la multi-sectorialité et de l’accessibilité des indicateurs constitués avec des fondspublics et qui sont utiles pour évaluer les politiques publiques.Les fournisseurs doivent faire évoluer leurs méthodes pour garantir uneactualisation annuelle des indicateurs territoriauxLes observatoires territoriaux doivent agir au niveau territorial pouraméliorer l’homogénéité et l’accessibilité des données des fournisseurslocaux en proposant une stratégie partenariale de partage des données.

28

locaux en proposant une stratégie partenariale de partage des données.

En attendant, les observatoires Catalyse comblent souvent lesdéfaillances des indicateurs territoriaux en élaborant des indicateurs àpartir des données individuelles et sur les services qu’ils collectent.Certains suivent à cette fin un panel représentatif au niveau territorial. Ilsproposent également des fonds de carte digitaux aux acteurs.ENTI poursuit actuellement l’effort engagé par la caENTI de définitiond’une sélection d’indicateurs territoriaux du développement durablearticulée avec le guide de diagnostic et d’évaluation pour les intégrer auweb mapping.

L’interprétation des données d’évaluation

Catalyse s'adresse plus spécifiquement aux « partenariats dedéveloppement », concept de référence de nombreuxprogrammes européens.

Catalyse propose une gouvernance adaptée à l'usage desoutils d'évaluation et d'observation par les acteurs et quiorganise l’interprétation des résultats de l’évaluation vers

29

organise l’interprétation des résultats de l’évaluation versl’action, c’est-à-dire vers l’évolution des pratiques desacteurs, vers l’évolution des services et vers l’élaboration denouveaux projets pertinents.

Cette gouvernance organise également les fonctions dediagnostic, d’évaluation et d’observation au sein dupartenariat.

Gouvernance de l’observation au sein des partenariats

30

Le groupe opérationnel

Les acteurs partenaires sont réunis dans un groupeopérationnel, instance décisionnelle pour le niveauopérationnel.

Un comité de pilotage formé de responsables et d'experts suitet évalue le groupe opérationnel.

Le groupe opérationnel définit de façon cohérente les

31

Le groupe opérationnel définit de façon cohérente lesinformations utiles : guide, répertoire et indicateurs, et lesactualise. Les partenaires peuvent collecter individuellementles données sur Intranet, ou utiliser un panel. Ils partagent lesdonnées pour l’analyse.

Le groupe opérationnel valide les profils de besoin et définitles ateliers. Il supervise les analyses sur Intranet. Il valide lesinterprétations avant leur publication sur Internet.

Les ateliers thématiques

Les acteurs approfondissent les résultats et les interprètentau sein d'ateliers thématiques constitués en fonctions desprofils de besoins.

Les ateliers confrontent les besoins résultant du diagnosticavec le répertoire des services pour identifier les lacunes etles inadaptations de l’offre de services.

32

les inadaptations de l’offre de services.

Ils comparent la distribution territoriale des besoins aveccelle des services.

Ils confrontent les résultats aux indicateurs territoriaux pourexploiter les potentialités du territoire et pour tenir compte deses contraintes.

Les groupes projet

Les ateliers n'ont pas vocation a gérer des projets et desactions, sinon ils se substitueraient aux acteurs partenaires.

Ils ont pour vocation d'inciter les acteurs à faire évoluer leursservices, à créer de nouveaux services. Ils facilitent souventle rapprochement d'acteurs pour créer des services

33

le rapprochement d'acteurs pour créer des servicescommuns.

Les projets d'évolution, de création et de financement deprojets, sont élaborés dans les « groupes projet ».

Les ateliers sont également un lieu d'évaluation des projets.

L'équipe de coordinationLa répétition régulière du diagnostic et l'actualisationpermanente du répertoire et des indicateurs contextuelsalimentent un système d'information partagé et participatif.

Elles débouchent sur une logique d'observation qui génère lebesoin de nouvelles compétences qui sont regroupées dansune équipe de coordination souvent appelée « observatoire »:

34

une équipe de coordination souvent appelée « observatoire »:• Informatiques : gestion de réseau, bases de données, webmaster,

edimaster• Statistiques : analyse de données, analyse spatiale• Communication interne et externe : site, newsletter, blog, journal

interne, relations avec la presse• Aide au montage de projet

Une équipe d'animation constituée de membres délégués dupartenariat assure la préparation, la modération et lescompte-rendus du groupe opérationnel et des ateliers.

L'université

L'université constitue un partenaire de proximité important quiapporte aux partenariats et à leurs observatoires de nombreuxservices en matière de recherche

• Connaissance approfondie du territoire• Compétences scientifiques et techniques dans les

domaines qui manquent souvent le plus dans lespartenariats : informatique, statistique, SIG, gestion de

35

partenariats : informatique, statistique, SIG, gestion deprojets …

• Partage des équipements coûteux : serveursspécialisés, SIG

• Formations supérieures et spécialisées• Prestations hautement spécialisées• …

Certaines de ces interventions expertes sont égalementréalisées par des sociétés de services.

caENTI : modélisation des SCIT.Partager > coopérer > agir > publier

36

Information + logiciels + protocoles pour les usages

Le CMSCatalysepremier SCIT

37

Merci pour votre attentionet pour vos questions

38

http://www.intelligence-territoriale.eu

Catalyse comunity

jjg@mshe.univ-fcomte.fr