Centre de Recherche pour l'Étude et l'Observation des Conditions de Vie

Pertinence des indicateurs utilisés pour l'évaluation des politiques de la ville

Application au département de la Seine-et-Marne

Bruno MARESCA Pascal MADRY

Frédéric AGOSTINI

Département « Évaluation des Politiques Publiques »

Novembre 1997

142, rue du Chevaleret 7 5 0 1 3 - PARIS

INTRODUCTION

OBSERVATOIRES SOCIAUX DE QUARTIER L'outil "tableau de bord" dans les dispositifs d'évaluation

de la politique de la ville

La politique de la ville est, parmi les domaines de l'action publique, l'un de ceux qui a le plus contribué à développer la réflexion sur les principes de l'évaluation et ses démarches.

Dans une contribution récente, Jacques Ion, Michel Peroni, Jacques Roux ont souligné que l'évaluation est autant affaire de "domaines " d'action que de "procédures". L'évaluation "devient discours de méthode dès le début des années quatre-vingt et objet de pratique dès le milieu de la même décennie. Or les lieux où cette démarche émerge ne sont pas indifférents. Ce sont au niveau local, celui du social, au niveau central celui des politiques dites transversales" .

Dans le même temps, le milieu des années quatre-vingt, les collectivités territoriales -régions, départements, grandes villes- ont cherché à mettre en place des dispositifs de type "observatoires" pour disposer d'informations quantitatives sur les problèmes sociaux qu'elles ont à gérer. Pour les pouvoirs publics aux échelons régionaux et départementaux, services de l'Etat et des collectivités locales, le besoin de disposer de connaissances quantitatives est une préoccupation d'ordre stratégique qui rejoint la démarche évaluative souhaitée par les concepteurs des politiques publiques notamment dans le domaine social.

Comme le note Catherine Mével, "autant la décentralisation incite à la secrétion d'une demande d'aide locale à la décision, autant les politiques nationales comportent une dimension incitative appelant, pour leur part, une aide à l'évaluation de leurs effets. C'est bien selon ces deux exigences, et avec le souci de répondre aux deux à la fois, qu'on a vu se déployer les tentatives (...) d'observatoires sociaux locaux" .

1 "Evaluation, évaluabilité et action publique", Jacques Ion, Michel Peroni, Jacques Roux, CRESAL, juin 1996, article de synthèse de la recherche commanditée par le Commissariat Général du Plan

2 "Conditions d'émergence des observatoires sociaux teritoriaux", Catherine Mével, Thomas Kirszbaum, sous la direction de Jacques Donzelot, CEPS, février 1994

Dans le dossier élaboré pour définir les principes de l'évaluation des contrats de ville 3 la Délégation interministérielle à la ville (DIV) a précisé les conditions de mise en œuvre d'une démarche d'évaluation destinée à suivre la réalisation des programmes d'action, et les étapes qui la caractérisent. La première est une étape "d'investigation et de recueil de données". Elle doit alimenter la réflexion évaluative proprement dite dont le protocole aboutit à formuler un avis sur l'action et à le soumettre à débat public.

Si comme l'indique ce document, "le rapport d'évaluation ne peut se réduire à la synthèse d'indicateurs quantitatifs, de témoignages ou d'opinions il ne paraît pas possible de faire l'économie d'un recueil de connaissances sur les réalités sociales auxquelles s'appliquent les programmes d'action qui sont soumis à l'évaluation. On peut constater, sur le terrain, que les diagnostics concernant les quartiers dit "prioritaires" de la politique de la ville font le plus souvent défaut. Leur absence prive les acteurs de ces politiques d'une base de réflexion commune fondée sur une information statistique actualisable. De ce fait, l'idée de créer un observatoire naît bien souvent du constat, partagé par différents partenaires de l'action, de la carence des moyens permettant de mesurer les handicaps sociaux auxquels les programmes d'action sont censés remédier.

On peut dire, plus précisément encore, que les observatoires relèvent avant tout d'une construction du savoir propre aux politiques urbaines territorialisées, par lesquelles se trouvent mêlées la gestion des espaces denses et la gestion des populations. C'est cette superposition d'entités urbanistiques et de formes de peuplement qui appelle la démarche des observatoires sociaux. Les observatoires de l'habitat des services régionaux ou départementaux du ministère de l'Equipement, en sont l'une des formes les plus simples.

De l'analyse que proposent Mével et Kirszbaum (1994) sur les conditions d'émergence des observatoires sociaux, on retient surtout la grande difficulté de la mise en place de ces dispositifs. De manière symétrique à la question de l'évaluation, on peut dire que le point de vue des chercheurs sur ces démarches a du mal à dépasser la discussion théorique des principes de formalisation des procédures. Il suffit pourtant de quitter les laboratoires et les administrations centrales pour constater que la réalité des pratiques transgressent le plus souvent les constructions formelles. La diversité des réalisations concrètes méritent de porter intérêt aux formes inventées

3 "L'évaluation des contrats de ville -Dossier ressources", DIV, septembre 1995, Les éditions d'ensembles

sur le terrain, de les interpréter et d'en tirer des leçons sur la faisabilité de démarches d'observation et d'analyse des politiques publiques territorialisées.

Nous nous pencherons ici plus particulièrement sur les outils de type tableau de bord tels qu'ils sont utilisés dans les démarches d'évaluation, en particulier pour les politiques transversales concernant les quartiers concentrant des populations en situation de précarité.

Il s'agit, en discutant les conditions effectives de construction des tableaux de bord locaux, de dépasser le rêve de la fécondation de l'action par le savoir qui motive les réflexions des chercheurs et les pousse, invariablement, à dénoncer l'opacité des systèmes décisionnels du niveau local comme du niveau national. Ainsi, selon Mével, "on a l'impression qu'il est extrêmement difficile, sinon parfois impossible, de conjoindre en une même instance de savoir, ce qui sert à l'aide à la décision -locale- et à l'évaluation -nationale-. Car, à se mettre au service des élus locaux, (...) on s'interdit de porter avec la crédibilité suffisante un jugement sur la politique qu'ils appliquent. " 4

Ce rapport présente les enseignements que l'on peut tirer de l'expérience d'une série de travaux d'évaluation réalisés en Seine-et-Marne depuis le début des années quatre-vingt dix, sur les différents sites de la politique de la ville de ce département. Il réunit trois contributions : la présentation des concepts d'observatoire aboutissant à définir la spécificité des tableaux de bord dits "locaux" (partie 1), l'approche statistique à l'échelle départementale des indicateurs de précarité permettant de hiérarchiser les difficultés auxquelles sont confrontées les communes urbaines (partie II), la construction des tableaux de bord de quartier et les conditions de leur interprétation (partie III).

Ces contributions se proposent de faire le point de ce qu'il est possible de bâtir comme système de représentation statistique de la réalité des contextes sociaux sur lesquels se focalisent les interventions des décideurs territoriaux et des opérateurs de terrain.

4 Catherine Mével (1994), op cit

PREMIÈRE PARTIE

Indicateurs et tableaux de bord. De quoi parle t-on ?

1. Éclairages bibliographiques

Si le "tableau de bord" est un outil privilégié pour le suivi et l'évaluation des programmes d'action et des politiques publiques, il ne fait que rarement l'objet d'une formalisation fondée sur des principes méthodologiques explicites. Sa dimension pratique et opérationnelle paraît, de prime abord, l'en dispenser. Le tableau de bord est utilisé plus qu'il n'est pensé.

De l'investigation documentaire préalable, on a retenu un petit nombre de contributions. Les plus intéressantes proposent deux visions de l'observatoire statistique : la première le voit comme un outil opérationnel de contrôle des procédures, la seconde comme un système d'observation venant en soutien de démarches évaluatives.

a. Les tableaux de bord départementaux sur l'aménagement, l'urbanisme et l'habitat

Une série d'ouvrages inscrit les tableaux de bord dans les procédures de contrôle interne du fonctionnement des organisations. Les ouvrages suivants sont parmi les représentatifs.

* Saulou JY, Tableau de bord du décideur, méthodologie de mise en place, Paris, les éditions d'Organisation

* Werner K, Tejou Ch, Notes sur les tableaux de bord départementaux, Paris, Batissuer, février 1980

* Werner K, Piéchaud JB, Tableaux de bord départementaux sur l'aménagement, l'urbanisme et l'habitat, Paris, STU, septembre 1981

L'ouvrage de Jean-Yves Saulou emprunte directement à la théorie de l'information et des organisations. Dans ce cas, le tableau de bord est prioritairement destiné à l'usage interne. Il est intégré à un système de gestion organisationnelle. Défini comme tel, il sert à fournir une information directe sur le fonctionnement d'une organisation. Il a aussi pour vocation seconde d'être un outil d'aide à la décision et à la prévision. Les travaux de Klaus Wemer sur les tableaux de bord départementaux relèvent de cette catégorie. S'inscrivant dans une logique de gestion interne, le tableau de bord s'impose, ici, comme un outil privilégié de programmation des politiques de logement des DDE. Le tableau de bord départemental doit fournir des éléments d'appréciation sur l'état et le fonctionnement des mécanismes du marché du logement, en vue de parvenir à une meilleure adéquation entre l'offre et les besoins. L'accent est mis sur sa vocation descriptive et prospective. L'intérêt du tableau de bord réside dans sa capacité à formaliser des connaissances diffuses et partielles existant au sein d'une DDE, en vue du transfert de ces informations vers d'autres services départementaux. Les auteurs proposent un modèle de tableau de bord rassemblant une batterie d'indicateurs permettant un suivi des évolutions de l'environnement socio-économique (évolution démographique, évolution de l'emploi et des activités), de l'habitat et de la situation du foncier. Ce tableau comporte deux volets : des données de diagnostic permettant de situer le département par rapport aux autres départements, des indicateurs de flux alimentés selon une périodicité régulière pour suivre les évolutions du contexte. Pour chacun des indicateurs, il est mentionné la source, les objectifs et les limites de l'information. Les données statistiques mobilisées proviennent du recensement de l'INSEE et des fichiers internes des DDE et DRE. L'auteur insiste sur l'importance de la maintenance du tableau de bord et la nécessaire actualisation des indicateurs selon la périodicité des sources statistiques disponibles.

Si ces travaux signalent un certain nombre de conditions et d'exigences qu'il est bon d'observer, ils sont loin d'apporter toute la réflexion méthodologique qui devrait guider la réalisation, la maintenance et les utilisations d'un tableau de bord.

b. Les tableaux de bord des politiques de développement social urbain

Les travaux de la deuxième catégorie appréhendent le tableau de bord dans le cadre d'une réflexion méthodologique sur les dispositifs d'évaluation des politiques sociales à caractère tranversal. Si la littérature portant sur l'évaluation des politiques locales est loin d'être négligeable,

bien peu d'ouvrages ont abordé de façon systématique, en vue de les formaliser, la question des outils d'évaluation.

Les travaux suivants sont parmi les plus intéressants :

* Ray JC, Dupuis JM, Tricart JP, Les politiques sociales tranversales: une méthodologie d'évaluation de leurs effets locaux, Paris, CGP, La documention française, 1986. * Rapport Lévy, Bilan/Perspectives des contrats de plan de DSQ , Paris, CGP, La

documentation française, 1988. * Laot F, Rouah M, Piloter le développement social, guide d'évaluation dynamique et

participative , Paris, L'Harmattan, 1994.

A ces ouvrages il convient d'ajouter des notes et documents de travail: * Nicole Frenay, "Tableau de bord quartiers, région Rhône-Alpes", Agence d'urbanisme

de la communauté de Lyon, mars 1991 * "Observatoire du développement social et urbain; note méthodologique", Fédération

Nationale des Agences d'Urbanisme (FNAU).

A des degrés plus ou moins poussés, ces contributions proposent des réflexions méthodologiques sur la formalisation des outils de suivi et d'évaluation des politiques de développement social urbain. Même s'ils portent sur des procédures qui n'ont plus cours (programmes DSQ notamment), les éléments de méthode proposés par les premiers auteurs conservent toute leur pertinence.

Le rapport Ray (1986) propose une méthodologie des dispositifs d'évaluation. Partant des spécificités et des difficultés que soulève l'évaluation des politiques transversales (politiques coordonnant sur un territoire donné les interventions d'institutions de différents domaines spécialisés), les auteurs recommandent la mise en place d'observatoires locaux reposant sur des tableaux de bord. Pour chaque domaine d'action que couvre les politiques à évaluer, il convient de sélectionner des indicateurs quantitatifs et qualitatifs assortis d'un mode de lecture. Le rapport Lévy, qui dresse le bilan et souligne les perspectives ouvertes par les conventions DSQ, propose la mise en place d'un dispositif régional d'évaluation pour le compte de l'Etat. Le principe de ce dispositif consiste à regrouper des informations locales relatives au suivi des opérations DSQ et à les synthétiser dans des tableaux de bord. Ce rapport aborde les aspects méthodologiques de la construction des indicateurs et des modes de collecte de l'information.

L'ouvrage de Laot et Rouah est un guide méthodologique plus opérationnel, destiné prioritairement aux acteurs du développement social. Il propose des instruments considérés comme essentiels pour la démarche d'évaluation dynamique et participative (diagnostics, baromètre du site, tableau de bord, suivi des actions, études d'organisation), et pour chacun d'eux, énonce les principes de construction, et les questions que soulèvent leur mise en œuvre et leur interprétation.

D'autres documents, non publiés, abordent ces questions, telle la note de travail à usage interne de la FNAU, qui propose une réflexion préalable à la mise en place d'un dispositif d'observation du développement social et urbain. La note s'interroge sur les objectifs poursuivis, la sélection et la construction d'indicateurs, le niveau territorial pertinent, et elle propose un exemple de configuration d'observatoire. Un autre document de travail, réalisé par Nicole Frenay, restitue les étapes d'une démarche largement engagée : la mise en place à l'initiative de la préfecture de région d'un tableau de bord des quartiers dans la région Rhône-Alpes. Ce document précise également les finalités, les contraintes et les limites qui pèsent sur le tableau de bord.

2. La conception de tableaux de bord adaptés à l'évaluation des politiques de développement social urbain

a. L'exigence territoriale

La plupart des réflexions méthodologiques constatent l'insuffisance et le manque de fiabilité des éléments de diagnostic décrivant les sites territoriaux sur lesquels les institutions interviennent. Les systèmes d'information auxquels accèdent les acteurs du développement social urbain ne répondent que faiblement à leurs attentes. D'où l'affirmation de la nécessité de créer des dispositifs d'évaluation et de suivi qui soient adaptés aux spécificités des politiques locales transversales. Tout l'enjeu d'un dispositif d'évaluation est d'être en mesure de saisir cette tranversalité, et donc d'embrasser l'ensemble des domaines de l'action publique à un niveau territorial donné. La réflexion sur la mise en place et la maintenance d'outils d'observation, qu'ils se déclinent sous la forme d'observatoires locaux, de baromètres, d'atlas, etc., est aujourd'hui fortement orientée par les exigences d'évaluations territorialisées. En raison de la multiplication des zonages d'intervention (en dix ans, la politique de la ville a multiplié les périmètres -Développement social de quartier, Contrat de ville, Zone urbaine sensible, Zone franche, Grand projet urbain- sans se préoccuper de la difficulté à établir des diagnostics pertinents sur des espaces dont les délimitations changent à chaque nouvelle procédure), la question du territoire d'observation est une difficulté de premier ordre pour créer des observatoires opérationnels.

Dépôt légal : Novembre 1997

ISSN : 1257-9807

ISBN : 2-84104-098-4

Participant d’une démarche de transmission de fictions ou de savoirs rendus difficiles d’accès par le temps, cette édition numérique redonne vie à une œuvre existant jusqu’alors uniquement

sur un support imprimé, conformément à la loi n° 2012-287 du 1er mars 2012 relative à l’exploitation des Livres Indisponibles du XXe siècle.

Cette édition numérique a été réalisée à partir d’un support physique parfois ancien conservé au sein des collections de la Bibliothèque nationale de France, notamment au titre du dépôt légal.

Elle peut donc reproduire, au-delà du texte lui-même, des éléments propres à l’exemplaire qui a servi à la numérisation.

Cette édition numérique a été fabriquée par la société FeniXX au format PDF.

La couverture reproduit celle du livre original conservé au sein des collections

de la Bibliothèque nationale de France, notamment au titre du dépôt légal.

*

La société FeniXX diffuse cette édition numérique en vertu d’une licence confiée par la Sofia ‒ Société Française des Intérêts des Auteurs de l’Écrit ‒

dans le cadre de la loi n° 2012-287 du 1er mars 2012.