Deux définitions

Evaluer une politique, c’est Evaluer une politique, c’est « apprécier son « apprécier son efficacité en comparant ses résultats aux efficacité en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre »objectifs assignés et aux moyens mis en œuvre » (décret du 18/11/1998)(décret du 18/11/1998)

« « L'évaluation vise à produire des connaissances L'évaluation vise à produire des connaissances sur les actions publiques, notamment quant à sur les actions publiques, notamment quant à leurs effets, dans le but de permettre aux leurs effets, dans le but de permettre aux citoyens d'en apprécier la valeur et d'aider les citoyens d'en apprécier la valeur et d'aider les décideurs à en améliorer la pertinence, décideurs à en améliorer la pertinence, l'efficacité, l'efficience, la cohérence et les l'efficacité, l'efficience, la cohérence et les impacts impacts » (Charte de la SFE)» (Charte de la SFE)

Caractéristiques de l’évaluation

Activité d’étude et d’analyse portant sur la Activité d’étude et d’analyse portant sur la mise en œuvre et les résultats d’une action mise en œuvre et les résultats d’une action publique publique

Menée dans un cadre méthodologique et Menée dans un cadre méthodologique et institutionnel (plus ou moins) formaliséinstitutionnel (plus ou moins) formalisé

Dans le but de rendre des comptes et/ou Dans le but de rendre des comptes et/ou d’améliorer cette action d’améliorer cette action

Différents types d'actions

PolitiquesPolitiques ProgrammesProgrammes ProjetsProjets Normes, réglementation (lois, décrets)Normes, réglementation (lois, décrets) ProcéduresProcédures DispositifsDispositifs FonctionsFonctions PratiquesPratiques

Evaluation et audit (1)

Caractéristiques de l'audit :Caractéristiques de l'audit :

Critères préfixésIndépendance Vérifie la régularité et la responsabilité au regard de

résultats attendusPriorité à l'utilisation des ressources et aux problèmes

organisationnelsPriorité à l'obligation de rendre des comptesVise à fournir une assurance au commanditaireExigence de rapiditéPorte principalement sur les structures (organismes,

services, établissements, fonctions).

Evaluation et audit (2)

Caractéristiques de l'évaluation Caractéristiques de l'évaluation ::

Critères complexes et soumis à débatCritères complexes et soumis à débat

S'intéresse principalement aux effets externes (sur S'intéresse principalement aux effets externes (sur la société) de l'action publiquela société) de l'action publique Prend en compte la pluralité des acteurs et des Prend en compte la pluralité des acteurs et des

porteurs d'enjeuxporteurs d'enjeux Prend en compte la diversité des besoinsPrend en compte la diversité des besoins Cherche à comprendre autant qu'à mesurerCherche à comprendre autant qu'à mesurer Recherche le consensus Recherche le consensus Concerne les actions plus que les structuresConcerne les actions plus que les structures

Finalités de l’évaluation

Rendre des comptes sur le « bon usage des fonds publics » (accountability)

Décider sur une base plus rationnelle stratégie (lien avec la prospective)optimisation de l’usage des ressources

Apprendre, se mobiliser, donner du sens à l’action, renforcer la “capacité d'agir” (empowerment)

Partager des informations, faire converger des représentations

Les défis de l’action publique

Nouvelles demandes sociales/ complexité Nouvelles demandes sociales/ complexité Resserrement de la contrainte budgétaireResserrement de la contrainte budgétaire Crise des idéologies et de l’autorité Crise des idéologies et de l’autorité

(déficit de légitimité de l’action publique(déficit de légitimité de l’action publique Nouvelles formes de gouvernance et de Nouvelles formes de gouvernance et de

régulation (régulation (globalisation, Europe, globalisation, Europe, décentralisation, partenariat, passer du décentralisation, partenariat, passer du faire au « faire faire »faire au « faire faire »))

Crise du management public, demande de Crise du management public, demande de « sens » dans le travail« sens » dans le travail

Des usages potentiels aux usages réels Une faible contribution au débat publicUne faible contribution au débat public Des usages budgétaires plutôt rares, du moins en Des usages budgétaires plutôt rares, du moins en

FranceFrance La place de l’évaluation dans la gouvernance La place de l’évaluation dans la gouvernance

mondiale (UE, Banque mondiale…)mondiale (UE, Banque mondiale…) Une aide réelle au pilotage des politiques Une aide réelle au pilotage des politiques L’importance de la dimension « formative »L’importance de la dimension « formative » L’apport à l’élaboration de visions partagéesL’apport à l’élaboration de visions partagées Des effets le plus souvent différés et indirectsDes effets le plus souvent différés et indirects

Les origines américaines

Des interventions fédérales contestéesDes interventions fédérales contestées Des programmes sociaux peu légitimesDes programmes sociaux peu légitimes Democratie = Democratie = AccountabilityAccountability L’orientation empiriste des sciences L’orientation empiriste des sciences

socialessociales La visée d’une “politique fondée sur des La visée d’une “politique fondée sur des

preuves” (preuves” (Evidence-based policies)Evidence-based policies)

Points forts de l’évaluation dans le monde anglophone

Une réelle intégration de l’évaluation au Une réelle intégration de l’évaluation au processus budgétaireprocessus budgétaire

Le caractère programmatique de l ’action Le caractère programmatique de l ’action publiquepublique

Le rôle actif du parlement et de la Cour des Le rôle actif du parlement et de la Cour des comptescomptes

l’orientation empiriste des sciences socialesl’orientation empiriste des sciences sociales La professionnalisation des évaluateursLa professionnalisation des évaluateurs

Étapes d’une évaluation

Lettre de mandatLettre de mandat Élaboration d’un projet d’évaluationÉlaboration d’un projet d’évaluation Constitution d’une instance d’évaluation, Constitution d’une instance d’évaluation,

qui valide le projet qui valide le projet Lancement d’un programme d’étudeLancement d’un programme d’étude Suivi et validation des études Suivi et validation des études Rédaction et validation du rapportRédaction et validation du rapport Suivi et valorisation des conclusionsSuivi et valorisation des conclusions

Une pluralité d'acteurs dans le domaine sanitaire et social

Services ministériels (DARES, DREES)Services ministériels (DARES, DREES)Établissements à caractère scientifique (centre d'étude Établissements à caractère scientifique (centre d'étude de l'emploi...)de l'emploi...)Conseil national de l'évaluation sociale et médico-Conseil national de l'évaluation sociale et médico-sociale (loi du 2 janvier 2002)sociale (loi du 2 janvier 2002)Agence nationale de l'évaluation et de la qualité des Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux établissements et services sociaux et médico-sociaux (décret du 8 mars 2007)(décret du 8 mars 2007)Haute autorité de santé (HAS)Haute autorité de santé (HAS)Haut Conseil de la santé publiqueHaut Conseil de la santé publiqueObservatoires Observatoires

LE PROJET D'EVALUATION

Contexte, enjeux

Délimitation des actions à évaluer, critères d’évaluation (référentiel – termes de référence)

diagnostic et hypothèses Questionnement (agenda analytique) Bilan informationnel Programme d’étude (enquêtes, recherches) Choix des opérateurs

Rôle de l’instance d ’évaluation Elaborer une grille de questionnement sur la Elaborer une grille de questionnement sur la

base du mandatbase du mandat Choisir une (des) méthode(s) Choisir une (des) méthode(s) Rassembler des informations et documents Rassembler des informations et documents

pertinents pertinents Procéder à des auditions Procéder à des auditions Organiser et piloter les enquêtes Organiser et piloter les enquêtes Synthétiser et interpréter leurs résultatsSynthétiser et interpréter leurs résultats Rédiger le rapport d’évaluation Rédiger le rapport d’évaluation Communiquer, expliquer, diffuser Communiquer, expliquer, diffuser

Limites et difficultés de l’expérimentation

Usage limité à certains types de programmes Usage limité à certains types de programmes (effets spécifiques et ciblés et spécifiques, (effets spécifiques et ciblés et spécifiques, existence d’un « contrefactuel »)existence d’un « contrefactuel »)

Obstacles éthiques/ pratiques Obstacles éthiques/ pratiques Coûts, délaisCoûts, délais Les résultats sont-ils généralisables ?Les résultats sont-ils généralisables ?

La Charte de la SFE

Principes de : Principes de : PluralitéPluralitéDistanciationDistanciationCompétenceCompétenceRespect des personnesRespect des personnesTransparenceTransparenceOpportunitéOpportunitéResponsabilitéResponsabilité

Un exemple : la Loi de santé publique (2004)

Un ensemble de dispositions institutionnelles Un ensemble de dispositions institutionnelles (veille sanitaire, situations d'urgence, (veille sanitaire, situations d'urgence, réorganisation des structures et organismes réorganisation des structures et organismes en charge de la santé publique : HCSP, en charge de la santé publique : HCSP, HAS, INVES, INPES...)HAS, INVES, INPES...)

5 plans de santé publique 5 plans de santé publique (PNSE, cancer, (PNSE, cancer, maladies rares, maladies chroniques, maladies rares, maladies chroniques, violence)violence)

Une annexe consacrée aux objectifs de la Une annexe consacrée aux objectifs de la politique de santépolitique de santé

Les objectifs de la santé publique (2004)

100 objectifs élémentaires, 100 objectifs élémentaires, 8  « Principes de la politique de santé 8  « Principes de la politique de santé

publique » (quasi objectifs : efficacité publique » (quasi objectifs : efficacité économique, réduction des inégalités, économique, réduction des inégalités, concertation, évaluation...),concertation, évaluation...),

Un méta objectif , l' « état de santé de la Un méta objectif , l' « état de santé de la population », objectivé à travers plusieurs population », objectivé à travers plusieurs « indicateurs synthétiques » (espérance de « indicateurs synthétiques » (espérance de vie, mortalité prématurée, AVAI...).vie, mortalité prématurée, AVAI...).

Les 100 objectifs Modification des comportements (alcool, tabac, Modification des comportements (alcool, tabac,

nutrition, exercice physique) nutrition, exercice physique) Environnement (air, eau, exposition aux Environnement (air, eau, exposition aux

substances chimiques nocives, santé au travail) substances chimiques nocives, santé au travail) Dépistage Dépistage Objectifs par pathologieObjectifs par pathologie

Cancer, Cancer, maladies cardio-vasculaires,maladies cardio-vasculaires,Affections neuropsychiatriques, etc Affections neuropsychiatriques, etc

Autres entréesAutres entrées Iatrogénie, douleur Iatrogénie, douleur Précarité, jeunes, personnes âgéesPrécarité, jeunes, personnes âgées

Le mandat du HCSP en matière Le mandat du HCSP en matière d'évaluation d'évaluation

Évaluer la loi de santé publique :Évaluer la loi de santé publique : Contribuer au suivi de la mise en oeuvreContribuer au suivi de la mise en oeuvre Évaluer la réalisation des 100 objectifsÉvaluer la réalisation des 100 objectifs Évaluer les programmes de santé publiqueÉvaluer les programmes de santé publique Évaluation d'ensemble Évaluation d'ensemble (cohérence, pertinence)(cohérence, pertinence)

Les enjeux de l'évaluationRendre compte au Parlement et à l'opinionRendre compte au Parlement et à l'opinion

Préparer le renouvellement de la loi :

Proposer de nouveaux objectifs à la lumière de Proposer de nouveaux objectifs à la lumière de l'évaluation des objectifs de la loi actuelle l'évaluation des objectifs de la loi actuelle

Se prononcer sur la pertinence des instruments politico-Se prononcer sur la pertinence des instruments politico-administratifs (plans et programmes, liste d'objectifs administratifs (plans et programmes, liste d'objectifs prioritaires...) prioritaires...)

Faire des propositions en vue d'améliorer la cohérence Faire des propositions en vue d'améliorer la cohérence des politiques de santé des politiques de santé (y compris l'organisation du (y compris l'organisation du système de soin et le financement de la consommation système de soin et le financement de la consommation médicale)médicale)

Contribuer à la connaissance des problèmes de santé et à l'amélioration des systèmes d'information

Évaluation de la réalisation des objectifs Évaluation légère exhaustive (fiches de Évaluation légère exhaustive (fiches de synthèse)synthèse)

Évaluation approfondie par groupe Évaluation approfondie par groupe d'objectifs ou pour certains objectifs :d'objectifs ou pour certains objectifs :

Comment expliquer les évolutions Comment expliquer les évolutions constatées ?constatées ?Quelles sont les actions susceptibles Quelles sont les actions susceptibles d'améliorer la situation constatéed'améliorer la situation constatéeFaut-il maintenir cet objectif parmi les Faut-il maintenir cet objectif parmi les objectifs prioritaires ? objectifs prioritaires ?

Contenu des fiches de synthèse

Éléments quantitatifs d'ensemble (indicateurs commentés, jugement sur l'atteinte de l'objectif)

Données sur les inégalités territoriales et sociales

Données internationales disponibles et position relative de la France

Plans et actions correspondants + autres facteurs connus influençant l'objectif

Conclusions et préconisations  

Démarche d'évaluation des plans de santé

Un groupe projet restreint présidé par une Un groupe projet restreint présidé par une personnalité extérieure à l'administrationpersonnalité extérieure à l'administration

Comprenant essentiellement des experts, dont au Comprenant essentiellement des experts, dont au moins un expert proche du milieu associatif moins un expert proche du milieu associatif concernéconcerné

L'administration participe, mais ne contrôle pas le L'administration participe, mais ne contrôle pas le processus processus

Deux ou trois réunions en formation élargie Deux ou trois réunions en formation élargie (membres du HCSP, associations...) à des moments (membres du HCSP, associations...) à des moments clefs de l'évaluation (examen du cahier des charges, clefs de l'évaluation (examen du cahier des charges, discussion du projet de rapport). discussion du projet de rapport).

Évaluation de la loi

Un rapport de suivi est élaboré chaque année par Un rapport de suivi est élaboré chaque année par le ministère, le ministère,

Le HCSP est chargé de procéder à une évaluer Le HCSP est chargé de procéder à une évaluer d'ensemble de la loid'ensemble de la loi

En s'appuyant sur l'évaluation des objectifs et sur En s'appuyant sur l'évaluation des objectifs et sur l'évaluation des plans et programmesl'évaluation des plans et programmes

Et sur une évaluation sommaire des dispositions Et sur une évaluation sommaire des dispositions institutionnelles contenues dans la loiinstitutionnelles contenues dans la loi

Un évaluation en terme de cohérence et de pertinence

Cohérence d'ensemble des dispositions Cohérence d'ensemble des dispositions institutionnelles (faisabilité, cohérence avec les institutionnelles (faisabilité, cohérence avec les autres politiques publiques)autres politiques publiques)

Pertinence des objectifs (choix et hiérarchisation Pertinence des objectifs (choix et hiérarchisation des objectifs au regard des indicateurs transversaux des objectifs au regard des indicateurs transversaux de santé : mortalité, morbidité, AVAI )de santé : mortalité, morbidité, AVAI )

Cohérence avec les neuf « principes de la politique Cohérence avec les neuf « principes de la politique de santé publique » (connaissance, réduction des de santé publique » (connaissance, réduction des inégalités, parité, protection de la jeunesse, inégalités, parité, protection de la jeunesse, précocité, efficacité économique, intersectorialité, précocité, efficacité économique, intersectorialité, concertation, évaluation concertation, évaluation