Observer, mesurer et évaluer Construire des indicateurs
1
Béatrice Van Haeperen, IWEPS18 novembre 2013
Plan
2
1.La démarche d’observation2.Définition d’un indicateur3.Caractéristiques souhaitables d’un
indicateur4.Types d’indicateurs5.Etapes d’un projet, questions d’évaluation
et indicateurs
1. La démarche d’observation
3
« La démarche d’observation recouvre un ensemble de diagnostics, c’est-à-dire une analyse de l’existant, des besoins, des attentes, des forces et faiblesses de la réponse » (M.C. Malhomme et al., 2006, p. 324)*
La démarche d’observation est intimement liée à l’évaluation: la démarche d’évaluation interroge nécessairement le système d’information (structuré ou non). Généralement, l’observation précède l’évaluation, mais
l’évaluation repousse aussi les limites de l’observation (développement de systèmes d’informations)
Les politiques publiques nécessitent des diagnostics récurrents, donc une observation permanente. « Si l’évaluation mesure l’impact d’une action en
référence à un diagnostic initial, le diagnostic suivant modifie les termes de l’évaluation: les concepts d’attentes, de besoins, de cohésion sociale se modifient à mesure qu’on les observe, car notre société se trouve dans une période de transformations rapides. »(M.C. Malhomme et al., 2006, p. 326)*
2. Définition d’un indicateur (1)
4
Un indicateur c’est … une mesure qui décrit un phénomène à partir
de variables dont le suivi et/ou la comparaison dans le
temps ou dans l’espace permet de mesurer des changements intervenus par rapport à une norme un état de référence un objectif
2. Définition d’un indicateur (2)
5
Mesure d’un objectif à atteindre, d ’une ressource mobilisée, d’un effet obtenu, d’un élément de qualité ou de contexte
Information quantifiée, chiffrée
information simple, facilement communicable, non ambiguë
souci de comparabilité dans le temps et dans l’espace
3. Caractéristiques souhaitables d’un indicateur (1)
6
est étroitement lié avec l’objectif poursuivi est mesurable régulièrement est construit à partir de données fiables et
validées
3. Caractéristiques souhaitables d’un indicateur (2)
7
Source des données Un même phénomène peut être mesuré à partir de données issues de
sources différentes. Exemple: le chômage, mesuré par l’ONEM (CCIDE) et Forem (DEI)
Comparaisons dans le temps et l’espace: prudence! « ruptures » dans les séries temporelles de données en raison de
changements affectant Les nomenclatures Les méthodologies de comptage, de collecte de données Le périmètre des catégories
les catégories, méthodologies de comptage, nomenclatures varient d’une région/pays à l’autre.
Agrégation de données de sources diverses Lorsqu’une politique mobilise de nombreux opérateurs, il faut imposer dès
le départ des méthodologies communes de saisie des informations nécessaires pour la construction des indicateurs de suivi et de réalisation.
Méta données - validation Les producteurs de données fournissent généralement une note
méthodologique informant sur les source, unité de mesure, mode de récolte, périodicité, mode de calcul, etc. Ces informations sont essentielles pour la construction d’indicateurs valides.
4. Types d’indicateurs (1)
8
1. Observer Indicateur de moyens Indicateur de réalisation Indicateur de résultat Indicateur d’impact Indicateur de contexte
2. Porter un jugement évaluatif Indicateur d'effectivité Indicateur d'efficacité Indicateur d’efficience
4. Types d’indicateurs (2)
9
Indicateurs et niveaux d’observation 1.objectifs opérationnels
Indicateur de moyens Indicateur de réalisation
2.objectifs spécifiques Indicateur de résultat Indicateur de contexte
3.objectif global Indicateur d’impact Indicateur de contexte
4. Types d’indicateurs (3)
10
Objectifs Critères d’évaluation Indicateurs
Problèmes à résoudre - Besoins
Objectif général
Retombées, effets
Impacts
Résultats attendus/observés Objectifs
spécifiques
Objectifs opérationnels
Ressources humaines et financières
Réalisations Attendues/observées
Utilité
Efficacité des réalisations
Efficacité du programme
durabilité
durabilité
efficience cohérence
effectivité
Pertinence du programme
cohérence
Pertinence des mesures
4. Types d’indicateurs (4)
11
Indicateur de moyens ou de ressources fournit des informations sur les ressources
financières, humaines, matérielles, organisationnelles ou autres utilisées pour appliquer le programme d’actions. budget affecté et taux de consommation nombre de personnes affectées à la réalisation du
programme d’actions …
Indicateur de réalisations représente le « produit » (biens ou services) du
programme d’actions mis en œuvre, le produit de l’activité des opérateurs: c’est ce qui a été fait nombre de Km de routes construits nombre d’ha réhabilités nombre de formations financées par le programme ….
4. Types d’indicateurs (5)
12
Indicateur de résultats représente l’avantage immédiat du
programme pour les bénéficiaires directs fournit de l’information sur les
changements intervenus suite à la mise en œuvre du programme sur les bénéficiaires directs temps gagné par les utilisateurs d’un service proportion de bénéficiaires de formation qui
a obtenu un emploi après la formation changements de comportement adoption de pratiques nouvelles …
4. Types d’indicateurs (5)
13
Indicateur d’impacts mesure les effets du programme d’actions au-delà de
son interaction directe et immédiate avec les destinataires effets qui perdurent à moyen et long terme sur les
destinataires directs (impacts spécifiques) proportion de bénéficiaires de formation qui a est encore en
emploi un an après la formation effets à court/moyen et long terme sur les
personnes non directement visées par le programme: effets de substitution entre bénéficiaires et non bénéficiaires, externalités positives ou négative amélioration de la qualité de vie pour le voisinage d’une friche
industrielle réhabilitée amélioration de la qualité des plages au voisinage d’une nouvelle
station d’épuration Travailleurs licenciés dans des entreprises non subventionnées
les indicateurs peuvent mesurer des impacts au niveau macroéconomique
4. Types d’indicateurs (6)
14
Indicateur de contexte qualifie une situation informe sur des variables qui pourraient avoir un
effet sur les résultats escomptés indépendamment des mesures prises la conjoncture internationale l’environnement économique et financier (pour des
aides aux entreprises) l’environnement sanitaire et social (pour des politiques
de santé) l’environnement culturel et professionnel (pour des
services de formation) ….
4. Types d’indicateurs (6)
15
Indicateur d'effectivité et d’efficacitécompare ce qui a été fait à ce qui était initialement prévu. Il indique dans quelle mesure on atteint les objectifs visés par une action
Nombre d’heures de formation dispensées par rapport au nombre d’heures annoncées (réalisation- effectivité))
Nombre de personnes remises au travail grâce aux formations par rapport à l’objectif annoncé (résultat-efficacité)
Indicateur d’efficience compare un indicateur de réalisation ou de résultat aux ressources (en particulier financières) utilisées pour y parvenir. Il permet d’étudier la question de la minimisation du coût par unité (de réalisation ou de résultat) « produite »
Coût moyen d’une formation par bénéficiaire (réalisation) Coût moyen d’une formation par chômeur remis au travail grâce à la
formation (résultat)
4. Types d’indicateurs (6)
16
indicateurs simples : données issues de la pratique statistique ou administrative, qui peuvent moyennant quelques précautions statistiques, servir directement d’indicateurs
indicateurs élaborés : ils résultent de traitements plus ou moins complexes et mettent en œuvre plusieurs types de données taux de chômage PIB proportion de personnes participant à un événement par rapport au public
cible proportion de bénéficiaires de formation qui ont trouvé un emploi à la sortie
de la formation indicateurs composites : ils agrègent plusieurs indicateurs
Indicateur de bien-être indicateurs synthétiques : ils agrègent l’ensemble des
indicateurs se rapportant à un même domaine en un seul indicateur indicateur de développement humain (IDH du PNUD) indicateur de sévérité de la législation sur la protection de l’emploi (OCDE)
5. Etapes d’un projet, questions d’évaluation et indicateurs (1)
17
Eléments constitutifs d’une politique
publique
Etapes du projet/de la politique Etapes de l’évaluation
Critères d’évaluation Type d’indicateurs Questions d’évaluation
1. Problème collectif Diagnostic Ex ante Pertinence Cohérence
Contexte + Indicateurs représentant les variables du modèle d’analyse
- La politique proposée répond-elle de manière adéquate aux problèmes ? - Cohérence de la politique avec les autres politiques ?
2. Politique publique Phase de programmation
Conception + bases légales et réglementations :
- objectifs - mesures - acteurs - ressources
3. Produits administratifs
Mise en œuvre au sein de l’administration Application des lois, décrets, règlements – SERVICES
In Itinere Suivi du processus et des réalisations
Economie (fonctionnement interne/gestion) Efficacité (comparaison des réalisations par rapport aux objectifs) Efficience (comparaison des réalisations par rapport aux ressources)
- Indicateurs de mise en œuvre
- Indicateurs de réalisation
- Indicateurs budgétaires
Nombre de dossiers reçus ? traités ? admis ? Nombre de réclamations ? Nombre d’actions entreprises ? …
4. Effets induits sur les groupes cibles
Changement de comportement des groupes cibles
Ex post - Efficacité (comparaison des résultats par rapport aux objectifs) - Efficience (comparaison des résultats par rapport aux ressources) -Causalité
- Indicateurs de résultat - Indicateurs coût/bénéfice - Effet net de la politique
Dans quelle mesure la situation des bénéficiaires s’est-elle améliorée grâce au dispositif?
5. Impacts Prise en compte des effets indirects et des effets macroéconomiques
Ex post (long terme)
Indicateurs d’impact Impact sur le PIB ? sur l’emploi ? Après déduction des effets d’aubaine, de substitution, de déplacement
5. Etapes d’un projet, questions d’évaluation et indicateurs (2)
18
Les services s’évaluent à deux niveaux : le niveau du produit direct et le niveau des résultats indirects
Niveau Produit direct = activité immédiate du prestataire Exemples : le fonctionnaire traite les dossiers des usagers (entreprises, particuliers), l’enseignant forme des élèves
Résultats indirects : effets sur les destinataires des prestations Ex. la formation professionnelle améliore les compétences (moyen terme) et permet l’insertion en emploi
Critères d’évaluation qualité, économie, efficience Efficacité, efficience Indicateurs Indicateurs de réalisations (quantitatifs et
qualitatifs): Nombre de dossiers traités, nombre de personnes formées, budget alloué aux aides à la création d’entreprises, durée moyenne de traitement d’un dossier, délai de réponse à un courrier, délai d’attente d’une formation, etc
Indicateurs de résultats : Proportion de personnes entrées en formation qui ont réussi la formation, proportion de personnes formées qui sont insérées en emploi X mois après la formation, coût par personne insérée en emploi ; taux de création d’entreprises, etc
Remarque Le même service immédiat peut aboutir à des résultats différents : le résultat dépend en effet
- des caractéristiques des bénéficiaires et de leur capacité à tirer bénéfice du service
- du contexte dans lequel se place le service.
J. Gadrey (2003), Socio-économie des services, Repères La découverte.
Top Related