Post on 04-Apr-2015
24 février 2011
Le point de vue du commanditaire et de l’évaluateur
Evaluation de la coopération internationale menée par la
Belgique
Ce document est un support à la présentation orale; il n’est pas destiné à être utilisé séparément ou en dehors de ce cadre.
Objectifs de la présentation
Points clés
- Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation
- Le cadre méthodologique
- Les types de conclusions et de recommandations
L’évaluation de la note stratégique « Agriculture et Sécurité alimentaire » de la Coopération
belge (mai 2002) et sa mise en œuvre « comme fil conducteur.
2
Enseignements tirés de l’expérience d’ADE en matière d’évaluations stratégiques menées pour la coopération belge
Un exemple. Evaluation de la note stratégique agriculture et sécurité alimentaire
3(1) Codes objets SNPC CAD ‘secteur principal’Source: Termes de Référence
Objectif
Fournir les éléments nécessaires à la définition d’une nouvelle stratégie de la coopération belge en matière d’agriculture et de sécurité alimentaire, sous forme de constats, leçons, conclusions et recommandations (« évaluation thématique et prospective »)
Objet Note stratégique "Agriculture et Sécurité alimentaire" de la Coopération belge (mai 2002) et sa mise en œuvre
Champ• Période 2003-2007• Secteurs principaux CAD1: “Agriculture”, “Sylviculture”, “Pêche”,
“Développement Rural” et “Aide alimentaire (…)”
Objectifs de la présentation
- Le champs de l’évaluation: les évaluations stratégiques
- Le processus d’évaluation
- Le cadre méthodologique
- Les types de conclusions et de recommandations
4
Les évaluations stratégiques ne sont pas des évaluations de projet
Enjeux méthodologiques
Enjeux de gestion d’un processus complexe
5
Objectifs de la présentation
- Le champs de l’évaluation: les évaluations stratégiques
- Le processus d’évaluation
- Le cadre méthodologique
- Les types de conclusion et des recommandations
6
Processus d’évaluation long et complexe
7
Hypothèses de réponse aux QE
Questions d’Evaluation (QE)
Critères de Jugement
Indicateurs
Proposition d’un échantillon: - 12 pays- Environ 30 projets
Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002)
Inventaire (avec enquête on-line)
Rédaction du Rapport
intermédiaire provisoire
Séminaire interne
Mise en œuvre des études de cas dans les 6 pays sélectionnés:
- visite des projets - interviews des parties prenantes - focus-groupes avec les bénéficiaires - rédaction d’un aide-mémoire - séminaire de restitution
Rédaction des 6 rapports-pays
CdP: 7/11/2008
CdP: 26/05/2009
Réponses aux questions d’éval.
Rédaction du Rapport final provisoire
Conclusions
Recommandations
Séminaire interne
CdP:10/09/2009
Mission à Rome (FAO, PAM, FIDA)
CdP: 9/01/2009
CdP=Comité de Pilotage
Phase de préparation Phase d’étude
Collecte des informations:- Documents - Interviews (Bruxelles)
Phase de terrain Phase de synthèse
Objectifs de la présentation
- Le champs de l’évaluation: les évaluations stratégiques
- Le processus d’évaluation
- Le cadre méthodologique
- Les types de conclusions et de recommandations
8
Bases méthodologiques d’évaluation de la Commission Européenne
http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_fr.htm
Cadre méthodologique bien défini
Caractéristique: « theory based evaluation » : l’évaluation par rapport à une logique d’intervention (chaine de
causalité) explicite ou implicite
9
Cadre méthodologique
• Une logique d’intervention
• Un inventaire détaillé
• Des questions d’évaluations
– Des critères de jugement
– Des indicateurs
• Des outils d’analyse:
• A un niveau global
• Sur un échantillon: visites de terrain
10
Logique d’intervention de la Note stratégique
11
OBJECTIFS SPECIFIQUES
Augmenter durablement les
revenus des petits exploitants et des
populations pauvres
Promouvoir des systèmes de production durables
Assurer et améliorer le régime
alimentaire des populations
pauvres
Contribuer au développement de l’économie rurale
et à la stabilité rurale
OBJECTIFS GLOBAUX
Améliorer la sécurité
alimentaire
Lutter contre la pauvreté
Zones ciblées
Zones dont la population
moyenne présente un profil
économique bas par rapport au reste du pays
Groupes-cibles
Petits exploitants agricoles pauvres
Approche participative
Groupes vulnérables et marginalisés
Autres agriculteurs (pionniers)
Zones urbaines et périurbaines
INTERVENTIONSAXES STRATEGIQUES
Inscrire l’aide dans les politiques et programmes nationaux et contribuer
au renforcement de ceux-ci
Contribuer au renforcement des capacités des nouveaux acteurs du
développement agricole
Contribuer à l’amélioration de l’accès des petits exploitants agricoles et des
groupements de producteurs aux facteurs de production, aux services et
aux marchés
Agriculture et élevage (CAD 311): développement agricole (alternatif), bétail,
éducation et formation, recherche, politique et gestion, recherche, services,
etc.
Pêche et aquaculture (CAD 312): développement de la pêche, politique et
gestion, recherche, éducation et formation
Sylviculture (CAD 313): développement sylvicole, politique et gestion, recherche,
éducation et formation
Aide alimentaire (CAD 52010)
Gestion durable des ressources naturelles
Egalité hommes-femmes
Procédures de mise en œuvre durables
Multisecteurs - Développement rural (CAD 43040)
PRINCIPES DIRECTEURS
CIBLAGE
Cadre méthodologique
• Une logique d’intervention
• Un inventaire détaillé
• Des questions d’évaluations
– Des critères de jugement
– Des indicateurs
• Des outils d’analyse:
• A un niveau global
• Sur un échantillon
12
Inventaire: analyse géographique
13
AmC€13.2m
IC€1.7m
AO€64.2m
AC€47.1m
AA€21.2m
AE€29.9m
UNI/n.s./ BE€39.1m
AI€32.6m
MM€10.1m
AFR. n.s.€.22.0m
Total 2003-2007
€330m
Source: Base de données ODA.be, analyse ADE-IDIS, 2008.
AS€48.2m
AmC€13.2m
IC€1.7m
AO€64.2m
AC€47.1m
AA€21.2m
AE€29.9m
UNI/n.s./ BE€39.1m
AI€32.6m
MM€10.1m
AFR. n.s.€.22.0m
Total 2003-2007
€330m
Total 2003-2007
€330m
Source: Base de données ODA.be, analyse ADE-IDIS, 2008.
AS€48.2m
Inventaire: principaux secteurs d’intervention
14
Total 2003-2007
Aide alimentaire -Programmes de sécurité et d'aide alimentaire (52010) €0.5 m
Pêche et aquaculture (313) €5.2 m
Sylviculture (312) €8.7 m
Agriculture et élevage (311) €219.5 m
Multisecteur –Développement rural (43040) €95.9 m
Source: base de données ODA.be 2008, analyse ADE-IDIS
€330m
29.1%
6.7%2.6%
66.6%0.2%
Inventaire: types d’intervention
15
4.1%
3.1%
2.9%
2.1%
2.1%
2.1%
9.3% 6.5%
11.6%
14.0%
32.9%
16.5%
4.6%4.7%
Développement agricole €72.3 m
Recherche agronomique €30.7 m
Bétail €25.5 m
NB: La catégorie “Autres” rassemble la “Vulgarisation agricole” (€3.1 m), les “Services vétérinaires” (€2.3 m), les “Services agricoles” (€2.1 m), les “Ressources en terres cultivables” (€0.6 m), la “Protection des plantes et des récoltes, lutte antiacridienne” (€0.5 m) et la “Production industrielle de récoltes/ récoltées destinées à l’exportation” (€0.5 m). Source:Base de données ODA.be, 2008; analyse ADE-IDIS
Coopératives agricoles €20.4 m
Education et formation €10.3 m
Production agricole €14.2 m
Politique agricole et gestion administrative €10 m
Ressources en eau à usage agricole €6.9 m
Autres €9.1 m
Réforme agraire €6.3 m
Services financiers agricoles €4.7 m
Développement agricole alternatif €4.6 m
Produits à usage agricole €6.3 m
Total Agriculture et élevage 2003-2007
€219.5 m
Inventaire: canaux d’intervention
16
27.1%
18.5%
12.7%
8.4%
27.4%
4.4%0.7%
0.5%
0.3%
0.0%
1.5%Appui politique €1.5 m
Prog. non. gouv. – autres partenaires €1.1 m
Prog. gouv. €90.5 m
ONG €89.5 m
FBS €61.1 m
Aide urgence/ aide alimentaire €2.3 m
Programmes de sensibilisation €0.1 m
Source: base de données ODA.be, 2008; analyse ADE-IDIS
NU/ I nst. BW €41.8 m
Univ./ I nst. Sc. €14.5 m
Fonds/ prog. sect. €27.6 m
Total 2003-2007
€330m
27.1%
18.5%
12.7%
8.4%
27.4%
4.4%0.7%
0.5%
0.3%
0.0%
1.5%Appui politique €1.5 m
Prog. non. gouv. – autres partenaires €1.1 m
Prog. gouv. €90.5 m
ONG €89.5 m
FBS €61.1 m
Aide urgence/ aide alimentaire €2.3 m
Programmes de sensibilisation €0.1 m
Source: base de données ODA.be, 2008; analyse ADE-IDIS
NU/ I nst. BW €41.8 m
Univ./ I nst. Sc. €14.5 m
Fonds/ prog. sect. €27.6 m
Total 2003-2007
€330m
Dépenses 2003-2007
Cadre méthodologique
• Une logique d’intervention
• Un inventaire détaillé
• Des questions d’évaluations
– Des critères de jugement
– Des indicateurs
• Des outils d’analyse:
• A un niveau global
• Sur un échantillon
17
Les questions d’évaluation
Les question doivent couvrir
- les critères du CAD
- la logique d’intervention
- des préoccupations spécifiques du commanditaire
18
12 Questions d’évaluation
19
QE 1 Pertinence de la stratégieQE 2 Cohérence dans la mise en œuvre
QE 3Cohérence de la stratégie par rapport à l’ensemble de la coopération belge et aux différents canaux d’intervention
QE 4Efficacité des interventions pour augmenter les revenus agricoles
QE 5Efficacité des interventions en termes d’amélioration de la sécurité alimentaire
QE 6 Efficacité des interventions en termes d’économie rurale QE 7 Renforcement des capacités institutionnellesQE 8 DurabilitéQE 9 Efficience de la stratégie et des interventions QE 10
Coordination et complémentarité
QE 11
Questions transversales – Egalité hommes-femmes
QE 12
Questions transversales – Gestion des ressources naturelles et réchauffement climatique
20
Questions d’évaluation (exemple)
QE4 : Efficacité des interventions pour augmenter les revenus agricoles
Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles des populations ciblées ?
QE5 : Efficacité des interventions en termes d’amélioration de la sécurité alimentaire
Dans quelle mesure les interventions ont-elles permis d’améliorer la sécurité alimentaire des populations ciblées ?
QE6 : Efficacité des interventions en termes d’économie rurale
Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles et non agricoles des populations ciblées ?
QE7 : Renforcement des capacités institutionnelles
Dans quelle mesure les interventions menées ont-elles permis de renforcer les capacités institutionnelles des partenaires ?
21
Questions d’évaluation (exemple)
Critères de jugement
Indicateurs Sources
C.J.4.1 – Les interventions ont un impact sur l’augmentation des revenus agricoles.
I.4.1.1 – Augmentation du rendement et de la production par ménage
I.4.1.2 – Accès aux marchésI.4.1.3 – Accès aux intrants I.4.1.4 – Accès aux et adoption des technologies
améliorésI.4.1.5 – Diffusion et utilisation des résultats de la
recherche dans les interventionsI.4.1.6 – Evolution du revenu agricole
Documents de programmation des interventionsRapports de suivi et d’évaluation des interventions Missions de terrain
C.J.4.2 – L’échelle d’intervention et le choix des bénéficiaires permettent d’atteindre un impact significatif au niveau de la zone d’intervention (pays, région, commune).
I.4.2.1 – Type de ciblage I.4.2.2 – Nombre et type de bénéficiaires I.4.2.3 – Choix de la spéculation agricole/animale
Statistiques agricolesDocuments de programmation des interventionsRapports de suivi et d’évaluation des interventions Missions de terrain
QE4 : Efficacité des interventions pour augmenter les revenus agricoles
Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles des populations ciblées ?
Réponse à la question 4
Deux dimensions clé:
Dimension micro.
Vérifier les résultats des actions sur les rendements/sur les revenus à l’échelle des interventions
(approche qualitative ou quantitative en fct des informations disponibles)
Dimension macro.
Combien de producteurs sont concernés par les actions ?Le nombre est-il suffisant pour espérer un impact significatif?
=>Conclusion
22
Cadre méthodologique
• Une logique d’intervention
• Un inventaire détaillé
• Des questions d’évaluations
– Des critères de jugement
– Des indicateurs
• Des outils d’analyse:
• A un niveau global
• Sur un échantillon de pays et d’intervention
23
24
Choix des pays et des interventions: un enjeu clé, la représentativité
• Qualification du pays: pays partenaire (P) / pays non partenaire (NP) de la Coopération belge
• Aide de la DGCD (2003-2007)
– Aide totale de la DGCD
– Aide totale de la DGCD en agriculture, FBS inclus
– Part relative du FBS dans l’aide DGCD en agriculture
– Part relative de l’aide DGCD en agriculture, hors FBS
• Caractéristiques des interventions financées
– Nombre d’interventions en agriculture
– Acteurs des interventions (CTB, ONG, VLIR, CIUF, CGIAR, FAO, BM, etc.)
– Canal d’intervention (en part relative de l’aide DGCD en agriculture, hors FBS)
– Type d’intervention: code CAD (311, 312, 313, 43040 et 520; en part relative de l’aide DGCD en agriculture, hors FBS)
• Indicateurs-clés des différents pays:
– Classification du pays par revenus (BM, 2008)
– Densité de population agricole (FAO, 2001-2003)
– Part relative des exportations agricoles dans les exportations totales (FAO, 2002-2004)
– % des personnes malnutries (FAO, 2002-2004)
25
Choix des pays et des interventions: un enjeu clé, la représentativité
• Privilégier la coopération bilatérale directe (programmes gouvernementaux - CTB)
• Représentativité des autres canaux d’intervention
• Représentativité des différents types d’intervention (code CAD)
Processus d’évaluation
26
Hypothèses de réponse aux QE
Questions d’Evaluation (QE)
Critères de Jugement
Indicateurs
Proposition d’un échantillon: - 12 pays- Environ 30 projets
Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002)
Inventaire (avec enquête on-line)
Rédaction du Rapport
intermédiaire provisoire
Séminaire interne
Mise en œuvre des études de cas dans les 6 pays sélectionnés:
- visite des projets - interviews des parties prenantes - focus-groupes avec les bénéficiaires - rédaction d’un aide-mémoire - séminaire de restitution
Rédaction des 6 rapports-pays
CdP: 7/11/2008
CdP: 26/05/2009
Réponses aux questions d’éval.
Rédaction du Rapport final provisoire
Conclusions
Recommandations
Séminaire interne
CdP:10/09/2009
Mission à Rome (FAO, PAM, FIDA)
CdP: 9/01/2009
CdP=Comité de Pilotage
Phase de préparation Phase d’étude
Collecte des informations:- Documents - Interviews (Bruxelles)
Phase de terrain Phase de synthèse
Objectifs de la présentation
- Le champs de l’évaluation: les évaluations stratégiques
- Le processus d’évaluation
- Le cadre méthodologique
- Les types de conclusions et de recommandations
27
Type de conclusions Q4: Efficacité des interventions pour augmenter les revenus
28
Type de recommandations:
29
Indiquer aux différents partenaires les champs d’intervention
de la coopération belge
Inscrire concrètement la coopération belge
dans la Déclaration de Paris et l’agenda d’Accra
Préciser les objectifs, guider les choix,
orienter les discussions
Future « Note stratégique »
R1. Une nouvelle stratégie utile pour améliorer l’efficacité de l’aide traduite dans un document cadre utile à toutes les parties concernées est nécessaire
R3: La future « Note stratégique » n’est pas un aboutissement en soi, elle devrait être un instrument dynamique de la coopération belge
30
Future « Note
stratégique »
Promotion
Dispositions pratiques
Suivi documenté
Etapes de la définition et de la mise en pratique de la Note stratégique
Processus participatif
Type de recommandations
Pour terminer: les évaluations stratégiques ?
31