24 février 2011

Le point de vue du commanditaire et de l’évaluateur

Evaluation de la coopération internationale menée par la

Belgique

Ce document est un support à la présentation orale; il n’est pas destiné à être utilisé séparément ou en dehors de ce cadre.

Objectifs de la présentation

Points clés

- Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation

- Le cadre méthodologique

- Les types de conclusions et de recommandations

L’évaluation de la note stratégique « Agriculture et Sécurité alimentaire » de la Coopération

belge (mai 2002) et sa mise en œuvre «  comme fil conducteur.

2

Enseignements tirés de l’expérience d’ADE en matière d’évaluations stratégiques menées pour la coopération belge

Un exemple. Evaluation de la note stratégique agriculture et sécurité alimentaire

3(1) Codes objets SNPC CAD ‘secteur principal’Source: Termes de Référence

Objectif

Fournir les éléments nécessaires à la définition d’une nouvelle stratégie de la coopération belge en matière d’agriculture et de sécurité alimentaire, sous forme de constats, leçons, conclusions et recommandations (« évaluation thématique et prospective »)

Objet Note stratégique "Agriculture et Sécurité alimentaire" de la Coopération belge (mai 2002) et sa mise en œuvre

Champ• Période 2003-2007• Secteurs principaux CAD1: “Agriculture”, “Sylviculture”, “Pêche”,

“Développement Rural” et “Aide alimentaire (…)”

Objectifs de la présentation

- Le champs de l’évaluation: les évaluations stratégiques

- Le processus d’évaluation

- Le cadre méthodologique

- Les types de conclusions et de recommandations

4

Les évaluations stratégiques ne sont pas des évaluations de projet

Enjeux méthodologiques

Enjeux de gestion d’un processus complexe

5

Objectifs de la présentation

- Le champs de l’évaluation: les évaluations stratégiques

- Le processus d’évaluation

- Le cadre méthodologique

- Les types de conclusion et des recommandations

6

Processus d’évaluation long et complexe

7

Hypothèses de réponse aux QE

Questions d’Evaluation (QE)

Critères de Jugement

Indicateurs

Proposition d’un échantillon: - 12 pays- Environ 30 projets

Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002)

Inventaire (avec enquête on-line)

Rédaction du Rapport

intermédiaire provisoire

Séminaire interne

Mise en œuvre des études de cas dans les 6 pays sélectionnés:

- visite des projets - interviews des parties prenantes - focus-groupes avec les bénéficiaires - rédaction d’un aide-mémoire - séminaire de restitution

Rédaction des 6 rapports-pays

CdP: 7/11/2008

CdP: 26/05/2009

Réponses aux questions d’éval.

Rédaction du Rapport final provisoire

Conclusions

Recommandations

Séminaire interne

CdP:10/09/2009

Mission à Rome (FAO, PAM, FIDA)

CdP: 9/01/2009

CdP=Comité de Pilotage

Phase de préparation Phase d’étude

Collecte des informations:- Documents - Interviews (Bruxelles)

Phase de terrain Phase de synthèse

Objectifs de la présentation

- Le champs de l’évaluation: les évaluations stratégiques

- Le processus d’évaluation

- Le cadre méthodologique

- Les types de conclusions et de recommandations

8

Bases méthodologiques d’évaluation de la Commission Européenne

http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_fr.htm

Cadre méthodologique bien défini

Caractéristique: « theory based evaluation » : l’évaluation par rapport à une logique d’intervention (chaine de

causalité) explicite ou implicite

9

Cadre méthodologique

• Une logique d’intervention

• Un inventaire détaillé

• Des questions d’évaluations

– Des critères de jugement

– Des indicateurs

• Des outils d’analyse:

• A un niveau global

• Sur un échantillon: visites de terrain

10

Logique d’intervention de la Note stratégique

11

OBJECTIFS SPECIFIQUES

Augmenter durablement les

revenus des petits exploitants et des

populations pauvres

Promouvoir des systèmes de production durables

Assurer et améliorer le régime

alimentaire des populations

pauvres

Contribuer au développement de l’économie rurale

et à la stabilité rurale

OBJECTIFS GLOBAUX

Améliorer la sécurité

alimentaire

Lutter contre la pauvreté

Zones ciblées

Zones dont la population

moyenne présente un profil

économique bas par rapport au reste du pays

Groupes-cibles

Petits exploitants agricoles pauvres

Approche participative

Groupes vulnérables et marginalisés

Autres agriculteurs (pionniers)

Zones urbaines et périurbaines

INTERVENTIONSAXES STRATEGIQUES

Inscrire l’aide dans les politiques et programmes nationaux et contribuer

au renforcement de ceux-ci

Contribuer au renforcement des capacités des nouveaux acteurs du

développement agricole

Contribuer à l’amélioration de l’accès des petits exploitants agricoles et des

groupements de producteurs aux facteurs de production, aux services et

aux marchés

Agriculture et élevage (CAD 311): développement agricole (alternatif), bétail,

éducation et formation, recherche, politique et gestion, recherche, services,

etc.

Pêche et aquaculture (CAD 312): développement de la pêche, politique et

gestion, recherche, éducation et formation

Sylviculture (CAD 313): développement sylvicole, politique et gestion, recherche,

éducation et formation

Aide alimentaire (CAD 52010)

Gestion durable des ressources naturelles

Egalité hommes-femmes

Procédures de mise en œuvre durables

Multisecteurs - Développement rural (CAD 43040)

PRINCIPES DIRECTEURS

CIBLAGE

Cadre méthodologique

• Une logique d’intervention

• Un inventaire détaillé

• Des questions d’évaluations

– Des critères de jugement

– Des indicateurs

• Des outils d’analyse:

• A un niveau global

• Sur un échantillon

12

Inventaire: analyse géographique

13

AmC€13.2m

IC€1.7m

AO€64.2m

AC€47.1m

AA€21.2m

AE€29.9m

UNI/n.s./ BE€39.1m

AI€32.6m

MM€10.1m

AFR. n.s.€.22.0m

Total 2003-2007

€330m

Source: Base de données ODA.be, analyse ADE-IDIS, 2008.

AS€48.2m

AmC€13.2m

IC€1.7m

AO€64.2m

AC€47.1m

AA€21.2m

AE€29.9m

UNI/n.s./ BE€39.1m

AI€32.6m

MM€10.1m

AFR. n.s.€.22.0m

Total 2003-2007

€330m

Total 2003-2007

€330m

Source: Base de données ODA.be, analyse ADE-IDIS, 2008.

AS€48.2m

Inventaire: principaux secteurs d’intervention

14

Total 2003-2007

Aide alimentaire -Programmes de sécurité et d'aide alimentaire (52010) €0.5 m

Pêche et aquaculture (313) €5.2 m

Sylviculture (312) €8.7 m

Agriculture et élevage (311) €219.5 m

Multisecteur –Développement rural (43040) €95.9 m

Source: base de données ODA.be 2008, analyse ADE-IDIS

€330m

29.1%

6.7%2.6%

66.6%0.2%

Inventaire: types d’intervention

15

4.1%

3.1%

2.9%

2.1%

2.1%

2.1%

9.3% 6.5%

11.6%

14.0%

32.9%

16.5%

4.6%4.7%

Développement agricole €72.3 m

Recherche agronomique €30.7 m

Bétail €25.5 m

NB: La catégorie “Autres” rassemble la “Vulgarisation agricole” (€3.1 m), les “Services vétérinaires” (€2.3 m), les “Services agricoles” (€2.1 m), les “Ressources en terres cultivables” (€0.6 m), la “Protection des plantes et des récoltes, lutte antiacridienne” (€0.5 m) et la “Production industrielle de récoltes/ récoltées destinées à l’exportation” (€0.5 m). Source:Base de données ODA.be, 2008; analyse ADE-IDIS

Coopératives agricoles €20.4 m

Education et formation €10.3 m

Production agricole €14.2 m

Politique agricole et gestion administrative €10 m

Ressources en eau à usage agricole €6.9 m

Autres €9.1 m

Réforme agraire €6.3 m

Services financiers agricoles €4.7 m

Développement agricole alternatif €4.6 m

Produits à usage agricole €6.3 m

Total Agriculture et élevage 2003-2007

€219.5 m

Inventaire: canaux d’intervention

16

27.1%

18.5%

12.7%

8.4%

27.4%

4.4%0.7%

0.5%

0.3%

0.0%

1.5%Appui politique €1.5 m

Prog. non. gouv. – autres partenaires €1.1 m

Prog. gouv. €90.5 m

ONG €89.5 m

FBS €61.1 m

Aide urgence/ aide alimentaire €2.3 m

Programmes de sensibilisation €0.1 m

Source: base de données ODA.be, 2008; analyse ADE-IDIS

NU/ I nst. BW €41.8 m

Univ./ I nst. Sc. €14.5 m

Fonds/ prog. sect. €27.6 m

Total 2003-2007

€330m

27.1%

18.5%

12.7%

8.4%

27.4%

4.4%0.7%

0.5%

0.3%

0.0%

1.5%Appui politique €1.5 m

Prog. non. gouv. – autres partenaires €1.1 m

Prog. gouv. €90.5 m

ONG €89.5 m

FBS €61.1 m

Aide urgence/ aide alimentaire €2.3 m

Programmes de sensibilisation €0.1 m

Source: base de données ODA.be, 2008; analyse ADE-IDIS

NU/ I nst. BW €41.8 m

Univ./ I nst. Sc. €14.5 m

Fonds/ prog. sect. €27.6 m

Total 2003-2007

€330m

Dépenses 2003-2007

Cadre méthodologique

• Une logique d’intervention

• Un inventaire détaillé

• Des questions d’évaluations

– Des critères de jugement

– Des indicateurs

• Des outils d’analyse:

• A un niveau global

• Sur un échantillon

17

Les questions d’évaluation

Les question doivent couvrir

- les critères du CAD

- la logique d’intervention

- des préoccupations spécifiques du commanditaire

18

12 Questions d’évaluation

19

QE 1 Pertinence de la stratégieQE 2 Cohérence dans la mise en œuvre

QE 3Cohérence de la stratégie par rapport à l’ensemble de la coopération belge et aux différents canaux d’intervention

QE 4Efficacité des interventions pour augmenter les revenus agricoles

QE 5Efficacité des interventions en termes d’amélioration de la sécurité alimentaire

QE 6 Efficacité des interventions en termes d’économie rurale QE 7 Renforcement des capacités institutionnellesQE 8 DurabilitéQE 9 Efficience de la stratégie et des interventions QE 10

Coordination et complémentarité

QE 11

Questions transversales – Egalité hommes-femmes

QE 12

Questions transversales – Gestion des ressources naturelles et réchauffement climatique

20

Questions d’évaluation (exemple)

QE4 : Efficacité des interventions pour augmenter les revenus agricoles

Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles des populations ciblées ?

QE5 : Efficacité des interventions en termes d’amélioration de la sécurité alimentaire

Dans quelle mesure les interventions ont-elles permis d’améliorer la sécurité alimentaire des populations ciblées ?

QE6 : Efficacité des interventions en termes d’économie rurale

Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles et non agricoles des populations ciblées ?

QE7 : Renforcement des capacités institutionnelles

Dans quelle mesure les interventions menées ont-elles permis de renforcer les capacités institutionnelles des partenaires ?

21

Questions d’évaluation (exemple)

Critères de jugement

Indicateurs Sources

C.J.4.1 – Les interventions ont un impact sur l’augmentation des revenus agricoles.

I.4.1.1 – Augmentation du rendement et de la production par ménage

I.4.1.2 – Accès aux marchésI.4.1.3 – Accès aux intrants I.4.1.4 – Accès aux et adoption des technologies

améliorésI.4.1.5 – Diffusion et utilisation des résultats de la

recherche dans les interventionsI.4.1.6 – Evolution du revenu agricole

Documents de programmation des interventionsRapports de suivi et d’évaluation des interventions Missions de terrain

C.J.4.2 – L’échelle d’intervention et le choix des bénéficiaires permettent d’atteindre un impact significatif au niveau de la zone d’intervention (pays, région, commune).

I.4.2.1 – Type de ciblage I.4.2.2 – Nombre et type de bénéficiaires I.4.2.3 – Choix de la spéculation agricole/animale

Statistiques agricolesDocuments de programmation des interventionsRapports de suivi et d’évaluation des interventions Missions de terrain

QE4 : Efficacité des interventions pour augmenter les revenus agricoles

Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles des populations ciblées ?

Réponse à la question 4

Deux dimensions clé:

Dimension micro.

Vérifier les résultats des actions sur les rendements/sur les revenus à l’échelle des interventions

(approche qualitative ou quantitative en fct des informations disponibles)

Dimension macro.

Combien de producteurs sont concernés par les actions ?Le nombre est-il suffisant pour espérer un impact significatif?

=>Conclusion

22

Cadre méthodologique

• Une logique d’intervention

• Un inventaire détaillé

• Des questions d’évaluations

– Des critères de jugement

– Des indicateurs

• Des outils d’analyse:

• A un niveau global

• Sur un échantillon de pays et d’intervention

23

24

Choix des pays et des interventions: un enjeu clé, la représentativité

• Qualification du pays: pays partenaire (P) / pays non partenaire (NP) de la Coopération belge

• Aide de la DGCD (2003-2007)

– Aide totale de la DGCD

– Aide totale de la DGCD en agriculture, FBS inclus

– Part relative du FBS dans l’aide DGCD en agriculture

– Part relative de l’aide DGCD en agriculture, hors FBS

• Caractéristiques des interventions financées

– Nombre d’interventions en agriculture

– Acteurs des interventions (CTB, ONG, VLIR, CIUF, CGIAR, FAO, BM, etc.)

– Canal d’intervention (en part relative de l’aide DGCD en agriculture, hors FBS)

– Type d’intervention: code CAD (311, 312, 313, 43040 et 520; en part relative de l’aide DGCD en agriculture, hors FBS)

• Indicateurs-clés des différents pays:

– Classification du pays par revenus (BM, 2008)

– Densité de population agricole (FAO, 2001-2003)

– Part relative des exportations agricoles dans les exportations totales (FAO, 2002-2004)

– % des personnes malnutries (FAO, 2002-2004)

25

Choix des pays et des interventions: un enjeu clé, la représentativité

• Privilégier la coopération bilatérale directe (programmes gouvernementaux - CTB)

• Représentativité des autres canaux d’intervention

• Représentativité des différents types d’intervention (code CAD)

Processus d’évaluation

26

Hypothèses de réponse aux QE

Questions d’Evaluation (QE)

Critères de Jugement

Indicateurs

Proposition d’un échantillon: - 12 pays- Environ 30 projets

Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002)

Inventaire (avec enquête on-line)

Rédaction du Rapport

intermédiaire provisoire

Séminaire interne

Mise en œuvre des études de cas dans les 6 pays sélectionnés:

- visite des projets - interviews des parties prenantes - focus-groupes avec les bénéficiaires - rédaction d’un aide-mémoire - séminaire de restitution

Rédaction des 6 rapports-pays

CdP: 7/11/2008

CdP: 26/05/2009

Réponses aux questions d’éval.

Rédaction du Rapport final provisoire

Conclusions

Recommandations

Séminaire interne

CdP:10/09/2009

Mission à Rome (FAO, PAM, FIDA)

CdP: 9/01/2009

CdP=Comité de Pilotage

Phase de préparation Phase d’étude

Collecte des informations:- Documents - Interviews (Bruxelles)

Phase de terrain Phase de synthèse

Objectifs de la présentation

- Le champs de l’évaluation: les évaluations stratégiques

- Le processus d’évaluation

- Le cadre méthodologique

- Les types de conclusions et de recommandations

27

Type de conclusions Q4: Efficacité des interventions pour augmenter les revenus

28

Type de recommandations:

29

Indiquer aux différents partenaires les champs d’intervention

de la coopération belge

Inscrire concrètement la coopération belge

dans la Déclaration de Paris et l’agenda d’Accra

Préciser les objectifs, guider les choix,

orienter les discussions

Future « Note stratégique »

R1. Une nouvelle stratégie utile pour améliorer l’efficacité de l’aide traduite dans un document cadre utile à toutes les parties concernées est nécessaire

R3: La future « Note stratégique » n’est pas un aboutissement en soi, elle devrait être un instrument dynamique de la coopération belge

30

Future « Note

stratégique »

Promotion

Dispositions pratiques

Suivi documenté

Etapes de la définition et de la mise en pratique de la Note stratégique

Processus participatif

Type de recommandations

Pour terminer: les évaluations stratégiques ?

31