Evaluer de manière crédible et utile : entre rêve et réalité · 2016-05-12 · ceci doit se...

ROYAUME DE BELGIQUE

Service public fédéral

Affaires étrangèresCommerce extérieur etCoopération au Développement

Service de l’Evaluation spéciale de la Coopération belge au développement

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 (0) 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]

Dépôt légal n° 0218/2016/013

Evaluer de manière crédible et utile : entre rêve et réalitéE

valu

er d

e ma

nièr

e créd

ible et u

tile : entr

e rêv

e et réa

lité

ROYAUME DE BELGIQUE


Affaires étrangères,Commerce extérieur etCoopération au Développement

Une étude de l’évaluabilité d’interventions (co) financées par la coopération belge

Service de l’Evaluation spéciale de la Coopération belge au Développement

SPF Affaires étrangères, Commerce extérieur et Coopération au Développement


Etude de l’évaluabilité des interventions (co)financées par la

Coopération belge

Nathalie HOLVOET - Liesbeth INBERG - Bob PEETERS - Lisa POPELIER -Dirk VAN ESBROECK -Ellen VERHOFSTADT

Rapport final : annexes

Février 2016

La présente étude a été réalisée par un partenariat composé de South Research et de l'IOB (Université d'Anvers), ceci avec le soutien d'un comité d'accompagnement.

Les opinions exprimées dans ce document reflètent les points de vue des auteurs et pas nécessairement ceux du SPF Affaires étrangères, Commerce extérieur et Coopération au Développement.

© SPF Affaires étrangères, Commerce extérieur et Coopération au Développement

Février 2016

Production graphique : Sandra Fernandez Bernardo, Service Communication SPF

Impression : Imprimerie SPF

Réf. n° S4/2014/03

Dépôt légal : 0218/2016/013

Ce document est également disponible en néerlandais et peut aussi être obtenu auprès du Service de l'Évaluation spéciale ou sur le site web http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/nos_methodes_de_travail/service_evaluation_speciale

Le présent rapport doit être cité comme suit : Service de l'Évaluation spéciale / SES (2016), Evaluer de manière crédible et utile : entre rêve et réalité, Une étude de l’évaluabilité d’interventions (co)financées par la Coopération belge, SPF Affaires étrangères, Commerce extérieur et Coopération au développement, Bruxelles.

Etude évaluabilité: Rapport final: annexes

3

Aperçu des annexes

Annexe 1: Cahier spécial des charges ................................................................. 4

Bijlage 2: Beschrijving van de aanpak en onderzoeksmethodologie ................. 42

Annexe 3: Cadre d’étude .................................................................................. 52

Annexe 4: Liste des 40 interventions ............................................................... 56

Annexe 5: Liste des documents consultés les plus importants ......................... 58

Annexe 6: Liste des personnes contactées les plus importantes ...................... 59

Bijlage 7: Toelichtingen bij de statistische analyses en analyse van de sterkste en zwakste items .................................................................................................. 65

Bijlage 8: Overzicht Gemiddelde Scores en Evalueerbaarheidsindex ................ 92


4

Annexe 1: Cahier spécial des charges


5

Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au

Développement


Rue des Petits Carmes 15, 1000 Bruxelles, Belgique

Procédure ouverte pour l’étude de l’évaluabilité pratique des interventions (co)financées par la

Coopération belge au Développement

Octobre 2014

CAHIER SPECIAL DES CHARGES Réf. S4/2014/01


6

Table des matières

Table des matières ............................................................................................. 6

A. Dispositions générales ................................................................................... 8

A1. Objet et nature du marché ............................................................................ 8

A2. Durée du contrat ......................................................................................... 8

A3. Pouvoir adjudicateur .................................................................................... 8

A4. Informations complémentaires ...................................................................... 8

A5. Droit d’introduction et ouverture des offres ..................................................... 9

A5.1. Droit et mode d’introduction des offres ..................................................... 9

A5.2. Ouverture des offres ............................................................................. 10

A6. Service dirigeant – fonctionnaire dirigeant ..................................................... 11

A7. Description des services à prester ................................................................. 11

A8. Documents régissant le marché .................................................................... 11

A8.1. Législation ........................................................................................... 11

A8.2. Documents régissant le marché .............................................................. 11

A9. Offres ........................................................................................................ 12

A9.1. Données à mentionner dans l’offre. ......................................................... 12

A9.2. Durée de validité de l’offre. .................................................................... 12

A9.3. Documents et attestations à joindre à l’offre ............................................ 13

A10. Prix ......................................................................................................... 13

10.1. Prix. .................................................................................................... 13

A10.2. Révision de prix ................................................................................. 14

A11. Responsabilité du soumissionnaire .............................................................. 14

A12. Critères de sélection – Régularité des offres – Critères d’attribution................. 14

A12.1. Critères de sélection ............................................................................ 14

A12.2. Régularité des offres ........................................................................... 18

A12.3. Critères d’attribution ........................................................................... 18

A13. Cautionnement ......................................................................................... 19

A14. Suivi et réception des services .................................................................... 20

A15. Exécution des services ............................................................................... 21

A15.1. Délais et clauses. ................................................................................ 21

A15.2. Lieu où les services doivent être exécutés et formalités ........................... 22

A16. Facturation et paiement des services ........................................................... 22

A17. Avis de marché et rectificatifs ..................................................................... 23

A18. Engagements particuliers pour le prestataire de services................................ 23

A19. Litiges ..................................................................................................... 24

B. Prescriptions techniques ............................................................................. 25

B1. Introduction ............................................................................................... 25

B1.1. Définitions ........................................................................................... 25

B1.2. Contexte et raison d’être de l’étude......................................................... 25

B1.3. cadre légal et réglementaire ................................................................... 27

B2. Objet de l’étude .......................................................................................... 27

B3. Objectifs de l’étude ..................................................................................... 27

B4. Champ de l’étude ........................................................................................ 28

B4.1. Champ conceptuel ................................................................................ 28

B4.2. Modalités à examiner ............................................................................ 28

B4.3. Acteurs à examiner ............................................................................... 29

B4.4. Champ temporel ................................................................................... 29

B4.5 Champ géographique ............................................................................. 30

B5. Approche et méthode .................................................................................. 30


7

B5.1. Approche générale ............................................................................... 30

B5.2. Echantillonnage des études de cas ......................................................... 30

B6. Phases de l’étude ....................................................................................... 31

B6.1. Phase 1 : Cadre d’analyse de l’évaluabilité théorique ................................ 31

B6.2. Phase 2 : Phase d’étude de l’évaluabilité théorique ................................... 31

B6.3. Phase 3 : phase d’étude de l’évaluabilité pratique .................................... 32

B6.4. Phase 4 : analyse et synthèse ................................................................ 32

B7 Responsabilité pour la gestion et le suivi de l’étude ......................................... 33

B7.1. Le fonctionnaire dirigeant (FD) ............................................................... 33

B7.2. Les parties prenantes (ou acteurs concernés) .......................................... 33

B7.3. Comité d’accompagnement.................................................................... 34

B8. Equipe de l’étude ....................................................................................... 34

B9. Chronogramme indicatif .............................................................................. 35

B10. Les rapports............................................................................................. 35

B10.1. Nature des rapports ........................................................................... 35

B10.2 Structure du rapport final : ................................................................... 35

B10.3. Qualité : ............................................................................................ 36

B10.4. Ponctualité : ...................................................................................... 36

B10.5. Langue des rapports : ......................................................................... 36

B11. Bibliographie ............................................................................................ 37

C. Annexes ....................................................................................................... 38

C1. Fiche de renseignements ............................................................................. 38

C1.1. Offre technique .................................................................................... 38

C1.2. Offre financière .................................................................................... 40

C2. Formulaires de soumission .......................................................................... 40


8

A. Dispositions générales

A1. Objet et nature du marché

Le présent marché porte sur les phases 3 et 4 de l’étude de l’évaluabilité des interventions (co)financées par la Coopération belge au Développement, selon les prescriptions techniques/termes de référence de la partie B

Les phases 1 et 2 portent sur l’étude de l’évaluabilité théorique et ont déjà été réalisées en interne.

La procédure choisie est celle de l’appel d’offres général.

Ce marché comporte un seul lot.

Il s’agit d’un marché à prix global (A.R. 15 juillet 2011, art. 2, 4°).

A2. Durée du contrat

Le marché prend cours le premier jour calendrier qui suit le jour où l’adjudicataire a reçu la notification de la conclusion du marché et est conclu pour une période de 6 mois. Il n’est pas prévu de prolongation de la durée de validité du marché. L’exécution des services prévus au présent cahier spécial des charges doit, dans tous les cas, être terminée dans le délai prévu, conformément au point 15.1.

A3. Pouvoir adjudicateur

Le pouvoir adjudicateur est l’Etat belge, représenté par le Service de l’Evaluation spéciale de la Coopération belge au développement (SES-S4), Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement, rue des Petits Carmes 15 , B-1000 Bruxelles, Belgique.

A4. Informations complémentaires

Des informations complémentaires relatives à la procédure et au contenu du marché peuvent être obtenues auprès de :

- M. Ivo Hooghe, (NL, FR, AN), ℡: int + 32 (0)2 501 3701, [email protected]

- M. Karel Cools, (FR, NL, AN), ℡: int + 32 (0)2 501 4590, [email protected]

Le pouvoir adjudicateur a décidé de ne pas organiser une session d’information à l’intention des soumissionnaires potentiels. Toutefois, les soumissionnaires potentiels peuvent faire parvenir leurs questions au pouvoir adjudicateur par e-mail aux personnes mentionnées ci-dessus.

Le pouvoir adjudicateur mettra en ligne sur e-notification, toutes les questions reçues ainsi que la réponse à ces questions.


9

A5. Droit d’introduction et ouverture des offres

A5.1. Droit et mode d’introduction des offres

Sans préjudice des variantes éventuelles, chacun des soumissionnaires ne peut remettre qu'une offre par marché.

En application de l’article 52, § 2, de l’AR du 15 juillet 2011, le pouvoir adjudicateur accepte l’utilisation de moyens électroniques pour l’introduction des offres.

Par conséquent, les offres peuvent être introduites comme suit:

- ou bien électroniquement via l’application e-tendering (voir ci-dessous pour plus d’informations),

- ou bien par lettre (une lettre recommandée est conseillée) envoyée au pouvoir adjudicateur,

- ou bien personnellement déposées auprès du pouvoir adjudicateur.

A5.1.1. Offres introduites par des moyens électroniques

Lorsque des moyens électroniques sont utilisés pour l’introduction de l’offre, la signature électronique doit être conforme aux règles du droit européen et du droit national y correspondant relatives à la signature électronique avancée accompagnée d’un certificat qualifié et valide, et réalisée au moyen d’un dispositif sécurisé de création de signature (Article 52, § 1, 1° de l’AR du 15 juillet 2011).

Les offres qui sont introduites par des moyens électroniques, peuvent être envoyées via le site internet e-tendering https://eten.publicprocurement.be/ qui garantit le respect des conditions de l’article 52 de l’AR du 15 juillet 2011.

Vu que l’envoi d’une offre par e-mail ne correspond pas aux conditions de l’article 52 de l’AR du 15 juillet 2011, il n’est pas admis d’introduire une offre de cette manière.

Si nécessaire, les attestations demandées comme documents du marché, sont scannées en PDF, afin de les joindre à l’offre. Certains documents à joindre qui ne peuvent pas être produits ou qui peuvent être difficilement produits par des moyens électroniques, peuvent être délivrés sur papier avant la date limite de réception.

En introduisant son offre entièrement ou partiellement via des moyens électroniques, le soumissionnaire accepte que les données qui résultent du fonctionnement du système de réception de son offre, soient enregistrées.

Plus d'informations peuvent être obtenues sur le site : http://www.publicprocurement.be ou via le numéro de téléphone du helpdesk du service e-procurement : +32 (0)2 790 52 00.

A5.1.2. Offres non introduites par des moyens électroniques

Les offres qui sont introduites sur papier et les offres qui sont libellées par des moyens électroniques mais qui ne sont pas introduites par ces moyens, sont glissées dans une enveloppe fermée. Sur cette enveloppe, il y a lieu d’indiquer les mentions suivantes:

- le numéro du cahier spécial des charges: S4/2014/01;


10

- la date et l’heure de la séance d’ouverture des offres 06/01/2015, à 14:30h.

Cette enveloppe est glissée dans une deuxième enveloppe portant les mentions suivantes:

- la phrase «offre, à n’ouvrir que pendant la scéance d’ouverture des offres» dans le coin supérieur gauche;

- le numéro du cahier spécial des charges: S4/2014/01

- l’adresse du destinataire comme indiqué ci-dessous.

Les offres sont envoyées via un service postal à ou déposées personnellement auprès de:

- Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement;

- A l’attention du Service Evaluation spéciale SES – S4;

- Rue des Petits Carmes, 15 ;

- 1000 Bruxelles.

Elles sont déposées en 1 exemplaire original et doivent être rédigées suivant le formulaire d’offre joint au présent cahier spécial des charges.

Au cas où les offres sont déposées personnellement, le soumissionnaire a le droit de demander un accusé de réception.

A5.1.3. Modification ou retrait d’une offre déjà introduite

Lorsqu’un soumissionnaire souhaite modifier ou retirer une offre déjà envoyée ou introduite, ceci doit se dérouler conformément aux dispositions de l’article 91 de l’Arrêté royal du 15 juillet 2011. La modification ou le retrait d’une offre déjà introduite est possible via des moyens électroniques qui satisfont au prescrit de l’article 52, §1 de l’AR du 15 juillet 2011, ou sur papier.

Afin de modifier ou de retirer une offre déjà envoyée ou introduite, une déclaration écrite est exigée, correctement signée par le soumissionnaire ou par son mandataire. L’objet et la portée des modifications doivent être mentionnés de façon précise. Le retrait doit être inconditionnel.

Le retrait peut également être communiqué par téléfax, ou via un moyen électronique qui n’est pas conforme à l’article 52, § 1 de l’AR du 15 juillet 2011, pour autant que :

1° ce retrait parvienne au président de la séance d’ouverture des offres avant qu’il ouvre la séance ;

2° et qu’il soit confirmé par lettre recommandée déposée à la poste au plus tard le jour avant la séance d’ouverture.

Remarque: Le pouvoir adjudicateur n’a pas de préférence sur le mode d’introduction des offre. Ce choix appartient au soumissionnaire et n’aura en aucun façon de l’influence sur l’analyse et l’évaluation de l’offre.

A5.2. Ouverture des offres

La séance d’ouverture des offres aura lieu au 24A , rue des Petits Carmes, 1000 Bruxelles, local 213, le 06/01/2015 à 14:30h.

Chaque offre doit parvenir au président de la séance avant qu’il déclare la séance ouverte.


11

Tout envoi au pouvoir adjudicateur, par la poste, par courrier express ou déposé à la réception des divers bâtiments du SPF, doit, pour des raisons de sécurité, être passé au détecteur. Cette procédure, ainsi que le transfert de l'envoi jusqu'au président de la séance d'ouverture des offres peut prendre un temps non négligeable. Cette procédure n'est évitable que par la remise en mains propres de l'offre aux personnes de contacts mentionnée au point A3 ci-dessus ou au président de la séance d'ouverture des offres, juste avant que cette séance ne soit déclarée ouverte.

L'attention des soumissionnaires est attirée sur le fait que seules les offres qui parviennent au président de la séance avant qu’il déclare la séance ouverte, peuvent être acceptées.

Toutefois, une offre tardive est acceptée pour autant que le pouvoir adjudicateur n’ait pas encore conclu le marché et que l’offre ait été envoyée sous pli recommandé au plus tard quatre jours calendrier avant la date de la séance d’ouverture.

A6. Service dirigeant – fonctionnaire dirigeant

Le service dirigeant est le pouvoir adjudicateur. Seul le pouvoir adjudicateur est compétent pour la surveillance du marché ainsi que pour son contrôle.

Le fonctionnaire dirigeant (qui sera un fonctionnaire du pouvoir adjudicateur) sera désigné dans la notification de la conclusion du marché1. Les limites de sa compétence y seront indiquées.

A7. Description des services à prester

Les services à prester sont décrits de façon détaillée dans la partie B "prescriptions techniques", du présent cahier spécial des charges, et porte sur les phases 3 et 4 décrites aux points B6.3 et B6.4.

A8. Documents régissant le marché

A8.1. Législation

- La loi du 15 juin 2006 relative aux marchés publics et à certains marchés de travaux, de fournitures et de services

- Loi du 17 juin 2013 relative à la motivation, à l’information et aux voies de recours en matière de marchés publics et de certains marchés de travaux, de fournitures et de services

- L’arrêté royal du 15 juillet 2011 - arrêté royal relatif à la passation des marchés publics dans les secteurs classiques

- L’arrêté royal du 14 janvier 2013 - arrêté royal établissant les règles générales d'exécution des marchés publics et des concessions de travaux publics

- Toutes les modifications à la loi et aux arrêtés précités, en vigueur au jour de la publication de l’avis de marché au Bulletin des Adjudications.

A8.2. Documents régissant le marché

- La lettre de notification du marché. 1 Il a consciemment été choisi de ne pas mentionner l’identité de cette personne dans le cahier spécial des charges, et ce, afin de donner la liberté au pouvoir adjudicateur de ne désigner cette personne qu’au dernier moment.


12

- Le formulaire d’offre

- Le présent cahier spécial des charges n° S4/2014/01.

- L’offre approuvée de l’adjudicataire.

A9. Offres

A9.1. Données à mentionner dans l’offre.

L’attention des soumissionnaires est attirée sur l’article 8 de la loi du 15 juin 2006 et sur l’article 64 de l’arrêté royal du 15 juillet 2011 relatif aux incompatibilités.

Il est fortement recommandé au soumissionnaire d’utiliser le formulaire d’offre joint en annexe. Dans cette optique, l’attention du soumissionnaire est attirée sur l’article 80 de l’arrêté royal du 15 juillet 2011, qui stipule: “Lorsqu’aux documents du marché est joint un formulaire destiné à établir l’offre et à compléter le métré récapitulatif ou l’inventaire, le soumissionnaire en fait usage. A défaut d’utiliser ce formulaire, il supporte l’entière responsabilité de la parfaite concordance entre les documents qu’il a utilisés et le formulaire.”.

L’offre et les annexes jointes au formulaire d’offre sont rédigées en français ou en néerlandais. Les offres contenant des sections dans les différentes langues précitées sont également admises.

Par le dépôt de son offre, le soumissionnaire renonce automatiquement à ses conditions générales ou particulières de vente, même si celles-ci sont mentionnées dans l’une ou l’autre annexe à son offre.

Le soumissionnaire indique clairement dans son offre quelle information est confidentielle et/ou se rapporte à des secrets techniques ou commerciaux et ne peut donc pas être divulguée par le pouvoir adjudicateur.

Les renseignements suivants seront mentionnés dans l’offre :

- le prix global en lettres et en chiffres (hors TVA);

- le montant de la TVA;

- le montant total de l’offre en lettres et en chiffres (TVA incluse)

- la signature de la personne ayant mandat pour signer l’offre;

- la qualité de la personne qui signe l’offre ;

- la date à laquelle la personne précitée a signé l’offre ;

- le numéro d’immatriculation complet du soumissionnaire auprès de la Banque Carrefour des Entreprises (pour les soumissionnaires belges)

- L’offre technique et financière telle que détaillée dans la partie C (fiche de renseignements) du présent cahier des charges

A9.2. Durée de validité de l’offre.

Les soumissionnaires restent liés par leur offre pendant un délai de 100 jours calendrier, à compter du jour qui suit celui de l’ouverture des offres.


13

A9.3. Documents et attestations à joindre à l’offre

Les soumissionnaires joignent à leur offre tous les documents demandés dans le cadre des critères de sélection et des critères d’attribution (voir rubrique A12 ci-après)

A10. Prix

10.1. Prix.

Tous les prix mentionnés dans le formulaire d’offre doivent être obligatoirement libellés en EURO.

Le présent marché est un marché à prix global, ce qui signifie que le prix global est forfaitaire.

Le prestataire de services est censé avoir inclus dans son prix global tous les frais possibles grevant les services, et notamment, mais pas exclusivement,

- le salaire des consultants (internationaux et locaux) ;

- les déplacements des consultants pour les réunions à Bruxelles ;

- les indemnités journalières forfaitaires des consultants (internationaux et locaux) pour les missions de terrain ;

- les indemnités couvrant les frais de logement pendant les missions de terrain.

- les frais de déplacement internationaux pour les missions de terrain ;

- Les frais de déplacement locaux (vols intérieurs, train, taxis, location de véhicules avec chauffeur et assurances,….);

- les frais liés aux entrevues, focus group, contacts avec les bénéficiaires… ;

- les frais de traduction ;

- les frais de communication ;

- les frais de duplication et d’impression, des supports électroniques ;

- les frais d’organisation des séances de débriefing dans les pays où il y aura des missions de terrain.

Ne sont expressément pas compris dans le prix :

- la TVA ;

- les frais suivants de réunion à Bruxelles : salles de réunion pour les comités d’accompagnement, petite restauration et traducteurs-interprètes pour le séminaire de restitution à Bruxelles. Ces frais seront portés par le pouvoir adjudicateur.

- Les frais de déplacements des représentants du pouvoir adjudicateur vers les pays désignés pour les missions de terrain.

- Les frais de déplacements inter villes locaux par train ou avion des représentants du pouvoir adjudicateur pendant les missions de terrain.

- Les frais de subsistance journalière (per diem) des représentants du pouvoir adjudicateur pendant leurs missions;

- Les frais de logement des représentants du pouvoir adjudicateur pendant leurs missions.


14

A10.2. Révision de prix

Pour le présent marché, aucune révision de prix ne sera appliquée.

A11. Responsabilité du soumissionnaire

Le prestataire de services assume la pleine responsabilité des fautes et manquements présentés dans les services fournis.

Par ailleurs, le prestataire de services garantit le pouvoir adjudicateur des dommages et intérêts dont celui-ci est redevable à des tiers du fait du retard dans l’exécution des services ou de la défaillance du prestataire de services.

A12. Critères de sélection – Régularité des offres – Critères d’attribution.

A12.1. Critères de sélection

Les soumissionnaires sont évalués sur la base des critères de sélection repris ci-après.

Seules les offres des soumissionnaires qui satisfont aux critères de sélection sont prises en considération pour participer à la comparaison des offres sur la base des critères d’attribution repris au point A12.3 du présent cahier spécial des charges, dans la mesure où ces offres sont régulières sur le plan formel et matériel.

A12.1.1. Critères d’exclusion

Par le dépôt de son offre, le soumissionnaire atteste qu’il ne se trouve pas dans un des cas d’exclusion figurant ci-dessous. Le pouvoir adjudicateur vérifiera l’exactitude de cette déclaration sur l’honneur implicite dans le chef du soumissionnaire dont l’offre est la mieux classée. A cette fin, il demandera au soumissionnaire concerné par les moyens les plus rapides, et dans le délai qu’il détermine, de fournir les renseignements ou documents permettant de vérifier sa situation personnelle. Le pouvoir adjudicateur demandera lui-même les renseignements ou documents qu’il peut obtenir gratuitement par des moyens électroniques auprès des services qui en sont gestionnaires.

Premier critère d’exclusion

- §.1. Le soumissionnaire belge qui emploie du personnel assujetti à la loi du 27 juin 1969 révisant l’arrêté-loi du 28 décembre 1944 concernant la sécurité sociale des travailleurs, doit être en ordre en ce qui concerne ses obligations vis-à-vis de l’Office national de Sécurité sociale. Il est considéré comme étant en ordre en ce qui concerne les obligations précitées, s’il apparaît, qu’au plus tard la veille de la date limite de réception des offres, il :

1° a transmis à l’Office national de Sécurité sociale toutes les déclarations requises jusque et y compris celles relatives à l’avant-dernier trimestre civil écoulé par rapport à la date limite de réception des offres et

2° n’a pas pour ces déclarations une dette en cotisations supérieure à 3000 EUROS, à moins qu’il n’ait obtenu pour cette dette des délais de paiement qu’il respecte strictement. Toutefois, même si la dette en cotisations est supérieure à 3000 EURO, le soumissionnaire sera considéré comme étant en règle, s’il établit, avant la décision d’attribuer le marché, qu’il possède, à la fin du trimestre civil visé à l’alinéa 2, à l’égard d’un pouvoir adjudicateur au sens de l’article 2, 1°, de la loi du 15 juin 2006 ou d’une entreprise publique au sens de l’article 2, 2°, de la loi du 15 juin


15

2006, une ou des créances certaines, exigibles et libres de tout engagement à l’égard de tiers pour un montant au moins égal, à 3.000 euros près, à celui pour lequel il est en retard de paiement de cotisations.

- § 2. Le soumissionnaire étranger doit, au plus tard la veille de la date limite de réception des offres :

1° être en règle avec ses obligations relatives au paiement des cotisations de sécurité sociale selon les dispositions légales du pays où il est établi.

2° être en ordre avec les dispositions du § 1er, s’il emploie du personnel assujetti à la loi du 27 juin 1969 révisant l’arrêté-loi du 28 décembre 1944 concernant la sécurité sociale des travailleurs.

- §.3. A quelque stade de la procédure que ce soit, le pouvoir adjudicateur peut s’informer, par tous moyens qu’il juge utiles, de la situation en matière de paiement des cotisations de sécurité sociale de tout soumissionnaire.

Deuxième critère d’exclusion

Conformément à l’article 20 de la loi du 15 juin 2006 et l’article 61, § 1 de l’arrêté royal du 15 juillet 2011, est exclu de l’accès au marché, à quelque stade que ce soit de la procédure, le soumissionnaire qui a fait l’objet d’une condamnation prononcée par une décision judiciaire ayant force de chose jugée dont le pouvoir adjudicateur a connaissance pour:

1° participation à une organisation criminelle telle que définie à l’article 324bis du Code pénal;

2° corruption, telle que définie à l’article 246 du Code pénal ;

3° fraude au sens de l’article 1er de la convention relative à la protection des intérêts financiers des communautés européennes, approuvée par la loi du 17 février 2002 ;

4° blanchiment de capitaux tel que défini à l’article 3 de la loi du 11 janvier 1993 relative à la prévention de l’utilisation du système financier aux fins du blanchiment de capitaux et du financement du terrorisme.

En vue de l’application du présent paragraphe, le pouvoir adjudicateur a le droit de demander aux soumissionnaires de fournir les renseignements ou documents nécessaires. Lorsqu’il a des doutes sur la situation personnelle de ces candidats ou soumissionnaires, il peut s’adresser aux autorités compétentes belges ou étrangères pour obtenir les informations qu’il estime nécessaires à ce propos.

Troisième critère d’exclusion

Conformément à l’article 20 de la loi et à l’article 61, § 2, 1° et 2° de l’arrêté royal du 15 juillet 2011 , peut être exclu de l’accès au marché, à quelque stade que ce soit de la procédure, le soumissionnaire:

1° qui est en état de faillite ou de liquidation, de cessation d’activités de réorganisation judiciaire ou dans toute situation analogue résultant d’une procédure de même nature existant dans d’autres réglementations nationales;

2° qui a fait l’aveu de sa faillite ou fait l’objet d’une procédure de liquidation, de réorganisation judiciaire ou de toute autre procédure de même nature existant dans d’autres réglementations nationales.

Quatrième critère d‘exclusion.

Sera exclu de la participation au marché public, le soumissionnaire qui a fait l’objet d’une condamnation prononcée par une décision judiciaire ayant force de chose jugée pour tout délit affectant sa moralité professionnelle.


16

Cinquième critère d’exclusion.

Le soumissionnaire ne peut pas, en matière professionnelle, avoir commis une faute grave, constatée par tout moyen dont le pouvoir adjudicateur pourra justifier.

En outre, le soumissionnaire, par la signature de son offre, s’engage à respecter les normes définies dans les conventions de base de l’Organisation internationale du Travail (OIT) et, en particulier:

1° L’interdiction du travail forcé (conventions n° 29 concernant le travail forcé ou obligatoire, 1930, et n° 105 sur l’abolition du travail forcé, 1957);

2° Le droit à la liberté syndicale (convention n° 87 sur la liberté syndicale et la protection du droit syndical, 1948);

3° Le droit d’organisation et de négociation collective (convention n° 98 sur le droit d’organisation et de négociation collective, 1949);

4° L’interdiction de toute discrimination en matière de travail et de rémunération (conventions n° 100 sur l’égalité de rémunération, 1951 et n° 111 concernant la discrimination (emploi et profession), 1958);

5° L’âge minimum fixé pour le travail des enfants (convention n° 138 sur l’âge minimum, 1973), ainsi que l’interdiction des pires formes du travail des enfants (convention n° 182 sur les pires formes du travail des enfants, 1999).

Le non-respect des conventions susmentionnées sera donc considéré comme faute grave en matière professionnelle au sens de l’article 61, §2, 4° de l’AR du 15 juillet 2006. Les dispositions qui précèdent s’appliquent sans préjudice des autres dispositions reprises à l’article 61 de l’arrêté précité.

Sixième critère d’exclusion

Le soumissionnaire doit être en règle avec ses obligations relatives au paiement de ses impôts et taxes selon la législation belge ou celle du pays dans lequel il est établi, conformément aux dispositions de l’article 63 de l’AR du 15 juillet 2011.

Septième critère d’exclusion

Sera exclu de la participation au marché public, le soumissionnaire qui s’est rendu gravement coupable de fausses déclarations en fournissant des renseignements exigibles en application du présent chapitre ou qui n’a pas fourni ces renseignements.

Huitième critère d’exclusion

Sera exclu de la participation au marché public, le soumissionnaire qui aurait par le passé gravement failli aux engagements particuliers mentionnés au point A18.

A12.1.2. Critères de sélection relatifs aux moyens financiers du soumissionnaire

Le soumissionnaire joindra à son offre une déclaration relative au chiffre d’affaire total réalisé pendant les trois derniers exercices, à moins que le chiffre d’affaires total soit mentionné dans les comptes annuels approuvés qui peuvent être consultés via le guichet électronique (il s’agit des comptes annuels libellés selon le schéma comptable complet, ou selon le schéma comptable raccourci dans lesquels la mention facultative du chiffre d’affaires total réalisé, a été complétée).


17

Le soumissionnaire joindra à son offre une déclaration relative au chiffre d’affaires relatif aux activités d’étude et d'évaluation en matière de coopération au développement réalisées pendant les trois derniers exercices.

Le soumissionnaire doit également prouver sa solvabilité financière.

Cette capacité financière sera jugée sur base des comptes annuels approuvés des trois dernières années déposés auprès de la Banque nationale de Belgique. Les soumissionnaires qui ont déposé les comptes annuels approuvés auprès de la Banque nationale de Belgique, ne sont pas tenus de les joindre à leur offre, étant donné que le pouvoir adjudicateur est à même de les consulter via le guichet électronique de l’autorité fédérale.

Les soumissionnaires qui n’ont pas déposé les comptes annuels approuvés des trois dernières années comptables auprès de la Banque Nationale de Belgique, sont tenus de les joindre à leur offre. Cette obligation vaut également pour les comptes annuels approuvés récemment et qui n’ont pas encore été déposés auprès de la Banque nationale de Belgique, parce que le délai légal accordé pour le dépôt de ceux-ci n’est pas encore échu. Pour les entreprises individuelles, il convient de faire rédiger un document reprenant tous les actifs et tous les passifs par un comptable IEC ou un réviseur d’entreprise. Ce document doit être certifié conforme par un comptable IEC agréé ou par le réviseur d’entreprise, selon le cas. Le document doit refléter une situation financière récente (datant de 6 mois au maximum, à compter de la date d’ouverture des offres). Au cas où l’entreprise n’a pas encore publié de compte annuel, un bilan intermédiaire certifié conforme par le comptable IEC ou par le réviseur d’entreprise suffit.

Les entreprises étrangères doivent joindre également à leur offre les comptes annuels approuvés des trois dernières années ou un document reprenant tous les actifs et tous les passifs de l’entreprise. Au cas où l’entreprise n’a pas encore publié de compte annuel, un bilan intermédiaire certifié conforme par le comptable ou par le réviseur d’entreprise ou par la personne ou l’organisme qui exerce ce type de fonction dans le pays concerné suffit.

A12.1.3. Critères de sélection se rapportant à la compétence technique du

soumissionnaire

Premier critère relatif à la capacité technique du soumissionnaire :

Le soumissionnaire doit disposer ou pouvoir disposer de spécialistes en identification, formulation, suivi et évaluation d’interventions de coopération, en particulier de personnes qui seront responsables pour le contrôle de la qualité. Lors de l’appréciation de la compétence technique, seuls les spécialistes qui constitueront une plus-value dans le cadre du marché qui fait l’objet du présent cahier spécial des charges, seront pris en compte.

Deuxième critère relatif à la capacité technique du soumissionnaire

Le soumissionnaire joint à son offre un relevé reprenant les noms des consultants qui appartiennent ou non à l’entreprise et qui seront chargés de l’exécution du marché ou du contrôle de la qualité.

En ce qui concerne les qualités techniques des consultants, le soumissionnaire joindra leurs curriculum vitae détaillés (diplôme, qualifications professionnelles et expérience) ; en outre,

- Le CV des consultants proposés doit clairement indiquer pour quelles actions financées par la DGCD, ils ont éventuellement participé à la préparation, à la mise en œuvre ou à une évaluation antérieure.

- Le CV des consultants individuels doit démontrer que les compétences linguistiques cumulées de l'équipe de consultants lui permettent de travailler en néerlandais, en français, et en anglais.


18

Troisième critère relatif à la capacité technique du soumissionnaire

Le soumissionnaire joindra à son offre une liste établissant, pour chacune des études pertinentes / évaluations en matière de coopération au développement effectuées au cours des cinq dernières années ou en cours d'exécution par le soumissionnaire, les renseignements suivants, selon le canevas suivant:

- titre du rapport final

- pays ou région auquel l’étude / l'évaluation se rapporte

- le type d’étude ou d'évaluation (ex-ante, en cours, finale ou ex-post)

- l'objet, le secteur ou le thème de l’étude / de l'évaluation

- la composition de l'équipe de consultants

- le commanditaire du marché

- le nombre total de jours consacrés aux activités

- le nombre total de jours consacrés aux activités de terrain

- la date de dépôt du rapport final.

Le pouvoir adjudicateur doit pouvoir consulter les rapports mentionnés sur cette liste. A cette fin la liste mentionnera où les rapports sont publiés et/ou où le pouvoir adjudicateur peut trouver les documents.

A12.2. Régularité des offres

Les offres des soumissionnaires sélectionnés seront examinées du point de vue de leur régularité.

Les offres irrégulières seront exclues.

Seules les offres régulières seront prises en considération pour être confrontées aux critères d’attribution.

A12.3. Critères d’attribution

Pour le choix de l’offre la plus intéressante d’un point de vue économique, les offres régulières des soumissionnaires sélectionnés seront confrontées à une série de critères d’attribution.

Ces critères seront pondérés afin d’obtenir un classement final.

A12.3.1. Liste des critères d’attribution

Les critères d’attribution, par ordre décroissant d’importance, sont les suivants :

- Offre technique : 60 %;

- Offre financière 40 %;


19

A12.3.2. Cotation finale

Pour l’offre technique, le soumissionnaire devra obtenir 60 % des points afférents à ce critère. A défaut, l'offre sera écartée.

Les cotations pour les 2 critères d’attribution seront additionnées. Le marché sera attribué au soumissionnaire qui obtient la cotation finale la plus élevée, après que le pouvoir adjudicateur aura vérifié, à l’égard de ce soumissionnaire, l’exactitude de la déclaration implicite sur l’honneur et à condition que le contrôle ait démontré que la déclaration implicite sur l’honneur correspond à la réalité.

L’évaluation des critères d’attribution se fera comme suit :

1. L’offre technique (60%) sera évaluée sur base de :

- Approche méthodologique ; essentiellement manière dont les consultants envisage le questionnement mentionné en B6.3 et le traitement des réponses : 10%.

- Approche proposée pour l’organisation pratique de l’étude (chronogramme indicatif de la phase de terrain et de la phase de restitution, répartition de l’expertise (y compris mixité et connaissance des langues au sein de l’équipe), contrôle de qualité et backup) : 10 %.

- Qualification et expérience du Team Leader ou de l’équipe dirigeante proposé pour l’étude, en suivi et évaluation d’interventions de coopération, en gestion d’équipe, en direction de projet et avec la coopération belge : 15%.

- Qualification et expérience des autres consultants en suivi et évaluation d’interventions de coopération : 15%.

- Qualification et expérience des consultants (y compris du team Leader) dans les pays où se situent les interventions (RDCongo, Rwanda, Bénin) : 10%.

2. L’offre financière (40%) sera évaluée sur base de :

- Prix forfaitaire global : 20% : La note (NPX) pour le prix d'une offre X sera calculée de la manière suivante: NPX=20 x (prix de l'offre la plus basse)/(prix de l'offre X).

- Prix moyen d’une journée de service : 20% : La note (NPMX) pour le prix moyen d’une journée de service de l’offre X sera calculée de la manière suivante : NPMX = 20 x (Prix moyen le plus bas)/(prix moyen de l’offre X).

Le prix moyen sera calculé en divisant le prix forfaitaire global mentionné dans l’offre par le nombre de jours de service proposés.

A13. Cautionnement

Le cautionnement est fixé à 5 % du montant total, hors TVA, du marché. Le montant ainsi obtenu est arrondi à la dizaine d’euro supérieure.

Le cautionnement peut être constitué conformément aux dispositions légales et réglementaires, soit en numéraire, ou en fonds publics, soit sous forme de cautionnement collectif.

Le cautionnement peut également être constitué par une garantie accordée par un établissement de crédit satisfaisant au prescrit de la législation relative au statut et au contrôle des établissements de crédit ou par une entreprise d'assurances satisfaisant au prescrit de la législation relative au contrôle des entreprises d'assurances et agréée pour la branche 15 (caution).


20

L’adjudicataire doit, dans les trente jours de calendrier suivant le jour de la conclusion du marché, justifier la constitution du cautionnement par lui-même ou par un tiers, de l’une des façons suivantes :

1° lorsqu’il s’agit de numéraire, par le virement du montant au numéro de compte du Postchèque de la Caisse des Dépôts et Consignations [compte bpost banque n° BE58 6792 0040 9979 (IBAN), PCHQBEBB (BIC)] ou d’un organisme public remplissant une fonction similaire à celle de ladite Caisse, ci-après dénommé organisme public remplissant une fonction similaire ;

2° lorsqu’il s’agit de fonds publics, par le dépôt de ceux-ci entre les mains du caissier de l’Etat au siège de la Banque nationale à Bruxelles ou dans l’une de ses agences en province, pour compte de la Caisse des Dépôts et Consignations, ou d’un organisme public remplissant une fonction similaire ;

3° lorsqu’il s’agit d’un cautionnement collectif, par le dépôt par une société exerçant légalement cette activité, d’un acte de caution solidaire auprès de la Caisse des Dépôts et Consignations ou d’un organisme public remplissant une fonction similaire;

4° lorsqu’il s’agit d’une garantie, par l’acte d’engagement de l’établissement de crédit ou de l’entreprise d’assurances.

Cette justification se donne, selon le cas, par la production au pouvoir adjudicateur :

1° soit du récépissé de dépôt de la Caisse des Dépôts et Consignations ou d’un organisme public remplissant une fonction similaire ;

2° soit d’un avis de débit remis par l’établissement de crédit ou l’entreprise d’assurances;

3° soit de la reconnaissance de dépôt délivrée par le caissier de l’Etat ou par un organisme public remplissant une fonction similaire ;

4° soit de l’original de l’acte de caution solidaire visé par la Caisse des Dépôts et Consignations ou par un organisme public remplissant une fonction similaire ;

5° soit de l’original de l’acte d’engagement établi par l’établissement de crédit ou l’entreprise d’assurances accordant une garantie.

Ces documents, signés par le déposant, indiquent au profit de qui le cautionnement est constitué, son affectation précise par l’indication sommaire de l’objet du marché et de la référence des documents du marché, ainsi que le nom, le prénom et l’adresse complète de l’adjudicataire et éventuellement, du tiers qui a effectué le dépôt pour compte, avec la mention “bailleur de fonds” ou “mandataire”, suivant le cas.

Le délai de trente jours de calendrier visé ci-avant est suspendu pendant la période de fermeture de l’entreprise de l’adjudicataire pour les jours de vacances annuelles payées et les jours de repos compensatoire prévus par voie réglementaire ou dans une convention collective de travail rendue obligatoire.

La preuve de la constitution du cautionnement doit être envoyée à l’adresse qui sera mentionnée dans la notification de la conclusion du marché.

Le cautionnement sera libéré en une fois après réception définitive et acceptation de tous les services exécutés sur base du présent cahier spécial des charges et autres documents contractuels.

A14. Suivi et réception des services

Les services seront suivis de près pendant leur exécution par un comité d’accompagnement dont le rôle et la composition est mentionnée au point B7.3 du présent cahier spécial des


21

charges. Il est prévu que le comité d’accompagnement se réunisse au siège du pouvoir adjudicateur, en présence du prestataire de service. En tant que service dirigeant, le Service de l’Evaluation spéciale (S4) du SPF Affaires étrangères, Commerce extérieur et Coopération au Développement sera responsable pour la réception des services.

Un délégué du pouvoir adjudicateur sera désigné au moment où débutera l’exécution des services pour faciliter les contacts avec le prestataire de services.

Les missions de terrain pourront également être suivies de près pendant leur exécution par un délégué du pouvoir adjudicateur. L’identité de ce délégué sera communiquée au prestataire de services en temps utiles. Le prestataire de service devra assurer le transport local terrestre de ce délégué (une place dans le véhicule pour le délégué et pour ses bagages), ainsi que les coûts liés à ce transport.

A15. Exécution des services

A15.1. Délais et clauses.

A15.1.1 Délais

Les services doivent être exécutés dans un délai de 6 mois à compter du jour qui suit celui où le prestataire de services a reçu la notification de la conclusion du marché. Les jours de fermeture de l’entreprise du prestataire de services pour les vacances annuelles ainsi que les périodes d’interruption des services2 effectuées à la demande du Service dirigeant ne sont pas inclus dans le calcul.

La notification du marché est adressée au prestataire de services par envoi recommandé avec accusé de réception.

Les échanges de correspondance subséquents relatifs à la notification du marché et à l’exécution des services suivent les mêmes règles que celles prévues pour l’envoi de la notification du marché chaque fois qu’une partie désire se ménager la preuve de son intervention.

En cas de libellé manifestement incorrect ou incomplet de la notification du marché empêchant toute exécution du marché, le prestataire de services en avise immédiatement par écrit le service commandeur afin qu’une solution soit trouvée pour permettre l’exécution normale du marché. Si nécessaire, le prestataire de services sollicite une prorogation du délai de l’exécution des services.

En tout état de cause, les réclamations relatives à la notification du marché ne sont plus recevables si elles ne sont pas introduites dans les 15 jours calendaires à compter à partir du premier jour qui suit celui où le prestataire de services a reçu la lettre de notification du marché.

A15.1.2. Clause d’exécution

Le soumissionnaire s’engage, jusqu’à la complète exécution du marché, à respecter les 8 conventions de base de l’OIT, en particulier :

1. L’interdiction du travail forcé (conventions n° 29 concernant le travail forcé ou obligatoire, 1930, et n° 105 sur l’abolition du travail forcé, 1957) ;

2 Par exemple : la période entre la remise d’un rapport provisoire et la réunion du comité d’accompagnement statuant sur ledit rapport.


22

2. Le droit à la liberté syndicale (convention n° 87 sur la liberté syndicale et la protection du droit syndical, 1948) ;

3. Le droit d’organisation et de négociation collective (convention n° 98 sur le droit d’organisation et de négociation collective, 1949) ;

4. L’interdiction de toute discrimination en matière de travail et de rémunération (conventions n° 100 sur l’égalité de rémunération, 1951 et n° 111 concernant la discrimination (emploi et profession), 1958) ;

5. L’âge minimum fixé pour le travail des enfants (convention n° 138 sur l’âge minimum, 1973), ainsi que l’interdiction des pires formes du travail des enfants (convention n° 182 sur les pires formes du travail des enfants, 1999).

En vertu de l’article 44, § 1, 1° de l’arrêté royal du 14 janvier 2013, le non-respect de cet engagement sera considéré comme une non-exécution du marché suivant les prescriptions fixées dans les documents du marché, ce qui donnera lieu à la mise en demeure de l’adjudicataire, et pourra, en vertu de l’article 47, § 2, 1° de l’arrêté royal du 14 janvier 2013, donner lieu à l’application des mesures d’office, en particulier à la résiliation unilatérale du marché.

A15.2. Lieu où les services doivent être exécutés et formalités

A15.2.1. Lieu où les services doivent être exécutés

Les services seront exécutés :

- à l’adresse du prestataire de service,

- au siège du pouvoir adjudicateur sis à Bruxelles, Belgique,

- chez les différentes personnes ressources/institutions mentionnées dans les termes de référence,

- en RDCongo, au Rwanda et au Bénin.

A15.2.2. Evaluation des services exécutés.

Si pendant l’exécution des services, des anomalies sont constatées, ceci sera immédiatement notifié à l’adjudicataire par un fax ou par un message e-mail, qui sera confirmé par la suite au moyen d’ une lettre recommandée. L’adjudicataire est tenu de recommencer les services exécutés de manière non conforme.

Au moment où les services auront été exécutés, on procédera à l’évaluation de la qualité et de la conformité des services exécutés. Un procès-verbal de cette évaluation sera établi, dont l’exemplaire original sera transmis au prestataire de services. Les services qui n’auront pas été exécutés de manière correcte ou conforme au cahier spécial des charges devront être recommencés.

A16. Facturation et paiement des services

Le prix global forfaitaire mentionné au point A10.1 (+ TVA) sera payable sur réception de factures introduites à raison de:

a) 30% du forfait à la fin des missions de terrain au dépôt des rapports des restitutions locales auprès du pouvoir adjudicateur;


23

b) 30% du forfait à la fin au dépôt du rapport final provisoire auprès du pouvoir adjudicateur;

c) 40% du forfait après approbation des rapports définitifs de l'étude par le pouvoir adjudicateur et après que tous les services aient été rendus.

Le prestataire de services envoie les factures (en un seul exemplaire), à l’adresse suivante :

SPF Affaires étrangères, Commerce extérieur et Coopération au développement

Direction d’encadrement budget et contrôle de gesti on ; service B&B1

15, rue des Petits Carmes

B - 1000 Bruxelles

Les factures doivent obligatoirement porter la mention du service gestionnaire comme suit : Service gestionnaire : Evaluation spéciale (S4)

Seuls les services qui sont exécutés de manière correcte, et qui ont reçu un avis positif du comité d’accompagnement, pourront être facturés. Les factures doivent être libellées en EUROS.

Le pouvoir adjudicateur dispose d'un délai de vérification de trente jours à compter de la date de la fin des services, constatée conformément aux modalités fixées dans les documents du marché, pour procéder aux formalités de réception et en notifier le résultat au prestataire de services.

Le paiement du montant dû au prestataire de services doit intervenir dans le délai de paiement de trente jours à compter de l'échéance du délai de vérification ou à compter du lendemain du dernier jour du délai de vérification si ce délai est inférieur à 30 jours.

Lorsque les documents du marché ne prévoient pas une déclaration de créance séparée, la facture vaut déclaration de créance.

A17. Avis de marché et rectificatifs

Les avis de marché et rectificatifs annoncés ou publiés au Bulletin des Adjudications ou au Journal officiel de l’Union européenne qui ont trait aux marchés en général, ainsi que les avis de marché et rectificatifs relatifs à ce marché, font partie intégrante du présent cahier spécial des charges. Le soumissionnaire est censé en avoir pris connaissance et en avoir tenu compte lors de l’établissement de son offre.

A18. Engagements particuliers pour le prestataire de services

Tous les résultats et rapports établis par le prestataire de services lors de l’exécution de ce marché, sont la propriété du pouvoir adjudicateur et ne peuvent être publiés ou communiqués à des tiers qu’avec l’autorisation écrite du pouvoir adjudicateur.

Le prestataire de services et ses collaborateurs sont liés par un devoir de réserve concernant les informations dont ils ont connaissance lors de l’exécution de ce marché. Ces informations ne peuvent en aucun cas être communiquées à des tiers sans l’autorisation écrite du pouvoir adjudicateur. Le prestataire de services peut toutefois faire mention de ce marché en tant que référence.

Le prestataire de services s’engage à faire exécuter le marché par les personnes indiquées dans l’offre, sauf cas de force majeure. Les personnes mentionnées ou leurs remplaçants sont tous censés participer effectivement et pour au moins le nombre de jours mentionnés


24

dans l’offre, à la réalisation du marché. Les remplaçants (en cas de force majeure uniquement) doivent faire l’objet d’une approbation écrite par le pouvoir adjudicateur. La preuve de la force majeure incombe au prestataire de service. Un remplacement qui ne s’effectue pas dans un cas de force majeure peut mener à la rupture du contrat entre le prestataire de service et le pouvoir adjudicateur.

Les services prévus dans les termes de référence et/ou dans l’offre du consultant qui ne pourraient être exécutés pour cause de force majeure ou par décision commune, soit feront l’objet d’une réutilisation convenue au préalable et de commun accord entre le pouvoir adjudicateur et le consultant, soit ne seront pas facturés.

A19. Litiges

Tous les litiges relatifs à l’exécution de ce marché sont exclusivement tranchés par les tribunaux compétents de l’arrondissement judiciaire de Bruxelles. La langue véhiculaire est le français ou le néerlandais.

Le pouvoir adjudicateur n’est en aucun cas responsable des dommages causés à des personnes ou à des biens qui sont la conséquence directe ou indirecte des activités nécessaires à l’exécution de ce marché. Le prestataire de services garantit le pouvoir adjudicateur contre toute action en dommages et intérêts par des tiers à cet égard.


25

B. Prescriptions techniques

B1. Introduction

B1.1. Définitions

L’évaluabilité d’une intervention de coopération est définie comme:

« mesure selon laquelle une activité ou un programme peut être évalué de façon fiable et crédible »3 ;

ou encore :

« un processus systématique qui permet d’identifier si l’évaluation d’une intervention est justifiée, faisable et susceptible de fournir des informations utiles. Elle ne montre pas seulement si l’évaluation d’une intervention a du sens mais aussi si la conduite de l’évaluation est susceptible de contribuer à l’amélioration de la gestion et des résultats de l’intervention.4 »

Pour les besoins de l’étude et conformément aux dispositions légales, les définitions, critères, principes et normes approuvés par les pays membres du CAD de l’OCDE et largement répandus au sein des agences de développement bilatérales et multilatérales contenues dans les documents suivants seront utilisées: - Principes du CAD pour l’évaluation de l’aide au développement, OCDE 1991 - Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats

; CAD-OCDE 2002 - Évaluer la Coopération pour le développement – récapitulatif des normes et standards de

référence ; deuxième édition, OCDE - Normes de qualité pour l’évaluation du développement ; OCDE 2010 - Méthodologie d’évaluation de l’aide extérieure de la Commission européenne

De l’ensemble de ces documents, il ressort clairement que pour être évaluable, une intervention doit permettre aux consultants extérieurs de se prononcer à tout moment du cycle d’intervention, de manière impartiale et indépendante, crédible et utile sur sa pertinence, son efficacité (atteinte des résultats immédiats, à court et à moyen terme), son efficience (value for money), sa durabilité et son impact.

B1.2. Contexte et raison d’être de l’étude

La pratique de l’évaluation poursuit le double objectif de rendre compte des résultats obtenus et de tirer des leçons du passé pour améliorer le processus de décision à l’avenir. Avant d’entamer une évaluation il convient donc de vérifier si les conditions sont réunies pour faire une évaluation de qualité, indépendante, crédible et utile. Il faut voir si les objectifs sont clairs, si la logique d’intervention tient la route et si un système est mis en place qui permette de collecter des données objectives avant, pendant et après l’intervention. L’évaluation étant aussi une partie intégrante du cycle d’une intervention, elle n’échappe pas à la volonté des autorités budgétaires de rationaliser au maximum l’usage des ressources

3 Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats ; CAD-OCDE 2002. 4 Evaluability Assessment : Examining the readiness of a Program for evaluation ; Juvenile Justice Evaluation Center ; Washington D.C.; 2003.


26

disponibles dans un contexte devenant par ailleurs de plus en plus exigeant. Ainsi, lorsqu’une évaluation est envisagée, les premières questions posées porte sur la nécessité, la faisabilité, l’utilité et le rapport coût / bénéfices de la démarche. Les faits suivants sont actés dans la littérature internationale sur le sujet (Wholey 1970, Dawkins 2010, Rueben 2012) et relèvent également de la lecture de rapports d’évaluation relatifs à des interventions financées par la Belgique : Depuis de nombreuses années, les équipes d’évaluateurs sont confrontées à de sérieuses limites qui réduisent, souvent indépendamment de leur volonté, la qualité de leurs rapports ; par exemple : - Les objectifs des interventions sont libellés en termes trop vagues. - Les objectifs définis ne sont pas libellés sous forme de résultats à atteindre mais se

limitent à énumérer des activités, la distribution de dons ou de ressources. - La logique d’intervention / théorie du changement manque de cohérence’. - La logique d’intervention est trop générale. - Les interventions et leurs objectifs ont été conçus sur papier et en chambre, sans tenir

compte des personnes impliquées et/ou sans tenir compte de la réalité du terrain. - L’échantillonnage n’est pas représentatif. - Il n’y a pas de données de départ (baseline data). - Les indicateurs ne sont pas clairement définis. - Les données ne sont pas désagrégées au niveau de la zone d’intervention. - Les résultats de l’intervention ne sont pas utilisés par manque d’appropriation ou par

mauvais ciblage des bénéficiaires potentiels. - Des interventions sensées être clôturées n’ont été mise en œuvre que (très) partiellement.

Au niveau belge, voici quelques phrases tirées de rapports de mission ou d’évaluation : - Etude baseline de qualité inacceptable - Propositions insuffisantes pour les mécanismes S&E - Inadaptation des indicateurs proposés - Analyse insuffisante des hypothèses et risques - Le rapportage annuel des résultats est un exercice dont l'appropriation reste limitée. - Tous les maillons du système de suivi & évaluation interne méritent plus d'attention. Un attaché de coopération écrivait encore récemment dans son rapport annuel : « Malgré des efforts consentis dans ce domaine, trop de projets et programmes se retrouvent encore sans baseline, avec des indicateurs insuffisamment SMART et avec une orientation de suivi-évaluation largement orientée sur les tâches, sur les résultats en amont, oubliant la finalité essentielle de nos activités: l’amélioration des conditions de vie des populations-cibles.» Idéalement5 l’évaluabilité d’une intervention devrait être considérée dès sa formulation et l’examen de l’évaluabilité faire partie intégrante du processus d’approbation des dossiers. Dans la pratique cependant : - Les considérations de cohérence et de qualité technique des dossiers techniques et

financiers de interventions de coopération ne sont pas toujours prioritaires. - La préparation des interventions dure si longtemps que l’on finit par céder aux pressions

pour commencer la mise en œuvre (alors que les conditions de démarrage ne sont pas réunies).

- Dans un contexte multi acteur et de décisions décentralisées les objectifs et stratégies des interventions peuvent être définis sur une période en début de projet (inception phase, année zéro,…)

- La conception des évaluations ainsi que les attentes relatives aux résultats des évaluations ne sont pas univoques.

5 Planning evaluability assessments ; DFID Working paper 40 ; 08/2013 ; point 2.10, page 9


27

B1.3. cadre légal et réglementaire

L’arrêté royal du 25 février 2010 portant création d’un service Evaluation spéciale de la Coopération internationale précise en son article 2, §1er, que «Le service Evaluation spéciale de la Coopération internationale est habilité à évaluer la coopération belge au Développement» ; et en son §2, que « … le Service Evaluation spéciale exécute ses tâches conformément aux principes et normes approuvés par les pays membres du CAD de l’OCDE. » Par ailleurs, la Loi du 19 mars 2013 relative à la coopération au développement stipule en son article 33 que le Roi détermine les modalités destinées à harmoniser et à certifier les systèmes d’évaluation des acteurs gouvernementaux et non gouvernementaux. L’exposé des motifs de la loi précise que « la certification vise une garantie de qualité qui sera confiée à l’Evaluateur spécial… ». L’arrêté royal du 25 avril 2014 modifiant l’arrêté royal du 25 février 2010 portant création d’un service ‘évaluation spéciale de la coopération internationale, confirme et précise ce mandat en son article 2/1. Le 3° de cet article mentionne que « le Service Evaluation spéciale est chargé d’évaluer ex-post la qualité des systèmes de suivi et d’évaluation harmonisés des acteurs de la coopération belge au développement ». Parallèlement, des dispositions visant à assurer le suivi et l’évaluation interne des actions et des résultats de la CTB et des acteurs indirects ont été inscrites respectivement dans l’AR portant assentiment du 4ème contrat de gestion, et dans l’Arrêté royal relatif aux cofinancement des acteurs non-gouvernementaux ainsi que dans la note stratégique ‘résultats de développement’.

B2. Objet de l’étude

L’objet de l’étude est l’évaluabilité des interventions, telle que définie en B1.1.

B3. Objectifs de l’étude

L’objectif de l’étude est triple : - Déterminer, avec les partenaires concernés, les conditions nécessaires, suffisantes et

réalistes pour permettre l’évaluation objective d’interventions de coopération; - Produire des enseignements utiles à l’harmonisation et la certification des systèmes

d’évaluation des acteurs décidées par le législateur ; et - Vérifier dans quelle mesure les conditions d’évaluabilité mentionnées ci-dessus coïncident

(ou non) avec les conditions nécessaires au suivi et à la gestion axée sur les résultats de développement des interventions et avec le cadre légal et réglementaire précités.

Sur le plan opérationnel, cette étude doit être utile : - Au Service de l’Evaluation spéciale pour lui permettre de déterminer et ensuite de suivre

l’application des mécanismes d’harmonisation prévus par la législation. L’application des méthodes d’évaluation harmonisées pourra progressivement être introduite dans les critères de certification également prévus par la législation.

- Aux services de la DG-D et aux Attachés pour la coopération internationale. Cette étude devrait les aider à identifier les conditions nécessaires et suffisantes à un bon suivi des interventions et à des évaluations de qualité. L’étude doit aussi permettre de juger de la capacité des intervenants à suivre et à rapporter sur les progrès à chaque niveau de résultats (output, outcomes, impact).

- Aux organismes partenaires de la Coopération bilatérale et non-gouvernementale, pour leur permettre de mieux intégrer le suivi, la gestion axée sur les résultats et l’évaluation dès la formulation des interventions.


28

L’objectif général de l’étude n’est donc pas de déterminer si les interventions actuelles sont évaluables ou non, mais bien de rendre toutes les interventions futures évaluables à plus ou moins court terme. L’évaluabilité des études de cas individuelles n’est pas un objectif de l’étude ; cependant les opérateurs des cas étudiés seront informés individuellement et confidentiellement de leurs résultats en matière d’évaluabilité.

B4. Champ de l’étude

B4.1. Champ conceptuel

Le concept d’évaluabilité peut être examiné des deux façons différentes et complémentaires suivantes :

1) L’évaluabilité ‘théorique’ concerne le design du projet, y compris sa logique d’intervention /théorie du changement. Vérifier l’évaluabilité théorique, c’est vérifier s’il est possible d’évaluer l’intervention telle que décrite dans le dossier technique et financier (DTF), le document de présentation de l’intervention ou tout autre document de même nature rédigé avant la mise en œuvre. L’évaluabilité ‘théorique’ d’une intervention peut être appréciée sur base d’une étude documentaire qui examine si ses objectifs et les moyens pour y parvenir sont clairement décrits. L’examen de l’évaluabilité théorique est clarifié dans ce sens par le CAD de l’OCDE de la façon suivante : « l’appréciation de l’évaluabilité suppose d’examiner à l’avance l’activité projetée afin de vérifier si ses objectifs sont définis de façon adéquate et si les résultats sont vérifiables.6 »

2) L’évaluabilité ‘pratique’ se penche sur les données réellement collectées et disponibles et sur la crédibilité et l’objectivité de ces données. Elle examine aussi les systèmes mis en place et les ressources engagées pour récolter ces données. Enfin elle se penche sur les éléments de contexte qui peuvent éventuellement favoriser, défavoriser, voire empêcher l’évaluation. La détermination des conditions pratiques d’évaluabilité suppose des études de cas sur la réalité du terrain.

Dans un soucis de fournir aux responsables de la programmation des instruments permettant d’apprécier et de suivre le volet ‘suivi-évaluation-rapportage des résultats’ des interventions, les extensions suivantes du concept d’évaluabilité doivent également être prises en compte :

- Examen de l’utilité d’une évaluation d’une intervention déterminée.

- Examen d’une intervention déterminée en vue d’améliorer son système de gestion axée résultats et de suivi-évaluation.

- Examen d’une intervention dans le cadre d’un processus d’assurance qualité : Effectué dans ce cadre, l’examen de l’évaluabilité permet de vérifier si tous les éléments nécessaires au suivi et à l’évaluation sont en place et de combler les éventuelles lacunes.

B4.2. Modalités à examiner

L’étude se focalisera sur les interventions financées par l’Etat fédéral qui font l’objet d’une fiche dans la base de donnée ODA.be:

- projets individuels

- programmes des acteurs non gouvernementaux

6 Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats ; CAD-OCDE 2002.


29

- programmes du Fonds belge de sécurité alimentaire

- actions de sensibilisation au Développement.

- interventions de coopération déléguée.

- bourses

- interventions d’aide humanitaire

- programmes d’appui au secteur privé.

Est exclue du champ de l’étude toute modalité de coopération qui n’est pas spécifiquement mentionnée dans le champ ci-dessus.

B4.3. Acteurs à examiner

L’étude se focalisera sur les acteurs de la coopération gouvernementale et non-gouvernementale visés à l'article 2, 4°, 5° et 6° de la loi du 19 mars 2013 relative à la Coopération au Développement.

Cependant, dans la mesure où les programmes du Fonds belge pour la Sécurité alimentaire peuvent inclure la participation d’une organisation multilatérale, l’évaluabilité de ce programme sera examinée dans son ensemble.

Hormis ce cas précis, les projets et programmes des organisations multilatérales et des banques de développement (co)financés par la Belgique sont expressément exclus du champ de l’étude.

B4.4. Champ temporel

L’appréciation de l’évaluabilité d’une intervention spécifique peut être effectuée à différents moments dans la gestion du cycle d’intervention :

1) Au moment de la formulation. L’appréciation est alors purement théorique ; son objectif est d’améliorer la qualité de la formulation avant l’approbation.

2) Au moment de la mise en place du système de suivi – évaluation, pendant la phase de démarrage / l’année zéro. L’appréciation accompagne alors la mise en place pratique du système de S-E en vue de l’améliorer.

3) Juste avant une évaluation. L’appréciation vise alors à examiner si l’intervention vaut l’effort d’une évaluation ou si une évaluation est susceptible de produire des connaissances utiles.

4) Pendant une évaluation. Ceci est pratiquement fait par la plupart des évaluateurs lorsqu’ils examinent les limites et contraintes de leur mandat. Les rapport d’évaluation contiennent à cet égard des informations précieuses.

L’évaluabilité sera étudiée sur un échantillon représentatif d’interventions en cours au moment de l’étude. Les éléments nécessaires à l’atteinte des objectifs de cette étude qui nécessitent une visite de terrain seront, dans la mesure du possible, étudiés sur des interventions qui auront dépassé le stade ‘mi-parcours’.


30

B4.5 Champ géographique

Les d’études de cas seront choisies en concertation avec les membres du comité

d’accompagnement en Belgique (bourses d’études, actions Nord,…), et dans les trois pays partenaires suivants : la République démocratique du Congo, le Rwanda et le Bénin

B5. Approche et méthode

B5.1. Approche générale

L’étude se fait en plusieurs étapes et se penche sur les aspects théoriques et sur la mise en pratique du suivi-évaluation des interventions (co)-financées par la Coopération belge au Développement

L’évaluabilité théorique aura été examinée à travers l’examen documentaire de dossiers techniques et financiers (DTF), de documents de présentation de l’intervention ou de tout autre document de même nature rédigé avant la mise en œuvre.

L’évaluabilité pratique sera examinée à travers l’examen documentaire des documents rédigés pendant la mise en œuvre et à l’occasion de missions sur le terrain. Remarques importante :

Les résultats des études de cas individuelles ne seront rendus publics qu’aux opérateurs des interventions concernées.

Tant l’étude documentaire que les visites de terrain doivent se limiter à collecter les informations utiles pour atteindre les objectifs de l’étude et se prononcer sur les questions clefs.

A aucun moment il ne faudra procéder à une évaluation proprement dite des cas d’étude.

B5.2. Echantillonnage des études de cas

Les interventions qui ont servi d’études de cas pour se prononcer sur l’évaluabilité théorique ont été sélectionnées comme suit :

- Dans un premier temps toutes les interventions en cours en 2013, soit 2460 interventions ont été listées et numérotées de 1 à 2460.

- Ensuite une liste de 200 nombres aléatoires entre 1 et 2460 a été générée.

- Les interventions relatives aux nombres aléatoires générés ont successivement été examinées sur les points suivants :

o situation dans ou hors du champ de l’étude défini en B4. Par exemple, les interventions de core funding aux organisations multilatérales ou les interventions financées par les provinces et communes tombent hors du champ de l’étude.

o disponibilité ou accès potentiel aux documents relatifs à l’intervention (documents de programme, dossiers techniques et financiers, rapports d’activité…). Si l’intervention porte sur un projet faisant partie d’un programme, le programme dans son ensemble a été pris en compte. Si l’intervention porte sur un programme terminé en 2013, le programme débutant en 2014 a été pris en considération.

o pays d’intervention. Si l’intervention portait sur un (sous)programme faisant partie d’un programme général multi-pays, tous les pays du programme ont été pris en considération.


31

- Les résultats ont été portés dans un tableau Excel jusqu’à obtenir une liste suffisante d’interventions mises en œuvre dans 3 pays de coopération – le Bénin, la R.D. du Congo et le Rwanda) et en Belgique (activités ‘Nord’ et gestion de programmes). Afin d’inclure un maximum de variabilité, l’échantillon des interventions obtenues par échantillonnage a été complété par des modalités de coopération/acteurs sous représentés.

Le choix des études de cas en vue de porter un jugement sur l’évaluabilité en pratique et atteindre les objectifs de cette étude, aura lieu au début de la phase 3 de l’étude de commun accord entre le service dirigeant, les membres du comité d’accompagnement et le consultant en tenant compte des éléments suivants :

- Pays sélectionnés : Bénin, R.D. Congo, Rwanda et Belgique.

- Interventions déjà étudiées dans le cadre de l’évaluabilité théorique

- Variété de modalités et d'acteurs.

- Un total de 40 interventions : 10 en Belgique et 10 (en moyenne) dans chacun des pays visités.

B6. Phases de l’étude

B6.1. Phase 1 : Cadre d’analyse de l’évaluabilité théorique

Cette phase a été exécutée en interne par le Service de l’Evaluation spéciale de la Coopération belge au Développement. Elle consistait en la lecture de :

• Documents constituant le cadre légal et réglementaire de la coopération belge en matière de suivi et d’évaluation.

• Bibliographie spécialisée sur les méthodes de suivi, d'évaluation et de gestion axée sur les résultats ainsi que sur l’ appréciation de l’évaluabilité.

• Développement d’un cadre d’analyse de l’évaluabilité théorique des interventions. • Test de ce cadre d’analyse sur un échantillon limité de 6 interventions.

Cette première phase a fait l’objet d’un rapport disponible en annexe.

B6.2. Phase 2 : Phase d’étude de l’évaluabilité théorique

Pendant la phase d’étude de l’évaluabilité théorique, également effectuée en interne par le SES, chaque intervention sélectionnée, son contexte et sa spécificité ont été confrontés au cadre d’analyse développé en phase 1. Une fiche d’évaluabilité théorique a été établie après consultation des documents et

rapports relatifs à la préparation des interventions (rapport de mission

d’identification et de formulation, DTF, documents de programmes ACNG.

Tout comme pour la phase 1, Le résultat général est actuellement synthétisé dans un rapport intermédiaire et sera discuté avec différentes parties prenantes en Comité d’accompagnement. Ce rapport intermédiaire contiendra • un état des connaissances quant aux objectifs de l’étude, obtenu après l’examen de

l’évaluabilité théorique, • les hypothèses à vérifier au cours des missions de terrain.


32

B6.3. Phase 3 : phase d’étude de l’évaluabilité pratique

Cette phase commence par la détermination de l’échantillon définitif des interventions dont l’évaluabilité pratique sera étudiée et le développement de fiches/questionnaires pour les missions de terrain. Les missions de terrain seront préparées • à l’aide d’interviews de

o DGD : services géographiques et thématiques concernés par les études de cas. o DGD : service qualité et résultats. o CTB : desks géographiques et thématiques concernés par les études de cas. o CTB : responsable qualité/évaluation. o ACNG : gestionnaires responsables des études de cas. o ACNG : personnes responsables du suivi-évaluation.

• par l’étude des documents de préparation et de suivi-évaluation disponibles pour les études de cas

• par une étude rapide du contexte général des pays à visiter, du contexte sectoriel des études de cas et de leur contexte spécifique.

Missions proprement dites : • Observer les interventions ‘études de cas’ « en action » et les apprécier sur le plan de

l’évaluabilité réelle sur le terrain. • Apprécier la capacité du projet/programme à collecter des données fiables, à les analyser

et apprécier dans quelle mesure la gestion est axée sur l’atteinte des résultats. • Identifier des facteurs limitant et favorisant l’évaluabilité de l’intervention. • Observer des éléments de contexte local influençant l’évaluabilité des interventions • Déterminer, le cas échéant et pour chaque étude de cas, jusqu’à quel niveau (activités,

outputs, outcomes, impact) une évaluation est faisable, pertinente et utile, en l’état. • Pour chaque étude de cas, rencontrer des personnes clés, capables de fournir des

informations critiques sur la mise en œuvre du système de suivi-évaluation : collecte de données, analyse des données, gestion axée sur les résultats (utilité des données) : Gestionnaires des interventions (belges et/ou nationaux), assistants techniques, experts, membres des structures de concertation, bénéficiaires

• Pour chaque pays visité, rencontrer les différentes personnes, expatriées ou nationales impliquées dans la préparation, le suivi et l’évaluation des interventions étudiées : Attaché de coopération, Ministères pertinents, Autorités locales concernées.

• Présenter les principaux constats par pays au cours d’une réunion de débriefing local. • Rédiger une fiche d’évaluabilité définitive par intervention étudiée. Cette fiche ne sera

communiquée qu’aux opérateurs de chaque intervention.

B6.4. Phase 4 : analyse et synthèse

Sur base des étapes précédentes, rédiger une proposition de rapport final contenant : - une synthèse des constats faits à partir des études de cas :

• Déterminer les conditions minimales d’évaluabilité et dans quelle mesure les interventions examinées satisfont à ces conditions.

• Capitaliser les bonnes pratiques observées en matière de préparation et de mise en œuvre du système de suivi et d’évaluation,

• Faire un inventaire des mauvaises pratiques et des principales lacunes observées en matière de préparation et de mise en œuvre du système de suivi et d’évaluation; identifier les principales raisons qui font qu’une intervention ne satisfait pas aux conditions minimales d’évaluabilité (expertise technique, raisons financières, imprécisions dans le cadre réglementaire)

- une conclusion sur l’ensemble des aspects de suivi-évaluabilité - des recommandations en vue d’améliorer l’évaluabilité dans le futur


33

- Le contenu du rapport doit aussi prouver que les différents objectifs de l’étude, explicités en B3, ont été atteints

Le projet de rapport final sera discuté en comité d’accompagnement (voir point B 7.3 ci-dessous) ; à la suite de quoi un rapport final définitif sera rédigé

B7 Responsabilité pour la gestion et le suivi de l’étude

B7.1. Le fonctionnaire dirigeant (FD)

• Le Service de l’Evaluation spéciale (S4) est le service chargé de la mise sur le marché de l’étude et du pilotage administratif du contrat. Il représente le pouvoir adjudicateur et à ce titre est fonctionnaire dirigeant de l’étude. Dans ce sens, il vérifie la conformité de l’étude (sur base du cadre légal et du cahier spécial des charges) mais également la qualité du processus et des produits de l’étude.

• S4 gère tout le processus de l’étude du début à la fin et pour ce faire il :

- est responsable de la procédure de marché public (préparation du cahier spécial des charges, attribution du marché, ordonnancement des factures, etc)

- assure la conformité et la cohérence de l’étude, depuis les termes de référence jusqu’à l’impression du rapport final et sa diffusion

- coordonne et pilote l’activité des différents acteurs (comité d’accompagnement et équipe de consultants) ; prépare et préside les réunions, en rédige les PV, gère les conflits éventuels, etc

- supervise et vérifie la qualité du travail aux différentes phases (entre autres : s’assure que les conclusions ont des bases méthodologiques et factuelles solides)

- est garant du bon déroulement de l’étude (entre autres : facilite le travail des consultants et leur accès aux sources d’informations)

- est garant de l’indépendance des consultants. Toutefois, il s’assure que les commentaires et avis des parties prenantes sont pris en compte et que ceux qui ne le sont pas font l’objet d’une réponse motivée des consultants.

- valide le rapport final en utilisant une grille d’appréciation (et approuve les derniers paiements pour services rendus).

- organise la dissémination des résultats de l’étude et suscite la réponse managériale.

- organise les sessions de restitution finale.

• S4 en tant que fonctionnaire dirigeant est seul responsable de la conduite de cette étude.

B7.2. Les parties prenantes (ou acteurs concernés)

• Les parties prenantes (stakeholders) sont les individus, les groupes ou les organisations qui ont des responsabilités et/ou des intérêts directs ou indirects dans l’objet de cette étude (projet, programme, secteur, pays, etc). Elles peuvent être affectées ou non par les résultats de cette étude. Elles sont consultées aux différentes étapes de l’étude afin de leur permettre de fournir un avis sur les termes de référence et produits fournis (entre autres : rapports provisoires). Dans certains cas, leur collaboration est sollicitée pour la collecte d’informations (et pour l’organisation des missions de terrain). Elles peuvent également être entendues par les consultants en l’absence de S4 ou d’autres parties


34

prenantes. Certaines de ces parties prenantes peuvent être membres du Comité d’accompagnement. Leur sélection/invitation de participer à ce comité relève de la responsabilité de S4.

• Pour cette étude, les partie prenantes sont les services de la DG-D gestionnaires de la coopération bilatérale et non-gouvernementale, les services de la DG-D responsable pour le contrôle de qualité et les résultats, les responsable de l’évaluation interne de la CTB, les fédérations d’ONG et les autres acteurs de la coopération non-gouvernementale.

• Le Service de l’Evaluation spéciale est exceptionnellement aussi partie prenante.

B7.3. Comité d’accompagnement

• Le Service de l’Evaluation spéciale constituera un comité d’accompagnement (CA) composé de représentants des acteurs concernés et d’experts indépendants. Ce comité contribue à la qualité, la crédibilité et l’utilité de l’étude. Il donne un avis sur la méthodologie envisagée ainsi que sur les constats, les conclusions et les recommandations de l’étude. Le cas échéant, il complète ou corrige l’information des consultants.

• Le SES veille à la mixité de ce comité

• Seront membres de ce comité :

- Minimum 2 membres du Service de l’Evaluation spéciale

- Plusieurs membres de la DGD impliqués et/ou intéressés dans la thématique (notamment le service D4.3).

- Des représentants de la CTB et des acteurs de la coopération non-gouvernementale.

• Le CA est convoqué, préparé et présidé par le Service de l’Evaluation spéciale qui en rédige les comptes rendus.

• Le CA est un groupe de travail « technique » qui a un mandat de réflexion et de proposition. Il est chargé de suivre, d’accompagner et de faciliter le processus de l’étude. Par la diversité de sa composition, le CA enrichit de ses différents points de vue le processus de l’étude. Le CA garantit l’accès des consultants aux sources d’informations utiles (documentation, base de données et personnes). Les membres du CA jouent un rôle d’interface avec les services, directions et institutions dont ils font partie (DGD, CTB, acteurs indirects). Ainsi ils informent leur service et/ou direction du processus et des produits de l’étude et facilitent l’accès à l’information, l’organisation des interviews etc. Ils contribuent activement à la diffusion des conclusions et recommandations de l'évaluation. En faisant partie du CA, les parties prenantes concernées sont encouragées à s’approprier les résultats de l’étude. Toutefois, le Service de l’Evaluation spéciale assurera un équilibre entre le caractère participatif de l’étude et l’efficience du processus (arriver à ce que l’étude produise des résultats en temps utile).

B8. Equipe de l’étude

Comme il a déjà été dit, les phases 1 et 2 sont réalisées en interne par le service d’évaluation spéciale. Les prestations relatives aux phases 3 et 4 de l’étude doivent être exécutés par une équipe de consultants indépendants et font l’objet de ce marché public. Le fait, pour ces consultants d’avoir déjà participé à l’évaluation d’interventions de la coopération belge et d’avoir ainsi une expérience des difficultés rencontrées constitue un avantage. Les consultants ne pourront toutefois pas se voir assigner l'étude d'un cas qu'ils auraient déjà formulé ou évalué par ailleurs.


35

Autant que possible l’expertise mise en œuvre devra combiner des connaissances - en suivi & évaluation d’interventions, - en gestion du cycle d’intervention de coopération, et - dans les pays et secteurs traditionnels de la coopération belge au Développement. Les consultants devront démontrer une expérience de la pratique de l'évaluation sur le terrain. La bonne compréhension des documents établis par l’Administration belge et dans les différents pays sélectionnés pour les études de cas requiert la connaissance active au sein de l’équipe de consultants du français, du néerlandais (niveau langue maternelle), de l’anglais (niveau avancé) et de l’espagnol (niveau avancé). Les mêmes exigences linguistiques sont requises pour l’édition des différentes traductions du rapport final définitif. La mixité au sein de l’équipe responsable de l’étude est requise. Le team leader devra avoir de l’expérience en gestion d’études d’ampleur similaire, et en gestion d’équipe. Il/elle devra également être au fait des nouvelles approches proposées en matière de gestion, suivi et évaluation d’interventions (gestion axée sur les résultats, outcome mapping, most significant change, theory based evaluation, méthodes quantitatives,…) Dans chacun des pays visités pour les études de cas un expert local est également requis.

B9. Chronogramme indicatif

La phase 1 de l’étude a déjà été réalisée en interne. La phase 2 (évaluabilité théorique) est en cours de réalisation et sera terminée en décembre 2014. Le rapport relatif à cette phase sera communiqué en temps utile à l’attributaire. Le marché de services requis pour la réalisation des phases 3 et 4 sera attribué à un consultant extérieur. Le début des prestations est fixé à janvier 2015

B10. Les rapports

B10.1. Nature des rapports

Les produits de l’étude sont :

- Un cadre méthodologique à la fin de la phase 1

- Un rapport intermédiaire et les fiches d’évaluabilité théorique pour les interventions étudiées à la fin de la phase d’étude (phase 2).

- Les fiches d’évaluabilité pratiques pour les interventions visitées et les présentations PowerPoint des débriefings de fin de mission (phase 3).

- Une proposition de rapport final et un rapport final (phase 4).

B10.2 Structure du rapport final :

La structure détaillée du rapport final sera convenue en cours d’étude. Le plan d’ensemble du rapport fera cependant apparaître les parties suivantes :

- Synthèse

- Contexte de l’étude


36

- Synthèse des réponses aux questions relatives à l’évaluabilité des études de cas.

- Autres constats

- Leçons (au sens de la définition du Glossaire du CAD)

- Conclusions

- Recommandations ; principalement proposition des conditions nécessaires et suffisantes et des mesures à prendre pour permettre l’évaluabilité théorique et pratique d’une intervention (co)financée par la Belgique.

- Annexe1 obligatoire : termes de référence

Le rapport final devra être court (60 pages hors annexes au maximum). Les informations supplémentaires sur le contexte, le programme ou les aspects globaux de la méthodologie et de l'analyse seront placées dans les annexes.

Les annexes devraient comprendre : la méthodologie ; les questionnaires ; les critères de jugement ; la liste des personnes rencontrées ; la liste de documentation y compris la bibliographie éventuelle ; les TdR ; les commentaires exprimés sur la proposition de rapport final qui n’ont pas été pris en compte par les consultants et les raisons justifiant cette non prise en compte ; toute autre information servant de base à l’analyse ou aux tableaux.

B10.3. Qualité :

Les rapports seront rédigés en utilisant les styles et le lay-out fournis par le Fonctionnaire dirigeant.

Les rapports doivent être de très haute qualité. Les résultats, l’analyse, les conclusions et les recommandations devront être approfondis. Ils devront refléter une approche méthodique faisant apparaître clairement les séquences du raisonnement.

Les rapports seront soumis par le service dirigeant à une grille d’assurance de qualité qui sera communiquée aux consultants en temps utile.

B10.4. Ponctualité :

Les rapports soumis à l’appréciation des différentes réunions du comité d’accompagnement devront être en possession du pouvoir adjudicateur au moins 6 jours ouvrables avant la date fixée de commun accord pour le comité.

B10.5. Langue des rapports :

Les documents provisoires peuvent être rédigés en français ou en néerlandais au choix du consultant.

Le rapport final définitif sera rédigé soit en français, soit en néerlandais, et traduit dans l’autre langue.

Un résumé en 2 pages devra être préparé en français, en néerlandais et en anglais. .

Les présentations Powerpoint en Belgique devront se faire en partie en français, en partie en néerlandais, en respectant un certain équilibre entre les 2 langues.

Les présentations Powerpoint de débriefing des missions de terrain devront se faire dans une langue internationale du pays concerné.


37

Les traductions devront être éditées par le consultant ; pour les versions française et néerlandaise, obligatoirement par un membre de l’équipe dont c’est la langue maternelle.

B11. Bibliographie

• DFID Report, 2013. Planning evaluability assessments. A synthesis of the literature with recommendations. Report of a study commissioned by the Department of International Development.

• UNIFEM Evaluation Unit ; 12/2009 ; « Guidance Note on Carrying Out an Evaluability Assessment.

• ADE (Analysis for Economic Decision), CRED (Centre de Recherche en Economie du Développement), 2013. Evaluation ex-post d’impact de 4 projets de coopération gouvernementale.

• ITAD ltd, the Overseas Develoment Institue, 2000. The Evaluability of Democracy and Human Rights Projects: A logframe-related assessment (Sida studies in evaluation).

• Mott MacDonald Ltd, HLSP, 2010. Evaluability Study of Partnership Initiatives - Norwegian Support to Achieve Millennium Development Goals 4 & 5 (Norad evalution department).

• Wholey J. S., Hatry H. P., Newcomer K. E., 2010. Handbook of practical program evaluation.

• Evaluability Assessment: Examining the readiness of a program for evaluation. http://www.jrsa.org/pubs/juv-justice/evaluability-assessment.pdf


38

C. Annexes

C1. Fiche de renseignements

C1.1. Offre technique

Remarques générales

Nous invitons les candidats- soumissionnaires à lire attentivement l’entièreté du cahier spécial des charges (y compris les notes de bas de page). Il n’est pas rare en effet que le pouvoir adjudicateur soit obligé de rappeler à l’adjudicataire certaines obligations qui sont pourtant bien explicites dans le CSC. Nous rappelons également qu’en cas d’incohérence entre le CSC et l’offre du consultant, c’est toujours le CSC qui prime.

Le CSC, en ce compris sa partie B "Prescriptions techniques", a été rédigé conjointement par un ensemble d'experts internes du SPF, après consultation des autres parties impliquées par l’étude. Malgré les efforts de ces personnes, compétentes en évaluation et/ou au niveau de l'objet de l'étude, le CSC et plus particulièrement les termes de référence peuvent contenir des éléments sujets à interprétations.

Le candidat-soumissionnaire qui constaterait de tels éléments est invité à en faire part le plus vite possible au pouvoir adjudicateur (voir point A4 Informations complémentaires). Le pouvoir adjudicateur ne souhaite donc pas rencontrer de chapitre "Notre interprétation des TDR" dans l’offre. Les soumissionnaires peuvent éventuellement démontrer brièvement qu’ils ont compris la nature et l’ampleur des services demandés.

Dans la mesure où il est sensé remettre une offre technique et financière ferme et définitive, le soumissionnaire n’utilisera pas d’expressions telles que "si le temps le permet" ou "si le budget le permet".

Dans son offre, le candidat-soumissionnaire doit absolument éviter de ‘copier – coller’ du contenu des TDR et éviter de répéter des principes, définitions et pratiques largement connus dans le monde de la coopération au développement et de l’évaluation. Le cas échéant, les morceaux de texte qui ne sont pas issus de l’auteur de l’offre doivent être clairement identifiés (en lettre italiques, entre guillemets et avec mention des sources).

Si le soumissionnaire n’a pas introduit son offre de manière électronique, une copie électronique (par e-mail ou sur CD-ROM, ‘write protected’ ou non) sera demandée à fin de faciliter la communication des offres aux membres du comité d’appréciation. Cette version n’aura alors pas de valeur légale mais sera bien entendu couverte par l’article 6, §1er, 2° de l’Arrêté royal du 15 juillet 2011.

Structure de l’offre

N’oubliez pas de prévoir une numérotation continue et ininterrompue de toutes les pages de votre offre, de votre inventaire et des annexes.

L’offre technique et l’offre financière doivent être structurées de façon à faciliter au maximum l’examen en fonction des critères d’exclusion, de sélection et de régularité ; ainsi que de l’appréciation selon les critères explicités au point A12.

Sont notamment importants :


39

- Approche méthodologique :

o Brève démonstration que le soumissionnaire a compris la nature et l’ampleur des services demandés.

o Grandes lignes du cadre d’étude général et des cadres d’études par intervention, logiques d’intervention / théories du changement, questions et sous-questions qui seront utilisés pour atteindre les objectifs de l’étude. S'il y a lieu de référer à d'autres approches méthodologiques ou 'cadre de référence' ('Framework') connus, cela se fera en libellant clairement leur nom ainsi que l'adresse du site internet où le pouvoir adjudicateur pourra trouver des précisions. Si le soumissionnaire propose une méthodologie innovante créée par lui, le résumé de l'innovation et la justification de son utilisation doivent se retrouver dans ce volet. Le soumissionnaire précisera / spécifiera (et justifiera) donc l'application des cadres méthodologiques général et spécifiques par intervention proposés sans s'avancer dans des généralités.

- Approche proposée pour l’organisation pratique de l’étude :

o Présentation du bureau d’étude soumissionnaire et des bureaux sous-traitants ou associés dans le Nord comme (éventuellement) dans le Sud.

o chronogramme indicatif des différentes phases déjà indiquées dans les termes de référence.

o répartition de l’expertise, y compris pour le contrôle de qualité et le backup en cas de force majeure, au cours des différentes phases. Précisez clairement le nombre de jours de travail par expert et par phase. Distinguez clairement le nombre de jours de travail effectif sur le terrain d’avec les jours de préparation et de voyage. Les longs déplacements locaux seront de préférence programmés pendant les weekends. Les consultants sont sensés travailler selon un horaire raisonnable. C'est surtout lors de l'étude de terrain que les délais doivent être crédibles par rapport aux résultats souhaités. La nuit sert à se reposer. Il semble judicieux que la rédaction de l’aide-mémoire de la mission se fasse au grand jour lors de pauses efficaces interrompant la succession des entrevues et observations sur le terrain et de manière plus intensive pendant les 2 jours précédant la restitution locale.

o Structure de l’équipe, y compris l’équilibre genre et linguistique.

- Description de l’équipe qui ou du team leader va diriger l’étude: qualification et expérience en suivi-évaluation, en direction d’étude, en gestion d’équipe, en connaissance de la coopération belge au développement et en contrôle de qualité.

- Description des qualifications et de l’expérience des experts individuels (y compris, le cas échéant, les membres de l’équipe dirigeante) par rapport au suivi et à l’évaluation d’interventions de coopération. Dans cette partie, le consultant : décrit chaque membre de l’équipe en mettant l’accent sur les qualités des experts internationaux et locaux sur les aspects qu’ils prendraient en charge.

- Description des qualifications et de l’expérience des experts individuels (y compris, le cas échéant, les membres de l’équipe dirigeante) par rapport aux secteurs et aux pays dans lesquels sont situées les interventions qu’ils prendraient en charge.


40

C1.2. Offre financière

Un tableau indicatif vous est proposé ci-dessous pour faciliter la comparaison entre les offres. Il vous est bien entendu loisible d’ajouter et/ou de désagréger des lignes.

Poste de dépense unité

coût par

unité quantité total

TVA

avec TVA

Salaire expert …(nom de l’expert)… jours Salaire expert …(nom de l’expert)… jours Salaire expert …(nom de l’expert)… jours Salaire expert …(nom de l’expert)… jours Salaire expert …(nom de l’expert)… jours Salaire expert …(nom de l’expert)… jours Salaire expert …(nom de l’expert)… jours Salaire expert …(nom de l’expert)… jours (Ajoutez des lignes selon le nombre d’experts) Transport Experts <> Bruxelles A/R Voyages aériens des consultants internationaux pour les missions de terrain A/R

Per diem des experts pendant les missions jours Frais de logement des experts nuits Déplacements locaux (vols intérieurs, trains,…) A/R Location véhicule + chauffeur + carburant + assurance jours

Frais liés aux rencontres / interviews / visites de terrain… Forfait/unité

coût séance restitution locale (location de la salle + café / thé / biscuits)

Forfait/unité

Traductions page Communication/ impression / duplication forfait (Ajoutez des lignes pour d’autres dépenses éventuelles)

TOTAL

Annexes

Toutes les annexes doivent porter la mention : « Pour être joint à mon offre du ... et en faire partie intégrante » (suivie de la date et de la signature, ainsi que du nom, du prénom et de la qualité du signataire).

- CV des consultants suivi d’une déclaration de disponibilité.

C2. Formulaires de soumission

Voir fichier Word


41

FORMULAIRE DE SOUMISSION

Administration disposant du pouvoir adjudicateur : Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement, Rue des petits Carmes, 15 - 1000 Bruxelles. Service dirigeant : Service de l’Evaluation spéciale de la Coopération belge au Développement (S4).

Cahier spécial des charges réf. S4/2014/01 de juin 2014 relatif à l’étude de l’évaluabilité des interventions de coopération (phase 3 et 4).

SOUMISSION de la société …(dénomination, forme juridique, nationalité, siège social)…, agissant comme soumissionnaire ou fondé de pouvoirs et signant ci-dessous,

Inscrit à la banque carrefour des entreprises sous le numéro: (numéro d’entreprise)

Ladite société s'engage à exécuter, selon les éléments et conditions du cahier spécial des charges n° S4/2014/01, le marché de prestation de service relatif à l'étude mentionnée ci-dessus

au prix forfaitaire global (hors TVA) de : (prix en toutes lettres) ;

en chiffres…(prix en chiffres).....EUR

Montant de la TVA: (montant en toutes lettres) ;

en chiffres:..(TVA en chiffres).........EUR

ce qui donne un coût, TVA comprise de:……(en toutes lettres)……EUR

en chiffres: …(coût en chiffres)

Les paiements seront exécutés valablement par virement sur le compte numéro IBAN : ………………………., BIC………………. , ouvert au nom de .................................... , chez :…..(nom de l’institution financière).

Fait à ………………………..., en 2 exemplaires originaux, le ..............................

Le soumissionnaire:

( signature, nom et mention manuscrite de « bon pour soumission »)

Partie réservée à l'Administration

Attribution du Marché N° S4/2014/01

Date & visa du Contrôleur des engagements

Dominique de Crombrugghe Evaluateur spécial


42

Bijlage 2: Beschrijving van de aanpak en onderzoeksmethodologie

1. Opstart van de studie

De bespreking, in de kick off vergadering van het begeleidingscomité (BC) van 12 maart, kan aanzien worden als de formele start van de studie. De vergadering behandelde twee belangrijke punten: de voorstelling en bespreking van de resultaten van de twee eerste fasen (door DBE uitgevoerd) en de voorstelling, door de consultants, van het voorlopige studiekader (zie hierna en ook bijlage 3). De discussie in het BC verliep vrij geanimeerd en bleek erg belangrijk om de context en het doel van deze studie te verduidelijken. Bij een aantal deelnemers was immers enige terughoudendheid te merken ten aanzien van het onderwerp en doel van deze studie, waarvan men vreesde dat de resultaten gebruikt zullen worden om de eisen op het vlak van interventie-voorstellen en –rapportage nog drastisch op te schroeven terwijl die momenteel reeds op vele vlakken erg hoog liggen. De voorstelling van het voorlopige studiekader gaf anderzijds geen aanleiding tot lange discussies, ook al omdat was besloten om alleen de hoofdlijnen van dit kader voor te stellen. Aan het einde van de vergadering werd ook de timing van de uitvoering van de studie besproken. Het oorspronkelijke plan van de consultants om in april vooral de tien in België geselecteerde interventies te bestuderen en België dus als pilootland te nemen, kon op weinig begrip rekenen bij een aantal deelnemers, met name vooral de vertegenwoordigers van de niet gouvernementele actoren, omdat de maand april voor hen een maand is van intense administratieve activiteit: op 30 april moet immers het jaarverslag van 2014 worden voorgelegd. Bovendien waren de NGA druk bezig met de uitwerking van de door DGD gevraagde gezamenlijke contextanalyses. Er werd daarom besloten om de analyse van de Noord acties in België niet meer als pilootactie te weerhouden. Eveneens werd de consultants gevraagd om de veldmissie in Benin goed af te stemmen met de missie naar hetzelfde land in het kader van de Duurzaamheidsevaluatie die eveneens in opdracht van de DBE wordt uitgevoerd.

2. De steekproefbepaling

Overeenkomstig de vereisten van het bestek werden 40 interventies in vier landen (België, Benin, DRC en Rwanda) geanalyseerd; in elk land werden 10 interventies weerhouden7. Het ging daarbij telkens over interventies die qua uitvoering reeds ver waren gevorderd, eventueel via een voorgaande fase. De selectie gebeurde op basis van een inventaris opgesteld door DBE (aantal in 2013 actieve interventies) bevattende:

o voor DRC: 161 interventies o voor Rwanda: 67 interventies o voor Benin: 41 interventies o voor België: 421 interventies

De steekproefbepaling gebeurde niet aselect, maar beoogde een oververtegenwoordiging van kleinere sectoren en actoren en van atypische interventies (bv. studiebeurzen) om maximaal tot de uiteindelijke bruikbaarheid van de studie te kunnen bijdragen en bijvoorbeeld oog te

7 Een lijst met de 40 projecten is opgenomen in bijlage 4.


43

hebben voor de specifieke uitdagingen die de bepaling van hun evalueerbaarheid en evaluatie van atypische interventies met zich meebrengt. De bepaling van de steekproef gebeurde verder op basis van volgende onderliggende hypothesen die in essentie gaan om het identificeren van factoren die de evalueerbaarheid mogelijk beïnvloeden en die als zodanig richtinggevend kunnen zijn bij de bepaling van criteria voor de steekproeftrekking:

• de kwaliteit van het interventie-ontwerp (doelstellingenschema, onderliggende TOC, indicatoren) bepaalt in belangrijke mate de (theoretische) evalueerbaarheid; in de context van de Belgische (directe en indirecte) OS, wordt de wijze waarop het interventie-ontwerp is uitgewerkt, mede bepaald vanuit de (eisen van) de mede-financierende overheid. Als zodanig zal het kanaal/instrument van de samenwerking de evalueerbaarheid beïnvloeden;

• binnen de NGAs is men langzaamaan geëvolueerd in de richting van een programma benadering; sommige organisaties hebben op dat vlak grotere vooruitgang gemaakt dan andere; globaal mogen we aannemen dat een specifieke actie redelijk goed het globale programma kan vertegenwoordigen wat “evalueerbaarheid” betreft;

• de sector van de interventie (“harde” versus “zachte” sector) en, binnen elke sector, de gevolgde aanpak/strategie (klassiek versus innovatief) hebben een invloed op de soliditeit van de TOC en als zodanig op de evalueerbaarheid;

• de evalueerbaarheid wordt vervolgens bepaald door de intrinsieke kwaliteit van het (M&E) managementsysteem dat zich heeft geënt op het interventie-ontwerp;

• de gedragenheid/het ownership van interventie-ontwerp en M&E systeem binnen de uitvoerende organisatie(s) zullen de beschikbaarheid (kwaliteit en volledigheid) van de informatie (en dus van de evalueerbaarheid) mede bepalen;

• een aantal factoren die de evalueerbaarheid mede bepalen zijn contextueel en ontsnappen als zodanig aan de invloed/controle van evaluatoren: institutionele/geografische/ veiligheids/… factoren die toegang tot betrokken partijen en hun houding ten aanzien van een evaluatie (en bereidheid tot het verstrekken van betrouwbare informatie) bepalen;

• interventies/programma’s die een vervolg vormen van eerdere interventies/programma’s zijn in de regel beter evalueerbaar dan nieuwe interventies (TOC reeds empirisch getest, M&E systeem beter gerodeerd, beter integratie contextuele elementen, eindrapportage van vorige fase die minstens gedeeltelijk als baseline kan dienen voor de volgende fase).

Op basis van het bovenstaande werden in eerste instantie volgende criteria gehanteerd bij de selectie van de steekproef:

• het type interventiekanaal in functie van de mate van sturing door DGD; drie groepen werden onderscheiden: bilaterale samenwerking via BTC, NGAs (NGOs, vakbonden) en een derde groep bestaande uit APEFE/VVOB/Universiteiten/BIO (deze laatste groep heeft meestal een grotere “vrijheid” in de projectcyclus);

• interventies met veeleer “minder complexe” onderliggende veranderingstheorieën (TOC) en interventies met een veeleer “complexe nog verder uit te testen” onderliggende TOC; omdat het ondoenlijk is om ex ante de TOC van alle interventies van de database te gaan nakijken, werden proxy indicatoren m.b.t. de soliditeit van de TOC gehanteerd: harde versus zachte sector, nieuwe aanpak versus upscaling/roll out en/of nieuw project versus vervolgproject;

• mate van operationele aanwezigheid/invloed van de Belgische partner bij de project-uitvoering;

• per land, minstens één “speciale” interventie (BIO, synergie-project, BFVZ, …); • per land minstens één interventie waarin gender een prominente plaats inneemt; • voor zover mogelijk per land een aantal (streefcijfer minstens 1/3) interventies die

geselecteerd waren in fase 1 en 2 van de studie. Na een testfase bleken bovenstaande criteria echter te complex en ambitieus en werd geopteerd voor vereenvoudigde criteria:


44

• als eerste en belangrijkste criterium werd gekozen voor het interventiekanaal, waarbij in elk land zoveel mogelijk actoren zullen worden opgenomen;

• als tweede criterium wordt het onderscheid tussen sectoren met een minder complexe onderliggende TOC en sectoren met een meer complexe TOC genomen; sectoren met doorgaans minder complexe TOC zijn: gezondheid, onderwijs, water en sanitatie, sociale economie, terwijl de sectoren met een doorgaans meer complexe TOC zijn: klimaat en milieu, conflict en vrede, governance en landbouw en rurale ontwikkeling (deze laatste sector werd in deze categorie gezet om globaal tot een evenwichtige steekproef te komen); in de praktijk werd dit criterium verder verfijnd in de zin dat ook gekeken werd naar de aard van het project: zo kon een project van institutionele versterking in een ‘minder complexe’ sector uiteindelijk toch als complex worden gecatalogeerd;

• keuze voor interventies met substantiële uitgaven bij voorkeur in 2015 maar zeker in 2014 (achterliggend is de overweging dat bij interventies die reeds enkele jaren geleden zijn gestopt het erg moeilijk is om de praktische evalueerbaarheid te analyseren).

• keuze voor (minstens) één interventie per land waar gender en/of een ander transversaal thema prominente aandacht krijgt (basis: titel van het project).

De uiteindelijke selectie is gebeurd op basis van bovenstaande criteria, waarbij in een aantal gevallen oorspronkelijk geselecteerde interventies niet konden weerhouden worden:

• in de DRC was het om evidente redenen nodig om een bijkomend criterium te hanteren, met name de locatie (provincie) van uitvoering; er werd besloten om te kiezen voor interventies met activiteiten in volgende regio’s: Kinshasa, Bas Congo en Katanga;

• het criterium “substantiële uitgave in 2015 maar zeker in 2014” bleek onvoldoende als aanduiding voor interventies die reeds voldoende ver zijn gevorderd om de praktische evalueerbaarheid nuttig te kunnen evalueren: in vele gevallen bleek geen informatie met betrekking tot 2015 gemakkelijk beschikbaar, terwijl met name bij een aantal bilaterale interventies bleek dat substantiële uitgaven in 2014 niet noodzakelijk een aanduiding waren van interventies op kruissnelheid, maar soms een weergave waren van belangrijke initiële investeringen nodig voor de projectuitvoering;

• het onderscheid tussen sectoren met een “complexe” en “minder complexe” sectoren was evenmin waterdicht als criterium omdat ook in “minder complexe” sectoren een aantal interventies voorkwamen met een “complexe” TOC, bijvoorbeeld interventies van het governance type in “minder complexe ” sectoren”, bijvoorbeeld een interventie die institutionele versterking beoogt van het ministerie van gezondheid. Overigens werd in een latere fase, met name tijdens de analyse van de documentatie, duidelijk dat binnen eenzelfde interventie dikwijls complexe en minder complexe componenten worden gecombineerd, wat de relevantie van het gehanteerde onderscheid tussen complexe en minder complexe sectoren nog verder doet afnemen;

• bij een aantal vervolginterventies (met name bij interventies van NGAs) werd er voor gekozen om niet alleen de huidige interventie (periode 2014-2016) maar ook de voorgaande (2011-2013) interventie mee te nemen om op die wijze een globaler zicht te kunnen bekomen m.b.t. de evalueerbaarheid.

Vanuit het bovenstaande mag het geen verwondering baren dat de samenstelling van de steekproef meer tijd en energie heeft gevraagd dan initieel verwacht. Ook moesten in enkele gevallen interventies worden afgevoerd waarvan de documentatie reeds was verzameld, teneinde een aantal evenwichten gebaseerd op de hierboven vermelde criteria te kunnen respecteren. De uiteindelijke steekproef van 40 interventies is opgenomen in bijlage 4. De uiteindelijke steekproef van 40 interventies bestaat uit:

• 10 interventies in elk van de vier weerhouden landen; • 24 (60%) complexe en 16 (40%) niet complexe interventies; • 10 (25%) bilaterale interventies, 20 (50%) interventies uitgevoerd door NGOs of

vakbonden en 10 (25%) interventies uitgevoerd door andere actoren (meer bepaald APEFE, VVOB, de universitaire samenwerking, BIO, ITG, BOS+, VVSG).


45

3. De uitwerking van het studiekader

Het studiekader nam de definitie van evalueerbaarheid als uitgangspunt. Het bestek van de studie vermeldt op blz. 22 twee verschillende definities van de evalueerbaarheid van een ontwikkelingsactie. Daarvan wordt de OESO DAC definitie in de praktijk het meest gebruikt: Evaluability is the extent to which an activity or project can be evaluated in a reliable and credible fashion. De tweede definitie (overgenomen uit het document van het Juvenile Justice Evaluation Center) voegt aan de DAC definitie evenwel een belangrijk element8 toe door te stellen dat het bepalen van de evalueerbaarheid eveneens impliceert dat wordt nagegaan in hoeverre de evaluatie bij kan dragen tot de verbetering van het beheer en van de resultaten van de actie. Een en ander wordt in het bestek verder uitgewerkt via het onderscheid tussen ‘theoretische’ evalueerbaarheid’ (die naar de OESO DAC definitie en haar uitwerking refereert) en ‘praktische evalueerbaarheid’; deze laatste wil immers nagaan of - bijvoorbeeld - gegevens effectief zijn verzameld en systemen daadwerkelijk worden gebruikt waardoor kan worden bijgedragen tot verbetering van beheer en resultaten. Op die wijze is snel de brug gemaakt naar het onderzoek (als onderdeel van het nagaan van de evalueerbaarheid) van het nut van een evaluatie, waarbij het concept van evalueerbaarheid de facto wordt uitgebreid (zie bestek, blz. 26). Vanuit het bovenstaande heeft de studie ervoor gekozen om “evalueerbaarheid” vooral als een continuüm te benaderen: hoogstwaarschijnlijk is geen enkele interventie perfect in al haar facetten evalueerbaar, maar evenmin zullen er interventies zijn die helemaal niet geëvalueerd kunnen worden. Verder kan een evaluatie vele aspecten van de interventie betreffen (de klassieke DAC criteria, maar ook daarbuiten), maar hoeft ze die niet steeds mee te nemen. Voor deze studie was vooral de zogenoemde praktische evalueerbaarheid van belang. Het was de bedoeling deze na te gaan op het niveau van 40 interventies waarvan de uitvoering reeds over ‘halfweg’ is (althans in theorie). Het kwam er dus op aan om aan het einde van de studie te beschikken over inzichten, instrumenten, … met een directe bruikbaarheid voor de verschillende actoren (DBE, diensten DG-D, Attachés, partners van de bilaterale en indirecte samenwerking) die toelaten eenduidig te bepalen welke elementen nodig zijn om een interventie daadwerkelijk te kunnen evalueren (voor wat betreft de verschillende DAC criteria), maar ook ook aanduidingen kan geven rond de haalbaarheid en wenselijkheid van een evaluatie op een bepaald tijdstip in een gegeven context. Bij de uitwerking van het analysekader werd uitgegaan van een studie van Rick Davies in opdracht van DFID (Planning evaluability assessments: A synthesis of literature with recommendations). Intense reflecties in het studieteam hebben er evenwel toe geleid dat met name het tweede en belangrijkste deel van het studiekader in vergelijking met Davies’ benadering sterker is uitgediept. Concreet werd de volgende afbakening in drie componenten aangehouden voor de analyse van de praktische evalueerbaarheid:

• hoewel niet expliciet gevraagd in het bestek, is ervoor gekozen om bij deze analyse ook het interventie-ontwerp (inclusief de onderliggende veranderingstheorie) te bekijken dat via de theoretische evalueerbaarheid wordt geanalyseerd9;

• de praktijk m.b.t. de uitvoering en beheer van de interventie en de context (inclusief gebruik van menselijke en financiële middelen) vormt het tweede en belangrijkste onderdeel;

• de analyse van contextuele factoren is een derde aandachtspunt; deze factoren kunnen een rol spelen zowel op het vlak van het interventie-ontwerp als dat van de systemen om gegevens te genereren, als bij de (toekomstige) uitvoering van de evaluatie zelf.

8 Het is mogelijk dat dit element impliciet deel uitmaakt van de OESO-DAC definitie, maar helemaal duidelijk is dat niet. 9 Een goede kennis van het interventie-ontwerp is o.i. nodig om de kwaliteit van de bestaande informatieverzameling en M&E systemen te beoordelen, maar ook om een solide basis te creëren voor de analyse van de praktische evalueerbaarheid in het algemeen.


46

Het studiekader is opgenomen in bijlage 3 en werd tijdens de uitvoering lichtjes bijgesteld (zie hierna, punt 4). Verder werd besloten om het resultaat van de vorige drie stappen, dat een inzicht moet bieden in de praktische evalueerbaarheid, te vertalen in praktische (maar uiteraard vrijblijvende) suggesties voor het ontwerp van een toekomstige evaluatie en voor de aanpassing van het M&E systeem van de interventie, en bovendien aan de betrokken organisaties (c.q. interventies) te vragen in welke mate zij dit advies nuttig vinden naar de toekomst toe. Deze stappen werden voorgesteld overeenkomstig het gezegde ‘the proof of the pudding lies in the eating’: de toets van de daadwerkelijke waarde van de analyse van de praktische evalueerbaarheid ligt immers in wat er daadwerkelijk mee gebeurt, of kan gebeuren. Het was de bedoeling dat deze ‘extra’ oefening de bruikbaarheid van de studie zou verhogen, omdat de feedback zou toelaten om de eigenlijke analyse van de praktische evalueerbaarheid aan te scherpen. Bovendien kon deze extra stap de betrokken stakeholders extra motiveren om hun volle medewerking aan de studie te verlenen. Omdat sinds de start van de studie duidelijk was geworden dat de notie “evalueerbaarheid” vele reacties oproept en dat deze reacties de vlotte uitvoering van de studie niet steeds ten goede kwamen, werd besloten om een korte nota uit te werken (in het Nederlands en het Frans). Deze nota (4 blz. in totaal) beschrijft kort (1) doel, aard en omvang van de studie, (2) de noties van theoretische en praktische evalueerbaarheid, (3) de focus en aanpak van de studie, (4) de verdere uitwerking van de bepaling van evalueerbaarheid, en (5) enkele praktische punten. Deze nota is opgenomen aan het einde van deze bijlage.

4. De gegevensverzameling

De gegevensverzameling gebeurde via een combinatie van secundaire en primaire dataverzameling. Voor de secundaire data werd aan de voor de uitvoering van de interventies verantwoordelijke organisaties gevraagd om volgende documenten aan te leveren:

• het interventievoorstel (dat onderdeel kan uitmaken van een breder programma), het baseline verslag (indien een baseline werd uitgevoerd), uitvoeringsverslagen (bv. jaarverslagen, eindverslag), verslagen van studies en evaluaties;

• documenten m.b.t. het monitoring- en evaluatiebeleid van de betrokken organisatie (voor zover de organisatie over een M&E beleid beschikt) en m.b.t. de wijze waarop dit beleid eventueel werd uitgewerkt in M&E instrumenten.

De beperking van de documentatie tot de basisdocumenten is gerelateerd aan de keuze van het studieteam om per interventie vier werkdagen te voorzien om de evalueerbaarheid te bepalen, deze tijdsbesteding is grosso modo vergelijkbaar met de tijd die wordt uitgetrokken voor reële evaluaties op interventieniveau (inclusief de studie van de basisdocumentatie en intake gesprekken). Primaire data werden verzameld via interviews met de betrokken sleutelactoren en via focus groep discussies (FGD) die werden gevoerd op basis van een aantal sleutel-vragen. Voor de FGD werd in eerste instantie de deelname beoogd van de personen betrokken bij de 40 weerhouden interventies. In totaal werden 3 FGDs georganiseerd; één met de betrokken personen binnen de DG-D, één met de betrokken personen binnen BTC, en één met de betrokken personen van de NGAs. Andere vertegenwoordigers van de betrokken organisaties en in het thema geïnteresseerde personen werden eveneens de mogelijkheid geboden om deel te nemen aan de FGD. De respons op deze uitnodiging was erg divers: groot bij de NGAs (met deelname van enkele vertegenwoordigers van organisaties die niet rechtstreeks bij de studie zijn betrokken), volgens plan bij BTC en beneden verwachting bij DG-D. Naast inhoudelijke discussies was het voor het onderzoeksteam belangrijk inzicht te krijgen in hoe de actoren denken over deze problematiek, wat hun bezorgdheden en ook hun verwachtingen zijn. Ownership creëren was in die zin een belangrijke nevendoelstelling van de FGD. De richtvragen voor de FGD’s waren als volgt:

1. Het begrip “evalueerbaarheid” wordt tot nu toe niet frequent (of tenminste: niet expliciet) gebruikt in de dagelijkse praktijk van het ontwikkelingswerk. Klopt dat in uw


47

geval? Bent u tot nu toe – expliciet of impliciet - met “evalueerbaarheid” bezig geweest in uw werk?

2. Denkt u dat een meer bewust hanteren van het begrip “evalueerbaarheid” de kwaliteit van het ontwikkelingswerk (in het algemeen) ten goede kan komen? Waarom (niet)? Wat zijn de mogelijkheden, wat zijn de gevaren?

3. Kan een goed gebruik van het begrip “evalueerbaarheid” de praktijk van uw organisatie verbeteren? Zo ja, hoe; onder welke voorwaarden?

4. Welke factoren zijn volgens u het meest bepalend bij “evalueerbaarheid” en zouden tijdens deze studie een speciale aandacht moeten krijgen?

5. Hebt u concrete suggesties m.b.t. de uitvoering van de terrein-missies (inclusief het werk in België)?

In elk van de vier betrokken landen werden een aantal sleutelactoren geïnterviewd. De drie landen in het Zuiden werden elk gedurende drie weken bezocht. De gegevensverzameling gebeurde door teams samengesteld uit zuidelijke en noordelijke onderzoekers. In totaal waren bijna twee werkdagen per interventie (inclusief reistijd) beschikbaar. Sommige interviews gebeurden apart, andere brachten verschillende stakeholders samen. In de mate van het mogelijke organiseerden de onderzoekers nadien een korte en vertrouwelijke feedbacksessie, waarin ze hun eerste voorlopige bevindingen meedeelden en met de betrokkenen bespraken en een feedback-nota met de betrokkenen deelden. Deze konden op hun beurt de onderzoekers feedback geven. Aan het einde van de drie missies in het Zuiden, werd telkens een debriefing georganiseerd op de Belgische ambassade ten behoeve van de bij de interventies betrokken actoren. Tijdens deze sessie werden de voorlopige geaggregeerde bevindingen op het niveau van het land voorgesteld en besproken. Daarbij werd, overeenkomstig de eisen van het bestek, de anonimiteit van de interventies steeds gewaarborgd. In België werden de sleutelactoren van elke interventie eveneens bezocht, door één of twee onderzoekers. Ook in België werd een restitutie georganiseerd die voor vertegen-woordigers van de betrokken interventies, van DGD en van de DBE werd bijgewoond. Voor elk land werd een landennota opgesteld die alleen met de betrokken interventies en (voor de landen in het Zuiden) de ambassade werd gedeeld. De totale looptijd van de studie tot en met de afwerking van het eindverslag heeft ongeveer acht maanden in beslag genomen (van eind februari tot midden oktober 2015). De opstartperiode van de studie heeft verhoudingsgewijs veel tijd gevraagd omwille van het vrij atypische onderwerp van de studie. Verhoudingsgewijs veel tijd werd besteed aan een bespreking van de basisconcepten en benadering van de studie, onder meer via de uitwerking van een verklarende nota. De studie van de basisdocumenten vond vooral plaats in de periode maart – mei, met een piloot-veldbezoek naar Rwanda in april-mei en bezoeken naar Benin en DRC in mei-juni. De projecten in België werden vooral in juni en juli geanalyseerd. De redactie van het draft syntheserapport vond voornamelijk in juli en augustus plaats, waarna het draft eindrapport eind september in het begeleidingscomité werd besproken. Op cruciale scharniermomenten in het proces werden vergaderingen gehouden met een begeleidingscomité: bij de opstart van de studie, na het eerste veldbezoek en na de afwerking van het draft synthese-verslag.

5. Analyse van de gegevens De studie van documenten, FDG en eerste discussies met de betrokken actoren hebben de onderzoekers toegelaten om gaandeweg de focus van hun onderzoek bij te stellen en goed voorbereid de veldbezoeken aan te vatten die nieuwe inzichten aanbrachten die continu binnen het team werden gedeeld. De analyse in striktere zin gebeurde zowel op een globaal/synthetisch niveau als per interventie. Daarbij werd gebruik gemaakt van het analysekader dat aggregatie van de bevindingen mogelijk maakt. De verschillende componenten (9) en de 62 items van het studiekader werden gescoord op de relevante DAC criteria. Voor elke component (en elk item) werd een score gegeven die kon variëren van 1 tot 5, waarbij de waarde 1 werd toegekend voor een slecht presteren en een score 5 voor een goed presteren. Voor de eerste component


48

(De onderliggende analyse) werd zo – bijvoorbeeld - een score 1 gegeven als zulke analyse niet werd uitgevoerd/niet werd geschreven, terwijl een score 5 werd gegeven indien deze analyse goed en volledig was en de doelen van de interventie ondersteunde. Een score 3 betekende dan dat de analyse goed was ontwikkeld, maar onvolledig (bijvoorbeeld geen analyse van de genderrelaties). In sommige gevallen (de gearceerde cellen) werd geen score toegekend omdat er geen (of slechts een erg indirecte) relatie bestond tussen de component en het evaluatiecriterium. Om de subjectiviteit te beperken, werd (met uitzondering van 5 interventies in België) gescoord door (minstens) twee onderzoekers op basis van een rooster waarin voor elke component en item de score van 1 tot 5 werd gedefinieerd. Bij eventuele verschillen tussen de door de experten toegekende scores, werd via discussie naar overeenstemming gezocht (waarbij de argumentatie werd opgenomen in de fiche voor die interventie. De score van de 9 componenten gebeurde op twee manieren: vooreerst gaven de onderzoekers een score op basis van de omschrijving in het rooster, ongeacht de specifieke scores van de items die onderdeel uitmaken van de component; ten tweede werd een (ongewogen) gemiddelde berekend op basis van de scores van de items met betrekking tot die specifieke component. Overeenkomstig werden dus twee indexen bekomen op component niveau. Bij de verdere analysestappen werd vooral met de eerste index gewerkt. Enige voorzichtigheid is geboden bij de interpretatie van scores: deze kunnen niet worden geïnterpreteerd als absolute waardes en kunnen alleen gebruikt worden voor interne vergelijkingsdoeleinden. De scoreaanpak maakt het dus mogelijk om snel een overzicht te krijgen van de relatieve evalueerbaarheid van elke interventie en om de 40 interventies onderling te vergelijken. De scores kunnen echter geen uitspraak doen over de evalueerbaar-heid in absolute termen. Op basis van de scores voor 40 verschillende interventies, zijn indexen berekend voor elk van de items en componenten, voor elk van de vijf DAC criteria (indien van toepassing). Hoewel de 40 interventies vaak kon worden gescoord op alle items, werden een aantal 'niet van toepassing' scores toegekend. Dit was onder andere het geval voor component 1.4 “De consistentie en adaptatie van de interventielogica en veranderingstheorie” die alleen werd gescoord in geval er in de interventie effectief veranderingen hadden plaatsgevonden. Eveneens werd het studiekader lichtjes aangepast omdat bleek dat rond bepaalde punten onvoldoende betrouwbare informatie kon verzameld worden. Deze punten werden dan uit het kader verwijderd en niet meegenomen in de uiteindelijke analyse. De resultaten van de analyses van de 40 interventies werden samengebracht in een gegevensbestand om statistische analyse en verwerking mogelijk te maken (zie bijlage 7 voor meer details).

Bijlage: Enkele basisgegevens m.b.t. de “Studie van de praktische evalueerbaarheid

van ge-(co)financierde interventies van de Belgische Samenwerking”

1. Doel, aard en omvang van de studie

Het gaat om een studie, niet om een evaluatie. De eerste twee fasen van de studie werden reeds uitgevoerd door de Dienst Bijzondere Evaluatie en concentreerden zich voornamelijk op de “theoretische evalueerbaarheid”. De derde fase, waarvan de uitvoering nu is gestart, richt zich voornamelijk op de “praktische evalueerbaarheid”10. Het voornaamste doel van de studie is om bij te dragen aan een betere evalueerbaarheid van alle acties van de Belgische samenwerking. Als zodanig ligt, bij de uitvoering van de studie, sterk de nadruk op het toekomstig gebruik van de resultaten. Dit wordt onder punten 3 en 4 nader uitgewerkt. De studie betreft in totaal 40 interventies, die in vier landen worden uitgevoerd: België, Benin, Democratische Republiek Congo (DRC) en Rwanda (10 interventies per land). Naast praktische overwegingen, werden bij de samenstelling van de steekproef vooral het interventiekanaal (bilaterale samenwerking, indirecte samenwerking via NGA’s, samenwerking 10 Theoretische en praktische evalueerbaarheid worden in punt 2 nader toegelicht.


49

via universiteiten, APEFE/VVOB en BIO, …) en de interventiesector als parameters voor de selectie gebruikt. Grotere interventie-kanalen zijn ondervertegenwoordigd in de steekproef en kleinere oververtegenwoordigd. De resultaten van de analyses op interventieniveau zullen confidentieel worden behandeld en enkel worden gedeeld en besproken met de rechtstreeks bij de interventie betrokken actoren. Op het boven-interventie niveau zullen de resultaten van de verschillende interventies worden samengebracht en op anonieme wijze geanalyseerd.

2. Theoretische en praktische evalueerbaarheid: een afbakening

De OESO DAC definitie van evalueerbaarheid wordt het meest gebruikt: Evalueerbaarheid is de mate waarin een activiteit of project kan worden geëvalueerd op een betrouwbare en geloofwaardige wijze (Evaluability is the extent to which an activity or project can be evaluated in a reliable and credible fashion). Andere definities voegen evenwel aan de DAC definitie een belangrijk element toe door ook naar de praktijk te kijken en te stellen dat het bepalen van de evalueerbaarheid moet toelaten te bepalen of een evaluatie verantwoord en uitvoerbaar is, en nuttige informatie kan opleveren. Dit impliceert dat bij de analyse van de evalueerbaarheid wordt nagegaan in hoeverre een bijdrage tot de verbetering van het beheer en van de resultaten van de actie kan worden geleverd. Beide definities zijn gekoppeld aan het onderscheid tussen “theoretische evalueerbaarheid” en “praktische evalueerbaarheid”. De theoretische evalueerbaarheid betreft de evalueerbaarheid ‘in principe’, zoals die vooral uit het projectontwerp kan worden afgeleid, zonder te kijken naar de eigenlijke praktijk. De praktische evalueerbaarheid wil daarentegen nagaan of - bijvoorbeeld – gegevens in verband met de voortgang van de actie effectief zijn verzameld en of M&E systemen daadwerkelijk worden gebruikt; is dit het geval dan is de kans immers groot dat wordt bijgedragen tot verbetering van beheer en resultaten van de actie. Bij de analyse van de praktische evalueerbaarheid wordt op die wijze snel de brug gemaakt naar de bepaling van het (praktische) nut van een evaluatie. Vanuit het bovenstaande willen wij evalueerbaarheid vooral als een continuüm benaderen: hoogstwaarschijnlijk is geen enkele interventie perfect in al haar facetten evalueerbaar, maar evenmin zullen er interventies zijn die helemaal niet geëvalueerd kunnen worden. Verder kan een evaluatie vele aspecten van de interventie betreffen (de vijf klassieke DAC criteria11, maar ook andere criteria), maar hoeft ze die niet steeds allemaal mee te nemen. Daarbij is het evident dat de evalueerbaarheid van elk criterium tot op zekere hoogte andere eisen stelt; zo wordt bijvoorbeeld bij projecten programma-evaluaties dikwijls van een evaluatie van impact afgezien, omdat die erg veeleisend is. Daarenboven spelen de voor een evaluatie beschikbare middelen een belangrijke rol in het bepalen van de mate van evalueerbaarheid: hoe meer middelen beschikbaar, hoe beter een interventie kan geëvalueerd worden. Tenslotte is evalueerbaarheid ook verbonden met het doel van de evaluatie. Evaluaties kunnen immers verschillende doelen (rekenschap afleggen, lessen trekken, ondersteunen toekomstig beleid) nastreven, maar die doelen hoeven niet steeds even prominent in elke evaluatie aanwezig te zijn. Staat bijvoorbeeld ‘lessen leren’ centraal, dan stelt dit andere eisen naar evalueerbaarheid dan wanneer ‘verantwoording afleggen’ de hoofdbekommernis vormt. En als we het nog breder willen bekijken, heeft evalueerbaarheid ook met het evaluatiebeleid te maken en dient, bijvoorbeeld, een afweging te worden gemaakt tussen “meer” of “beter” evalueren. Men kan er bijvoorbeeld voor kiezen om niet alle acties te evalueren, maar juist de (beperkte) middelen gerichter te gebruiken (bijvoorbeeld voor de evaluatie van innovatieve acties).

11 Relevantie, effectiviteit, efficiëntie, impact en duurzaamheid.


50

3. Focus en aanpak van deze studie

Voor deze studie is vooral de praktische evalueerbaarheid van belang. Het is de bedoeling deze na te gaan op het niveau van 40 interventies waarvan de uitvoering veelal reeds over ‘halfweg’ is (of die een vervolgfase zijn van een eerdere interventie). Het studiekader onderscheidt drie onderdelen:

• de analyse van het interventie-ontwerp, inclusief de onderliggende veranderingstheorie (de theoretische evalueerbaarheid);

• de analyse van de beschikbare gegevens en hun kwaliteit, en van de onderliggende systemen (inclusief gebruik van menselijke en financiële middelen) die de gegevens genereren; deze analyse vormt het belangrijkste onderdeel;

• de analyse van contextuele factoren; deze factoren worden vrij ruim bekeken en hebben betrekking op alle elementen buiten de specifieke interventie-context (dus niet alleen de sociale, economische, culturele, politieke, veiligheids-, … context, maar bijvoorbeeld ook de cultuur van de bij de uitvoering van de interventie betrokken groepen en organisaties, de invloed van financierende instellingen, …).

Belangrijk om te vermelden is dat het resultaat van de analyse zal vertaald worden in praktische (maar voor de betrokken organisaties uiteraard vrijblijvende) suggesties voor het ontwerp van een toekomstige evaluatie en voor de aanpassing van het M&E systeem van de interventie, en dat bovendien aan de betrokken organisaties zal gevraagd worden in welke mate zij dit advies nuttig vinden naar de toekomst toe. Op die wijze hoopt het studieteam dat deze stap de toets gaat vormen van de daadwerkelijke waarde van de analyse van de praktische evalueerbaarheid. Verder zal deze bijkomende oefening de bruikbaarheid van de studie verhogen, omdat de verkregen feedback zal toelaten om de eigenlijke analyse van de praktische evalueerbaarheid aan te scherpen. Bovendien hopen we dat deze extra stap de betrokken organisaties extra zal motiveren om hun volle medewerking aan de studie te verlenen.

4. Verdere uitwerking van de bepaling van de evalueerbaarheid

Aansluitend op de hierboven uitgewerkte punten zijn volgende punten erg belangrijk:

• Er bestaat geen verband tussen de mate van evalueerbaarheid van een interventie en de (ontwikkelings-)waarde van die interventie. Met andere woorden: het is perfect mogelijk dat erg waardevolle interventies moeilijk evalueerbaar zijn. Evalueerbaarheid heeft immers veel te maken met de aard en de context van de interventie. Zo zijn bijvoorbeeld de uitdagingen om interventies te evalueren die de empowerment van vrouwen nastreven doorgaans groter dan bij interventies die zich met drinkwatervoorziening bezig houden. Dit kan onder andere worden verklaard vanuit het gegeven dat “empowerment” iets helemaal anders kan betekenen voor de verschillende betrokken actoren, dat het om een iteratief proces gaat met verschillende dimensies en fasen, … terwijl het relatief eenvoudig is om het eens te raken over de betekenis van “drinkwatervoorziening”.

• Voortbouwend op het vorige punt bestaat het gevaar dat het (kost wat kost) willen evalueerbaar maken van interventies ingaat tegen de essentie van ontwikkeling zoals die via bepaalde interventies wordt nagestreefd. Het legitieme streven naar grotere evalueerbaarheid mag dus niet ten koste gaan van, bijvoorbeeld, het innovatieve en open-ended karakter van interventies die nieuwe benaderingen proberen uit te werken. Evalueerbaarheid verhogen is een middel, geen doel.


51

• Waarin ligt dan het belang van de evalueerbaarheid; hoe kan grotere evalueerbaarheid bijdragen tot een grotere kwaliteit van ontwikkelingsacties? Er kunnen verschillende motieven spelen in dit verband:

o Betere selectie van te evalueren interventies. Het is onmogelijk en inefficiënt om alle interventies te (willen) evalueren. Selectie is dus nodig en die gebeurt best op basis van een goede analyse waarvan “evalueerbaarheid” een belangrijk onderdeel kan vormen.

o Bijsturing van lopende interventies. Er ligt een belangrijke meerwaarde in het kunnen aanduiden (ten behoeve van de betrokken actoren) van de sterke en zwakke punten m.b.t. de evalueerbaarheid van een betrokken interventie (bv. mate waarin veranderingstheorie logisch is opgebouwd, mate waarin relevante baseline informatie werd verzameld, mate waarin het lokaal M&E kader/systeem wordt geïmplementeerd; mate waarin de lokale/nationale context openstaat voor onafhankelijke evaluatie; etc.). Dit biedt de betrokkenen de mogelijkheid om een aantal zaken bij te sturen tijdens de uitvoering van de interventie.

o Beter beheer en evaluatiebeleid. Een gedetailleerd overzicht van de verschillende dimensies van evalueerbaarheid laat ook toe om meer gerichte keuzes te maken voor het versterken van specifieke elementen van beheer op organisatievlak en kan een belangrijke input zijn in het uitwerken van een evaluatiebeleid/plan binnen een organisatie.

o Goede inbedding van leren en verantwoording afleggen. De bij een interventie direct en indirect betrokken actoren (organisaties verantwoordelijk voor de uitvoering, doelgroepen, donoren, het brede publiek) kunnen baat vinden bij een vergroten van de evalueerbaarheid omdat op die wijze een meer solide basis wordt gelegd voor aan de evaluatie gekoppelde processen van leren en verantwoording afleggen.

• Verder lijken ook volgende punten van belang: o Het is belangrijk om goed het onderscheid tussen “evalueerbaarheid” en

“wenselijkheid om te evalueren” te maken; dit laatste zal onder meer bepaald worden vanuit de aard van de actie en de bestaande beleidsintenties. Het is bv. mogelijk dat het niet wenselijk is om interventies die makkelijk evalueerbaar zijn (bijvoorbeeld interventies die een roll-out zijn van reeds veelvuldig geteste en geëvalueerde interventies) te blijven evalueren tot op het niveau van de impact, terwijl het vanuit een ‘lerende’ intentie wel wenselijk kan zijn om meer energie te besteden aan het evalueren van innovatieve interventies die veelal moeilijker evalueerbaar zijn.

o Met name de financierende overheden moeten vermijden om niet of moeilijk te evalueren interventies niet of minder te gaan financieren (zie hoger, mate van evalueerbaarheid zegt in wezen niets over de ontwikkelingswaarde van een interventie).

o De uitgaven die nodig zijn om een interventie grotendeels evalueerbaar te maken, kunnen erg hoog oplopen; het komt er daarom op aan een goede trade-off te vinden tussen die kost en de evalueerbaarheid (eveneens rekening houdende met de wenselijkheid van de evaluatie).

• Tenslotte zal het studieteam erg behoedzaam zijn met het formuleren van suggesties en aanbevelingen op interventieniveau. Evenwel denken we dat er op het boven-interventieniveau patronen zullen gevonden worden die zullen toelaten om in globale zin een aantal factoren aan te duiden die de evalueerbaarheid positief en negatief beïnvloeden. Het kan daarbij gaan om elementen die reeds in het studiekader zijn opgenomen en andere factoren die tijdens de uitvoering van de studie naar voor zullen komen.


52

Annexe 3: Cadre d’étude

Pert

inen

ce

Eff

icacit

é

Eff

icie

nce

Im

pact

Du

rab

ilit

é

1. Analyse du plan de projet

1.1 L’analyse sous-jacente X X

1.1.1 Les groupes cibles sont clairement délimités et décrits X X

1.1.2 Le bien fondé de l’intervention et la situation (problématique) de l’intervention sont clairement décrits

X

1.1.3 Le rôle du (des) groupe(s) cible(s) est clairement décrit X X 1.1.4 Le rôle des acteurs concernés majeurs (en dehors du groupe

cible) est clairement décrit X X

1.1.5 L’analyse genre fait partie intégrante de l’analyse sous-jacente

X X

1.1.6 Le lien entre l’analyse sous-jacente et les objectifs de l’intervention est clairement décrit

X

1.1.7 Le lien entre le bien fondé de l’intervention et la politique sectorielle du pays partenaire est clairement décrit

X

1.2 La logique d’intervention et la théorie de changement X X X X X

1.2.1 Il existe une distinction claire et correcte entre les outputs, outcomes (effets) et impact

X X

1.2.2 La théorie de changement à partir des inputs jusqu’aux outcomes et l’impact final est clairement développée

X X

1.2.3 La théorie de changement est logique et réaliste X X X 1.2.4 Des maillons critiques et cruciaux de la chaine sont identifiés

et peuvent être testés X X X

1.2.5 La théorie de changement contient des mesures concrètes (au niveau des inputs, activités et outputs) qui doivent assurer la durabilité des bénéfices de l’intervention

X

1.2.6 Les risques internes sont clairement signalés et analysés/appréciés

X X X X

1.2.7 Les hypothèses externes sont clairement signalées et analysées/appréciées

X X X X X

1.2.8 L’allocation des moyens prévus (investissements, frais de fonctionnement, frais de personnel, autres inputs des parties prenantes) aux outputs est claire

X

1.3 Le système S&E proposé X X X X X

1.3.1 Les résultats majeurs envisagés de l’intervention sont bien opérationnalisés

X X X X

1.3.2 Là où cela est nécessaire/pertinent, les indicateurs sont spécifiés selon le sexe ou selon un autre paramètre pertinent

X X X X

1.3.3 Le système S&E proposé contient une opérationnalisation consistante de la logique d’intervention et la théorie de

X X X X X


53

Pert

inen

ce

Eff

icacit

é

Eff

icie

nce

Im

pact

Du

rab

ilit

é

changement sous-jacentes

1.3.4 L’approche de suivi et d’évaluation de la réalisation des résultats de l’intervention et de leur durabilité est clairement décrite

X X X X X

1.3.5 L’approche de suivi des hypothèses est clairement décrite X X X X X 1.3.6 L’approche de suivi des risques internes est clairement

décrite X X X X X

1.3.7 Les ressources personnelles et financières du système S&E sont clairement décrites

X

1.3.8 Le système MIS (système d’information de gestion) permet une allocation des dépenses aux outputs et composantes spécifiques de l’intervention

X

1.3.9 La façon selon laquelle le système S&E s’articule par rapport aux systèmes de S&E national/local est bien décrite

X X X X X

1.4 Consistance et adaptation de la logique d’intervention et la théorie de changement

X X X X X

1.4.1 Des changements éventuels dans la logique d’intervention et la théorie de changement sous-jacente sont bien indiqués et argumentés

X X X X X

1.4.2 L’information est disponible sur la vision et les opinions des parties concernées les plus importantes quant aux changements éventuels dans la logique d’intervention et la théorie de changement

X X X X X

1.4.3 Des changements éventuels dans la logique d’intervention et la théorie de changement sont intégrés de façon adéquate dans le système S&E

X X X X X

2. La pratique de mise en oeuvre de l’intervention, de gestion de l’intervention et la prise en compte du contexte

2.1 Information de base quant à la mise en oeuvre de l’intervention

X X X X X

2.1.1 Les documents de base (attendus) sont disponibles X X X X X 2.1.2 L’information de base (en ligne avec la logique

d’intervention) concernant le groupe cible est disponible X X X X

2.1.3 L’information de base (en ligne avec la logique d’intervention) concernant le counterfactual est disponible

X X X X

2.1.4 L’information de base est disponible quant aux indicateurs pertinents est spécifiée selon le genre et/ou autres paramètres pertinents

X X X

2.1.5 L’information (attendue) est disponible quant au progrès vers la réalisation des objectifs de l’intervention

X X X

2.1.6 L’information quant à la participation du groupe cible initial est disponible

X X X X X

2.1.7 L’information quant à la collecte de données liées aux indicateurs est disponible

(x) X X X X

2.1.8 Le plan/la proposition de collecte de données permet en principe une collecte fiable des données en relation avec les indicateurs

(x) X X X X

2.1.9 L’information est disponible quant au suivi des risques internes et les conséquences éventuelles pour la logique d’intervention et la mise en oeuvre du projet sont indiquées

X X (X) (X)


54

Pert

inen

ce

Eff

icacit

é

Eff

icie

nce

Im

pact

Du

rab

ilit

é

2.1.10 L’information est disponible quant au suivi des hypothèses et les conséquences éventuelles pour la logique d’intervention et la mise en oeuvre du projet sont indiquées

X X X (X) (X)

2.1.11 Les dépenses de l’intervention sont bien enregistrées/ documentées et peuvent connectées aux outputs

X

2.2 Le système S&E (dans la pratique) X X X X X 2.2.1 La vision sur et le rôle du suivi et des évaluations (S&E et

évaluations indépendantes) sont claires X X X X

2.2.2 Suffisamment de temps, ressources et personnel ont été prévus pour un fonctionnement adéquat du système S&E

X X X X X

2.2.3 Les responsabilités et procédures quant à la collecte et l’analyse des données S&E sont claires

X X X X X

2.2.4 Les responsabilités et procédures quant à la prise de décision sur base de l’analyse des données S&E sont claires

X X X X X

2.2.4 bis

Les parties concernées les plus importantes sont d’accord avec le système S&E proposé (y inclus leur rôle dans ce système)

X X X X X

2.2.5 Le personnel en charge du S&E est compétent et indépendant

X X X X X

2.2.6 Le système S&E de l’intervention est articulé avec le système S&E national/local

X X X X X

2.2.7 Il existe une motivation interne pour la gestion stratégique et l’apprentissage

X X X X X

2.2.8 Les résultats du S&E sont effectivement utilisés pour l’apprentissage

X X X X X

2.2.9 Les résultats du S&E sont effectivement utilisés pour rendre compte (pour assurer la redevabilité)

X X X X X

2.2.10 Des évaluations et/ou études ont été faites qui sont de bonne qualité et ont fourni des informations utiles (relative to what could have been expected)

X X X X X

2.2.11 La qualité du système S&E est régulièrement revue et le système est éventuellement adapté

X X X X X

3. Le contexte de l’évaluation (évaluation indépendante)

3.1 Attitude des acteurs clés X X X X X 3.1.1 Les utilisateurs les plus importants de l’évaluation ainsi que

leurs attentes/intérêts par rapport à l’évaluation ont été clairement définis.

X X X X X

3.1.2 Les acteurs clés sont partie requérante d’une évaluation (ou au moins intéressées)

X X X X X

3.1.3 Les attentes des acteurs clés par rapport à l’évaluation (processus et résultats) sont mutuellement compatibles

X X X X X

3.1.4 Les attentes des acteurs clés par rapport à l’évaluation sont réalistes (compte tenu des moyens disponibles)

X X X X X

3.1.5 Les utilisateurs les plus importants sont associés/seront associés au processus d’évaluation

X X X X X

3.1.6 Les parties concernées les plus importantes (y inclus les groupes cibles) sont associées/seront associées au processus d’évaluation

X X X X X

3.1.7 Les relations parmi les acteurs clés sont “saines” X X X X X

3.1.8 Il est possible de contacter les acteurs clés sans que le risque existe qu’ils s’influencent mutuellement

X X X X X


55

Pert

inen

ce

Eff

icacit

é

Eff

icie

nce

Im

pact

Du

rab

ilit

é

3.1.9 Tous les acteurs clés ont une attitude positive par rapport à l’évaluation indépendante

X X X X X

3.2 Le contexte plus large X X X X X 3.2.1 Le contexte institutionnel et politique plus large est positif

par rapport à des évaluations indépendante X X X X X

3.2.2 Le contexte socio-culturel au niveau des groupes cibles rend possible une collecte correcte de l’information

X X X X X

3.2.3 L’expertise locale avec le profil requis est disponible pour l’évaluation

X X X X X

3.3 Eléments pratiques


56

Annexe 4: Liste des 40 interventions

Land/

Pays Titel/entitulé Uitvoerder/

Responsable de la mise en oeuvre

1 België Programme ''Trade for Development Centre'' 2014-2017

BTC/CTB

2 België Programmes pluri-annuels 2014-2016 : Distance and blended learning

ITG

3 België Olie drijft boven. Leerlingen tonen scholen de weg naar duurzaamheid

Bos+

4 België NGO Geneeskunde voor de Derde Wereld - programma 2014-2016

ONG Médecine pour le Tiers Monde

5 België Autre Terre - prog. 2014-2016: Volet Nord - Education au développement

ONG Autre Terre

6 België ONG OXFAM WERELDWINKELS - programme 2014-2016 - België

ONG Oxfam Wereldwinkels

7 België ITECO Programme 2014-2016 ONG ITECO 8 België NGO Rode Kruis-Vlaanderen Internationaal -

programma 2014-2016 / België ONG Rode Kruis-Vlaanderen Internationaal

9 België UNICEF Belgique Programme 2014-2016/ Volet Nord Belgique

ONG UNICEF - Belgique

10 België Noordactiviteiten - sensibilisering - Reisbeurzen studenten (REI)

VLIR-UOS

1 Benin Projet d'appui au renforcement des zones et départements sanitaires du Mono-Couffo et de l'Atacora-Donga - PARZS (opvolging in PASS)

BTC/CTB

2 Benin Facilité d'appui aux investissements agricoles dans les départements du Mono, du Couffo, de l'Atacora et de la Donga – FAIA

BTC/CTB

3 Benin Fonds d'études et de consultances BTC/CTB 4 Benin Le renforcement du système de santé périphérique au

Bénin dans le contexte de la lutte contre la pauvreté (Programme 2014-2016)

Memisa

5 Benin Programme d'amélioration du revenu et de la sécurité alimentaire des familles de Cobly, Matéri et Boukoumbé (PARSA-CMB) (Programme triennal 2014-2016)

Iles de Paix

6 Benin Echange et diffusion de technologies durablement appropriables pour une Sud plus entrepreneurial et moins dépendant (programme 2011-2014)

CODEART

7 Benin Renforcer l’économie locale à travers l’aménagement du marché (Dogbo) (VVSG 2014-2016)

VVSG/Roeselare

8 Benin Syndicaal Programma 2012-2014 IFSI/ISVI Benin ISVI 9 Benin Programma 2014-2016 (Benin) Vredeseilanden 10 Benin PACCTE MONO en PACCTE CORRIDOR Plan België


57

Land/ Pays

Titel/entitulé Uitvoerder/ Responsable de la mise en oeuvre

1 Congo Projet d'appui institutionnel à la Direction d'Etudes et Planification du Ministère de la Santé en République Démocratique du Congo : Phase de consolidation des acquis (DEP III)

BTC/CTB

2 Congo Programme de soutien au secteur de l¿Enseignement Technique et Formation Professionnelle (ETFP) dans le bassin d'emploi Mutshatsha - Lubudi - Kolwezi - Likasi - Lubumbashi - Sakania (Pro-EFTP-Katanga). (EDUKAT)

BTC/CTB

3 Congo ONG Artsen Zonder Vakantie/Médecins sans vacances - Programme 2014-2016 /RD Congo

ONG Médecins Sans Vacances

4 Congo ONG RCN - 2014-2016 - RDC - Projet ''Pour une meilleure sécurité juridique en République Démocratique du Congo''

ONG RCN Justice & Démocratie

5 Congo Renforcement des capacités d'action politique des Organisations de Producteurs Agricoles et de leurs fédérations nationale et provinciales en RD Congo

ONG TRIAS

6 Congo Le Monde selon les Femmes M/F Programme 2014-2016 / République Démocratique du Congo - Objectif 1

ONG Le Monde Selon lesFfemmes

7 Congo APEFE - Programme 2014-2016 / République Démocratique du Congo - Objectif 1 (Education 1)

APEFE

8 Congo IIAV Syndicaat -Sociale dialoog voor waardig werk - Institut d'Education Ouvrière Internationale - programme 2012-2014

Syndicat IEOI - vakbond IIAV

9 Congo Advance Banque RDC BIO 10 Congo Projet Interuniversitaire Cible (PIC) 2011 Consolidation

de la première école de criminologie en RDC et création de partenariats dans la région des Grands Lacs

CIUF

1 Rwanda Support to the SPAT II: Market oriented advisory services and quality seeds

BTC/CTB

2 Rwanda Projet d'Appui à la Reforestation dans les provinces de l'Est et du Nord (PAREF - 2è phase)

BTC/CTB

3 Rwanda Appui Institutionnel au Ministère de la Santé - Phase IV BTC/CTB 4 Rwanda Support to the Public Sector Capacity Building

Secretariat (PSCBS)- Support to Strategic Approach to Capacity Building

BTC/CTB

5 Rwanda ARES-CCD COOPERATION UNIVERSITAIRE INSTITUTIONNELLE 2014 Rwanda

CIUF

6 Rwanda VVOB Education for development 2014-2016 - Rwanda

VVOB

7 Rwanda Projet d'appui a la sécurité alimentaire au Bugesera, PASAB II

ONG Caritas Belgique Secours International

8 Rwanda NGO Protos - Programma 2014-2016 - RWANDA ONG PROTOS 9 Rwanda ONG Lumière pour le Monde - 2014-2015 - Rwanda -

Projet ''Rendre la vue au Rwanda : prévention et traitements des problèmes de vues''

ONG Lumière pour le Monde

10 Rwanda BIO - Expertise Fund - Rwanda Mountain Tea - Rwanda BIO


58

Annexe 5: Liste des documents consultés les plus importants

Documents globaux

• Dahler-Larsen, P., Evaluation as a situational or a universal good? Why evaluability assessment for evaluation systems is a good idea, what it might look like in practice, and why it is not fashionable, Scandinavian Journal of Public Administration, 16 (3); 29-46.

• Davies, R., Payne, L., Evaluability Assessments: Reflections on a review of the literature, Sage Journals, Evaluation, April 2015 21(2): 216-231.

• Davies, R., Planning Evaluability Assessments, A synthesis of the literature with recommendations, Report of a Study commissioned by the Department for International Development, DFED Working Paper 40, October 2013, 48 p.

• DG Ontwikkelingssamenwerking en Humanitaire Hulp, Strategienota Ontwikkelingsresultaten, 17 p.

• D’Ostie-Racine L., Dagenais C., Ridde V., An evaluability assessment of a West Africa based Non-Governmental Organisation’s (NGO) progressive evaluation strategy, Evaluation and Program Planning 36 (2013), p. 71-79.

• Juvenile Justice Evaluation Centre, Justic Research and Statistics Association, Office of Juvenile Justice and Delinquency Prevention, Evaluability Assessment: Examining the Readiness of a Program for Evaluation, Program Evaluation Briefing Series # 6, May 2003, 15 p.

• OECD/DAC (2002). Glossary of Key Terms in Evaluation and Results Based Management. Paris: OECD/DAC.

• Peersman G., Guijt I., Pasanen T., Evaluability Assessment for Impact Evaluation, Guidance, checklists and decision support, Methods Lab, Publication, ODI, August 2015.

• Pritchett, L., Samji, S., Hammer, j., It’s All About MeE: Using Structured Experiental Learning (“e”) to Crawl the Desing Space, Center for Globao Development, Working Paper 322, april 2013, 52 p.

• Rossi P.H., Lipsey M.W. and H.E. Freeman (2004). Evaluation: a systematic approach, 7th edition, Thousand Oaks: Sage, Bamberger M., J. Rugh, M. Church and L. Fort (2004). “Shoestring evaluation: designing impact evaluations under budget, time and data constraints”, American Journal of Evaluation 25 (1): 5-37.

• Trevisan, M.S., Evaluability Assessment from 1986 to 2006, American Journal of Evaluation, Vol. 28 No. 3, September 2007, p. 290-303.

• UN Women, Guidance Note on Coarrying Out an Evaluability Assessment, Evaluation Guindance Note Series, December 2009, No. 4, 5 p.

Documents liés aux interventions

Pour chacune des interventions retenues (voir annexe 4) un paquet de documents de base a été consulté, incluants les documents suivants (pour autant que ceux-ci étaient disponibles):

• le plan d’intervention; • le baseline • les rapports de mise en oeuvre • les rapports d’évaluation • documents liés au S&E (plan et pratique)


59

Annexe 6: Liste des personnes contactées les plus importantes

Interventions en Belgique

BOS+ • Thibaut Joris, Projectmedewerker BOS+

Autre Terre

• Anne-Sophie Reynders, responsable du S&E

Oxfam Wereldwinkels • Arne Schollaert, dienst politiek beleid, Zuid- en jongerenwerking

RK-Vlaanderen Internationaal

• Linde Mues, PMER verantwoordelijke • Bie Van Giel, medewerker AIS • Laura De Grève, medewerker IHR

VLIR-UOS

• Koen De Koster, Programme Officer South • Stijn De Roover, Programme Officer North

Unicef Belgique

• Pascale Recht

ITG/IMT • Jan Coenen • Maria Zolfo

Trade Development Centre (BTC)

• Samuel Poos • Steven De Craen

M3M

• Géraldine Malaise

ITECO • Vincent Stevaux

Interventions au Bénin

Ambassade de Belgique

• Azandjeme Annick, CP • Heuts Marie, Attaché CI • Pont Jean-Louis, Chef de Coopération


60

CTB

• Francoys Michel, Représentant CSA Bénin

• Yavohedje Robert, Coordonnateur Principal du projet • Choupa Wilfird, Coordonnateur projet • Amoussou Anselme

ESAM

• Kpade Firmine Seth, Experte en Droits de l’Enfant • Adanhode Sylvie-Flore, Chargé de Programme • N’ledji Gbedji Damine, Coordonnateur PACCTE Corridor

VECO

• Azagnandji Herman, CP VECOWA Bénin • Etekpo Fautin, Président UNIRIZ-C • Adippeto Thierry, Coordonnateur UNIRIZ-C • Mouansou Emile, Secritarie Général CCR-B • Batcho Léontine, Présidente URFER-C • Iwikotan Mathuri, Préisdent CCR-B

Plan Bénin

• Glele Dobossou, Directrice Adjointe des Programmes • Abibou Mamadou • François Godonou • Sylvain Ogoudele • Vincentia Glele

Roeselare/Mairie de Dogbo

• Acakpo Codjo, VVSG Association des oeuvres flamandes • N’Bouke S.T. Borgia, SG, Coordonnateur Coopération décentralisée • Sodjinou, Chef service Mobilisation des ressources

Iles de Paix/PARSA

• Soulemane Mamadou, CP • Jean Christophe Menard, Directeur Résident • Pascal Gbai, responsable programme transversal

Memisia/AMCES

• Pascal Dossou Togbe, Directeur BEC/AMCES • Camille D. Houessou, Comptable BEC/AMCES • Mama Djibril Issa, Coordonnateur URAMA/AMCES

CODEART/LAMS

• Agohoui Valérie, animateur • Agbohoui Eusèbe, animateur • Dahou Jocelyn, RAF/LAMS • Abbé Gatien Amouzou, responsable projet

FAIA/CTB

• Tossavi Joseph, UFAI/CONAFIL • Wilma Baas, UAC/FAIA.MAEP • Edwin, Chargé de programmes, CTB • CARDER Mono Couffo (plusieurs personnes) • Unité Régionale des producteurs du Mono et du Couffo (plusieurs personnes)

PARDZS/CTB


61

• Dr. René Pare, CTR • Raphaël Maldague, AT Junior • Kashala Ilunga Jean-Pierre, CTI • Dr. Goundote S. Aimé, C/SPIRS DDS Mono Couffo FEC/CTB

• Sybille, AT CTB, FEC • Virgilie Worou, DAPP-MFASSNHPTA

Interventions en RDC

Ambassade de Belgique • Annelies De Backer, Ministre-Conseiller, Coopération au Développement • Koen Van Acoleyen, Attaché de Coopération au Développement

CTB

• Bart Uytendaele CSC/IEOI

• Josée Shimbi Umba, Vice-Présidente CSC • Adolphe Nsombi Nzuzi, responsable bureau d’études cellule économique CSC • Dieudonné Bonzele Sozinya, responsable formation CSC • Jean Bedel Nundula Ndamb-Ya-Tshite, Vice Président CSC • Pierre Emmanuel Monsengo N’Gankoy, Vice-Président CSC • Marcel K., secrétaire de la fédération provinciale du Bas-Congo (centrales

professionnelles) • Samy Ngatu Ntanini, secrétaire Provincial Professionnel du Bas-Congo

(interprofessionnel) APEFE

• David Gaquere, coordinateur RDC • Guylain Mbuku, Assistant Technique, Programme d’appui à l’insertion socio-

professionnelle des jeunes issus de l’ETFP, Matadi • Richard Kasale, Assistant Technique, Programme d’appui à l’insertion socio-

professionnelle des jeunes issus de l’ETFP, Lubumbashi TRIAS

• Albert Matanga Muntu, Directeur Pays a.i. • Jean-Loïc Guièze, Directeur Pays adjoint a.i., Coordinateur “Synergies et

Complémentarités” • Bruno Kalondji, chargé de programmes • Thomas Yobila, Secrétaire Exécutif a.i., FOPAKO (Force Paysanne du Congo Central) • Jean Pierre Mangovo, chargé de projet, FOPAKO • Donation Malonda, vice-président, chargé du plaidoyer, FOPAKO

DEP

• Alain Mboko Iyeti, Directeur ad intérim • Jean Bertin Epumba Epondo, Directeur Adjoint

MSV

• Kash Karubara Marcellin, Représentant Régional Région des Grands Lacs • Dolores Nembunzu, Médecin Directeur, Hôpital Saint-Joseph, Kinshasa • Nestor Letumu, Directeur Financier, Hôpital Saint-Joseph, Kinshasa • Sr. Marie-Josée Mayinga, Directeur Administratif, Hôpital Saint-Joseph, Kinshasa • Sœur Solange, infirmière, centre Wote Pamoja, Lubumbashi, • Laurent Kabili, responsable atelier, centre Wote Pamoja, Lubumbashi


62

RCN

• Gaëlle Vandeputte, Chef de mission RDC • Participants à l’atelier préparatoire des formations sur les mécanismes de protection

des libertés fondamentales CONAFED/REFED

• Jeanne Nzuzi, Secrétaire Permanente, CONAFED • Eugène Minga, Comptable, CONAFED • Rodin Muvuyu, Chargé de programme, CONAFED • Françoise Kat Kambol, ADIF/REFED Katanga • Baudouin Nkwambi, ADIF/REFED Katanga • Magy Mavula, REFED Kinshasa • Sébastien Biandji, Chargé de programmes

Advans Banque RDC

• Yvonnick Peyraud, Administrateur Directeur Général Advvans Banque ECOCRIM

• Kyungu Shimbi, gestionnaire local AREC-CC UNILU • Nkuku Khonde, Coordinateur ARES CCD/UNILU • Ildephonse Tshinyama Kadima, Directeur ECOCRIM • Boäz Kaumba Kahosa, Coordinateur local du PIC2/ECOCRIM • Norbert Lupitshi Wa-Numbi, Prof. Directeur Adjoint ECOCRIM

Edukat

• Patrick Fillion, Co-responsable international, UCAG, MEPSP • Lorenzo Giacomin, fonctionnaire execution CTB • Deogratias Rukeba, Program Officer Katanga • Angela Epaye, AT insertion socio-professionnelle • Léonie Muyombe Kaosha, Co-responsable National du projet Edukat

Interventions au Rwanda

Belgian Embassy

• Astrid de Laminne de Bex CTB

• Anne Pierre Mingelbier, Director of Program VVOB

• Jef Peeraer • Angélique Ekirabo • Leon Mugenzi • Christian Karasira • Alex Mukizwa Mahe • Alfred Otara (VVOB-URCE) • Alphonse Uworwabayeho (VVOB-URCE) • Genevieve Ayinkamiye

SACB/BTC-SCAB

• Anna-Maria Schreven • Gratien Gasaba • Richard Niwenshuti • Judith Kayitesi


63

BTC-MiniSanté

• Vincent Tihon • Dr Achour Ait Mohand • Dr. Daniel Ngamije • Bob Mugisha • Dr. Vincent Tihon • Nancy Misago • Gervais Baziga • Didier Nishimwe

BTC-SPAT II

• Raf Somers • Sylvia Salama Gata • Consolata Nakure • Christian Nbazigarire

BTC-PAREF II

• Johan Nieuwenhuis • Jean Damascene • Gad Sibomana • Jean-Claude Sebahire • Claude Niyigena • Jean Claude Nsengiyumva • Jacques Peeters

PROTOS

• Philippe Daout • Carinie Masumbuko • Joseph Uwizeye • Philbert Hakizimana • Claver Hagumintwali • Callixte Habyarimana • Célestin Kanyamugenge • Joseph Sibomana • Chantal Umulisa • François Uhagaze • Védaste Mpagaritswenimana • Jean Marie Abizeye • Etienne Nzajyibwami • Jean Damascene Ndahimana • Marie Claire Providence Abizeye • Callixte Twagirayezu • Malachie Habanabashaka • Liliose Umurerwa

Rwanda Moutain Tea (BIO)

• Jotham Mujyalibu • Jean Damascene Gasarabwe • Innocent Ndayishimiye • Augustine Okea • Japhet Kwizera • Jotham Majyalibu • Patrick Tuyisenge

Caritas:

• Félix Byamungu • Prosper Sebagenzi


64

• Abbé Donatien Twizeyumuremyi • Abbé Anaclet Mwumvaneza • Louis Rwagaju • Eprhem Sebarundi • Berthilde Mukantwari • Aimable Gasinzingwa • Drocela Umupfasoni • Felix Habincuti • Tharcisse Mucunguyinka

Light for the World

• Pierre-Claver Ndahayo • Jean Muhayimana • Patrick Shyaka • Jean Baptiste Karibuhunde • Dr. Piet Noe • Dr. Leon Kagabo Hakizimana • Dominique Nsabiyaremye • Anita Ahayo • Dr Mumena Legis

ARES

• Magnus Kirori • Laetitia Nyinawamwiza • Vivien Munyaburanga

FGD BTC

• Damien Jonckers • Steven de Craen • Laurence Janssens • Joelle Pireaux • Hugo Snar • Mario Goethals • Koen … • Hertsen Juliette

FGD DGD

• Karel Cools • Ivo Hooghe • Hilde Herssens • Sofie Dirkx

FGD niet-gouvernementele actoren

• Simon Hemptinne (ARES) • Vincent Stevaux (Iteco) • Stefania Zotto (Le Monde Selon les Femmes), • Florence Liégeois (RCN Justice) • Annemie Demedts (NGO Federatie) • Jan Coenen (ITG)

BTC

• Laurence Janssens, Chargée de Missions Dienst Bijzondere Evaluatie

• Dominique de Crombrugghe, Bijzonder Evaluator • Ivo Hooghe • Jacqueline Liènard


65

Bijlage 7: Toelichtingen bij de statistische analyses en analyse van de sterkste en zwakste items

1. Algemeen Overzicht

1.1 Indexen voor de verschillende onderdelen van het studiekader

Met de data van de volledige steekproef werden per DAC-criterium voor alle componenten en elk item indexen berekend op basis van het aantal keer een bepaalde score gegeven werd. Naast een berekening van de indexen van de vijf DAC-criteria werd er ook een globale ‘evaluability’-index berekend, hier verder eenvoudig “evalueerbaarheidsindex” genoemd, voor elke component en elk item. Deze evalueerbaarheidsindex is volgens hetzelfde principe berekend als de indexen voor de DAC-criteria en houdt rekening met alle gescoorde componenten of items voor de verschillende DAC-criteria. De indexen op component-niveau werden berekend als het gemiddelde van de indexen van de inderliggende componenten. Aangezien we in het studiekader met ordinale schalen werken is het echter ook belangrijk belangrijk om rekening te houden met de verdeling van de scores om zo ook een beter inzicht te krijgen in de betekenis van de indexen. Informatie over de verdelinge van de scores per DAC-criterium en voor elke component en de daarbijhorende items kan gevonden worden in de grote tabellen die werden voorgesteld in bijlage 8. Onderstaande tabel geeft een overzicht van de indexen per DAC-criteria en de evalueerbaar-heidsindex op dimensie-, componenten itemniveau. Tabel A1.1 Index per DAC-criteria en evalueerbaarheidsindex voor de volledige steekproef

Relevantie

Effectiviteit

Efficiëntie

Impact

Duurzaamheid

Evalueerbaarheids- Index

1 3,11 3,22 3,29 2,52 3,15 3,16 1.1 3,65 3,60 3,63 1.1.1 3,48 3,50 3,49 1.1.2 3,85 3,85 1.1.3 3,60 3,55 3,58 1.1.4 3,53 3,47 3,50 1.1.5 2,40 2,40 2,40 1.1.6 4,00 4,00 1.1.7 4,10 4,10 1.2 2,80 3,00 3,50 2,10 3,25 2,96 1.2.1 3,65 2,65 3,15 1.2.2 3,35 1,90 2,63 1.2.3 4,15 4,40 3,20 3,92 1.2.4 3,05 3,35 1,87 2,76 1.2.5 3,50 3,50 1.2.6 3,00 3,10 2,80 2,97 1.2.7 2,80 3,10 3,20 2,15 2,90 2,83 1.2.8 3,64 3,64 1.3 2,45 2,83 2,85 1,95 2,46 2,51 1.3.1 3,15 3,65 1,83 2,72 2,84 1.3.2 1,82 1,81 1,34 1,63 1,65


66

1.3.3 3,00 3,45 3,65 2,30 2,69 3,02 1.3.4 2,70 3,15 3,28 2,13 2,62 2,78 1.3.5 1,85 1,85 1,90 1,55 1,82 1,79 1.3.6 1,70 1,80 1,85 1,45 1,68 1,70 1.3.7 2,40 2,40 1.3.8 3,67 3,67 1.3.9 1,57 1,69 1,63 1,57 1,57 1,61 1.5 3,55 3,44 3,52 3,50 3,75 3,54 1.4.1 4,27 4,00 3,76 4,20 4,17 4,03 1.4.2 2,82 2,63 2,43 2,80 2,67 2,63 1.4.3 3,18 3,25 3,10 3,00 3,33 3,17 2 2,99 3,25 3,51 2,33 2,73 2,96 2.1 2,95 3,20 3,53 2,13 2,62 2,88 2.1.1 4,03 4,05 4,13 3,73 3,95 3,97 2.1.2 3,50 3,90 2,45 2,84 3,18 2.1.3 1,28 1,28 1,44 1,29 1,32 2.1.4 1,76 1,86 1,51 1,71 2.1.5 3,37 3,93 1,69 3,04 2.1.6 3,26 3,31 3,41 2,84 3,11 3,19 2.1.7 2,73 3,08 3,28 2,28 2,69 2,82 2.1.8 3,00 3,12 3,47 2,52 3,00 3,04 2.1.9 2,40 2,75 2,13 2,86 2,54 2.1.10 2,21 2,37 2,60 2,20 2,45 2,37 2.1.11 3,95 3,95 2.2 3,03 3,30 3,50 2,53 2,85 3,04 2.2.1 3,23 3,31 2,90 2,73 3,05 2.2.2 3,67 3,87 4,15 3,21 3,63 3,71 2.2.3 3,50 3,85 4,08 2,64 3,41 3,50 2.2.4 3,62 3,75 4,03 2,95 3,56 3,58 2.2.4bis

4,18 4,20 4,33 4,23 4,18 4,22

2.2.5 2,95 3,11 3,32 2,73 3,00 3,02 2.2.6 2,59 2,88 3,12 2,52 2,64 2,75 2.2.7 3,72 3,80 3,90 3,70 3,72 3,77 2.2.8 3,05 3,08 3,30 2,93 3,00 3,07 2.2.9 3,23 3,40 3,63 2,95 3,08 3,26 2.2.10 2,67 2,78 2,75 2,22 2,58 2,61 2.2.11 2,74 2,90 3,00 2,80 2,85 2,86 3 3,89 3,98 3,98 3,84 3,89 3,91 3.1 3,68 3,70 3,70 3,58 3,63 3,66 3.1.1 2,36 2,36 2,36 2,27 2,27 2,33 3.1.2 3,45 3,45 3,45 3,40 3,45 3,44 3.1.3 4,11 4,11 4,19 4,11 4,16 4,14 3.1.4 4,32 4,23 4,49 4,11 4,32 4,29 3.1.5 3,53 3,52 3,58 3,55 3,55 3,55 3.1.6 3,62 3,62 3,62 3,56 3,56 3,59 3.1.7 4,26 4,24 4,24 4,22 4,22 4,24 3.1.8 4,63 4,64 4,64 4,63 4,63 4,64 3.1.9 4,18 4,18 4,18 4,18 4,21 4,18 3.2 4,10 4,25 4,25 4,10 4,15 4,17 3.2.1 4,40 4,45 4,45 4,40 4,45 4,43 3.2.2 4,35 4,45 4,45 4,35 4,40 4,40 3.2.3 4,25 4,30 4,25 4,20 4,25 4,25


67

1.2 Het scoren van de verschillende onderdelen uit het studiekader

Bij het interpreteren van de verschillende resultaten in het rapport (indexen, gedifferentieerde analyse, rankings, …) moet er voldoende aandacht worden besteed aan het feit dat niet alle items en componenten van het studiekader gescoord werden voor alle interventies. In bepaalde gevallen werd er geen score aan een bepaald item of bepaalde component toegeken wegens “niet van toepassing” (zie studiekader in bijlage 3, missing values of omdat er in een klein aantal van de gevallen onvoldoende informatie voorhanden was om dat bepaald item of die bepaalde component te kunnen scoren. Onderstaande tabel geeft een overzicht van het aantal keer de componenten en de items per DAC-criteria gescoord werden. Op dimensie-niveau worden geen scores geteld aangezien op dit niveau de indexen berekend zijn als het gemiddelde van de onderliggende componenten. Zoals hierbocen reeds werd aangegeven werden voor de berekening van de evalueerbaarheidsindex werden alle scores van de DAC-criteria in rekening gebracht. Tabel A1.2 Aantal scores per component en per item voor de verschillende DAC-criteria en de evalueerbaarheidsindex van de volledige steekproef

Relevantie

Effectiviteit

Efficiëntie

Impact

Duurzaamheid

Evalueerbaarheids- Index

Aantal scores

Aantal scores

Aantal scores

Aantal scores

Aantal scores

Aantal scores

1 1.1 40 40,00 80 1.1.1 40 40,00 80 1.1.2 40 40 1.1.3 40 40,00 80 1.1.4 38 38,00 76 1.1.5 40 40,00 80 1.1.6 40 40 1.1.7 40 40 1.2 40,00 40 40 40 160 1.2.1 40,00 40 80 1.2.2 40,00 40 80 1.2.3 40,00 40 40 120 1.2.4 40,00 40 39 119 1.2.5 40 40 1.2.6 40,00 40 40 120 1.2.7 40 40,00 40 40 40 200 1.2.8 39 39 1.3 40 40,00 40 40 39 199 1.3.1 40,00 40 40 39 159 1.3.2 34,00 37 35 30 136 1.3.3 40 40,00 40 40 39 199 1.3.4 40 40,00 40 40 37 197 1.3.5 40 40,00 40 40 39 199 1.3.6 40 40,00 40 40 38 198 1.3.7 40 40 1.3.8 39 39 1.3.9 35 35,00 35 35 35 175 1.5 11 16,00 21 10 12 70 1.5.1 11 16,00 21 10 12 70


68

1.5.2 11 16,00 21 10 12 70 1.5.3 11 16,00 21 10 12 70 2 2.1 40 40,00 40 40 39 199 2.1.1 39 40,00 40 40 39 198 2.1.2 40,00 40 40 38 158 2.1.3 36,00 36 36 34 142 2.1.4 34,00 35 35 104 2.1.5 38,00 40 35 113 2.1.6 38 39,00 39 38 37 191 2.1.7 30 40,00 40 39 39 188 2.1.8 24 33,00 34 29 27 147 2.1.9 40,00 40 30 29 139 2.1.10 38 38,00 40 30 29 175 2.1.11 38 38 2.2 40 40,00 40 40 40 200 2.2.1 39,00 39 39 37 154 2.2.2 39 39,00 40 39 38 195 2.2.3 40 40,00 39 39 39 197 2.2.4 39 40,00 39 39 39 196 2.2.4bis 39 40,00 39 39 39 196 2.2.5 38 38,00 37 37 37 187 2.2.6 34 34,00 34 33 33 168 2.2.7 39 40,00 40 40 39 198 2.2.8 39 40,00 40 40 40 199 2.2.9 40 40,00 40 40 40 200 2.2.10 27 27,00 28 23 24 129 2.2.11 39 40,00 39 40 40 198 3 3.1 40 40,00 40 40 40 200 3.1.1 22 22,00 22 22 22 110 3.1.2 40 40,00 40 40 40 200 3.1.3 37 37,00 37 37 37 185 3.1.4 38 39,00 39 38 38 192 3.1.5 30 31,00 31 29 29 150 3.1.6 26 26,00 26 25 25 128 3.1.7 38 37,00 37 36 36 184 3.1.8 38 39,00 39 38 38 192 3.1.9 40 40,00 40 39 39 198 3.2 40 40,00 40 40 40 200 3.2.1 40 40,00 40 40 40 200 3.2.2 40 40,00 40 40 40 200 3.2.3 40 40,00 40 40 40 200


69

2. Gedifferentieerde analyse: vergelijkingen tussen landen, sectoren en interventiekanalen

In dit deel wordt een overzicht gegeven van de gemiddelde scores voor de verschillende sub-samples (4 landen, 3 actoren en 2 sectoren) en de evalueerbaarheidsindex van de volledige steekproef. Bijkomende testen, zoals hieronder besproken, maken duidelijk waar significante verschillen kunnen gevonden. De algemene analyse en interpretatie van deze gegevens worden gepresenteerd in hoofdstuk 4 van het syntheserapport De score m.b.t. de evalueerbaarheidsindex is de score berekend zoals voorgesteld in 1.1. Anderzijds zijn de scores berekend voor de landen, de actoren en de sectoren gemiddelden (geen indexen). Als zodanig is het mogelijk dat de globale evalueerbaarheidsscore lichtjes afwijkt van het gewogen gemiddelden. De verschillen zijn evenwel erg klein en veranderen niets aan de inhoud van de analyse.

2.1 Vergelijkingen tussen landen

Beschrijvende statistieken

Tabel A2 1. Gemiddelde scores per land en evalueerbaarheidsindex voor de volledige steekproef

Land België Benin DRC Rwanda

Evalueerbaarheids-index Volledige steekproef

N= 10 N= 10 N= 10 N= 10 N=40 Component 1

3,14 2,94 3,24 3,32 3,16

1.1 3,25 3,80 3,15 4,30 3,63 1.1.1 3,20 3,75 3,40 3,60 3,49 1.1.2 3,10 4,10 3,80 4,40 3,85 1.1.3 3,60 3,80 3,30 3,60 3,58 1.1.4 3,60 3,80 2,90 3,75 3,50 1.1.5 2,00 2,40 2,60 2,60 2,40 1.1.6 3,60 4,00 3,80 4,60 4,00 1.1.7 3,40 4,00 4,60 4,40 4,10 1.2 2,70 2,63 3,58 2,95 2,96 1.2.1 2,50 3,00 3,20 3,90 3,15 1.2.2 2,60 2,60 2,80 2,50 2,63 1.2.3 3,93 4,27 3,87 3,60 3,92 1.2.4 2,97 3,13 3,13 1,87 2,76 1.2.5 2,40 3,00 4,60 4,00 3,50 1.2.6 2,27 2,00 3,33 4,27 2,97 1.2.7 2,88 2,52 3,16 2,76 2,83 1.2.8 3,70 3,90 3,56 3,40 3,64 1.3 2,55 2,18 2,34 2,98 2,51 1.3.1 2,53 3,05 2,43 3,35 2,84 1.3.2 1,03 1,86 1,67 2,38 1,65 1.3.3 3,10 2,20 3,28 3,52 3,02 1.3.4 2,45 2,56 2,84 3,28 2,78 1.3.5 2,28 1,40 2,12 1,40 1,79 1.3.6 1,68 1,20 2,52 1,40 1,70 1.3.7 2,40 1,90 2,40 2,90 2,40 1.3.8 3,60 4,00 3,67 3,40 3,67


70

1.3.9 1,80 1,32 1,20 2,20 1,61 1.4 4,08 3,17 3,90 3,03 3,54 1.4.1 4,44 3,17 4,35 3,33 4,03 1.4.2 3,32 2,00 4,00 1,00 2,63 1.4.3 4,04 3,00 2,50 3,00 3,17 Component 2

2,98 2,67 3,05 3,15 2,96 2.1 2,88 2,68 2,90 3,08 2,88 2.1.1 3,94 3,82 3,94 4,22 3,97 2.1.2 3,35 3,05 3,45 2,95 3,18 2.1.3 1,00 1,67 1,45 1,14 1,32 2.1.4 1,27 1,81 1,87 1,86 1,71 2.1.5 2,97 2,97 2,60 3,87 3,04 2.1.6 3,46 2,60 3,60 3,04 3,19 2.1.7 3,07 2,35 2,70 3,26 2,82 2.1.8 3,24 2,58 3,10 2,96 3,04 2.1.9 2,05 1,71 3,16 2,60 2,54 2.1.10 1,93 2,63 3,25 1,65 2,37 2.1.11 3,70 4,30 3,75 4,00 3,95 2.2 3,08 2,66 3,20 3,22 3,04 2.2.1 3,58 2,60 2,78 3,23 3,05 2.2.2 3,96 3,44 3,92 3,48 3,71 2.2.3 4,24 2,96 3,76 3,12 3,50 2.2.4 4,00 2,44 3,64 4,28 3,58 2.2.5 3,36 2,92 3,18 2,72 3,02 2.2.6 2,04 2,83 2,20 3,76 2,75 2.2.7 3,76 3,68 3,92 3,68 3,77 2.2.8 3,52 2,63 3,34 2,78 3,07 2.2.9 3,50 3,20 3,10 3,22 3,26 2.2.10 2,38 2,35 2,25 3,48 2,61 2.2.11 3,28 2,56 2,60 3,00 2,86 Component 3

4,17 4,18 3,85 3,45 3,91

3.1 3,78 3,76 3,50 3,58 3,66 3.1.1 2,60 2,04 3,00 1,67 2,33 3.1.2 3,80 3,80 2,40 3,76 3,44 3.1.3 4,50 4,11 3,60 4,38 4,14 3.1.4 5,00 4,18 3,60 4,38 4,29 3.1.5 3,24 3,44 3,50 4,50 3,55 3.1.6 2,71 4,00 3,67 4,11 3,59 3.1.7 5,00 3,80 4,50 3,80 4,24 3.1.8 5,00 4,80 4,56 4,20 4,64 3.1.9 4,40 4,10 4,12 4,10 4,18 3.2 4,56 4,60 4,20 3,32 4,17 3.2.1 5,00 5,00 4,60 3,12 4,43 3.2.2 4,48 4,40 4,60 4,12 4,40 3.2.3 4,40 4,80 4,24 3,56 4,25

Testresultaten: Vergelijking tussen landen

Gezien we hier 4 onafhankelijke sub-samples (de vier landen) hebben en ordinale data (scores op een schaal van 1 tot 5), kiezen we voor de Kruskal-Wallis H-test die toelaat om verdelingen van de scores te vergelijken en te bepalen of er een significant verschil is tussen de verdelingen van de scores voor de vier verschillende landen. Deze testen werden uitgevoerd op componentniveau en wanneer de test de nulhypothese verwerpt, werden er gelijkaardige


71

testen uitgevoerd op het niveau van de onderliggende items om zo de oorsprong van het verschil te analyseren. De resultaten worden weergegeven in Tabel A2.4. Tabel A2 2. Resultaten Kruskal-Wallis Test voor vergelijking tussen landen (component en item niveau) (p-waarden) Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid

1.1 0,070* 1.1.2: 0,023**

0,043** Niets significant op item niveau

1.2 0,371 0,834 0,015** Niets significant op item niveau

0,015** 1.2.5: 0,002*** 1.2.6: 0,001***

1.3 0,203 0,105 0,021** 1.3.1: 0,012** 1.3.2: 0,059*

0,103 0,028** 1.3.1: 0,023** 1.3.3: 0,005*** 1.3.4: 0,017**

1.4 0,072* 1.4.2: 0,048** 1.4.3: 0,097*

0,079* 1.4.2: 0,017**

0,390 0,382 0,114

2.1 0,940 0,638 0,103 0,429 0,056*

2.2 0,830 0,892 0,501 0,164 0,096* 2.2.3: 0,012** 2.2.4: 0,008***

3.1 0,749 0,568 0,568 0,903 0,767

3.2 0,073* 3.2.1: 0,000***

0,023** 3.2.1: 0,000***

0,023** 3.2.1: 0,000***

0,073* 3.2.1: 0,000***

0,098*

***: significant op α=0,01; **: significant op α=0,05; *: significant op α=0,10 Om een uitspraak te kunnen doen welke landen significant van elkaar verschillen, werden voor alle significante verschillen post-hoc paarsgewijze vergelijkende testen (Mann-Whitney U test) uitgevoerd met Bonferroni correctie. Deze testen werden uitgevoerd op component en op item niveau en voor de verschillende DAC-criteria. In tabel A2.5 worden de gemiddelden weergegeven voor de componenten en items die significant van elkaar verschillen; een lettersymbool duidt aan tussen welke landen significante verschillen werden gevonden


72

Tabel A2 3. Gemiddele scores voor componenten en items die significant verschillen (significante verschillen aangeduid met lettersymbool) Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid

Rw

an

da

DR

C

Ben

in

Belg

ië

Rw

an

da

DR

C

Ben

in

Belg

ië

Rw

an

da

DR

C

Ben

in

Belg

ië

Rw

an

da

DR

C

Ben

in

Belg

ië

Rw

an

da

DR

C

Ben

in

Belg

ië

1.1 4,3a 3,2 b 3,8 3,3 4,3a 3,1 b 3,8 3,2

1.1.2 4,4 a 3,8 4,1 a 3,1 b

1.2 1,9 2,9 a 1,8 b 1,8 b 3,5 4,4 a 2,8 2,2 b

1.2.5 4 a 4,6 a 3 2,4 b

1.2.6 4,2 a 3,5 1,6 b 2 b

1.3 3,3 2,4 2,4 3,3 3,3 a 2,4 2 b 2,11b

1.3.1 3,9 b 2,8a 4,2 b 3,7 3,8 a 2,7 2,2 b 2,11b

1.3.2 2,63 1,6 2,11 1,1

1.3.3 3,8 a 3,4 1,6 b 1,89b

1.3.4 3,6 a 2,9 2,2 1,43b

1.4 1,67 3,75 5 4,67 2,33 3,75 3 4,5

1.4.2 1 a 4 b 1 3,67 1 a 4 b 1,8 3,5

1.4.3 1,67 2,5 5 5

2.2 3,4 3,2 2 2,8

2.2.3 3,4 4 a 2 b 4,33a

2.2.4 4,6 a 3,7 2 b 4,11a

3.2 3,2 a 4,2 4,6 b 4,4 b 3,4 a 4,2 4,6 b 4,8 b 3,4 a 4,2 4,6 b 4,8 b 3,2 a 4,2 4,6 b 4,4 b 3,4 a 4,2 4,6 b 4,4 b

3.2.1 3 a 4,6 b 5 b 5 b 3,2 a 4,6 b 5 b 5 b 3,2 a 4,6 b 5 b 5 b 3 a 4,6 b 5 b 5 b

Interpretatie van de lettersymbolen: Waneer er een significant verschil gevonden wordt tussen bepaalde landen krijgen deze landen een ander lettersymbool. Bijvoorbeeld, voor 1.1 Relevantie zien we dat er enkel een significant verschil gevonden wordt tussen Rwanda (code a) en DRC (code b), echter is de component voor deze landen niet significant verschillend van de component voor Benin en België. De component is ook niet significant verschillende voor België en Benin. Enkel de gemiddelden voor de componenten en items die significante verschillen vertonen tussen de landen worden in de tabel weergegeven.


73

2.2 Vergelijkingen tussen interventiekanalen


Tabel A2 4. Gemiddelde scores per actor en evalueerbaarheidsindex voor de volledige steekproef

BTC NGO&Vakbond

Andere (APEFE, VVOB, VLIR, BIO...)


N=10 N=20 N=10 N=40

Component 1

3,52 3,2 2,59 3,16

1.1 4,10 3,75 2,90 3,63 1.1.1 3,80 3,63 2,90 3,49 1.1.2 4,20 3,80 3,60 3,85 1.1.3 4,20 3,65 2,80 3,58 1.1.4 4,56 3,45 2,56 3,50 1.1.5 2,00 3,20 1,20 2,40 1.1.6 4,40 3,80 4,00 4,00 1.1.7 4,60 3,90 4,00 4,10 1.2 3,00 2,98 2,90 2,96 1.2.1 3,60 3,00 3,00 3,15 1.2.2 2,70 2,65 2,50 2,63 1.2.3 4,07 3,60 4,40 3,92 1.2.4 2,27 2,87 3,10 2,76 1.2.5 3,40 3,60 3,40 3,50 1.2.6 3,93 2,53 2,87 2,97 1.2.7 2,68 3,00 2,64 2,83 1.2.8 3,40 3,75 3,67 3,64 1.3 2,82 2,70 1,82 2,51 1.3.1 3,20 2,89 2,38 2,84 1.3.2 2,27 1,71 1,27 1,65 1.3.3 3,20 3,25 2,40 3,02 1.3.4 3,08 2,87 2,30 2,78 1.3.5 1,16 2,34 1,36 1,79 1.3.6 1,56 1,94 1,36 1,70 1.3.7 3,30 2,50 1,30 2,40 1.3.8 4,80 3,40 3,00 3,67 1.3.9 2,24 1,35 1,44 1,61 1.4 4,17 3,38 2,75 3,54 1.4.1 4,33 3,96 2,25 4,03 1.4.2 1,67 2,78 2,50 2,63 1.4.3 4,67 2,75 2,00 3,17 Component 2

2,97 3,09 2,7 2,96

2.1 2,86 3,03 2,62 2,88 2.1.1 4,70 3,98 3,26 3,97


74

2.1.2 2,75 3,58 2,90 3,18 2.1.3 2,08 1,15 1,20 1,32 2.1.4 2,11 1,77 1,27 1,71 2.1.5 3,57 3,17 2,50 3,04 2.1.6 3,84 3,25 2,48 3,19 2.1.7 3,12 2,93 2,41 2,82 2.1.8 3,40 2,99 2,45 3,04 2.1.9 3,26 2,28 1,71 2,54 2.1.10 2,37 2,55 2,00 2,37 2.1.11 4,00 4,11 3,56 3,95 2.2 3,08 3,15 2,78 3,04 2.2.1 3,15 3,20 2,61 3,05 2.2.2 3,64 3,86 3,44 3,71 2.2.3 3,12 3,60 3,76 3,50 2.2.4 3,76 3,44 3,72 3,58 2.2.5 2,84 3,19 2,93 3,02 2.2.6 3,96 2,29 2,42 2,75 2.2.7 4,16 4,00 2,88 3,77 2.2.8 2,87 3,46 2,48 3,07 2.2.9 2,96 3,54 2,98 3,26 2.2.10 3,11 2,59 1,77 2,61 2.2.11 3,04 2,90 2,60 2,86 Component 3

4,07 3,93 3,72 3,91

3.1 3,74 3,72 3,44 3,66 3.1.1 2,50 2,12 2,50 2,33 3.1.2 3,80 3,50 2,96 3,44 3.1.3 4,50 3,85 4,43 4,14 3.1.4 4,84 4,09 4,11 4,29 3.1.5 4,50 3,44 3,25 3,55 3.1.6 4,33 3,53 3,00 3,59 3.1.7 4,33 4,30 4,11 4,24 3.1.8 5,00 4,70 4,20 4,64 3.1.9 4,70 4,06 3,90 4,18 3.2 4,40 4,14 4,00 4,17 3.2.1 4,60 4,56 4,00 4,43 3.2.2 5,00 4,10 4,40 4,40 3.2.3 4,00 4,40 4,20 4,25

Testresultaten Vergelijkingen tussen interventiekanalen

Ook bij de vergelijking tussen de 3 actoren maken we, gezien de 3 onafhankelijke sub-samples en de ordinale data, gebruik van de Kruskal-Wallis H-test om de verdelingen van de scoreste vergelijken en te bepalen of er een significant verschil is tussen de verdelingen van de scores voor de drie verschillende actoren. Eveneens werden deze testen werden uitgevoerd op het component niveau en wanneer de test de nulhypothese verwerpt, werden er gelijkaardige testen uitgevoerd op het niveau van de onderliggende items om zo de oorsprong van het verschil te analyseren. De resultaten worden weergegeven in Tabel A2.6.


75

Tabel A2 5. Resultaten Kruskal-Wallis Test voor vergelijking tussen actoren (component en item niveau) (p-waarden)

Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid 1.1 0,020**

1.1.1: 0,089* 1.1.3: 0,036** 1.1.4: 0,003*** 1.1.5: 0,002***

0,027** 1.1.3: 0,036** 1.1.4: 0,003*** 1.1.5: 0,002***

1.2 0,597 0,879 0,565 0,740

1.3 0,058* 1.3.5: 0,030** 1.3.9: 0,018**

0,004*** 1.3.3: 0,064* 1.3.5: 0,030** 1.3.9: 0,065*

0,002*** 1.3.1: 0,048** 1.3.3: 0,029** 1.3.4: 0,039** 1.3.5: 0,058* 1.3.7: 0,005*** 1.3.8: 0,051* 1.3.9: 0,065*

0,218 0,048** 1.3.1: 0,079* 1.3.5: 0,043** 1.3.9: 0,051*

1.4 0,107 0,157 0,190 0,100* 1.5.3: 0,094*

0,097* Niets significant op item niveau

2.1 0,296 0,107 0,717 0,753 0,618

2.2 0,730 0,258 0,565 0,679 0,704

3.1 0,682 0,471 0,471 0,290 0,475

3.2 0,699 0,825 0,825 0,699 0,734

***: significant op α=0,01; **: significant op α=0,05; *: significant op α=0,10 Om een uitspraak te kunnen doen welke actoren significant van elkaar verschillen, werden voor alle significante verschillen post-hoc paarsgewijze vergelijkende testen (Mann-Whitney U test) uitgevoerd met Bonferroni correctie. Deze testen werden uitgevoerd op component en op item niveau en voor de verschillende DAC-criteria. In tabel A2.7 worden de gemiddelden weergegeven voor de componenten en items die significant van elkaar verschillen; een lettersymbool duidt aan tussen welke landen significante verschillen werden gevonden. Voor component 1.4 werden geen paarswijze testen uitgevoerd omwille van het beperkte aantal observaties per actor.12 Tabel A2 6. Gemiddele scores voor componenten en items die significant verschillen (significante verschillen aangeduid met lettersymbool)

Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid

BT

C

NG

O &

V

akb

on

d

An

dere

BT

C

NG

O &

V

akb

on

d

An

dere

BT

C

NG

O &

V

akb

on

d

An

dere

BT

C

NG

O &

V

akb

on

d

An

dere

BT

C

NG

O &

V

akb

on

d

An

dere

1.1 4,10a

3,80a

2,90b

4,10a

3,70

2,90b

1.1.1 3,80

3,60

2,90

1.1.3

4,20a

3,70

2,80b

4,20a

3,60

2,80b

1.1.4

4,56a

3,45b

2,56b

4,56a

3,35b

2,56b

1.1. 2,00 3,2 1,2 2,0 3,2 1,2

12 Voor impact werd 2 maal, 8 maal en niet gescoord voor, respectievelijk BTC-interventies, interventies van NGO&Vakbond en de “Andere” interventies. Voor duurzaamheid werd slechts 5 maal, 8 maal en 7 maal gescoord voor, respectievelijk BTC-interventies, interventies van NGO&Vakbond en de “Andere” interventies.


76

5 0a 0b 0 0a 0b

1.3 3,00 2,50

1,80

2,90

3,25a

1,90b

3,00

a 3,25a

1,90b

3,00

a 2,47

1,90b

1.3.1 3,70

4,00a

2,90b 3,50

2,53

2,30

1.3.3

3,20

4,00

2,60 3,60

4,20a

2,60b

1.3.4 3,30

3,70a

2,40b

1.3.5

1,20a

2,40b

1,40

1,20a

2,40b

1,40 1,20

2,40

1,60

1,20a

2,37b

1,40

1.3.7

3,30a

2,50a

1,30b

1.3.8 4,80

3,40

3,00

1.3.9

2,33

a 1,24b

1,44

2,33

1,47

1,44 2,22

1,47

1,44 2,22

1,35

1,44

1.4 / / / / / / ***: significant op α=0,01; **: significant op α=0,05; *: significant op α=0,10 Interpretatie van de lettersymbolen: Waneer er een significant verschil gevonden wordt tussen bepaalde actoren krijgen deze actoren een ander lettersymbool. Bijvoorbeeld, voor 1.1 Relevantie zien we dat er een significant verschil gevonden wordt tussen de interventies geclassificeerd als “Andere” (code b) en de BTC interventies (code a) en tussen de interventies geclassificeerd als “Andere” (code b) en NGO&Vakbond interventies (code a). De component is niet significant verschillende voor BTC interventies en NGO&Vakbond interventies (beiden code a).

2.3 Vergelijkingen tussen sectoren


Tabel A2 7. Gemiddelde scores per sector en evalueerbaarheidsindex voor de volledige steekproef

Sector Niet complex Complex


N=16 N=24 N=40

Component 1 2,87 3,3 3,16 1.1 3,31 3,83 3,63 1.1.1 3,16 3,71 3,49 1.1.2 3,56 4,04 3,85 1.1.3 3,13 3,88 3,58 1.1.4 3,25 3,68 3,50 1.1.5 2,00 2,67 2,40 1.1.6 3,88 4,08 4,00 1.1.7 3,88 4,25 4,10 1.2 3,03 2,92 2,96 1.2.1 2,75 3,42 3,15 1.2.2 2,50 2,71 2,63 1.2.3 3,88 3,94 3,92 1.2.4 3,23 2,47 2,76


77

1.2.5 3,63 3,42 3,50 1.2.6 3,08 2,89 2,97 1.2.7 2,58 3,00 2,83 1.2.8 3,87 3,50 3,64 1.3 2,11 2,78 2,51 1.3.1 2,77 2,89 2,84 1.3.2 1,68 1,74 1,65 1.3.3 2,65 3,28 3,02 1.3.4 2,63 2,89 2,78 1.3.5 1,58 1,95 1,79 1.3.6 1,83 1,62 1,70 1.3.7 2,13 2,58 2,40 1.3.8 3,93 3,50 3,67 1.3.9 1,43 1,72 1,61 1.4 3,03 3,67 3,54 1.4.1 3,33 3,91 4,03 1.4.2 2,00 2,57 2,63 1.4.3 2,33 3,48 3,17 Component 2 2,82 3,07 2,96 2.1 2,68 3,03 2,88 2.1.1 3,76 4,13 3,97 2.1.2 3,06 3,29 3,18 2.1.3 1,63 1,10 1,32 2.1.4 1,76 1,63 1,71 2.1.5 2,81 3,29 3,04 2.1.6 2,95 3,34 3,19 2.1.7 2,49 3,08 2,82 2.1.8 2,80 3,11 3,04 2.1.9 2,70 2,17 2,54 2.1.10 2,74 2,12 2,37 2.1.11 4,27 3,74 3,95 2.2 2,95 3,10 3,04 2.2.1 2,88 3,16 3,05 2.2.2 3,78 3,65 3,71 2.2.3 3,25 3,70 3,50 2.2.4 3,53 3,63 3,58 2.2.5 2,68 3,27 3,02 2.2.6 3,02 2,64 2,75 2.2.7 3,10 4,20 3,77 2.2.8 2,64 3,35 3,07 2.2.9 2,95 3,46 3,26 2.2.10 2,14 2,74 2,61 2.2.11 2,18 3,32 2,86 Component 3 3,82 3,98 3,91 3.1 3,44 3,80 3,66 3.1.1 3,00 1,94 2,33 3.1.2 2,98 3,75 3,44 3.1.3 3,85 4,29 4,14 3.1.4 4,11 4,40 4,29


78

3.1.5 3,83 3,34 3,55 3.1.6 3,44 3,71 3,59 3.1.7 3,71 4,58 4,24 3.1.8 4,33 4,83 4,64 3.1.9 4,01 4,29 4,18 3.2 4,20 4,15 4,17 3.2.1 4,20 4,58 4,43 3.2.2 4,70 4,20 4,40

3.2.3 4,38 4,17 4,25

Testresultaten Vergelijkingen tussen sectoren

Gezien we hier slechts 2 onafhankelijke sub-samples hebben (twee verschillende sectoren) en ordinale data, kan gekozen worden voor de Kruskal-Wallis H-test of de Mann-Whitney U test. Beide testen laten toe de verdelingen van de scores te vergelijken tussen sectoren en te bepalen of er een significant verschil is. Deze testen werden uitgevoerd op component niveau en wanneer de test de nulhypothese verwerpt, werden er gelijkaardige testen uitgevoerd op het niveau van de onderliggende items om zo de oorsprong van het verschil te analyseren. De resultaten van beide testen zijn sterk gelijklopend. Enkel de resultaten van de Kruskal-Wallis H-test worden weergegeveven in Tabel A2.8. Aangezien we hier slechts twee sub-samples met alkaar vergelijken is er geen nood aan post-hoc paarsgewijze vergelijkende testen (Mann-Whitney U test). In tabel A2.9 worden daarom enkel de gemiddelden weergegeven voor de componenten en items die significant van elkaar verschillen. Tabel A2 8. Resultaten Kruskal-Wallis Test voor vergelijking tussen sectoren (component en item niveau) (p-waarden)


1.1 0,137 0,219

1.2 0,374 0,466 0,965 0,501

1.3 0,040** 1.3.3: 0,057*

0,005*** 1.3.3: 0,070*

0,011** 1.3.3: 0,066* 0,152 0,300

1.4 0,695 0,590 0,742 0,633 0,929

2.1 0,215 0,128 0,857 0,243 0,434

2.2 0,595 0,191 0,845 0,864 0,921

3.1 0,101

0,057* 3.1.1: 0,053* 3.1.2: 0,073* 3.1.3: 0,048** 3.1.7: 0,038** 3.1.8: 0,051*

0,057* 3.1.1: 0,053* 3.1.2: 0,073* 3.1.3: 0,073* 3.1.7: 0,038* 3.1.8: 0,051* 0,479 0,246

3.2 0,586 0,803 0,803 0,586 0,468 ***: significant op α=0,01; **: significant op α=0,05; *: significant op α=0,10


79

Tabel A2 9. Gemiddele scores voor componenten en items die significant verschillen

Relevantie Effectiviteit Efficiëntie

Complex Niet complex Complex

Niet complex Complex

Niet complex

1.3 2,75 2,00 3,21 2,25 3,17 2,38

1.3.3 3,42 2,38 3,83 2,88 4,00 3,13

3.1 3,88 3,44 3,88 3,44 3.1.1 2,00 3,00 2,00 3,00 3.1.2 3,75 3,00 3,75 3,00 3.1.3 4,29 3,77 4,29 4,00 3.1.7 4,57 3,71 4,57 3,71 3.1.8 4,83 4,33 4,83 4,33

3. Ranking van de items van het studiekader o.b.v. de evalueerbaarheidsindex en o.b.v. de indexen voor de verschillende DAC-citeria

De items van het studiekader werden gerangschikt op basis van de verschillende indexen. Het item met de hoogste index krijgt rank 1, het volgende item rank 2, enz… De 20% hoogst gerangschikte items uit het studiekader worden in het groen aangegeven. De 20% laagst gerangschikte items uit het studiekader worden in het rood aangegeven. Ook bij de interpretatie van de ranking moet voldoende aandacht worden besteed aan het feit dat de beste/slechtste ranks vaak net de elementen zijn uit het studiekader waar relatief veel minder scores voor zijn (missing values, not applicable, …). Dit geldt bijvoorbeeld voor de evalueerbaarheidsindex berekend voor 1.4.1: in totaal zijn 130 van de 200 scores hier ‘not applicable’, maar dit item staat wel voor enkele criteria binnen de 20% hoogst geranschikte items (zie tabel A3 1). Wij zullen hierna de meest uit het oog springende aspecten van deze ranking bespreken door ons met name te richten op de 20% items die – per evaluatiecriterium en globaal - het sterkste en het zwakste scoren.

3.1 De 20% best scorende items

De tabel A3 2 laat toe vast te stellen dat 13 items (dit is 21% van de in totaal 62 items die werden geanalyseerd13) minstens voor één evalueerbaarheidscriterium bij de 20% beste behoren. Van die 13 items zijn er zelfs 6 die voor elk van de vijf evaluatiecriteria tot de 20% beste behoren. Aan de andere kant zijn er twee items (1.1.6 en 1.1.7) die enkel voor de globale score bij de 20% beste horen. Een nadere kijk op de tabel duidt aan dat een meerderheid (8) van de best scorende items tot de derde dimensie (de context) behoren. Het gaat om twee derden van de (12) items die we onder die derde dimensie vinden en 6 (de helft) van die items hebben zelfs de 6 beste globale evalueerbaarheidsscores. Van de tweede component onder die dimensie (3.2, de bredere context) zijn zelfs alle (3) items bij de best scorende 20% te vinden. Deze vaststellingen liggen in de lijn van wat we reeds hoger aangaven en suggereren sterk dat, tenminste voor de bestudeerde interventies, omgevingsfactoren de evalueerbaarheid eigenlijk zelden negatief beïnvloeden, niettegenstaande het feit dat de helft van de interventies uitgevoerd worden/werden in twee landen met specifieke contextuele uitdagingen vanuit het perspectief van evalueerbaarheid. We moeten hierbij wel twee slagen om de arm houden: de eerste heeft

13 … waarbij het belangrijk is op te merken dat niet alle items voor alle criteria werden gescoord.


80

te maken met de beperkingen die de onderzoekers ondervonden om de analyse m.b.t. de context goed uit te voeren (zie deel 3 van het vorige hoofdstuk en 4.1 van dit hoofdstuk), de tweede met het feit dan om redenen reeds eerder aangegeven, we praktische elementen die onder de context vallen (bv. slechte infrastructuur, …) in onze beoordeling niet konden meenemen. Dit soort factoren kan uiteraard een belangrijke rol spelen bij de evalueerbaarheid. Buiten de context-items zijn er slechts 5 items die voor één of meerdere criteria of globaal bij de 20% beste behoren. Het best scorende item is hier ‘De voornaamste betrokken partijen waren het eens met het voorgestelde M&E systeem (inclusief hun rol hierbinnen)’ (2.2.4bis) dat voor alle criteria bij de 20% beste scores hoort. Vanuit onze eerdere bevindingen, is de aanwezigheid van 1.1.7 en 1.1.6 in deze lijst een kleine verrassing, omdat zij behoren tot de component ‘de onderliggende analyse’ die binnen dimensie 1 en 2 de beste component was, maar lang niet zo sterk scoorde dan de componenten en items onder dimensie 3. Waarschijnlijk speelt het feit dat deze items slechts op 2 criteria (relevantie en effectiviteit) werden gescoord, hier een rol, omdat op die wijze de ‘moeilijke’ criteria (duurzaamheid en vooral impact) niet werden gescoord.


81

Tabel A3 1: Globaal rangkingsoverzicht

Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaarheids-index

1.1.1 23 21 28

1.1.2 14 16

1.1.3 19 19 23

1.1.4 21 23 25

1.1.5 39 45 53

1.1.6 13 12

1.1.7 11 10

1.2.1 17 27 34

1.2.2 28 40 50

1.2.3 9 5 17 15

1.2.4 39 30 41 47

1.2.5 17 25

1.2.6 40 38 30 41

1.2.7 33 36 36 37 26 44

1.2.8 23 20

1.3.1 32 21 42 32 43

1.3.2 50 50 49 43 60

1.3.3 29 24 21 32 33 40

1.3.4 36 32 34 39 37 46

1.3.5 42 49 47 45 41 57

1.3.6 43 51 49 47 42 59

1.3.7 45 53

1.3.8 20 19

1.3.9 44 53 51 44 44 61

1.5.1 5 12 19 6 9 11

1.5.2 32 44 44 24 35 49

1.5.3 27 30 39 18 20 33

2.1.1 12 11 12 11 11 13

2.1.2 21 17 31 29 32

2.1.3 54 52 48 45 62


82

2.1.4 52 48 46 58

2.1.5 27 16 43 37

2.1.6 25 29 29 23 21 31

2.1.7 35 37 34 33 33 45

2.1.8 29 34 27 29 23 38

2.1.9 45 41 38 27 52

2.1.10 41 47 43 36 39 55

2.1.11 15 14

2.2.1 31 32 22 31 36

2.2.2 16 13 11 16 13 18

2.2.3 22 14 13 28 19 27

2.2.4 17 16 14 20 14 22

1.4.4 8 7 6 4 8 7

2.2.5 31 35 31 26 23 39

2.2.6 38 42 37 30 36 48

2.2.7 15 15 17 12 12 17

2.2.8 28 37 33 21 23 35

2.2.9 26 26 24 19 22 30

2.2.10 37 43 41 35 38 51

2.2.11 34 41 40 24 28 42

3.1.1 40 48 46 34 40 56

3.1.2 24 24 28 15 18 29

3.1.3 10 10 9 9 10 9

3.1.4 4 6 2 10 4 4

3.1.5 20 20 26 14 16 24

3.1.6 17 18 25 13 15 21

3.1.7 6 5 8 5 6 6

3.1.8 1 1 1 1 1 1

3.1.9 9 8 10 8 7 8

3.2.1 2 2 3 2 2 2

3.2.2 3 2 3 3 3 3

3.2.3 7 4 7 6 5 5


83

Tabel A3 2: Overzicht van de best scorende items qua evalueerbaarheid Item Rele-

vantie Effecti-viteit

Efficiën-tie

Impact Duurzaamheid

Evalueerbaar heids index

3.1.8 Het is mogelijk om alle sleutelactoren te contacteren zonder risico op wederzijdse beïnvloeding 4,63 4,64 4,64 4,63 4,63 4,64 3.2.1 De bredere institutionele en politieke context staat positief t.a.v. onafhankelijke evaluatie 4,40 4,45 4,45 4,40 4,45 4,43 3.2.2 De socio-culturele context op het niveau van de doelgroepen maakt correct verzamelen van informatie mogelijk 4,35 4,45 4,45 4,35 4,40 4,40 3.1.4 De verwachtingen van de sleutelactoren t.a.v. de evaluatie zijn realistisch (tov beschikbare middelen) 4,32 4,23 4,49 4,32 4,29 3.2.3 Lokale deskundigheid met het vereiste profiel voor de evaluatie is beschikbaar” 4,25 4,30 4,25 4,20 4,25 4,25 3.1.7 De onderlinge relaties tussen de sleutelactoren zijn “gezond” 4,26 4,24 4,24 4,22 4,22 4,24 2.2.4bis De voornaamste betrokken partijen waren het eens met het voorgestelde M&E systeem (inclusief hun rol hierbinnen) 4,18 4,20 4,33 4,23 4,18 4,22 3.1.9 Er is een positieve houding t.a.v. onafhankelijke evaluatie bij alle sleutelactoren 4,18 4,18 4,18 4,21 4,18 3.1.3 De verwachtingen van de sleutelactoren t.a.v. de evaluatie (proces en resultaten) zijn onderling compatibel 4,11 4,19 4,11 4,14 1.1.7 De band tussen de rationale van de interventie en het sectorbeleid van het partnerland is duidelijk beschreven 4,10 1.4.1 Eventuele veranderingen in interventielogica en onderliggende veranderingstheorie zijn duidelijk aangegeven en beargumenteerd 4,27 4,20 4,17 4,03 1.1.6 De band tussen de onderliggende analyse en de interventiedoelen is duidelijk beschreven 4,00 1.2.3 De veranderingstheorie is logisch en realistisch 4,15 4,40

3.2 De 20% slechtst scorende items

Wat in eerste instantie opvalt in tabel A3 3 (zie hierna) is dat 18 items, d.w.z. bijna één derde van alle items, voor minstens één criterium bij de 20% slechtst scorende items behoren. Van deze 18 items behoren er 10 tot de eerste dimensie (het interventieplan), 7 tot de tweede (de uitvoeringspraktijk) en slechts 1 tot de derde dimensie (de context). 8 van de 18 items leveren ook één van de 20% laagste scores aan voor alle criteria waarvoor ze werden onderzocht14. Verder is het vooral de oververtegenwoordiging van component 1.3 (Het voorgestelde M&E systeem) die opvalt, waarvan 7 (van de 9 items van deze component) op de lijst figureren. Dat item 2.1.3 (Er is baseline informatie voor de indicatoren (consistent aan de interventielogica) m.b.t. de counterfactual) hoog op de lijst zou eindigen, is geen verrassing gezien de afwezigheid van een traditie, binnen de Belgische samenwerking, 14 Het aantal criteria waarvoor een item werd onderzocht is gewoonlijk 5, maar in een aantal gevallen minder. Sommige items, zoals bijvoorbeeld 1.3.7 (De personele en financiële middelen van het M&E systeem zijn duidelijk beschreven) hebben maar op één criterium betrekking.


84

om met counterfactuals te werken. Vanuit het standpunt van evalueerbaarheid heeft het ontbreken van een counterfactual vooral ernstige implicaties op het vlak van impact15. De praktijk om met een counterfactual te werken, vormt geen onderdeel van de Belgische ontwikkelingstraditie, zelfs niet in relatief grote en/of langdurige interventies. Een counterfactual uitwerken wordt aanzien als erg veeleisend en niet echt nodig, ook al omdat de financierende instanties hierop nooit hebben aangedrongen. Hoewel werken met een counterfactual inderdaad niet eenvoudig is, heeft het onderzoeksteam toch een aantal interventies bezocht waar de uitwerking van een counterfactual niet zo moeilijk zou zijn geweest en/of zeker te verantwoorden vanuit het perspectief van de interventie (bv. interventies die vanuit een geheel nieuwe veranderingstheorie aan de slag zijn gegaan en er nood aan hebben om die theorie goed te testen, ook op de ‘hogere’ niveaus). Waarschijnlijk gaat ook hier het adagium ‘onbekend is onbemind’ op, en worden zo interessante opportuniteiten gemist. Een gelijkaardige opmerking kan ook worden gemaakt m.b.t. het tweede item op de lijst (De wijze waarop het M&E systeem van de interventie zich afstemt/verhoudt tot het nationale/lokale M&E systeem is duidelijk beschreven) en de daarmee verbonden item 2.2.6 lager op de lijst (Het M&E systeem van de interventie is afgestemd op het nationale/lokale M&E systeem). Hoewel de afstemming van de interventie op het sectorbeleid van het land goed scoort (zie tabel met beste items hierboven), blijkt men daarbij niet te overwegen of het M&E systeem zich kan afstemmen op dat van de overheid in het betrokken land of andere lokale actoren. Het feit dat in sommige landen deze systemen nog niet zijn uitgewerkt, nog in ontwikkeling of onbetrouwbaar zijn, speelt hier zeker een rol. De aanwezigheid van item 1.3.2 (Er is baseline informatie voorhanden waarbij de relevante indicatoren sekse-specifiek en/of naar andere relevante parameters zijn uitgesplitst) en de daarmee verbonden items 2.1.4 (Er is baseline informatie voorhanden waarbij de relevante indicatoren sekse-specifiek en/of naar andere relevante parameters zijn uitgesplitst) en 1.1.5 (Genderanalyse is een integraal deel van de onderliggende analyse) is evenmin een verrassing. In onze analyse hierboven werd op verschillende plaatsen het gebrek aan aandacht voor gender en andere relevante parameters van sociale differentiatie vastgesteld. Daarnaast is het verband tussen deze items evident: als de initiële analyse gender niet of slechts fragmentair integreert, zal dit zich waarschijnlijk vertalen in een tekort aan aandacht voor gender verderop in de interventiecyclus. Het is evident dat gebrek aan aandacht voor gender de evalueerbaar-heid sterk beïnvloedt. Zoals reeds eerder aangegeven, behoren een groot aantal items uit de lijst tot component 1.3 (Het voorgestelde M&E systeem). We kunnen hieruit besluiten dat – tenminste vanuit het standpunt van evalueerbaarheid – in het interventieplan te weinig aandacht wordt besteed aan het M&E systeem. Naast eerder geciteerde manco’s m.b.t. articulatie met lokale M&E systemen en aandacht voor gender, wordt ook aan andere elementen van het M&E systeem te weinig aandacht besteed: de werkwijze om interne risico’s en assumpties op te volgen, de personele en financiële middelen, de werkwijze om interventieresultaten en hun duurzaamheid op te volgen en te evalueren, en de operationalisering van de voornaamste resultaten van de interventie. De zwakke uitwerking van het M&E systeem in het interventieplan kan vanuit het standpunt van evalueerbaarheid op verschillende wijzen worden bekeken. Allereerst maakt het vanuit evalueerbaarheid minder uit of dit systeem al dan niet goed is beschreven in het interventieplan, wat telt is de kwaliteit van het M&E systeem in de praktijk. Vervolgens is het belangrijk te onderlijnen dat component 1.3 werd toegevoegd onder dimensie 1 vanuit de overweging dat een goede ex-ante uitwerking van het M&E systeem een goede garantie vormt voor een adequaat M&E systeem in de uitvoeringsfase. Deze hypothese wordt slechts gedeeltelijk bevestigd: in de regel is de praktijk beter dan wat in het interventieplan beschreven staat; slechts twee items m.b.t. de M&E praktijk behoren tot de zwakste items. De betere score m.b.t. de M&E praktijk heeft o.i. vooral te maken met het feit dat men het (om verschillende redenen) niet belangrijk vindt om ex ante het M&E systeem in het interventieplan in detail te beschrijven en/of dat dit plan slechts bij de opstart van de interventie in detail wordt

15 Zie ook onze bespreking van het gebruik van een counterfactual onder hoofdstuk 3 deel 2.2.


85

uitgewerkt, een praktijk die we in verschillende interventies zijn tegengekomen. Ons lijkt het aanvaardbaar dat de informatie m.b.t. het M&E systeem in het interventieplan beperkt wordt; een korte schets van de verschillende componenten van het systeem en hoe die vorm zijn gegeven (of zullen krijgen) en op elkaar zijn (of zullen worden) afgestemd zou in principe moeten volstaan. Of misschien kan worden volstaan met een aanduiding van de personele en financiële middelen en de aankondiging dat het systeem later inhoudelijk zal worden ingevuld en/of beschreven. De aanwezigheid – in de groep van zwakst scorende items - van een item behorend tot dimensie 3 (de context), item 3.1.1 (de voornaamste gebruikers van de evaluatie en hun verwachtingen/belang t.a.v. de evaluatie zijn duidelijk gedefinieerd) is vrij verrassend, omdat vele items van dimensie 3 tot de groep van de best scorende behoren. Dit kan worden verklaard vanuit de vaststelling dat item 3.1.1 in wezen een activiteit is die deel uitmaakt van de toepassing van een goed monitoring systeem, zodat zijn integratie onder component 2.2 (het M&E systeem in de praktijk) misschien wel logischer was geweest16. Verder is het belangrijk vast te stellen dat aan het definiëren van gebruikers van een evaluatie en van hun verwachtingen/belang weinig aandacht wordt besteed. Dit is een belangrijk gegeven vanuit het standpunt van evalueerbaarheid in de ruime zin (waarbij we ook nut en bruikbaarheid van de evaluaties meenemen). Immers als aan dit punt weinig aandacht wordt besteed, riskeert het draagvlak van een evaluatie te versmallen en ook haar uiteindelijk nut. Eveneens vergroot de kans dat belangrijke stakeholders niet op de juiste wijze (of helemaal niet) worden betrokken bij de evaluatie, wat op zijn beurt belangrijke implicaties kan hebben voor de betrouwbaarheid van de evaluatie-bevindingen (wat alle criteria betreft). De aanwezigheid van 2.1.9 (De informatie m.b.t. de opvolging van interne risico's is beschikbaar en eventuele gevolgen voor de interventielogica en interventie-uitvoering zijn aangeduid) en 2.1.10 (De informatie m.b.t. de opvolging van assumpties is beschikbaar en eventuele gevolgen voor de interventielogica en interventie-uitvoering zijn aangeduid) op de lijst leert ons dat, blijkbaar, de verantwoordelijken van de interventies het niet belangrijk vinden om goed te rapporteren over de opvolging van assumpties en interne risico’s en de eventuele gevolgen van die opvolging voor de interventielogica en –uitvoering. De zwakke scores m.b.t. deze items verklaren ook de zwakke score van item 1.4.2 (Er is informatie beschikbaar over de visie en meningen van de voornaamste betrokkenen partijen m.b.t. de eventuele veranderingen in interventielogica en veranderingstheorie): immers als er weinig informatie wordt gedeeld m.b.t. wijzigingen in de interventielogica en –uitvoering (als gevolg van de opvolging van risico’s en assumpties), zal er ook weinig worden geïnformeerd rond de visie van de betrokken partijen m.b.t. deze veranderingen. We vermoeden dat de zwakke scores voor deze items kunnen verklaard worden vanuit het feit dat men rond deze punten niet of slechts fragmentair moet rapporteren. Gesprekken met de verantwoordelijken van interventies hebben geleerd dat de praktijk op dit vlak sterk varieert. In een aantal interventies is de opvolging van assumpties en risico’s goed ingebed in de M&E praktijk, in andere gebeurt die opvolging sporadisch, in nog andere helemaal niet. Vanuit het perspectief van evalueerbaarheid is deze informatie belangrijk, vooral omdat ze kan/moet leiden tot aanpassingen in de interventielogica en –uitvoering, die de basis vormen voor de beoordeling van o.m. de effectiviteit en efficiëntie van de interventies. Een in onze ogen erg belangrijke vaststelling is gerelateerd aan de zwakke score voor 2.2.10 (Er hebben evaluaties en/of studies plaatsgevonden die van goede kwaliteit zijn en nuttige informatie aanleveren – overeenkomstig wat we mochten verwachten). Deze zwakke score duidt op een beperkte evaluatie- en studiepraktijk (in tegenstelling tot operationele monitoring die in toenemende mate goed is uitgewerkt), waardoor nieuwe evaluaties met name m.b.t. de ‘moeilijke’ DAC criteria niet kunnen terugvallen op eerder uitgevoerde analyses. Belangrijk om hier te vermelden is dat het onderzoeksteam als

16 De integratie van dit item onder component 3.1 (de houding van de sleutelactoren) gebeurde vanuit de overweging dat het in eerste instantie nodig is de voornaamste toekomstige gebruikers van een evaluatie te kennen alvorens men hun houding t.a.v. een onafhankelijke evaluatie kan analyseren. Verder kan worden opgemerkt dat een eventuele integratie van dit item in 2.2 het reeds grote verschil in score tussen enerzijds dimensie 3 en anderzijds de beide andere dimensies nog zou hebben vergroot.


86

uitgangspunt voor de beoordeling is uitgegaan van wat men, gezien het uitvoeringsniveau van de interventie redelijkerwijs mocht verwachten op het vlak van studies en evaluaties. De zwakke score op deze item suggereert dat meer aandacht nodig is voor ‘evalueren’, wat waarschijnlijk moet beginnen met een betere uitwerking van het evaluatieluik in het M&E beleid. De vijf laatste items van de tabel hebben alle slechts met één van de vijf DAC criteria te maken. Drie van hen illustreren de uitdagingen om de evalueerbaarheid van impact te vergroten: 1.2.4 (kritieke en cruciale schakels in de ketting worden geïdentificeerd en kunnen worden getest), 1.3.1 (de voornaamste beoogde resultaten van de interventie zijn goed geoperationaliseerd) en 2.1.5 (de te verwachten informatie is beschikbaar m.b.t. de voortgang van de realisatie van de interventiedoelen). Hun zwakke score is een illustratie van de beperkte aandacht voor het impactniveau die eerder reeds werd gesignaleerd. De lage score van 1.3.4 voor het criterium duurzaamheid (de werkwijze om het bereiken van de interventieresultaten en hun duurzaamheid op te volgen en te evalueren is duidelijk beschreven) vormt een illustratie van het tekort aan aandacht voor duurzaamheid bij de uitwerking (en uitvoering?) van een M&E systeem. Tabel A3 3: Overzicht van de zwakst scorende items qua evalueerbaarheid Item Relevan-

tie Effecti-viteit

Efficiën- tie

Impact Duurzaam-heid

Evalueerbaar-heidsindex

2.1.3 Er is baseline informatie voor de indicatoren (consistent aan de interventielogica) m.b.t. de counterfactual 1,28 1,28 1,44 1,29 1,32 1.3.9 De wijze waarop het M&E systeem van de interventie zich afstemt/verhoudt tot het nationale/lokale M&E systeem is duidelijk beschreven 1,57 1,69 1,63 1,57 1,57 1,61 1.3.2 Waar nodig/relevant zijn de indicatoren sekse-specifiek en/of uitgesplitst naar andere relevante parameters 1,82 1,81 1,34 1,63 1,65 1.3.6 De werkwijze om de interne risico's op te volgen is duidelijk beschreven 1,70 1,80 1,85 1,45 1,68 1,70 2.1.4 Er is baseline informatie voorhanden waarbij de relevante indicatoren sekse-specifiek en/of naar andere relevante parameters zijn uitgesplitst 1,76 1,86 1,51 1,71 1.3.5 De werkwijze om de assumpties op te volgen is duidelijk beschreven 1,85 1,85 1,90 1,55 1,82 1,79 3.1.1 De voornaamste gebruikers van de evaluatie en hun verwachtingen/belang t.a.v. de evaluatie zijn duidelijk gedefinieerd 2,36 2,36 2,36 2,27 2,33 2.1.10 De informatie m.b.t. de opvolging van assumpties is beschikbaar en eventuele gevolgen voor de interventie-logica en interventie-uitvoering zijn aangeduid 2,21 2,37 2,60 2,45 2,37 1.1.5 Genderanalyse is een integraal deel van de onderliggende analyse 2,40 2,40 2,40 1.3.7 De personele en financiële middelen van het M&E systeem zijn duidelijk beschreven 2,40 2,40 2.1.9 De informatie m.b.t. de opvolging van interne risico's is 2,40 2,54


87

Item Relevan-tie

Effecti-viteit

Efficiën- tie

Impact Duurzaam-heid

Evalueerbaar-heidsindex

beschikbaar en eventuele gevolgen voor de interventielogica en interventie-uitvoering zijn aangeduid 2.2.10 Er hebben evaluaties en/of studies plaatsgevonden die van goede kwaliteit zijn en nuttige informatie aanleveren (overeenkomstig wat we mochten verwachten) 2,67 2,58 2,61 1.4.2 Er is informatie beschikbaar over de visie en meningen van de voornaamste betrokkenen partijen m.b.t. de eventuele veranderingen in interventielogica en veranderingstheorie 2,43 2.2.6 Het M&E systeem van de interventie is afgestemd op het nationale/lokale M&E systeem 2,60 1.2.4 Kritieke en cruciale schakels in de ketting worden geïdentificeerd en kunnen worden getest 1,87 1.3.4 De werkwijze om het bereiken van de interventie-resultaten en hun duurzaamheid op te volgen en te evalueren is duidelijk beschreven 2,62 1.3.1 De voornaamste beoogde resultaten van de interventie zijn goed geoperationaliseerd 1,83 2.1.5 (De te verwachten) informatie is beschikbaar m.b.t. de voortgang van de realisatie van de interventiedoelen 1,69

4. Correlaties

Voor de volledigheid en ter info worden tot slot nog enkele correlaties gepresenteerd. Deze resultaten werden niet specifiek verwerkt in de verdere analyse gezien de uitkomsten weinig nieuwe informatie aanleverden voor de interpretatie van de andere studieresultaten. Er werd gekozen voor een eenzijdige test omdat de hypothese is dat er een positieve relatie zal zijn tussen de scores van dimensie 1 en dimensie 2. Dit geldt eveneens voor de relaties tussen de andere dimensies en de correlaties tussen de verschillende DAC-criteria. Er wordt dus steeds een eenzijdige test gebruikt. Een extra controle met een andere test voor correlaties (Pearson’s r in plaatsvan Spearman’s rho) bleek erop te wijzen dat beide testen zeer gelijkaardig resultaten genereerden. Bijgevolg zijn alle berekende correlaties Spearman’s rho (one-tailed). Significante correlaties worden aangegeven d.mv. *** (significant op α=0,01), ** (significant op α=0,05) en * (significant op α=0,10).

4.1 Correlaties tussen de verschillende dimensies van het studiekader

Tabel A4 1: Correlaties tussen dimensie 1 en dimensie 2 - Spearman’s rho (one-tailed test)


88

Dimensie 2 Dimensie 1


Relevantie 0.651*** (0.000)

Effectiviteit 0.658*** (0.000)

Efficiëntie 0.451*** (0.002)

Impact 0.576*** (0.000)

Duurzaamheid 0.808*** (0.000)

Tabel A4 2: Correlaties tussen domein 1 en domein 3 - Spearman’s rho (one-tailed test) Dimensie 3 Dimensie 1


Relevantie 0.217* (0.089)

Effectiviteit 0.230* (0.077)

Efficiëntie 0.007 (0.483)

Impact 0.228* (0.079)

Duurzaamheid 0.263* (0.050)

Table A4 3: Correlaties tussen dimensie 2 en dimensie 3 - Spearman’s rho (one-tailed test) Dimensie 3 Dimensie 2


Relevantie 0.314** (0.024)

Effectiviteit 0.320**

(0.022)

Efficiëntie 0.199 (0.109)

Impact 0.371** (0.009)

Duurzaamheid 0.316**

(0.024)

4.2 Correlaties tussen de verschillende DAC criteria

Globaal

Tabel A4 4: Correlaties tussen de verschillende DAC-criteria op globaal-niveau (Spearman’s rho, one-tailed test) Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Relevantie 0.855***

(0.000) 0.773*** (0.000)

0.696*** (0.000)

0.784*** (0.000)

Effectiviteit 0.855*** 0.846*** 0.626*** 0.703***


89

(0.000) (0.000) (0.000) (0.000) Efficiëntie 0.773***

(0.000) 0.846*** (0.000)

0.484*** (0.001)

0.592*** (0.000)

Impact 0.696*** (0.000)

0.626*** (0.000)

0.484*** (0.001)

0.770*** (0.000)


0.703*** (0.000)

0.592*** (0.000)

0.770*** (0.000)

Op dimensie-niveau

Tabel A4 5: Correlaties tussen de verschillende DAC voor dimensie 1 (Spearman’s rho, one-tailed test) Dimensie 1 Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Relevantie 0.832***

(0.000 0.565*** (0.000)

0.476*** (0.001)

0.576*** (0.000)


0.687*** (0.000)

0.467*** (0.001)

0.606*** (0.000)

Efficiëntie 0.565*** (0.000)

0.687*** (0.000)

0.167 (0.151)

0.334** (0.018)

Impact 0.476*** (0.001)

0.467*** (0.001)

0.167 (0.151)

0.529*** (0.000)


0.606*** (0.000)

0.334** (0.018)

0.529*** (0.000)


(0.000) 0.665*** (0.000)

0.766*** (0.000)

0.743*** (0.000)


0.691*** (0.000)

0.691*** (0.000)

0.683*** (0.000)

Efficiëntie 0.665*** (0.000)

0.691*** (0.000)

0.454*** (0.002)

0.489*** (0.001)

Impact 0.766*** (0.000)

0.691*** (0.000)

0.454*** (0.002)

0.777*** (0.000)


0.683*** (0.000)

0.489*** (0.001)

0.777*** (0.000)


(0.000) 0.956*** (0.000)

0.968*** (0.000)

0.991*** (0.000)


1.000***

0.931*** (0.000)

0.955*** (0.000)

Efficiëntie 0.956*** (0.000)

1.000***

0.931*** (0.002)

0.955*** (0.001)

Impact 0.968*** (0.000)

0.931*** (0.000)

0.931*** (0.002)

0.969*** (0.000)


0.955*** (0.000)

0.955*** (0.001)

0.969*** (0.000)

Op component-niveau Tabel A4 8 Component 1.1 Relevantie Effectiviteit Relevantie 0.978***

(0.000) Effectiviteit 0.978***


90

(0.000) Tabel A4 9 Component 1.2 Effectiviteit Efficiëntie Impact Duurzaamheid Effectiviteit 0.437***

(0.002) 0.392*** (0.006)

0.376*** (0.008)

Efficiëntie 0.437*** (0.002)

-0.078 (0.316)

0.070 (0.333)

Impact 0.392*** (0.006)

-0.078 (0.316)

0.495*** (0.001)


0.070 (0.333)

0.495*** (0.001)

Tabel A4 10 Component 1.3


Relevantie 0.708*** (0.000)

0.640*** (0.000)

0.455*** (0.002)

0.803*** (0.000)


0.933*** (0.000)

0.366** (0.010)

0.693*** (0.000)

Efficiëntie 0.640*** (0.000)

0.933*** (0.000)

0.213* (0.094)

0.617*** (0.000)

Impact 0.455*** (0.002)

0.366** (0.010)

0.213* (0.094)

0.425*** (0.003)


0.693*** (0.000)

0.617*** (0.000)

0.425*** (0.003)



Relevantie 0.975*** (0.000)

0.975*** (0.000)

0.870*** (0.001)

0.975*** (0.000)


1.000*** 0.837*** (0.001)

1.000***

Efficiëntie 0.975*** (0.000)

1.000*** 0.837*** (0.001)

1.000***

Impact 0.870*** (0.001)

0.837*** (0.001)

0.837*** (0.001)

0.837*** (0.001)


1.000*** 1.000*** 0.837*** (0.001)



Relevantie 0.827*** (0.000)

0.582*** (0.000)

0.582*** (0.000)

0.561*** (0.000)


0.460*** (0.001)

0.441*** (0.002)

0.588*** (0.000)

Efficiëntie 0.582*** (0.000)

0.460*** (0.001)

0.250* (0.060)

0.244* (0.067)

Impact 0.582*** (0.000)

0.441*** (0.002)

0.250* (0.060)

0.638*** (0.000)


0.588*** (0.000)

0.244* (0.067)

0.638*** (0.000)




91

Relevantie 0.842*** (0.000)

0.718*** (0.000)

0.792*** (0.000)

0.841*** (0.000)


0.830*** (0.000)

0.715*** (0.000)

0.731*** (0.000)

Efficiëntie 0.718*** (0.000)

0.830*** (0.000)

0.591*** (0.000)

0.675*** (0.000)

Impact 0.792*** (0.000)

0.715*** (0.000)

0.591*** (0.000)

0.867*** (0.000)


0.731*** (0.000)

0.675*** (0.000)

0.867*** (0.000)



Relevantie 0.959*** (0.000)

0.959*** (0.000)

0.860*** (0.000)

0.924*** (0.000)


1.000*** 0.829*** (0.000)

0.888*** (0.000)

Efficiëntie 0.959*** (0.000)

1.000***

0.829*** (0.000)

0.888*** (0.000)

Impact 0.860*** (0.000)

0.829*** (0.000)

0.829*** (0.000)

0.927*** (0.000)


0.888*** (0.000)

0.888*** (0.000)

0.927*** (0.000)



Relevantie 0.903*** (0.000)

0.903*** (0.000)

1.000***

0.992*** (0.000)


1.000***

0.903*** (0.000)

0.905*** (0.000)

Efficiëntie 0.903*** (0.000)

1.000*** 0.903*** (0.000)

0.905*** (0.000)

Impact 1.000*** (0.000)

0.903*** (0.000)

0.903*** (0.000)

0.992*** (0.000)


0.905*** (0.000)

0.905*** (0.000)

0.992*** (0.000)


92

Bijlage 8: Overzicht Gemiddelde Scores en Evalueerbaarheidsindex

Tabel 1: Voornaamste resultaten m.b.t. de onderliggende analyse ............................................................................................ 92

Tabel 2: Voornaamste resultaten m.b.t. het interventielogica en de veranderingstheorie ......................................................... 94

Tabel 3: Voornaamste resultaten m.b.t. het voorgestelde M&E systeem ................................................................................... 97

Tabel 4: Voornaamste resultaten m.b.t. consistentie en adaptatie van de interventielogica en de veranderingstheorie ......... 101

Tabel 5: Voornaamste resultaten m.b.t. basisinformatie m.b.t. de interventieuitvoering ........................................................ 102

Tabel 6: Met M&E systeem in de praktijk ................................................................................................................................. 109

Tabel 7: Bevindingen m.b.t. de houding van de sleutelactoren ................................................................................................ 115

Tabel 8: Overzicht van de bevindingen m.b.t. de bredere context ........................................................................................... 118

Tabel 1: Voornaamste resultaten m.b.t. de onderliggende analyse Item Relevantie Effectiviteit Evalueerbaarheids-

index 1.1. De onderliggende analyse Score: 3,65 Score: 3,60 Score: 3,63 1.1.1 De doelgroepen zijn duidelijk afgebakend en beschreven

Score: 3,48 De karakteristieken van de doelgroepen zijn in detail beschreven en eenduidig afgebakend voor 15% van de interventies, de doelgroepen zijn goed beschreven en eenduidig afgebakend voor 38%, goed beschreven maar niet eenduidig afgebakend voor 30%, vaag beschreven en niet afgebakend voor 15% en niet beschreven voor 3% van de interventies.

Score: 3,50 De karakteristieken van de doelgroepen zijn in detail beschreven en eenduidig afgebakend voor 15% van de interventies, de doelgroepen zijn goed beschreven en eenduidig afgebakend voor 38%, goed beschreven maar niet eenduidig afgebakend voor 30%, vaag beschreven en niet afgebakend voor 18% van de interventies.

Score: 3,49

1.1.2. De rationale van de interventie en de (probleem)situatie van de doelgroep zijn duidelijk beschreven

Score: 3,85 Voor 38% van de interventies worden de rationale van de interventie en de probleem(situatie) van de

Score: 3,85


93

Item Relevantie Effectiviteit Evalueerbaarheids- index

doelgroep duidelijk en in detail beschreven, voor 25% worden de rationale van de interventie en de probleem-(situatie) van de doelgroep duidelijk beschreven. Voor 25% wordt de rationale van de interventie duidelijk be-schreven, maar de (probleem)situatie van de doel-groep vaag, voor 10% worden de rationale van de in-terventie en de (probleem)situatie van de doelgroep vaag beschreven en voor 3% worden de rationale van de interventie en de (probleem)situatie van de doelgroep niet beschreven.

1.1.3. De rol van de doelgroep(en) is duidelijk beschreven

Score: 3,60 De rol van de doelgroep(en) is duidelijk beschreven voor 40% van de interventies, vaag beschreven voor 50% van de interventies en niet beschreven voor 10% van de interventies.

Score: 3,55 De rol van de doelgroep(en) is duidelijk beschreven voor 38% van de interventies, vaag beschreven voor 53% van de interventies en niet beschreven voor 10% van de interventies.

Score: 3,58

1.1.4. De rol van de voornaamste betrokken actoren (exclusief doelgroep) is duidelijk

Score: 3,50 Voor 37% van de (38) interventies zijn de voornaamste betrokken actoren en hun toegewezen rol duidelijk omschreven, voor 53% zijn de voornaamste betrokken actoren beschreven, maar hun toegewezen rol is niet geheel duidelijk en voor 11% zijn de voornaamste betrokken actoren niet beschreven.

Score: 3,45 Voor 34% van de (38) interventies zijn de voornaamste betrokken actoren en hun toegewezen rol duidelijk omschreven, voor 55% zijn de voornaamste betrokken actoren beschreven, maar hun toegewezen rol is niet geheel duidelijk en voor 11% zijn de voornaamste betrokken actoren niet beschreven.

Score: 3,47

1.1.5. Genderanalyse is een integraal deel van de onderliggende analyse

Score: 2,40 Voor 18% van de interventies vormt de gender analyse een integraal deel van de onderliggende analyse, voor 35% wordt de specifieke situatie van mannen en vrou-wen in de doelgroep beschreven, maar is er niet echt sprake van een genderanalyse en voor 48% wordt de specifieke situatie van mannen en vrouwen in de doelgroep niet beschreven in de onderliggende analyse.

Score: 2,40 Voor 18% van de interventies vormt de gender analyse een integraal deel van de onderliggende analyse, voor 35% wordt de specifieke situatie van mannen en vrouwen in de doelgroep beschreven, maar is er niet echt sprake van een genderanalyse en voor 48% wordt de specifieke situatie van mannen en vrouwen in de doelgroep niet beschreven in de onderliggende analyse.

Score: 2,40

1.1.6. De band tussen de onderliggende analyse en de interventiedoelen is duidelijk beschreven

Score: 4,00 De band tussen de onderliggende analyse en de inter-ventiedoelen is duidelijk en systematisch beschreven voor 58% van de interventies, vaag beschreven voor 35% en niet beschreven voor 8% van de interventies.

Score: 4,00

1.1.7. De band tussen de rationale van de interventie en het sectorbeleid van het partnerland is duidelijk beschreven

Score: 4,08 De band tussen de rationale van de interventie en het sectorbeleid van het partnerland is duidelijk en syst-ematisch beschreven voor 65% van de interventies,

Score: 4,08


94

Item Relevantie Effectiviteit Evalueerbaarheids- index

vaag beschreven voor 25% van de interventies en niet beschreven voor 10% van de interventies.

Tabel 2: Voornaamste resultaten m.b.t. het interventielogica en de veranderingstheorie Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaarheids-

index 1.2 De interventielogica en veranderingstheorie

Score: 3,0 Score: 3,50 Score: 2,10 Score: 3,23 Score: 2.96

1.2.1 Er is een duidelijk en correct onderscheid tussen outputs, outcomes en impact

Score: 3,65 53% van de interventies maakt een duidelijk en correct onderscheid tussen outputs en outcomes, 28% maakt een duidelijk onderscheid tussen outputs en outcomes maar dit onderscheid is niet correct, 20% maakt geen duidelijk en correct onderscheid tussen outputs en outcomes.

Score: 2,65 33% van de interventies maakt een duidelijk en correct onderscheid tussen outcomes en impact, 18% maakt een duidelijk onderscheid tussen outcomes en impact maar dit is niet correct, 50% maakt geen duidelijk en correct onderscheid tussen outcomes en impact.

Score: 3.15

1.2.2 De veranderingstheorie vanaf inputs tot outcomes en de uiteindelijke impact is duidelijk uitgewerkt

Score: 3,35 28% van de interventies heeft de veranderingstheorie tot op het niveau van outcomes duidelijk uitgewerkt, 63% heeft de veranderingstheorie tot op dat niveau deels duidelijk uitgewerkt, 10% heeft de veranderingstheorie tot niveau van outcomes niet duidelijk uitgewerkt.

Score: 1,90 5% van interventies heeft de veranderingstheorie tot op het niveau van impact duidelijk uitgewerkt, 35% heeft de veranderingstheorie tot op dat niveau deels duidelijk uitgewerkt, 60% heeft de veranderingstheorie tot op het niveau van impact niet duidelijk uitgewerkt.

Score: 2.63

1.2.3 De veranderingstheorie is logisch en realistisch

Score: 4,15 De veranderingstheorie (tot het outcomeniveau) is logisch en realistisch

Score: 4,40 De veranderingstheorie (tot het outputniveau) is logisch en realistisch voor

Score: 3,20 De veranderingstheorie (tot het impactniveau) is logisch en realistisch

Score: 3.92


95

Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaarheids- index

voor 60% van de interventies, is logisch maar niet realistisch voor 38% van de interventies , is niet logisch en niet realistisch voor 3% van de interventies.

70% van de interventies, is logisch maar niet realistisch voor 30% van de interventies.

voor 33% van de interventies, is logisch maar niet realistisch voor 45% van de interventies, is niet logisch en niet realistisch voor 23% van de interventies.

1.2.4 Kritische en cruciale schakels in de ketting worden geïdentificeerd en kunnen worden getest

Score: 3,08 Voor 30% van de interventies worden kritieke en cruciale schakels in de ketting (tot het outcome niveau) geïdentificeerd welke relatief gemakkelijk getest kunnen worden, voor 43% worden kritieke en cruciale schakels in de ketting geïdentificeerd maar deze kunnen moeilijk worden getest, voor 28% worden geen kritieke en cruciale schakels geïdentificeerd.

Score: 3,35 Voor 43% van de interventies worden kritieke en cruciale schakels in de ketting (tot het output niveau) geïdentificeerd welke relatief gemakkelijk getest kunnen worden, voor 33% worden kritieke en cruciale schakels in de ketting geïdentificeerd maar deze kunnen moeilijk worden getest, voor 25% worden geen kritieke en cruciale schakels geïdentificeerd.

Score: 1,87 Voor 8% van de (39) interventies worden kritieke en cruciale schakels in de ketting (tot het impact niveau) geïdentificeerd welke relatief gemakkelijk getest getest kunnen worden, voor 28% worden kritieke en cru-ciale schakels in de ketting geïdentificeerd maar deze kunnen moeilijk worden getest, voor 64% worden geen kritieke en cruciale schakels geïdentificeerd.

Score: 2.77

1.2.5 De veranderingstheorie omvat concrete maatregelen die de duurzaamheid van de baten van de interventie moeten waarborgen

Score: 3,50 40% van de inter-venties omvat concrete maatregelen om de duurzaamheid te waarborgen op het niveau van inputs en outputs, 45% omvat concrete maatregelen op het niveau van inputs of outputs, 15% omvat geen concrete maatregelen.

Score: 3.50

1.2.6 Interne Score: 3,03 Score: 3,13 Score: 2,83 Score: 2.99


96


risico´s zijn duidelijk aangegeven en onderzocht/ ingeschat

Interne risico´s (tot outcome niveau) zijn duidelijk aangegeven en onderzocht voor 33% van de interventies, duidelijk aangegeven maar niet verder onderzocht voor 35% van de interventies, niet duidelijk aangegeven en niet onderzocht voor 33% van de interventies.

Interne risico´s (tot output niveau) zijn duidelijk aangegeven en onderzocht voor 35% van de interventies, duidelijk aangegeven maar niet verder onderzocht voor 35% van de interventies, niet duidelijk aangegeven en niet onderzocht voor 30% van de interventies.

Interne risico´s (gerelateerd aan duurzaamheid) zijn duidelijk aangegeven en onderzocht voor 28% van de interventies, duidelijk aangegeven maar niet verder onderzocht voor 35% van de interventies, niet duidelijk aangege-ven en niet onderzocht voor 38% van de interventies.

1.2.7 Externe assumpties zijn duidelijk aangegeven en onderzocht/ ingeschat

Score: 2,80 Externe assumpties zijn duidelijk aangegeven en onder-zocht voor 18% van de interventies, duidelijk aangegeven maar niet verder onderzocht voor 55% van de interventies, niet duidelijk aangegeven en niet onderzocht voor 28% van de interventies.

Score: 3,13 Externe assumpties (tot outcome niveau) zijn duidelijk aangegeven en onderzocht voor 25% van de interventies, duidelijk aangegeven maar niet verder onderzocht voor 55% van de interventies, niet duidelijk aangegeven en niet onderzocht voor 20% van de interventies.

Score: 3,23 Externe assumpties (tot output niveau) zijn duidelijk aangegeven en onderzocht voor 25% van de interventies, duidelijk aangegeven maar niet verder onderzocht voor 60% van de interventies, niet duidelijk aangegeven en niet onderzocht voor 15% van de interventies.

Score: 2,15 Externe assumpties (tot impact niveau) zijn duidelijk aangegeven en onderzocht voor 10% van de interventies, duidelijk aangegeven maar niet verder onderzocht voor 38% van de interventies, niet duidelijk aangegeven en niet onderzocht voor 53% van de interventies.

Score: 2,93 Externe assumpties (gerelateerd aan duurzaamheid) zijn duidelijk aangegeven en onderzocht voor 18% van de interventies, duidelijk aangegeven maar niet verder onderzocht voor 60% van de interventies, niet duidelijk aangegeven en niet onderzocht voor 23% van de interventies.

Score: 2.85

1.2.8 De toewijzing Score: 3,64 Score: 3.64


97


van de voorziene middelen aan de outputs is duidelijk

Alle interventies omvatten informatie met betrekking tot de voorziene middelen. Voor 59% van de (39) interventies is de toe-wijzing van alle directe middelen aan de outputs duidelijk en voor 8% er is ook een toewijzing van inputs van andere stake-holders aan de outputs, voor 23% is de toewijzing van een deel van de voorziene directe middelen aan de outputs duidelijk, voor 10 % is de toewijzing van de voorziene middelen aan de outputs helemaal niet duidelijk.

Tabel 3: Voornaamste resultaten m.b.t. het voorgestelde M&E systeem Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaarheids-

index

1.3 Het voorge-stelde M&E systeem

Score: 2,45 Score: 2,83 Score: 2,85 Score: 1,95 Score: 2,46 Score: 2,51

1.3.1 De voornaamste beoogde resultaten van de interventie zijn goed geoperationaliseerd

Score: 3,15 In 18% van de interventies zijn de beoogde resultaten helemaal niet geopera-tionaliseerd, in 8% is dat gedeeltelijk gebeurd maar niet op basis van goede indicatoren; in 33% van de interventies zijn alle voornaamste resultaten geoperationaliseerd, maar minder dan de helft op basis van goede indicatoren; in 28% van de gevallen is dit het geval voor meer dan de helft van de indicatoren; in 15% van de

Score: 3,65 In slechts 3% van de interventies zijn de beoogde resultaten helemaal niet geopera-tionaliseerd, in 13% is dat gedeeltelijk gebeurd maar niet op basis van goede indicatoren; in 28% van de interventies zijn alle voornaamste resultaten geoperationaliseerd, maar minder dan de helft op basis van goede indicatoren; in 33% van de gevallen is dit het geval voor meer dan de helft van de indicatoren; in 25% van de

Score: 1,83 In 65% van de interventies zijn de beoogde resultaten helemaal niet geopera-tionaliseerd, in 13% is dat gedeeltelijk gebeurd maar niet op basis van goede indicatoren; in 8% van de interventies zijn alle voornaamste resultaten geoperationa-liseerd, maar minder dan de helft op basis van goede indicatoren; in slechts 5% van de gevallen is dit het geval voor meer dan de helft van de indicatoren; in 10% van de

Score: 2,72 In 28% van de interventies zijn de beoogde resultaten helemaal niet geopera-tionaliseerd, in 13% is dat gedeeltelijk gebeurd maar niet op basis van goede indicatoren; in 28% van de interventies zijn alle voornaamste resultaten geope-rationaliseerd, maar minder dan de helft op basis van goede indicatoren; in 21% van de gevallen is dit het geval voor meer dan de helft van de

Score: 2,84


98


interventies tenslotte zijn alle resultaten geoperationaliseerd op basis van goede indicatoren.



indicatoren; in 10% van de interventies tenslotte zijn alle resultaten geoperatio-naliseerd op basis van goede indicatoren.

1.3.2 Waar nodig/relevant zijn de indicatoren sekse-specifiek en/of uitgesplitst naar andere relevante parameters

Score: 1,82 62% van de interventies hebben waar nodig/ relevant de indicatoren niet uitge-splitst, 9% van de interventies heeft dit gedaan voor minder dan de helft van de indicato-ren, 21% voor ongeveer de helft van de relevante indicatoren, 3% voor meer dan de helft en slechts 6% voor alle relevante indicatoren.

Score: 1,81 62% van de interventies hebben waar nodig/ relevant de indicatoren niet uitge-splitst, 14% van de projekten heeft dit gedaan voor minder dan de helft van de indicato-ren, 14% voor ongeveer de helft van de relevante indicatoren, 3% voor meer dan de helft en slechts 8% voor alle relevante indicatoren.

Score: 1,34 86% van de interventies hebben waar nodig/ relevant de indicatoren niet uitgesplitst, 6% van de interventies heeft dit gedaan voor minder dan de helft van de indicato-ren, 3% voor ongeveer de helft van de relevante indicatoren en slechts 6% voor alle relevante indicatoren.

Score: 1,63 73% van de interventies hebben waar nodig/ relevant de indicatoren niet uitgesplitst, 10% van de interventies heeft dit gedaan voor minder dan de helft van de indicatoren, 3% voor ongeveer de helft van de relevante indicatoren, 7% voor meer dan de helft en slechts 6% voor alle relevante indicatoren.

Score: 1,65

1.3.3 Het voorgestelde M&E systeem bevat een consistente vertaling van de onderliggende interventielogica en veranderingstheorie

Score: 3,00 In 35% van de interventies wordt helemaal geen sys-teem voorgesteld, in 30% van de interventies is dit wel het geval maar is de vertaling van de onderliggende interventielogica niet goed gebeurd; in 35% van de in-terventies is dit wel het geval.

Score: 3,45 In 20% van de interventies wordt helemaal geen systeem voorgesteld, in 38% van de interventies is dit wel het geval maar is de vertaling van de onder-liggende interventie-logica niet goed ge-beurd; in 43% van de interventies is dit wel het geval.



Score: 2,69 In 44% van de interventies wordt helemaal geen systeem voorgesteld, in 28% van de interventies is dit wel het geval maar is de vertaling van de onderliggende interventielogica niet goed gebeurd; in 28% van de interventies is dit wel het geval.

Score: 3,02

1.3.4 De werkwijze om het bereiken van de interventie-resultaten en hun duurzaamheid op te volgen en te evalueren is duidelijk beschreven

Score: 2,70 In 28% van de interventies is deze werkwijze niet beschreven; in 20% is de beschrijving onduidelijk en/of onvolledig (bv. alleen voor opvolging

Score: 3,15 In 15% van de interventies is deze werkwijze niet beschreven; in 18% is de beschrijving onduidelijk en/of onvolledig (bv. alleen voor opvolging of voor


Score: 2,13 In de helft van de inter-venties is deze werkwijze niet beschreven; in 15% is de beschrijving onduidelijk en/of onvolledig (bv. alleen voor opvolging of voor


Score: 2,78


99


of voor evaluatie); in 20% van de gevallen is de beschrijving duidelijk maar onvolledig; in nogmaals 20% van de gevallen zijn opvolging als evaluatie beschreven, maar niet geheel duidelijk; in slechts 13% van de gevallen tenslotte is de beschrijving zowel voor opvolging als evaluatie duidelijk.

evaluatie); in 20% van de gevallen is de beschrijving duidelijk maar onvolledig; in 33% van de gevallen zijn opvolging als evaluatie beschreven, maar niet geheel duidelijk; in slechts 15% van de gevallen tenslotte is de beschrijving zowel voor opvolging als evaluatie duidelijk.



evaluatie); in 16% van de gevallen is de beschrijving duidelijk maar onvolledig; in 24% van de gevallen zijn opvolging als evaluatie beschreven, maar niet geheel duidelijk; in 11% van de gevallen tenslotte is de beschrijving zowel voor opvolging als evaluatie duidelijk.

1.3.5 De werkwijze om de assumpties op te volgen is duidelijk beschreven

Score: 1,85 In 70% van de gevallen is deze werkwijze niet beschreven; in 18% van de interventies is dat wel het geval maar is de werkwijze niet geheel duidelijk, terwijl in slechts 13% van de gevallen de werkwijze duidelijk beschreven is.





Score: 1,79

1.3.6 De werkwijze om de interne risico's op te volgen is duidelijk beschreven

Score: 1,70 In 73% van de veallen is van een beschrijving van de interne risico’s geen sprake, bij 18% van de interventies is die niet geheel duidelijk, en in 13% van de interventies is dat wel het geval.

Score: 1,80 In 70% van de veallen is van een beschrijving van de interne risico’s geen sprake, bij 20% van de interventies is die niet geheel duidelijk, en in 10% van de inter-venties is dat wel het geval.



Score: 1,68 In 74% van de veallen is van een beschrijving van de interne risico’s geen sprake, bij 18% van de interventies is die niet geheel duidelijk, en in 8% van de interventies is dat wel het geval.

Score: 1,70

1.3.7 De personele en financiële middelen van het M&E systeem zijn

Score: 2,40 In 35% van de interventies zijn de middelen van het M&E

Score: 2,40


100


duidelijk beschreven

systemen niet be-schreven; in 25% is er een onduidelijke beschrijving van de personele of financiële middelen; in 15% van de interventies zijn die middelen beschreven maar niet echt duidelijk; in 15% van de interventies zijn de per-sonele of financiële middelen duidelijk beschreven en in 10% van de interventies is dit voor beide het geval.

1.3.8 Het voorgestelde MIS laat een toewijzing van uitgaven aan specifieke outputs en interventie-componenten toe

Score: 3,67 In 26% van de interventies is dit helemaal niet het geval, in 15% van de projecten laat de informatie geen goede toewijzing toe, terwijl dit wel het geval is in 59% van de interventies.

Score: 3,67

1.3.9 De wijze waarop het M&E systeem van de interventie zich afstemt/verhoudt tot het nationale/ lokale M&E systeem is duidelijk bechreven

Score: 1,57 In 80% van de gevallen is de wijze van afstemming niet beschreven en is er evenmin een verant-woording gegeven waarom dit niet is gebeurd; in 11% van de gevallen is er enige aanduiding in dit verband, terwijl slechts in 9% van de gevallen er sprake is van een duidelijke beschrijving van de wijze van afstemming of van duidelijke vermel-ding van de reden

Score: 1,69 In 77% van de gevallen is de wijze van afstemming niet beschreven en is er evenmin een verant-woording gegeven waar-om dit niet is gebeurd; in slechts 11% van de gevallen is er enige aanduiding in dit ver-band, terwijl eveneens in 11% van de gevallen er sprake is van een duidelijke beschrijving van de wijze van afstemming of van duidelijke vermelding van de reden waarom dit niet is gebeurd.

Score: 1,63 In 80% van de gevallen is de wijze van afstemming niet beschreven en is er evenmin een verant-woording gegeven waar-om dit niet is gebeurd; in slechts 9% van de gevallen is er enige aan-duiding in dit verband, terwijl in 11% van de gevallen er sprake is van een duidelijke beschrijving van de wijze van afstemming of van duidelijke vermel-ding van de reden waar-om dit niet is gebeurd.

Score: 1,57 In 80% van de gevallen is de wijze van afstemming niet beschreven en is er evenmin een verant-woording gegeven waar-om dit niet is gebeurd; in 11% van de gevallen is er enige aanduiding in dit verband, terwijl slechts in 9% van de gevallen er sprake is van een duidelijke beschrijving van de wijze van afstemming of van duidelijke vermel-ding van de reden waar-om dit niet is gebeurd.

Score: 1,60 In 80% van de gevallen is de wijze van afstemming niet beschreven en is er evenmin een verant-woording gegeven waarom dit niet is gebeurd; in 11% van de gevallen is er enige aanduiding in dit ver-band, terwijl slechts in 9% van de gevallen er sprake is van een duidelijke beschrijving van de wijze van afstemming of van duidelijke vermelding van de reden waarom dit niet is gebeurd.

Score: 1,62


101


waarom dit niet is gebeurd.

Tabel 4: Voornaamste resultaten m.b.t. consistentie en adaptatie van de interventielogica en de veranderingstheorie Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaarheids-

index 1.4 Consistentie en adaptatie van de interventielogica en de veranderingstheorie


1.4.1 Eventuele in interventielogica en onderliggende veranderingstheorie zijn duidelijk aangegeven en beargumenteerd

Score: 4,27 Van de interventies (11) met veranderingen in de interventielogica heeft 73% dit aangegeven en goed beargumenteerd, 18% heeft dit aangegeven, maar niet beargumenteerd en 9% heeft dit niet aangegeven.

Score: 4,00 Van de interventies (16) met veranderingen in de interventielogica (tot outcome niveau) heeft 63% dit aangegeven en goed bear-gumenteerd, 25% heeft dit aangegeven, maar niet beargumenteerd en 13% heeft dit niet aangegeven.

Score: 3,76 Van de interventies (21) met veranderingen in de interventielogica (tot output niveau) heeft 52% dit aangegeven en goed bea-rgumenteerd, 33% heeft dit aangegeven, maar niet beargumenteerd en 14% heeft dit niet aangegeven.

Score: 4,20 Van de interventies (10) met veranderingen in de interventielogica (tot impact niveau) heeft 70% dit aangegeven en goed bear-gumenteerd, 20% heeft dit aangegeven, maar niet beargumenteerd en 10% heeft dit niet aangegeven.

Score: 4,17 Van de interventies (12) met veranderingen in de interventielogica (gerelateerd aan duurzaamheid) heeft 67% dit aangegeven en goed beargumenteerd, 25% heeft dit aangegeven, maar niet beargumenteerd; 8% heeft dit niet aangegeven.

Score: 4,03

1.4.2 Er is informatie beschikbaar over de visie en meningen van de voornaamste betrokkenen partijen m.b.t. de eventuele veranderingen in interventielogica en veranderingstheorie

Score: 2,82 Informatie over de visie en meningen van de voornaamste betrokken partijen m.b.t. de eventuele veranderingen in interventielogica en veranderingstheorie is volledig aanwezig voor 27% van de (11) interventies, gedeeltelijk aanwezig voor 36% van de interventies en niet

Score: 2,63 Informatie over de visie en meningen van de voornaamste betrokken partijen m.b.t. de eventuele veranderingen in interventielogica en veranderingstheorie (tot outcome niveau) is volledig aanwezig voor 19% van de (16) interventies, gedeeltelijk aanwezig

Score: 2,43 Informatie over de visie en meningen van de voornaamste betrokken partijen m.b.t. de eventuele veranderingen in interventielogica en veranderingstheorie (tot output niveau) is volledig aanwezig voor 14% van de (21) interventies, gedeeltelijk aanwezig

Score: 2,80 Informatie over de visie en meningen van de voornaamste betrokken partijen m.b.t. de eventuele veranderingen in interventielogica en veranderingstheorie (tot impact niveau) is volledig aanwezig voor 30% van de (10) interventies, gedeeltelijk aanwezig

Score: 2,67 Informatie over de visie en meningen van de voornaamste betrokken partijen m.b.t. de eventuele veranderingen in interventielogica en veranderingstheorie (gerelateerd aan duur-zaamheid) is volledig aanwezig voor 25% van de (12) inter-venties, gedeeltelijk

Score: 2,63


102


beschikbaar voor 36% van de interventies.

voor 44% van de interventies en niet beschikbaar voor 38% van de interventies.



aanwezig voor 33% van de interventies en niet beschikbaar voor 42% van de interventies.

1.4.3 Eventueel veranderingen in interventielogica en veranderingstheorie zijn op adequate manier verwerkt in het M&E systeem

Score: 3,18 Eventuele veranderingen in de interventielogica en veranderingstheorie zijn op adequate manier verwerkt in het M&E systeem van 45% van de (11) interventies, verwerkt maar niet adequaat in het M&E systeem van 18% van de interventies en niet verwerkt in het M&E systeem van 36% van de interventies.

Score: 3,25 Eventuele veranderingen in de interventielogica en veranderingstheorie (tot outcome niveau) zijn op adequate manier verwerkt in het M&E systeem van 44% van de (16) interventies, verwerkt maar niet adequaat in het M&E systeem van 25% van de in-terventies en niet verwerkt in het M&E systeem van 31% van de interventies.

Score: 3,10 Eventuele veranderingen in de interventielogica en veranderingstheorie (tot output niveau) zijn op adequate manier verwerkt in het M&E systeem van 38% van de (21) interventies, verwerkt maar niet adequaat in het M&E systeem van 29% van de in-terventies en niet verwerkt in het M&E systeem van 33% van de interventies.

Score: 3,00 Eventuele veranderingen in de interventielogica en veranderingstheorie (tot impact niveau) zijn op adequate manier verwerkt in het M&E systeem van 40% van de (10) interventies, verwerkt maar niet adequaat in het M&E systeem van 20% van de in-terventies en niet verwerkt in het M&E systeem van 40% van de interventies.

Score: 3,33 Eventuele veranderingen in de interventielogica en veranderingstheorie (gerelateerd aan duurzaamheid) zijn op adequate manier ver-werkt in het M&E sys-teem van 50% van de (12) interventies, verwerkt maar niet adequaat in het M&E systeem van 17% van de interventies en niet verwerkt in het M&E systeem van 33% van de interventies.

Score: 3,17

Tabel 5: Voornaamste resultaten m.b.t. basisinformatie m.b.t. de interventieuitvoering Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaardheids

- index

2.1. Basisinformatie m.b.t. de interventie-uitvoering


2.1.1. De basisdocumenten zijn beschikbaar

Score: 4,03 Voor 56% van de (39) interventies zijn alle te verwachten documenten beschikbaar (inclu-sief een baseline) binnen de afgesproken termijn, voor 10% zijn alle te verwachten documenten

Score: 4,05 Voor 58% van de interventies zijn alle te verwachten documenten beschikbaar (inclusief een baseline) binnen de afgesproken termijn, voor 10% zijn alle te verwachten docu-

Score: 4,13 Voor 60% van de interventies zijn alle te verwachten documenten beschikbaar (inclusief een baseline) binnen de afgesproken termijn, voor 10% zijn alle te verwachten

Score: 3,73 Voor 50% van de interventies zijn alle te verwachten documenten beschikbaar (inclusief een baseline) binnen de afgesproken termijn, voor 10% zijn alle te verwachten

Score: 3,95 Voor 56% van de (39) interventies zijn alle te verwachten documenten beschikbaar (inclusief een baseline) binnen de afgesproken termijn, voor 10%

Score: 3,97


103

Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaardheids- index

beschikbaar (inclu-sief een baseline) maar niet binnen de afgesproken termijn, voor 15% zijn alle te verwachten documenten beschikbaar met uitzondering van een baseline studie, voor 15% is het inter-ventievoorstel of laatste voortgangsrapport niet beschikbaar en voor 3% zijn twee of meer van de te verwachten documenten niet beschikbaar.

menten beschik-baar (inclusief een baseline) maar niet binnen de afgesproken termijn, voor 15% zijn alle te ver-wachten documenten beschikbaar met uitzondering van een baseline studie, voor 15% is het interventie-voorstel of laatste voortgangsrapport niet beschikbaar en voor 3% zijn twee of meer van de te verwachten documenten niet beschikbaar.

documenten beschikbaar (inclusief een baseline) maar niet binnen de afgesproken termijn, voor 13% zijn alle te verwachten documenten beschikbaar met uitzondering van een baseline studie en voor 18% is het interventievoorstel of laatste voortgangsrapport niet beschikbaar.

documenten beschikbaar (inclusief een baseline) maar niet binnen de afgesproken termijn, voor 15% zijn alle te verwachten documenten beschikbaar met uitzondering van een baseline studie, voor 13% is het interventievoorstel of laatste voortgangsrapport niet beschikbaar en voor 13% zijn twee of meer van de te verwachten documenten niet beschikbaar.

zijn alle te verwachten docu-menten beschik-baar (inclusief een baseline) maar niet binnen de afgesproken termijn, voor 13% zijn alle te verwachten docu-menten beschik-baar met uitzondering van een baseline studie, voor 13% is het interventie-voorstel of laatste voortgangsrapport niet beschikbaar en voor 8% zijn twee of meer van de te verwachten documenten niet beschikbaar.

2.1.2. Er is baseline informatie m.b.t. de doelgroep beschikbaar

Score: 3,50 Voor 48% van de interventies is er voor alle relevante (outcome) indicatoren baseline informatie voor de doelgroep aanwezig, voor 30% is er voor enkele relevante indicatoren baseline informatie aanwezig en voor

Score: 3,90 Voor 58% van de interventies is er voor alle relevante (output) indicatoren baseline informatie voor de doelgroep aanwezig, voor 30% is er voor enkele relevante indicatoren baseline informatie aanwezig en voor 13% is er geen baseline informatie

Score: 2,45 Voor 28% van de interventies is er voor alle relevante (impact) indicatoren baseline informatie voor de doelgroep aanwezig, voor 18% is er voor enkele relevante indicatoren baseline informatie aanwezig en voor 55% is er geen baseline informatie

Score: 2,84 Voor 37% van de (38) interventies is er voor alle relevante (duur-zaamheid gerelateerde) indicatoren baseline in-formatie voor de doelgroep aanwezig, voor 18% is er voor enkele relevante

Score: 3,18


104


23% is er geen baseline informatie voor de doelgroep aanwezig.

voor de doelgroep aanwezig.

voor de doelgroep aanwezig.

indicatoren baseline informatie aan-wezig en voor 45% is er geen baseline informatie voor de doelgroep aanwezig.

2.1.3. Er is baseline informatie voor de indicatoren m.b.t. de counterfactual beschikbaar

Score: 1,28 Voor 3% van de (36) interventies is er voor alle relevante (out-come) indicatoren baseline informatie (voor counterfactual aanwezig, voor 8% is er voor enkele relevante indicatoren baseline infor-matie aanwezig en voor 89% is er geen baseline informatie voor counterfactual aanwezig.

Score: 1,28 Voor 3% van de (36) interventies is er voor alle relevante (output) indicatoren baseline informatie voor counterfactual aanwezig, voor 8% is er voor enkele relevante indi-catoren baseline informatie aanwezig en voor 89% is er geen baseline informatie voor counterfactual aanwezig.

Score: 1,44 Voor 8% van de (36) interventies is er voor alle relevante (impact) indicatoren baseline informatie voor counterfactual aanwezig, voor 6% is er voor enkele relevante indicatoren baseline informatie aanwezig en voor 86% is er geen baseline informatie voor counterfactual aanwezig

Score: 1,29 Voor 6% van de (34) interventies is er voor alle relevante (duurz-aamheid gerelateerde) indi-catoren baseline informatie voor counterfactual aanwezig, voor 3% is er voor enkele relevante indicatoren baseline informatie aanwezig en voor 91% is er geen baseline in-formatie voor counterfactual aanwezig.

Score: 1,32

2.1.4. Er is baseline informatie voorhanden waarbij de relevante indicatoren sekse-specifiek en/of naar andere relevante parameters zijn uitgesplitst

Score: 1,76 Voor 9% van de (34) interventies is er voor alle relevante (outcome) indicatoren baseline informatie die

Score: 1,86 Voor 9% van de (35) interventies is er voor alle relevante (output) indicatoren baseline informatie die sekse-specifiek is uitgesplitst, voor

Score: 1,51 Voor 9% van de (35) interventies is er voor alle relevante (impact) indicatoren baseline informatie die sekse-specifiek is uitgesplitst, voor 9%

Score: 1,71


105


sekse-specifiek is uitgesplitst, voor 21% is er voor enkele relevante indicatoren baseline infor-matie die sekse-specifiek uitgesplitst en voor 71% is de baseline infor-matie niet uitgesplitst.

26% is er voor en-kele relevante indicatoren baseline informatie die sekse-specifiek is uitgesplitst en voor 66% is de baseline informatie niet uitgesplitst.

is er voor enkele relevante indicatoren baseline informatie die sekse-specifiek is uitgesplitst en voor 83% is de baseline informatie niet uitgesplitst.

2.1.5. De te verwachten info is beschikbaar m.b.t. de voortgang van de realisatie van de interventiedoelen

Score: 3,37 Voor 39% van de (38) interventies is er voor alle interventiedoelen informatie m.b.t. de voortgang (tot het niveau van outcome), is er een vergelijking gemaakt met de beginsituatie en planning en worden de redenen van eventuele afwijking besproken, voor 11% is er voor alle interventie-doelen informatie m.b.t. de voortgang en is er een vergelijking gemaakt met de beginsituatie en planning, voor 21% is er voor alle interventiedoelen informatie m.b.t. de voortgang,

Score: 3,93 Voor 53% van de interventies is er voor alle interventiedoelen informatie m.b.t. de voortgang (tot het niveau van output), is er een vergelijking gemaakt met de beginsituatie en planning en worden de redenen van eventuele afwijking besproken, voor 18% is er voor alle interventiedoelen informatie m.b.t. de voortgang en is er een vergelijking gemaakt met de beginsituatie en planning, voor 13% is er voor alle interventiedoelen informatie m.b.t. de voortgang, voor 5% is er voor enkele interventie-doelen informatie m.b.t. de

Score: 1,69 Voor 6% van de (35) interventies is er voor alle interventiedoelen informatie m.b.t. de voortgang (tot het niveau van impact), is er een vergelijking gemaakt met de beginsituatie en planning en worden de redenen van eventuele afwijking besproken, voor 6% is er voor alle inter-ventiedoelen informatie m.b.t. de voortgang en is er een vergelijking gemaakt met de beginsituatie en planning, voor 11% is er voor alle interventiedoelen informatie m.b.t. de voortgang, voor 6% is er voor enkele interventiedoelen

Score: 3,04


106


voor 5% is er voor enkele interven-tiedoelen informatie m.b.t. de voortgang en voor 24% is er geen informatie m.b.t. de voortgang

voortgang en voor 13% is er geen informatie m.b.t. de voortgang.

informatie m.b.t. de voortgang en voor 71% is er geen informatie m.b.t. de voortgang.

2.1.6. Er is informatie beschikbaar over de participatie van de oorspronkelijke doelgroep

Score: 3,26 Voor 32% van de (38) interventies is er volledige informatie over wie effectief wordt bereikt in vergelijking met de oorspronkelijke doelgroep, voor 50% is er enige informatie en voor 18% is er geen informatie.





Score: 3,19

2.1.7. Er is informatie ter beschikking m.b.t. de gegevensverzameling van de indicatoren

Score: 2,73 Voor 10% van de (30) interventies is er voor elke indicator duidelijk aangegeven hoe, door wie, met welke frequentie en de coverage van de gegevens die worden verzameld, voor 23% is er vrij volledige informatie m.b.t. de gegevens-verzameling van de indicatoren, voor 27% is er redelijk wat informatie, voor 10% is er enkel fragmentaire informatie en voor

Score: 3,08 Voor 15% van de interventies is er voor elke (outcome) indicator duidelijk aangegeven hoe, door wie, met welke frequentie en de coverage van de gegevens die worden verzameld, voor 30% is er vrij volledige informatie m.b.t. de gegevensverzameling van de indicatoren, voor

Score: 3,28 Voor 15% van de interventies is er voor elke (output) indicator duidelijk aangegeven hoe, door wie, met welke frequentie en de coverage van de gegevens die worden verzameld, voor 33% is er vrij volledige informatie m.b.t. de gegevensverzame-ling van de indicatoren, voor 25% is er redelijk wat informatie, voor 20% is er

Score: 2,28 Voor 3% van de (39) interventies is er voor elke (impact) indicator duidelijk aangegeven hoe, door wie, met welke frequentie en de coverage van de gegevens die worden verzameld, voor 21% is er vrij volledige informatie m.b.t. de gegevensverzameling van de indicatoren, voor 23% is er redelijk wat

Score: 2,69 Voor 8% van de (39) interventies is er voor elke (duurzaamheid gerelateerde) indicator duidelijk aangegeven hoe, door wie, met welke frequentie en de coverage van de gegevens die worden verzameld, voor 26% is er vrij vol-ledige informatie m.b.t. de gegevensverzamel

Score: 2,82


107


30% is er geen enkele informatie beschikbaar.

20% is er redelijk wat informatie, voor 18% is er enkel fragmen-taire informatie en voor 18% is er geen enkele informatie beschikbaar.

enkel fragmentaire informatie en voor 8% is er geen enkele informatie beschikbaar.

informatie, voor 10% is er enkel fragmentaire informatie en voor 44% is er geen enkele informatie beschikbaar.

ing van de indicatoren, voor 23% is er redelijk wat informatie, voor 15% is er enkel frag-mentaire informatie en voor 28% is er geen enkele informatie beschikbaar.

2.1.8. De gegevensverzameling laat in principe betrouwbare verzameling m.b.t. de indicatoren toe

Score: 3,00 De gegevensverzameling is voor 29% van de (24) interventies zeer betrouwbaar, voor 42% betrouwbaar en voor 29% zeer onbetrouwbaar.

Score: 3,12 De gegevensverzameling (tot het niveau van outcome) is voor 33% van de (33) interventies zeer betrouwbaar, voor 39% betrouwbaar en voor 27% zeer onbetrouwbaar.

Score: 3,44 De gegevensverzame-ling (tot het niveau van output) is voor 38% van de (34) interventies zeer betrouwbaar, voor 47% betrouwbaar en voor 15% zeer onbetrouwbaar.

Score: 2,52 De gegevensverzameling (tot het niveau van impact) is voor 17% van de (29) interventies zeer betrouwbaar, voor 41% betrouwbaar en voor 41% zeer onbetrouwbaar.

Score: 3,00 De verzameling van (duurzaamheid gerelateerde) gegevens is voor 26% van de (27) interventies zeer betrouwbaar, voor 48% betrouwbaar en voor 26% zeer onbetrouwbaar.

Score: 3,03

2.1.9. De informatie m.b.t. de opvolging van de interne risico’s is beschikbaar en de eventuele gevolgen voor de interventielogica en uitvoering zijn aangeduid

Score: 2,40 Voor 25% van de interventies wordt de opvolging van de interne risico´s (tot het niveau van outcome) beschreven en de gevolgen hiervan toegelicht, voor 20% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en voor 55% is er geen informatie over interne

Score: 2,75 Voor 33% van de interventies wordt de opvolging van de interne risico´s (tot het niveau van output) beschreven en de gevolgen hiervan toegelicht, voor 23% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en voor 45% is er geen informatie over interne risico´s en de opvolging

Score: 2,13 Voor 20% van de (30) interventies wordt de opvolging van de interne risico´s (tot het niveau van impact) beschreven en de gevolgen hiervan toegelicht, voor 17% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en voor 63% is er geen informatie over interne risico´s en

Score: 2,83 Voor 34% van de (29) interventies wordt de opvolging van de (duurzaamheid gerelateerde) interne risico´s beschreven en de gevolgen hiervan toegelicht, voor 24% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en

Score: 2,53


108


risico´s en de opvolging hiervan.

hiervan. de opvolging hiervan.

voor 41% is er geen informatie over interne risico´s en de opvolging hiervan.

2.1.10. De informatie m.b.t. de opvolging van de assumpties is beschikbaar en de eventuele gevolgen voor de interventielogica en uitvoering zijn aangeduid

Score: 2,21 Voor 21% van de (38) interventies wordt de opvolging van de (externe) assumpties beschreven en de gevolgen hiervan toegelicht, voor 18% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en voor 61% is er geen informatie over (externe) assumpties en de opvolging hiervan.

Score: 2,37 Voor 21% van de (38) interventies wordt de opvolging van de (externe) assumpties (tot het niveau van outcome) beschreven en de gevolgen hiervan toegelicht, voor 26% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en voor 53% is er geen informatie over (externe) assumpties en de opvolging hiervan.

Score: 2,63 Voor 25% van de interventies wordt de opvolging van de (externe) assumpties (tot het niveau van output) beschreven en de gevolgen hiervan toegelicht, voor 30% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en voor 45% is er geen informatie over (externe) assumpties en de opvolging hiervan.

Score: 2,20 Voor 20% van de (30) interventies wordt de opvolging van de (externe) assumpties (tot het niveau van impact) beschreven en de gevolgen hiervan toegelicht, voor 20% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en voor 60% is er geen informatie over (externe) assumpties en de opvolging hiervan.

Score: 2,45 Voor 24% van de (29) interventies wordt de opvolging van de (duurzaamheid gerelateerde) (externe) assumpties beschreven en de gevolgen hiervan toegelicht, voor 24% wordt de opvolging beschreven zonder de gevolgen hiervan toe te lichten en voor 52% is er geen informatie over (externe) assumpties en de opvolging hiervan.

Score: 2,38

2.1.11. De interventie-uitgaven zijn goed gedocumenteerd/geregistreerd en kunnen aan de outputs toegewezen worden

Score: 3,95 Voor 42% van de (38) interventies is er goede rapportage van de uitgaven die goed aan de outputs worden toege-wezen en eventuele af-wijkingen worden goed toegelicht (er zijn geen uitgaven die elders staan

Score: 3,95


109


geregistreerd), voor 32% is er goede rapportage van de uitgaven die goed aan de outputs worden toegewezen (er zijn geen uitgaven die elders staan geregistreerd), voor 13% is er goede rapportage van de uitgaven die echter slecht of niet aan de outputs worden toegewezen (er zijn uitgaven die elders geregistreerd staan), voor 5% is er enkel informatie beschikbaar m.b.t. de grote uitgave categorieën en voor 8% is er slechts heel algemeen informatie over de interventieuitgaven.

Tabel 6: Met M&E systeem in de praktijk Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaarheids-

index 2.2 Het M&E systeem in de praktijk


2.2.1 De visie over en de rol van monitoring en evaluaties (M&E en onafhankelijke evaluaties) zijn duidelijk

Score: 3,23 In 8% van de gevallen zijn visie/rol van monitoring en evaluatie niet uitge-werkt, in 18% van de projekten zijn er enkele elementen maar zijn die




Score: 3,05


110


onduidelijk en niet bij elkaar gebracht in een geheel. In 33% van de gevallen zijn er duidelijk verschillende elementen maar werden die niet coherent bij elkaar gebracht. In 26% van de interventies vonden we een grote consensus rond dit punt die ook in een document was neer-gelegd, terwijl in 15% dit document ook door de sleutelactoren was onderschreven.




2.2.2 Er zijn voldoende tijd, middelen en personeel voorzien voor de adequate werking van het M&E systeem

Score: 3,67 In 18% van de interventies bleken de middelen sterk onvoldoende om het M&E systeem goed te laten werken, in 31% van de gevallen was dit het geval voor één component (middelen, tijd of personeel) terwijl in iets meer dan de helft van de gevallen (51%) de middelen voldoende waren.

Score: 3,87 In 10% van de interventies bleken de middelen sterk onvoldoende om het M&E systeem goed te laten werken, in 36% van de gevallen was dit het geval voor één component (middelen, tijd of personeel) terwijl in iets meer dan de helft van de gevallen (54%) de middelen voldoende waren.

Score: 4,15 In slechts 3% van de interventies bleken de middelen sterk onvoldoende om het M&E systeem goed te laten werken, in 38% van de gevallen was dit het geval voor één component (middelen, tijd of personeel) terwijl in 60% van de gevallen de middelen voldoende waren.

Score: 3,21 In 28% van de interventies bleken de middelen sterk onvoldoende om het M&E systeem goed te laten werken, in 33% van de gevallen was dit het geval voor één component (middelen, tijd of personeel) terwijl slechts in 38% van de interventies de middelen voldoende waren.

Score: 3,63 In 16% van de interventies bleken de middelen sterk onvoldoende om het M&E systeem goed te laten werken, in 37% van de gevallen was dit het geval voor één component (middelen, tijd of personeel) terwijl slechts in 47% van de interventies de middelen voldoende waren.

Score: 3,71

2.2.3 De verantwoordelijkheden en procedures m.b.t. het verzamelen en analyseren van M&E gegevens zijn duidelijk gedefinieerd

Score: 3,50 In 20% van de interventies is het geheel onduidelijk bij wie de verantwoorde-lijkheid ligt voor M&E (of bestaat de M&E functie niet); in 35% van de interventies is deze verantwoor-





Score: 3,50


111


delijkheid frag-mentarisch uitge-werkt, terwijl die in 45% van de interventies duidelijk is uitgewerkt en vastgelegd.





2.2.4 De verantwoordelijkheden en procedures m.b.t. besluitvorming op basis van de analyse van de M&E gegevens zijn duidelijk gedefinieerd

Score: 3,62 Gelijkaardig aan het vorige item, is deze verantwoordelijkheid in 23% van de gevallen niet vastgelegd (of bestaat ze niet), is die onduidelijk in 23% van de gevallen, maar goed uitgewerkt in 54% van de interventies.

Score: 3,75 Gelijkaardig aan het vorige item, is deze verantwoordelijkheid in 20% van de gevallen niet vastgelegd (of bestaat ze niet), is die onduidelijk in 23% van de gevallen, maar goed uitgewerkt in 58% van de interventies.

Score: 4,03 Deze verantwoordelijkheid in slechts 13% van de gevallen niet vastgelegd (of bestaat ze niet), in 23% van de gevallen is die onduidelijk, terwijl ze in 64% van de interventies goed is uitgewerkt.

Score: 2,95 Deze verantwoordelijkheid in 44% van de gevallen niet vastge-legd (of bestaat ze niet), in 15% van de gevallen is die onduidelijk, terwijl ze in 41% van de interventies goed is uitgewerkt.

Score: 3,56 Deze verantwoordelijkheid in 28% van de gevallen niet vastge-legd (of bestaat ze niet), in 15% van de gevallen is die onduidelijk, terwijl ze in 56% van de interventies goed is uitgewerkt.

Score: 3,58

1.4.4 De voornaamste betrokken partijen waren het eens met het voorgestelde M&E systeem (inclusief hun rol hierbinnen)

Score: 4,18 Slechts in 8% van de interventies zijn de voornaamste partijen het op dit vlak oneens. In 26% van de gevallen was dit het geval voor sommige van die partijen, terwijl er in 67% van de interventies eensgezindheid bestond.

Score: 4,20 Slechts in 5% van de interventies zijn de voornaamste partijen het op dit vlak oneens. In 30% van de gevallen was dit het geval voor sommige van die partijen, terwijl er in 65% van de interventies eensgezindheid bestond.

Score: 4,33 In slechts 3% van de gevallen is er sprake van onenigheid tussen de partijen. In 28% van de gevallen was dit het geval voor sommige van die partijen, terwijl er in 69% van de interventies eensgezindheid bestond.



Score: 4,22

2.2.5 Het personeel dat instaat voor M&E is competent en onafhankelijk

Score: 2,95 In 13% van de interventies heeft het personeel geen specifieke ervaring en competentie en is zijn onafhankelijkheid evenmin gewaarborgd (of bestaat de M&E functie niet); in 16% van de gevallen is de situatie mbt.

Score: 3,11 In 8% van de interventies heeft het personeel geen specifieke ervaring en competentie en is zijn onafhankelijkheid evenmin gewaarborgd (of bestaat de M&E functie niet); in 13% van de gevallen is de situatie mbt.

Score: 3,32 In 14% van de geval-len heeft het personeel weinig ervaring en een zwakke competentie en is het slechts in beperkte mate onafhankelijk m.b.t. de M&E functie. In 43% van de interventies kunnen

Score: 2,73 In 22% van de interventies heeft het personeel geen specifieke ervaring en competentie en is zijn onafhankelijkheid evenmin gewaarborgd (of bestaat de M&E functie niet); in 11% van de gevallen is de

Score: 3,00 In 14% van de interventies heeft het personeel geen specifieke ervaring en competentie en is zijn onafhankelijkheid evenmin gewaadborgd (of bestaat de M&E functie iet); in eveneens 14% van

Score: 3,02


112


competentie en onaf-hankelijkheid iets beter. In 37% van de interventies kunnen we spreken van een matige ervaring en competentie en een redelijke onafhankelijkheid, terwijl dit in 32% van de gevallen nog iets beter ligt. In slechts 3% van de interventies is het M&E personeel ervaren en competent én is zijn onafhankelijkheid formeel vastgelegd.

competentie en onaf-hankelijkheid iets beter. In 42% van de interventies kunnen we spreken van een matige ervaring en competentie en een redelijke onafhankelijkheid, terwijl dit in 34% van de gevallen nog iets beter ligt. In slechts 3% van de interventies is het M&E personeel ervaren en competent én is zijn onafhankelijkheid formeel vastgelegd.

we spreken van een matige ervaring en competentie en een redelijke onafhankelijkheid, terwijl dit in 41% van de gevallen nog iets beter ligt. In slechts 3% van de interventies is het M&E personeel ervaren en competent én is zijn onafhankelijkheid formeel vastgelegd.

situatie mbt. competentie en onaf-hankelijkheid iets beter. In 41% van de interventies kunnen we spreken van een matige ervaring en competentie en een redelijke onafhankelijkheid, terwijl dit in 27% van de gevallen nog iets beter ligt. In geen enkel interventie is het M&E personeel ervaren en competent én is zijn onafhankelijkheid formeel vastgelegd.

de gevallen is de situatie mbt. competentie en onaf-hankelijkheid iets beter. In 38% van de interventies kunnen we spreken van een matige ervaring en competentie en een redelijke onafhankelijkheid, terwijl dit in 30% van de gevallen nog iets beter ligt. In slechts 5% van de interventies is het M&E personeel ervaren en competent én is zijn onafhankelijkheid formeel vastgelegd.

2.2.6 Het M&E systeem van de interventie is afgestemd op het nationale/lokale M&E systeem

Score: 2,59 In 56% van de interventies is er van zulke afstemming geen sprake of wordt niet geargumenteerd waarom dit zo is. Bij 9% van de interventies is dit tot op zekere hoogte het geval, terwijl bij 35% van de interventies het M&E systeem is afgestemd of wordt aangegeven waarom dit niet is gebeurd.





Score: 2,75

2.2.7 Er is een interne drive voor strategische sturing en leren

Score: 3,72 Slechts in 10% van de interventies is niemand geïnteresseerd in de M&E bevindingen; in 44% van de gevallen is dit het geval bij enkele van de





Score: 3,77


113


sleutelactoren, terwijl er bij 46% van de interventies op alle niveaus een grote motivatie aanwezig is om de M&E resultaten te gebruiken om strategisch te sturen en te leren.





2.2.8 De resultaten van M&E worden gebruikt voor learning

Score: 3,05 Slechts in 15% van de interventies wordt geen moeite gedaan om de M&E resultaten voor leerdoeleinden te gebruiken (of bestaat de M&E functie niet); in 10% van de gevallen is er slechts een impliciet gebruik van die resultaten voor learning. In een belangrijke 44% van de cases is er veeleer sprake van een ad hoc gebruik, terwijl in 15% van de gevallen een uitgewerkte aanpak tot gebruik van de M&E resultaten voor learning is gevonden, die evenwel slechts in 15% ook is doorgetrokken tot alle sleutelactoren (inclusief de doelgroep).

Score: 3,08 Slechts in 15% van de interventies wordt geen moeite gedaan om de M&E resultaten voor leerdoeleinden te gebruiken (of bestaat de M&E functie niet); in 10% van de gevallen is er slechts een impliciet gebruik van die resultaten voor learning. In een belangrijke 44% van de cases is er veeleer sprake van een ad hoc gebruik, terwijl in 15% van de gevallen een uitgewerkte aanpak tot gebruik van de M&E resultaten voor learning is gevonden, die evenwel slechts in 15% ook is doorgetrokken tot alle sleutelactoren (inclusief de doelgroep).

Score: 3,30 Slechts in 10% van de interventies wordt geen moeite gedaan om de M&E resultaten voor leerdoeleinden te gebruiken (of bestaat de M&E functie niet); in eveneens 10% van de gevallen is er slechts een impliciet gebruik van die resul-taten voor learning. In een belangrijke 40% van de cases is er veeleer sprake van een ad hoc gebruik, terwijl in 20% van de gevallen een uitgewerkte aanpak tot gebruik van de M&E resultaten voor learning is gevonden, die evenwel in 20% ook is doorgetrokken tot alle sleutelactoren (inclusief de doelgroep).

Score: 2,93 In 23% van de interventies wordt geen moeite gedaan om de M&E resultaten voor leer-doeleinden te gebrui-ken (of bestaat de M&E functie niet); in 8% van de gevallen is er slechts een impliciet gebruik van die resultaten voor learning. In een belangrijke 40% van de cases is er veeleer sprake van een ad hoc gebruik, terwijl in 15% van de gevallen een uitgewerkte aanpak tot gebruik van de M&E resultaten voor learning is gevonden, die evenwel slechts in 15% ook is doorgetrokken tot alle sleutelactoren (inclusief de doelgroep).

Score: 3,00 In 20% van de interventies wordt geen moeite gedaan om de M&E resultaten voor leer-doeleinden te gebrui-ken (of bestaat de M&E functie niet); in 8% van de gevallen is er slechts een impliciet gebruik van die resultaten voor learning. In een belangrijke 40% van de cases is er veeleer sprake van een ad hoc gebruik, terwijl in 18% van de gevallen een uitgewerkte aanpak tot gebruik van de M&E resultaten voor learning is gevonden, die evenwel slechts in 15% ook is doorgetrokken tot alle sleutelactoren (inclusief de doelgroep).

Score: 3,07

2.2.9 De resultaten van M&E worden gebruikt voor accountability

Score: 3,23 In 15% van de gevallen is er geen gebruik van de M&E resultaten voor accountability, terwijl


Score: 3,63 In 3% van de gevallen is er geen gebruik van de M&E resultaten voor ac-countability, terwijl



Score: 3,26


114


in 3% van de gevallen sprake is van een impliciet gebruik. Bij 38% van de interventies is dat gebruik duidelijk maar niet planmatig (ad hoc), terwijl er sprake is van een planmatig gebruik in 35% van de gevallen; slechts in 10% van de gevallen is er echter ook sprake van accountability naar de doelgroep toe.


ook in 3% van de gevallen sprake is van een impliciet gebruik. Bij 38% van de interventies is dat gebruik duidelijk maar niet planmatig (ad hoc), terwijl er sprake is van een planmatig gebruik in 45% van de gevallen; slechts in 13% van de gevallen is er echter ook sprake van accountability naar de doelgroep toe.



2.2.10 Er hebben evaluaties en/of studies plaatsgevonden die van goede kwaliteit zijn en nuttige informatie aanleveren

Score: 2,67 In 33% van de interventies heeft er geen enkele studie of evaluatie plaats-gevonden, terwijl in 11% van de interventies enkel activiteiten met een intern evaluatief karakter plaatsvonden. In 15% is er sprake van studie- en/of onvolko-men evaluatiewerk dat echter is (qua methodologie, middelen, …). In 37% is er sprake van goede studies of evaluates met slechts kleine onvolkomenheden, terwijl in 4% van de gevallen degelijk onafhankelijk studie- of evaluatiewerk werd uitgevoerd.

Score: 2,78 In 26% van de interventies heeft er geen enkele studie of evaluatie plaats-gevonden, terwijl in 15% van de interventies enkel activiteiten met een intern evaluatief karakter plaatsvonden. In 19% is er sprake van studie- en/of onvolko-men evaluatiewerk dat echter is (qua methodologie, middelen, …). In 37% is er sprake van goede studies of evaluates met slechts kleine onvolkomen-heden, terwijl in 4% van de gevallen degelijk onafhankelijk studie- of evaluatie-werk werd uitgevoerd.

Score: 2,75 In 25% van de interventies heeft er geen enkele studie of evaluatie plaats-gevonden, terwijl in 18% van de interventies enkel activiteiten met een intern evaluatief karakter plaatsvonden. In eveneens 18% is er sprake van studie- en/of onvolkomen evaluatiewerk dat echter is (qua methodologie, middelen, …). In 36% is er sprake van goede studies of evaluates met slechts kleine onvolkomen-heden, terwijl in 4% van de gevallen degelijk onafhankelijk studie- of evaluatie-werk werd uitgevoerd.

Score: 2,22 In 48% van de interventies heeft er geen enkele studie of evaluatie plaats-gevonden, terwijl in 9% van de interventies enkel activiteiten met een intern evaluatief karakter plaatsvonden. In 17% is er sprake van studie- en/of onvolkomen evaluatiewerk dat echter is (qua methodologie, middelen, …). In 26% is er sprake van goede studies of evaluates met slechts kleine onvolkomen-heden, terwijl in geen enkel interventie degelijk onafhankelijk studie- of evaluatie-werk op impactniveau werd uitgevoerd.

Score: 2,58 In 38% van de interventies heeft er geen enkele studie of evaluatie plaats-gevonden, terwijl in 8% van de interventies enkel activiteiten met een intern evaluatief karakter plaatsvonden. In 17% is er sprake van studie- en/of onvolkomen evaluatiewerk dat echter is (qua methodologie, middelen, …). In 33% is er sprake van goede studies of evaluates met slechts kleine onvolkomen-heden, terwijl slechts in 4% degelijk onafhankelijk studie- of evaluatiewerk op impactniveau werd uitgevoerd.

Score: 2,61


115


2.2.11 Het M&E systeem wordt regelmatig op zijn kwaliteit bekeken en eventueel aangepast

Score: 2,74 In 44% van de gevallen hebben we geen spoor gevonden van een tussentijdse reflectie m.b.t. de kwaliteit van het M&E systeem; in 26% van de interventies vond zo’n reflectie en (zo nodig) aanpassing plaats, maar gebeurde dit ad hoc, terwijl dit in 31% van de gevallen op planmatige wijze gebeurde.





Score: 2,86

Tabel 7: Bevindingen m.b.t. de houding van de sleutelactoren Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaarheids-

index 3.1. Houding van de sleutelactoren


3.1.1 De voornaamste gebruikers van de evaluatie en hun verwachtingen/belang t.a.v. de evaluatie zijn duidelijk gedefinieerd

Score: 2,36 In 36% van de interventies zijn de voornaamste gebruikers en hun verwachtingen/ houding t.a.v. een evaluatie niet gedefinieerd of onbekend. In 59% van de projecten zijn de voornaamste gebruikers en hun verwachtingen/belang t.a.v. de evaluatie gedocumenteerd, terwijl dit in slechts 5% van de gevallen op een structurele, planmatige en onderbouwde manier is gebeurd.

Score: 2,27 In 41% van de interventies zijn de voornaamste gebruikers en hun verwachtingen/ houding t.a.v. een evaluatie niet gedefinieerd of onbekend. In 55% van de projecten zijn de voornaamste gebruikers en hun verwachtingen/belang t.a.v. de evaluatie gedocumenteerd, terwijl dit in slechts 5% van de gevallen op een structurele, planmatige en onderbouwde manier is gebeurd.

Score: 2,33


116

3.1.2 De sleutelactoren zijn vragende partij voor (of minstens geïnteresseerd in) een evaluatie

Score: 3,45 Bij 13% van de interventies is niemand van de sleutelactoren vragende partij of minstens geïnteresseerd; in 53% van de interventies is de meerderheid van die actoren minstens geïnteresseerd of vragende partij, terwijl dit in 35% van de projecten voor alle actoren het geval is.



Score: 3,44

3.1.3 De verwachtingen van de sleutelactoren t.a.v. de evaluatie (proces en resultaten) zijn onderling compatibel

Score: 4,11 In 8% van de interventies zijn er in dit verband grote tegenstellingen tussen de actoren, in 14% zijn er beheersbare tegenstellingen, terwijl er kleinere tegenstellingen zijn in 30% van de projecten. In 49% van de projecten hebben de sleutelactoren onderling compatibele verwachtingen.

Score: 4,19 In 5% van de interventies zijn er in dit verband grote tegenstellingen tussen de actoren, in 14% zijn er beheersbare tegen-stellingen, terwijl er kleinere tegen-stellingen zijn in 32% van de projecten. In 49% van de projecten hebben de sleu-telactoren onderling compatibele verwachtingen.



Score: 4,14

3.1.4 De verwachtingen van de sleutelactoren t.a.v. de evaluatie zijn realistisch (tov beschikbare middelen)

Score: 4,32 In 14% van de projecten hebben meerdere sleutel-actoren onrealistische verwachtingen, terwijl in 3% van de projecten niet alle sleutelactoren realistische verwachtingen heb-ben; in 82% van de projecten is dit wel het geval.




Score: 4,32 In 11% van de projecten hebben meerdere sleutel-actoren onrealistische verwachtingen, terwijl in 13% van de projecten niet alle sleutelactoren realis-tische verwachtingen hebben; in 74% van de projecten is dit wel het geval.

Score: 4,29


117

3.1.5 De voornaamste gebruikers werden betrokken/zullen betrokken worden bij het evaluatieproces

Score: 3,53 In 7% van de projecten wordt het evaluatieproces door één actor gecontro-leerd, terwijl in 60% van de projecten er betrokkenheid is (of zal zijn) van een aantal van de voornaamste gebruikers bij minstens het voor- en na-traject; in 33% van de projecten worden alle voornaamste gebruikers op gepaste wijze betrokken bij het proces.



Score: 3,55 In 6% van de projecten wordt het evaluatieproces door één actor gecontroleerd, terwijl in 58% van de projecten er betrokkenheid is (of zal zijn) van een aantal van de voornaamste gebruikers bij minsten het voor- en na-traject; in 35% van de projecten worden alle voornaamste gebruikers op gepaste wijze betrokken bij het proces.

Score: 3,55

3.1.6 De voornaamste stakeholders (incl. doelgroep) werden betrokken/zullen betrokken worden bij het evaluatieproces

Score: 3,62 In 8% van de projecten werden de voornaamste stakeholders niet betrokken (of zullen ze niet betrokken worden) bij het evaluatieproces; in 54% van de projecten is dit het geval voor enkele van die stakeholders (of zal dat zo zijn), terwijl in 38% van de gevallen de voornaamste stakeholders inclusief de doelgroep betrokken werden (of zullen worden).

Score: 3,56 In 8% van de projecten werden de voornaamste stakeholders niet betrokken (of zullen ze niet betrokken worden) bij het evaluatieproces; in 56% van de projecten is dit het geval voor enkele van die stakeholders (of zal dat zo zijn), terwijl in 36% van de gevallen de voornaamste stakeholders inclusief de doelgroep betrokken werden (of zullen worden).

Score: 3,59

3.1.7 De onderlinge relaties tussen de sleutelactoren zijn “gezond”

Score: 4,26 In 8% van de projecten zijn er ernstige conflicten tus-sen de sleutelactoren; in 21% zijn er geen noemenswaardige spanningen, terwijl in 71% van de projecten de relaties tussen de sleutelactoren gezond en constructief kritisch zijn.

Score: 4,24 In 8% van de projecten zijn er ernstige conflicten tussen de sleutelactoren; in 22% zijn er geen noemenswaardige spanningen, terwijl in 70% van de projecten de relaties tussen de sleutelactoren gezond en constructief kritisch zijn.

Score: 4,22 In 8% van de projecten zijn er ernstige conflicten tussen de sleutelactoren; in 22% zijn er geen noemenswaardige spanningen, terwijl in 70% van de projecten de relaties tussen de sleutelactoren gezond en constructief kritisch zijn.

Score: 4,24


118

3.1.8 Het is mogelijk om alle sleutelactoren te contacteren zonder risico op wederzijdse beïnvloeding

Score: 4,63 In 18% van de gevallen hebben bepaalde actoren moeite om zich afzijdig te houden (of zal dat zo zijn), terwijl in 82% van de projecten alle actoren het er over eens zijn dat zij zich afzijdig moeten houden.



Score: 4,64

3.1.9 Er is een positieve houding t.a.v. onafhankelijke evaluatie bij alle sleutelactoren

Score: 4,18 In 3% van de projecten hebben bijna alle sleutelactoren een negatieve houding t.a.v. onafhankelijke evaluatie, terwijl in 15% van de gevallen dit voor ongeveer de helft van de sleutelactoren het geval is. In 45% van de projecten hebben bijna alle sleutelactoren een positieve houding t.a.v. onafhankelijke evaluatie, terwijl dit in 38% van de projecten voor alle sleutelactoren geldt.

Score: 4,21 In 3% van de projecten hebben bijna alle sleutelactoren een negatieve houding t.a.v. onafhankelijke evaluatie, terwijl in 15% van de gevallen dit voor ongeveer de helft van de sleutelactoren het geval is. In 41% van de projecten hebben bijna alle sleutel-actoren een positieve houding t.a.v. onafhankelijke evaluatie, terwijl dit in 41% van de projecten voor alle sleutelactoren geldt.

Score: 4,18

Tabel 8: Overzicht van de bevindingen m.b.t. de bredere context Item Relevantie Effectiviteit Efficiëntie Impact Duurzaamheid Evalueerbaarheids-

index 3.2 De bredere context



119

3.2.1 De bredere institutionele en politieke context staat positief t.a.v. onafhankelijke evaluatie

Score: 4,40 Bij 8% van de interventies liggen onafhankelijke evalua-ties moeilijk bij de betrokken instituties van het land van interventie, terwijl er in 15% verschillende houdingen bestaan t.a.v. onafhankelijke evaluaties. In 78% van de interventies is het principe van onafhankelijke evaluaties door de betrokken instanties aanvaard.

Score: 4,45 Bij 5% van de interventies liggen onafhankelijke evaluaties moeilijk bij de betrokken instituties van het land van interventie, terwijl er in 18% verschillende houdingen bestaan t.a.v. onafhan-kelijke evaluaties. In 78% van de interventies is het principe van onafhankelijke evaluaties door de betrokken instanties aanvaard.



Score: 4,43

3.2.2 De socio-culturele context op het niveau van de doelgroepen maakt correct verzamelen van informatie mogelijk

Score: 4,35 Bij 5% van de interventies ligt informatie verzamelen over de doelgroep moeilijk, terwijl dit bij 23% van de interventies doenbaar is. In 73% van de interventies is dit mogelijk zonder grote inspanningen.

Score: 4,45 Bij 5% van de interventies ligt informatie verzamelen over de doelgroep moeilijk, terwijl dit bij 23% van de interventies doenbaar is. In 73% van de interventies is dit mogelijk zonder grote inspanningen



Score: 4,40

3.2.3 Lokale deskundigheid met het vereiste profiel voor de evaluatie is beschikbaar

Score: 4,25 In 3% van de interventies zijn evaluatoren met het vereiste profiel zeer moeilijk te krijgen; in 33% vraagt dit enige moeite, terwijl er in 65% van de gevallen een voldoende aanbod van experten met het vereiste profiel bestaat.





Score: 4,25

ROYAUME DE BELGIQUE


Affaires étrangèresCommerce extérieur etCoopération au Développement

Service de l’Evaluation spéciale de la Coopération belge au développement

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 (0) 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]

Dépôt légal n° 0218/2016/013

Evaluer de manière crédible et utile : entre rêve et réalitéE

valu

er d

e ma

nièr

e créd

ible et u

tile : entr

e rêv

e et réa

lité

ROYAUME DE BELGIQUE


Affaires étrangères,Commerce extérieur etCoopération au Développement

Une étude de l’évaluabilité d’interventions (co) financées par la coopération belge


Evaluer de manière crédible et utile : entre rêve et réalité · 2016-05-12 · ceci doit se...

Documents

Transcript of Evaluer de manière crédible et utile : entre rêve et réalité · 2016-05-12 · ceci doit se...