Evaluation ex-post de l’impact du Projet en faveur de la ...€¦ · Evaluation ex-post de...

Dépôt légal n° 0218/2014/006

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]

Service de l’Evaluation spéciale de la Coopération internationale

ROYAUME DE BELGIQUE

Service public fédéral

Affaires étrangères,Commerce extérieur etCoopération au Développement

Evalu

atio

n e

x-po

st de l’im

pact d

u P

roje

t en

faveu

r de la

Petite

et m

oye

nne h

ydra

uliq

ue (P

MH

) au

Maro

c

ROYAUME DE BELGIQUE



Evaluation ex-post de l’impact du Projet en faveur de la Petite et moyenne hydraulique (PMH) au Maroc


Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement

Service de l’Évaluation spéciale de la Coopération internationale

Evaluation ex post de l’impact

du projet en faveur de la petite et

Moyenne hydraulique (PMH) au Maroc

Rapport final

Septembre 2013

La présente évaluation a été réalisée par ADE et le CRED avec l’appui d’un comité d’accompagnement. Le service de l’Evaluation spéciale a assuré la conformité de l’évaluation aux termes de référence.

Les opinions exprimées dans ce document représentent les points de vue des auteurs et ne reflètent pas nécessairement celles du SPF Affaires étrangères, Commerce extérieur et Coopération au Développement.

© SPF Affaires étrangères, Commerce extérieur et Coopération au Développement

Janvier 2014

Production graphique : Service Communication SPF

Impression : : Service Imprimerie SPF

Evaluation N° S4/2011/04

Dépôt légal : 0218/2014/006

Le présent rapport constitue une des annexes du Rapport de synthèse de l’Evaluation ex post de l’impact de quatre projets de coopération gouvernementale.

Le présent rapport est disponible uniquement en français.

Les différents documents liés à l’évaluation mentionnée supra (à savoir un rapport de

synthèse + les rapports projet et leurs annexes) sont disponibles sur le CD-ROM en annexe de la synthèse de l’évaluation, auprès du Service de l’Évaluation spéciale ou sur le site http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation

http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation/

Nous tenons à remercier ici toutes les personnes et organisations qui ont contribué à cette évaluation. Nous remercions en particulier les membres du comité d’accompagnement et les personnes interrogées pour le temps et l’énergie consacrés à cette étude d’un type particulier.

ÉVALUATION EX POST D’IMPACT – RAPPORT PROJET PMH MAROC 5

Table des matières

TABLE DES MATIERES ............................................................................................... 5

LISTE DES FIGURES, DES TABLEAUX, ET DES ENCADRES .................................................... 7

ACRONYMES ET ABREVIATIONS................................................................................... 9

CARTES DU MAROC ET DE LA ZONE DU PROJET ...............................................................11

RESUME EXECUTIF ..................................................................................................13

1. INTRODUCTION .............................................................................................17

2. CONTEXTE ....................................................................................................19

2.1 Contexte national général et sectoriel ......................................................... 19

2.2 Coopération de la Belgique avec le Maroc .................................................... 20

2.3 Irrigation par épandage des eaux de crues au Maroc .................................... 20

2.4 Le projet PMH .......................................................................................... 22

2.5 Contraintes physiques de la zone PMH - Tiznit ............................................. 23

2.6 Contexte social de la zone PMH - Tiznit ....................................................... 25

2.7 Principes techniques ................................................................................. 26

3. METHODOLOGIE .............................................................................................29

3.1 Approche méthodologique générale ............................................................ 29

3.1.1 Processus général d’évaluation .............................................................. 29

3.1.2 L’approche qualitative ........................................................................... 30

3.1.3 L’approche quantitative ...................................................................... 31

3.2 L’impact, une définition à clarifier............................................................... 33

3.3 Les questions d’évaluation ........................................................................ 35

3.4 Approche qualitative pour l’évaluation du projet PMH .................................... 35

3.5 Approche quantitative pour l’évaluation du projet PMH ................................. 36

4. LOGIQUE D’INTERVENTION ...............................................................................49

5. REPONSES AUX QUESTIONS D’EVALUATION ..........................................................55

5.1 Pertinence - Alignement – Q1 .................................................................... 55

5.1.1 Alignement au stade de la conception du projet ...................................... 56

5.1.2 Synergies entre le projet et les plans de développement du pays partenaire permettant une maximisation de l’impact attendu du projet ..................... 57

5.2 Intégration de l’impact – Q2 ...................................................................... 57

5.2.1 Logique de la chaîne des résultats ........................................................ 58

5.2.2 Intégration de la mesure de l’impact dans la phase d’identification et de

6 ÉVALUATION EX POST D’IMPACT – RAPPORT PROJET PMH MAROC

préparation ? ..................................................................................... 58

5.2.3 Intégration de la mesure de l’impact dans la phase de mise en œuvre du projet? .............................................................................................. 59

5.3 Atteinte des « Outputs » – Q3 ................................................................... 60

5.3.1 Mise en œuvre des activités (inputs) du projet ....................................... 60

5.3.2 Atteinte et mesure des « outputs » ? .................................................... 63

5.4 Atteinte des « outcomes » et de l’impact – Q4 ............................................. 67

5.4.1 Atteinte des « outcomes » attendus de niveaux 1 et 2 ............................ 68

5.4.2 Atteinte des « outcomes » attendus de niveaux 3 à 5 ............................. 70

5.4.3 Atteinte de l’impact attendu ................................................................. 80

5.5 Durabilité – Q5 ........................................................................................ 82

5.5.1 La prise en compte de la durabilité lors de la conception du projet ? ......... 82

5.5.2 L’implication des bénéficiaires dans les différentes phases du projet et appropriation des effets ? .................................................................... 83

5.5.3 La capacité (technique et financière) des bénéficiaires à faire perdurer les

effets du projet ? ................................................................................ 84

5.5.4 La volonté et la capacité des autorités locales et nationales dans la pérennisation des effets du projet ? ...................................................... 85

5.6 Thèmes transversaux ............................................................................... 86

5.6.1 Le genre ............................................................................................ 86

5.6.2 L’environnement ................................................................................ 86

6. CONCLUSIONS ............................................................................................... 89

7. LEÇONS APPRISES .......................................................................................... 93

8. BIBLIOGRAPHIE ............................................................................................. 97

ANNEXES ............................................................................................................. 99


Liste des figures, des tableaux, et des encadrés

LISTE DES FIGURES

FIGURE 1 - PRECIPITATIONS MOYENNES SAISONNIERES ....................................................... 26

FIGURE 2 - PRECIPITATIONS ANNUELLES ......................................................................... 26

FIGURE 3 - PROCESSUS D’EVALUATION .......................................................................... 31

FIGURE 4 RESUME DE LA METHODOLOGIE QUALITATIVE ....................................................... 32

FIGURE 5 - TYPE DE LOGIQUE D’INTERVENTION UTILISEE POUR CETTE EVALUATION........................ 32

FIGURE 6 – LOCALISATION DES COMMUNES OU L’ENQUETE DE MENAGES A ETE REALISEE ................. 38

FIGURE 7 – EFFET D’UNE INTERVENTION PAR UNE ESTIMATION DIFF-IN-DIFF ............................... 40

FIGURE 8 - LOGIQUE D’INTERVENTION RECONSTRUITE POUR LE PROJET PMH TIZNIT AU MAROC – SANS HYPOTHESES ................................................................................ 52

FIGURE 9 - LOGIQUE D’INTERVENTION RECONSTRUITE POUR LE PROJET PMH TIZNIT AU MAROC -

VERSION COMPLETE .................................................................................. 53

FIGURE 10 - LOGIQUE D’INTERVENTION - NIVEAUX D’« OUTCOMES » ET D’IMPACT ....................... 70

LISTE DES TABLEAUX

TABLEAU 1 – INDICATEURS D’ORDRE GENERAL POUR LE MAROC .......................................... 21

TABLEAU 2 – SUPERFICIE ET POPULATION DES PERIMETRES DU PROJET PMH ........................... 25

TABLEAU 3 – NOMBRE ET TAILLE MOYENNE DES EXPLOITATIONS AGRICOLES DES PERIMETRES DU

PROJET PMH ...................................................................................... 28

TABLEAU 4– APERÇU DES QUESTIONS D’EVALUATION. ..................................................... 37

TABLEAU 5 – PRESENTATION DES HYPOTHESES A TESTER PAR THEME .................................... 43

TABLEAU 6 - PERIMETRES DU GROUPE DE TRAITEMENT ..................................................... 45

TABLEAU 7 - PERIMETRES DU GROUPE DE CONTROLE ....................................................... 46

TABLEAU 8 - CARACTERISTIQUES DEMOGRAPHIQUES DES MENAGES DU GROUPE DE TRAITEMENT ET DU

GROUPE DE CONTROLE ........................................................................... 47

TABLEAU 9 – COMPARAISON DE L’ACCES A L’EAU ET A L’ELECTRICITE ENTRE LE GROUPE DE TRAITEMENT

ET LE GROUPE DE CONTROLE .................................................................... 48

TABLEAU 10 - INDICATEURS ECONOMIQUES DES MENAGES DU GROUPE DE TRAITEMENT ET DU GROUPE

DE CONTROLE ..................................................................................... 48

TABLEAU 11 - COMPARAISON DE VARIABLES LIEES A LA TERRE ENTRE LE GROUPE DE TRAITEMENT ET LE

GROUPE DE CONTROLE ........................................................................... 49


TABLEAU 12 - COMPARAISON DES DEPENSES TOTALES ET PAR ADULTE (AVEC ET SANS L’EDUCATION)

ENTRE LE GROUPE DE TRAITEMENT ET LE GROUPE DE CONTROLE, POUR LE MOIS DE

NOVEMBRE 2012 ................................................................................ 50

TABLEAU 13 - COMPARAISON DE LA PERCEPTION DE RICHESSE ENTRE MENAGES DU GROUPE DE

TRAITEMENT ET DU GROUPE DE CONTROLE .................................................... 50

TABLEAU 14 – RECAPITULATIF DE LA REALISATION DES ACTIVITES PREVUES .............................. 63

TABLEAU 15 - TEST DE DIFFERENCE DE MOYENNES POUR LES VARIABLES ‘IRRIGATION’ ................. 75

TABLEAU 16 - RESULTATS DES ESTIMATIONS PAR LA METHODE DU PSM .................................. 76

TABLEAU 17 - TEST DE DIFFERENCE DE MOYENNES POUR LES VARIABLES ‘MISE EN CULTURE DES TERRES

IRRIGABLES’ ...................................................................................... 77

TABLEAU 18 - NOMBRE MOYEN DE PARCELLES QUI NE SONT PLUS MISES EN CULTURE DEPUIS

2003-04 ......................................................................................... 78

TABLEAU 19 - NOMBRE MOYEN DE RECOLTES ................................................................. 79

TABLEAU 20 - PROPORTION DES REVENUS AGRICOLES DANS LES REVENUS TOTAUX ..................... 80

TABLEAU 21 - RESULTATS DES VARIABLES ‘REVENUS’ VIA LA METHODE DU PSM ........................ 80

TABLEAU 22 - PROPORTION DE MENAGES SATISFAITS PAR RAPPORT A DIFFERENTS ELEMENTS LIES A

L’ACTIVITE AGRICOLE OU DE LA VIE. ........................................................... 81

LISTE DES ENCADRES

ENCADRE 1– L’UTILISATION DU TERME « IMPACT » DANS LA COMMUNAUTE DE L’EVALUATION ........... 36

ENCADRE 2 – RESUME DE LA REPONSE A LA Q1 (PERTINENCE - ALIGNEMENT) ............................ 57

ENCADRE 3 – RESUME DE LA REPONSE A LA Q2 (INTEGRATION DE L’IMPACT) .............................. 59

ENCADRE 4 – RESUME DE LA REPONSE A LA Q3 (ATTEINTE DES « OUTPUTS ») ........................... 62

ENCADRE 5 – RESUME DE LA REPONSE A LA Q4 (ATTEINTE DES « OUTCOMES » ET DE L’IMPACT) ...... 69

ENCADRE 6 – RESUME DE LA REPONSE DE L’ATTEINTE DE L’IMPACT .......................................... 82

ENCADRE 7 – RESUME DE LA REPONSE A LA Q5 (DURABILITE) ............................................... 84

ENCADRE 8 – RESUME DE LA REPONSE DES EFFETS SUR LE GENRE ........................................... 88

ENCADRE 9 – RESUME DE LA REPONSE DES EFFETS SUR L’ENVIRONNEMENT ................................ 88


Acronymes et abréviations

AUEA Association des usagers des eaux agricoles

BEF Franc belge

CA Comité d’accompagnement (de l’évaluation)

CAD Comité d'aide au développement (de l’OCDE)

CRED Centre de recherche en économie du développement (des Facultés universitaires Notre-Dame de la Paix, FUNDP- Namur)

CTB Agence belge de développement (anciennement : Coopération technique belge)

DERD Direction de l’Enseignement et de la Recherche au

Développement (au Maroc)

DGD Direction générale Coopération au développement et Aide humanitaire (du Service public fédéral –SPF- Affaires étrangères, Commerce extérieur et Coopération au Développement, en Belgique)

DPA Direction provinciale de l’Agriculture (au Maroc)

DTF Dossier technique et financier

IOV Indicateur objectivement vérifiable

MADREF Ministère de l’Agriculture, du Développement rural et des Eaux et Forêts (au Maroc)

NONIE Network of Networks for Impact Evaluation

OCDE Organisation de coopération et de développement économiques

PIC Programme indicatif de coopération

PMH Petite et moyenne hydraulique

PSM Propensity Score Matching

SES / S4 Service de l’Evaluation spéciale de la Coopération internationale (du Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement, en Belgique)


Tiznit

Source: United Nations

Cartes du Maroc et de la zone du projet

Source : Nations Unies


Carte de la zone du projet


Résumé exécutif

Projet et contexte

L’objet de ce rapport est l’évaluation d’impact ex post du projet « Petite et moyenne

hydraulique (PMH) » réalisée dans la région de Tiznit au Maroc. Cette évaluation est l’une des quatre évaluations prévues dans une étude plus générale qui a une finalité tant sommative que formative. L’objectif premier est d’apprécier l’impact ex post de trois projets (un projet d’appui à l’enseignement technique et professionnel en RDC -AETP2-, un projet d’amélioration de l’accès à l’eau au Sénégal -PARPEBA-, un projet d’appui à la mise en place d’une laboratoire de référence en santé publique au Rwanda -LRSP-1) et le projet de petite irrigation de crue au Maroc -PMH- en combinant deux approches méthodologiques, l’une dite « qualitative » et l’autre dite « quantitative ». Le second objectif est de tirer des enseignements sur l’intérêt d’évaluer l’impact et sur les méthodes pour le faire.

Le projet Petite et Moyenne Hydraulique (PMH) 2004-2007 était la seconde phase d’un projet réalisé entre 1996 et 1999. Il s’inscrivait dans la politique de développement agricole mise en œuvre par les autorités marocaines qui visait à améliorer les revenus et les conditions de vie des populations rurales et à contribuer ainsi à la limitation de leur exode. Le projet comprenait deux composantes principales : la réhabilitation d’infrastructures d’irrigation et la conservation des sols contre l’érosion. Il était prévu d’impliquer les associations des usagers des eaux agricoles dans toutes les étapes de sa réalisation et de les préparer à prendre en charge de façon autonome la gestion de l’ensemble des systèmes.

Méthodologie

L’originalité de cette étude réside dans son approche méthodologique. Ce rapport est le

produit d’une collaboration étroite entre des experts en évaluation provenant d’un bureau d’étude et de conseil (ADE) et des chercheurs provenant du monde académique (CRED).

La méthodologie appliquée comporte plusieurs étapes. Tout d’abord, les experts ont réalisé une reconstitution et une critique de la logique d’intervention résumée dans le cadre logique afin de mettre en évidence les liens causals entre les inputs/activités, les « outputs » les « outcomes » et les impacts. Ensuite, ils ont formulé les hypothèses sous-jacentes à chaque « outcomes » et les ont testées à partir de données qualitatives et quantitatives collectées sur le terrain.

Pour l’analyse qualitative une enquête de ménage a été réalisée auprès d’un échantillon d’agriculteurs bénéficiaires des travaux et auprès d’un échantillon d’agriculteurs non-bénéficiaires. Ces données ont été traitées par différentes analyses statistiques.

C’est sur cette base que des réponses aux différentes questions d’évaluation ont été

formulées : (1) la pertinence et l’alignement du projet par rapport aux politiques nationales, (2) la prise en compte de l’impact dans la conception et la mise en œuvre des interventions, (3) les « outputs » réalisés et les « outcomes » atteints, (4) l’impact

1 Le rapport du Rwanda n’a pas pu être rendu public faute d’autorisation d’utilisation de données quantitative

de la part de la Ministre de la santé au Rwanda.


de l’intervention, (5) la durabilité, (6) la prise en compte de la dimension genre et enfin, (7) la prise en compte de l’environnement.

Constats

1. Pertinence/ Alignement

Le projet PMH-Tiznit a été mal conçu. Il n’a pas pris en en compte le contexte spécifique

de l’irrigation de crue et les risques associés à son caractère aléatoire. Les actions retenues et les modalités de mises en œuvre n’étaient pas adéquates pour atteindre les objectifs. Par ailleurs, l’alignement sur la politique du ministère en charge n’a pas permis de développer une approche participative qui est pourtant un facteur critique d’appropriation et de succès de ce type de projet.

2. Préoccupation de l’impact

L’absence totale de préoccupation de l’impact attendu confirme que l’ensemble des parties prenantes a privilégié les réalisations physiques et le décaissement.

3. « Outputs » et « outcomes »

Le volet infrastructures du projet a bien été réalisé et le niveau technique est globalement correct. Pour les autres volets, d’après les rapports disponibles, les actions ont été menées mais elles ne se traduisent pas par des changements visibles.

A travers le volet infrastructures, le projet a augmenté les superficies irriguées en période de stress hydrique. Comparés aux agriculteurs non-bénéficiaires, les bénéficiaires du projet tirent une plus grande part de leur revenu de l’agriculture. Il n’y a toutefois pas de preuves que les volets diversification, formation et renforcement aient eu des résultats et il est peu probable que ce soit le cas.

4. Impact

Le projet a un impact sur les agriculteurs concernés par l’irrigation de crue dans la province de Tiznit mais n’a qu’un impact très marginal sur la réduction de l’exode rurale et l’amélioration des conditions économiques et sociales dans la province.

5. Durabilité

Les conditions ne sont pas réunies pour assurer la durabilité du projet. Si formellement,

la durabilité a bien été prise en compte dans la phase de formulation, celle-ci est très limitée notamment en termes de participation des agriculteurs, et d’appui aux AUEA.

6. Genre

Le projet n’a pas intégré la dimension genre. Dans la phase d’identification, les pistes envisagées ne correspondaient aucunement aux réalités du terrain et dans la phase de mise en œuvre, il n’y a pas eu d’actions spécifiques ou d’actions transversales concernant le genre.

7. Environnement

Le bilan du projet en termes d’impact environnemental est mitigé. Les infrastructures ont des effets positifs sur l’érosion et le rechargement des nappes phréatiques mais les volets de protection biologique des canaux et des terres cultivables n’ayant pas été bien réalisés, ceux-ci n’ont pas eu d’effets satisfaisants.

Résumé exécutif


Leçons apprises

Leçon apprise 1 Cette évaluation a montré l’intérêt de développer à tous les niveaux une culture ‘orientée résultats’ (au sens d’« outcomes » et d’« impact » et pas uniquement sur l’atteinte des « outputs ») et de mettre en place les outils pour les mesurer.

Ce changement doit concerner toutes les étapes du cycle du projet depuis l’identification jusqu’à la mise en œuvre, le suivi et l’évaluation. Par rapport aux pratiques observées dans le cadre de ce projet, cela implique une amélioration de la logique d’intervention qui doit être plus cohérente et basée sur une bonne connaissance du contexte. Lors de la mise en œuvre, il ne faut pas privilégier le décaissement et les réalisations physiques mais l’atteinte des « outcomes » et la contribution du projet à l’impact. Par ailleurs, si la politique nationale prône des approches diminuant les chances du projet d’atteindre ces objectifs (comme la non-implication des bénéficiaires), il faut remettre en cause l’alignement, ou tout au moins négocier avec le partenaire pour adopter les meilleures pratiques de mise en œuvre du projet.

Pour mesurer les « outcomes » et l’impact, plusieurs conditions sont nécessaires. La

première condition est d’avoir un projet bien identifié comme indiqué au point précédent. La seconde condition est la mise en place d’un dispositif de suivi-évaluation qui se préoccupe des « outcomes » et de l’impact : indicateur SMART, dispositif de suivi-évaluation avec des modalités opérationnelles (données de base pertinentes, suivi des indicateurs et collecte des indicateurs en fin de projet) et des bons incitants à le faire bien.

Leçon apprise 2 L’irrigation de crue est mal connue. Une stratégie spécifique permettrait d’améliorer la qualité des interventions au profit des populations qui en dépendent.

Cette évaluation a montré la complexité des systèmes d’irrigation de crue sans en cerner tous les aspects. Il reste à l’issue du travail de nombreuses questions sans réponses satisfaisantes tant au niveau technique qu’en matière de stratégie paysanne. Or, l’irrigation de crue concernent des superficies importantes et est pratiquée par des populations pauvres.

Selon les constats et conclusions de la présente évaluation, l’élaboration d’une telle

stratégie nécessite: - Une meilleure connaissance de l’irrigation de crue. - Une meilleure connaissance des stratégies paysannes. - Un développement de stratégies de maintenance adaptées. - Une identification des bonnes pratiques au Maroc et ailleurs.

Leçon apprise 3 Cette évaluation a démontré l’importance d’intégrer les principes qui ont fait leur preuve en matière de développement rural : approche participative, approche holistique, approche territoriale sans oublier les dimensions transversales qui sont critiques dans ce type d’intervention.

Comme il a été souligné, ces principes n’ont pas été appliqués dans le projet et ceci explique au moins en partie les constats formulés. L’adhésion des agriculteurs doit être recherchée dès l’élaboration du projet. Sans cette condition sine qua non, le potentiel des équipements et leur entretien ne seront pas réalisés.

Leçon apprise 4

Les manquements au niveau de la conception du projet soulignent le besoin d’améliorer la préparation des interventions en s’appuyant sur une connaissance approfondie du contexte et sur une logique d’action focalisée sur les objectifs à atteindre. Une analyse de risques est aussi nécessaire.


1. Introduction

Ces dernières années, l’évaluation de l’impact des interventions de l’aide au développement a pris une importance croissante sur la scène internationale. Le centrage sur les résultats et l’impact répond à une volonté d’améliorer l’efficacité des interventions. Cette volonté se traduit, entre autres, par le souci de mieux évaluer, rendre compte et communiquer sur les résultats. La coopération belge adhère en théorie aux principes sur l’efficacité de l’aide. Mais en pratique elle doit encore fournir des efforts dans ce sens, en particulier dans le domaine des évaluations d’impact. C’est pour répondre à ce besoin que le service d’Evaluation spéciale (SES) du Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement a décidé de lancer un exercice pilote portant sur l’évaluation ex post de quatre projets de coopération gouvernementale.2

L’évaluation a une finalité tant sommative que formative. L’objectif premier est d’apprécier l’impact ex post de quatre projets en combinant deux approches méthodologiques, l’une dite « qualitative » et l’autre dite « quantitative ». Il faut souligner le caractère exploratoire de cet exercice et le fait que ces méthodologies ont été mises en œuvre grâce à la collaboration de deux équipes distinctes : un bureau d’étude spécialisé dans l’évaluation ‘qualitative’ (ADE) d’une part, et d’autre part, un centre de recherche universitaire spécialisé en économie du développement (CRED) compétant dans l’utilisation de techniques quantitatives. Le second objectif de l’évaluation est de tirer des enseignements sur la faisabilité et la réalisation des évaluations d’impact dans un rapport reprenant les leçons tirées des quatre projets.

Ce rapport a pour objectif d’apprécier l’impact ex post du projet « Petite et moyenne hydraulique (PMH) » réalisé dans la région de Tiznit au Maroc principalement durant la période 2004-2007. Il est structuré de la façon suivante. La section 2 de ce rapport présente le contexte du pays et du secteur. Une brève description du projet et des spécificités de l’irrigation de crue est également donnée. La section 3 se concentre sur les aspects méthodologiques de l’évaluation ex post. Cette section est relativement détaillée dans un but formatif : le processus général de l’évaluation y est exposé. Il est suivi d’une brève définition des deux approches, « qualitative » (quali) et « quantitative » (quanti). Cette section aborde ensuite les malentendus liés aux différentes définitions du terme « impact ». Les questions d’évaluation y sont également énumérées. Pour terminer, les évaluateurs exposent l’approche méthodologique utilisée pour l’évaluation de ce projet par l’équipe ADE et par l’équipe du CRED. Cette dernière a mené une enquête de ménages avec contrefactuel dans la zone du projet. La section 4 présente le projet et propose une reconstitution de la logique d’intervention. La section 5 répond aux questions d’évaluation posées dans le cadre de cette analyse. Le rapport se termine par des conclusions (section 6) et par les leçons apprises (section 7).

2 Un projet d’appui à l’enseignement technique et professionnel en RDC -AETP2-, un projet d’amélioration de

l’accès à l’eau au Sénégal -PARPEBA-, un projet de petite irrigation de crue au Maroc -PMH- et un projet

d’appui à la mise en place d’un laboratoire de référence en santé publique au Rwanda –LRSP (le rapport du

Rwanda n’a pas pu être rendu public faute d’autorisation d’utilisation de données quantitative à temps).


2. Contexte

Le présent chapitre vise à situer le projet dans son contexte général, en présentant succinctement (i) le contexte national et sectoriel, ainsi que (ii) la coopération entre la Belgique et le Maroc.

2.1 Contexte national général et sectoriel

Depuis l’arrivée au pouvoir du Roi Mohamed VI en 1999, le Maroc a connu sous différents gouvernements de profondes transformations sur les plans politique, économique et social. Néanmoins ces réformes n’ont pas permis, selon une récente note pays de la Banque Mondiale, de surmonter les problèmes de pauvreté, d’inégale distribution des richesses et de corruption endémique.3 Encore aujourd’hui, le Maroc possède un faible indice de développement humain (130e sur 187 pays en 2011) et la pauvreté continue d’affecter particulièrement les populations rurales: 70% de la pauvreté se concentre en zone rurale.4

Tableau 1 – Indicateurs d’ordre général pour le Maroc5

Indicateurs clés Valeur

Population totale 32,3 millions

Revenu national brut par habitant ($ constants de 2005) 4.196 USD

Indice de développement humain (rang) 130e/187 pays

Espérance de vie à la naissance 72,2 ans

Indice d’inégalité de genre 0,510

A la fin des années 90, le Plan de développement économique et social 1999-2003 du gouvernement marocain comprenait une stratégie de développement rural qui visait notamment à améliorer les revenus des agriculteurs. La Stratégie 2020 de développement rural (1999) avait par ailleurs pour priorité de corriger des déséquilibres régionaux et locaux qui affectent le monde rural et le développement et la valorisation des ressources naturelles. Sa mise en œuvre a cependant souffert de la complexité de l’organisation territoriale et de l’attribution des rôles pour porter les politiques publiques de développement rural. Cette approche de développement rural s’est ensuite inscrite dans l’Initiative nationale de développement humain (2005). Il s’agit de la politique nationale de lutte contre la pauvreté dont les principaux axes d’intervention sont l’accès aux services de base et la promotion des activités génératrices de revenus et l’aide aux personnes les plus vulnérables. Sa réalisation s’est faite à travers un partenariat entre l’État, les collectivités locales et les organismes

3 The World Bank, 2012. Country Brief Morroco. 4 Ibid. 5 Indicateurs internationaux de développement humain développés par le Programme des Nations Unies pour

le développement (PNUD) pour l’année 2011. L’indice d’inégalité de genre se calcule sur base de cinq

critères : mortalité maternelle, fécondité chez les adolescentes, niveau d’instruction (secondaire et plus),

représentation parlementaire, et taux de participation à la population active avec une pondération plus forte

pour ce dernier critère.


internationaux. Des progrès indéniables ont été enregistrés. Cependant, des faiblesses ont été identifiées dans la mise en cohérence avec les programmes sectoriels, ainsi que dans la programmation participative et dans la capacité de gestion au niveau provincial.

L’appui au développement rural semble donc toujours d’actualité et nécessite qu’une attention particulière soit accordée au secteur agricole et à l’irrigation. En effet, le climat est l'un des plus importants obstacles au développement de l'agriculture nationale qui souffre de la faiblesse et de l'irrégularité de la pluviométrie. Ayant dans le passé, appuyé de petits projets, les autorités souhaitent, depuis 2008, renforcer l’ensemble des filières avec l’adoption du plan national «Plan Maroc Vert » qui comporte pas moins de sept fondements dont le premier est de faire de l’agriculture le principal levier de croissance sur les 10-15 prochaines années en veillant à ce que le développement de l’agriculture marocaine se fasse sans exclusion (troisième fondement). Le deuxième pilier du Plan Maroc Vert a pour objectif d’accroître « la production des filières végétales et animales des zones défavorisées en vue d'améliorer le revenu agricole des exploitants ». Il accorde une certaine attention à la petite et moyenne Hydraulique (PMH) dans son ensemble. Il ne formule toutefois pas d’approche spécifique relative aux systèmes traditionnels d’irrigation par épandage des eaux de crues.

2.2 Coopération de la Belgique avec le Maroc

La Belgique coopère avec le Maroc depuis environ 45 ans et elle est actuellement, avec une contribution budgétaire de 80 millions d’euros6, le deuxième pays donateur après la France en termes de coopération bilatérale. Historiquement, son soutien s’est concentré sur les secteurs de la santé, de l’éducation, du développement rural et de l’eau. Le programme sélectionné pour cette évaluation visant à assurer des revenus stables aux agriculteurs dans la Province de Tiznit, s’inscrit dans ce type de soutien et combine les deux thèmes primordiaux de l’agriculture et de l’eau. La coopération maroco-belge semble avoir tenu compte des besoins du pays décrits ci-dessus. Pour le programme 2006-2009, elle a soutenu l’amélioration des conditions de vie des populations rurales notamment dans la région vulnérable de Souss-Massa-Drâa (à laquelle appartient Tiznit).7 Ce choix géographique et sectoriel a été maintenu dans le PIC 2010-2013 qui consacre 83,7% de son budget indicatif aux secteurs de l’agriculture et de l’eau.8 Enfin, dans ces mêmes régions prioritaires, la coopération encourage les efforts qui visent à améliorer la situation de la femme en appuyant activement des acteurs de la société civile.

2.3 Irrigation par épandage des eaux de crues au Maroc

Plusieurs types d’irrigation peuvent être distingués : par exemple l’irrigation par gravité, comme dans le cas d’un barrage, ou l’irrigation par aspersion, au moyen de pompes.

L’irrigation par épandage des eaux de crues9 constitue une technique particulière de

mobilisation et d’utilisation des eaux de crues périodiques d’eau de montagne. Cette technique est utilisée depuis des temps immémoriaux dans les zones arides et semi-arides en Afrique du Nord, au Moyen-Orient, en Afrique de l'Est, en Asie de l'Ouest et dans certaines parties d'Amérique latine. L’irrigation de crue est pratiquée par les segments les plus pauvres de la population rurale dont la subsistance et la sécurité alimentaire en dépendent.

6 Ce montant concerne l’ensemble du programme de coopération pour les années 2010-2013. Pour

référence, l’enveloppe budgétaire du précédant programme (2006-2009) s’élevait à 46,5 millions d’euros. 7 Coopération maroco-belge (2009, p. 6). 8 Idem, p. 18. 9 L’« irrigation par épandage des eaux de crues » est également appelée plus simplement « irrigation de crue

». On la dénomme « spate irrigation » en anglais et « fayd » au Maroc.

2. Contexte


L’irrigation se fait d’amont en aval et la disponibilité de l’eau est fonction de l’importance

des crues et de l’état de l’ouvrage de prise. Les eaux de crue du bassin versant d’une montagne sont détournées du lit de la rivière (oued) et sont réparties sur de grandes surfaces. La modernisation des ouvrages d’épandage rustiques, outre les améliorations qu’elle apporte dans l’exploitation des crues, vise à alléger et à améliorer les conditions d’irrigation et de réalisation des travaux d’entretien. Il s’agit par ailleurs d’une technologie relativement peu onéreuse.

Le Maroc dispose d’une surface de près de 165 000 hectares pouvant bénéficier de l’irrigation de crue, contre 135 000 ha pour l’irrigation saisonnière et 484 000 ha pour l’irrigation pérenne.

10 La surface effectivement irriguée par les crues varie d’une année à

l’autre ; elle était par exemple d’environ 83,000 ha en 2005. L’irrigation de crue est principalement concentrée dans les bassins méridionaux et orientaux. Cette partie du pays est traversée par un système hydrographique très dense drainant les bassins du Haut et du Bas Atlas. Elle comprend neuf grandes unités homogènes avec des systèmes hydrauliques autonomes, dont celle de Tiznit-Ifni.

11

L’irrigation de crue est totalement différente de l’irrigation pérenne en termes de stratégie d’intervention et d’effets attendus. Techniquement, il s’agit de canaliser des volumes d’eau qui arrivent de manière imprévisible et en quantité telle que l’érosion générée peut entrainer des dégâts considérables. Contrairement aux projets d’irrigation pérenne qui visent la sécurisation des ressources en eau disponibles au niveau d’une parcelle, l’irrigation de crue est aléatoire et vise à tirer le meilleur parti de la crue. Dans ce cadre, les effets attendus pour les agriculteurs sont également aléatoires et les agriculteurs développent surtout des stratégies de diversification non agricole.

Ces systèmes de crue comportent de grands risques. Un document thématique sur les

systèmes d’irrigation de crue au Maroc publié par le Réseau sur l’irrigation de crue, qui est cofinancé entre autres par plusieurs agences des Nations unies (y compris le FIDA, la FAO et UNESCO-IHE) identifie en particulier les contraintes suivantes : 12

l'incertitude de la production agricole, provenant de la nature imprévisible des inondations (en termes d’occurrence, de magnitude et de fréquence) ainsi que des changements du lit des rivières ;

la brutalité et la violence des régimes des oueds, menaçant de détruire les ouvrages et nécessitant des techniques d’épandage adaptées ;

l’absence de mécanismes de contrôle adaptés dans les systèmes de distribution traditionnels – l’irrigation parcelle par parcelle entraîne de l’érosion et des inégalités de hauteur de terrain, et ainsi une variabilité considérable dans la profondeur de l'eau ;

la difficulté de construire des ouvrages de dérivation permanents, due à la faible prévisibilité des sédiments et matières en suspension et à la stabilité problématique de tels ouvrages selon la nature du lit des rivières ;

la difficulté de l’exploitation et de la maintenance de tels systèmes ; il n’est par ailleurs pas possible de manipuler les équipements au moment d’une crue ;

des rendements de cultures souvent bas, dus à la combinaison de facteurs comme ceux mentionnés dans cette liste.

10 « De nombreux barrages de rétention ont été construits depuis 1987 dans les zones arides, principalement

le barrage d’Hassan Addakhil dans la vallée de Ziz et celui de Mansour Eddahbi sur l'oued Drâa, ainsi, des

périmètres qui étaient irrigués par épandage d’eau de crue sont aujourd'hui irrigués avec de l'eau pérenne

sécurisée par ces barrages nouvellement construits principalement dans la région de Tafilalet. Par

conséquent, le chiffre pour le potentiel d'irrigation de crue au Maroc doit être inférieur à ce qui est publié

depuis 1987. » 11 Spate Irrigation Network (2011). Spate Irrigation in Morocco, Overview Paper Spate Irrigation #6, p. 4. 12 Ibid., p. 14


Ce même document sur l’irrigation de crue au Maroc conclut à l’importance des facteurs

suivants pour le succès d’une intervention dans le domaine : 13

une stratégie globale de gestion intégrée des bassins versants ;

des données hydrologiques justes et précises ;

une approche intégrée pour la réhabilitation des systèmes d'irrigation de crue, combinant des travaux d’infrastructure et des programmes d’amélioration de la production agricole, tenant compte des spécificités de la zone d’intervention ;

l’exploitation combinée de l’eau de crue et de l’eau souterraine ;

un système d'alerte aux inondations ;

une approche participative impliquant les utilisateurs de l’eau;

la formation des bénéficiaires ;

l’utilisation d’engins de terrassement pour entretenir les systèmes d'irrigation de crue ;

des pratiques agronomiques et de conservation des sols.

2.4 Le projet PMH

Le projet PMH-Tiznit était la deuxième phase d’un projet dont la première phase avait démarré en 1996. L’objectif global, l’objectif spécifique et les indicateurs de suivi n’ont pas été révisés d’une phase à l’autre. L’objectif global du projet était d’assurer les revenus et la stabilité des agriculteurs et l’objectif spécifique recherché était que les ouvrages (barrages et canaux) permettent un bon fonctionnement du réseau traditionnel d’irrigation. La deuxième phase d’un montant de 960.000 € avait pour objet de compléter les résultats non atteints de la première phase.

Le projet Petite et Moyenne Hydraulique (PMH) s’inscrivait dans la politique de développement agricole mise en œuvre par les autorités marocaines Le projet comprenait deux composantes principales : la réhabilitation d’infrastructures d’irrigation et la conservation des sols contre l’érosion.

Le PMH avait comme résultats principaux :

R1 : Une infrastructure bien dimensionnée est mise en place et la distribution à l’intérieur du périmètre est assurée ;

R2 : Les aménagements hydro-agricoles sont bien protégés en concertation avec les utilisateurs ;

R3 : Le réseau hydrographique est corrigé ;

R4 : Les pratiques culturales sont adaptées à la conservation des sols ;

R5 : Les utilisateurs de l’eau agricole sont sensibilisés aux bonnes méthodes d’irrigation;

R6 : La gestion après projet est assurée ;

R7 : La gestion du projet est efficace.

Les 2 phases successives du projet ont réalisé l’amélioration et l’extension de 11 réseaux traditionnels d’irrigation permettant de maintenir une agriculture par épandage des eaux de crues, de limiter leurs effets d’érosion et de consolider le bon fonctionnement des réseaux traditionnels d’irrigation à l’intérieur des périmètres.

Traditionnellement, les eaux de crue étaient mobilisées par les agriculteurs de la région de Tiznit à l’aide d’ouvrages en terre et de réseaux d’irrigation également en terre. Ces

13 Ibid., pp. 15-16

2. Contexte


infrastructures traditionnelles, détruites par les crues de 1987, ont été reconstruites partiellement en béton par le projet : les ouvrages construits sont donc implantés sur des points choisis sur base des infrastructures existantes et non pas sur base d’études hydrologiques.

2.5 Contraintes physiques de la zone PMH - Tiznit

Les périmètres concernés par le PMH sont situés à l’ouest et au sud-ouest dans un rayon de +-30 kms de la ville de Tiznit, le long des oueds Adoudou, Tamdghoust et Assif Ougoumad.

Ils couvrent au total une superficie de 1.900 ha14 et relèvent administrativement de 3 communes rurales : Aglou, Bounaamane et Reggada.

Tableau 2 – Superficie et population des périmètres du projet PMH

Commune Rurale Périmètres Superficie (ha) Population (1993?)15

Aglou

Tamdghoust

Tadouarte

Amensague

Amzaourou

Sidi Daoud

140

70

130

170

240

180

470

960

1.350

1.200

Bounaamane

Imaterzen

Bouadane

Bounaamane

180

190

160

462

240

1.800

Reggada Id Taleb Yahia

Zidania

60

560

500

1.600

La région souffre d’une faible pluviométrie avec une moyenne d’environ 175 mm/an16

(période 1980-2007), les pluies s’étalant d’octobre à avril. Le mois de janvier est le plus humide.

14 Les superficies varient entre différents rapports : celles reprises ici sont extraites du « Rapport préparatoire

au Comité de suivi du projet Tiznit PMH » du 29 avril 1999. 15 Taille moyenne de 6 personnes par foyer 16 Données de contexte reprises des i/ Rapport d’étude de réhabilitation des périmètres irrigués par épandage

des eaux de crues de l’oued Adoudou dans la plaine de Tiznit - phase 1 : analyse de la situation actuelle –

ADI (1994 ?) et ii/ Rapport APD d’aménagement hydro-agricole du périmètre Assaka – FIC 02/2009.


Figure 1 - Précipitations moyennes saisonnières

La moyenne du nombre annuel de jours de pluie est d’environ 35 et les variations interannuelles montrent une évolution en dents de scie avec des écarts importants, traduisant le caractère aléatoire des précipitations annuelles.

L’évapotranspiration est en moyenne de 1.498

mm/an ce qui entraîne un déficit pluviométrique annuel très élevé d’environ 1.392 mm/an, soit un caractère aride du climat et par conséquent la nécessité du recours à l’irrigation pour toute mise en culture agricole.

La moyenne annuelle des températures est de 19°4 avec un pic de 25,4° en août, les écarts mensuels entre maxima et minima n’excèdent pas 15°C grâce à la proximité de l’océan.

Figure 2 - Précipitations annuelles

La pénéplaine de Tiznit est une

large cuvette sédimentaire recouverte de dépôts alluvionnaires et colluvionnaires du Quaternaire récent ou moyen. C’est une zone de remplissage en calcaires lacustres reposant directement sur des schistes. La plaine est largement érodée par les réseaux hydrographiques qui délimitent de petites collines rocailleuses et de larges dépressions.

Le bassin versant des 3 oueds temporaires alimentant les périmètres, couvre une superficie

de 926km2. On ne dispose pas de données sur leurs régimes et la fréquence des crues. A une altitude d’environ 300 m, la pénéplaine s’incline progressivement du sud au nord puis passe rapidement un peu après le périmètre d’Amzaourou à moins de 100m avant de rejoindre le littoral atlantique. L’érosion y est par endroit fort active et marquée par d’importantes ravines.

Au niveau du bassin de Tiznit, l'apport annuel moyen total des crues est estimé à 10,6 mégamètres cubes (Mm3) répartis comme suit17 :

8,7 Mm3/an provenant de l'oued Adouddou, lequel présente une forte irrégularité

(15,3 Mm3 en année humide et 0,9 Mm3 en année sèche) ;

1,3 Mm3 provenant du sous bassin N'baye(120 km²) ;

0,6 Mm3 provenant du sous bassin Içoh (83 km²).

17 PDAIRE Souss Massa Volume 2 – Mission I Collecte des données, diagnostic et évaluation des ressources en

eau

2. Contexte


Le volume total des eaux de crues dérivées actuellement dans le bassin de Tiznit est de

l'ordre de 3,2 Mm3/an.

Les sols se développent sur des accumulations limoneuses des terrasses alluviales et dérivent d’une évolution isohumique dont les caractères importants sont essentiellement la répartition profonde, lentement décroissante d’une matière organique bien évoluée d’origine steppique, et un profil calcaire. Ces sols permettent un enracinement profond du couvert arbustif et un bon coefficient d’emmagasinement d’eau qui favorise une bonne résistance aux périodes sèches. Ils conviennent donc aux cultures à enracinement profond profitant des eaux stockées en profondeur.

Les périmètres d’épandage bénéficient en partie des crues annuelles qui surviennent 2 à 3 fois par an en cas de bonne pluviométrie. Du fait de la qualité et de la nature des sols, l’irrigation par épandage des périmètres traditionnels à partir de seulement 2 crues suffisent pour l’installation des cultures de céréales (orge, blé, mais). Lors d’une année de sécheresse soit les champs ne sont pas mis en culture soit ils le sont mais la perte pour l’agriculteur est limitée. Il n’en est pas de même pour l’arboriculture, une sécheresse prolongée peut entrainer la perte du capital constitué par des arbres adultes. D’un point de vue hydrogéologique la zone présente des conditions favorables d’infiltration et de stockage en nappes libres et quelques petites sources pérennes ou intermittentes jaillissent par endroits, entre autres à Zidania. La recharge moyenne annuelle des aquifères provient des reliefs entourant la plaine de Tiznit soit par infiltration directe des eaux de pluie et de crue, soit par cheminement souterrain à travers des formations sous-jacentes particulièrement perméables. Selon le rapport d’identification du PDAIRE, l'épandage de crues de l'oued Adoudou contribue à l'alimentation de la nappe par une infiltration estimée à 20%, ce qui apporte selon les années environ 0,5 Mm3/an.

2.6 Contexte social de la zone PMH - Tiznit

Tous les centres auxquels les douars des périmètres sont liés sont électrifiés et disposent d’eau potable par des bornes fontaines ONEP. La plupart sont dotés d’une école primaire.

Pour l’ensemble, l’exode rural y est important: les migrants quittent le douar entre 25 et 35 ans pour exercer le plus souvent la profession d’ouvrier ou de commerçant au pays ou à l’étranger. Pour la plupart il ne s’agit pas de migrations définitives mais plutôt de migrations saisonnières.

Pour la plupart des propriétaires de terres18, l’agriculture n’est pas l’activité principale : les activités sont souvent multiples et l’agriculture n’apparaît que comme une activité temporaire d’appoint sujette à des circonstances favorables (pluies, crues). Une des caractéristiques économiques des périmètres est le travail en ville de la main d’œuvre masculine durant plusieurs mois de l’année et l’envoi de mandats de l’étranger ou du Maroc. Notons aussi, que les personnes originaires de cette région y reviennent souvent pour leur retraite après une période d’exode relativement longue. Les revenus annexes sont plus importants que l’agriculture qui apparaît comme une activité secondaire dans les revenus des exploitations.

La répartition des tailles des exploitations montre l’importance des petites exploitations

de moins de 1 ha.

18 Le statut des terres est ‘melk’ càd propriété privée traditionnelle.


Tableau 3 – Nombre et taille moyenne des exploitations agricoles des périmètres du projet PMH

Commune Rurale Périmètres Nombre d’exploitations Classes de taille

<1ha 1 à 2ha >2ha

Aglou

Tamdghouste

Tadouarte

Amensague

Amzaourou

Sidi Daoud

12

26

67

182

67

58%

85%

25%

17%

84%

42%

15%

27%

32%

16%

-

-

48%

51%

-

Bounaamane

Imaterzen

Bouadane

Zône Bounaamane

14

27

169

93%

-

28%

-

22%

22%

7%

78%

50%

Reggada Id Taleb Yahia

Zidania

28

60

77%

59%

16%

33%

7%

8%

2.7 Principes techniques

Le seuil d’épandage est un ouvrage hydraulique réalisé en travers du lit mineur d’une vallée perpendiculairement au sens d’écoulement des eaux. Il permet de contrôler l’érosion hydrique et surtout d’assurer l’épandage de la crue sur une largeur plus importante du bas-fond en corrigeant le chemin préférentiel de l’eau.

Les objectifs poursuivis sont essentiellement de :

Réduire la force érosive de l'eau ;

Favoriser l’infiltration de l’eau et permettre ainsi de recharger la nappe phréatique ;

Elargir les zones d’épandage des eaux de la vallée ;

Améliorer la fertilité des sols en amont du seuil en favorisant la sédimentation des

éléments fertilisants transportés par l’eau ;

Obtenir l’exploitation en irrigation de terres en aval.

L’ouvrage de dérivation des eaux doit pouvoir garantir la dérivation de l’eau et doit être capable de résister aux crues (souvent intenses) et être protégé pour éviter son contournement par l’oued. L’ouvrage de dérivation est composé de :

Une prise latérale sur une des rives de l’oued ;

Une passe de dégravement implantée juste à côté de la prise ;

Un limitateur de débit avec déversoirs latéraux ;

Un seuil déversant ;

Un bassin de dissipation ;

Une protection des berges où cela est nécessaire aussi bien à l’amont qu’à l’aval de l’ouvrage, dispositif conçu de manière à modifier le moins possible l’écoulement naturel des eaux pour protéger les berges et canaliser les écoulements naturels ;

2. Contexte


Réseau de canaux au sol, ouvrages de chutes, ouvrages de prise, ouvrage de

traversée et de franchissement, siphons etc.

Dans la zone du projet, les ouvrages et infrastructures traditionnelles d’irrigation sont provisoires et rudimentaires, construits par des individus ou groupements d’agriculteurs en fonction de la situation et de la topographie des terres. Ces sites ont été choisis en fonction des moyens et des possibilités des usagers sans aucune étude technique préalable

Les entretiens des réseaux et des ouvrages au niveau des périmètres d’épandage sont en principe toujours assurés par les agriculteurs après chaque crue. Cet entretien concerne le seuil de prise19, la tête morte20, les seguias principales et la remise en état des digues.

Au niveau de l’oued comme au niveau des parcelles le droit d’eau se fait de l’amont à

l’aval. Aucune règle de répartition de l’eau n’est appliquée au niveau des différents périmètres irrigués par l’épandage des eaux de crues. L’organisation de la distribution à l’intérieur des périmètres est assurée par les agriculteurs eux-mêmes. Il n’y a pas véritablement de ‘tours d’eau’ : en général la parcelle amont est la première bénéficiaire, la dernière parcelle bénéficie du reliquat de crue. Il en va de même pour des périmètres en cascade sur un même oued : le premier périmètre capte un maximum d’eau, l’écoulement laissé au suivant n’étant que l’excès incontrôlable.

Il est intéressant de mentionner que le périmètre de Id Taleb Yahia, le premier en amont de l’oued Adoudou est particulièrement favorisé : ces dernières années sa superficie et les plantations ont largement augmenté : plus 100% en superficie irriguée et plantation de 30.000 pieds de caroubiers plantés par la DPA !) 21. Par contre les derniers périmètres en aval (Tamdghoust et Tadouart), sauf années exceptionnelles, n’ont pratiquement plus de crues à leur niveau. L’amont du seuil de Tadouart est fortement sédimenté du fait du peu de vitesse d’écoulement des eaux et les terres ont tendance à s’accumuler en amont, formant même une sorte de dépression à contre pente bien en amont du seuil.

19 Seuil de prise : petit barrage assurant le déversement de la crue dans le canal tête morte

20 Tête morte ou canal tête morte : canal assurant le transport de l’eau au réseau d’irrigation.

21 30.000 pieds de caroubiers ont été plantés rien que pour ce périmètre


3. Méthodologie

Cette section expose tout d’abord le processus général de l’évaluation et définit de manière générale les deux approches « qualitative » et « quantitative ». La présentation des deux approches débouche sur une réflexion concernant la définition même de l’impact dans le cadre de cet exercice. La logique d’intervention du projet est ensuite commentée et reconstituée sur base de l’analyse documentaire et des constats de la mission exploratoire sur le terrain. La logique d’intervention reconstituée permet de définir une méthodologie quantitative réalisable sur le terrain et pose le cadre d’analyse pour l’approche qualitative. Pour terminer, l’approche méthodologique retenue pour cet exercice est exposée.

3.1 Approche méthodologique générale

3.1.1 Processus général d’évaluation

Cette étude d’évaluation ex post d’impact se fonde sur un processus général séquentiel présenté dans la figure 3, ci-dessous. Il consiste en quatre phases principales, avec des livrables et des réunions de présentation au comité d’accompagnement (CA).

Figure 3 : Processus d’évaluation

L’approche méthodologique pour évaluer l’impact de chaque projet se base sur des méthodes d’analyse dites « qualitatives » et des méthodes d’analyse dites « quantitatives ». Les informations et constats découlant des deux types de méthodes sont ensuite triangulés et comparés. Ceci forme la base pour les constats, conclusions et leçons de chaque rapport. En plus d’évaluer les projets, l’équipe a pour objectif d’explorer comment et en quoi ces deux approches sont complémentaires et/ou redondantes. Cet exercice d’évaluation d’impact ex post de quatre projets a donc une finalité tant sommative que formative.


3.1.2 L’approche qualitative

L’approche qualitative est synthétisée dans la Figure 4 ci-dessous.

Figure 4 Résumé de la méthodologie qualitative

Etape 1 : Reconstruction de la logique d’intervention. Sur base de l’analyse

documentaire et des informations recueillies sur le terrain, la logique d’intervention du projet a été reconstituée. Cela a permis de mettre en évidence la chaîne de résultats qui, par liens de cause à effet, produit l’impact. La chaîne de résultats suit la séquence présentée dans la Figure 5, ci-dessous.

Figure 5 - Type de logique d’intervention utilisée pour cette évaluation

Les définitions des concepts clés de la logique d’intervention soulèvent de nombreuses

questions car ils sont parfois interprétés de façon différente. En effet, les praticiens de

l’évaluation, mais également les praticiens du développement ne définissent pas tous de

la même manière ces concepts. Les concepts sont ici utilisés en anglais dans la mesure

où ils reflètent clairement le concept sous-jacent. Les termes français amènent une

certaine confusion car les termes résultats / produits / réalisations apparaissent à

différents niveaux.

Etape 2 : Les relations causales sont confrontées aux réalités du terrain, par le biais d’observations des « outputs » et de leur utilisation, d’avis d’experts, d’entretiens semi-structurés avec diverses parties prenantes tant en Belgique que dans le pays d’intervention (dont certains bénéficiaires). Les experts peuvent également s’appuyer

OUTCOMESOUTPUTSINPUT

Effets du projet

sur les

bénéficiaires

directs résultant

de l’utilisation des

outputs

Biens,

équipements

ou services qui

résultent des

inputs, et qui

produisent les

effets

Moyens mis en

œuvre et Activités

entreprise en vue

de produire les

effets attendus du

projet

Effets induits du

projet

à niveau global

IMPACT

Autres termes

utilisé qui

portent parfois à

confusion:

« Résultats intermédiaires » (selon la terminologie du cadre logique)

« Résultats immédiats ou

produits » (selon la terminologie du SES)

« Objectif spécifique »(selon la terminologie du cadre logique)

« Résultats à court et moyen

terme ou réalisations » (selon la terminologie du SES)

« Objectif global »(selon la terminologie du cadre

logique)

« Résultats à long terme ou

impact » (selon la terminologie du SES)

Outcomes

(bénéficiaires)OutputsActivités

Impact

(société)

Etape 1: Reconstruction de la logique d’intervention

Etape 3: Quantification du champ du projet (# bénéficiaires,

# régions…) pour estimer le potentiel d’impact global

Etape 2: Observation des outputs concrets

du projet et de leur contribution aux

outcomes sur les bénéficiaires

3. Méthodologie


sur une analyse avec contrefactuel même si celle-ci n’est pas statistiquement représentative (c’est peu utilisé).

Etape 3 : On tente de quantifier l’impact et de porter un jugement argumenté sur la contribution de l’intervention à cet impact. Les méthodes d’analyse qualitative sont généralement reconnues comme étant peu efficaces pour quantifier l’impact avec précision et adresser l’attribution. Cependant, leur force réside dans leur capacité à éclairer la contribution du projet à l’impact dans des contextes complexes.

Les méthodes de recherche qualitative se concentrent donc sur le processus d’atteinte de l’impact. Elles mettent en évidence le comportement des acteurs pour expliquer la réussite, l’échec ou la réussite partielle d’un projet dans un contexte donné. Elles jouent un rôle important dans la détermination de la « validité interne » (‘Evaluation Policy and guidelines for evaluation’, du Ministère des Affaires étrangères des Pays-Bas, 2012).

3.1.3 L’approche quantitative

L’impact est défini par la communauté scientifique universitaire comme les résultats observés (communément appelés en anglais « outcomes ») sur les bénéficiaires. Les objectifs d’une évaluation d’impact par des méthodes quantitatives sont :

(i) Identifier et quantifier les changements observés dans la population cible depuis la mise en œuvre du projet;

(ii) Etablir, avec un certain degré de précision, un lien de causalité entre les changements observés (attendus ou imprévus) et le projet.

Afin de conclure à une relation de causalité, il faut pouvoir estimer quelle aurait été la

situation de la population soumise au projet en l’absence de celui-ci. L’idéal serait de comparer la même population avec ou sans mise en œuvre du projet, ce qui est par définition impossible.

La solution est de comparer la population soumise au projet appelée ‘population cible’ (ou ‘groupe traité’) à une population témoin (ou ‘groupe de contrôle’, ou ‘contrefactuel’). Ces deux groupes doivent être comparables avant traitement. Ils doivent donc présenter un nombre important de caractéristiques similaires et répondre aux critères d’éligibilité pour la mise en œuvre du projet. L’identification d’un contrefactuel crédible est une étape essentielle pour la validité des résultats.

La mise en œuvre idéale d’une étude d’impact commence par la réalisation d’une enquête de base (« baseline survey ») auprès d’individus tirés aléatoirement dans le groupe cible et le groupe témoin. Ensuite, il convient de mesurer des indicateurs clés tout au long de la phase opérationnelle pour finir par une enquête ex post, auprès du même échantillon. Le processus et la méthodologie d’évaluation d’impact doivent donc idéalement être conçus et mis en œuvre en même temps que le projet.

Sans situation de référence, il est possible de réaliser une enquête ex post auprès

d’un échantillon de bénéficiaires et de non bénéficiaires. Cependant, l’inexistence de données de référence peut entrainer un biais dans l’estimation de l’impact:

(i) Les différences observées ex post entre population cible et groupe témoin pourraient être préexistantes au projet ;

(ii) A l’inverse, une absence de différence entre ces deux groupes peut simplement refléter une différence préalable au projet qui a disparu grâce à la présence de l’intervention dans le groupe cible.

La pertinence du choix du contrefactuel (groupe témoin) et des méthodes utilisées pour

comparer ces deux groupes revêt donc un caractère crucial.


Les analyses statistiques et économétriques utilisées sont sensibles au nombre

et à la qualité des données disponibles. Si les données existantes pour un projet ne sont pas de bonne qualité ou ne sont pas exploitables statistiquement, il est nécessaire de collecter des données de première main. Cela signifie de réaliser des enquêtes sur le terrain.22 En théorie, la taille optimale de l’échantillon est déterminée par une formule23 afin d’affirmer avec un certain degré de précision qu’il existe ou non un impact, et de pouvoir le quantifier, le cas échéant. En pratique cette formule reste en toile de fond, la taille de l’échantillon étant calculée en fonction de la méthode statistique-économétrique envisagée et du budget.

Les analyses quantitatives permettent d’établir avec un certain degré de précision les liens de causalité entre les effets et le projet. Cependant, elles restent relativement obscures quant aux mécanismes sous-jacents à ces causalités. À cet effet, la récolte d’informations de nature qualitative est utile, voire primordiale. Ces informations qualitatives sont:

(i) Des données qualitatives systématiquement relevées par le biais d’enquêtes24 ;

(ii) Des observations plus générales – par exemple, la présence de troubles

politiques, l’occurrence de catastrophes naturelles, de conflits, etc. – ;

(iii) Des entretiens avec des personnes clefs liées à l’intervention.

Notons que les deux derniers types d’informations sont généralement aussi collectés dans le cadre d’une approche qualitative.

Par la nature des analyses, les résultats obtenus dans l’approche quantitative permettent

généralement d’apprécier la ‘validité externe’ d’une intervention.

Concrètement, l’approche quantitative se base sur l’analyse des documents disponibles et du cadre logique, ainsi que sur les constats de la mission exploratoire pour :

(i) Identifier les « outcomes » (les effets directs sur les bénéficiaires) et celui (ceux) qu’il est possible de mesurer ;

(ii) Définir la méthodologie la plus appropriée pour identifier l’existence d’un

impact, et le cas échéant, le quantifier dans le souci de prouver l’attribution des effets observés à l’intervention.

22 Notons que la mise en œuvre de la collecte de ces données engendre une série de coûts fixes (ne

dépendant pas du nombre d’enquêtes à réaliser), par exemple : rédaction d’un questionnaire, formation

des enquêteurs, test du questionnaire sur le terrain, corrections éventuelles, déplacements, contrôle de la

saisie des données, nettoyage des données, etc. Réaliser des économies à ces étapes cruciales de la

méthodologie d’enquête engendrerait inévitablement une perte de la qualité des données à analyser, et

remettrait en question la pertinence de la collecte de données de première main.

23 Cette formule dépend de la taille de la population ciblée par l’intervention, de la variance au sein de cette

population et des coûts d’enquête. La taille de l’échantillon sera d’autant plus grande que la population

ciblée est importante, hétérogène et que le coût unitaire d’enquête est faible.

24 Les données qualitatives de première main (systématiquement collectées par le biais de questionnaire

individuel) peuvent être ordonnées de manière à créer des mesures quantifiées qui peuvent être utilisées

dans l’analyse économétrique de l’impact.

3. Méthodologie


3.2 L’impact, une définition à clarifier

Un malentendu sur la définition de l’impact à évaluer ressort de la collaboration entre une équipe « quali » et une équipe « quanti ».

- D’un côté, l’approche « qualitative » cherche à apprécier l’impact défini dans le cadre logique comme étant l’atteinte de l’objectif global.

- De l’autre côté, l’approche « quantitative » cherche à quantifier les

« outcomes » du projet (c’est-à-dire les effets sur les bénéficiaires directs), et à vérifier l’attribution des effets observés au projet. Le terme ’impact’ est souvent utilisé par les praticiens des méthodes quantitatives, alors qu’il correspond en réalité aux « outcomes » du projet (c’est-à-dire le niveau d’objectif spécifique tel que défini dans le cadre logique).

D’où vient cette confusion ? Après quelques recherches dans les textes de diverses organisations internationales, nous constatons qu’il existe au moins trois définitions différentes de l’impact d’une intervention :

(1) La définition de l’OCDE qui définit l’impact comme « les effets à long terme, positifs ou négatifs, primaires ou secondaires, induits par une action de développement, directement ou non, intentionnellement ou non »25 (définition utilisée par le SES);

(2) La définition de l’impact telle que formulée dans la logique d’intervention

(résumée dans le cadre logique), qui est « la mesure de l’atteinte de l’objectif global » (définition préconisée, entre autres, par la DGD/CTB);

(3) La définition de la communauté pratiquant l’’Impact Evaluation’ (IE) pour qui l’impact est « la mesure du changement causé par l’intervention sur une population cible » (définition utilisée, entre autres, par la Banque Mondiale et 3ie).

Selon l’OCDE (glossaire du CAD, cfr. encadré suivant), la dimension temporelle distingue l’impact des « outcomes ». La notion d’impact se réfère aux effets à long terme positifs ou négatifs d’une action de développement. Les « outcomes » sont définis comme des effets à court et moyen terme.

Dans l’approche de la logique d’intervention, l’impact est défini comme étant le dernier

élément d’une chaine causale, telle qu’exposée dans la logique du projet (« l’objectif global »). Cela correspond donc à un effet global du projet. La notion d’« outcomes » est reprise sous le terme d’objectif spécifique.

Selon la définition de la communauté de l’« Impact Evaluation », l’évaluation d’impact mesure l’effet d’une intervention sur les populations cibles. L’évaluation d’impact est en fait l’évaluation des « outcomes ». La Banque Mondiale utilise d’ailleurs le terme d’ « outcomes » pour désigner ce qu’elle mesure. Par extrapolation, elle permet également de quantifier l’impact global d’un projet, mais ce n’est pas son objectif principal.

25 “Glossary of key terms in evaluation and results based management”, OCDE – DAC (2010).


Encadré 1 – L’utilisation du terme « impact » dans la communauté de l’évaluation

Use of the Term “Impact” within the Impact Evaluation Community

There is a long tradition in evaluation literature defining the term “impact” as long-term

effects of a development intervention. For example, the Organisation for Economic Co-operation and Development’s Development Assistance Committee defines impact as “positive and negative, primary and secondary, long-term effects produced by a development intervention, directly or indirectly, intended or unintended” (OECD 2002). In this sense, any evaluation that refers to impact indicators is an IE—for example, participatory impact assessments, which rely largely or solely on qualitative approaches (3ie 2009).

However, in the IE community, including at the World Bank Group, impact is used to denote causal effects of a program on outcomes, whether immediate, intermediate, or final. For instance, Gertler and others (2011) define IEs as “a particular type of evaluation that seeks to answer cause-and-effect questions. Unlike general evaluations, which can answer many types of questions, IEs are structured around one particular type of question: What is the impact (or causal effect) of a program on an outcome of interest?” Similarly, according to the International Initiative for Impact Evaluation, “High-quality impact evaluations measure the net change in outcomes that can be attributed to a specific program.” Consistent with the terminology used in the IE community and at the World Bank, this report uses the term impact to mean causal effects of an intervention, irrespective of the time dimension of the outcomes of interest.

Ces aspects sémantiques sont d’autant plus importants que cette étude propose la combinaison de deux approches méthodologiques qui définissent l’impact différemment.

Dans le cas des évaluations dites « qualitatives », on cherche principalement à apprécier l’impact global (au niveau macro-économique, au niveau des secteurs) d’une action de développement. Dans le cas des évaluations dites « quantitatives », ce sont les résultats sur les populations bénéficiaires qui sont appréciés. L’analyse proposée dans la section 5 tient compte de ces différences.

Pour terminer, il est intéressant d’illustrer les implications du choix des définitions par un

exemple. Un programme d’appui à des activités génératrices de revenus peut avoir un effet significatif positif sur les bénéficiaires directs. Cependant, il peut également ne pas avoir d’impact global sur la société. En effet, même si l’ensemble de la population cible connaît une augmentation significative de ses revenus mais que le projet ne touche qu’une partie marginale de la population, aucun changement significatif au niveau du PIB ou de la pauvreté à travers le pays (ou la région, ou la commune) ne sera observé. Sur base de la définition proposée, le projet n’a donc pas d’impact global.

Donc, selon la méthodologie utilisée et implicitement la définition de l’impact sous-entendue, à savoir les effets sur les bénéficiaires directs (méthodes quantitatives) ou effet global sur la société dans laquelle les bénéficiaires directs évoluent (méthodes qualitatives), les conclusions d’une étude peuvent être très différentes. Ainsi apparait toute l’importance de la clarification des définitions utilisées dans ce type d’exercice.

3. Méthodologie


3.3 Les questions d’évaluation

L’analyse se structure en cinq questions d’évaluation. Le tableau 4 présente ces questions. Elles sont détaillées dans la section 5.

Tableau 4– Aperçu des questions d’évaluation.

Q1 Alignement

Dans quelle mesure les objectifs du projet ont-ils été alignés

aux objectifs des politiques des pays partenaires en vue de

maximiser l’impact du projet ?

Q2 Intégration de l’impact

Dans quelle mesure l’appréciation des « outcomes » et de

l’impact a été intégrée dès la conception et la mise en œuvre

du projet?

Q3 Réalisation des « outputs »

et leur utilisation

Dans quelle mesure les activités du projet ont-elles été mises

en œuvre, et ont-elles produit les « outputs » prévus ? Que

reste-il de ces « outputs » ? Sont-ils utilisés ?

Q4 Atteinte des « outcomes »

et de l’impact

Dans quelle mesure les « outcomes » et l’impact attendus ont-

ils été atteints? Y-a-t-il eu des effets inattendus ?

Quels sont les effets sur les thèmes transversaux, à savoir sur

le genre et l’environnement?

Q5 Durabilité Dans quelle mesure les effets atteints par le projet ont-ils une

chance d’être durables dans le temps ?

Q6

Thèmes transversaux et

Effets inattendus

Dans quelle mesure les projets ont-ils eu des effets en termes

de genre et d’environnement ainsi que des effets inattendus

sur les bénéficiaires?

3.4 Approche qualitative pour l’évaluation du projet PMH

L’analyse qualitative s’est ainsi basée sur une série d’outils d’évaluation dits ‘qualitatifs’. Ceci concerne en particulier, outre la reconstruction de la logique d’intervention, l’analyse de statistiques existantes, l’étude de documents (rapports de suivi et d’évaluation, politiques nationales, etc.), des entretiens à Bruxelles et au Maroc, des visites de sites, etc.

Une mission de terrain ‘qualitative’ a ainsi été menée à Tiznit du 9 au 14 septembre

2012. La mission était composée de M. Jean-Marie Wathelet, Ir chef de mission (ADE) ; Mr. Mohamed Daoudi Ir Agronome et Mr. Jean-Claude Ceuppens, Ir Hydrogéologue (HRDI). Après une visite auprès de la CTB et de l’ambassade de Belgique à Rabat le premier jour, les évaluateurs se sont rendus à Tiznit où ils ont pu visiter 10 des 11 périmètres du PMH. Les visites de terrain ont permis d’évaluer les ouvrages techniques (prises d’eau, canaux et périmètres), de s’entretenir avec les bénéficiaires et associations d’usagers de l’eau agricole (AUEA), d’apprécier les pratiques culturales d’un point de vue agronomique et économique, et les améliorations et impact apportés par le projet. A Tiznit la mission a pris attache avec la Direction provinciale de l’Agriculture (DPA), son Centre des Travaux (CT), et d’anciens membres de l’équipe d’exécution du PMH : une partie des visites a par ailleurs été réalisée avec un ancien technicien du PMH. Le déroulement de la mission a pu bénéficier d’un bon accueil général et de discussions franches et instructives.


3.5 Approche quantitative pour l’évaluation du projet PMH

Description de la méthodologie

Contexte et identification d’un contrefactuel (groupe de contrôle)

Afin de réaliser une étude d’impact, il est préférable, dans tous les cas où il est possible de le faire, d’identifier un contrefactuel, c’est-à-dire un groupe de non bénéficiaires qui soit pour une multitude de dimensions, similaire au groupe de bénéficiaires.

La question de l’identification d’un groupe de contrôle crédible est primordial étant donné le contexte dans lequel s’inscrit le ‘projet Tiznit’. La région est caractérisée par un grand dynamisme ; le travail communautaire est important ; la société civile est très active. Par conséquent, il est difficile d’identifier un groupe de contrôle qui n’a pas connu la réalisation d’un projet qui touche à l’irrigation et aux activités agricoles.

Suite aux missions exploratoires (juillet et septembre 2012), nous avons été en mesure

d’identifier un groupe de contrôle crédible. Ce groupe est constitué de villages dont : - les agriculteurs possèdent des terres dans la plaine de Tiznit ; - les systèmes d’irrigations sont traditionnels et non réhabilités par une

intervention extérieure ; - la production agricole est similaire à celle du groupe de traitement.

Le groupe de traitement est composé de périmètres se situant à l’ouest, au sud, et au sud-ouest de Tiznit : communes d’Aglou, Erragada et Bounaamane. Les périmètres du 26groupe de contrôle se situent à l’est, au nord, et au nord-est de Tiznit : les communes de Lmaader Lkbir, Rasmouka et Ouijjane.

Figure 6 – Localisation des communes où l’enquête de ménages a été réalisée

Dans la mesure où un contrefactuel a été identifié, l’équipe a privilégié comme méthode d’analyse la méthode du ‘propensity score matching’ (PSM) et la méthode de la double différence (Diff-en-Diff).

Première méthode d’estimation : le Propensity Score Matching

La méthode du PSM est généralement utilisée dans le cas d’évaluations ex post quand la participation au projet n’est pas de nature aléatoire. C’est exactement le cas de figure dans lequel nous nous trouvons. La méthode du PMS qui est une méthode quasi-

26 Les variables d’intérêts sont les indicateurs sur lesquels l’équipe décide de baser son analyse.

3. Méthodologie


expérimentale vise à comparer chaque bénéficiaire du groupe de traitement aux non-bénéficiaires qui ont la probabilité la plus proche de participer au traitement. La différence en termes de variables d’intérêt entre les bénéficiaires et les non-bénéficiaires associés dans la comparaison indique l’impact estimé du projet. Il est nécessaire que chaque bénéficiaire puisse être associé à des non-bénéficiaires dans la comparaison. Si ce n’est pas le cas, certaines observations ne peuvent pas être prises en compte dans l’analyse. Dans certains cas, la méthode ne peut pas être appliquée (quand l’échantillon qui peut être analysé devient trop petit). Cette méthode nécessite normalement un nombre initial d’observations élevé. Dans notre cas, l’échantillon est composé de 231 observations (129 dans le groupe de traitement et 102 dans le groupe de contrôle). Les fortes similitudes entre les groupes de traitement et de contrôle nous ont permis de maintenir un nombre suffisamment élevé d’observations pour appliquer la méthode du PSM.

Le questionnaire comprend des questions sur des caractéristiques initiales (avant-projet) des ménages. Il est important de pouvoir associer les ménages du groupe de traitement à des ménages du groupe de contrôle en utilisant des similitudes initiales (avant-projet). Des similitudes finales (après projet) peuvent également être considérées si elles ont une faible probabilité d’être influencées par le projet.

Seconde méthode d’estimation : la double différence (Diff-en-Diff)

Outre la méthode du PSM, nous avons utilisé la méthode de la double différence rendue

possible grâce à l’exploitation des données du recall. Ces données ont été récoltées en utilisant trois saisons agricoles comme références temporelles : 2003-04 ; l’année de la crue la plus importante depuis la fin du projet (2007), cette année étant généralement comprise entre 2007 et 2009 ; et l’année 2011-12. Les mêmes données ont été collectées dans le groupe de traitement ainsi que dans le groupe de contrôle27.

La méthode de la double différence estime que la sélection s’explique par des caractéristiques non-observables qui ne varient pas à travers le temps. L’effet du traitement est alors déterminé en prenant la différence en termes d’indicateurs d’intérêt entre le groupe de traitement et le groupe de contrôle avant et après la mise en œuvre du projet (le traitement). Une variation à travers le temps de la différence en termes d’« outcomes » entre les deux groupes est alors attribuée au projet. La méthode de la double différence est basée sur l’hypothèse que les deux groupes suivraient la même tendance en l’absence d’un traitement. Il est supposé que les caractéristiques non-observables qui pourraient influencer l’« outcome » ne changent pas à travers le temps. Dans le cas du projet PMH, l’idée était d’estimer la différence entre le groupe de traitement et le groupe de contrôle selon une série d’indicateurs d’intérêt et d’estimer l’évolution de cette différence après le projet (après 2007). Si le changement est significatif, nous conclurons que les preuves appuient l’existence d’un effet du projet. L’idée est schématisée à la Figure 7 ci-dessous.

27 Bien entendu les références temporelles ont été adaptées dans chacun des cas, le groupe de contrôle

n’ayant pas comme référence temporelle la réalisation du projet.


Figure 7 – Effet d’une intervention par une estimation diff-in-diff

Echantillons

Les échantillons ont été créés de manière aléatoire à partir de bases de sondage que nous avons constituées (cf. infra ‘Description des échantillons’). La taille des échantillons a dû être revue à la baisse. Etant donné notre contrainte temporelle, nous avions prévu dès le début du projet un échantillon de taille modeste : 180 ménages dans le groupe de traitement et 180 ménages dans le groupe de contrôle. Le calendrier de travail d’enquête était extrêmement serré et prévoyait 40 enquêtes par jour pendant 9 jours. Cependant, dès le premier jour d’enquête nous avons été confrontés à une réalité de terrain qui rendait la cadence initialement prévue impossible. Notre stratégie visait à prévenir à l’avance les présidents d’AUEA de notre passage et de leur fournir la liste des personnes que nous voulions rencontrer. Ainsi nous pensions pouvoir organiser notre travail et donner un rythme aux journées d’enquête. Cependant, les agriculteurs n’étaient généralement pas prévenus à l’avance et nous avons perdu un temps considérable à chercher les personnes figurant dans l’échantillon. Cette recherche a pris davantage de temps dans les périmètres dont les agriculteurs résident dans des villages différents. Nous avons finalement réalisé 231 enquêtes : 129 enquêtes dans le groupe de traitement et 102 dans le groupe de contrôle.

Limites de la méthodologie Nous devons toutefois reconnaître les limites de ces méthodologies. Elles sont multiples.

Premièrement, la petite taille des échantillons réduit la précision de nos estimations et pourrait rendre discutable l’identification ou non d’un effet.

Deuxièmement, les erreurs de mesures généralement attribuées aux données de recall pourraient biaiser les résultats.

Troisièmement, il n’est pas évident d’identifier les mensonges et manipulations. Les

questions que nous devons nous poser sont les suivantes : y a-t-il des raisons de croire que le mensonge sera systématiquement orienté dans une direction (surévaluations ou sous-évaluations systématiques) ; y a-t-il des raisons de croire que la tendance à mentir ou manipuler sera plus importante dans un des deux groupes (traitement vs contrôle). Concernant la première question, notre expérience du terrain soutient l’idée que les mensonges vont dans les deux directions. D’une part, nous avons récolté des témoignages selon lesquels les membres dirigeant de certaines AUEA auraient demandé aux agriculteurs de surévaluer leurs résultats en termes de production agricole : « Nous savons ce qu’ils sont venus chercher. Ils veulent entendre que leur projet est une réussite. On va donc leur dire ce qu’ils veulent entendre… ». D’autre part, notre intuition du terrain nous pousse à croire que certains acteurs auraient sous-évalué leurs résultats convaincus que c’est la meilleure manière d’obtenir davantage d’aide. Concernant la

Post-Treatment

Pre-Treatment

Time

Outcome

A

B

B - A

Control Group

Treatment Group

3. Méthodologie


seconde question, une des préoccupations en termes de validité interne des évaluations d’impact est que les acteurs observés peuvent avoir tendance à changer leurs comportements parce qu’ils se savent observés. C’est ce qu’on appelle le « Hawthorne effect». Dans le cas de notre évaluation, il n’est pas exclu que les acteurs du groupe de traitement obéissent à cette effet ‘psychologique’ et aient une propension plus importante à déguiser la réalité.

Un corolaire à la troisième limite est la manipulation potentielle de certains présidents d’AUEA lors de la création des bases de sondage à partir desquelles l’échantillon du groupe de traitement a été créé. La liste des bénéficiaires étant inaccessible/introuvable, elle a dû être créée en faisant appel au bon vouloir des présidents d’AUEA. Les bases de sondage à partir desquelles l’échantillon du groupe de contrôle a été créé peuvent présenter une limite similaire car elles dépendent du sérieux et de l’investissement personnel des autorités locales qui ont créé les listes d’agriculteurs dans la zone identifiée pour le contrefactuel.

Une dernière limite touche à l’interprétation des résultats. L’envergure de l’enquête ne permettait pas de questionner de manière précise les agriculteurs sur les intrants. Par conséquent, nous ne pouvons pas tirer des conclusions en termes de productivité. Par ailleurs, les données récoltées basées sur la technique du recall auraient été trop imprécises pour ce genre d’information. Aucune donnée de base (avant-projet) n’était disponible et les agriculteurs n’utilisent pas de registres agricoles.

Travail de terrain

Le travail de terrain a été séquentiel et progressif. Nous avons réalisé deux missions exploratoires et une troisième mission qui avait pour objectif la réalisation de l’enquête. Les objectifs et réalisations de chacune de ces missions sont expliqués dans l’Annexe 2. Le but de cette annexe est de rendre compte de la complexité liée à la mise en place d’une enquête. Le contexte dans lequel l’équipe a dû travailler et les difficultés d’une évaluation ex post qui a lieu plusieurs années après la fin du projet et sans enquête de base (baseline survey) y sont décrits.

Ci-dessous, une série d’observations de terrain et de problèmes potentiels sont très brièvement décrits (pour plus de détails, se référer à l’annexe 2).

La région visitée est relativement conservatrice, attachée aux traditions. Les filles y sont

rarement éduquées au-delà du primaire. L’équipe a pu percevoir un climat de méfiance vis-à-vis des autorités, de la DPA et des Eaux et forêts. Des craintes d’expropriation de terres de la part des Eaux et forêts ont clairement été exprimées.

Hypothèse à tester

L’objectif des méthodes d’analyse quantitative est d’établir de la manière la plus rigoureuse possible un lien de cause à effet entre les différents résultats (indicateurs de production, de revenus, d’activités, de consommation et de bien-être) et la mise en œuvre du projet, c’est-à-dire essentiellement la réhabilitation des réseaux traditionnels d’irrigation. La tâche est de développer une série d’hypothèses de travail et de définir une méthode statistique afin d’estimer l’impact du projet sur les conditions de vie de la population cible (revenus, consommation, bien-être…) en essayant de comprendre les dynamiques qui lient l’intervention aux résultats.

Le projet vise à stabiliser, voire améliorer les revenus des agriculteurs. Cet objectif

global passe par la sauvegarde de périmètres et leur extension grâce à un meilleur système d’irrigation.


La littérature met en avant essentiellement deux canaux28 via lesquels les infrastructures

en termes d’irrigation peuvent améliorer les performances agricoles. Premièrement, on devrait assister à une augmentation des terres cultivables/cultivées et une intensification de l’activité agricole (plusieurs récoltes par an sont possibles). L’irrigation couplée avec d’autres inputs pourrait améliorer la qualité de la terre.29 Deuxièmement, des cultures plus productives et plus rentables peuvent être introduites (diversification des cultures). Ces différents canaux peuvent, in fine, conduire à une amélioration des revenus et une réduction des risques (et donc une meilleure stabilité).

Ci-dessous une liste non-exhaustive de conditions pour obtenir un meilleur revenu et/ou stabiliser les revenus:

(i) Une augmentation des superficies mises en culture pour chaque exploitation

(ii) Un allongement de la période de récolte que nous pourrions traduire par un nombre plus élevé de récoltes par année .

(iii) Une diversification des produits ; un plus grand nombre de produits cultivés.

(iv) Une augmentation du rendement (v) Une augmentation du prix de vente (vi) Le maintien d’un tarif acceptable pour l’accès aux infrastructures et à l’eau

L’objectif est, entre autres, de vérifier si l’intervention a pu conduire à l’obtention de certaines de ces conditions. L’étude se concentre sur certaines d’entre elles, les conditions (i), (ii) et (iii). La condition (iv), augmentation du rendement, demanderait une enquête plus minutieuse à différents moments du temps pour éviter au maximum les biais dans les réponses. L’étude de cet aspect est impossible dans la mesure où nous ne disposons pas d’étude de base (avant projet) et qu’il n’existe pas de registres agricoles à partir desquels des informations précises sur les intrants et la production agricole auraient pu être récoltées. La condition (v), l’augmentation des prix de vente, est extérieure au projet. Enfin, la condition (vi) est négligeable dans la mesure où l’accès aux infrastructures et à l’eau n’est pas proprement dit payant. L’entretien devrait idéalement être réalisé par les AUEA mise en place lors de l’implémentation du projet. Si les conditions (i), (ii) et (iii) sont observées, on pourrait également s’attendre à ce que la proportion des revenus totaux du ménage provenant de l’activité agricole soit plus importante après intervention, toutes choses étant égales par ailleurs. En contrepartie, on pourrait s’attendre à ce que la dépendance par rapport aux transferts monétaires provenant d’autres régions du Maroc ou de l’étranger soit atténuée.

Une amélioration des revenus pourrait se traduire par davantage d’épargne, une plus

faible vulnérabilité financière et une accumulation de biens (équipements, biens durables ou bétails).

Une amélioration des installations hydro-agricoles devraient également conduire à une réduction du temps nécessaire à leur entretien ainsi qu’une réduction de la pénibilité des travaux. Le gain en termes de temps pourrait conduire à une augmentation d’autres activités. La réduction de la pénibilité devrait augmenter le bien-être des agriculteurs.

Enfin, si l’activité agricole devient une activité viable dans le sens où les revenus qui en découlent sont suffisants pour vivre décemment et si l’activité est moins pénible, on

28 A noter que les infrastructures d’irrigation peuvent également améliorer les performances agricoles via un

troisième canal : la régulation de l’apport en eau. Mais dans ce cas de l’irrigation de crue, le système reste

dépendant de la pluviométrie.

29 Cet aspect dépasse l’objet de cette étude dans la mesure où une enquête de plus grande envergure et

extrêmement précise est nécessaire pour l’aborder rigoureusement. Nos contraintes temporelles et

budgétaires limitent cette possibilité.

3. Méthodologie


devrait s’attendre à une plus faible migration et en particulier une plus faible migration « économique »30.

Outre les effets attendus objectifs évoqués ci-dessus, l’équipe pense qu’il est intéressant de s’attarder sur la perception des agriculteurs quant aux apports du projet. Pour cela, l’équipe exploite une série de questions subjectives d’auto-évaluation de la satisfaction personnelle pour une série de dimensions qui touchent de près ou de loin aux réalisations du projet et aux conséquences de ces réalisations (l’augmentation des surface irriguées, la diversification des produits, la capacité à irriguer en temps de crues…).

Le Tableau 5 récapitule les hypothèses que l’équipe propose de tester à partir des données de première main collectées lors de l’enquête de ménage.

Tableau 5 – Présentation des hypothèses à tester par thème

Numéro hyp. Hypothèse à tester selon les thèmes

THEME 1 : Terres et activités agricoles

Hypothèse 1 Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient pouvoir mettre en culture une plus grande proportion de leurs terres.

Hypothèse 2 Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient pouvoir irriguer une plus grande proportion de leurs terres irrigables.

Hypothèse 3 Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient pouvoir cultiver une plus grande proportion de leurs terres irrigables

Hypothèse 4 Le projet PMH aurait dû avoir atténué l’abandon de l’activité agricole ou la réduction de cette dernière. Concrètement, le groupe de traitement devrait présenter un plus faible nombre de parcelles dont l’exploitation a été abandonnée.

Hypothèse 5 Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient pouvoir exploiter leurs terres sur une plus longue période, ce qui devrait leur permettre d’avoir un plus grand nombre de récolte par saison agricole.

Hypothèse 6 Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient avoir pu diversifier leurs produits agricoles.

THEME 2 : Sources de revenu

Hypothèse 7 Les bénéficiaires du projet PMH, grâce à une amélioration de leurs capacités en termes d’activités agricoles devraient voir leurs revenus provenant de l’activité agricole augmenter en proportion de leur revenu total.

Hypothèse 8 En contrepartie de l’hypothèse 7, les bénéficiaires du projet PMH devraient devenir moins dépendant des transferts monétaires provenant des migrants. Par conséquent, leurs revenus provenant de transferts monétaires devraient diminuer en proportion de leur revenu total.

THEME 3 : Vulnérabilité financière

Hypothèse 9 Les bénéficiaires du projet PMH, grâce à une amélioration de leurs capacités en termes d’activités agricoles devraient voir leurs revenus se stabiliser. Par conséquent, leur vulnérabilité financière devrait être atténuée.

30 Il s’agit de migration motivée par la recherche d’un emploi, d’une nouvelle source de revenu.


THEME 4 : Migration

Hypothèse 10 Grâce au projet PMH, l’activité agricole devient une activité viable et moins pénible, on devrait alors s’attendre à une plus faible migration et en particulier une plus faible migration « économique ».

THEME 5 : Auto satisfaction

Hypothèse 11 Comparativement aux agriculteurs qui n’ont pas connu de réhabilitation de leur système d’irrigation, les bénéficiaires du projet devraient être davantage satisfaits par rapport à une série de questions qui relèvent de l’activité agricole.

Hypothèse 12 Comparativement aux agriculteurs qui n’ont pas connu de réhabilitation de leur système d’irrigation, les bénéficiaires du projet devraient être davantage satisfaits par rapport à une série de questions connexes qui découlent d’une moindre vulnérabilité financière.

THEME 6 : Activités

Hypothèse 13 Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient, grâce à un gain de temps et une moindre pénibilité des travaux liés à l’irrigation, augmenter le temps dédié à d’autres activités.

Description de l’échantillon

L’unité de mesure est la concession même si l’enquête est considérée comme une

enquête de ménage. L’ensemble des individus vivant sur la concession ont été répertoriés. La concession peut compter plusieurs ménages (plusieurs couples sur une même concession). Cependant, le cas de large famille étendue vivant sur la même concession est extrêmement rare. La région est caractérisée par une migration importante et souvent un seul membre masculin chef de famille est à la tête de la concession (par exemple, un des membres d’une fratrie). A titre indicatif, le groupe de traitement compte en moyenne 1.6 membres masculins mariés au sein d’une concession (la médiane = 1 ; le troisième quartile = 2 ; et max = 5). Le groupe de contrôle compte en moyenne 1.5 membres masculins mariés au sein d’une concession (la médiane = 1 ; le troisième quartile = 2, et max = 4).

Les données individuelles recueillies via le questionnaire concernent les membres de la concession résidant dans la concession (au moins 6 mois en 2012). Aucune donnée n’est donc disponible sur les individus migrants originaires de la concession. Cependant, l’équipe sait si des membres de la concession ont quitté la concession de manière définitive depuis l’implémentation du projet. L’équipe a également collecté des informations sur la migration temporaire des membres qui résident actuellement dans la concession.

Il est important de rappeler qu’une partie des données que l’équipe utilise dans son analyse quantitative sont des données de recall. L’enquête fait donc appel à la mémoire des répondants, ce qui représente un exercice délicat.

L’Annexe 2 explique à travers un descriptif des différentes missions de terrain le travail

de reconstitution de la liste des bénéficiaires du projet. Cette liste était introuvable auprès des organismes en charge de l’implémentation du projet. La liste des présidents d’AUEA accompagnée de leurs coordonnées n’était également pas disponible. Il a donc fallu dans un premier temps trouver les coordonnées de chaque président d’AUEA, contacter ces derniers afin qu’ils créent la liste des bénéficiaires de leur périmètre respectif, récupérer ces listes et finalement les retranscrire. Grâce à ce travail, l’équipe a pu disposer d’une base de sondage à partir de laquelle elle a créé l’échantillon pour le groupe dwe traitement.

L’échantillon dans le groupe de traitement est composé de 129 ménages situés dans 9 différents périmètres selon l’allocation décrite dans le Tableau 6. Ils ont tous été interrogés entre le 24 et le 29 décembre 2012. Les périmètres de Tamdghouste et Tadouarte ont été exclu de l’enquête dans la mesure où ces périmètres ont connu une

3. Méthodologie


urbanisation importante. Par ailleurs, les agriculteurs du périmètre de Tadouarte n’ont jamais adhérés au projet et ont exprimé un grand mécontentement par rapport l’approche adoptée et aux réalisations.

Tableau 6 - Périmètres du groupe de traitement

Périmètres du groupe de traitement Nombre d’enquêtes réalisées (%)

Id Taleb Ihyia 9 (7.0%)

Zidania 13 (10.1%)

Bounaamane 21 (16.3%)

Id Hmela 5 (3.9%)

Imaterzene 7 (5.4%)

Bouadane 17 (13.2%)

Sidi Daoud 24 (18.6%)

Amaragh 16 (12.4%)

Igrar Sidi Abderahmane 17 (13.2%)

Total 129 (100%)

L’équipe voulait initialement enquêter auprès de 20 ménages dans chaque périmètre (donc 180 enquêtes au total). Ces ménages avaient été choisis aléatoirement à partir des bases de sondage reconstituées. Les difficultés rencontrées sur le terrain (voir Annexe 2) ont empêché l’équipe de suivre une règle stricte. Le nombre d’enquêtes réalisées sur chaque périmètre reflète la difficulté à trouver les répondants mais est également proportionnel à la taille du périmètre. Les périmètres d’Id Hmella et Imaterzene qui comptent le nombre le plus faible d’enquêtes sont également de taille plus modeste. Dans les périmètres de Bounaamane et Sidi Daoud, plus de 20 ménages ont été choisis (21 et 24 ménages respectivement) car les agriculteurs y ont été plus disponibles. Cette approche permet de marginalement compenser le manque d’enquêtes dans d’autres périmètres.

Les périmètres qui constituent le groupe de contrôle font également partie de la plaine

de Tiznit. Le groupe de contrôle est composé de périmètres se trouvant au nord, nord-est, et est de Tiznit, alors que les périmètres qui composent le groupe de traitement se situent au sud, sud-ouest, et ouest de Tiznit (voir carte). Les périmètres du groupe de contrôle sont donc également caractérisés par un climat aride et par de faibles précipitations. Il s’agit de périmètres caractérisés par une irrigation traditionnelle grâce aux eaux de crue de cours d’eau au débit plus faible que celui de l’oued Adoudou. Les eaux de crue sont mobilisées au moyen de seuils de dérivation rudimentaires et distribuées par des canaux en terres (voir photos dans l’Annexe Photos 2 et 3).

L’Annexe 2 explique à travers un descriptif des différentes missions de terrain le travail d’identification du contrefactuel. Comme expliqué dans la méthodologie de l’évaluation, le groupe de contrôle doit être composé de périmètres dont :

- les agriculteurs possèdent des terres dans la plaine de Tiznit ; - les systèmes d’irrigation sont traditionnels et non réhabilités par une

intervention extérieure ; - la production agricole est similaire à celle du groupe de traitement.

Le travail de constitution du groupe de contrôle a nécessité l’identification des zones répondant aux critères cités ci-dessus. Ceci a été rendu possible grâce aux interactions avec le chef du Service technique et l’aide du service de cartographie de la DPA. La deuxième étape a été la visite des sites potentiels afin de s’assurer que les zones envisagées répondent effectivement aux critères retenus. Ensuite, il a fallu rencontrer les autorités communales qui ont donné leurs consignes aux autorités locales afin que ces dernières constituent la liste des agriculteurs qui ont des terres irriguées par eaux de crues dans les périmètres retenus. Finalement, il a fallu récupérer ces listes et les retranscrire afin de bénéficier d’une base de sondage à partir de laquelle l’échantillon du groupe de contrôle a été créé.


L’échantillon dans le groupe de contrôle est composé de 102 ménages situés

dans 5 périmètres différents selon l’allocation décrite dans le Tableau 7. Ils ont tous été interrogés entre le 30 décembre 2012 et le 2 janvier 2013.

Tableau 7 - Périmètres du groupe de contrôle

Périmètres du groupe de contrôle Nombre d’enquêtes réalisées (%)

Dcheira 14 (13.7%)

Aïn Brahim Wa Saleh 28 (27.4%)

Aouja 23 (22.5%)

Aït Brahim Wa Youssef 18 (17.6%)

Bouibate Rasmouka 19 (18.6%)

Total 102 (100%)

Les enquêtes sont distribuées de manière un peu plus égalitaire que dans le groupe de

traitement. L’organisation a été plus efficace. L’endroit le plus problématique est Dcheira pour deux raisons : l’autorité locale n’a pas rempli sa tâche qui visait à informer les agriculteurs au préalable ; en outre, les agriculteurs y étaient peu enthousiastes et faisaient preuve d’une grande méfiance. Initialement, l’équipe voulait réaliser 180 enquêtes dans le groupe de contrôle, ce qui correspond à 36 enquêtes par site. A nouveau, les ambitions de l’équipe ont dû être revues à la baisse comme en témoigne les données présentées dans le Tableau 6.

Les ménages ont été choisis aléatoirement dans chaque site.

Statistiques comparatives de base

L’objectif de l’enquête est d’apprécier l’impact du projet PMH-Tiznit. Il s’agit d’une

évaluation ex post sans enquête de base et sans allocation aléatoire du traitement. L’équipe tient à mentionner qu’il est difficile d’attribuer ce type de projet de manière aléatoire dans la mesure où les conditions géographiques conditionnent le choix des sites. Par conséquent, la stratégie choisie vise à comparer ex post le groupe de traitement à un groupe de contrôle en s’assurant de leurs similitudes. Afin de juger de la qualité du groupe de contrôle (également appelé contrefactuel) et donc de la pertinence des analyses, il est important de présenter les deux groupes afin de souligner leurs similitudes et différences selon une série de dimensions.

Dans la mesure où l’évaluation du projet PMH-Tiznit est uniquement basée sur des enquêtes de ménages, l’équipe fournit exclusivement des comparaisons basées sur des caractéristiques du ménage (ménage étendu) et de la concession.

Des discussions informelles ont été menées par l’équipe avec des membres d’AUEA lors de la première mission exploratoire. Cependant, étant donné l’inactivité de ces associations, le manque d’adhésion des agriculteurs et le manque de maintien d’un système de cotisations, l’équipe a abandonné l’idée de mener des enquêtes au niveau des AUEA. L’équipe a, par ailleurs, recueilli plusieurs témoignages attestant de la volonté de certains membres dirigeants de biaiser les résultats de l’enquête. Dans la mesure où ces tentatives ont été dénoncées par les agriculteurs, l’équipe estime que l’objectif envisagé par les membres dirigeants de certaines AUEA n’a pu être atteint que très marginalement et que le biais à ce niveau dans les enquêtes, si il existe, est limité.

Contrairement au cas du Sénégal, les villages marocains visités ne comptent plus

d’autorité informelle généralement perçue comme la mémoire du village. Il n’existe que des autorités locales formelles. L’équipe a été réticente à la conduite d’entretiens auprès de ces autorités dans la mesure où elle craignait une vision biaisée, « makhzénienne » du contexte.

Tous les villages visités se situent à courte distance de la ville de Tiznit (environ 30-45 minutes de route) et se trouvent à proximité d’une route principale.

3. Méthodologie


(a) Caractéristiques démographiques

Le tableau 8 ci-dessous décrit les caractéristiques démographiques des ménages dans le groupe de traitement ainsi que dans le groupe de contrôle. Il peut être observé que les ménages étudiés dans les deux groupes sont très similaires selon les caractéristiques retenues. La seule différence significative observée concerne le niveau d’éducation maximal. Ce dernier est plus élevé dans le groupe de traitement.

Tableau 8 - Caractéristiques démographiques des ménages du groupe de

traitement et du groupe de contrôle

Variables Groupe de

traitement

Groupe de

contrôle

Niveau de

significativité

Age du chef de famille (CF) 58.4 ans 57.6 ans pas significatif

Age moyen 37.8 ans 38.2 ans pas significatif

Nombre de membres 6.5 6.5 pas significatif

Nbre de membres <12ans 1.1 1.2 pas significatif

Nbre de membres <15ans 1.4 1.5 pas significatif

Nbre de membres <18 ans 1.7 1.8 pas significatif

Nbre de membres adultes (>18ans) 4.8 4.7 pas significatif

Nbre d’hommes mariés 1.6 1.5 pas significatif

Niveau d’éducation du CF 6.9 6.4 pas significatif

Niveau d’éducation maximum 10.8 9.5 **

Proportion de ménages dont l’agriculture est

l’activité principale du CF

38.0% 35.3% pas significatif

Nombres de membres ayant l’agriculture

comme activité principale

1.9 1.9 pas significatif

*, **, *** indique une différence de moyenne significative à 10%, 5% et 1% respectivement ; ou encore qu’en

affirmant qu’il y a une différence, l’on a respectivement 10%, 5% ou 1% de chances de se tromper.

La taille moyenne des ménages est similaire dans les deux groupes ; le nombre d’adultes et le nombre d’enfants moyens sont similaires. Les ménages sont également similaires en termes d’âge moyen et de niveau d’éducation moyen. La proportion de chef de famille exerçant une activité agricole comme activité principale est également similaire. Il est important de noter que cette proportion n’est pas particulièrement élevée ; elle est comprise entre environ 35% (pour le groupe de contrôle) et 38% (pour le groupe de traitement). Si l’on considère les chefs de famille exerçant une activité agricole comme activité principale ou secondaire, la proportion augmente considérablement ; elle oscille entre 61 et 67%. Cette différence n’est cependant pas statistiquement différente entre les deux groupes. Ces statistiques confirment une de nos observations de terrain : l’agriculture est pour une large majorité une activité opportuniste et une diversification des activités avait déjà eu lieu dans la région avant l’implémentation du projet. Notons, par ailleurs, que le nombre moyen de personnes par ménage ayant l’agriculture comme activité principale est relativement faible (1.9 dans les deux groupes) et n’est pas statistiquement différent à travers les deux groupes.

Les deux groupes comptent également un nombre moyen d’hommes mariés similaires

(1.6 pour le groupe de traitement et 1.5 pour le groupe de contrôle). Cette mesure est intéressante car elle donne une idée du nombre de ménages moyen que peut compter une concession31.

(b) Indicateurs économiques

Les habitations dans les villages visités étaient relativement similaires. Par conséquent, l’équipe ne se focalise pas sur les composantes des habitations pour l’évaluation de différences en termes de richesse. Les éléments suivants seront comparés

31 Il s’agit du nombre de ménages moyen dont le chef de ménage vit dans la concession. En effet, on pourrait

également avoir des ménages caractérisés par un chef de ménage migrant.


successivement : l’accès au réseau électrique ainsi que l’accès au réseau en termes d’approvisionnement en eau ; les biens matériels, les superficies de terres et biens agricoles possédés ; le bétail ; les dépenses courantes ; et finalement la perception des agriculteurs quant à leur niveau de richesse.

Le Tableau 9 présente les informations portant sur l’accès au réseau électrique ainsi que l’accès au réseau en termes d’approvisionnement en eau. Il apparaît qu’il n’existe pas de différence significative entre les deux groupes. Une large majorité est raccordée au réseau électrique (96%), ce qui n’est pas vraiment surprenant puisque que la zone étudiée est située à proximité d’une zone urbaine et facilement accessible. Environ 43% pour le groupe de traitement et 54% pour le groupe de contrôle sont raccordés au réseau pour l’approvisionnement en eau.

Tableau 9 – Comparaison de l’accès à l’eau et à l’électricité entre le groupe de traitement et le groupe de contrôle

Variables Groupe de

traitement

Groupe de

contrôle

Niveau de

significativité

Proportion de ménages ayant accès à l’eau

courante


Proportion de ménages ayant accès à

l’électricité (via le réseau)


Les ménages ont été interrogés sur leur possession d’un certain nombre de biens matériels à partir d’une liste prédéfinie (s’ils possèdent le bien et dans l’affirmative, le nombre). Cette question a été posée par rapport à la situation au moment de l’enquête et par rapport à l’année avant projet. Les biens qui présentent le plus de variance sont : moto/scooter, voiture, machine à laver et matelas. Dans le Tableau 10, les deux groupes sont comparés quant à leur probabilité de posséder les biens en question. Pour l’année avant projet, la seule différence significative concerne la machine à laver. Pour la situation au mois de décembre 2012, la seule différence significative concerne la moto/le scooter. Pour ce dernier bien, une différence existait déjà en 2004 et a donc été creusée pour devenir significative.

Tableau 10 - Indicateurs économiques des ménages du groupe de traitement et du groupe de contrôle

Variables Groupe de

traitement

Groupe de

contrôle

Niveau de

significativité

En 2004, proportion de ménages ayant une

moto ou un scooter 48.1% 38.2% pas significatif


moto ou un scooter 52.7% 40.2% *


voiture 20.9% 20.6% pas significatif


voiture 27.9% 28.4% pas significatif


machine à laver de linge 33.3% 20.6% **


machine à laver de linge 49.6% 40.2% pas significatif

En 2004, proportion de ménages ayant un

matelas 55.0% 59.8% pas significatif

En 2012, proportion de ménages ayant un

matelas 73.6% 71.6% pas significatif

*, **, *** indique une différence de moyenne significative à 10%, 5% et 1% respectivement

Le Tableau 11 présente des informations sur les terres de la concession. Premièrement, il a été demandé aux répondants de caractériser les droits de propriété de leurs terres : terres avec droit de propriété individuel ou terres collectives. Deuxièmement, des informations à propos de la superficie totale de la concession et du nombre de parcelles

3. Méthodologie


ont été collectées. Il apparaît que le groupe de traitement est caractérisé par une plus grande proportion de concessions où les terres sont considérées comme collectives ; cette différence par rapport au groupe de contrôle est significative. Le groupe de contrôle est caractérisé par une plus grande superficie de terre (environ 16 hectares en moyenne et 9 pour le groupe de traitement ; une médiane de 10 et 6 respectivement). Cette différence est significative à 1%. En outre, le groupe de contrôle compte en moyenne 7.6 parcelles contre environ 6 pour le groupe de traitement. A nouveau cette différence est significative à 1%.

Tableau 11 - Comparaison de variables liées à la terre entre le groupe de traitement et le groupe de contrôle

Variables Groupe de

traitement

Groupe de

contrôle

Niveau de

significativité

Proportion de terres collectives 55.5% 42.2% **

Proportion de terres individuelles 44.5% 57.8% **

Surface totale de terre 9.13 ha 15.93 ha ***

Nombre moyen de parcelles par ménage 6.0 7.6 ***

*, **, *** indique une différence de moyenne significative à 10%, 5% et 1% respectivement.

En termes de biens agricoles, que ce soit pour l’année avant projet ou l’année de l’enquête, il n’existe quasiment pas de différences significatives entre les deux groupes (le groupe de contrôle possédait en moyenne plus de motopompes en 2004 et le groupe de traitement possédait en moyenne plus de charrues en 2012).

Pour ce qui concerne le bétail, le groupe de contrôle possédait en moyenne

significativement plus de mules/mulets (2 contre 0.6 pour le groupe de traitement) et de moutons (11.6 contre 5.6 pour le groupe de traitement) en 2004. Cette différence n’est plus significative en 2012 : le nombre moyen de moutons diminue dans les deux groupes (6 dans le groupe de contrôle contre 3.8 dans le groupe de traitement), le nombre moyen de mules/mulets chute dans le groupe de contrôle (0.45) et est plus ou moins constant dans le groupe de traitement (0.7). En 2012, aucune différence significative n’est observée entre les deux groupes concernant la possession de bétail.

Afin d’avoir une idée sur la richesse des ménages interrogés, les sommes d’argent dépensées par type de dépenses furent collectées pour le mois de novembre 2012. Nous avons cependant posé la question relative aux dépenses d’éducation pour le mois de septembre 2012 qui est le mois de la rentrée scolaire. Qu’elles soient calculées en valeur totale ou en valeur par adulte, aucune différence entre types de ménages ne ressort de l’étude. Ce résultat est équivalent quand les dépenses d’éducation ne sont pas intégrées32. (cfr. Tableau 12, ci-dessous).

32 Les dépenses en termes d’éducation ne concernent que les ménages avec des enfants scolarisés. La prise

en compte de ces dépenses pourraient biaiser les résultats. Quoiqu’il n’y ait pas d’évidence que l’un des

groupes compte davantage d’enfants en âge d’aller à l’école.


Tableau 12 - Comparaison des dépenses totales et par adulte (avec et sans l’éducation) entre le groupe de traitement et le groupe de contrôle, pour le

mois de novembre 2012

Variables Groupe de

traitement Groupe de contrôle

Niveau de

significativité

Dépenses totales

4248 dh

(382.4 euros)°

3875 dh

(348.9 euros)° pas significatif

Dépenses totales par adulte

1085 dh

(97.7 euros)°

1042 dh

(93.8 euros)° pas significatif

Dépenses totales (sans les dépenses

en éducation) 3394 dh 3262 dh pas significatif

Dépenses totales par adulte (sans les

dépenses en éducation) 854 dh 868 dh pas significatif

°taux de change (juillet 2013) : 1dh=0.09 euro

Finalement le tableau 13 présente la perception des répondants quant à leur niveau de richesse. Dans le cadre de l’enquête, il a été demandé à chaque répondant s’il estime faire partie des familles très pauvres, pauvres, moyennes, riche ou très riche du village. Une variable dichotomique a été créée. Cette dernière prend la valeur 1 si le répondant se considère comme étant riche ou très riche et 0 dans le cas contraire. Selon cette mesure, une fois encore, il n’existe pas de différence significative entre groupe de traitement et groupe de contrôle. Environ 35% des ménages se considère riche ou très riche dans chaque groupe.

Tableau 13 - Comparaison de la perception de richesse entre ménages du

groupe de traitement et du groupe de contrôle

Variables Groupe de

traitement

Groupe de

contrôle

Niveau de

significativité

Proportion de ménages s’estimant (très)

pauvres, ou de condition moyenne 65.1% 65.7% pas significatif

Proportion de ménages s’estimant riches ou

très riches 34.9% 34.3% pas significatif

Conclusion sur la pertinence du contrefactuel

La comparaison des deux échantillons - groupe de traitement et groupe de contrôle – permet de conclure que selon un nombre élevé de dimensions les groupes sont très similaires. La seule différence notable entre les deux groupes concerne les superficies de terres possédées. Cette différence indique que des comparaisons en termes absolus de performances agricoles peuvent être délicates et conduire à des conclusions erronées. Par conséquent, il est important de comparer les deux groupes en termes relatifs le plus souvent possible.


4. Logique d’intervention

La logique d’intervention du projet a été reconstruite sur base du cadre logique du projet, tel que détaillé dans le rapport de formulation de ce projet. Elle se fonde également sur les documents disponibles, sur les entretiens avec des parties prenantes et sur des observations durant les missions de terrain. L’équipe d’évaluation a en fait dû reconstruire substantiellement cette logique d’intervention, étant donné les faiblesses conceptuelles significatives dans la logique d’intervention résumée dans le cadre logique du projet défini dans le rapport de formulation.

Une première faiblesse de la logique d’intervention est de ne pas avoir pris en compte les spécificités de l’irrigation de crue. L’irrigation de crue ne vise pas assurer la disponibilité en eau mais permet de mieux profiter des crues lorsqu’elles surviennent. L’irrigation de crue est comme l’agriculture pluviale dépendante de la pluviométrie. La stratégie d’action et les objectifs poursuivis auraient dû être adaptés à ces spécificités. Par exemple, la stratégie de diversification des revenus en promouvant le développement de l’arboriculture dépendant de la pluviométrie n’était pas adéquat.

Une autre faiblesse importante de la logique d’action est le manque de liens explicites entre les actions menées et les résultats attendus. Dans la reconstruction de la logique d’intervention présentée ci-dessous, de nombreuses hypothèses ont été formulées sur la chaine de résultats.

Une troisième faiblesse de la logique d’intervention est le manque de vision holistique dans la stratégie d’intervention qui a été avant tout un projet d’infrastructures.

La logique d’intervention reconstruite par l’équipe d’évaluation est présentée ci-après, sous la forme d’un diagramme d’impact attendu. Elle est présentée de trois façons :

- la logique d’intervention sans hypothèses; - la logique d’intervention complète, avec les hypothèses ‘quali’ (en

bulles jaunes), les hypothèses ‘quanti’ (les pastilles rouges numérotées de 1 à 13) et des références aux thèmes transversaux.33

Les éléments principaux de la logique d’intervention sont décrits à la suite.

33 Voir le tableau 4 pour la liste des 13 hypothèses de l’analyse quantitative.


Figure 8 - Logique d’intervention reconstruite pour le projet PMH Tiznit au Maroc – sans hypothèses

(au niveau des périmètres à réhabiliter et de leurs agriculteurs)

OutputsActivités

Infrastructure d’irrigation

bien dimensionnée et

protégée mise en place

Certains agriculteurs

conscientisés à la

conservation des sols

Utilisateurs de l’eau

sensibilisés aux bonnes

méthodes d’irrigation

Réseau

(traditionnel)

d’irrigation

fonctionnel et

durable

AUEA renforcées et

opérationnelles

Réhabiliter 13 barrages et 27 km de

canaux

Revenus des

agriculteurs assurés

et stabilisés

Protéger 22 km de canaux

(plantation sur les talus, protection

mécanique des ouvrages, etc.)

Distribuer et planter 52.000 arbres

fruitiers qui permettent une

conservation du sol

Sensibiliser 20% des agriculteurs à

la gestion de l’eau (module de

formation sur l’infrastructure

d’irrigation, voyages d’échange sur

les techniques d’irrigation)

Renforcer les AUEA (module de

formation sur la gestion admin. et

f inancière des AUEA)

de la superficie

agricole irrigable

Réaliser une formation sur

l’arboriculture fruitière et un voyage

d’échange sur les greffes de

caroubier à Beni Mellal

Suivi opérationnel et

comptable du projet

Outcomes…

Rétablir le dialogue entre les 13

AUEA et les agriculteurs ainsi

qu’avec les pouvoirs publics

Transmettre les ouvrages du projet

ainsi que sa gestion aux AUEA

52.000 arbres fruitiers

plantés

AUEA: Association des Usagers des Eaux Agricoles

En pointillé : Eléments ajoutés par rapport au cadre logique du projet.

"Impact"

de la productivité

des surfaces

agricoles irrigables

Diversification des

produits des

surfaces agricoles

irrigables

Meilleure gestion

des ressources

en eau

Diminution de

l’exode rural

Conservation

des sols des

surfaces

agricoles

irrigables

Réseau hydrographique

corrigé et protégé

(1996-1999 + 2004-2007)

Corriger le réseau hydrographique

(1996-1999 + 2004-2007)


formés à l’arboriculture

fruitière

conditions

sociales (indép. f in.,

éducation, santé,

habitat, etc.)

Entretien et

protection des

infrastructure

d’irrigation en

concertation avec

les utilisateurs

Diversif ication et

pratiques

culturales

adaptées à la

conservation des

sols

# récoltes par

saison agricole

Pénibilité travail

+ Gain de temps

(au niveau de la

province de Tiznit)

(au niveau des périmètres à réhabiliter

et de leurs agriculteurs)

Diminution de

l’exode rural

conditions


éducation, santé,

habitat, etc.)

Province de Tiznit:Périmètres réhabilités

Outcomes de

Niveau 1 Niveau 2 Niveau 3 Niveau 4 Niveau 5



Figure 9 - Logique d’intervention reconstruite pour le projet PMH Tiznit au Maroc - version complète


OutputsActivités

Infrastructure d’irrigation

bien dimensionnée et

protégée mise en place


conscientisés à la


Utilisateurs de l’eau

sensibilisés aux bonnes

méthodes d’irrigation

Réseau

(traditionnel)

d’irrigation

fonctionnel et

durable

AUEA renforcées et

opérationnelles

Réhabiliter 13 barrages et 27 km de

canaux

Revenus des

agriculteurs assurés

et stabilisés


(plantation sur les talus, protection

mécanique des ouvrages, etc.)

Distribuer et planter 52.000 arbres

fruitiers qui permettent une

conservation du sol

Sensibiliser 20% des agriculteurs à

la gestion de l’eau (module de

formation sur l’infrastructure

d’irrigation, voyages d’échange sur

les techniques d’irrigation)

Renforcer les AUEA (module de

formation sur la gestion admin. et

f inancière des AUEA)

de la superficie

agricole irrigable


l’arboriculture fruitière et un voyage

d’échange sur les greffes de

caroubier à Beni Mellal

Suivi opérationnel et

comptable du projet

Outcomes…

Rétablir le dialogue entre les 13

AUEA et les agriculteurs ainsi

qu’avec les pouvoirs publics

Transmettre les ouvrages du projet

ainsi que sa gestion aux AUEA

52.000 arbres fruitiers

plantés

Hypothèses pour l’analyse quantitative

AUEA: Association des Usagers des Eaux Agricoles

En pointillé : Eléments ajoutés par rapport au cadre logique du projet.

"Impact"

de la productivité

des surfaces

agricoles irrigables

Diversification des

produits des

surfaces agricoles

irrigables

Meilleure gestion

des ressources

en eau

Diminution de

l’exode rural

Conservation

des sols des

surfaces

agricoles

irrigables

- Distribution assurée dans les périmètres irrigués

- Accord sur partage des eaux entre agriculteurs

(tours d’eau)

- Maintien de conditions acceptables (incl. tarif)

pour l’accès aux infrastructures et à l’eau

Réseau hydrographique

corrigé et protégé

(1996-1999 + 2004-2007)

Corriger le réseau hydrographique

(1996-1999 + 2004-2007)


formés à l’arboriculture

fruitière

- Cultures plus

productives et/ou plus

rentables

- Système

d’écoulement des

produits adéquat et

durable

Hypothèses:

1/ Effet significatif de

l’augmentation des

revenus de l’agriculture

sur le budget du ménage

2/ Effet compensant

d’autres frais indirects

(emprunts, animaux,

etc.)

conditions


éducation, santé,

habitat, etc.)

Environnement:

- Diminution de l’érosion au niveau des oueds et ravines existantes

- Protection biologique des talus des réseaux d’irrigation

- Valorisation des parcelles par la plantation d’arbres fruitiers

Genre:

- Gain de temps considérable, réalloué à (?)

- Rôle accru des femmes dans les nouveaux

circuits de commercialisation

Pluviosité annuelle

locale suffisante

Conditions générales au projet:

- stratégie globale de dév. rural intégré et de

gestion de l’eau dans la région de Tiznit

- système d’alerte aux inondations

- utilisation d’engins de terrassement

- concertation avec les population

- adhésion des AUEA aux activités du projet

Entretien et

protection des

infrastructure

d’irrigation en

concertation avec

les utilisateurs

Diversif ication et

pratiques

culturales

adaptées à la

conservation des

sols

Diffusion des bonnes

pratiques à l’entourage

des agriculteurs formés

L’augmentation des

surfaces irrigables

permet de faire face à

un manque de surfaces

ou à la pression

démographique

Étude hydrographique

de la région de Tiznit

# récoltes par

saison agricole

100% des surfaces

irriguées sont mises en

culture

Hypothèses:

1/ Réduction des

risques de fluctuation

des revenus (saisons,

prix/produit, etc.)

2/ Niveaux de prix de

vente permettant

d’augmenter les

revenus en

augmentant la

production

3/ Ressources

humaines /

démographie

adéquates pour cultiver

durablement les zones

irrigables


+ Gain de temps

Arbres fruitiers permettant

diversification prod. agric.

(au niveau de la

province de Tiznit)

(au niveau des périmètres à réhabiliter

et de leurs agriculteurs)

Fertilisants et

autres intrants

Diminution de

l’exode rural

conditions


éducation, santé,

habitat, etc.)

Hypothèses: le projet

touche une proportion

significative :

1/ de la population de la

province

2/ de l’irrigation de crue

dans la province

Province de Tiznit:Périmètres réhabilités

1

2

3 4

5

6

87

9

1011

12

13

Dimensions transversales

#

Outcomes de



Activités

Les activités reprises dans la logique d’intervention sont grosso modo celles reprises dans le rapport de formulation, parfois à un niveau agrégé.

La ‘correction du réseau hydrographique’ a été le seul résultat du projet PMH atteint à

l’issue de la première phase (1996-1999), d’après divers documents de projet. Cette activité a dû être poursuivie lors de la seconde phase du projet (2004-2007). Concernant les autres activités d’infrastructures, telles que la « réhabilitation de 13 barrages et 27 km de canaux », il y a lieu de préciser qu’il n’est pas totalement clair ce que la seconde phase du projet (2004-2007) a réalisé par rapport à la première (1996-1999).

Une activité a par ailleurs été ajoutée dans la logique d’intervention : « Rétablir le dialogue entre les 13 AUEA et les agriculteurs ainsi qu’avec les pouvoirs publics ». Cette activité vise à regrouper diverses tâches qui, d’après des documents du projet, ont dû être réalisées en plus des formations données tel qu’initialement prévu, dans le but de s’assurer que les associations des usagers des eaux agricoles (AUEA) puissent effectuer le suivi du projet avec succès.

Hypothèses sous-jacentes : nous avons repris explicitement dans notre logique d’intervention six hypothèses au niveau des activités du projet. Les quatre premières sont des facteurs de succès essentiels pour une intervention dans le domaine de l’irrigation de crue (cf. section 2.3), comme par l’exemple l’existence d’une étude hydrographique de la région et d’une stratégie de développement rural intégré. Les deux autres sont des conditions générales au projet mentionnées dans le rapport de formulation, notamment la concertation avec les populations et l’adhésion des AUEA au projet.

« Outputs »

Les « outputs » repris dans la logique d’intervention visent à refléter les « biens, équipements ou services » résultant des activités du projet. Ils sont tous repris d’une façon ou d’une autre du rapport de formulation, même s’ils n’y sont décrits ou listés tels quels.

Hypothèses sous-jacentes : Une hypothèse à épingler est que les agriculteurs conscientisés à la conservation des sols (une partie seulement d’entre eux ont été formés) diffusent les bonnes pratiques auprès de leur entourage.

« Outcomes » et Impact

L’équipe d’évaluation a dû clarifier substantiellement la chaîne des résultats entre les « outputs », les « outcomes » et l’impact. Les objectifs mentionnés dans le rapport de formulation ne détaillaient pas la causalité entre les activités et les « outputs », et l’atteinte des objectifs.

L’objectif du projet était d’améliorer durablement l’efficience de l’irrigation dans des périmètres de la région de Tiznit. Le projet visait pour cela en particulier à (i) s’assurer d’avoir un réseau (traditionnel) d’irrigation fonctionnel et durable tout en (ii) assurant la conservation des sols, et à (iii) améliorer la gestion des ressources en eau (même si ce dernier objectif n’était pas explicite dans le rapport de formulation). L’objectif global affirmé était d’assurer les revenus et la stabilité des agriculteurs de la région. Le rapport de formulation mentionne comme « effets indirects sur les populations » une amélioration des conditions sociales (enseignement, soins de santé, habitat…) et une meilleure stabilisation de la population dans le milieu rural. Ceci peut selon nous être en fait considéré comme la finalité du projet. Nous le reprenons ainsi comme ultime objectif au niveau des bénéficiaires (soit comme l’ultime « outcomes »). Nous avons sur cette base défini l’impact du projet, qui se doit d’être à un niveau supérieur par rapport aux bénéficiaires, comme ce même objectif d’amélioration des conditions sociales et de diminution de l’exode rural, mais au niveau de la province de Tiznit.



Nous avons par ailleurs ajouté un objectif dans la logique d’intervention du projet, qui

est la diversification des produits des surfaces agricoles irrigables. Ceci nous semble être l’effet attendu des activités de distribution et de plantation des 52.000 arbres fruitiers (davantage que la conservation des sols) et des formations sur l’arboriculture fruitière et du voyage d’échange sur les greffes de caroubier à Beni Mellal. L’objectif de ces activités n’est en fait pas du tout clair dans le document de formulation du projet. Les entretiens et missions de terrain n’ont pas non plus permis de la clarifier. Il y a donc ici un problème clair de pertinence.

Le diagramme présente enfin les objectifs que nous avons identifiés dans le rapport de formulation en termes de dimensions transversales genre et environnement, comme demandé dans les termes de référence. Concernant le ‘gain de temps considérable’ attendu pour les femmes, il n’est pas précisé quel en est le bénéfice attendu (en termes d’éducation, de génération de revenus, etc. ?). Par ailleurs, dans la région, les femmes ne sont pas impliquées dans l’agriculture de crue qui est avant tout une affaire d’hommes.

Hypothèses sous-jacentes : Le rapport de formulation précisait quelques ‘conditions et suppositions générales’ pour l’atteinte des objectifs comme par exemple une pluviosité annuelle locale suffisante. De nombreuses autres hypothèses sous-tendaient toutefois également l’atteinte des « outcomes » et impact attendus ; certaines étaient liées à des problèmes à la portée du projet, d’autres à des facteurs entièrement exogènes. Il s’agit, entre autres, des hypothèses suivantes:

La distribution et un partage des eaux (‘tours d’eau’) assurés de façon durable entre

agriculteurs dans les périmètres irrigués, ainsi que des conditions acceptables pour l’accès aux infrastructures et à l’eau, y compris en termes de tarifs (pour que le réseau d’irrigation soit réellement et durablement fonctionnel et accessible à tous les agriculteurs) ;

Une réduction des risques de fluctuation des revenus (saisons, prix/produit, etc.), des niveaux de prix de vente permettant d’augmenter les revenus en augmentant la production, des ressources humaines et une démographie adéquates pour cultiver durablement les zones irrigables (pour que l’augmentation du rendement des surfaces agricoles irrigables permette d’améliorer durablement les revenus des agriculteurs) ;

Des cultures plus productives et/ou plus rentables et un système d’écoulement des produits adéquat et durable (pour que la diversification des produits permette d’améliorer durablement les revenus des agriculteurs).

Un effet significatif de l’augmentation des revenus de l’agriculture sur le budget du

ménage, tout en compensant d’autres frais indirects tels que pour des emprunts, animaux, etc. (pour avoir la marge financière nécessaire à l’amélioration des conditions d’éducation, de santé, d’habitat, etc.)

Le projet visait également à augmenter de 50% la superficie agricole irrigable (il s’agissait d’un des indicateurs objectivement vérifiables définis initialement). Le lien avec l’augmentation et la stabilisation des revenus des agriculteurs n’est toutefois pas explicité. Cela visait-t-il à pourvoir à un manque de surfaces agricoles irriguées ?


5. Réponses aux questions d’évaluation

5.1 Pertinence - Alignement – Q1

Q1 : Dans quelle mesure les objectifs des projets ont-ils été alignés aux objectifs des politiques des pays partenaires en vue de maximiser l’impact des projets?

Cette question vise à évaluer la pertinence du projet et notamment son alignement avec les politiques des pays partenaires. En effet, on part de l’hypothèse que les effets à long terme d’un projet seront d’autant plus importants que la conception du projet soit en phase avec les dynamiques nationales et tienne compte des synergies possibles dans son secteur d’intervention.

Encadré 2 – Résumé de la réponse à la Q1 (Pertinence - Alignement)

Le projet a été conçu en étroite collaboration avec les autorités marocaines et la mise en œuvre du projet a été très étroitement pilotée par les autorités.

Cet alignement strict avec le pays partenaire n’a pas contribué à maximiser l’impact du projet pour plusieurs raisons.

Bien que le projet s’aligne avec la politique ‘Plan Maroc Vert’ traitant de diverses

dimensions innovantes du développement rural, l’approche territoriale, l’approche holistique et l’implication des bénéficiaires ne sont que très marginalement mises en œuvre dans le projet. Ceci est étonnant dans la mesure où ces modalités d’interventions étaient déjà introduites dans un certain nombre de projets de la coopération bilatérale directe à cette époque-là. Mais ceci n’est pas étonnant dans la mesure où c’est la politique nationale, elle-même qui ne prône pas ces types d’approches. La Belgique ne semble pas avoir remis en cause l’alignement, alors qu’il est démontré, entre autres, qu’une implication des bénéficiaires est une des clés du succès d’une intervention.

Une autre raison qui limite l’impact du projet est le manque de prise en compte des spécificités de l’irrigation de crue dans la logique d’intervention du projet. En effet, l’irrigation de crue est davantage dépendante des conditions climatiques, et par conséquent particulièrement plus sensible aux aléas climatiques, que les autres types d’irrigation. La gestion de ces risques climatiques est au cœur des stratégies paysannes qui cherchent surtout à accroître la part non agricole de leurs revenus. Les effets attendus sur les revenus sont donc à priori limités et relativement aléatoires.

Ces spécificités ne sont pas explicitement mentionnées dans les stratégies successives de développement liées à la PMH. C’est une source de confusion. Un projet PMH en irrigation de crue est totalement différent d’un projet PMH par irrigation gravitaire en termes de stratégie d’intervention et d’effets attendus.

Le projet n’a pas développé de synergies avec d’autres interventions qui auraient pu

contribuer à l’impact du projet.


5.1.1 Alignement au stade de la conception du projet

Le projet a été conçu en alignement aux plans de développement du Royaume du Maroc de façon explicite.

Le projet PMH - Tiznit Phase II est en fait l’achèvement de travaux réalisés lors d’une première phase de juillet 1997 à août 1999. Il répond à une demande de la partie marocaine qui souhaitait qu’une deuxième phase soit entreprise afin que l’ensemble des résultats du projet, tel qu’initialement prévus, soient atteints. La Phase II a pour objectif global « d’assurer les revenus et la stabilité des agriculteurs » et comprend deux composantes, la réhabilitation du système d’irrigation et la conservation des sols. Il s’intègre de façon explicite dans la stratégie nationale de développement rural décrite dans le Plan de développement économique et social 1999-2003 (orientée vers l’amélioration des revenus des agriculteurs et la protection de l’environnement en lien avec une sécurisation du potentiel de production agricole), tel que souligné dans son rapport de formulation.

L’approche développée est une approche technique qui ne s’est pas (ou peu) inscrite

dans l’évolution des politiques de développement rural promues au Maroc depuis quelques années. En effet, le Maroc, conscient de la précarité du milieu rural et du déficit en matière d’infrastructure, a, dès les années 2000, développé des politiques et approches innovantes en développement agricole et rural et en cohésion sociale, ciblant les espaces ruraux.34

L’approche développée dans le projet PMH Tiznit est assez éloignée des principes énoncés dans la stratégie 2020 de développement rural: (1) intégration et approche holistique, (2) territorialisation et décentralisation, (3) responsabilisation et participation et (4) approche négociée des actions de développement. D’autres programmes financés par d’autres partenaires à la même époque s’inscrivent davantage dans cette stratégie de développement rural intégré (p.ex. DRI-PMH et DRI-MVB).35

Le projet PMH Tiznit ne s’inscrit pas (ou peu) dans cette logique de projets innovants intervenants en milieu rural. Il y a eu peu de dialogue politique au moment de la conception du projet et durant la mise en œuvre. Par exemple, l’approche holistique n’est pas développée. Même s’il a eu une composante diversification, il n’y pas eu d’action sur les filières et la commercialisation. Quant à l’approche participative, l’implication des bénéficiaires a été limitée à l’information et la consultation des populations.

Dans la petite et moyenne hydraulique, l’irrigation de crue présente des spécificités par

rapport aux autres formes d’irrigation tant en termes techniques qu’en termes d’effets attendus (cf. section 2.3). Ces spécificités ne sont pas explicitement prises en compte dans les stratégies successives développées au Maroc alors que l’irrigation de crue représente une part significative du potentiel marocain en termes de superficie (165.000 ha sur un total de 630.000 ha de superficie irrigable).

Cette absence de stratégie spécifique explicite pour prendre en compte les particularités de l’irrigation de crue est une source de confusion dans les stratégies à développer et dans les effets attendus du développement de ce type d’irrigation. Contrairement aux projets d’irrigation qui visent la sécurisation des ressources en eau disponible au niveau d’une parcelle, l’irrigation de crue est par nature aléatoire et vise simplement à tirer le meilleur parti de la crue. Dans ce contexte, la stratégie à développer ne consiste pas tant à augmenter la productivité des surfaces irrigables en garantissant la disponibilité en eau qu’à intégrer cette pratique dans une stratégie de diversification de revenus non agricoles.

34 Royaume du Maroc, 2006. Etat des lieux de la mise en œuvre de la stratégie 2020 de développement rural.

Synthèse.

35 Ibid.



Par ailleurs, étant donné les spécificités de l’irrigation de crue qui est dépendante de la

pluviométrie, le développement de l’arboriculture est un choix peu pertinent dans une zone exposée à de longues périodes de sécheresse. En effet, par rapport aux cultures annuelles traditionnelles pour lesquelles une longue période de sécheresse se traduit par une non mise en culture ou au pire par la perte d’une récolte, la perte d’arbres signifie la perte d’un investissement important de plusieurs années pour planter un arbre et assurer son développement.

5.1.2 Synergies entre le projet et les plans de développement du pays partenaire permettant une maximisation de l’impact

attendu du projet

Aucune synergie particulière n’a été notée à ce stade entre le projet PMH- Tiznit Phase II et des projets réalisés par le Royaume du Maroc ou par d’autres bailleurs, bien que la petite et moyenne hydraulique ait été un domaine d’activité important pour le Maroc. Le rapport de formulation informe à ce propos que selon les services du Ministère de l’Agriculture, du Développement rural et des Eaux et Forêts, aucun bailleur de fonds n’intervenait dans la Province de Tiznit dans les secteurs de l’agriculture et de l’irrigation au moment de la conception du projet. L’Etat marocain finançait deux projets agricoles dans la province mais a priori sans synergie possible puisqu’ils concernaient l’agriculture non irriguée (mise en culture en bour) dans des villages (Sidi Ahmed Oumoussa et Aït Baamane) non situés sur les onze périmètres du projet.

5.2 Intégration de l’impact – Q2

Q2 : Dans quelle mesure la conception et la mise en œuvre des projets ont-elles intégré la mesure des « outcomes » et de l’impact?

Cette question vise à évaluer si la chaîne des résultats définie lors de la formulation du

projet est conceptuellement juste et pertinente pour atteindre les « outcomes » escomptés et l’impact attendu. Elle vise également à vérifier si la mesure des « outcomes » et de l’impact a été réellement intégrée lors de la conception du projet et s’ils ont été effectivement mesurés par la suite.

Encadré 3 – Résumé de la réponse à la Q2 (Intégration de l’impact)

L’impact n’a été intégré ni dans la conception, ni dans l’exécution du projet.

Il a été démontré que la logique d’intervention du projet PMH Tiznit était

particulièrement faible et que les actions menées avaient peu de chances de mener à l’impact attendu.

De plus, les indicateurs retenus concernaient essentiellement des indicateurs d’input et d’output. Le seul indicateur d’« outcome » retenu « augmentation de la surface irrigable » n’était pas utilisable étant donné son imprécision et l’absence de dispositif pour le collecter. Il traduisait une vision limitée des objectifs du programme.

Si la mesure de l’impact était bien explicitement prévue dans les documents de formulation, l’étude socio-économique n’a pas été réalisée et il a été décidé par les gestionnaires du programme de ne pas mettre en œuvre de dispositif de suivi-évaluation.

Cette absence totale de préoccupation de l’impact dans la conception et dans la mise en

œuvre du programme PMH Tiznit suggère que l’ensemble des acteurs ont privilégié le décaissement et les réalisations physiques aux objectifs poursuivis. C’est un constat préoccupant sur l’efficacité de l’aide.


5.2.1 Logique de la chaîne des résultats

Comme montré dans le chapitre 4 sur la logique d’intervention, des modifications substantielles ont été nécessaires pour reconstruire la logique inhérente à la chaîne de résultats attendue du projet, allant des activités jusqu’à l’impact attendu. Il ressort en effet que la logique d’intervention résumée dans le cadre logique repris dans le rapport de formulation était faible en termes conceptuels.36 Les liens de cause à effet n’étaient souvent pas explicites et parfois pas établis. La raison d’être de certaines actions n’était pas claire (p.ex. la plantation d’arbres fruitiers). Il ressort par ailleurs que plusieurs conditions essentielles pour la réussite d’une intervention dans le domaine de l’irrigation de crue (cf. section 2.3) n’étaient pas prises en compte. La conception du programme pose donc un réel souci de pertinence. Il pouvait ainsi déjà être établi avant même le démarrage du projet que les actions menées avaient peu de chances de mener (entièrement) à l’impact attendu.

5.2.2 Intégration de la mesure de l’impact dans la phase d’identification et de préparation ?

La mesure de l’impact n’a pas été prise en compte dans la préparation du projet. Une étude de l’impact socio-économique devait être réalisée à mi-parcours du projet. Elle visait en partie à constituer une baseline, dans l’optique de mesurer les performances et l’impact : « L’objet de la mission d’analyse d’impact est de mettre en place un système de collecte de données qui permette de « mesurer » les effets du projet sur la conduite des irrigations et la mise en culture agricole. La méthode préconisée est celle d’un suivi d’un échantillon d’exploitations représentatives.». L’étude n’a finalement pas été réalisée et il n’y a donc pas de baseline.

Il semblerait par ailleurs que la création d’indicateurs mesurant le niveau d’atteinte des « outcomes » était prévue dans le cadre de cette même étude d’impact socio-économique, qui n’a pas été réalisée. Celle-ci prévoyait que « Pour suivre son impact, il sera nécessaire d'élaborer des indicateurs permettant de "mesurer" à l'échelle des exploitations enquêtées l'effet "sauvegarde/extension" et l'effet "efficacité". »

Sur les indicateurs objectivement vérifiables (IOV), le rapport final de la CTB indique qu’ils « sont notamment quantitatifs et portent sur : (1) L’infrastructure d’irrigation : nombre de barrage et linéaire de séguias réhabilités ; (2) La protection des aménagements hydro agricoles ; (3) Les pratiques culturales : Le nombre d’arbres fruitiers plantés ; (4) L’organisation des agriculteurs en AUEA opérationnelles ; (5) La sensibilisation des agriculteurs à la gestion de l’eau d’irrigation. ». Ce même rapport estime que « Le projet n’ayant fait l’objet d’aucune reformulation entre 2000 et 2003, les indicateurs définis pour la première phase ont été maintenus pour la seconde. Ces derniers sont jugés faibles et ne permettent pas l’évaluation correcte des résultats ». Effectivement, ces indicateurs sont essentiellement le reflet des activités menées sans se préoccuper de leurs effets à court, moyen ou long terme.

Le set d’indicateurs ne permettait pas de mesurer les « outcomes » et l’impact du

projet :

L’indicateur « superficie agricole irrigable a augmenté de 50% à la fin du projet », qui est plutôt un indicateur d’« outcomes », soulève plusieurs problèmes.

o Premièrement, étant donné le manque de situation de référence, il a peu de sens : 50% par rapport à quoi ?

36 Cadre logique du projet. Objectif général : assurer les revenus et la stabilité des agriculteurs. Objectif

spécifique : que les principaux ouvrages (barrages et canaux) permettent un bon fonctionnement du réseau

traditionnel d’irrigation à l’intérieur des périmètres. Sept résultats intermédiaires sont par ailleurs spécifiés,

entre autres en matière de gestion de projet.



o Deuxièmement, il est particulièrement imprécis. S’agit-il de la superficie calculée au niveau de l’ensemble du périmètre ? Quelle est la définition d’irrigable ?

o Troisièmement, il suggère que l’augmentation de surface cultivable est un objectif explicite du projet. Or, il n’est pas mentionné d’extension de réseaux séguias mais bien de réhabilitation. Par ailleurs, si une augmentation de superficie est souhaitée, à qui va-t-elle profiter ? De nouveaux agriculteurs mais dans ce cas, l’objectif d’augmentation des revenus n’est réaliste que pour ces derniers. L’augmentation de superficie est-elle le seul bénéfice attendu du programme ? N’y a-t-il pas d’effets sur les rendements liés à des changements de pratique ou à une meilleure efficacité de l’alimentation en eau ?

Il n’y a pas d’indicateurs permettant de mesurer l’amélioration du fonctionnement du réseau d’irrigation, l’amélioration de l’efficience de l’irrigation, une augmentation de la productivité, sans parler de l’impact sur les revenus et les conditions sociales des agriculteurs.

Ces constats sur les indicateurs sont liés à un manque de clarté de la chaine des résultats et du niveau des « outputs » et, des « outcomes » et de l’impact à atteindre et à mesurer.

5.2.3 Intégration de la mesure de l’impact dans la phase de mise

en œuvre du projet?

Le système de suivi et d’évaluation prévu pour le projet n’a pas été mis en place :

D’après le rapport final de la CTB, le Comité Technique de Suivi prévu dans le Dossier Technique et Financier (DTF) n’a pas été constitué puisque « La Direction du projet étant chargée entre autre du suivi technique de la prestation, [en 2004] il n’a pas été jugé nécessaire de [le] constituer » ;

L’évaluation à mi-parcours du projet n’a pas été commanditée puisque « La

majorité des chantiers [ont] été lancés au cours des 18 premiers mois d’exécution du projet » ;

L’analyse socio-économique n’a pas été réalisée ;

L’évaluation finale du projet n’a pas été réalisée, ce qui a été justifié par «l’absence de tout problème majeur persistant et compte tenu de la satisfaction de la majorité des bénéficiaires» ;

Ainsi, la mesure de la pertinence et de la performance du projet repose

principalement sur l’exercice d’auto-évaluation effectué par le Service des Etudes de la Programmation et du Suivi de la Direction Provinciale de l’Agriculture (DPA) de Tiznit37 à l’automne 2006, qui a impliqué plusieurs cadres et techniciens ainsi que 163 agriculteurs.

37 Entité issue du Ministère de l’Agriculture, du Développement Rural et des Eaux et Forêts (MADREF).


5.3 Atteinte des « Outputs » – Q3

Q3 : Dans quelle mesure les activités prévues ont-elles été mises en œuvre et ont-elles atteint leurs « outputs » attendus?

Cette question vise à évaluer la performance immédiate du projet, dans le sens où (i) les activités prévues ont été mises en œuvre et (ii) les « outputs » ont été atteints. Il n’y a en effet pas d’impact à attendre pour les activités non réalisées ou les « outputs » non atteints. Les informations sur la (non) performance sont par ailleurs particulièrement utiles pour les méthodes d’analyse quantitative dans le choix de l’échantillon de bénéficiaires et, dans certains cas, d’un contrefactuel.

Les activités et « outputs » auxquels il est fait référence dans cette section sont ceux repris dans la logique d’intervention reconstruite (voir section 4).

Encadré 4 – Résumé de la réponse à la Q3 (Atteinte des « outputs »)

Le projet PMH Tiznit est avant tout un projet de construction d’infrastructures.

Les activités prévues pour ce volet infrastructures ont été menées à bien et correspondent aux objectifs. Il n’est toutefois pas possible de distinguer ce qui relève de la première phase du projet (1996-1999) et ce qui relève de la deuxième phase (2005-2007).

Le niveau technique des installations est globalement correct. Le choix d’intervenir au

niveau d’infrastructures d’irrigation traditionnelle a limité les risques d’implantation inadéquate et les problèmes fonciers. Par contre l’absence d’étude hydrologique précise et globale a conduit à des problèmes techniques sur quelques sites.

Le volet arboriculture, que ce soit à des fins de conservation du sol et des infrastructures ou à des fins de diversification, a semble-t-il largement atteint les objectifs prévus. Ces résultats ne se traduisent néanmoins pas par des changements visibles, contrairement aux attentes liées au volume important de plants distribués. Les plantations sont très clairsemées. Par ailleurs, l’arboriculture est une spéculation risquée dans la région, étant donné les épisodes de sécheresses prolongées.

Pour les composantes de formations et d’appui aux AUEA, les activités prévues ont bien été réalisées selon les rapports d’évaluation. Les missions de terrain n’ont toutefois pas été en mesure de mettre en évidence des changements de pratiques au niveau des agriculteurs et au niveau des AUEA. La compétence et le dynamisme des AUEA sont faibles.

5.3.1 Mise en œuvre des activités (inputs) du projet

Comme souligné plus haut, le projet PMH TIZNIT est la seconde phase d’un projet dont la première phase s’est déroulée entre 1996 et 1999. Il n’a pas été possible dans le cadre de cette évaluation de faire clairement la part entre ce qui a été effectivement fait lors de la première phase et ce qui a été fait lors de la deuxième phase. Le jugement porte donc plutôt sur l’ensemble des actions des deux phases.

Le tableau ci-dessous présente l’appréciation des activités conduites dans le cadre de ce projet par rapport aux objectifs, tel que cela ressort du rapport final de la CTB (2007) et de l’auto-évaluation (2007).



Tableau 14 – Récapitulatif de la réalisation des activités prévues

Activités prévues Informations disponibles

Réhabiliter 13 barrages et

27 km de canaux

« Répartis à travers les 11 périmètres d’épandage des eaux de crues

concernés par le projet, 14 barrages, 21.3 km de séguias et les

ouvrages d’art y attenant (chutes, décharges, vannes,

parcelles,…etc.) ont été construits dont 12 barrages et 12,8 km de

séguias au cours de la 1ère phase et 2 barrages et 8,5 km de séguias

au cours de la 2ème phase. » (Rapport final de la CTB).

- Et mobilisation d’une partie des crédits pour la construction d’un

barrage supplémentaire (Id Hmalla Amont) afin de répondre aux

doléances de la population. » (Rapport d’auto-évaluation 2007)


(plantation sur les talus,

protection mécanique des

ouvrages, etc.…)

« Les plantations le long des canaux n’ont pas étés programmés,

elles sont jugées inutiles. » (Rapport d’auto-évaluation 2007)

Distribuer et planter

52.000 arbres fruitiers qui

permettent une

conservation du sol

« 100.000 arbres fruitiers adaptés aux conditions climatiques et à la

conservation du sol, ont été distribués, plantés et dans certains cas,

irrigués dans le cadre du projet ». (Rapport final de 2009 de la CTB)

« - 35.463 arbres fruitiers ont été plantés et plus que 20.000 sont en

cours de plantation; - 68.900 arbres fruitiers distribués et 6.000

plants seront distribués d’ici la fin du projet. » (Rapport d’auto-

évaluation 2007)


l’arboriculture fruitière et

un voyage d’échange sur

les greffes de caroubier à

Beni Mellal (pourcentage

en termes d’agriculteurs

visés non spécifié)

« Un module sur l’arboriculture fruitière auquel 29% des agriculteurs

ont participé, dont les 2/3 sont satisfaits et le 1/3 est moyennement

satisfait ».

« un nombre limité (un peu plus de 60 agriculteurs) a été choisi pour

participer aux voyages organisés, parmi les membres des bureaux

des AUEA et des agriculteurs dynamiques qui peuvent épandre

l’information et les techniques acquises. 1/5 de l’échantillon a

participé à deux voyages qui ont été organisés dans 2 régions du

Maroc à savoir Beni Mellal-Azilal (la moitié des participants) et

Marrakech (l’autre moitié). »

« La moitié des participants ont apprécié les sites et ouvrages hydro-

agricoles visités, les techniques d’irrigations pratiquées dans les

périmètres irrigués par les eaux saisonnières dans la région de

Marrakech, les techniques de greffages des plants mâles adultes de

caroubier pratiquées à Beni Mellal ainsi que les échanges

d’information avec les techniciens et agriculteurs rencontrés pendant

les voyages. Par contre moins d’intérêts sont accordés à l’installation

des pépinières de caroubier et aux techniques de conservation du sol

et de mise en culture. » (Rapport d’auto-évaluation 2007)

« Pour le volet formation et voyages, il n’était pas possible de faire

participer l’ensemble des agriculteurs, vu le nombre important et les

contraintes budgétaires et d’organisation. Toutefois, les soldes

budgétaires dégagés en fin de projet ont permis d’étendre l’offre de

formation, notamment en matière de greffage et sur-greffage des

caroubiers, à 180 agriculteurs additionnels. » (Rapport final CTB)


Activités prévues Informations disponibles

Sensibiliser 20% des

agriculteurs à la gestion

de l’eau (module de

formation sur

l’infrastructure d’irrigation

et voyage d’échanges sur

les techniques d’irrigation

dans la région de

Marrakech)

« […] un module sur l’infrastructure d’irrigation avec 21% des

agriculteurs ont participé, dont plus que la moitié est satisfaite et

moins que le 1/2 sont moyennement satisfaits ». (Rapport d’auto-

évaluation 2007)

Renforcer les AUEA pour

les rendre opérationnelles

(formation sur la gestion

administrative et

financière des AUEA)

« un troisième module sur la gestion administrative et financière des

AUEA avec 21% des agriculteurs ont participé, dont plus que la moitié

est satisfaite et moins que le 1/2 sont moyennement satisfaits. »

(Rapport d’auto-évaluation 2007)

Rétablir le dialogue entre

les 13 AUEA et les

agriculteurs ainsi qu’avec

les pouvoirs publics

Peu d’informations disponibles sur cette activité, si ce n’est la

suivante : « Contrôle du projet assuré par la Direction de

l’Enseignement et de la Recherche au Développement (DERD), et la

CTB, un rapport des activités élaboré semestriellement » (Rapport

d’auto-évaluation 2007)

Par rapport à la mise en œuvre des activités, les constats de mission (2012) dans le cadre de la présente étude sont les suivants :

Réhabilitation de 13 barrages et 27 km de canaux :

Les ouvrages sont en place sans qu’il soit possible de savoir ce qui a été fait lors de la première et lors de la deuxième phase. Le jugement sur la qualité des travaux d’infrastructures est présenté ci-dessous (cf. « outcomes » de niveau 2 sous la Q4).

Protéger 22 km de canaux (plantations sur les talus, protection mécanique des ouvrages, etc.…) :

Selon les observations de la mission, des plantations de protection ont été faites sur le périmètre Amzaourou, contrairement à ce qui est prétendu dans le rapport d’auto-évaluation de 2007 qui mentionne (voir tableau ci-dessus) que les plantions le long des canaux ont été jugées inutiles.

Il n’a pas été possible de déterminer si ces plantations ont été financées par le projet. De toute manière, étant donné les défauts de conception de cet aménagement, ces plantations, si elles survivent, n’auront vraisemblablement pas d’effet de protection.

Distribuer et planter 52.000 arbres fruitiers qui permettent une conservation du sol :

A part le constat de quelques arbres sur certains périmètres, la mission n’a pas observé de changement qu’aurait dû apporter une telle quantité distribuée sur ou autour des périmètres d’intervention. En effet, 100 000 arbres fruitiers représentent plus de 50 arbres par famille visée dans les périmètres d’intervention. Une hypothèse est que cette distribution a été réalisée sans lien avec les autres interventions et a touché d’autres bénéficiaires.



Activités de formation : greffage, gestion de l’eau et renforcement des AUEA :

La mission n’a pas été en mesure d’apprécier cette activité. Mais, au vu des constats sur la gestion inadéquate des ouvrages et le manque de dynamisme des AUEA rencontrés, si ces activités ont été menées, elles n’ont pas permis d’atteindre les objectifs attendus.

Par ailleurs, le rapport de formulation du projet avait identifié deux conditions générales, susceptibles d’influencer le succès du projet:

« Concertation avec les populations » : comme décrit dans la section 5.5.2 ci-

dessous, les bénéficiaires ont été impliqués dans les phases de formulation, d’exécution et de suivi du projet. Ceci étant, la participation des populations n’était pas au cœur du projet, et si concertation il y a eu, elle n’a pas empêché de réaliser des aménagements non souhaités par les populations (p.ex. Tadouarte).

« Adhésion des AUEA aux activités du projet » : Comme expliqué dans la section 5.3.2 (sous l’output 7), les AUEA existaient dans tous les périmètres, mais leur taux de représentation et leur fonctionnement étaient encore imparfaits à la fin du projet. ce constat sur la faiblesse des AUEA est confirmé par la mission de terrain.

5.3.2 Atteinte et mesure des « outputs » ?

La section ci-dessous décrit le niveau d’atteinte des huit « outputs » (‘résultats intermédiaires’ selon le cadre logique) attendus du projet tels que repris dans la logique d’intervention (cf. Chapitre 4) – ils sont numérotés par la suite dans l’ordre dans lequel ils apparaissent dans la logique d’intervention.

Output attendu 1 : Réseau hydrographique corrigé et protégé

L’amélioration du réseau hydrographique faisait partie des sept objectifs de la première phase du projet (1996-1999). C’est en fait le seul qui a été atteint durant cette première phase. Cette activité a dû être poursuivie lors de la seconde phase du projet (2004-2007).

La mission de terrain a pu observer que globalement le réseau hydrographique a bien été amélioré. Le projet a fait usage de l’existant traditionnel et a réhabilité les ouvrages, sans créer particulièrement de nouvelles infrastructures. Ceci a permis une acceptation aisée des actions du projet, d’éviter des problèmes fonciers, de partage des terres et des contraintes d’héritages. Cela a par contre eu le défaut de ne pas avoir été basé sur des études hydrologiques précises qui auraient pu repositionner ou modifier une prise ou un chenal en fonction de conditions naturelles moins contraignantes pour leur conservation et leur maintenance. Le problème à Tadouarte s’explique par exemple par l’implémentation de canaux à de mauvais endroits. Cela résulte en une mauvaise déviation de l’eau, qui empêche entre autres les animaux de passer à travers les champs.

Output attendu 2 : Infrastructure d’irrigation bien dimensionnée mise en place

Sur certains périmètres, le projet n’a pas intégré certaines contraintes hydrologiques pouvant influencer directement les conceptions techniques : si un relevé topographique a bien été réalisé aux droits des seuils de prise, il n’y a par contre pas eu de vue topographique d’ensemble de la problématique des écoulements. A Amzaourou par exemple (dernier périmètre en aval sur l’oued Adoudou), les conditions géomorphologiques sont difficiles : le périmètre est en exutoire de la pénéplaine, juste après un resserrement topographique qui accélère les vitesses de crue et dans une importante dénivelée au seuil de l’embouchure en mer à environ 2 kms, avec une rupture de pente significative à +-15 à 20%. Il y a une formation de profondes griffes d’érosion dans les alluvions sablo-argileux et le périmètre mériterait un schéma


hydrologique d’ensemble détaillé avec une étude topographique fine pour déterminer le meilleur tracé de répartition des eaux de crue à flanc des glacis des montagnes à l’ouest. Le système actuel n’est pas fonctionnel pour dévier les crues, et le canal de dérivation est cassé à une centaine de mètres de l’ouvrage de répartition des débits.

Output attendu 3 : 52.000 arbres fruitiers plantés

Au cours du projet, le double de ce qui était prévu en termes d’arbres fruitiers a été planté. La contribution effective à la conservation des sols n’est cependant pas connue précisément. Le double de la cible a été planté : d’après le Rapport final de la CTB (2009) « 100.000 arbres fruitiers adaptés aux conditions climatiques et à la conservation du sol, ont été distribués, plantés et dans certains cas, irrigués dans le cadre du projet » (résultat supérieur à l’objectif de 52.000 arbres fruitiers). L’exercice d’auto-évaluation indique que « Les nouvelles plantations sont dominées par l’olivier (47%), suivie du figuier (29%) et caroubier (23%) ». Le niveau de satisfaction sur les plantations des agriculteurs bénéficiaires est rapporté comme bon pour la majorité d’entre eux.

Les raisons évoquées sont la gratuité, la pertinence et la quantité des plants distribués

et/ou plantés par rapport aux besoins, mais aussi leur meilleure adaptabilité, l’effet paysager des plantations et le peu d’entretien nécessaire, notamment en comparaison à la céréaliculture. Il est rapporté que ceux qui n’ont pas bénéficié des plantations, n’en n’ont pas formulé la demande pour plusieurs raisons : (1) manque de moyens pour assurer les irrigations surtout au démarrage et pendant les périodes de sécheresse; (2) absence pendant la distribution et la plantation ; (3) crainte de pâturage abusif (« la crainte d’attraction du sanglier par les fruits, surtout du figuier »); (4) plantation avant le lancement de l’opération.

Il ressort de la mission de terrain que ce qui reste de ces actions n’est pas très visible sur le terrain, ce qui aurait pourtant dû être le cas au vu des volumes distribués. Les arbres en bordure d’oueds pour la conservation des sols et la protection des berges n’ont visiblement pas tous repris et l’aspect est pour le moins fort clairsemé, ce qui en réduit nécessairement les effets attendus.

Dans l’échantillon enquêté, sur 129 ménages, 30 (23%) ont planté des caroubiers et 4 (3%) ont réalisé des greffes. Ces chiffres semblent indiquer qu’une bonne partie des plants distribués ne l’ont pas été aux agriculteurs des périmètres.

Il ressort également de la mission qu’il n’y a pas eu d’étude préalable sur l’occupation des sols et leur mise en culture, comme l’assolement à préconiser ou le choix des variétés culturales adaptées aux crues par exemple. L’épandage traditionnel des eaux de crue est destiné aux cultures de type annuel (céréales, maïs p.ex.). Le fait d’avoir introduit de l’arboriculture (oliviers, caroubiers…) présente un risque de leur dépérissement en cas de plusieurs années consécutives de sécheresse (3 années successives). En ce cas il y aura perte du capital qu’est ce patrimoine arboricole. Miser sur la culture de céréales ne présente que le risque de l’année en cours : c’est à dire que ce risque n’est pris par les populations que si les circonstances naturelles (pluies) le permettent : l’agriculteur sème s’il pleut. Le projet a misé sur une régularité interannuelle des apports en eau. Planter des arbres dans la zone nécessite que les périodes de sécheresse ne soient pas trop longues, ce qui peut malheureusement être le cas

Les plantations d’arbres productifs (oliviers, argousiers et autres) sont visibles à plusieurs endroits mais souffrent des sécheresses consécutives. Soit il pleut dans un proche délai, soit il faut les arroser par apport extérieur (camions citernes), soit ils dépériront d’ici peu. Comme ces arbres ont été subsidiés, les bénéficiaires ont malheureusement tendance à attendre une nouvelle intervention de la DPA pour l’arrosage, mais cette intervention n’est en principe pas prévue, les bénéficiaires étant responsables de leurs biens (voir Q5 sur la durabilité).



Output attendu 4 : Certains agriculteurs conscientisés à la conservation des sols

Il est difficile de déterminer dans quelle mesure les agriculteurs de la région de

Tiznit ont été conscientisés à la conservation des sols. Mais, il n’y a aucune indication de mesures de suivi pour assurer le changement des pratiques.

Plusieurs formations et voyages d’étude ont été organisés dans le cadre du projet, mais il n’est pas évident d’identifier lesquels visaient explicitement à conscientiser sur la conservation des sols. Les formations se sont par ailleurs centrées sur un nombre limité d’agriculteurs et n’avaient pas toutes l’approche idéale, comme expliqué dans la section 5.3.1 ; le niveau de satisfaction était par ailleurs variable (typiquement la moitié aux deux tiers des participants se déclaraient satisfaits). Pour les deux voyages de visite de sites hydro-agricoles, le rapport d’auto-évaluation note que moins d’intérêt a été accordé aux techniques de conservation du sol et de mise en culture. Il n’est par ailleurs pas aisé de déterminer si l’effet escompté de diffusion de nouvelles pratiques par les agriculteurs formés (les plus dynamiques) a effectivement eu un effet d’entraînement sur les autres.

Output attendu 5 : Certains agriculteurs formés à l’arboriculture fruitière

Un petit nombre d’agriculteurs a été formé à l’arboriculture fruitière. D’après le

rapport d’auto-évaluation, 29% des agriculteurs (sélectionnés parmi les plus dynamiques) ont participé à un module de formation sur l’arboriculture fruitière ; 2/3 d’entre eux se sont déclarés satisfaits et 1/3 moyennement satisfaits. En outre, un nombre limité (environ 30 agriculteurs) ont participé à une visite à Beni Mellal sur, entre autres sujets, les techniques de greffage des plants mâles adultes de caroubier ; le rapport précise toutefois que moins d’intérêt a été accordé à l’installation des pépinières de caroubier.

Comme pour les autres formations, il n’a pas été possible lors de la mission de terrain de déterminer dans quelle mesure les nouvelles pratiques ont été diffusées dans les faits à d’autres agriculteurs, ni si un suivi a été réalisé. Pendant l’enquête de terrain, aucun suivi n’a été mentionné et seuls 4 agriculteurs sur 129 ont déclaré avoir eu recours à la technique de greffage.

Output attendu 6 : Utilisateurs de l’eau sensibilisés aux bonnes méthodes d’irrigation

Un nombre limité d’agriculteurs a été formé aux bonnes méthodes d’irrigation. D’après le rapport d’auto-évaluation, 21% des agriculteurs (sélectionnés parmi les plus dynamiques) ont participé à un module sur l’infrastructure d’irrigation; ‘plus de la moitié’ d’entre eux se sont déclarés satisfaits. En outre, un nombre limité (environ 60 agriculteurs) ont participé à une des deux visites à Beni Mellal et Marrakech sur des sites hydro-agricoles, traitant entre autres des techniques d’irrigation.

Comme pour les autres formations, la mission de terrain n’a pas été capable de

déterminer quelles nouvelles pratiques ont été diffusées dans les faits à d’autres agriculteurs, ni si un suivi a été réalisé.

Output attendu 7 : AUEA renforcées et opérationnelles

Des associations des usagers des eaux agricoles (AUEA) existent dans tous les périmètres, mais leur taux de représentation et leur fonctionnement étaient encore imparfaits à la fin du projet.

Cela soulève des questions sur leur capacité à remplir pleinement leur fonction

et sur leur pérennité. D’après le rapport d’auto-évaluation, il y avait 13 AUEA pour les 11 périmètres irrigués. 10 des 13 AUEA tenaient à la fin du projet des réunions régulièrement, 44% des AUEA organisaient l’entretien des ouvrages, 67% des


agriculteurs étaient informés des décisions prises par l’AUEA, et 73% des agriculteurs consultés. Bien que l’ensemble des conventions et prises en charges avaient été signées et que le taux d’adhésion des agriculteurs aux AUEA était estimé à deux tiers des bénéficiaires, à la fin du projet, seule la moitié payait leurs cotisations et participait effectivement à la gestion de l’AUEA ou du réseau d’irrigation. Le Rapport d’auto-évaluation (2007) souligne quant à lui des problèmes de gestion d’eau à l’intérieur des périmètres dont la résolution passerait par l’instauration des règlements intérieurs des AUEA. Enfin, aucune information n’a été collectée sur le dialogue effectif des AUEA avec les pouvoirs publics. Dans son rapport final, la CTB estime que les résultats auraient été meilleurs si les formations et la sensibilisation avaient été plus importantes.

L’ensemble des AUEA a signé des conventions de partenariat avec la DPA et le service des eaux et forêts en début des actions pour la prise en charge des ouvrages réalisés à la fin des interventions.

Malgré cet accord entre l’administration et les bénéficiaires, les ouvrages ne sont pas entretenus ou mal gérés (cf. « outcomes » de niveau 1). Il ressort en fait clairement des missions de terrain conduites récemment que la plupart de ces AUEA ne sont pas ou peu fonctionnelles. Lors des visites de terrain, il a été constaté que l’entretien, la réparation et la gestion correcte des ouvrages de prise ne sont pas assurés.

Les AUEA ne disposent que de peu de moyens et ne fonctionnent pas correctement. Ceci

a d’ailleurs constitué une difficulté de taille pour la conduite de l’étude quantitative : il a été particulièrement difficile d’obtenir la liste des bénéficiaires du projet (voir section 3.3.2).

Le caractère aléatoire des crues ne favorise pas une continuité de suivi de l’AUEA : il est en effet inutile de se réunir si rien ne se passe… Ces AUEA n’ont pratiquement aucune capacité financière : les cotisations de 30 DH/an/membre sont largement insuffisantes et souvent de fait payées qu’une seule fois, à l’adhésion. Pour un nombre d’adhérents de 100 à 300, le budget annuel escompté est de l’ordre de 5.000DH/an dans le cas le plus favorable où tous les membres s’acquitteraient de leurs cotisations. Un tel budget peut tout au plus contribuer au budget de fonctionnement de l’AUEA.

Output attendu 8 : Suivi opérationnel et comptable du projet par les AUEA

La faiblesse des AUEA (cf. Output 7) et le manque d’entretien (cf. « Outcomes » de

niveau 1) observés durant les missions indiquent que la gestion après projet n’a pas été adéquatement assurée par les AUEA.



5.4 Atteinte des « outcomes » et de l’impact – Q4

Dans quelle mesure les projets ont-ils atteint les « outcomes » et l’impact attendus?

Cette question vise à évaluer les « outcomes » et l’impact du projet, soit les effets des « outputs » du projet.

Les « outcomes » et impact auxquels il est fait référence dans cette section sont ceux repris dans la logique d’intervention reconstruite (voir section 4). Pour plus de facilité de lecture, il est fait référence aux « outcomes » de niveau 1 pour la première colonne de la chaîne allant des « outcomes » à l’impact dans le diagramme de logique d’intervention (« Pratiques culturales adaptées à la conservation des sols », etc.), aux « outcomes » de niveau 2 pour la 2e colonne, aux « outcomes » de niveau 3 pour la 3e colonne, etc., et à l’impact pour la toute dernière colonne. Cette catégorisation est essentiellement opérationnelle, à des fins de présentation.

Encadré 5 – Résumé de la réponse à la Q4 (Atteinte des « outcomes » et de l’impact)

Le jugement sur l’impact se fonde sur l’appréciation des « outcomes » du projet au niveau des bénéficiaires directs et sur l’appréciation de la contribution de ses effets aux objectifs globaux.

La chaine de résultats du projet PMH Tiznit est complexe comme cela a été mis en évidence dans la logique d’intervention reconstruite. Les « outcomes » du programme ont été étudiés à différents niveaux. Les principaux éléments suivants ressortent de cette analyse :

Le réseau d’irrigation est fonctionnel mais dépendant de la pluviométrie. La

durabilité à moyen terme n’est pas assurée.

Il n’y a pas de preuves que le projet ait contribué à une diversification des cultures et à un changement des pratiques culturales et il est peu probable que ce soit le cas.

Les infrastructures mises en place ont contribué à réduire l’érosion dans la plupart des périmètres. Dans les périmètres mal conçus (Amzaourou), la situation s’est plutôt dégradée.

Les analyses économétriques montrent un effet positif et significatif du projet sur

les superficies irriguées des bénéficiaires en période de sécheresse. En période de crue, l’effet n’est pas observé.

Les analyses économétriques indiquent que les ménages bénéficiaires en période de crue comme en période de sécheresse tirent une plus grande proportion de leurs revenus de l’agriculture. Cette part représenterait en moyenne 40% pour les bénéficiaires en période de crue contre 26% pour les non-bénéficiaires ; et respectivement 19% et 7.5% en période de sécheresse.

Si on considère l’impact global, sur l’ensemble des agriculteurs concernés par l’irrigation de crue dans la province de Tiznit, la contribution du projet est significative dans la mesure où le projet a concerné plus de 70% des terres en irrigation de crue.

Par contre, la contribution aux objectifs globaux de réduction de l’exode rurale et

d’amélioration des conditions sociales dans la région ne sera que marginale étant donné le faible nombre de bénéficiaires.

En outre, deux effets inattendus ont été mis en évidence : (1) la poursuite de l’extension des réseaux surtout dans les périmètres en amont et (2). Le projet aurait un effet positif sur la recharge des nappes phréatiques. Cet impact mériterait d’être étudié pour en apprécier l’ampleur.


Les constats pour cette question d’évaluation Q4 sont détaillés de la sorte ci-dessous :

5.4.1 : atteinte des « outcomes » attendus de niveaux 1 et 2, présentée par « outcomes » (et basée principalement sur l’analyse qualitative) ;

5.4.2 : atteinte des « outcomes » attendus de niveaux 3 à 5, détaillée pour les hypothèses 2, 3, 4, 7, 11 et 12 (les autres hypothèses ont également été traitées quantitativement, mais ces analyses ne sont pas mises dans le corps du texte du rapport, car elles présentent une plus grande probabilité d’être biaisées à cause de la crédibilité du contrefactuel sur certains aspects et/ou les résultats ne sont pas robustes. Ces analyses sont néanmoins disponible dans l’annexe 7) ;

5.4.3: atteinte de l’impact attendu.

La figure ci-dessous rappelle les « outcomes » et impact de la logique d’intervention, décrite en détail dans la section 4.

Figure 10 - Logique d’intervention - Niveaux d’« outcomes » et d’impact

5.4.1 Atteinte des « outcomes » attendus de niveaux 1 et 2

« Outcomes » de niveau 1 :

"Pratiques culturales diversifiées et adaptées à la conservation des sols" :

Il n’y a pas de preuves que le projet ait contribué à la diversification des cultures et au changement des pratiques culturales et il est peu probable que ce soit le cas.

Le projet visait à assurer des pratiques culturales plus adaptées à la conservation des sols mais ne spécifiait pas comment il comptait y parvenir Les seules actions prévues étaient des actions de formation qui à elles-seules ne peuvent conduire à un changement de pratique. La diversification vers la culture fruitière n’a pas été confirmée par les visites de terrain et comme il a été signalé plus haut elle n’est pas adaptée à l’irrigation de crue.

Aucun changement de pratiques culturales n’a été mentionné ou constaté lors de la mission de terrain.


Réseau (traditionnel) d’irrigation fonctionnel

et durable

Revenus des agriculteurs assurés et stabilisés

de la superficie agricole irrigable

Outcomes… "Impact"

de la productivité des

surfaces agricoles

irrigables

Diversification des produits des

surfaces agricoles

irrigables

Meilleure gestion des

ressources en eau

Diminution de l’exode rural

Conservation des sols

des surfaces agricoles

irrigables

conditions sociales (indép. fin., éducation, santé, habitat,

etc.)

Entretien et protection des infrastructure d’irrigation en

concertation avec les

utilisateurs

Diversification et pratiques culturales

adaptées à la


# récoltes par saison agricole


+ Gain de temps

(au niveau de la province de

Tiznit)


Diminution de l’exode rural

conditions sociales (indép. fin., éducation, santé, habitat,

etc.)

Province de Tiznit:

Périmètres réhabilités

1

2

3 4

5

6

87

9

1011

12

13




"Meilleure gestion des ressources en eau" :

Les infrastructures mises en place devraient améliorer l’utilisation de l’eau de crue en canalisant celle-ci ; par contre le projet n’a pas amélioré la distribution de l’eau.

De la mission de terrain, il ressort que sur un périmètre, il n’y a pas de « tour » d’eau, la règle étant que la priorité est donnée à l’amont. Cette règle existait avant le projet qui n’a pas essayé de la changer. C’est évidemment une source de conflits potentiels que le rapport d’auto-évaluation (2007) avait déjà mis en évidence. A noter que dans une irrigation de crue, cette gestion est particulièrement complexe parce qu’il s’agit de répartir une quantité d’eau dont personne ne peut prédire quelle sera la quantité totale. Le projet n’a pas n’a pas cherché à changer cette situation.

Un autre problème en termes de gestion des ressources en eaux soulevés par la mission de terrain est la gestion de l’eau entre périmètres. L’amélioration de l’efficacité des périmètres amont réduit la quantité d’eau disponible des périmètres en aval. Comme il n’y a pas d’autorités de régulation du bassin, les périmètres en amont sont prioritaires. La mission de terrain n’a pas été en mesure de quantifier l’ampleur du problème.

"Entretien et protection des infrastructures d’irrigation en concertation avec les utilisateurs".

La maintenance du système d’irrigation n’est pas assurée correctement, comme cela a pu être observé lors des missions de terrain.

Malgré la simplicité des ouvrages, la passe de dégravement n’a pas été utilisée et les vannes sont restées fermées ou ouvertes selon leur usage. Les graviers et sédiments s’accumulent rapidement en amont de la prise, ce qui ne tardera pas à réduire puis à rendre inefficace la prise d’eau pour le canal de tête morte. Toutes les vannes que nous avons pu voir sont soit hors d’usage, bloquées ou même démontées.

Il y a une mauvaise compréhension du système de gestion des vannes : les populations n’admettent pas l’ouverture de la passe de dégravement en début de crue, ce qui permettrait de nettoyer les graviers accumulés, mais qui selon eux les ‘prive’ d’une partie du volume attendu d’eau. On peut comprendre que l’eau étant tellement précieuse, agir pour ne pas en conserver la totalité en ouvrant la vanne le temps nécessaire au curage des graviers et sédiments, est considéré comme inacceptable par les populations.38

L’entretien du réseau (curage en particulier des canaux) se fait en recourant à la contribution de tous les membres par leur main d’œuvre : chacun s’occupe d’entretenir le tronçon limitrophe à sa parcelle et une contribution collective est sollicitée pour les ouvrages en commun (canal principal reliant le barrage au début des parcelles irriguées). Cette manière de procéder est celle qui était utilisée avant l’aménagement. Cette activité collective est appelée « touiza ». Néanmoins, si cette activité de la « touiza » donne des résultats satisfaisants pour l’entretien courant, elle est insuffisante à plusieurs égards :

- L’entretien de l’ouvrage de dérivation des eaux de crue n’est pas réalisé (les

vannes ne sont pas entretenues et souvent non fonctionnelles) ;

- l’entretien curatif (réparation des endroits détériorés) et l’entretien préventif

(consolidation des points faibles tels les fissures dans les canalisations) ne sont

pas réalisés.

Les AUEA sont par ailleurs très peu ou pas opérationnelles (cf. Output 7 ci-dessus). Ce sont pourtant elles qui sont sensées jouer un rôle essentiel dans le gardiennage, la maintenance et l’entretien périodique des équipements, ainsi que pour

38 Un membre de l’AUEA de Zidania a été fortement pris à partie par la population pour avoir suivi à la

première crue après achèvement des travaux, les instructions du PMH d’ouvrir la vanne de dégravement en

début de crue : si celui-ci faisait bien son devoir, par contre la population n’a pas compris/admis de ‘perdre’

ainsi une partie des eaux de crue.


l’organisation des bénéficiaires et une bonne gestion des irrigations. Les ouvrages ne sont pas entretenus ou sont mal gérés : ils perdent progressivement leur fonctionnalité et vont engendrer des coûts importants pour dégager les prises, ce qui dépasse vite les possibilités financières et techniques des AUEA. Pour autant que cela soit possible, il faudrait en fait des ouvrages conçus pour un fonctionnement en mode totalement passif.

« Outcomes » de niveau 2 :

"Réseau d’irrigation fonctionnel et durable" :

Le réseau d’irrigation est fonctionnel mais dépendant de la pluviométrie et la durabilité à moyen terme n’est pas assurée.

Le projet a permis de mettre en place une infrastructure d’irrigation dans les 11 périmètres d’irrigation de la région de Tiznit (objectif dépassé pour la construction des barrages et objectif atteint aux trois-quarts pour la construction/réhabilitation des canaux, comme décrit dans la section 5.3.2 ci-dessus). La mission de terrain a confirmé que le réseau est toujours fonctionnel même si comme mentionné au point précédent, la durabilité à moyen terme n’est pas assurée.

Par ailleurs, comme mentionné dans le rapport de formulation du projet, une pluviosité annuelle locale suffisante était une condition pour le bon fonctionnement du réseau d’irrigation. Cette condition est essentielle dans la mesure où l’irrigation de crue est dépendante de la pluviométrie. Cela sera examiné dans l’analyse quantitative.

Conservation des sols des surfaces agricoles irrigables" :

Les infrastructures mises en place ont contribué à réduire l’érosion dans la plupart des périmètres. Dans les périmètres mal conçus (une minorité), la situation s’est plutôt dégradée.

Selon le rapport d’auto-évaluation (2007), l’érosion aurait diminué à la fin du projet par la protection des canaux : « les aménagements réalisés (…) ont permis une protection des terres agricoles contre l’érosion hydrique » et « la majorité des agriculteurs installés en aval jugent que la protection mécanique et biologique a permis de stopper la dégradation du sol ». Ce jugement très positif doit être nuancé.

Logiquement, une meilleure maitrise des crues a un effet mécanique sur la protection des terres en aval en réduisant la violence des flux. Cela suppose que les aménagements soient techniquement bien conçus ce qui est le cas sur la plupart des périmètres visités. Cependant sur certains périmètres et notamment le périmètre d’Amzaourou, le projet a plutôt contribué à renforcer les phénomènes érosifs.

Concernant la protection biologique, sur base des observations de la mission de terrain, aucune protection biologique significative n’a été observé.

Le projet visait également à promouvoir des pratiques culturales adaptées à la

conservation des sols. Toutefois, comme indiqué ci-dessus (sous les « outcomes » de

niveau 1’), il y a en fait peu de chance (et peu d’information indiquant) que le projet

ait contribué à un tel changement des pratiques culturales.

5.4.2 Atteinte des « outcomes » attendus de niveaux 3 à 5

Dans la mesure du possible les « outcomes » des niveaux 3 à 5 du projet (cfr. Section 4 : logique d’intervention) ont été analysés selon l’approche quantitative. Les hypothèses présentées dans la section méthodologie ont été soigneusement testées. Seuls les résultats les plus convaincants et interprétables c’est-à-dire les hypothèses 2, 3, 4, 7, 11 et 12 sont présents dans le corps de ce rapport. Le détail des analyses réalisées pour l’ensemble des hypothèses (énoncées dans le tableau 5, cfr. supra) sur base des données collectées auprès de bénéficiaires (groupe de traitement) et non-bénéficiaires (groupe de contrôle) est présenté dans l’annexe 7.



Questionnaire et collecte d’information

Avant de procéder au test des hypothèses, il est primordial d’expliquer au lecteur l’approche suivie sur le terrain afin de collecter les informations sur l’activité agricole.

L’équipe a dans un premier temps posé des questions d’ordre global telles que la

superficie totale de la concession ainsi que les superficies mise en culture lors de trois années de référence (2003-04, 2007-08, et 2011-12). Des questions sur le nombre de parcelles mises en cultures pour différents types de terres (irriguées, arrosées et pluviales) ont également été posées. L’identification des différents types de terres et la classification en catégories mutuellement exclusives ont été réalisées minutieusement. La nécessité d’une définition claire et d’une classification à établir avec le répondant pendant l’enquête ont émergé lors du ‘testing’ du questionnaire.

Dans un second temps, pour chaque concession les parcelles ont été listées et des questions précises ont été posées à propos de chaque parcelle et pour trois années de référence. Cette fois-ci les années de référence sont l’année avant projet 2003-04, l’année de la plus forte crue après le projet (après 2007), et l’année 2011-12. Dans ce volet du questionnaire, il a été demandé aux répondants de caractériser le type de parcelle : pluviale, irriguée ou arrosée. Une série d’autres questions ont été posées à propos de la surface totale de la parcelle, la surface irriguée, la surface cultivée, le nombre de récoltes, les produits cultivés, etc. Ces questions furent posées pour les trois années de référence.

Malgré les efforts fournis par les enquêteurs pour identifier le type de parcelle avec l’aide du répondant, l’équipe soupçonne l’existence d’une erreur systématique dans l’identification de terres irrigables. En effet, dans la mesure où l’équipe a mené l’enquête en période de sécheresse relative, certains agriculteurs avaient tendance à ne pas reconnaître des terres irrigables comme telles dans la mesure où ils n’avaient pas pu les irriguer récemment (parfois depuis plusieurs années). Par conséquent, le nombre de parcelles reconnues comme étant des parcelles irrigables est probablement sous-évalué.

Si l’équipe devait se baser sur la question qui porte sur l’identification du type de

parcelle, seuls 119 ménages considèrent avoir au moins une parcelle irrigable. En revanche, si l’équipe considère les questions portant sur la superficie de la parcelle ayant pu être irriguée lors des trois années de référence, 219 ménages fournissent l’information sur au moins une parcelle pour l’année 2003-04 et l’année de la forte crue. Ce nombre chute à 186 pour l’année 2011-12. Lorsque l’on interroge les répondants sur les pratiques agricoles des années antérieures plus généreuses en pluie, ceux-ci classifient un nombre plus important de parcelles comme étant irrigables.

Par conséquent, dans l’analyse qui suit, chaque variable a été construite en tenant compte de l’identification initiale (on ne considère l’information que si la parcelle a initialement été reconnue comme étant irrigable) ou non (on considère toutes les parcelles pour lesquelles une information a été fournie quant à l’irrigation). L’équipe tient à souligner que la plupart des résultats sont similaires quelle que soit la variable considérée. Cependant, dans un souci de procéder à des tests de robustesse, les deux types de variables ont été considérés.

Précaution dans l’interprétation des résultats

Deux remarques méritent d’être énoncées avant de montrer les résultats des analyses des données collectées sur le terrain auprès de bénéficiaires et non-bénéficiaires du projet PMH.

(1) Comme démontré dans la partie « méthodologie », le groupe de contrôle

(contrefactuel) est similaire au groupe de traitement dans une série de dimensions. Cependant deux faits indiquent qu’ils présentent peut-être des modes d’exploitation agricole un peu différents : les ménages du groupe de traitement ont des surfaces de terres significativement plus petites que celles du


groupe de contrôle et ils ont en moyenne plus de récoltes par saison agricole. Ces deux éléments poussent à croire que le groupe de contrôle pratique une agriculture plus extensive sur des terres à majorité pluviales. Si c’est le cas, certains résultats pourraient être expliqués par cette différence et non par la présence du projet. Cela implique que dans l’estimation ’PSM’, il faudrait dans la première étape, ‘matcher’ les ménages en fonction entre autres des surfaces de terres irrigables et pas en fonction des surfaces totales de terres. Il faudrait également les ‘matcher’ en fonction du nombre de récoltes par saison.

(2) Le projet PMH étudié est la seconde phase d’un projet de réhabilitation de périmètre dans la région de Tiznit. Cela signifie que 10 des périmètres réhabilités dans le cadre de ce projet avait déjà connu une réhabilitation dans la phase antérieure. Cela pose donc la question de la similitude entre des périmètres non-réhabilités (contrefactuel) et les périmètres réhabilités par le projet PMH. Il faut donc être prudent d’attribuer les effets observés. au projet étudié.

Par ailleurs, il convient de rappeler que les données collectées concernent trois périodes : (i) avant-projet en 2003-04, (ii) période de plus forte crue depuis la fin du projet (période de crue post-projet) et (iii) en 2011-12 (période de sécheresse post-projet). Malheureusement, aucune information sur la pluviométrie de 2003-04 n’est disponible dans les données. L’interprétation des résultats pose donc parfois question.

Tests de l’hypothèse 2 : Augmentation de la capacité à irriguer

Hypothèses 2

Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient pouvoir irriguer une plus grande proportion de leurs terres irrigables.

Constats

Les analyses permettent de conclure que le projet n’a pas eu d’effet sur la capacité à irriguer en période de crue. En revanche, le projet a eu un effet positif en période de stress hydrique : en moyenne, la superficie irriguée du groupe de traitement est plus importante que celle irriguée par le groupe de contrôle en période de sécheresse relative.

Tout d’abord, des comparaisons de moyennes de variables mesurant la capacité à

irriguer sont présentées aux trois années de référence, à savoir en 2003-04 (pré-projet), pour l’année de la plus forte crue depuis 2007 (post-projet) et en 2011-12 (post-projet, période de sécheresse). (cfr. Tableau 15).

Le fait de considérer toutes les parcelles pour lesquelles l’équipe a obtenu des informations sur l’irrigation ou uniquement les parcelles initialement considérées comme étant des parcelles irrigables produit des résultats sensiblement différents. Les deux premières variables présentées dans le tableau ci-dessous sont en termes absolus, les deux dernières en termes relatifs.



Tableau 15 - Test de différence de moyennes pour les variables ‘irrigation’

Variables Année de référence Groupe de traitement

(T)

Groupe de

contrôle

(C)

Résultats du test de différence de

moyennes

Superficie totale irriguée (T: 129obs /C: 102 obs)

2003-04 3.79 ha 4.65 ha pas significatif

Année de crue la +forte post-projet

3.59 ha 5.05 ha **

2011-12 1.54 ha 0.59 ha **

Superficie totale irriguée

pour les parcelles identifiées irrigables

(T : 68 obs / C : 51 obs)

2003-04 2.00 ha 3.13 ha *

Année de crue la

+forte post-projet 1.87 ha 3.95 ha ***

2011-12 0.46 ha 0.13 ha *

Proportion moyenne de la superficie irriguée par parcelle (T : 86 obs / C : 77 obs)

2003-04 77 % 63 % *


77 % 65 % **

2011-12 35 % 14 % ***

Proportion moyenne de la superficie irriguée par

parcelle identifiée irrigable (T : 41 obs / C : 38 obs)

2003-04 87 % 82 % pas significatif


91 % 88 % pas significatif

2011-12 28 % 9 % **

*, **, *** indique, respectivement, un niveau de significativité à 10%, 5% et 1%.

Les deux premiers résultats indiquent, qu’en moyenne, le groupe de contrôle irrigue une surface totale supérieure au groupe de traitement pour la période pré-projet et la période de forte crue. Pour la période de sécheresse (2011-2012), la superficie moyenne irriguée chute dans les deux groupes et la situation s’inverse : le groupe de traitement irrigue en moyenne une plus grande surface que le groupe de contrôle. La différence est d’un ha à un tiers d’ha, selon que l’on considère la totalité des parcelles ou uniquement les parcelles identifiées comme irrigables.

Si l’on observe la proportion des terres irriguées pour l’ensemble des parcelles dont on dispose d’information sur l’irrigation (cfr. avant dernière ligne du tableau 15), il apparaît qu’en moyenne le groupe de traitement est capable d’irriguer une plus forte proportion de ses terres. Cette différence est significative pour les trois années. Lorsqu’on se concentre sur les parcelles initialement déclarées comme parcelles irrigables, une différence significative s’observe uniquement pour la période de sécheresse (2011-12). Notons toutefois qu’en période de sécheresse (2011-12) la proportion de la surface irriguée chute drastiquement dans les deux groupes.

Ensuite deux modèles économétriques furent estimés sur les variables de superficie

totale irriguée : une estimation d’un modèle de différence-en-différence, et une estimation utilisant la technique du PSM.

L’estimation du modèle de différence-en-différence indique que le traitement à un effet significatif pour la variable mesurant la superficie totale irriguée si l’on compare la différence entre le groupe de traitement et le groupe de contrôle entre les périodes ‘année de plus forte crue depuis 2007’ et ‘année de sécheresse en 2011-2012’. Aucun effet du traitement n’est observé lorsqu’on compare la différence entre le groupe de traitement et le groupe de contrôle, entre les périodes ‘pré-projet’ et ‘année de plus forte crue’.

La technique du PSM a été appliquée sur les données pour les années de référence post-projet pour les variables mesurant la superficie totale irriguée. Cette technique présente l’avantage de comparer des ménages comparables (cfr. partie méthodologie). Les


résultats obtenus confirment les résultats de l’estimation de différence-en-différence (cfr. tableau 16, ci-dessous) : pas d’effet du traitement sur la capacité à irriguer en période de crue (année de la plus forte crue après l’implémentation du projet) mais un effet positif et significatif à 5% du traitement pour l’année de sécheresse (2011-12). L’effet est positif dans le sens où le groupe de traitement résiste mieux à la période de sécheresse : la superficie irriguée du groupe de traitement est plus importante que celle irriguée par le groupe de contrôle. Plus précisément, le groupe de traitement irrigue en moyenne une superficie estimée à 1.6ha contre 0.75 ha pour le groupe de contrôle en période de sécheresse, la différence moyenne de 0.84 ha est significative à 5%.

Tableau 16 - Résultats des estimations par la méthode du PSM

Année Variables Coefficient Signe Significativité Nbr.

d’obs.

Année de

plus forte crue

superficie totale irriguée / + pas significatif 226

superficie totale irriguée des parcelles identifiées

irrigables

/ + pas significatif 111

Année de sécheresse (2011-12)

superficie totale irriguée 0.84 + 5% 226

superficie totale irriguée des parcelles identifiées irrigables

0.44 + 5% 111

Une explication possible à ces constats est que grâce au projet, le groupe de traitement a une meilleure gestion de la répartition de l’eau sur les parcelles, et cela spécialement en période de faible pluviométrie. Le projet n’aurait pas d’effet en période de crue, car la gestion de la répartition de l’eau est moins problématique lorsqu’il pleut en suffisance.

Une autre explication sans lien avec le projet est possible. Les ménages du contrefactuel

se situent uniquement sur des périmètres d’un affluent de l’Oued principal, alors que les ménages du groupe de traitement se trouvent en majeure partie sur l’Oued principal. Cela a pour conséquence qu’en période de sécheresse, les premiers ont tout simplement moins d’eau que les seconds. Cependant, même si la technique du PSM ne peut tenir compte de cette différence intrinsèque possible, l’estimation selon le modèle de différence-en-différence contrôle pour toutes les données non-observables qui n’évoluent pas dans le temps. La quantité d’eau qui arrive sur chaque périmètre est non-observable. Elle peut néanmoins être approximée par la position de chaque périmètre, mais l’estimation n’en tient pas compte, elle fait donc partie des non-observables qui n’évoluent pas à travers le temps. Par conséquent, l’équipe est relativement confiante quant aux résultats trouvés et à l’attribution de ce résultat au projet moyennant le fait que le mode d'exploitation agricole soit réellement comparable (cfr. précaution dans l’interprétation).

Tests de l’hypothèse 3 : Mise en culture des terres irrigables

Hypothèses 3

Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient pouvoir cultiver une plus grande proportion de leurs terres irrigables

Constats

Les analyses ne permettent pas de conclure en faveur d’un effet du projet sur la capacité des ménages bénéficiaires à mettre en culture une proportion plus importante de leurs terres irriguées.

Le tableau 17 montre qu’il n’existe pas de différence significative entre la proportion moyenne de la superficie cultivée par parcelle du groupe de traitement et celle du groupe de contrôle, sauf en période de sécheresse (2011-12). Le fait que cette



différence ne soit pas significative lorsqu’on considère uniquement les parcelles identifiées comme irrigables peut être dû au faible nombre d’observations (car la différence est quand même de 12 points de pourcentage en 2011-12, alors qu’il n’y a pas de différence pour les autres années).

Tableau 17 - Test de différence de moyennes pour les variables ‘mise en culture des terres irrigables’

Variables Année de référence Groupe de traitement

(T)

Groupe de contrôle

(C)

Résultats du test de différence de

moyennes

Proportion moyenne de la superficie cultivée par parcelle

(T : 86obs / C:77 obs)




2011-12 42 % 28 % **

Proportion moyenne de la superficie cultivée par parcelle identifiée irrigable (T : 41obs / C:38 obs)






Les estimations économétriques n’ont été réalisées que pour les variables de superficies totales irriguées mises en valeur. Les résultats de ces estimations ne sont pas robustes (cfr. annexe 7 ‘analyse quantitative39’).

Les résultats de l’analyse des données collectées ne permettent pas de conclure qu’il existe un effet du projet sur la capacité des bénéficiaires à mettre en culture une plus grande surface de leurs terres irrigables. Bien qu’une différence soit observée entre les deux groupes en période de sécheresse, celle-ci n’est pas toujours significative.

Les données collectées ne permettent pas de contrôler pour toute une série de facteurs

ayant une influence sur la mise en culture des parcelles (intrants agricoles : force de travail, engrais, disponibilité de matériel, rétention d’eau…).

Notons néanmoins que le projet pourrait avoir un effet sur la capacité de mise en culture des parcelles irrigables en période de sécheresse. En effet, les sols des périmètres réhabilités pourraient potentiellement retenir plus d’eau grâce à la meilleure gestion de l’eau, et donc être plus facilement mis en culture, surtout en période de sécheresse.

Tests de l’hypothèse 4 : Abandon/diminution de l’activité agricole

Hypothèses 4

Le projet PMH peut atténuer l’abandon de l’activité agricole ou la réduction de cette dernière. Concrètement, le groupe de traitement devrait présenter un plus faible nombre de parcelles dont l’exploitation a été abandonnée.

Constats

Les analyses ne permettent pas de conclure que le projet ait eu un effet positif sur le maintien ou l’abandon de l’activité agricole lorsque l’abandon de l’activité agricole est approximé par le nombre de parcelles qui étaient exploitées avant intervention (2003-04) et qui ne le sont plus aujourd’hui. En revanche, une simple différence de moyenne indique que le nombre de parcelles abandonnées est plus important dans le groupe de contrôle. La principale raison

39 Un résultat est considéré ‘robuste’ s’il se maintient pour différentes méthodes d’estimation économétrique

et/ou pour différentes spécifications (c.-à-d. suite à l’inclusion ou au retrait de certaines variables dans le

modèle estimé pour une méthode économétrique donnée).


invoquée pour cet abandon est la sécheresse ; elle est invoquée dans une plus forte proportion dans le groupe de contrôle.

La quatrième hypothèse est que le groupe de traitement bénéficierait grâce au projet de conditions plus favorables au maintien (peut-être même expansion) de l’activité agricole. Par conséquent, l’équipe s’attend à ce que la réduction de l’activité agricole y soit plus faible. Afin de tester cette hypothèse, l’équipe utilise comme indicateur le nombre de parcelles qui étaient exploitées avant le projet (2003-04) et qui ne le sont plus au moment de l’enquête. Les résultats sont présentés dans le tableau 18, ci-dessous.

La différence entre les deux groupes est significative à 1%: le nombre de parcelles qui

ne sont plus exploitées aujourd’hui alors qu’elles l’étaient en 2003-04 (pré-projet) est plus important dans le groupe de contrôle que dans le groupe de traitement. Il eut été possible d’utiliser la surface moyenne agricole abandonnée comme indicateur pour tester cette hypothèse. Cependant, comme les parcelles du groupe de contrôle sont en moyenne plus grandes que celles du groupe de traitement, et que le groupe de contrôle abandonne en moyenne plus de parcelles, le résultat irait dans le même sens.

Tableau 18 - Nombre moyen de parcelles qui ne sont plus mises en culture depuis 2003-04

Variable Groupe de

traitement (T)

Groupe de

contrôle (C)

Résultats du test de

différence de moyennes

Nombre moyen de parcelles

abandonnées depuis 2003-

04

2.8 parcelles 4.3 parcelles ***


L’équipe s’est également interrogée sur les raisons de l’abandon de l’exploitation de ces

parcelles. Il apparaît que la sécheresse est la première raison évoquée. Celle-ci est davantage évoquée dans le groupe de contrôle : 75% des agriculteurs dans le groupe de contrôle contre 58% dans le groupe de traitement. Cette différence est significative dans le sens où il existe une relation entre la principale raison évoquée et le fait d’appartenir ou non au groupe de traitement (rejet de l’indépendance entre les deux variables à 1%).

La méthode du PSM ne permet cependant pas d’attribuer cette différence au traitement. En effet, quand on compare des individus similaires, le traitement ne semble pas avoir d’impact sur l’abandon de parcelles agricoles.

Tests de l’hypothèse 5 : Nombre de récoltes par saison

Hypothèses 5

Les agriculteurs ayant bénéficié d’installations hydro-agricoles bétonnées (seuils de dérivation et canaux d’irrigation) devraient pouvoir exploiter leurs terres sur une plus longue période, ce qui devrait leur permettre d’avoir un plus grand nombre de récolte par saison agricole.

Constats

Les analyses ne permettent pas de conclure que le projet ait pour effet d’accroître le nombre de récoltes par saison agricole pour les bénéficiaires.

La cinquième hypothèse est que l’amélioration des installations hydro-agricoles devrait

permettre un allongement de la saison agricole. Ceci devrait se traduire par un plus grand nombre de récoltes par saison agricole. L’irrigation pourrait être plus intense (plus d’eau qui stagne) sans pour autant irriguer de plus grandes superficies. Ceci pourrait avoir un effet sur la production notamment via davantage de récoltes.

Le Tableau 19 montre que le groupe de traitement est caractérisé par un plus grand nombre moyen de récoltes pour les trois années de référence ou uniquement pour l’année de sécheresse selon que l’on considère toutes les parcelles ou uniquement les parcelles identifiées comme parcelles irrigables. En année de sécheresse, il existe une



diminution du nombre de récoltes dans les deux groupes mais dans une moindre mesure dans le groupe de traitement.

Cependant, le modèle de différence-en-différence et le modèle du PSM ne concluent pas à l’existence d’un effet du traitement40. La différence observée au niveau des différences de moyennes ne peut donc pas être attribuée au projet.

Tableau 19 - Nombre moyen de récoltes

Variables Année de

référence

Groupe de

traitement (T)

Groupe de

contrôle (C)

Résultats du test

de différence de

moyennes

nombre moyen de récolte

(T : 73 obs / C:52 obs)

2003-04 1.70 récoltes 1.17 récoltes **

2007-08 1.53 récoltes 1.16 récoltes **

2011-12 0.82 récolte 0.07 récolte ***

nombre moyen de récoltes

sur les parcelles identifiées

irrigables

(T : 51 obs / C :46 obs)

2003-04 1.71 récoltes 1.38 récoltes pas significatif

2007-08 1.63 récoltes 1.35 récoltes pas significatif

2011-12 0.77 récoltes 0.12 récolte ***


Tests de l’hypothèse 7 : Revenus issus de l’activité agricole

Hypothèse 7

Les bénéficiaires du projet PMH, grâce à une amélioration de leurs capacités en termes d’activités agricoles devraient voir leurs revenus provenant de l’activité agricole augmenter en proportion de leur revenu total.

Constats

Les analyses indiquent que le projet a eu un effet sur la proportion des revenus agricoles des ménages bénéficiaires en période de crue comme en période de sécheresse. Cette part représenterait en moyenne 40% pour les bénéficiaires en période de crue contre 26% pour les non-bénéficiaires ; et respectivement 19% et 7.5% en période de sécheresse.

L’équipe a demandé aux répondants de lister les différentes sources de revenu de la concession et d’estimer la proportion des revenus agricoles dans les revenus totaux pour les trois années de référence : 2003-04 (pré-projet), année de la plus forte crue (post-projet), et 2011-12 (sécheresse, post-projet).

La septième hypothèse est que les installations dont bénéficient le groupe de traitement

devraient améliorer leur potentiel en termes de production agricole et in fine, augmenter leurs revenus d’origine agricole. Par conséquent, ceteris paribus, la proportion des revenus issus de l’activité agricole devraient représenter une plus grande part des revenus totaux de la concession. Rappelons qu’il n’a pas été possible de mesurer la productivité lors de l’enquête de ménages.

Tout d’abord, une comparaison de moyennes indique que dans le groupe de traitement, la proportion moyenne des revenus totaux provenant de l’activité agricole a augmenté de la période avant-projet à la période après projet (passant d’environ 34% à environ 40%) et a ensuite chuté l’année de sécheresse en 2011-12 (19%). Le groupe de contrôle, quant à lui, affiche une baisse continue (30.5% en 2003-04 à 28.5% en 2007-08) avec une chute drastique en 2011-12 (9%). Notons aussi que seul 1% des

40 Les résultats ne sont pas produits dans le présent rapport.


agriculteurs dans le groupe de contrôle et 5% dans le groupe de traitement vivent exclusivement de l’agriculture.

Le tableau 20 indique que le groupe de traitement a une plus grande proportion de ses revenus provenant d'activités agricoles. La différence en termes de pourcentage du revenu total provenant d'activités agricoles entre les deux groupes n'est pas significative en période pré-projet (2003-2004). Par contre en période post-projet, cette différence devient significative : à 1% en 2007-08 et en 2011-12.

Tableau 20 - Proportion des revenus agricoles dans les revenus totaux

Variables Année de

référence

Groupe de

traitement

(T)

Groupe de

contrôle

(C)

Résultats du test de

différence de

moyennes

Proportion moyenne des

revenus agricoles dans les

revenus totaux

(T :118obs/C : 101obs)

2003-04 34.3% 30.5% pas significatif

année de la

plus forte crue 39.8% 28.6% ***

2011-12 18.9% 9.0% ***


Les estimations économétriques ne donnent pas les mêmes résultats.

- Le modèle de différence-en)différence ne permet pas de conclure à un effet

significatif (bien que proche d’être significatif à 10%) du projet sur la proportion des

revenus issus de l’agriculture dans les revenus totaux.

- La méthode du PSM conclut qu’il existe un effet significatif (à 1%) du traitement sur

la proportion du revenu total provenant de l’activité agricole aussi bien pour l’année

de la plus forte crue depuis l’implémentation du projet que pour l’année 2011-12. Cet

effet est positif dans le sens où le groupe de traitement est caractérisé par une

proportion plus élevée des revenus agricoles que le groupe de contrôle. Plus

précisément, en période de crue, la proportion des revenus agricoles atteint près de

40% des revenus totaux pour le groupe de traitement contre 26% pour le groupe de

contrôle (différence de 14 points de pourcentage) ; en période de sécheresse, ces

pourcentages sont respectivement de 19% versus 7.5 % (différence de 11.5 points

de pourcentage).

Tableau 21 - Résultats des variables ‘revenus’ via la méthode du PSM

Année Variables Coefficient Signe Significativité Nbr.

d’obs.

Année de

plus forte

crue



revenus totaux

14 + 1% 218

2011-12



revenus totaux

11.5 + 1% 218

Une explication potentielle est que grâce à une meilleure maîtrise de l’eau possible depuis le projet, le groupe de traitement a une meilleure productivité sur ses terres tant en période de crue qu’en période de sécheresse. Cela implique une plus grande part des revenus provenant de l’activité agricole pour les bénéficiaires. Ce point mériterait d’être approfondi afin de comprendre le lien entre ce constat et l’irrigation de crue.



Tests de l’hypothèse 11&12 : Satisfaction liée à l’activité agricole et à d’autres domaines connexes

Hypothèses 11 & 12

Comparativement aux agriculteurs qui n’ont pas connu de réhabilitation de leur système d’irrigation, les bénéficiaires du projet devraient être davantage satisfaits par rapport à une série de questions qui relèvent de l’activité agricole et à une série de questions connexes.

Constats

Une analyse statistique de données qualitatives indique que le groupe de traitement exprime une satisfaction plus importante à propos d’une série de dimensions étant directement liées aux réalisations du projet PMH (capacité à irriguer, à constituer des stocks, à conserver les sols, à augmenter ses revenus…). Néanmoins, la proportion de bénéficiaires satisfaits est nettement inférieure à la proportion présentée dans le rapport final de la CTB. Ceci pourrait s’expliquer par le fait que les bénéficiaires du projet se sentaient à ce moment-là redevable et qu’ils ont été plus positifs qu’en temps normal.

Les onzième et douzième hypothèses que l’équipe propose de tester est que pour une

série de dimensions qui touchent à l’activité agricole et à la vie courante le groupe de traitement conclut à une plus grande satisfaction sur la période des cinq années qui précèdent l’enquête de 2012 (c.-à-d. les années qui se sont écoulées depuis la fin du projet).

Le questionnaire demande aux agriculteurs de situer sur une échelle allant de 1 à 5 leur niveau de satisfaction par rapport à leur pratique agricole et des thèmes en lien avec les réalisations du projet : l’augmentation des superficies irriguées, la diversification des cultures, la conservation des sols, le respect mutuel du droit à l’eau, la capacité à irriguer les parcelles lors des crues, l’état actuel du système d’irrigation… Une variable dichotomique a ensuite été créée pour rendre compte de la satisfaction. Cette variable prend la valeur 1 dans le cas où la valeur déclarée sur l’échelle de satisfaction est supérieure à 3 (donc 4 ou 5).

Le Tableau 22 montre que le groupe de traitement exprime être davantage satisfait par rapport au groupe de contrôle pour une série de dimensions envisagées dans le questionnaire. En revanche, la saisonnalité des revenus n’est pas jugée significativement différente entre les groupes. L’évolution des conflits liés à l’eau ne varie pas d’un groupe à l’autre. Notons toutefois que contrairement aux statistiques présentées pour la période post-projet dans le rapport final de la CTB, une minorité de personnes disent être satisfaits dans les domaines qui auraient dû être influencés par les réalisations du projet.

Tableau 22 - Proportion de ménages satisfaits par rapport à différents éléments

liés à l’activité agricole ou de la vie.

Variables Groupe de

traitement

Groupe de

contrôle

Niveau de

significativité

Augmentation des superficies irriguées 37% 15% ***

La diversification des cultures 33% 20% **

La conservation des sols 38% 24% **

La capacité à irriguer lors de crues 54% 23% ***

L’état actuel du système d’irrigation 29% 16% **

Les réalisations collectives du village 35% 24% *

Les réalisations collectives du périmètre 32% 21% *

Le respect mutuel du droit à l’eau 46% 31% **

La capacité à augmenter ses stocks 26% 7% ***

La capacité à augmenter ses revenus 29% 6% ***

La capacité à consommer plus 41% 15% ***

La capacité à consommer mieux 30% 13% ***

Plus facilement fait face à problème de santé 24% 13% **

Plus facile de poursuivre des études 26% 12% **



5.4.3 Atteinte de l’impact attendu

Encadré 6 – Résumé de la réponse de l’atteinte de l’impact.

Cette analyse permet de conclure que si le projet produit des effets positifs sur les bénéficiaires directs, la réduction de l’exode rural est l’amélioration des conditions sociales dans la région ne seraient que marginalement affectées étant donné le faible nombre de bénéficiaires.

Par contre, si l’on considère l’effet sur les agriculteurs concernés par l’irrigation de crue

dans la province, l’effet potentiel est significatif même si cela ne représente pas grand chose au niveau du pays.

Deux effets inattendus ont également été identifiés. Certains systèmes d’irrigation réhabilités ont été prolongés, et le projet aurait contribué à recharger les nappes phréatiques.

L’objectif global affirmé du projet, tel que repris dans les différents documents, est d’ « assurer les revenus et la stabilité des agriculteurs de la région ». Il a toutefois été proposé de revoir la logique d’intervention et l’élargir aux effets induits au-delà des bénéficiaires immédiats, par exemple au niveau de la région ou du pays. Dans cette perspective, un double impact a été défini: (i) l’amélioration des conditions sociales de la population de la province de Tiznit (indépendance financière, éducation, santé, habitat, etc.) ; et (ii) la diminution de l’exode rural dans cette même province. L’amélioration des revenus, ainsi que des conditions sociales des agriculteurs bénéficiaires immédiats, et leur stabilisation, ont, elles, déjà été analysées ci-dessus parmi les « outcomes » de niveaux 4 ou 5.

Idéalement pour se prononcer sur l’impact du projet, il faudrait analyser des données

socio-économiques de la province de Tiznit pour en apprécier l’évolution et examiner si des changements ont été constatés depuis la fin du projet. Cette analyse n’a pas été réalisée par manque de temps et de disponibilité de données à ce niveau de détail. A noter qu’une telle analyse n’aurait pas permis de vérifier formellement l’attribution aux effets du projet.

Ceci étant, il est toutefois possible de se faire une idée de l’impact potentiel du projet au-delà de ses bénéficiaires immédiats, en regardant l’étendue du projet. Ceci peut par exemple être fait en termes de superficie irriguée ou de population touchée. Le tableau ci-dessous fournit ce type de comparaison pour la superficie irriguée. Il en ressort que l’impact potentiel du projet est proportionnellement très limité au niveau national.

Par contre, il est susceptible de toucher une bonne partie de la superficie irriguée dans la province de Tiznit. La superficie irrigable du projet (2.585 ha d’après son rapport de formulation)41 représente en effet, au niveau de la province de Tiznit (approximations sur base des données disponibles) :

- ~20% des terres agricoles de la province de Tiznit (~12,700 ha)42 ; - ~57% des petits périmètres irrigués dans la plaine de Tiznit (~4550 ha

= ~900 ha par les eaux de source et ~3650 ha par les eaux de crue)43 ; - ~71% des petits périmètres irrigués par épandage des eaux de crue dans

la plaine de Tiznit (~3650 ha)44.

41 Coopération Technique Belge, non daté. Rapport de Formulation PMH Tiznit, p. 5.

42 Ibid.

43 Royaume du Maroc, Ministère de l’Énergie, des Mines, de l’Eau et de l’Environnement, 2002. Les Bassins

Hydrauliques du Maroc. Le Bassin Hydraulique de Tiznit-Ifni, p. 368.

44 Ibid.



Au niveau du Maroc, la superficie irrigable du projet est marginale :

- ~0,2% des terres irriguées au Maroc (~1 664 250 ha)45 ; - ~0,3% des PMH irrigués au Maroc (~784 090 ha)46 ; - ~0,9% des terres irriguées par crues au Maroc (~300 000 ha)47 ;

En termes de population, le projet visait à toucher 11.000 personnes pour 1.800 foyers, d’après le rapport de formulation.48 Ceci représente environ 4% de la population du bassin de Tiznit-Ifni (~311 600 habitants) ou 5.7% de sa population vivant en milieu rural (~193 200 habitants)49. Au niveau national, cela représente environ 0,04% de la population marocaine (29 680 069 habitants en 2004)50.

Enfin, ajoutons qu’il ressort des missions de terrain que le projet a eu deux effets inattendus qui ont produit des bénéfices au-delà de la zone d’intervention (voir Q6) :

Les systèmes réhabilités ont été prolongés. Dans les périmètres amont, la mission de terrain a constaté la construction d’extension au réseau permettant d’élargir le périmètre. Il n’a pas été possible de savoir si cette prolongation était réalisée au bénéfice de nouveaux agriculteurs.

Le projet a un effet positif sur la recharge des nappes phréatiques. Cet impact

mériterait d’être étudié pour en apprécier l’ampleur.

45 Spate Irrigation Network, 2011. Spate Irrigation in Morocco, Overview Paper Spate Irrigation #6, p. 4.

46 Ibid.

47 Ibid.

48 Coopération Technique Belge, non daté. Rapport de Formulation PMH Tiznit, p. 5.

49 Royaume du Maroc, Ministère de l’Énergie, des Mines, de l’Eau et de l’Environnement, 2002. Les Bassins

Hydrauliques du Maroc. Le Bassin Hydraulique de Tiznit-Ifni, p. 368.

50 Ibid.


5.5 Durabilité – Q5

Dans quelle mesure les « outcomes » et l’impact ont-ils une chance d’être durables dans le temps?

Cette question vise à évaluer la durabilité des effets du projet. L’attention donnée à la

durabilité lors de la conception du projet est tout d’abord étudiée. La question porte ensuite sur l’appropriation du projet par les bénéficiaires et leur capacité de faire perdurer les effets, et sur l’appropriation par les autorités locales et nationales.

Encadré 7 – Résumé de la réponse à la Q5 (Durabilité)

Les conditions ne sont pas réunies pour assurer la durabilité du projet.

Si formellement, la durabilité a bien été prise en compte dans la phase de formulation, celle-ci est très limitée notamment en termes de participation des agriculteurs, et d’appui aux AUEA.

L’implication des bénéficiaires dans les différentes phases de mise en œuvre a été limitée à la consultation et à la concertation mais les agriculteurs sont dans une position attentiste. Par contre, le choix de travailler sur base d’infrastructures existantes est un point positif qui a favorisé l’acceptation du projet dans la plupart des périmètres.

Les bénéficiaires (agriculteurs et AUEA) n’ont pas la capacité technique et financière

pour gérer les infrastructures de manière à garantir leur durabilité.

Il n’y a pas de stratégie systématique de suivi des AUEA et de maintenance des infrastructures au niveau des autorités.

5.5.1 La prise en compte de la durabilité lors de la conception du

projet ?

La phase de formulation a intégré la dimension de la durabilité: Parmi les objectifs du projet, trois intègrent des mesures en faveur de la pérennisation des « outputs » du projet, telles que :

l’appropriation des aménagements hydro agricoles par les utilisateurs ainsi que leur implication (« Les aménagements hydro agricoles sont bien protégés en concertation avec les utilisateurs ») ;

leur sensibilisation aux bonnes méthodes d’irrigation (« Les utilisateurs de l’eau sont sensibilisés aux bonnes méthodes d’irrigation ») ;

la gestion après-projet (« La gestion après projet est assurée»).

Sur ce dernier point, il était prévu que la pérennisation des « outputs » du projet soit prise en charge par les associations des usagers des eaux agricoles (AUEA) qui géreraient les ouvrages et les plantations sur leurs territoires de compétence. Ainsi des activités pour assurer leur durabilité organisationnelle et financière ont fait partie du projet, bien qu’elles n’aient pas formé un axe principal du projet.

Il était également prévu, sans autres précisions, qu’une étude de l’impact socio-économique de la prestation de coopération « donne des éléments de la durabilité des actions » ; cette étude n’a cependant pas été réalisée.



5.5.2 L’implication des bénéficiaires dans les différentes phases du projet et appropriation des effets ?

Les bénéficiaires ont été impliqués dans les phases de formulation, d’exécution et de suivi du projet mais cela s’est limité à de la consultation/concertation :

les acteurs principaux de l’intervention étaient présents à l’atelier de planification des

interventions par objectifs (PIPO 5) de deux jours fin avril 1999 ;

les AUEA, soit des associations d’usagers, sont chargées de gérer les ouvrages et les plantations sur leurs territoires de compétence ;

« 74% des agriculteurs bénéficiaires des actions du projet ont été consultés avant et pendant l’exécution du projet » (d’après l’exercice d’auto-évaluation). Le rapport d’auto-évaluation mentionne par ailleurs que la construction des ouvrages d’arts (chutes, décharges, vannes, passerelles) a été effectuée en concertation avec la population.

« La DP [Direction Provinciale] est ouverte et à l’écoute de toute suggestion et

requête émanant des bénéficiaires, et intervient dans les limites des possibilités offertes par le volet technique et financier du projet ». (exercice d’auto-évaluation).

Il ressort de la mission de terrain que le projet a été bien accepté par les populations dans la mesure où il s’est inscrit dans la continuité. Le projet a réhabilité les ouvrages traditionnels existant, sans créer particulièrement de nouvelles infrastructures. Ceci a permis une acceptation aisée des actions du projet, d’éviter des problèmes fonciers, de partage des terres et des contraintes d’héritages. Les ouvrages se sont alignés dans la tradition, avec le maintien du système traditionnel de distribution de l’eau et des approches ancestrales de dérivation des eaux de crue. Les populations ont donc pu adhérer rapidement au projet, ce qui a pu favoriser l’appropriation.

Cependant, les populations ont été méfiantes vis-à-vis de l’administration des eaux et forêts, comme il ressort des missions de terrain. Les agriculteurs craignent qu’en autorisant des plantations sur leurs terres, celles-ci n’en changent le statut et que ces terres soient au final accaparées par l’administration en domaine public. Les plantations n’ont donc pas toujours reçu l’accord des populations et l’impact sur les résultats de cette campagne s’en fait ressentir.

Les bénéficiaires n’entretiennent par ailleurs pas (suffisamment) les systèmes

d’irrigation, à cause de la faiblesse des AUEA et d’un effet pervers d’attentisme :

Les évaluateurs ont observé durant la mission de terrain que les AUEA ne sont que très peu ou pas opérationnelles, et qu’elles n’ont pratiquement aucune capacité financière. (cf. Q3 - Output attendu 7) ;

Tout est pratiquement subsidié dans le monde agricole et de l’élevage, dans une perspective sociale. Les évaluateurs ont observé que ceci entraine souvent une attitude attentiste des populations. A titre d’exemple, des bénéficiaires ont tendance à attendre une nouvelle intervention de la DPA pour l’arrosage des arbres fruitiers, alors que cette intervention n’est pas prévue. Le périmètre de Sidi Daoud semble cependant une bonne exception où la population est prête à investir dans les travaux de réfection de son ouvrage de prise.


5.5.3 La capacité (technique et financière) des bénéficiaires à faire perdurer les effets du projet ?

Les activités prévues pour renforcer des capacités des bénéficiaires étaient relativement marginales dans la conception du projet et ont de plus été réalisées en deçà du niveau prévu.

Les principales activités de capacitation des bénéficiaires concernaient le renforcement des AUEA et la formation des agriculteurs. Comme expliqué dans la section 5.3.1 ci-dessus, le rapport d’auto-évaluation de la CTB mentionne que l’atteinte des objectifs des activités de formation et de sensibilisation des agriculteurs liées à l’adaptation des pratiques culturales à la conservation des sols et aux bonnes méthodes d’irrigation n’a pas été complète, car elle « aurait nécessité des moyens plus importants et des formations plus longues, sinon une méthode d’intervention différente » et que « seul un nombre limité a été choisi parmi les membres des bureaux des AUEA et les éléments dynamiques qui peuvent épandre cette formation, par la suite, aux autres agriculteurs ». A la fin du projet, le taux de représentation et le fonctionnement des AUEA étaient encore imparfaits, comme détaillé ci-dessus dans la section 5.3.2 (sous l’output 7).

Le Rapport d’auto-évaluation estimait que « Les bénéficiaires sont organisés, autonomes et sensibles aux techniques d’irrigations et de mise en culture et ont pris en charge les ouvrages réalisés. Ainsi on peut avancer que la durabilité du projet est assurée ». Le rapport final de la CTB concluait, lui, que même si les capacités d’organisation des agriculteurs avaient été développées par des actions de formation, les deux voyages d’étude et leur implication dans les chantiers conduit en régie, les résultats eussent été « beaucoup plus intéressants si on avait investi davantage dans les formations et la sensibilisation ».

Le rapport final de la CTB indiquait comme activités générales pour faire perdurer les

apports du projet que «les aménagements réalisés doivent être maintenus en bon état de fonctionnement, moyennant un bon gardiennage, la maintenance et l’entretien périodiques des équipements, une organisation des bénéficiaires et une bonne gestion des irrigations » et que « la préparation des parcelles à l’irrigation par les opérations de défoncement du sol suivies de confection de diguette, les plantations et les mises en cultures se poursuivront dans les années à venir ».

Contrairement au rapport d’auto-évaluation (voir point 5.4.1), les constats de la mission concernant les capacités des bénéficiaires (AUEA et agriculteurs) indiquent qu’ils n’ont pas les capacités techniques et financières de gérer adéquatement les infrastructures pour garantir leur durabilité.



5.5.4 La volonté et la capacité des autorités locales et nationales dans la pérennisation des effets du projet ?

L’implication des autorités locales et nationales a été forte d’après les documents de projet, sachant que les autorités marocaines étaient fortement impliquées dans la décision sur la nature de la coopération et dans sa mise en œuvre. Dans le cadre du projet, la prestation de coopération a été effectuée entièrement sous cogestion, avec le Centre de Travaux de Tiznit dépendant de la Direction Provinciale de l’Agriculture du Ministère de l’Agriculture, du Développement Rural et des Eaux et Forêts comme responsable de l’exécution de la prestation. La contribution marocaine au projet s’est élevée à 32 % (18.280.000 BEF) du montant total, le reste étant pris en charge par la contrepartie belge.

Une discussion avec un membre de la DPA lors d’une mission de terrain fait craindre un manque de suivi. « A la DPA, dès qu’on a fini un projet, on passe à un autre », a-t-il déclaré, précisant que « il n’y a pas de mise en place de suivi ». Les missions de terrain n’ont pas observé de mécanisme de suivi particulier. Au contraire, des faiblesses ont par exemple été observées dans les capacités des AUEA, la formation des agriculteurs, etc.


5.6 Thèmes transversaux

5.6.1 Le genre

Dans quelle mesure les projets ont-ils eu des effets en termes de genre?

Encadré 8 – Résumé de la réponse des effets sur le genre

La dimension genre n’a pas été prise en compte dans ce projet.

Le rapport de formulation avait identifié des dimensions transversales genre. Mais

celles-ci étaient totalement déconnectées de la réalité du terrain (les femmes ne sont pas en charge de l’irrigation) et des actions envisagées n’ont pas été mises en œuvre.

Comme indiqué dans la logique d’intervention (cf. section 4), nous avions identifié les objectifs suivants dans le rapport de formulation en termes des dimensions transversales genre: gain de temps considérable pour les femmes (il n’était pas précisé quel en est le

bénéfice attendu : en termes d’éducation, de génération de revenus, de pénibilité, etc.?).

rôle accru des femmes dans les nouveaux circuits de commercialisation.

Comme signalé dans l’analyse de la logique d’intervention, ces dimensions paraissent

complètement déconnectées de la réalité du projet dans la mesure où premièrement les femmes ne sont pas en charge de l’irrigation et deuxièmement le projet n’avait pas d’actions dans la promotion de nouveaux circuits de commercialisation.

Les rapports de fin de projet indiquent une prise en compte clairement non satisfaisante de la dimension genre. L’appréciation générale de la dimension ‘genre’ dans le rapport final de la CTB est considérée « non satisfaisante » par la CTB ; le responsable national de l’exécution indiquait lui que cette dimension n’avait pas été prise en compte. Les rapports de fin de projet ne fournissent en effet aucune information sur le sujet. La mission de terrain confirme qu’il n’y a aucune preuve que le genre ait été une préoccupation du projet.

5.6.2 L’environnement

Dans quelle mesure les projets ont-ils eu des effets en termes d’environnement?

Ce thème a été traité au niveau de la question 4 (au point 5.4.1 « Outcomes », conservation des sols des surfaces agricoles irrigables et dans la question 5.4.3 Impact inattendu).

Encadré 9 – Résumé de la réponse des effets sur l’environnement

Les infrastructures mises en place ont contribué à réduire l’érosion dans la plupart des périmètres. Dans les périmètres mal conçus (Amzaourou), la situation s’est plutôt dégradée.

Concernant la protection biologique, sur base des observations de la mission de terrain,

il n’a pas été observé de protection biologique significative.

Il n’y a pas d’indication que le projet ait contribué de manière significative à une diversification au profit des cultures fruitières dans les périmètres irrigables.

L’impact du projet sur la recharge des nappes phréatiques est un impact inattendu positif qui mériterait une attention particulière.



Les objectifs suivants avaient été identifiés dans le rapport de formulation du projet en

termes de dimension transversale ‘environnement’ :

diminution de l’érosion au niveau des oueds et ravines existantes ;

protection biologique des talus des réseaux d’irrigation ; et

valorisation des parcelles par la plantation d’arbres fruitiers.

Selon le rapport d’auto-évaluation (2007), l’érosion aurait diminué à la fin du projet par la protection des canaux : « les aménagements réalisés (…) ont permis une protection des terres agricoles contre l’érosion hydrique » et « la majorité des agriculteurs installés en aval jugent que la protection mécanique et biologique a permis de stopper la dégradation du sol ». Ce jugement très positif doit être nuancé.

Logiquement, une meilleure maitrise des crues a un effet mécanique sur la protection des terres en aval en réduisant la violence des flux. Il suppose que les aménagements soient techniquement bien conçus ce qui est le cas sur la plupart des périmètres visités. Cependant sur certains périmètres et notamment le périmètre d’Amzaourou, le projet a plutôt contribué à renforcer les phénomènes érosifs.

Concernant la protection biologique, sur base des observations de la mission de terrain, il n’a pas été observé de protection biologique significative.

Le projet visait également à promouvoir de la diversification et des pratiques culturales adaptées à la conservation des sols. Toutefois, comme indiqué ci-dessus (sous les « outcomes » de niveau 1), il y a en fait peu de chance (et peu d’information indiquant) que le projet ait contribué à un tel changement de pratiques culturales.

L’appréciation générale de la dimension ‘environnement’ dans le rapport final de la CTB est considérée « non satisfaisante, malgré certains éléments positifs » par la CTB, alors qu’elle est jugée « satisfaisante » par le responsable national de l’exécution.


6. Conclusions

Avant de conclure, il convient de rappeler l’objectif de cette étude : apprécier les

effets ex post du PMH-Tiznit avec une approche méthodologique mixte

(qualitative et quantitative). La définition du terme ‘impact’ est loin d’être sans

équivoque. Ce constat soulève d’ailleurs un débat sur ce concept souvent utilisé mais pas

toujours avec les mêmes intentions. Le fait d’être ex post signifie que l’intervention est

« terminée ». Dans ce cas précis, le projet est fini depuis 2007.

Conclusion 1

A l’exception de la dimension technique, le projet PMH-Tiznit a été mal conçu bien qu’il se soit aligné sur le ‘Plan Maroc Vert’. En effet, l’implication des bénéficiaires n’est pas encouragée dans la politique du Maroc en matière de développement rural, la Belgique n’a pas remis cela en cause, les modalités de mises en œuvre n’étaient donc pas adéquates pour atteindre les objectifs recherchés. De plus, le projet a privilégié les réalisations physiques sans prendre en compte le contexte spécifique de l’irrigation de crue ainsi que ses risques.

Malgré que le projet ait été préparé en étroite collaboration avec les autorités

marocaines, la logique d’action n’est pas adéquate pour plusieurs raisons.

Le projet PMH-Tiznit s’aligne sur les politiques de développement rural du Maroc qui ne prônent pas, entre autres, l’implication des bénéficiaires, alors qu’il existe un large consensus pour considérer que ceci est critique pour le succès d’une intervention.

Une autre lacune dans la logique d’action est le manque de prise en compte des spécificités de l’irrigation de crue. En effet, l’irrigation de crue est davantage dépendante des bonnes conditions climatiques que d’autres types d’irrigation. La gestion de ces risques climatiques est au cœur des stratégies paysannes qui cherchent surtout à accroître la part non agricole de leurs revenus. Dans ce contexte spécifique, l’objectif même de stabilisation des revenus agricoles est discutable et le choix de soutenir une diversification agricole ne réduit pas la variabilité des revenus liée aux risques climatiques.

Conclusion 2

L’absence totale de préoccupation de l’impact attendu confirme que l’ensemble des parties prenantes a privilégié les réalisations physiques et le décaissement.

Il a été démontré que la logique d’intervention du projet PMH-Tiznit était faible et que les actions menées avaient peu de chances de mener à l’impact attendu.

De plus, les indicateurs retenus concernent essentiellement des indicateurs d’input et d’output. Le seul indicateur d’« outcomes » retenu, « augmentation de la surface irrigable », n’est pas utilisable étant donné son imprécision et l’absence de dispositif pour en mesurer l’atteinte. Il traduit une vision limitée des objectifs du programme.


Si la mesure de l’impact est bien explicitement prévue dans les documents de formulation, l’étude socio-économique n’a pas été réalisée et les gestionnaires du programme on décidé de ne pas mettre en œuvre de dispositif de suivi-évaluation.

Conclusion 3

Le volet infrastructures du projet a bien été réalisé et le niveau technique est

globalement correct. Pour les autres volets, même si sur base des rapports disponibles les actions ont été menées, elles ne se traduisent pas par des changements visibles.

Les activités prévues par le volet infrastructures ont été menées à bien et correspondent aux objectifs. Il n’est toutefois pas possible de distinguer ce qui relève de la première phase du projet (1996-1999) et ce qui relève de la deuxième phase (2005-2007).

Le niveau technique des installations est globalement correct. Le choix d’intervenir au niveau d’infrastructures d’irrigation traditionnelle a limité les risques d’implantation inadéquate et les problèmes fonciers. Par contre l’absence d’étude hydrologique précise et globale a conduit à des problèmes techniques sur quelques sites.

Le volet arboriculture, plus de plans que prévus ont été distribués et plantés. Cependant,

ce constat ne se traduit pas par des changements visibles, contrairement aux attentes étant donné le volume important de plants distribués. Par ailleurs, l’arboriculture est une spéculation risquée dans la région, étant donné les épisodes de sécheresses prolongées.

Pour les composantes de formations et d’appui aux AUEA, les activités prévues ont bien été réalisées selon les rapports d’évaluation. Les missions de terrain n’ont toutefois pas été en mesure de mettre en évidence des changements de pratiques au niveau des agriculteurs et au niveau des AUEA. La compétence et le dynamisme des AUEA sont faibles.

Conclusion 4

A travers le volet infrastructures, le projet a eu un impact positif sur les superficies irriguées en période de stress hydrique. Comparé aux agriculteurs non-bénéficiaires, les bénéficiaires du projet tirent une plus grande part de leur revenu de l’agriculture. Il n’y a toutefois pas de preuves que les volets diversification, formation et renforcement aient un impact et il est peu probable que ce soit le cas.

La mission de terrain a pu constater que le réseau était globalement fonctionnel mais

dépendant de la pluviométrie.

Les analyses économétriques montrent un effet positif et significatif sur les superficies irriguées en période de sécheresse. En période de crue, l’effet n’est pas observé.

L’analyse quantitative indique que les ménages bénéficiaires en période de crue comme en période de sécheresse tirent une plus grande proportion de leurs revenus de l’agriculture. Cette part représenterait en moyenne 40% pour les bénéficiaires en période de crue contre 26% pour les non-bénéficiaires ; et respectivement 19% et 7.5% en période de sécheresse.

Il n’y a pas de preuves que le projet ait contribué à une diversification des cultures et à

un changement de pratiques culturales et il est peu probable que ce soit le cas.

6. Conclusions


Conclusion 5

Le projet a des effets sur les agriculteurs dépendant de l’irrigation de crue dans la

province de Tiznit mais ils restent très marginaux bien que projet couvre 70% des terres irrigables de la province de Tiznit. En effet, le projet n’a touché qu’un petit nombre de bénéficiaires, il n’a donc que pas d’effet sur la réduction de l’exode rural et l’amélioration des conditions économiques et sociales dans la province.

Le projet a contribué à améliorer la situation des agriculteurs dépendant de l’irrigation de crue dans la province de Tiznit. Si on considère l’impact global, au niveau de la province de Tiznit, sur l’ensemble des agriculteurs concernés par l’irrigation de crue, la contribution du projet est significative dans la mesure où le projet a concerné plus de 70% des terres en irrigation de crue.

Par contre, la contribution aux objectifs globaux de réduction de l’exode rural et d’amélioration des conditions sociales dans la région ne sera que marginale étant donné le faible nombre de bénéficiaires.

En outre, deux effets inattendus ont été mis en évidence : (1) la poursuite de l’extension

des réseaux surtout dans les périmètres en amont et (2) l’effet positif sur la recharge des nappes phréatiques qui est théoriquement possible mais qui n’a pas été vérifié par des mesures objectives dans le cadre de cette étude. Cet impact mériterait d’être étudié plus spécifiquement pour en apprécier l’ampleur.

Conclusion 6

Les conditions ne sont pas réunies pour assurer la durabilité du projet.

Si formellement, la durabilité a bien été prise en compte dans la phase de formulation, celle-ci est très limitée notamment en termes de participation des agriculteurs, et d’appui aux AUEA.

L’implication des bénéficiaires dans les différentes phases de mise en œuvre a été limitée

à la consultation et à la concertation mais les agriculteurs sont dans une position attentiste. Par contre, le choix de travailler sur base d’infrastructures existantes est un point positif qui a favorisé l’acceptation du projet dans la plupart des périmètres. Les bénéficiaires (agriculteurs et AUEA) n’ont pas la capacité technique et financière pour gérer les infrastructures de manière à garantir leur durabilité. Il n’y a pas de stratégie systématique de suivi des AUEA et de maintenance des infrastructures au niveau des autorités.

Conclusion 7

Le projet n’a pas intégré la dimension du genre.

Le bilan du projet en termes d’impact environnemental est mitigé. Il y a des effets positifs des infrastructures sur l’érosion et potentiellement sur le rechargement des nappes phréatiques, mais, les volets de protection biologique des canaux et des terres cultivables n’ayant pas été bien réalisés (par entre autres, le volet de plantations d’arbres), les effets sont insatisfaisants.

Dans la phase d’identification, les pistes envisagées ne correspondaient aucunement aux réalités de terrain et dans la phase de mise en œuvre, il n’y a pas eu d’actions spécifiques ou d’actions transversales concernant le genre.


Les infrastructures mises en place ont contribué à réduire l’érosion dans la plupart des

périmètres. Dans les périmètres mal conçus (Amzaourou), la situation s’est plutôt dégradée.

La mission de terrain n’a par ailleurs pas observé de protection biologique significative. Et il n’y a pas d’indication que le projet ait contribué de manière significative à une diversification au profit des cultures fruitières dans les périmètres irrigables.

L’impact du projet sur la recharge des nappes phréatiques est un impact inattendu positif qui mériterait une attention particulière.


7. Leçons apprises

Leçon 1

Il est important de développer à tous les niveaux une culture «orientée résultats» (au sens « outcomes » et impact, et pas uniquement sur les « outputs ») et mettre en place les outils pour les mesurer.

Ce changement doit concerner toutes les étapes du cycle du projet depuis l’identification

jusqu’à la mise en œuvre et le suivi. Par rapport aux pratiques observées dans le cadre de ce projet, cela implique une amélioration de la logique d’intervention qui doit être plus cohérente et basée sur une bonne connaissance du contexte. Lors de la mise en œuvre, il ne faut pas privilégier le décaissement et les réalisations physiques mais l’atteinte des « outcomes » et la contribution à l’impact.

Pour mesurer les « outcomes » et l’impact plusieurs conditions sont nécessaires. La première condition est d’avoir un projet bien identifié comme cela est indiqué au point précédent. La seconde condition est la mise en place d’un dispositif de suivi-évaluation qui se préoccupe de la mesure des « outcomes » et de l’impact dès le début du projet.

La première condition pour être en mesure de démontrer les effets d’un projet est d’avoir des objectifs (« outcomes » et impact) explicites, cohérents avec les actions prévues. La clarté de la logique d’intervention résumée dans le cadre logique ainsi que l’existence d’indicateurs SMART et de valeurs cibles et de base sont particulièrement importants.

Une seconde condition est la mise en place de modalités pratiques de collecte de

données dès le début de l’intervention et tout au long de celle-ci.

Par ailleurs, une série de dispositions peuvent rendre plus crédible l’exercice de l’évaluation (malgré l’inexistence d’une attribution aléatoire du projet, conception d’évaluation reconnue comme la plus solide pour apprécier les effets attribuables à une intervention -randomized control trial-). Il est primordial de mener une enquête de base non seulement parmi les ménages qui seront bénéficiaires du projet mais également dans un groupe de contrôle qui sera identifié (grâce à une bonne connaissance du contexte) au préalable. Un suivi de ces deux groupes sera ensuite assuré via une observation de faits qui pourraient les influencer pendant et après la réalisation du projet, via une enquête réalisée peu de temps après la fin du projet (par exemple, après un an) et via une enquête plusieurs années après le projet si des questions de durabilité des effets du projet veulent être traitées. Cependant, la question de la durabilité n’est pas toujours facile et possible à traiter car sur une longue période d’autres éléments/acteurs ont pu intervenir ; il devient, par conséquent, difficile de tirer des conclusions claires. La démarche séquentielle de la collecte d’informations permet au chercheur de baser son analyse sur des données plus fiables dans la mesure où elles sont récoltées au moment des faits. Cette approche est scientifiquement préférée à la collecte de données de recall qui créent très probablement des biais dans les résultats. En effet, des erreurs de mesure sont à craindre car les données sont basées sur la mémoire des répondants.

La collecte de données à travers le temps permet également une meilleure connaissance du contexte. Cette dernière facilite ensuite l’interprétation des résultats.


En outre, si le projet est composé de plusieurs volets comme dans le projet PMH Tiznit (installations hydro-agricoles, plantations, formations aux pratiques agricoles et de gestion), il est primordial de réfléchir en parallèle à l’implémentation de ces différentes dimensions et au travail d’évaluation. Si l’objectif est d’évaluer l’effet de chacune de ces dimensions, il est primordial de penser à une approche qui permette une évaluation séparée. Pour estimer l’impact de chacun des volets du projet, il aurait fallu une intervention séquentielle ou considérer plusieurs groupes de traitement. Par exemple, un premier groupe bénéficiant uniquement du premier volet (installations hydro-agricoles) ; un deuxième bénéficiant des deux premiers volets (installations hydro-agricoles et plantations ; ou installations hydro-agricoles et formations) ; un troisième bénéficiant des trois volets (installations hydro-agricoles, plantations et formations). Dans le cas du présent exercice, la dissociation des différentes dimensions est difficile. Par conséquent, la meilleure approche vise à estimer l’impact du ‘package’ d’actions.

Un dispositif de suivi-évaluation efficace et pertinent, des projets pour lesquels il n’existe pas ou peu de référentiel, tel le projet PMH à Tiznit, permettrait d’accroitre les connaissances dans cette matière. Un volet « apprentissage » nécessiterait donc d’être développé dès la formulation.

Leçon 2

L’irrigation de crue est mal connue et une stratégie mieux adaptée à ce secteur spécifique permettrait d’améliorer la qualité des interventions au profit des populations qui en dépendent.

Cette évaluation a montré la complexité des systèmes d’irrigation de crue sans en cerner

tous les aspects. Il reste à l’issue du travail de nombreuses questions sans réponses satisfaisantes tant au niveau technique qu’en matière de stratégie paysanne. Or, l’irrigation de crue concerne des superficies importantes et est pratiquée par des populations pauvres.

L’irrigation de crue constitue un potentiel hydrique important (165 000 Ha au Maroc), et concerne les zones rurales les plus pauvres. Elle devrait être soutenue par une stratégie spécifique dans le cadre du plan Maroc vert (pilier 2 : l’appui au développement rural).

Il reste à l’issue du travail de nombreuses questions sans réponses satisfaisantes tant au niveau technique qu’en matière de stratégie paysanne. Selon les constats et conclusions de la présente évaluation, un tel projet nécessite:

- Une meilleure connaissance de l’irrigation de crue. En effet, le maintien de

l’irrigation de crue vise plusieurs objectifs : (1) réduire la force érosive, (2) favoriser le rechargement des nappes phréatiques (3) améliorer la fertilité des sols (4) élargir les zones d’épandages. Quelle est la hiérarchie de ces objectifs? Comment ces objectifs sont-ils concrètement susceptibles d’améliorer la situation des exploitations agricoles ? Quels sont les avantages concrets des ouvrages réalisés? Est-ce une amélioration de l’efficacité des systèmes ? Est-ce une réduction de la pénibilité du travail?

- Une meilleure connaissance des stratégies paysannes. Par rapport aux autres systèmes d’irrigation, l’irrigation de crue ne réduit pas l’incertitude météorologique. Les paysans qui en vivent ont développé des stratégies en matière de gestion des risques: choix des techniques agricoles, utilisation des surplus, gestion des stocks, diversification agricole et non-agricole, dépendance à l’irrigation. A côté de ces stratégies individuelles, il y a également les stratégies collectives à l’intérieur d’un périmètre (droit de l’eau, droits fonciers, charges de maintenance) et les stratégies entre périmètres. Dans un objectif d’amélioration des conditions de vie des populations concernées par ce type d’irrigation, il est essentiel de connaître ces stratégies.

- Un développement de stratégies de maintenance adaptées. La durabilité des systèmes d’irrigation de crue est liée à plusieurs paramètres décisifs: la capacité

7. Leçons apprises


d’utiliser adéquatement les ouvrages de prises pour éviter leur obstruction, les modalités de financement des travaux d’entretien, l’organisation pratique des associations. Tous ces aspects n’ont pas été bien traités dans le projet PMH Tiznit. Cela nécessite sans doute de revoir les modalités d’interventions pour (1) augmenter la responsabilisation des bénéficiaires ; (2) soutenir et suivre des approches globales de développement des exploitations bénéficiaires.

- Une identification des bonnes pratiques au Maroc et ailleurs. Même si les situations sont très variables en matière d’irrigation de crue, elles présentent relativement beaucoup de points communs entre elles. Il est donc vraiment important de tirer des leçons de ce qui a été fait dans d’autres régions ou d’autres pays. Ces points concernent notamment ce qui est mentionné ci-dessus en termes de connaissance technique, de stratégie paysanne, et de type de maintenance adaptée. Des échanges sur les meilleures pratiques devraient aider à améliorer les interventions en faveur de ce type d’irrigation.

Leçon 3

Il est important d’intégrer les principes qui ont fait leurs preuves en matière de développement rural : approche participative, approche holistique, approche territoriale sans oublier les dimensions transversales qui sont critiques dans ce type d’intervention. Et il est également important de ne pas s’aligner complètement sur les politique nationale si celles-ci présentent des exigences qui vont à l’encontre de la réussite du projet (comme la non implication des bénéficiaires par exemple).

La stratégie 2020 de développement rural (1999) au Maroc avait énoncé les principes d’intervention en milieu rural : (1) intégration et approche holistique ; (2) territorialisation et décentralisation ; (3) responsabilisation et participation ; (4) partenariat et approches négociées des opérations de développement.

Comme il a été souligné, ces principes n’ont pas été appliqués dans le projet et ceci a

cause de la non application de ces principes par les politiques nationales. Le manque d’implication des bénéficiaires et donc du manque d’appropriation par ces derniers explique au moins en partie les constats formulés dans cette étude. Par exemple, l’absence de responsabilisation des bénéficiaires dans la gestion et la maintenance des systèmes et le mauvais fonctionnement des AUEA menacent leur durabilité.

L’adhésion des agriculteurs doit être recherchée dès l’élaboration du projet et l’alignement doit être remis en cause ou au moins rediscuté avec le partenaire, si ce principe n’est pas appliqué dans le pays bénéficiaire. Sans cette condition sine qua non, le potentiel des équipements et leur entretien ne seront pas réalisés. Un cadre doit être établi pour qu’il y ait une discussion entre le service technique en charge de la réalisation du projet et les agriculteurs. Le rôle des agriculteurs dans chaque étape du projet et en particulier leur responsabilité ex post doivent être clairement définis. Ces responsabilités doivent rester réalistes et un cadre doit être établi afin d’y répondre. Pour cela, il est préférable de se baser sur les structures existantes : association villageoise, conseil informel, etc. Ces institutions/organisations pourraient bénéficier du respect et/ou de l’autorité nécessaire pour allier une majorité des agriculteurs autour d’un objectif commun tel que l’entretien de nouveaux équipements. Les AUEA, qui sont des structures créées de toute pièce, n’ont généralement pas été en mesure de jouer ce rôle.

Notons cependant, qu’il est plus facile d’allier des agriculteurs autour d’un objectif commun dans un contexte où l’activité agricole est vitale et où des mécanismes de solidarité intra-communautaires sont importants (moins de ‘free riding’) que dans un contexte où l’agriculture est secondaire et où des mécanismes d’assurance autres que communautaires ont été développés, notamment via la migration.


Leçon 4

Les manquements au niveau de la conception du projet soulignent le besoin d’améliorer

la préparation des interventions en s’appuyant sur une connaissance approfondie du contexte et sur une logique d’action focalisée sur les objectifs à atteindre. Des moyens sont pour cela nécessaires et une analyse de risques est alors pertinente.

Il a été mis en évidence la faiblesse de la logique d’intervention et des objectifs attendus du projet PMH Tiznit. Malgré quelques indications intéressantes dans le dossier de formulation, le projet n’a pas été conçu de manière adéquate. L’impression qui ressort est que le focus a été mis sur les réalisations physiques et que le cadre logique a seulement été défini après.

La préparation des projets s’est depuis améliorée et un tel projet ne serait sans doute pas accepté aujourd’hui. Néanmoins, la mise en place de dispositifs d’appui à la qualité des interventions doit permettre de rejeter des projets mal préparés ou mal formulés.


8. Bibliographie

Agence pour le développement de la coopération internationale. Territoires et Développement rural au Maroc, Version 1. 2010.

Coopération Belgique-Maroc. Programme Indicatif de Coopération 2010-2013. 2009. http://diplomatie.belgium.be/fr/binaries/pic_maroc_2010-2013_tcm313-158645.pdf

Commission mixte de coopération maroco-belge. Programme Indicatif de Coopération 2001-2003 dans "16ème Session de la commission mixte de coopération Maroc-belge". 2000.

Commission mixte de coopération maroco-belge. Programme Indicatif de Coopération 2006-2009 comme annexe au PV de la "17ème Session de la commission mixte Belgique - Maroc". 2005.

Coopération Technique Belge. Rapport de Formulation PMH Tiznit. Non daté.

Coopération Technique Belge. Rapport final. 2009.

Coopération Technique Belge. Dossier Technique et Financier opérationnel - Réhabilitation et conservation des sols des périmètres irrigués de petite et moyenne hydraulique dans la province de Tiznit 2ème phase. 2001.

Direction Provinciale de l’Agriculture (DPA) de Tiznit. Rapport d’auto évaluation du projet PMH Tiznit. 2007.

Royaume du Maroc, Ministère de l’Énergie, des Mines, de l’Eau et de l’Environnement. Les Bassins Hydrauliques du Maroc. Le Bassin Hydraulique de Tiznit-Ifni. 2002. http://www.water.gov.ma/userfiles/file/17_Tiznit-Ifni-d%C3%A9f.pdf

Spate Irrigation Network. Spate Irrigation in Morocco, Overview Paper Spate Irrigation #6. 2011. http://www.spate-irrigation.org/wordpress/wp-content/uploads/OP6_Spate_Morocco.pdf

World Bank. Country Brief Morocco (online publication). 2012. http://web.worldbank.org/WBSITE/EXTERNAL/COUNTRIES/MENAEXT/MOROCCOEXTN/0,,contentMDK:20149674~pagePK:1497618~piPK:217854~theSitePK:294540,00.html

http://diplomatie.belgium.be/fr/binaries/pic_maroc_2010-2013_tcm313-158645.pdf

http://www.water.gov.ma/userfiles/file/17_Tiznit-Ifni-d%C3%A9f.pdf

http://www.spate-irrigation.org/wordpress/wp-content/uploads/OP6_Spate_Morocco.pdf

http://web.worldbank.org/WBSITE/EXTERNAL/COUNTRIES/MENAEXT/MOROCCOEXTN/0,,contentMDK:20149674~pagePK:1497618~piPK:217854~theSitePK:294540,00.html

http://web.worldbank.org/WBSITE/EXTERNAL/COUNTRIES/MENAEXT/MOROCCOEXTN/0,,contentMDK:20149674~pagePK:1497618~piPK:217854~theSitePK:294540,00.html

RAPPORT PROJET MAROC - ÉVALUATION EX POST PMH 99

Annexes

ANNEXE 1: Fiche projet

ANNEXE 2 : Travail de terrain de l’approche quantitative

ANNEXE 3: Photos de périmètres réhabilités dans le cadre du projet PMH

ANNEXE 4: Illustrations de périmètres non-réhabilités (contrefactuel) identifiés lors de

la première mission de terrain (Juillet 2012)

ANNEXE 5 : Illustrations de périmètres non-réhabilités (contrefactuel) identifiés lors de

la deuxième mission de terrain (Septembre 2012)

ANNEXE 6 : Questionnaire ménage

ANNEXE 7 : Analyse quantitative détaillée par hypothèse à tester

ANNEXE 8: Variables d’identification pour la première étape du Propensity Score

Matching

ANNEXE 9: Photographies

Les annexes ne sont pas imprimées et sont reprises uniquement sur le CD-ROM joint à la synthèse de l’évaluation ou sur le site internet.

Dépôt légal n° 0218/2014/006

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]


ROYAUME DE BELGIQUE



Evalu

atio

n e

x-po

st de l’im

pact d

u P

roje

t en

faveu

r de la

Petite

et m

oye

nne h

ydra

uliq

ue (P

MH

) au

Maro

c

ROYAUME DE BELGIQUE



Evaluation ex-post de l’impact du Projet en faveur de la Petite et moyenne hydraulique (PMH) au Maroc


Evaluation ex-post de l’impact du Projet en faveur de la ...€¦ · Evaluation ex-post de...

Documents

Transcript of Evaluation ex-post de l’impact du Projet en faveur de la ...€¦ · Evaluation ex-post de...