Evaluation ex-post de l’impact du Projet d’appui à l ... · Evaluation ex post de limpact du...

Dépôt légal n° 0218/2014/004

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]

Service de l’Evaluation spéciale de la Coopération internationale

ROYAUME DE BELGIQUE

Service public fédéral

Affaires étrangères,Commerce extérieur etCoopération au Développement

Evalu

atio

n e

x-po

st de l’im

pact d

u P

roje

t d’a

ppu

i à l’e

nse

ignem

ent te

chn

ique e

t pro

fessio

nnel (A

ETP p

hase

2) en

Répu

bliq

ue d

ém

ocra

tique d

u C

on

go

ROYAUME DE BELGIQUE



Evaluation ex-post de l’impact du Projet d’appui à l’enseignement technique et professionnel (AETP phase2) en République démocratique du Congo


Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement

Service de l’Évaluation spéciale de la Coopération internationale

Evaluation ex post de l’impact

du projet d’appui à l’enseignement technique et professionnel (AETP-

phase 2) en République démocratique

du Congo

Rapport final

Octobre 2013

La présente évaluation a été réalisée par ADE et le CRED avec l’appui d’un comité d’accompagnement. Le service de l’Evaluation spéciale a assuré la conformité de l’évaluation aux termes de référence.

Les opinions exprimées dans ce document représentent les points de vue des auteurs et

ne reflètent pas nécessairement celles du SPF Affaires étrangères, Commerce extérieur et Coopération au Développement.

© SPF Affaires étrangères, Commerce extérieur et Coopération au Développement

Janvier 2014

Production graphique : Service Communication SPF

Impression : Service Imprimerie SPF

Evaluation N° S4/2011/04

Dépôt légal : 0218/2014/004

Le présent rapport constitue une des annexes du Rapport de synthèse de l’Evaluation ex post de l’impact de quatre projets de coopération gouvernementale.

Le présent rapport est disponible uniquement en français.

Les différents documents liés à l’évaluation mentionnée supra (à savoir le rapport de

synthèse + les rapports projet et leurs annexes) sont disponibles sur le CD-ROM en annexe de la synthèse de l’évaluation, auprès du Service de l’Évaluation spéciale ou sur le site http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation

http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation/

Nous tenons à remercier ici toutes les personnes et

organisations qui ont contribué à cette évaluation. Nous remercions en particulier les membres du comité d’accompagnement et les personnes interrogées pour le temps et l’énergie consacrés à cette étude d’un type particulier.

EVALUATION EX POST D’IMPACT -RAPPORT PROJET AETP2 RDC 5

Table des matières

TABLE DES MATIÈRES ............................................................................................... 5

LISTE DES FIGURES, DES TABLEAUX, ET DES ENCADRÉS .................................................... 7

ACRONYMES ET ABRÉVIATIONS................................................................................... 9

RÉSUMÉ EXÉCUTIF ................................................................................................. 13

1. INTRODUCTION .......................................................................................... 17

2. CONTEXTE ................................................................................................. 19

2.1 Contexte général du pays, la RDC ........................................................ 19

2.2 Contexte sectoriel : l’éducation au Congo ............................................. 21

2.2.1 Description générale : des besoins immenses, des moyens dérisoires 21

2.2.2 « Gratuité » de l’enseignement ...................................................... 24

2.2.3 Situation précaire des enseignants ................................................. 26

2.2.4 Programmes de cours et examens d’Etat ........................................ 27

2.2.5 Etudier en RDC, une fin en soi ou l’inaccessible rêve ........................ 29

2.3 La coopération belge au Congo dans le secteur de l’ETP ......................... 31

2.3.1 Bref historique ............................................................................ 31

2.3.2 Quelques chiffres ......................................................................... 32

3. PROJET AETP2 .......................................................................................... 35

3.1 Brève description du projet ................................................................. 35

3.2 Contexte du projet AETP2 ................................................................... 36

3.3 Mise en œuvre .................................................................................. 37

4. MÉTHODOLOGIE .......................................................................................... 39

4.1 Approche méthodologique générale ..................................................... 39

4.1.1 Processus général d’évaluation ...................................................... 39

4.1.2 L’approche qualitative .................................................................. 40

4.1.3 L’approche quantitative ................................................................ 41

4.2 L’impact, une définition à clarifier ........................................................ 43

4.3 La logique d’intervention reconstituée de AETP2 .................................... 45

6 EVALUATION EX POST D’IMPACT -RAPPORT PROJET AETP2 RDC

4.4 Les questions d’évaluation .................................................................. 48

4.5 Approche méthodologique pour le projet AETP2..................................... 48

5. RÉPONSES AUX QUESTIONS D’ÉVALUATION ....................................................... 57

5.1 Alignement – Q1 ............................................................................... 57

5.2 Intégration de l’impact – Q2 ............................................................... 59

5.3 Obtention des « outputs » et leur utilisation – Q3 .................................. 61

5.3.1 L’obtention des « outputs » selon le rapport final du projet ............... 61

5.3.2 Obtention des « outputs » et leur utilisation selon l’étude de cas à Kisangani ................................................................................... 63

5.4 Atteinte des « outcomes » et de l’impact – Q4 ...................................... 74

5.4.1 Meilleure attractivité des écoles techniques etprofessionnelles ........... 78

5.4.2 Amélioration de la qualité de l’enseignement ................................... 87

5.4.3 Capacité d’autofinancement des établissements .............................. 95

5.4.4 Effet sur l’emploi/l’employabilité des jeunes .................................... 98

5.4.5 Effets sur les thèmes transversaux ............................................. 101

5.4.6 Conclusion sur l’appréciation des « outcomes » ............................... 102

5.4.5 Contribution du projet à l’impact global .......................................... 103

5.5 Durabilité – Q5 ................................................................................ 105

6. CONCLUSIONS .......................................................................................... 109

7. LEÇONS APPRISES ..................................................................................... 119

8. BIBLIOGRAPHIE ........................................................................................ 125

ANNEXES ........................................................................................................ 127

ANNEXE 1 : CARTE DE LA RDC

ANNEXE 2 : DÉPENSES DE L’AIDE DE LA COOPÉRATION BELGE (TOUTES SOURCES OFFICIELLES

CONFONDUES) RÉPARTIES PAR SECTEUR D’INTERVENTION (EN EUROS), DE 2001 À 2011

ANNEXE 3 : TABLEAU RÉCAPITULATIF DE L’ENSEMBLE DES ÉCOLES SOUTENUES PAR LES PROJETS

AETP1&2 (INFORMATIONS TIRÉES DES DOCUMENTS CTB EXISTANTS)

ANNEXE 4 : GUIDES D’ENTRETIEN ET TABLEAUX POUR COLLECTE D’INFORMATIONS QUANTITATIVES

DANS LES ÉTABLISSEMENTS SCOLAIRES À KISANGANI

ANNEXE 5 : QUESTIONNAIRE INDIVIDUEL

ANNEXE 6 : AGENDA DES MISSIONS

ANNEXE 7 : LISTE DES PERSONNES INTERROGÉES

ANNEXE 8 : GALERIE PHOTOS

ANNEXE 9 : ARRÊTÉ PROVINCIAL PORTANT FIXATION DES FRAIS SCOLAIRES POUR L’ANNÉE 12-13

ANNEXE 10 : RAPPORT DE MISSION EXPLORATOIRE (NOV-DÉC 2012)


Liste des figures, des tableaux, et des encadrés

Liste des figures

FIGURE 1 : PROCESSUS D’ÉVALUATION .......................................................................... 39

FIGURE 2 : RÉSUMÉ DE LA MÉTHODOLOGIE QUALITATIVE ...................................................... 40

FIGURE 3 : TYPE DE LOGIQUE D’INTERVENTION UTILISÉE POUR CETTE ÉVALUATION ....................... 40

FIGURE 4 : LOGIQUE D’INTERVENTION RECONSTRUITE POUR LE PROJET AETP 2 EN RDC ................ 46

FIGURE 5 : EVOLUTION DES EFFECTIFS DES 4 ÉCOLES VISITÉES À KISANGANI DE 02-03 À 12-13* .. 79

FIGURE 6 : COMPARAISON AVANT/APRÈS DE L’APPUI DES EFFECTIFS DANS LES FILIÈRES, TOUTES

CLASSES CONFONDUES À MAPENDANO, LIKUNDE ET CHOLOLO ................................................ 81

FIGURE 7 : COMPARAISON DU TAUX D’ABANDON EN ADMINISTRATION/COMMERCIALE ET COUPE/COUTURE,

ENTRE DEUX ÉCOLES (CIBLE ET TÉMOIN), AVANT ET APRÈS PROJET POUR UNE MÊME PROMOTION AU SEIN

D’UNE MÊME ÉCOLE. ................................................................................................. 86

FIGURE 8 : TAUX DE RÉUSSITE EN 6ÈME POUR LES FILIÈRES (A) ADMINISTRATION/ COMMERCIALE ET (B)

COUPE/COUTURE, DANS UNE ÉCOLE CIBLE (MAPENDANO) ET UNE ÉCOLE TÉMOIN (LIKUNDE), AVANT ET

APRÈS LE PROJET AETP2. .......................................................................................... 94

Liste des tableaux

TABLEAU 1 : INDICATEURS CLÉS POUR LA RDC ................................................................. 20

TABLEAU 2 : NOMBRE D’ÉCOLES ET DE FILIÈRES BÉNÉFICIAIRES DE L’AETP2 PAR PROVINCE. ........... 36

TABLEAU 3 : APERÇU DES QUESTIONS D’ÉVALUATION D’ORDRE SOMMATIF. ................................ 48

TABLEAU 4 : TYPE D’INFORMATIONS COLLECTÉES AUPRÈS DES ÉTABLISSEMENTS SCOLAIRES ............ 53

TABLEAU 5 : RÉSUMÉ DES CARACTÉRISTIQUES PRINCIPALES DES ÉCOLES SÉLECTIONNÉES ............... 54

TABLEAU 6 : ETAT DES « OUTPUTS » DU PROJET AETP2 SELON LE RAPPORT FINAL ....................... 62

TABLEAU 7 : STATISTIQUES GÉNÉRALES SUR L’ENSEIGNEMENT TECHNIQUE ET PROFESSIONNEL DE LA

PROVINCE ÉDUCATIONNELLE ORIENTALE 1 (OÙ SE SITUE LA VILLE DE KISANGANI) ........................ 65

TABLEAU 8 : STATISTIQUES DES FILIÈRES TECHNIQUES ET PROFESSIONNELLES ENSEIGNÉES DANS LA

PROVINCE ÉDUCATIONNELLE ORIENTALE 1 PRÉSENTÉES EN ORDRE CROISSANT D’IMPORTANCE. .......... 65

TABLEAU 9 : EXEMPLES ILLUSTRANT LA NON-UTILISATION DU MATÉRIEL LIVRÉ PAR MANQUE DE

FORMATION ........................................................................................................... 67

TABLEAU 10 : EXEMPLES ILLUSTRANT LA NON-UTILISATION DU MATÉRIEL LIVRÉ

« GARDÉ JALOUSEMENT » ......................................................................................... 67

TABLEAU 11 : EXEMPLES ILLUSTRANT LA NON-UTILISATION DU MATÉRIEL LIVRÉ PAR INADÉQUATION DE

CELUI-CI AVEC LE PROGRAMME ET/OU AVEC LES RÉALITÉS DU TERRAIN ...................................... 68


TABLEAU 12 : EXEMPLES ILLUSTRANT LA NON-UTILISATION DU MATÉRIEL LIVRÉ PAR INDISPONIBILITÉ DE

CONSOMMABLES À KISANGANI ..................................................................................... 68

TABLEAU 13 : EXEMPLES ILLUSTRANT LA SOUS UTILISATION DU MATÉRIEL LIVRÉ CAR PEU D’HEURES DE

PRATIQUE SONT PRÉVUES DANS LE PROGRAMME ................................................................. 69

TABLEAU 14 : EXEMPLES ILLUSTRANT LA SOUS UTILISATION DU MATÉRIEL LIVRÉ PAR MANQUE DE

MOYENS/VOLONTÉ D’ACHETER LES CONSOMMABLES ............................................................ 69

TABLEAU 15 : EXEMPLES ILLUSTRANT LA SOUS UTILISATION DU MATÉRIEL LIVRÉ EN RAISON DE SA

FRAGILITÉ ............................................................................................................. 70

TABLEAU 16 : EXEMPLES ILLUSTRANT LA SOUS UTILISATION DU MATÉRIEL PAR MANQUE DE COURANT .. 70

TABLEAU 17 : ETAT DES OUTPUTS DU PROJET AETP2 SELON L’ANALYSE DE CAS DE KISANGANI ........ 72

TABLEAU 18 : RÉSUMÉ DES HYPOTHÈSES TESTÉES ET DES INDICATEURS ANALYSÉS POUR APPRÉCIER LES

« OUTCOMES » ...................................................................................................... 76

TABLEAU 19 : CHOIX DE FILIÈRES EN HUMANITÉ ET CHOIX D’ACTIVITÉS APRÈS LES ÉTUDES

SECONDAIRES ...................................................................................................... 100

TABLEAU 20 : RÉCAPITULATIF DES « OUTCOMES » DU PROJET AETP2 ................................... 103

Liste des encadrés

ENCADRÉ 1 : RÉSUMÉ DU CONTEXTE DU PAYS ET SECTORIEL ................................................. 32

ENCADRÉ 2 : RÉSUMÉ DU PROJET AETP2, SON CONTEXTE ET SA MISE EN ŒUVRE ......................... 38

ENCADRÉ 3 : L’UTILISATION DU TERME « IMPACT » DANS LA COMMUNAUTÉ DE L’ÉVALUATION .......... 44

ENCADRÉ 4 : RÉSUMÉ DE L’APPROCHE MÉTHODOLOGIQUE GÉNÉRALE ........................................ 47

ENCADRÉ 5 : RÉSUMÉ DE L’APPROCHE MÉTHODOLOGIQUE PROPOSÉE POUR AETP2 ....................... 56

ENCADRÉ 6 : RÉSUMÉ DE LA RÉPONSE À LA Q1 (ALIGNEMENT)............................................... 57

ENCADRÉ 7 : RÉSUMÉ DE LA RÉPONSE À LA Q2 (INTÉGRATION DE L’IMPACT) .............................. 59

ENCADRÉ 8 : RÉSUMÉ DE LA RÉPONSE À LA Q3 (OBTENTION DES « OUTPUTS » ET LEUR UTILISATION) 61

ENCADRÉ 9 : RÉSUMÉ DE LA RÉPONSE À LA Q4 (ATTEINTE DES « OUTCOMES » ET DE L’IMPACT)....... 74

ENCADRÉ 10 : RÉSUMÉ DE LA RÉPONSE À LA Q5 (DURABILITÉ) ........................................... 105


Acronymes et abréviations

A2 Niveau d’enseignement technique correspondant aux études

secondaires de type long (primaire + 6 années de secondaire)

A3 Niveau d’enseignement technique correspondant aux études secondaires de type court (primaire + 3 ou 4 années de secondaire)

ADE Aide à la Décision Economique (bureau d’étude basé à Louvain-

la-Neuve)

AETP 1 Appui à l’enseignement technique et professionnel (1ère phase)

AETP 2 Appui à l’enseignement technique et professionnel (2ème phase)

AETFP Appui à l’enseignement technique et formation professionnelle (3ème phase)

AFD Agence Française de Développement

AGR Activité(s) Génératrice(s) de Revenus

APC Approche Par Compétences

APEFE Association pour la promotion de l’éducation et de la formation à l’étranger

BIT Bureau International du Travail

CA Comité d’accompagnement (de l’évaluation)

CAD Comité d'aide au développement (de l’OCDE)

CIFTP Commission interministérielle de formation technique et professionnelle

CRED Centre de rechercher en économie du développement de

l’université de Namur

CTB Coopération technique belge

DFID UK Department For International Development

DSRP Document Stratégique de Réduction de la Pauvreté


DTF Dossier technique et financier

EPSP Enseignement Primaire, Secondaire et Professionnel

ETP Enseignement Technique et Professionnelle

FIKIN Foire Internationale de Kinshasa

INPP Institut National de la préparation professionnelle

ITI Institut technique industriel

ITP Institut Technique et Professionnel

JICA Coopération japonaise

KOICA Coopération coréenne

LRSP Laboratoire de Référence en santé publique

MONUSCO Mission d’Observation des Nation Unies pour la Stabilisation au

Congo

N/A Non Applicable

NONIE Network of Networks for Impact Evaluation

OCDE Organisation de coopération et de développement économiques

PIB Produit Intérieur Brut

PMH Petite et Moyenne Hydraulique

PNLS Programme national de lutte contre le Sida

PNUD Programme des Nations Unies pour le développement

PPO Pédagogie Par Objectifs

RDC République Démocratique du Congo

RESEN Rapport d’Etat du Système Educatif National

SECOPE Service de contrôle et de paiement des enseignants

S/E Suivi et Evaluation

SES

Service de l’Evaluation Spéciale (du Service public fédéral des

Affaires Etrangères, Commerce Extérieur et Coopération au Développement, en Belgique)

Acronymes et abréviations


SMCL Structure Mixte de Concertation Locale

SNEL Société Nationale d’Electricité

TdR Termes de Référence

UFE Unité formation-emploi

UNESCO Organisation des Nations Unies pour l'éducation, la science et la culture

UNICEF Fonds des Nations Unies pour l’Enfance

VVOB Vlaamse Vereniging voor Ontwikkelingssamenwerking en Technische Bijstand


Résumé exécutif

Introduction

Ces dernières années, une plus grande attention est donnée à démontrer l’efficacité de

l’aide. Les pratiques d’évaluation mettant seulement en évidence les liens possibles entre une intervention et ses effets ne sont plus satisfaisantes. Les questions de mesure et d’attribution sont désormais centrales : il faut quantifier les effets d’un projet et mettre en évidence leur lien de causalité avec l’intervention. La compréhension des mécanismes est un autre aspect essentiel de l’évaluation : il faut comprendre les facteurs favorisant ou inhibant l’impact. Par ailleurs, l’évaluation d’impact englobe deux concepts : l’appréciation des effets du projet sur les bénéficiaires directs (« outcomes ») et l’appréciation de l’effet du projet à un niveau plus global, d’un pays, d’une région ou d’un secteur (impact).

Projet et contexte

L’objectif de ce rapport est d’évaluer l’impact ex post du projet d’appui à l’enseignement technique et professionnel phase 2 en RDC (AETP2) mis en œuvre par la CTB de 2005 à 2008. Ce projet prévoyait un appui technique et didactique au sous-secteur de l’enseignement technique et professionnel et un renforcement des capacités du corps professoral pour 6 filières porteuses dans 21 écoles techniques et professionnelles réparties sur 8 provinces. L’AETP2 prévoyait également la réhabilitation d’ateliers et de salles de documentation dans 33 établissements.

Le projet AETP2 et le précédent (AETP1) revêtent un caractère « humanitaire » de par

leur implémentation dans un pays en période post-conflit. Après des années de guerre et d’instabilité politique, la situation économique reste précaire, et l’Etat connait toujours des dysfonctionnements sévères. Le secteur de l’enseignement, particulièrement celui de l’enseignement technique et professionnel, est sous-financé et fait face à des enjeux de taille tant du côté de l’offre que de la demande.

Méthodologie

L’originalité de cette étude réside dans son approche méthodologique. Ce rapport est le produit d’une collaboration étroite entre des experts en évaluation provenant d’un bureau d’étude et de conseil (ADE) et des chercheurs provenant du monde académique (CRED).

La méthodologie appliquée comporte plusieurs étapes. Tout d’abord, une critique et une

reconstitution de la logique d’intervention résumée dans le cadre logique est réalisé afin de mettre en évidence les liens causals entre les inputs, les « outputs », les « outcomes » et l’impact. Ensuite, les experts ont formulé les hypothèses sous-jacentes à chaque « outcome » et les ont testées à partir de données qualitatives et quantitatives collectées sur le terrain via une étude de cas avec contrefactuel dans la ville de Kisangani et sur base d’informations recueillies lors d’entretiens individuels approfondis avec des personnes clefs de l’intervention à Bruxelles et à Kinshasa. Une attention particulière a été consacrée aux bénéficiaires directs du projet en menant des enquêtes individuelles ou des ‘focus group’ avec les préfets des écoles, les professeurs, les élèves et aussi avec d’anciens élèves aujourd’hui diplômés.

L’objectif de cette étude est dans un premier temps d’apprécier en quoi et comment le projet a contribué à des changements significatifs sur les bénéficiaires directs (« outcomes ») et ce, sur 4 aspects : (i) l’augmentation de l’attractivité pour ce type


d’enseignement dans les écoles soutenues, (ii) l’amélioration de la qualité de

l’enseignement dans les écoles soutenues, (iii) la création d’activités génératrices de revenus dans les établissements sélectionnés, et (iv) une meilleure employabilité des jeunes diplômés des écoles soutenues. Dans un second temps, il s’agit d’apprécier l’impact du projet sur le sous-secteur, c’est-à-dire sur l’amélioration de l’enseignement technique et professionnel dans toute la RDC (impact).

Constats

Premier constat : la logique d’intervention résumée dans le cadre logique de l’intervention manque de cohérence. Les effets attendus du projet sont déconnectés des inputs et de la réalité du terrain.

Deuxième constat : les « outputs » et leur utilisation ne sont que partiellement réalisés.

Sur base des visites des écoles et des entretiens avec les bénéficiaires, le constat est interpellant : le matériel a été livré mais il est bien souvent non-utilisé, et dans tous les cas, sous-utilisé. Les causes sont multiples : le personnel enseignant n’a pas reçu de formation (il est donc incapable d’en faire un usage optimal), les élèves et les écoles n’ont pas les moyens d’acheter les consommables (ou les consommables ne sont pas disponibles sur le marché local), la distribution du courant fait défaut, etc.

Troisième constat : les analyses des données qualitatives et quantitatives n’ont pas permis de mettre en évidence des effets significatifs durables du projet sur les bénéficiaires. Il n’y a pas d’accroissement de la demande pour les filières soutenues, aucune amélioration significative de la qualité de l’enseignement, les écoles ne sont pas en mesure de générer des revenus et les diplômés des écoles appuyées ont la même probabilité de trouver un emploi que les diplômés d’écoles non appuyées.

Quatrième constat : l’absence des effets attendus du projet sur les bénéficiaires de la ville de Kisangani s’explique principalement par le contexte socio-politico-économique, par les dysfonctionnements existants au sein du secteur de l’enseignement et par la mauvaise conception du projet et sa gestion axée sur les « outputs ».

L’analyse des causes du non-impact du projet met en lumière l’existence d’incitants

pervers dans un ensemble de systèmes (le système de l’éducation en RDC, le système du mode d’aide de la coopération gouvernementale dans le secteur de l’enseignement technique et professionnel en RDC et le système de l’évaluation des projets). L’état actuel des systèmes n’encourage pas les acteurs à adopter les comportements appropriés qui permettraient à un projet de ce type d’atteindre ses objectifs.

Cinquième constat : les constats observés dans la ville de Kisangani ne sont a priori pas généralisables à tous les établissements soutenus par le projet AETP2. Cependant, étant donné la nature des causes identifiées pour expliquer l’absence d’impact significatif, une extrapolation des résultats des analyses menées est a posteriori défendable. Cela signifie que le projet AETP2 n’a globalement pas eu d’effet sur les bénéficiaires de toutes les écoles qu’il a appuyées, moyennant quelques « success stories ».

Par contre, depuis une dizaine d’année, l’ensemble des projets belges dans ce sous-secteur a vraisemblablement contribué à sensibiliser les autorités congolaises à son importance et à l’élaboration de la politique sectorielle. Néanmoins, même si une stratégie et une prise de conscience sont deux éléments nécessaires pour améliorer la situation de l’enseignement technique et professionnel, ils sont loin d’être suffisants sur le terrain.

Leçons apprises

Les évaluateurs ne sont pas en mesure de juger de la pertinence de poursuivre l’aide gouvernementale belge au Congo, ni de se prononcer sur la meilleure utilisation des fonds dans ce pays. Cependant, si l’on veut avoir un espoir d’observer des effets positifs et significatifs sur les bénéficiaires visés, il convient de modifier le type d’aide apportée dans le sous-secteur de l’enseignement technique et professionnel.

Résumé exécutif


Étant donné le manque de résultats convaincants, et les sommes importantes déjà

dépensées, un projet modeste mais innovant est préférable. A terme, l’objectif serait de propager ce projet si c’est un succès ou de renoncer à tout autre projet si c’est un nouvel échec.

Un projet innovant : une intervention dans l’enseignement technique et professionnel devrait comporter plusieurs volets à mettre en œuvre de manière coordonnée : un volet de réhabilitation, un volet d’appui technique et didactique, un volet de renforcement des capacités, un volet d’appui institutionnel, un volet d’appui à la création d’activités génératrices de revenus au sein des écoles et un volet d’appui à la mise à l’emploi pour les jeunes diplômés.

Etant donné l’interdépendance entre ce qui se situe en amont et en aval de l’enseignement secondaire technique, et l’interdépendance entre les différentes dimensions de la formation, il s’agit de proposer des activités en cohérence avec ces interdépendances. Il s’agit aussi de mettre en évidence les différents mécanismes qui pourraient inhiber les effets souhaités comme par exemple la présence d’incitants pervers. Il semble nécessaire de mettre en place des activités répondant aux besoins des bénéficiaires, en les impliquant dans les activités afin qu’ils participent activement à l’atteinte des « outcomes ». Les écoles doivent être sélectionnées sur base de leurs motivations et de leur capacité à s’approprier les résultats du projet. La convention spécifique devrait comporter des clauses stipulant clairement et de façon contraignante les engagements de chaque partie (la CTB, le partenaire et les bénéficiaires).

Un projet modeste : le projet doit être concentré dans une zone géographique jouissant

d’un tissu économique relativement développé (une province, voire une partie de province). Il devrait viser au maximum 3 filières dont les programmes ont été revus dans le cadre du projet AETFP et il devrait durer au minimum 5 ans.

Un logique d’intervention cohérente : il est indispensable de réfléchir à des activités réalistes qui conduiront à l’atteinte d’objectifs spécifiques (« outcomes ») et globaux (impact) définis à partir de la réalité du terrain et des moyens mis en œuvre. A ce stade, il convient de formuler les hypothèses sous-jacentes aux liens causals entre les différents éléments de la chaîne de résultats. Un tel travail permet de mettre en évidence les risques inhérents à chaque étape du projet et d’identifier les incitants pervers ou encore les facteurs pouvant inhiber les effets attendus. Il permet aussi de définir des indicateurs pertinents (avec des valeurs de référence et des valeurs cibles) à suivre via un système de suivi évaluation efficace.

Un système de suivi évaluation efficace et pertinent : même s’il est théoriquement bien conçu, le système de suivi évaluation est rarement opérationnel pour mener une gestion axée sur les résultats (« outcomes ») et a fortiori utile pour réaliser une évaluation d’impact. Il s’agit donc de définir des indicateurs pertinents permettant de suivre à la fois la mise en œuvre des activités et l’atteinte des effets sur les bénéficiaires directs. En plus, il s’agit de définir les modalités de collecte de ces indicateurs (qui ?, quand ?, où ?, comment ? sur quel support ?) et de donner les bons incitants aux acteurs de terrain pour les collecter avec soin. Il s’agit aussi et surtout de réfléchir à l’usage que l’on veut en faire. Finalement, il convient de prévoir des modalités d’ajustement au cas où des facteurs inhibant les effets de l’intervention se manifesteraient.

La situation idéale pour mener à bien une évaluation d’impact et d’être par conséquent

en mesure de tirer les leçons d’un projet, est de construire une base de données composée d’indicateurs « avant intervention » (« baseline »), « pendant l’intervention » (« monitoring ») et « après intervention » (« evaluation »). Un bon système de suivi évaluation nécessite des besoins humains et financiers, ainsi que le respect d’un calendrier réaliste tant dans la mise en œuvre du projet que dans celle du système de suivi.


1. Introduction

Ces dernières années, l’évaluation de l’impact des interventions de l’aide au développement a pris une importance croissante sur la scène internationale. Le centrage sur les résultats et l’impact répond à une volonté d’améliorer l’efficacité des interventions. Cette volonté se traduit, entre autres, par le souci de mieux évaluer, rendre compte et communiquer sur les résultats. La coopération belge adhère en théorie aux principes sur l’efficacité de l’aide. Mais en pratique elle doit encore fournir des efforts dans ce sens, en particulier dans le domaine des évaluations d’impact. C’est pour répondre à ce besoin que le service d’Evaluation spéciale (SES) du Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement a décidé de lancer un exercice pilote portant sur l’évaluation ex post de quatre projets de coopération gouvernementale.1

L’évaluation a une finalité tant sommative que formative. L’objectif premier est

d’apprécier l’impact ex post de quatre projets en combinant deux approches méthodologiques, l’une dite « qualitative » et l’autre dite « quantitative ». Il faut souligner le caractère exploratoire de cet exercice et le fait que ces méthodologies ont été mises en œuvre grâce à la collaboration de deux équipes distinctes : un bureau d’étude spécialisé dans l’évaluation ‘qualitative’ (ADE) d’une part, et d’autre part, un centre de recherche universitaire spécialisé en économie du développement (CRED) compétant dans l’utilisation de techniques quantitatives. Le second objectif de l’évaluation est de tirer des enseignements sur la faisabilité et la réalisation des évaluations d’impact dans un rapport reprenant les leçons tirées des quatre projets.

Ce rapport a pour objectif d’apprécier l’impact ex post du projet d’appui à l’enseignement technique et professionnel phase 2 en RDC (AETP2). Le rapport est structuré de la façon suivante : la première partie situe le contexte du pays en matière d’enseignement (en particulier en matière d’enseignement technique et professionnel) et le contexte de l’aide de la coopération gouvernementale dans ce secteur en RDC. La deuxième partie, après une brève description du projet et de sa mise en œuvre, le situe dans son contexte. La troisième partie se concentre sur les aspects méthodologiques de l’évaluation ex post. Cette section est relativement détaillée dans un but formatif : le processus général de l’évaluation est exposé, suivi d’une brève définition des deux approches, « qualitative » (quali) et « quantitative » (quanti). La section aborde ensuite la confusion portant sur la définition du terme « impact » et présente une reconstitution de la logique d’intervention. Les questions d’évaluation y sont également énumérées. Pour terminer, les évaluateurs exposent la méthodologie utilisée pour l’évaluation de ce projet, à savoir une étude de cas avec contrefactuel dans la ville de Kisangani. La cinquième partie répond aux questions d’évaluation posées dans le cadre de cette analyse. Des témoignages recueillis sur le terrain illustrent tant que possible les éléments de réponses suggérés. Le rapport se termine par des conclusions (section 6) et par les leçons apprises (section 7).

1 Un projet d’appui à l’enseignement technique et professionnel en RDC -AETP2-, un projet d’amélioration de

l’accès à l’eau au Sénégal -PARPEBA-, un projet de petite irrigation de crue au Maroc -PMH- et un projet

d’appui à la mise en place d’un laboratoire de référence en santé publique au Rwanda –LRSP (le rapport du

Rwanda n’a pas pu être rendu public faute d’autorisation d’utilisation de données quantitative à temps).


2. Contexte

2.1 Contexte général du pays, la RDC2

Avec une superficie de 2,3 millions de km² (soit l’équivalent des deux tiers du territoire de l’Union Européenne ou de 80 fois la Belgique), la RDC est le deuxième pays le plus vaste d'Afrique après l'Algérie. Il s’étend de l’océan Atlantique au grand rift Est-africain et correspond à la majeure partie du bassin du fleuve Congo. Le nord du pays est un des plus grands domaines de forêt équatoriale au monde. A l’est se trouvent des montagnes, des collines, des grands lacs mais aussi des volcans. Le sud et le centre, domaine des savanes arborées, forment un haut plateau riche en minerais. À l’extrême ouest, une côte sur l’océan Atlantique s’étend sur une quarantaine de kilomètres au nord de l'embouchure du fleuve Congo.

Le pays est administrativement divisé en 11 provinces subdivisées en 45 districts, puis en 225 territoires et communes. Ces territoires sont également répartis en collectivités (secteurs ou chefferies) puis en groupements. Pour sa taille, le Congo est relativement peu peuplé, 71 millions d’habitants en 2011 (autour de 30 habitants au km

2) dont plus

de 50% ont moins de 24 ans et dont plus de la moitié vit en milieu rural. Une femme a en moyenne plus de 6 enfants et le taux de croissance naturelle de la population se situe autour de 3%. Plusieurs centaines d’ethnies forment la population du pays qui se concentre sur les plateaux, près des fleuves et des lacs. Le nord et le centre du pays, dominés par la jungle, sont quasiment vides.

L'exode rural a gonflé les villes. Les grandes agglomérations sont Kinshasa, Lubumbashi, Butembo, Kisangani, Mbuji-Mayi, Kananga, Mbandaka, et Bukavu. Le français est la langue officielle et quatre langues bantoues (kikongo, lingala, tchiluba, swahili) ont le statut de langue nationale. Au-delà des opportunités évidentes que le pays renferme, le contexte naturel du Congo pose des défis majeurs, notamment en termes de gestion, d’intégration et d’harmonisation des particularités dans un espace national commun.

Après deux guerres successives en 1996 et en 1998, la RDC s’oriente avec la mise en

œuvre des accords de Lusaka de 1999 vers la stabilité politique et la réunification du pays. Le Président Joseph Kabila prend le pouvoir du pays en janvier 2001, suite à la disparition de son père Laurent-Désiré Kabila. Il promulgue la constitution le 6 avril 2003 et institue un partage du pouvoir politique et militaire posant le cadre d’une transition vers des élections libres. Des élections démocratiques ont été organisées en 2006 et en 20113, suite auxquelles Kabila fut réélu président. Après deux décennies de crise, un minimum de paix, de sécurité et de stabilité politique est aujourd’hui garanti dans tout le pays. Cependant, des poches d’insécurité persistent dans les provinces de l’Est avec l’émergence fréquente de conflits armés. Cette longue crise a eu des effets dévastateurs dans tous les secteurs de la vie du pays.

Ce pays, qui possède pourtant un extraordinaire potentiel de développement naturel et humain, accuse de lourds handicaps politiques, économiques et sociaux : (i)

2 Etant donné le manque de statistiques nationales disponibles, les statistiques de la RDC varient selon les

sources. Les chiffres repris dans ce rapport proviennent de plusieurs sources : le rapport mondial sur le

développement humain PNUD de 2011 et de 2008, le ‘Plan Intermédiaire pour l’Education’ (2012) et la

‘Stratégie de développement du sous-secteur EPSP’ (2010).

3 Ces dernières ont suscité quelques inquiétudes quant à la transparence du processus électoral.

http://fr.wikipedia.org/wiki/Afrique

http://fr.wikipedia.org/wiki/Alg%C3%A9rie

http://fr.wikipedia.org/wiki/Oc%C3%A9an_Atlantique

http://fr.wikipedia.org/wiki/Vall%C3%A9e_du_grand_rift

http://fr.wikipedia.org/wiki/Congo_(fleuve)

http://fr.wikipedia.org/wiki/For%C3%AAt_%C3%A9quatoriale

http://fr.wikipedia.org/wiki/Grands_Lacs_(Afrique)

http://fr.wikipedia.org/wiki/Minerai

http://fr.wikipedia.org/wiki/Oc%C3%A9an_Atlantique

http://fr.wikipedia.org/wiki/Kinshasa

http://fr.wikipedia.org/wiki/Lubumbashi

http://fr.wikipedia.org/wiki/Butembo

http://fr.wikipedia.org/wiki/Kisangani

http://fr.wikipedia.org/wiki/Mbuji-Mayi

http://fr.wikipedia.org/wiki/Kananga

http://fr.wikipedia.org/wiki/Mbandaka

http://fr.wikipedia.org/wiki/Bukavu

http://fr.wikipedia.org/wiki/Fran%C3%A7ais

http://fr.wikipedia.org/wiki/Langue_officielle

http://fr.wikipedia.org/wiki/Langues_bantoues

http://fr.wikipedia.org/wiki/Kikongo

http://fr.wikipedia.org/wiki/Lingala

http://fr.wikipedia.org/wiki/Tchiluba

http://fr.wikipedia.org/wiki/Swahili

http://fr.wikipedia.org/wiki/Langue_nationale


effondrement des investissements, de la production et des exportations, (ii) tarissement des ressources publiques, (iii) aggravation chronique des déficits ; (iv) détérioration des indicateurs sociaux, avec un accroissement des inégalités socioéconomiques et une augmentation de la proportion de la population vivant sous le seuil de pauvreté ou affectées par le VIH SIDA.

Inutile de rappeler l’incidence des pillages et des guerres sur l’économie du pays dont la situation est désastreuse. L’économie est basée sur l’agriculture et sur l’exportation des ressources (minières principalement). Même si plus de 70% de la population tirent leurs moyens de subsistance de l’agriculture, il existe des problèmes de sécurité alimentaire sérieux causés par le délabrement des infrastructures agricoles, l’insécurité et les difficultés d’écoulement des produits du fait de la dégradation des voies routières et fluviales (rapport de pré-identification de la phase II, 2004, mais toujours d’actualité). Bien que le gouvernement essaie de mettre en place des zones économiques spéciales pour relancer son industrie, le pays reste faiblement industrialisé : moins de 5% de la population travaille dans le secteur formel (Rapport d’évaluation à mi-parcours de AETFP, 2012). La dette, qui était de 2,9 milliards de US$ en 2010, a cependant fortement diminué grâce à l’admission du pays au point d’achèvement dans le cadre de l’initiative HIPC (« Highly Indebted Poor Countries »).

Ces dernières années, le pays connait une croissance rapide du PIB réel (6,2% en 2008 ;

5 ,4% en 2010). Cependant cette croissance semble ne pas avoir eu d’incidence sur la pauvreté : le taux de pauvreté reste très élevé et relativement stable sur cette même période. Le produit intérieur brut par habitant est de 280 USD, avec 71% de la population vivant avec moins de 1,25 USD par jour. La RDC demeure parmi les pays ayant le plus faible indice de développement humain au monde, avec de grandes disparités spatiales en termes de développement humain. De nombreuses familles congolaises éprouvent donc d’énormes difficultés à satisfaire leurs besoins de base : nourriture, eau, santé et éducation (chiffres disponibles dans l’enquête MICS 2010, réalisé par UNICEF-RDC). L’ampleur de la pauvreté varie fortement selon les régions, le milieu (urbain ou rural) et les catégories socioprofessionnelles. Les travailleurs indépendants et les apprentis font partie des plus pauvres, suivis des manœuvres, des employés et des ouvriers semi-qualifiés (Plan Intermédiaire de l’Education, 2012 : p.12). Quelques indicateurs clés résumant la situation précaire du pays sont présentées dans le tableau 1, ci-dessous.

Tableau 1 : Indicateurs clés pour la RDC

Population totale en 2011 ** 71 millions

Revenu national brut par habitant ($ constants de 2005) 280 USD

% de la population vivant avec moins 1,25US$ par jour** 71%

Indice de développement humain (rang) 187e/187 pays

Espérance de vie à la naissance 48,4 ans

Taux d'alphabétisation des adultes (en % d’âges de 15 ans et plus) 66.8

Taux brut de scolarisation (%) 52.1

Budget de l’Etat en 2011 (en milliard de US$) ** 7,3

Proportion pour EPSP** 6,73%

Source : Rapport mondial sur le développement humain, PNUD 2011

**Source : Plan Intermédiaire de l’éducation, 2012.

Dans ce pays d’une grande diversité géographique et culturelle, doté d’immenses richesses naturelles mais d’un niveau de développement très précaire, les défis sont nombreux : (i) rétablir la paix dans toutes les provinces, (ii) développer la démocratie et instaurer la bonne gouvernance, (iii) mettre en œuvre des politiques pertinentes et efficaces de développement économique, d’intégration nationale, et d’inclusion sociale.

Dans un tel contexte, l’éducation, et en particulier l’éducation technique et professionnelle peut jouer un rôle important. En plus, de créer une main d’œuvre qualifié nécessaire à la reconstruction du pays et de former les penseurs du monde de demain, l’éducation encourage l’évolution des mentalités, condition nécessaire au changement de comportement des différents acteurs de la société.

2. Contexte


2.2 Contexte sectoriel : l’éducation au Congo

2.2.1 Description générale : des besoins immenses, des moyens

dérisoires

Sept ministères sont impliqués à des degrés divers dans la gestion du secteur de l’éducation au Congo. Les trois principaux sont le ministère de l’Enseignement Primaire, Secondaire et Professionnel (EPSP), le ministère de l’Enseignement supérieur et universitaire, et le ministère des Affaires Sociales. Le ministère de la Jeunesse et des Sports, le ministère de l’Emploi, du Travail et Prévoyance Sociale, le ministère de la Santé Publique et le ministère de la Recherche Scientifique sont également concernés par l’éducation. Il existe en plus une commission interministérielle de l’ETFP depuis l’année 2010.

Le ministère de l’EPSP est divisé en 30 provinces éducationnelles (cf. Carte, dans

l’Annexe 1). Le ministère est représenté dans les provinces par des divisions provinciales (PROVED) et sous-provinciales (Sous-PROVED) qui administrent l’ensemble des écoles implantées dans leurs juridictions respectives. La répartition spatiale des écoles entre provinces et à l’intérieur de celles-ci demeure très inégale. De nombreuses écoles ne disposent pas du minimum nécessaire en termes d’équipements, de latrine, d’accès à l’eau potable et à l’électricité.

Environ les deux tiers des établissements d’enseignement public sont gérés par des confessions religieuses (catholique, protestante, Kimbanguiste et islamiste). On les appelle les écoles conventionnées. Moins de 20% des écoles sont gérées directement par l’Etat (écoles dites ’officielles’). Ce sont les écoles non-conventionnées. Les autres sont des écoles privées, particulièrement nombreuses en zones urbaines. On relève des problèmes de communication entre les gestionnaires des écoles conventionnées et les ministères, rendant parfois difficile l’application de certaines décisions des autorités centrales (l’information resterait bloquée au niveau des dirigeants de la confession). Cependant, il est à noter que les écoles conventionnées réputées pour leur rigueur et leur discipline, ont souvent meilleure réputation que les écoles dites officielles.

Le sous-secteur de l’EPSP comprend trois niveaux : maternel, primaire et secondaire.4

- Le niveau maternel, organisé en cycle de 3 ans, est principalement géré par le

réseau privé (64,6% des écoles maternelles sont privées en 2010). Il est facultatif, ce qui explique peut-être en partie le taux très faible de préscolarisation : 3,2% en 2009-10.

- Le niveau d’enseignement primaire est organisé en un cycle de 6 ans et il est sanctionné par un examen d’Etat appelé le TENAFEP (test de fin d’études primaires). Le taux brut de scolarisation en primaire se situe autour de 90,8% (les filles représentent un peu moins de la moitié des effectifs -46%-). Notons qu’un pourcentage non négligeable des enfants qui entrent en première année primaire est plus âgé que l’âge normal d’entrée en primaire (6 ans) et que seulement 56% des élèves terminent leur cycle primaire.

- Le niveau d’enseignement secondaire comprend 4 types d’enseignement, tous sanctionnés par un jury ou un examen d’Etat: (i) les humanités ou cycle long d’une durée de 6 ans donnent accès aux études supérieures et universitaire et se subdivisent en trois types d’enseignement -(a) l’enseignement général, section scientifique et littéraire, (b) l’enseignement normal et l’éducation physique, et (c) l’enseignement technique, qui comprend des sections industrielles, commerciales et sociales- ; (ii) le cycle des arts et métiers d’une durée de 1 à 3 ans, (iii) le

4 Les informations proviennent des deux documents officiels régissant le secteur : Stratégie du Sous-Secteur

de l’EPSP, 2010; et Plan Intermédiaire de l’Education, 2012


cycle professionnel d’une durée de 4 ou 5 ans, et finalement (iv) le cycle de spécialisation professionnelle d’une durée de 1 ou 2 ans. Les trois derniers cycles peuvent aussi être repris sous l’appellation de cycle court ou cycle professionnel. Le cycle long commence par deux années post-primaires, appelées cycle d’orientation (C.O).

L’enseignement secondaire comporte des disparités assez importantes entre provinces (4 provinces sur 11 totalisent 51 ,4% des écoles -ce sont les provinces du Katanga, Kasaï occidental, Equateur et Bandundu-) et selon le genre (36 ,4% de filles inscrites en secondaire en 2009-10). On estime le taux de scolarisation brut en secondaire à 36%, c’est-à-dire que près des deux tiers des enfants en âge d’être inscrits en secondaire restent non-scolarisés. Le taux d’abandon est élevé (75%). Sur quatre élèves qui entament des études secondaires, un seul achèvera ce cycle. Ce taux est encore plus élevé si l’on ne considère que les filles : une fille sur six termine l’école secondaire.

La répartition par type d’enseignement indique que le cycle long -enseignement général et normal- représente plus de 80% des effectifs (80,4%), le cycle long -enseignement technique- 18,4% des effectifs, et le cycle court 1,3% de l’ensemble des élèves inscrits en secondaire. L’annuaire 2011-12 dénombre 6.560 écoles techniques et 2.100 centres de formation professionnelle dans le pays. Ceci représente un total de 686.846 élèves pour l’année scolaire 2009-2010 (en moyenne 85 élèves par écoles techniques et professionnelles) dont 33% sont des filles.

Trois observations relatives à l’enseignement technique et professionnel

en RDC méritent d’être soulignées.

- Tout d’abord, les écoles techniques n’en ont souvent que le nom. En effet, plus de 90% d’entre elles ne disposent pas des équipements techniques requis.

- Ensuite, l’enseignement technique et professionnel souffre d’une mauvaise réputation dans la société congolaise car ces options rassembleraient des individus moins « intelligents », moins disciplinés, plus âgés.

- Finalement, les filières techniques attirent aussi une fraction de la

population qui a comme premier objectif de réussir l’examen d’Etat et ainsi avoir accès aux études supérieures. En d’autres mots, ces filières n’attirent pas que des futurs manœuvres, elles attirent également des individus percevant l’obtention d’un diplôme supérieur comme un instrument de promotion sociale. (cf. Infra, section 5 pour plus d’explications)

La politique éducative a été formalisée par l’arrêté interministériel EPSP-ESU-AS n°82 du 15 mai 2006. Le gouvernement congolais, relativement lucide quant aux défis de l’enseignement, y décrit l’état général de son système éducatif caractérisé par de nombreuses carences parmi lesquelles :

- La dévalorisation de la fonction enseignante et l’insécurité sociale et professionnelle de l’enseignant entraînant la perte de la vocation enseignante;

- La sous-qualification d’un bon nombre d’enseignants;

- La mauvaise gestion des ressources;

- L’absence d’une politique de formation continue du personnel;

- Les infrastructures insuffisantes, vétustes, inadaptées et très inégalement

réparties;

2. Contexte


- L’absence d’une planification en matière d’implantation des établissements

d’enseignement et de création des filières d’études;

- L’insuffisance et le manque criant d’équipements et des matériels didactiques appropriés;

- Le manque des programmes d’enseignement, manuels scolaires, guides pédagogiques et d’autres supports pédagogiques;

- Les disparités croissantes entre les sexes et les milieux; l’inadaptation des

programmes de formation aux réalités et aux besoins du pays ainsi qu’à l’évolution de la science et de la technologie;

- La modicité de la part du budget de l’État alloué au système éducatif avec comme corollaire, la prise en charge des salaires des enseignants et du fonctionnement des établissements par les parents d’élèves et d’étudiants.

Il existe deux autres documents régissant la politique sectorielle. Le premier date de 2010 et s’intitule ‘une Stratégie pour le Développement du Sous-Secteur de l’EPSP’ ; le second s’appelle ‘le Plan Intérimaire de l’Education (PIE) pour la période 2012-2014’. Ce dernier fixe des objectifs en termes :

(i) d’accroissement de l’accès et de l’accessibilité à l’enseignement primaire ;

(ii) d’amélioration de la qualité de l’enseignement et des apprentissages scolaires ; et

(iii) de renforcement de la gouvernance.

Pour atteindre ces objectifs et ainsi pallier les graves dysfonctionnements du système

actuel, le PIE est structuré en dix programmes dont trois visent l’accroissement et l’amélioration de l’offre et de la demande d’éducation ; quatre ont pour but l’amélioration de la qualité des apprentissages et de la pertinence de l’enseignement ; et finalement les trois derniers programmes portent sur le renforcement des capacités et acteurs du système éducatif.

Les textes sont convaincants mais les défis à relever sur le terrain restent nombreux en 2013. D’une part, les ressources humaines et leur gestion, ainsi que l’amélioration du financement de ce sous-secteur constituent des défis majeurs pour la réalisation des objectifs du PIE. Concrètement, il faut améliorer les conditions de travail, réviser à la hausse le salaire des enseignants, prévoir un régime de retraite viable afin que les plus âgés quittent leur poste et laisse la place aux jeunes professeurs, et assurer un financement effectif des frais de fonctionnement pour les écoles dans le but de réduire voire d’annuler la contribution financière des parents. D’autre part, l’étendue du pays et l’état des voies de communication posent un défi, celui d’atteindre toutes les écoles, compte tenu de leur dispersion et de leur éloignement (parfois enclavement). Ce problème est réel tant pour acheminer des fonds (salaires, subventions, etc.) car le système bancaire n’est pas encore suffisamment développé, que pour disséminer des nouvelles pédagogies, des programmes ou directives.

De plus, la réussite de la mise en œuvre des politiques et stratégies éducatives nécessite une bonne coordination des actions et une réelle concertation entre les différents acteurs du système éducatif, à tous les niveaux en RDC mais également au niveau des bailleurs dans ce secteur. Aujourd’hui, ce niveau de communication n’est certainement pas atteint. Beaucoup d’acteurs soulignent, en effet, une insuffisance de communication entre les pouvoirs centraux, provinciaux ou locaux5. En ce qui concerne la coordination de l’aide, le Plan d’Action Prioritaire défini suite à l’élaboration et à la mise en œuvre du

5 Propos d’un responsable provincial de l’éducation illustre ce constat : « peut-être au niveau national, il y a

quand même une collaboration, tandis que chez nous, au niveau provincial comme local, il n’y a pas de

collaboration entre ces différents systèmes de pilotage » (DFID/UNICEF, 2013 : p.92).


DSCRP II, prévoit l’organisation de Tables Rondes pour sensibiliser l’ensemble des bailleurs à l’immense chantier de l’éducation, et s’assurer une meilleure coordination dans ce secteur.

A l’heure actuelle, malgré les promesses d’augmentation du budget pour l’EPSP, le gros problème demeure le manque de financement de l’éducation. Ce dernier s’élevait à 5,3% du budget de l’Etat en 2010 et à 6,73% en 2011 (PIE 2012-2014). Un tel budget permet à peine de couvrir les salaires du personnel administratif et des enseignants. De plus, même si en théorie les enseignants des écoles publiques sont payés par l’Etat, en pratique, seuls les enseignants mécanisés6 touchent un salaire. Les statistiques nationales montrent qu’un enseignant sur trois n’est pas mécanisé. Cela signifie qu’un tiers des enseignants dans le pays n’est tout simplement pas payé par l’Etat. Ce sont donc les parents qui compensent, en payant des primes de motivation allant jusqu’à 40 US$ par trimestre, par enfant. Cette somme est non négligeable dans les dépenses du ménage quand on sait qu’une femme a en moyenne 6 enfants et que le revenu annuel moyen se situe autour de 250 US$. Une étude récente financée par DFID/UNICEF a mis en lien les dépenses totales d’éducation des ménages congolais en 2010-11 avec le budget de l’EPSP de la même année. Il ressort que les ménages dépensent près de trois fois plus (2,7) que l’Etat dans l’éducation (DFID/UNICEF, 2013 : p. 90).

Ci-dessous, nous abordons successivement plusieurs thèmes clés figurant parmi les problèmes principaux de l’éducation en RDC7 : la notion, bien relative, de la gratuité de l’enseignement en RDC, la situation précaire des enseignants, la question de la réforme des programmes et finalement, les débouchés et barrières à l’éducation.

2.2.2 « Gratuité » de l’enseignement

En théorie, l’enseignement est gratuit en RDC. Cependant la réalité est tout autre. Les budgets alloués à ce secteur sont tellement inférieurs aux besoins réels que les parents sont contraints de compenser en payant à l’école une cotisation trimestrielle par enfant. Le montant de cette prime varie d’une école à l’autre, d’une filière à l’autre. Cependant, il est partout en constante augmentation sur les dix dernières années (environs 10US$ par trimestre en 2003, et autour de 40US$ en 2013). Le montant et l’utilisation de la prime sont déterminés par le comité directeur de l’école en concertation avec le comité des parents. Le prix à payer est généralement plus élevé (de quelques dollars) pour les filières techniques que pour les filières générales, car elles nécessitent l’achat de consommables, l’entretien de machines, etc. Il arrive que dans certaines zones enclavées ou très défavorisées, cette prime se paie en nature (nourriture, service).

Les écoles éprouvent d’immenses difficultés à collecter les montants auprès des élèves

et de leurs parents. Elles mettent donc en place de multiples stratégies pour inciter les parents/élèves à payer leurs dettes : étalement sur le trimestre, pas de correction des tests ou examens, interdiction de passer les examens, interdiction de participer activement au cours (assis par terre ou en quarantaine dans une classe jusqu’au

6 Un enseignant mécanisé est une personne enregistrée avec un numéro de matricule au SECOPE (Service de

Controle et de la Paie des Enseignants) lui permettant de recevoir un salaire de l’Etat pour son travail dans

une école mécanisée (même principe).

7 Voici quelques citations relevées sur le terrain qui illustrent parfaitement la complexité du pays et l’urgence

de mettre en place des réformes efficaces et cohérentes sur le long terme. « Dans ce pays, il ne faut pas

oublier que c’est l’intérêt individuel qui prime sur tout bien collectif, malgré tous les beaux discours que

vous entendrez » ;« Chacun tire la couverture de son côté car si tu ne le fais pas, c’est l’autre qui le

fera » ; « Quand les jeeps arrivent il est temps de changer » (comprenez : là où sont les projets, il faut

placer ses amis) ; « On applaudit beaucoup dans notre pays, mais sur le terrain, rien ne vient » ; « Tout le

monde détourne, même les enfants ‘bouffent’ l’argent que les parents donnent pour payer la prime

scolaire »

2. Contexte


paiement), renvoi allant de quelques jours à un renvoi définitif, etc. Les écoles se montrent souvent plus flexibles avec les bons élèves, surtout ceux en dernière année, il faut qu’ils réussissent, car un bon taux de réussite aux examens d’Etat permet d’attirer de nouveaux élèves dans l’école (cf. Infra, partie 5, pour de plus amples explications à ce sujet).

Les montants ainsi récoltés servent, tout d’abord, à payer un complément de salaire aux professeurs afin de les inciter à rester dans l’école. Ce complément varie en fonction du montant disponible, c’est-à-dire du nombre d’élèves ayant payé la prime, et parfois du niveau de qualification des professeurs. Ces montants sont également utilisés pour couvrir une partie, mais souvent la totalité, des frais de fonctionnement de l’école. Pour finir, ces montants sont taxés par l’Etat selon une grille très claire de répartition pour les différents niveaux de pouvoir (cf. Annexe 9). Pour l’année scolaire 2012-13, l’école rétrocède 4250 FC par élève dans l’enseignement technique, et 2700 FC par enfant dans l’enseignement général, soit 5 et 3 US$, respectivement. Il est important de dire que le montant à verser à l’Etat se calcule sur le nombre d’effectifs en octobre. Ce moment correspond bien souvent au maximum de présence pendant l’année, mais cela n’implique pas pour autant que tous ces enfants aient payé ou paieront leurs cotisations. En effet, il est rare que les enfants paient en début d’année, et il est certain qu’une fraction des élèves ne paiera pas, parce qu’ils abandonnent ou qu’ils n’ont pas les moyens de payer. Le taux d’abandon est relativement important (« déperdition » dans le vocabulaire local) sur une année, ce taux varie selon les écoles, les années et les filières. Ce mode de taxation met donc les écoles dans une situation désavantageuse.

Les frais liés au paiement de la prime de motivation ne sont qu’une partie émergée de l’iceberg. Les autres dépenses des ménages pour l’éducation des enfants sont :

- les frais d’acquisition de fournitures scolaires et consommables pour les travaux

pratiques,

- les frais d’uniformes,

- les frais de déplacement, de nourriture et parfois de logement,

- les frais d’inscription aux examens officiels,

- les frais d’acquisition de certaines notes de cours auprès des professeurs,

- les frais de location d’ateliers ou machines pour les élèves inscrits dans une école sans équipement,

- les frais de participation aux sessions de rattrapage obligatoires pour terminer le

programme du cours avant les examens, et

- tout autre type de frais ponctuels.

L’étude récente DFID/UNICEF sur la situation des enfants et adolescents en dehors de l’école (2013) démontre que (i) plus de 10% du revenu des ménages est consacré à l’éducation des enfants, et cela pour toutes classes de revenus ; (ii) le poste de dépense prépondérant est celui du paiement de la prime de motivation, il représente 42% des dépenses d’éducation en milieu urbain et 31,3% en milieu rural ; et (iii) la probabilité d’un enfant d’être inscrit à l’école secondaire augmente significativement une fois que les revenus du ménage dépassent 200US$ par mois. L’enseignement est donc loin d’être gratuit et cela est un frein à l’accès à l’éducation pour bon nombre de jeunes dans le pays.


2.2.3 Situation précaire des enseignants

Les professeurs constituent un facteur incontournable pour améliorer la qualité de l’enseignement. Outre leurs qualifications, leur rémunération est un élément déterminant pour la qualité de l’éducation. Un salaire décent permet d’attirer de bons professeurs et de les stabiliser dans leur établissement scolaire. La question de la rémunération du corps enseignant est donc capitale dans le contexte congolais actuel. Aujourd’hui, le salaire mensuel versé par le ministère de l’EPSP aux enseignants mécanisés (cf. Supra) se situe entre 50 et 70US$, avec des salaires à Kinshasa significativement plus élevés qu’en province. Ce salaire ne varie quasiment pas avec le niveau de qualification ou les années d’ancienneté. Seuls les enseignants techniques avaient, il y a plus de 10 ans, une prime de technicité. Afin de motiver leurs professeurs, les écoles complètent ce salaire par une prime constituée grâce aux cotisations des élèves. Le montant de la prime mensuelle varie selon les écoles mais également en fonction du nombre d’enfants qui ont payé leurs cotisations trimestrielles et des autres frais que l’école doit assumer. Elle se situe entre 70 et 120 US$ par mois. Malgré cette prime, le salaire des professeurs reste insuffisant. Ils sont donc contraints de « bricoler » afin d’arrondir leurs fins de mois (expression locale signifiant qu’ils tentent par tous les moyens de gagner quelques sous) : ils répondent à des offres dans le privé, cumulent des enseignements dans plusieurs écoles ou encore font du petit commerce. Ceci n’est pas sans conséquence sur la qualité de leur enseignement : ils s’absentent régulièrement et manquent de temps pour préparer leurs cours ou se mettre à jour. Les enseignants du technique ont parfois un avantage sur ceux qui enseignent des matières plus générales, s’ils ont accès à des équipements. Cet accès leur permet, en effet, de valoriser leurs compétences en proposant des services à l’extérieur, et donc de générer un revenu tout en travaillant de l’école ou de leur domicile.

La rémunération est un élément non discutable de la motivation des enseignants. Cependant, beaucoup de professeurs parlent de leur vocation. Ils confient qu’elle aurait été induite par leurs professeurs, en majorité belges ou étrangers, lorsqu’ils étaient eux-mêmes étudiants. A l’époque, enseigner était un travail noble qui inspirait un certain respect et qui permettait de vivre décemment. Quel est donc l’avenir des jeunes professeurs dans un environnement où la profession est si peu valorisée, dans lequel le respect pour l’instituteur se perd, et où les professeurs étrangers ne sont plus qu’une minorité dans le paysage éducatif ?

A cette question, s’ajoute la question de la pension. Le système de retraite existant

(ou inexistant ?) n’incite pas les personnes d’un âge avancé à se retirer, « ils meurent sur leurs chaises » (ce phénomène est également présent dans toutes les administrations). Cela a deux conséquences négatives. Tout d’abord, les jeunes professeurs ne trouvent pas de place. Ensuite, avec une majorité d’enseignants relativement âgés, il n’est pas aisé d’introduire de nouvelles pédagogies ou de nouveaux programmes de cours abordant des techniques plus modernes. Le sous-financement de l’enseignement technique met donc en danger tout effort de modernisation.

Pour finir, relevons une évolution nécessaire et, à priori, positive du mode de paiement des salaires des enseignants : la « bancarisation » des salaires ou le paiement des salaires par système bancaire, mis en place en octobre 2012. Ce système empêche désormais les préfets de prélever une partie des salaires de leurs professeurs ou d’utiliser cette possibilité comme menace (cette pratique était courante). De plus, le fait d’obliger les bénéficiaires à se rendre personnellement à la banque permet à l’Etat d’identifier les professeurs « fantômes » (c’est-à-dire les personnes décédées, ou n’ayant jamais existées, ‘noms fictifs’), une manière efficace pour l’Etat de faire des économies. Ce système permet également au corps enseignant d’avoir accès à un service bancaire, auquel il pourrait faire appel dans d’autres circonstances : épargne, dépôt ou transfert d’argent, etc. Cependant, cet avantage n’existe qu’en théorie, car les enseignants ne le perçoivent pas comme tel. Tout d’abord, ils se méfient du système bancaire, soit par manque de compréhension de son fonctionnement, soit par manque

2. Contexte


de confiance en ce système impersonnel8. Ensuite, les enseignants ne perçoivent aucun intérêt à posséder un compte en banque individuel car ils n’ont, simplement, pas d’argent à y déposer : leur salaire est souvent déjà utilisé (à crédit) avant même qu’ils le reçoivent…

Même s’il existe des avantages à la « bancarisation » des salaires, le système n’est manifestement pas encore au point, car il produit plusieurs désagréments non négligeables sur le terrain. Premièrement, ce système provoque une absence des professeurs au minimum un jour par mois car ils doivent se rendre personnellement, muni de leur carte d’identité, à la banque pour retirer leur paie. Afin de prévenir les encombrements à la banque (et donc plusieurs jours d’absence pour les professeurs), un calendrier des retraits des salaires par établissement a été mis au point. (A Kisangani, le calendrier prévoit en moyenne 10 établissements par jour étalés sur 5 jours, ce qui réduit les encombrements de façon tout à fait relative...). Deuxièmement, cela peut créer un coût supplémentaire pour les enseignants. En effet, afin de permettre aux enseignants de retirer leur paie en dehors des jours planifiés et/ou d’envoyer quelqu’un pour eux, le personnel peut acheter un carnet de 25 chèques pour 6 US$ 9. Troisièmement, cela engendre parfois des retards de paiement significatifs. D’une part, si l’on ne retire pas son argent dans un certain délai (5 jours) l’argent est bloqué pour faire des vérifications approfondies sur l’individu. Cette procédure prend plus ou moins 3 mois à Kinshasa, on peut donc imaginer que cela prenne plus de temps en province. D’autre part, il semblerait que certains noms d’enseignants, même ‘mécanisés’, sont omis des listes dont les banques disposent. Ces personnes doivent donc attendre une mise à jour de la liste pour être payées. Une situation comparable est celle d’un remplaçant d’un professeur qui a « déserté » (c’est-à-dire un enseignant qui a quitté l’école, sans procédure de licenciement –un phénomène fréquent, semble-t-il). Le processus pour rayer le nom de ce dernier et le remplacer par celui de son successeur, semble à ce jour obscur pour les chefs des établissements. Afin d’éviter certains de ces désagréments, la SECOPE aurait fait la demande aux chefs d’établissement de ne pas procéder à des remplacements ou à des licenciements durant l’année 2012-13, voire durant plusieurs années, le temps que le système se mette en place, une demande inconcevable dans le contexte actuel de l’enseignement.

Le paiement des salaires des personnes enseignant à l’intérieur des provinces où le système bancaire n’existe tout simplement pas, se fait par l’intermédiaire d’un agent bancaire accompagné d’un agent de la SECOPE, moyennant quelques frais de transport. Tous ces inconvénients devraient, cependant, s’estomper, voire disparaître avec le développement du système bancaire et le gain de confiance de la population dans ce système. Mais combien de temps cela prendra-t-il ?

2.2.4 Programmes de cours et examens d’Etat

Une des réformes en cours suite à l’élaboration de la Stratégie du Sous-Secteur est l’actualisation du contenu des programmes, tant sur le fond que sur la pédagogie. Le projet actuel de la coopération belge (AETFP) a, entre autres, réformer le programme de 10 filières techniques. D’autres bailleurs le font également (JICA, VVOB). Ces nouveaux programmes préconisent l’adoption d’une nouvelle pédagogie appelée « l’approche par compétence » (APC) au détriment de l’ancienne pédagogie dite « pédagogie par objectif » (PPO). L’APC est mieux adapté à l’enseignement technique car elle permet de développer chez l’élève de réelles aptitudes techniques. Cependant, afin de mettre cette

8 Notez qu’un nombre important d’employés des agences des Nations Unies ne laisse pas leur argent sur un

compte dans une banque à Kinshasa…

9 Même si cet arrangement existe grâce à une négociation entre le ministère de l’EPSP et les confessions

religieuses, cela réduit le nombre de fois que l’enseignant doit se rendre personnellement à la banque mais

ne l’annule pas. En effet, l’Etat exige une présence personnelle régulière des enseignants au moment du

retrait des salaires, pour identifier les professeurs « fantômes ».


approche en pratique, trois conditions doivent être remplies : (i) les ateliers doivent être dotés de matériel de qualité adapté aux exercices pratiques demandés dans le programme, et en nombre suffisant afin que chaque élève puisse s’exercer le nombre d’heures préconisées dans le programme ; (ii) les professeurs doivent avoir les qualifications nécessaires pour être en mesure d’enseigner sur ce nouveau matériel ; et (iii) l’école doit avoir les moyens logistiques (accès au courant, salles de cours spacieuses,…) et financiers (pour acheter les consommables, entretenir les machines,…) pour que les élèves utilisent effectivement le matériel moderne mis à leur disposition.

La réforme des programmes est indispensable pour que l’enseignement technique offre aux enfants la capacité de développer de réelles compétences techniques qu’ils pourront ensuite valoriser sur le marché du travail. Cependant la mise en œuvre d’une telle réforme est complexe tant les conditions sont loin d’être satisfaites sur le terrain. Rappelons que l’enseignement technique en RDC n’en a souvent que le nom car les ateliers sont en mauvais état et ne sont pas équipés10. Les problèmes de sous-qualification et de vieillesse du corps professoral, ainsi que les problèmes d’accès aux manuels des cours sont réels. Rehausser le niveau de qualification prendra des années dans un tel contexte et dans un pays aussi vaste. Les moyens logistiques11 et financiers des écoles sont faibles voire inexistants dans certains établissements. Les nouveaux programmes encouragent vivement les enfants à réaliser des visites et des stages en entreprise. Ce concept est tout à fait pertinent en théorie, mais comment imposer cela à des enfants dans un pays où le tissu économique est si peu développé. Aucune école visitée dans le cadre de cette évaluation tant à Kinshasa, qu’à Kisangani, ne remplit l’ensemble des conditions pour adopter les nouveaux programmes -même celles qui ont reçu un appui des phases antérieures de la coopération belge-.

A la fin des humanités techniques, les élèves passent un examen d’Etat. Avec un tel diplôme, ils peuvent tenter leur chance sur le marché de l’emploi et/ou poursuivre des études supérieures. Les nouveaux programmes ont été implantés en 2012-2013 en 3ème année dans certaines écoles ‘test’. Cela implique logiquement que d’ici 4 ans, les examens d’Etat des filières réformées devront être adaptés aux exigences des nouveaux programmes. Il faut donc que la situation s’améliore significativement en 4 ans dans toutes les écoles dispensant les filières réformées, pour qu’elles soient capables de préparer leurs élèves à cette nouvelle épreuve. Etant donné la situation précaire de l’enseignement technique à travers le pays, il existe un risque élevé que la situation de ces écoles ne s’améliore pas ou trop peu pour que leurs élèves de 6ème année réussissent les nouvelles épreuves pratiques. Un tel taux d’échec porterait préjudice aux élèves mais également aux écoles qui gagnent/perdent leur réputation (donc leur nombre d’effectifs) en fonction du taux de réussite aux examens d’Etat. Même si un des objectifs des réformes est la restructuration du système et sans doute la fermeture de certains établissements peu performants, cela ne peut se faire au détriment des enfants et de leurs familles qui ont investi beaucoup d’argent et d’espoir dans leur éducation. Par ailleurs, si la réforme des examens d’Etat ne suit pas la réforme des programmes, le risque est le manque de motivation des enseignants et apprentis à adopter les nouveaux programmes. A ce stade de la réforme des programmes, il est donc nécessaire de réfléchir à une transition plus juste et réaliste sur le terrain.

10 « Les cours pratiques sont vus en théorie » disent les enseignants (par exemple le cours d’informatique est

une description d’un ordinateur ; en mécanique, on dessine un moteur au tableau pour expliquer son

fonctionnement, etc.).

11 Il est fréquent que les écoles ne soient pas raccordées au réseau de distribution. De plus, les ‘délestage’

(coupure) et le manque de tension sont des problèmes récurrents dans le pays. La SNEL coupe parfois

délibérément la ligne pour que l’on vienne réclamer et donc payer quelques francs à l’agent… plusieurs

chefs d’établissement se rendent très souvent à la SNEL pour réclamer et paient pour obtenir du courant,

alors que c’est normalement l’Etat qui paie l’électricité des écoles publiques…

2. Contexte


2.2.5 Etudier en RDC, une fin en soi ou l’inaccessible rêve

En RDC, il existe un « mythe des diplômes » : l’obtention de diplômes, spécialement des diplômes d’études supérieures et universitaires, est un moyen de grimper les échelons sur l’échelle socio-économique (ils appellent cela « gagner de la considération »). Cependant, ce mythe est certainement aussi une conséquence de l’état désastreux du marché de l’emploi dans tout le pays : le coût d’opportunité de poursuivre des études n’est pas élevé vu la petite probabilité de trouver un emploi. Le diplômé A2 (fin secondaire technique) n’échappe pas à ce calcul car à l’heure actuelle, le niveau de compétences acquis à la sortie des humanités ne le rend pas compétitif sur le marché de l’emploi. Il n’est donc pas étonnant d’observer que beaucoup de jeunes diplômés d’une école secondaire technique veulent poursuivre des études supérieures afin d’augmenter leurs chances de trouver un emploi. Mais, les moyens pour étudier manquent, le parcours scolaire d’un congolais est donc sinueux et long (voire sans fin). Les congolais alternent ou cumulent souvent études et travail (« ils travaillent pour étudier, et étudient pour travailler »).

Qu’ils poursuivent des études supérieures ou non, les jeunes diplômés des écoles techniques et professionnelles se retrouvent généralement dans le secteur informel. On rencontre des mécaniciens avocats ou encore des couturiers médecins…mais peu de mécaniciens ou couturiers A2 dans des entreprises du secteur formel. Les emplois dans le secteur formels sont non seulement rares mais peu accessibles aux jeunes diplômés de l’ETP. Sur cet aspect, la RDC ne semble pas une exception. Selon une étude sur la formation technique et professionnelle réalisée par DFID en 2007 (p.8), les liens entre formations professionnelles et techniques, et le secteur formel sont quasi inexistants sans une réforme plus large au niveau du gouvernement donnant des incitants aux entreprises à engager des jeunes à la sortie de leurs humanités tout en leur assurant qu’ils ont les compétences techniques requises pour l’emploi.

En résumé, afin d’élargir les horizons des jeunes diplômés de l’ETP, il faut, à la fois, une (r)évolution au niveau de la qualité de l’enseignement -c’est-à-dire s’assurer qu’un diplômé A2 ait de réelles compétences techniques à valoriser sur le marché du travail à la sortie de ses humanités-, et une (r)évolution sur le marché de l’emploi, -c’est-à-dire créer un climat favorable à l’investissement et au développement d’activités économiques tant dans le secteur informel, que formel. La nécessité de ces (r)évolutions a déjà été identifiée en 2003 par le professeur S. Mvudi Matingu de l’université de Kinshasa. Dans son article intitulé « Problématique de l’adéquation entre la formation technique et professionnelle de niveau post-primaire, et l’emploi en RDC », il explique le chômage des diplômés par manque d’opportunités d’emploi mais également par manque de qualifications adéquates avec le marché de l’emploi. Il y dénonce les mêmes dysfonctionnements du système éducatif et des politiques de l’emploi. En 10 ans, le contexte de l’ETP et celui de l’emploi n’ont donc guère évolué.

Si aller à l’école est une réalité pour certains, ce n’est qu’un rêve inaccessible pour

d’autres, surtout au niveau de l’enseignement secondaire et supérieur. Il existe de nombreuses barrières tant au niveau de l’offre que de la demande qui limitent la scolarisation des enfants et adolescents. Nous présentons ci-dessous, celles qui nous semblent les plus pertinentes dans le cas de la RDC. Les contraintes liées à l’offre scolaire sont de trois types : (i) la quantité, (ii) la qualité, et (iii) le coût. Tout d’abord, certains enfants peuvent ne pas aller à l’école car il n’existe tout simplement pas d’établissement scolaire proche ou à une distance acceptable de leur lieu de vie. La question de la distance entre la maison et l’école intervient souvent dans l’explication des inégalités de fréquentation scolaire entre les filles et les garçons, surtout en milieu rural (Kobiané, 2006, Hill & King, 1993). Ensuite, le type d’infrastructure et d’équipement disponible dans l’école, la qualification des enseignants, le contenu des cours, l’accès à des manuels ou encore les conditions d’apprentissage sont autant d’aspects de la qualité de l’enseignement qui peuvent influencer le choix des parents/enfants. En RDC, les pillages et guerres ont fortement endommagé les infrastructures scolaires et l’état des écoles est vraisemblablement pire en milieu rural


qu’en milieu urbain. Pour finir, les coûts de scolarisation sont également déterminants pour le choix d’un type d’institutions scolaires, publiques ou privées (DFID/UNICEF, 2013).

Les contraintes liées à la demande pour l’éducation sont de quatre types : (i) facteurs économiques ; (ii) facteurs socio/culturels ; (iii) facteurs familiaux ; et (iv) aptitudes individuelles. Il existe une corrélation positive entre le niveau de revenu d’une famille et la scolarisation des enfants (Shapiro 1999, DFID/UNICEF, 2013). Etant donné les frais importants liés à l’éducation en RDC, les familles les plus pauvres sont généralement exclues du système scolaire. Le coût d’opportunité pour ces familles d’envoyer leurs enfants à l’école est bien trop élevé car les enfants contribuent activement aux revenus du ménage. De plus, dans le contexte socio-politico-économique du pays, investir dans l’éducation des enfants n’est pas rentable pour certaines familles défavorisées qui ne croient pas que leurs enfants trouveront un emploi meilleur avec un diplôme que sans.

Plusieurs facteurs socioculturels interviennent dans l’explication des inégalités entre genres en matière d’investissement scolaire : la conception traditionnelle affectant la femme aux activités domestiques, la précocité du mariage pour les filles, et la résidence patrilocale des époux -il n’est pas « utile d’investir » dans l’éducation de sa fille dans la mesure où elle vivra dans une autre famille- (King & Hill, 1993, Lange 1998, Kobiané, 2007 cités dans DFID/UNICEF 2013, p. 57). Le « confiage »12 est également un élément culturel ayant des influences sur la scolarisation d’un enfant. Le « confiage » est une pratique courante en Afrique qui remplit diverses fonctions sociales. Il existe des « confiages » à l’intérieur de la famille pour renforcer les liens de solidarité familiaux ; des « confiages » chez une personne d’un statut social plus élevé pour renforcer les liens sociaux, politiques, et/ou économiques, ou encore d’alliance et/ou d’apprentissage ; et des « confiages » domestiques (Pilon, 2005). Il est rare que ces enfants confiés aient accès à une éducation sauf si c’est un « confiage scolaire », c’est-à-dire que l’enfant est confié pour aller à l’école.

Ensuite, l’environnement familial a également un effet sur le niveau d’éducation d’un

enfant (DFID/UNICEF, 2013, Björklund & Salvanes, 2010). Le niveau d’instruction des parents influence significativement la scolarisation: plus les parents sont instruits, plus ils accordent de l’importance à l’éducation de leurs enfants, quel qu’en soit le sexe (Hill & King 1993). Les femmes chefs de ménage scolarisent plus les enfants que les hommes du même statut (Kobiané 2003 et 2006).13 Par ailleurs, le nombre de malades « longue durée » (au moins 3 mois sur une année) au sein d’une famille compromettrait la scolarisation des enfants. Finalement les aptitudes physiques et intellectuelles d’un enfant influencent également sa capacité à poursuivre des études. Les barrières à l’éducation sont donc nombreuses et influencent aussi en partie la réussite des projets dans ce secteur.

12 « Le confiage » signifie confier son enfant à un membre de sa famille ou de ses relations pour diverses

raisons.

13 La raison la plus invoquée dans la littérature est que les femmes seraient garantes d’une meilleure

allocation des ressources au sein du ménage (De Vreyer, 1993 ; Pilon & Clavenot, 1996 ; Lloyd & Blanc,

1996).

2. Contexte


2.3 La coopération belge au Congo dans le secteur de l’ETP

2.3.1 Bref historique14

A la fin des années cinquante, la Belgique a construit sous l’impulsion du ministre Auguste Buisseret des écoles techniques et professionnelles dans toutes les régions de sa colonie. Ces écoles uniques dans toute l’Afrique, installées dans des bâtiments fonctionnels étaient équipées de matériel qui n’avait rien à envier aux écoles belges. Après l’indépendance, la Belgique a continué à soutenir ces écoles où travaillaient de nombreux professeurs belges. Cependant suite à la rupture de la coopération de la Belgique avec la RDC en 1990, tous les enseignants expatriés ont quitté le pays laissant derrière eux ces établissements scolaires que les congolais n’ont pas pu conserver. Notons toutefois que certaines écoles conventionnées ont continué à recevoir de l’aide de congrégations belges tant en matériel qu’en professeurs.

Suite à la visite du Secrétaire d’Etat à la Coopération au Développement, M. Moreels, en

1997, un projet de type « humanitaire » a été conçu. Il avait pour objectif de doter les écoles techniques et professionnelles du matériel pédagogique qui faisait défaut. Quatre années plus tard (en 2001), le projet, qui n’avait toujours pas commencé, a été modifié. L’approche « type humanitaire » a été abandonnée, le gouvernement belge estimant qu’il était capable de mieux faire. C’est alors que le projet AETP1 a été formulé et mis en œuvre dans 4 provinces, sur une durée de deux ans. L’objectif spécifique était l’amélioration de la qualité de l’enseignement technique et professionnel, il comprenait un volet dotation d’équipements techniques et pédagogiques, et un volet de renforcement des capacités dans 13 écoles. En plus d’être le premier projet dans le secteur de l’ETP depuis la reprise de la coopération avec la RDC, ce projet était l’un des premiers projets mis en œuvre par la CTB. En 2005, le projet AETP2 a vu le jour pour une durée de trois ans. L’objectif était relativement similaire à celui de AETP1 : offrir un appui en équipement et en formation à 20 nouvelles écoles réparties dans 8 provinces non encore appuyées. Malgré l’abandon d’une approche « type humanitaire » dans la formulation, ces deux projets revêtaient un caractère d’aide humanitaire de par le contexte post-conflictuel. Un troisième projet d’appui à l’ETP a ensuite été mis en place en 2009 pour une durée de 4 ans (fin en 2013). Ce projet AETFP, en plus d’offrir un soutien technique et pédagogique dans 30 nouveaux établissements du pays, avait également pour objectif de réformer le programme de 10 filières techniques afin de créer une meilleure adéquation entre la formation et l’emploi. Parallèlement à ces projets d’appui à des écoles techniques et professionnelles, un projet d’appui institutionnel au ministère de l’éducation primaire et secondaire (AIMEPS, 2008-2011) a été mis en œuvre dont l’objectif spécifique est de contribuer au fonctionnement efficient du Ministère de l’EPSP en RDC.

La Belgique a choisi de se concentrer dans le sous-secteur de l’ETP de par son passé colonial et son implication forte dans l’enseignement. C’est également le parent pauvre du ministère et à l’époque, aucun autre bailleur n’avait l’intention de financer ce sous-secteur (la coopération japonaise -JICA- soutenait l’INPP et l’APEFE appuyait le ministère de la jeunesse et des sports). De plus la Belgique était convaincue de l’importance d’investir dans l’ETP afin de doter le Congo d’une main d’œuvre qualifiée capable de prendre en main la reconstruction du pays et de contribuer ainsi à son développement. Depuis 2008, d’autres bailleurs sont présents dans ce sous-secteur : l’AFD (en matière de formation professionnelle, l’Agence travaille en étroite collaboration avec les acteurs économiques et les syndicats professionnels, notamment la Fédération des Entreprises

14 Les deux premiers paragraphes sont, en partie, tirée du Rapport d’identification de la phase 2 (2004, p.9)

et du Rapport d’évaluation de la phase 1 et pré-identification des phases 2&3 (2004, p.11, 12).

http://www.fec.cd/


du Congo (FEC) et l'institut national de préparation professionnelle (INPP)) ; l’APEFE (appui au centre de formation professionnelle du ministère de la jeunesse et des sports, appui dans les travaux de la commission interministérielle, appui à l’amélioration des capacités de l’inspection générale de l’EPSP) ; le VVOB (réforme des programmes pour la filière agricole, appui à la réforme de la pédagogie) ; la coopération coréenne -KOICA- et japonaise -JICA- (soutien à l’INPP, appui à la réforme de programmes de certaines filières), et finalement, le BIT (projet au Katanga comprenant d’une part un appui en matériel technique et en formation dans des filières formant des techniciens dont les entreprises ont besoin, et d’autre part un accès à des microcrédits et à un soutien pour démarrer une activité à la sortie des humanités techniques).

2.3.2 Quelques chiffres

Le tableau de l’annexe 2 présente les montants d’aide de la coopération belge pour la RDC de 2001 à 2011, par secteur d’intervention (toutes sources de financement officielles confondues). Les deux dernières lignes présentent, respectivement, le montant total de la coopération pour la RDC par année, et le montant total sans tenir compte de l’allègement de la dette (qui gonfle le montant de l’aide globale). Si l’on observe les différents secteurs d’intervention en RDC, l’éducation vient en cinquième position en ordre d’importance, à raison de 5,0% du montant total de l’aide accordé à la RDC entre 2001 et 201115. Le premier secteur est l’allègement de la dette à concurrence de 58%, suivi de l’aide humanitaire (7,7%), puis de la santé (6,8%), et finalement de l’aide au gouvernement et à la société civile (5,7%). Sur cette même période, le financement du secteur de l’éducation au Congo représente 8% des dépenses allouées à ce secteur par la Belgique aux pays tiers.

Ce tableau indique qu’entre 2001 et 2011, la Belgique a financé le secteur de l’éducation au Congo à concurrence de 10 millions d’euros par an en moyenne (10 173 401 €). Cela représente une dépense de 1,5 euros par habitants en 11 ans (ou de 15 € par élèves de l’ETP sur 11 ans ou encore moins de 1.5 € par élève par an). Par ailleurs, les trois projets belges d’appui à l’ETP -à savoir AETP1 (2001-03), AETP2 (2005-08) et AETFP (2009-13)- totalisent un montant de 10 millions d’euros (ce qui représente à peine 15 cent d’euro par habitant). Bien que les montants octroyés à la CTB dans ce secteur au Congo soient relativement modestes dans l’enveloppe de la coopération belge, ils ne sont pas négligeables, d’où l’importance d’évaluer l’impact des projets sur les bénéficiaires, surtout que quatre nouveaux projets CTB sont sur le point d’être mis en œuvre pour un montant total de 40 millions d’euros.

Encadré 1 : Résumé du contexte du pays et sectoriel

Après des années de guerre et d’instabilité politique, la situation économique est précaire avec un Etat qui connait des dysfonctionnements sévères. Le secteur de l’enseignement, particulièrement sous-financé, fait face à des enjeux de taille concernant les besoins en éducation tant du côté de l’offre que de la demande. Les écoles professionnelles et techniques ne sont pas équipées en matériel, manquent crucialement d’infrastructures et sont réparties de façon relativement inégale sur le territoire. Les enseignants perçoivent de l’Etat un salaire particulièrement bas (entre 50 et 70 € par mois). Mal payés, ces derniers sont contraints de chercher d’autres sources de revenus ce qui a des conséquences négatives sur la qualité de leur enseignement et sur leurs motivations. De plus ces derniers ont rarement les compétences techniques requises pour enseigner les travaux pratiques. Bien que des réformes soient en cours, l’enseignement n’est pas gratuit. Les parents sont mis à contribution pour financer le système éducatif à travers la prime de motivation (aussi taxée par l’Etat). A cette prime, s’ajoute de nombreux frais scolaires. En moyenne, plus de 10% du revenu des

15 Le montant total de l’aide belge pour la RDC de 2001 à 2011 est de 2 334 322 374 euros.

http://www.fec.cd/

http://www.inpp.cd/

2. Contexte


ménages est consacré à l’éducation.

En RDC, le mythe des diplômes est réel. L’enseignement technique est plus perçu comme une passerelle pour accéder à l’enseignement supérieur que comme un moyen d’obtenir un emploi. Afin d’élargir l’horizon des jeunes diplômés de l’ETP, il faudrait une (r)évolution de la qualité de l’ETP et du marché de l’emploi.

La Belgique a été pendant des années un des seuls acteurs dans le sous-secteur de l’ETP. Les deux premiers projets mis en œuvre par la CTB dans le sous-secteur de l’ETP (AETP1 & AETP2) revêtent un caractère d’aide humanitaire de par leur implémentation dans ce pays en période post-conflictuelle.


3. Projet AETP2

3.1 Brève description du projet

Le projet AETP2 a été réalisé entre juillet 2005 et octobre 2008 avec une enveloppe budgétaire de 4 100 000 euros. Il succède au projet AETP1 (2001-2004) ayant soutenu 13 écoles dans 4 provinces, et précède le projet AETFP (2009-2013), actuellement en cours. Ce dernier, en plus d’appuyer 30 nouvelles écoles, a offert un appui minimal à certains établissements déjà soutenus par les projets antérieurs.

L’objectif global du projet AETP2 tel que défini dans la logique d’intervention résumée dans le cadre logique initial est de contribuer au développement économique de toute la RDC. L’objectif spécifique est l’amélioration de la qualité de l’ETP. L’appui consiste en diverses activités menées dans 20 écoles techniques et professionnelles réparties sur 8 provinces. Les activités sont réparties entre 6 filières identifiées comme porteuses d’emploi. Les bénéficiaires identifiés sont les écoles, les professeurs, et les élèves (DTF de l’AETP2, p.20-21). Les activités prévues se résument comme suit (la logique d’intervention du projet et synthétisée dans le DTF, p.47-51) :

(i) La réhabilitation des ateliers et d’une salle de documentation par école ; (ii) La livraison d’équipements techniques et didactiques, ainsi que de matière

d’œuvre, et équipement des locaux de documentation ; (iii) La formation des professeurs afin de les aider à enseigner sur le nouveau

matériel ; (iv) Des activités de sensibilisation de la population aux avantages des formations

manuelles ; (v) la création d’unités formation/emploi afin de favoriser l’insertion des jeunes

diplômés sur le marché de l’emploi ; et (vi) L’aide à la mise en place d’activités génératrices de revenus au sein des

écoles pour encourager l’autofinancement de ses activités.

Le projet avait pour but d’inciter les jeunes à entreprendre des études techniques,

d’améliorer la qualité de l’enseignement et de gestion des écoles, d’assurer une meilleure adéquation entre la formation et le marché de l’emploi et finalement, d’augmenter les chances des jeunes diplômés à trouver un emploi. Le tableau 2 ci-dessous présente, par provinces, le nombre d’établissements bénéficiaires du projet AETP 2, ainsi que le type et le nombre de filières ayant reçu un appui. L’annexe 3 reprend l’ensemble des établissements bénéficiaires des projets AETP1 et AETP2, avec leur nom et localisation. Dans le cadre du projet AETP2, 21 écoles16 ont bénéficié d’un appui et 27 ateliers ont été réhabilités. Ces ateliers sont répartis de façon relativement équilibrée entre les 6 filières sélectionnées. Il est intéressant de constater que 4 de ces filières sont plutôt dédiées aux hommes, et 2 d’entres elles sont a priori mixtes (coupe/couture et administration/ commerciale). Le nombre d’écoles soutenues par province varie de 1 à 7 ; et le nombre maximum de filières soutenues par établissement est de deux. A l’échelle nationale, le nombre d’établissements scolaires touchés par les projets AETP1&2 représente presque 5% des écoles techniques et professionnelles du pays.

16 Nous notons 21 établissements car l’institut technique industriel de Mbandaka de la province d’Equateur a

reçu un appui pour la filière électricité par le projet AETP1 mais également un appui pour la filière

menuiserie par le projet AETP2, nous le considérons donc comme faisant partie intégrante de ce projet.


Tableau 2 : Nombre d’écoles et de filières bénéficiaires de l’AETP2 par province.

Provinces # d’écoles

bénéficiaires Filières appuyées (27 ateliers réhabilités)

méca électricité construction menuiserie

coupe

/couture

admin

/comm

Equateur 7 2 0 1 1 2 2

Prov.

Orient 3 1 0 1 1 1 1

Nord Kivu 3 1 1 0 0 1 0

Sud Kivu 1 0 1 0 0 0 0

Maniema 2 1 0 1 0 0 1

Katanga 1 0 0 0 1 0 0

Kasaï

orient 2 1 1 1 0 0 0

Kasaï occ. 2 0 0 0 1 1 1

Total 21 6 3 4 4 5 5

3.2 Contexte du projet AETP2

A l’époque de la formulation du projet, les difficultés présentes dans le sous-secteur étaient multiples : (i) l’absence d’une politique sectorielle ; (ii) gestion de l’ETFP par plusieurs ministères ; (iii) insuffisance de formateurs qualifiés ; (iv) manque d’infrastructure et d’équipements dans les structures de formation ; (v) programmes inadaptés aux évolutions technologiques et aux besoins des bassins d’emploi ; et (vi) insuffisance des ressources allouées à l’éducation, surtout dans le sous-secteur de l’ETP. Aux difficultés sectorielles s’ajoutaient les difficultés générées par la situation post-conflictuelle du pays, spécialement dans les provinces nouvellement sous contrôle sélectionnées pour ce projet. Cela impliquait une série de réalités sur le terrain : un climat d’insécurité, une précarité des zones ciblées, une complexité pour acheminer des biens ou des personnes à l’intérieur du pays, une fragilité des institutions politiques, et un tissu économique quasi inexistant dans la plupart des villes du pays.

Sur le plan de la coopération, la Belgique s’était engagée à financer le secteur de

l’éducation technique et professionnelle (dont AETP2 en est la deuxième intervention) et avait la volonté d’être présente dans toutes les provinces. Cette volonté s’explique certainement par le caractère récent de la reprise de la coopération entre les deux pays. La Belgique était à l’époque, avec la coopération japonaise (appui à l’INPP) et l’APEFE (appui en formation des enseignants), le seul bailleur à proposer des interventions au niveau des établissements scolaires techniques et professionnels. Sur le terrain, la Belgique privilégiait, dans l’éventail des besoins immenses du sous-secteur, un appui en matériel technique et didactique relativement moderne tout en prévoyant un volet de renforcement des capacités. Le projet AETP2 s’inscrivait tout à fait dans la logique d’action préconisée par le projet AETP1 qui le précédait (notons par ailleurs que l’assistant technique international est le même pour ces deux premiers projets).

Par ailleurs, le contexte international de l’aide au développement encourageait l’appui à l’ETP car il contribuait à l’atteinte des objectifs du millénaire. La formation professionnelle qualifiante participe en effet à l’atteinte du troisième objectif « l’éducation pour tous », qui est de faire en sorte que les jeunes aient la possibilité d’acquérir des compétences. De même, la formation technique et professionnelle contribue, a priori, à l’atteinte du premier objectif du millénaire, à savoir « réduire l’extrême pauvreté et la faim ». En effet, ce type d’éducation offre la possibilité à des jeunes d’être générateurs de revenus dès la fin de leurs études secondaires, et crée de la main d’œuvre dont le pays a besoin pour assurer sa croissance et trouver sa place dans l’économie mondiale.

3. Projet AETP2


3.3 Mise en œuvre

La sélection des établissements a été faite en collaboration avec le partenaire. La Direction de l’ETFP a présélectionné 60 écoles sur base de critères définis dont voici une liste non exhaustive (cf. DTF de l’AETP2, p.16 pour la liste exhaustive) :

(i) état de délabrement pas trop avancé (afin de sécuriser le matériel à livrer) ;

(ii) accès relativement aisé ; (iii) accès à l’eau, l’électricité ; (iv) dans une zone sécurisée ; (v) présence d’un minimum d’équipement ; (vi) présence d’enseignants relativement éduqués ; et (vii) des écoles de bonne réputation (bon taux de réussite à l’examen d’Etat et

bonne gestion) ; …

L’assistant technique et son homologue congolais ont ensuite parcouru le pays pour visiter les établissements scolaires présélectionnés et en ont choisi une vingtaine parmi ceux qui satisfaisaient un maximum de critères. Ce choix n’était pas évident car très peu d’écoles remplissaient l’ensemble des critères de sélection. La sélection des filières dites ‘porteuses’ était également complexe à réaliser dans ce pays où les données statistiques récentes sur l’emploi étaient (et sont) inexistantes et dans lequel le secteur formel était (et est) très peu développé. Les filières ont donc été choisies en termes de besoin pour reconstruire le pays et normalement en adéquation avec la demande du marché locale. Cependant, les assistants interrogés à ce sujet ont insisté, à plusieurs reprises, sur l’inexistence d’un tissu économique prospère dans la majorité des zones d’intervention et sur l’absence totale de stratégie politique pour créer de l’emploi.

La sélection du matériel technique et pédagogique a commencé par une analyse des besoins en matériel pour réaliser l’ensemble des travaux pratiques suggérés dans les programmes existants. Ensuite, les assistants techniques ont sélectionné les équipements qui leur semblaient prioritaires en fonction du budget disponible tout en veillant à un équilibre entre matériel « ancien » connu des enseignants et matériel « moderne » en adéquation avec un marché de l’emploi actuel. Bien que conscients du retard évident du pays en termes d’utilisation de matériel moderne (ordinateurs, machines électrique, brodeuse, automates, etc.), ils étaient convaincus que l’évolution était nécessaire et qu’elle serait rapide. Il ne fallait donc pas priver les écoles ni la jeune génération de la modernité. De plus, il n’était pas simple de trouver en 2005 des entreprises qui produisaient encore du matériel mécanique de qualité. Ils ont donc effectué des choix en supposant que prochainement tous les établissements seraient raccordés à l’électricité. Par ailleurs, ils étaient aussi conscients du manque d’adéquation entre le matériel livré et le programme, mais n’ayant ni les moyens, ni le temps d’agir sur tous les fronts, ils ont fait le pari qu’une réforme des programmes allait survenir prochainement (cela a d’ailleurs encouragé la formulation du projet AETFP).

La mise en œuvre a pris énormément de retard à cause des longs processus des marchés publics, de la complexité de se déplacer sur le terrain, et des autres causes liées au contexte local. Les premières écoles ont été livrées en 2007, mais la majorité d’entre elles ont reçu les équipements en 2008 (cf. Annexe 3). La réhabilitation des ateliers a pris également plus de temps que prévu car les responsables du projet ont essayé d’engager le personnel et les étudiants de certaines filières des écoles sélectionnées pour réaliser les travaux. Ce fut, selon eux, parfois un succès mais souvent un désastre car les chefs d’ateliers n’étaient pas suffisamment qualifiés/motivés pour réaliser ce genre de travaux. Dans ce dernier cas de figure, les assistants techniques ont dû se substituer au chef de chantier afin de mener à terme l’opération de réhabilitation. La possibilité de conditionner l’appui à la réalisation préalable des travaux de réhabilitation par l’école avec le financement du projet n’était pas envisagée car ce n’était tout d’abord pas mentionné dans la convention spécifique, et de toute façon, le matériel était en route et les fonds déjà dépensés. Une partie du temps disponible a également été consacrée à pallier des retards de la phase I. Il ne restait donc que très peu de temps pour organiser les formations des enseignants ou mettre en place des unités formation-emploi. Par ailleurs, le changement d’interlocuteurs au sein des écoles


sur la durée du projet ne leur a pas facilité le travail, surtout que la personnalité des préfets joue un rôle déterminant dans l’appropriation de ce projet par les bénéficiaires.

Le système de suivi/évaluation mis en place pour ce projet s’articulait autour de cinq mécanismes:

(i) un système de rapports semestriels et annuels réalisés par la Cellule de Gestion du Projet (CGP) afin notamment de mesurer le degré d’avancement des réalisations;

(ii) des missions de suivi technique et financier (audits) avec un rapportage auprès du comité de pilotage (appelé Structure Mixte de Concertation Locale ou SMCL) ;

(iii) supervision générale du projet par la SMCL, mandatée pour prendre sur base des rapports et recommandations les mesures nécessaires à une adaptation des activités ;

(iv) une évaluation à mi-parcours ; et (v) une évaluation finale.

Bien que définis dans la logique d’intervention, aucune collecte d’indicateurs pertinents auprès des bénéficiaires finaux (les élèves) n’a été réalisée. Les seules données disponibles sont des informations relativement agrégées au niveau des écoles ou encore des provinces. Les réunions du comité de pilotage étaient, aux dires des participants, bien préparées… cependant il semblerait que les discussions portaient plus sur des aspects pratiques (montants de per diem, achat de véhicules, motivation des retards dans la livraison, etc.) que sur des décisions stratégiques. Aucun réajustement du projet n’a été acté sur base de constats en interne, ou même sur base des conclusions de l’évaluation à mi-parcours qui préconisait, entre autres, la réalisation d’enquêtes en fin de projet.

Encadré 2 : Résumé du projet AETP2, son contexte et sa mise en œuvre

Le projet AETP2 avait pour objectif spécifique l’amélioration de la qualité de l’enseignement technique et professionnel et, comme objectif global, la contribution au développement économique de la RDC. Il consistait en un appui en matériel technique et didactique relativement moderne tout en prévoyant un volet de renforcement des capacités. Mis en œuvre dans 8 provinces, il touchait 21 établissements et réhabilitait 27 ateliers dans 6 filières identifiées comme porteuses d’emploi. A l’échelle nationale, le nombre d’établissements scolaires touchés par les projets AETP1&2 représentait presque 5% des écoles techniques et professionnelles du pays.

Les conditions de formulation et de mises en œuvre de ce projet ont été particulièrement difficiles : (i) l’absence d’une politique sectorielle ; (ii) gestion de l’ETFP par plusieurs ministères ; (iii) insuffisance de formateurs qualifiés ; (iv) manque d’infrastructure et d’équipements dans les structures de formation ; (v) programmes inadaptés aux évolutions technologiques et aux besoins des bassins d’emploi ; et (vi) insuffisance des ressources allouées à l’éducation, surtout dans le sous-secteur de l’ETP. Aux difficultés sectorielles s’ajoutaient les difficultés générées par la situation post-conflictuelle du pays.

Le choix des établissements bénéficiaires a été réalisé avec la collaboration de la

direction de l’ETP. Les critères retenus étaient liés principalement à la capacité technique des établissements à recevoir le matériel et à leur bonne réputation. Le choix du matériel a d’abord été basé sur une analyse des besoins tels qu’ils ressortaient des programmes. Comme il était clair que ces programmes étaient dépassés, du matériel plus moderne a aussi été distribués, anticipant ainsi une révision des programmes. La mise en œuvre concrète du projet a pris énormément de retard à cause des longs processus des marchés publics, de la complexité de se déplacer sur le terrain, et autres causes liées au contexte local. Le système de suivi évaluation mis en place était essentiellement orienté sur la mise en œuvre des activités prévues et les difficultés opérationnelles rencontrées. Aucun indicateur d’« outcome » n’a été collecté.


4. Méthodologie

Cette section expose tout d’abord le processus général de l’évaluation et définit de manière générale les deux approches « qualitative » et « quantitative ». La présentation des deux approches débouche sur une réflexion concernant la définition même de l’impact dans le cadre de cet exercice. La logique d’intervention du projet est ensuite commentée et reconstituée sur base de l’analyse documentaire et des constats de la mission exploratoire sur le terrain. La logique d’intervention reconstituée permet de définir une méthodologie quantitative réalisable sur le terrain et pose le cadre d’analyse pour l’approche qualitative. Pour terminer, est exposée l’approche méthodologique retenue pour cet exercice.

4.1 Approche méthodologique générale

4.1.1 Processus général d’évaluation

Cette étude d’évaluation ex post d’impact se fonde sur un processus général séquentiel présenté dans la figure 1, ci-dessous. Il consiste en quatre phases principales, avec des livrables et des réunions de présentation au comité d’accompagnement (CA).

Figure 1 : Processus d’évaluation

L’approche méthodologique pour évaluer l’impact de chaque projet se base sur des méthodes d’analyse dites « qualitatives » et des méthodes d’analyse dites « quantitatives ». Les informations et constats découlant des deux types de méthodes sont ensuite triangulés et comparés. Ceci forme la base pour les constats, conclusions et leçons de chaque rapport. En plus d’évaluer les projets, l’équipe a pour objectif d’explorer comment et en quoi ces deux approches sont complémentaires et/ou redondantes. Cet exercice d’évaluation d’impact ex post de quatre projets a donc une finalité tant sommative que formative.


4.1.2 L’approche qualitative

L’approche qualitative est synthétisée dans la figure 2 ci-dessous.

Figure 2: Résumé de la méthodologie qualitative

Etape 1 : Reconstruction de la logique d’intervention. Sur base de l’analyse

documentaire et des informations recueillies sur le terrain, la logique d’intervention du projet a été reconstituée. Cela a permis de mettre en évidence la chaîne de résultats qui, par liens de cause à effet, produit l’impact. La chaîne de résultats suit la séquence présentée dans la figure 3, ci-dessous.

Figure 3: Type de logique d’intervention utilisée pour cette évaluation

Les définitions des concepts clés de la logique d’intervention soulèvent de nombreuses

questions car ils sont parfois interprétés de façon différente. En effet, les praticiens de

l’évaluation, mais également les praticiens du développement ne définissent pas tous de

la même manière ces concepts. Les concepts sont ici utilisés en anglais dans la mesure

où ils reflètent clairement le concept sous-jacent. Les termes français amènent une

certaine confusion car les termes résultats / produits / réalisations apparaissent à

différents niveaux.

Etape 2 : Les relations causales sont confrontées aux réalités du terrain, par le biais d’observations des outputs et de leur utilisation, d’avis d’experts, d’entretiens semi-

OUTCOMESOUTPUTSINPUT

Effets du projet

sur les

bénéficiaires

directs résultant

de l’utilisation des

outputs

Biens,

équipements

ou services qui

résultent des

inputs, et qui

produisent les

effets

Moyens mis en

œuvre et Activités

entreprise en vue

de produire les

effets attendus du

projet

Effets induits du

projet

à niveau global

IMPACT

Autres termes

utilisé qui

portent parfois à

confusion:

« Résultats intermédiaires » (selon la terminologie du cadre logique)

« Résultats immédiats ou

produits » (selon la terminologie du SES)

« Objectif spécifique »(selon la terminologie du cadre logique)

« Résultats à court et moyen

terme ou réalisations » (selon la terminologie du SES)

« Objectif global »(selon la terminologie du cadre

logique)

« Résultats à long terme ou

impact » (selon la terminologie du SES)

Outcomes

(bénéficiaires)OutputsActivités

Impact

(société)

Etape 1: Reconstruction de la logique d’intervention

Etape 3: Quantification du champ du projet (# bénéficiaires,

# régions…) pour estimer le potentiel d’impact global

Etape 2: Observation des outputs concrets

du projet et de leur contribution aux

outcomes sur les bénéficiaires

4. Méthodologie


structurés avec diverses parties prenantes tant en Belgique que dans le pays d’intervention (dont certains bénéficiaires). Les experts peuvent également s’appuyer sur une analyse avec contrefactuel même si celle-ci n’est pas statistiquement représentative (c’est peu utilisé).

Etape 3 : On tente de quantifier l’impact et de porter un jugement argumenté sur la contribution de l’intervention à cet impact. Les méthodes d’analyse qualitative sont généralement reconnues comme étant peu efficaces pour quantifier l’impact avec précision et adresser l’attribution. Cependant, leur force réside dans leur capacité à éclairer la contribution du projet à l’impact dans des contextes complexes.

Les méthodes de recherche qualitative se concentrent donc sur le processus

d’atteinte de l’impact. Elles mettent en évidence le comportement des acteurs pour expliquer la réussite, l’échec ou la réussite partielle d’un projet dans un contexte donné. Elles jouent un rôle important dans la détermination de la « validité interne » (‘Evaluation Policy and guidelines for evaluation’, du Ministère des Affaires étrangères des Pays-Bas, 2012).

4.1.3 L’approche quantitative

L’impact est défini par la communauté scientifique universitaire comme les résultats observés (communément appelés en anglais « outcomes ») sur les bénéficiaires. Les objectifs d’une évaluation d’impact par des méthodes quantitatives sont :

(i) Identifier et quantifier les changements observés dans la population cible depuis la mise en œuvre du projet;

(ii) Etablir, avec un certain degré de précision, un lien de causalité entre

les changements observés (attendus ou imprévus) et le projet.

Afin de conclure à une relation de causalité, il faut pouvoir estimer quelle aurait été la situation de la population soumise au projet en l’absence de celui-ci. L’idéal serait de comparer la même population avec ou sans mise en œuvre du projet, ce qui est par définition impossible.

La solution est de comparer la population soumise au projet appelée ‘population cible’ (ou ‘groupe traité’) à une population témoin (ou ‘groupe de contrôle’, ou ‘contrefactuel’). Ces deux groupes doivent être comparables avant traitement. Ils doivent donc présenter un nombre important de caractéristiques similaires et répondre aux critères d’éligibilité pour la mise en œuvre du projet. L’identification d’un contrefactuel crédible est une étape essentielle pour la validité des résultats.

La mise en œuvre idéale d’une étude d’impact commence par la réalisation d’une

enquête de base (« baseline survey ») auprès d’individus tirés aléatoirement dans le groupe cible et le groupe témoin. Ensuite, il convient de mesurer des indicateurs clés tout au long de la phase opérationnelle pour finir par une enquête ex post, auprès du même échantillon. Le processus et la méthodologie d’évaluation d’impact doivent donc idéalement être conçus et mis en œuvre en même temps que le projet.

Sans situation de référence, il est possible de réaliser une enquête ex post auprès d’un échantillon de bénéficiaires et de non bénéficiaires. Cependant, l’inexistence de données de référence peut entrainer un biais dans l’estimation de l’impact:

(i) Les différences observées ex post entre population cible et groupe témoin pourraient être préexistantes au projet ;

(ii) A l’inverse, une absence de différence entre ces deux groupes peut

simplement refléter une différence préalable au projet qui a disparu grâce à la présence de l’intervention dans le groupe cible.


La pertinence du choix du contrefactuel (groupe témoin) et des méthodes utilisées pour comparer ces deux groupes revêt donc un caractère crucial.

Les analyses statistiques et économétriques utilisées sont sensibles au nombre et à la qualité des données disponibles. Si les données existantes pour un projet ne sont pas de bonne qualité ou ne sont pas exploitables statistiquement, il est nécessaire de collecter des données de première main. Cela signifie de réaliser des enquêtes sur le terrain.17 En théorie, la taille optimale de l’échantillon est déterminée par une formule18 afin d’affirmer avec un certain degré de précision qu’il existe ou non un impact, et de pouvoir le quantifier, le cas échéant. En pratique cette formule reste en toile de fond, la taille de l’échantillon étant calculée en fonction de la méthode statistique-économétrique envisagée et du budget.

Les analyses quantitatives permettent d’établir avec un certain degré de

précision les liens de causalité entre les effets et le projet. Cependant, elles restent relativement obscures quant aux mécanismes sous-jacents à ces causalités. À cet effet, la récolte d’informations de nature qualitative est utile, voire primordiale. Ces informations qualitatives sont:

(i) Des données qualitatives systématiquement relevées par le biais d’enquêtes19 ;

(ii) Des observations plus générales – par exemple, la présence de troubles politiques, l’occurrence de catastrophes naturelles, de conflits, etc. – ;

(iii) Des entretiens avec des personnes clefs liées à l’intervention.

Notons que les deux derniers types d’informations sont généralement aussi collectés dans le cadre d’une approche qualitative.

Par la nature des analyses, les résultats obtenus dans l’approche quantitative permettent généralement d’apprécier la ‘validité externe’ d’une intervention.

Concrètement, l’approche quantitative se base sur l’analyse des documents disponibles

et du cadre logique, ainsi que sur les constats de la mission exploratoire pour :

(i) Identifier les « outcomes » (les effets directs sur les bénéficiaires) et celui (ceux) qu’il est possible de mesurer ;

(ii) Définir la méthodologie la plus appropriée pour identifier l’existence d’un impact, et le cas échéant, le quantifier dans le souci de prouver l’attribution des effets observés à l’intervention.

17 Notons que la mise en œuvre de la collecte de ces données engendre une série de coûts fixes (ne

dépendant pas du nombre d’enquêtes à réaliser), par exemple : rédaction d’un questionnaire, formation

des enquêteurs, test du questionnaire sur le terrain, corrections éventuelles, déplacements, contrôle de la

saisie des données, nettoyage des données, etc. Réaliser des économies à ces étapes cruciales de la

méthodologie d’enquête engendrerait inévitablement une perte de la qualité des données à analyser, et

remettrait en question la pertinence de la collecte de données de première main.

18 Cette formule dépend de la taille de la population ciblée par l’intervention, de la variance au sein de cette

population et des coûts d’enquête. La taille de l’échantillon sera d’autant plus grande que la population

ciblée est importante, hétérogène et que le coût unitaire d’enquête est faible.

19 Les données qualitatives de première main (systématiquement collectées par le biais de questionnaire

individuel) peuvent être ordonnées de manière à créer des mesures quantifiées qui peuvent être utilisées

dans l’analyse économétrique de l’impact.

4. Méthodologie


4.2 L’impact, une définition à clarifier

Un malentendu sur la définition de l’impact à évaluer ressort de la collaboration entre une équipe « quali » et une équipe « quanti ».

- D’un côté, l’approche « qualitative » cherche à apprécier l’impact défini

dans le cadre logique comme étant l’atteinte de l’objectif global.

- De l’autre côté, l’approche « quantitative » cherche à quantifier les « outcomes » du projet (c’est-à-dire les effets sur les bénéficiaires directs), et à vérifier l’attribution des effets observés au projet. Le terme ’impact’ est souvent utilisé par les praticiens des méthodes quantitatives, alors qu’il correspond en réalité aux « outcomes » du projet (c’est-à-dire le niveau d’objectif spécifique tel que défini dans le cadre logique).

D’où vient cette confusion ? Après quelques recherches dans les textes de diverses organisations internationales, nous constatons qu’il existe au moins trois définitions différentes de l’impact d’une intervention :

(1) La définition de l’OCDE qui définit l’impact comme « les effets à long terme,

positifs ou négatifs, primaires ou secondaires, induits par une action de développement, directement ou non, intentionnellement ou non »20 (définition utilisée par le SES);

(2) La définition de l’impact telle que formulée dans la logique d’intervention (résumée dans le cadre logique), qui est « la mesure de l’atteinte de l’objectif global » (définition préconisée, entre autres, par la DGD/CTB);

(3) La définition de la communauté pratiquant l’’Impact Evaluation’ (IE) pour qui l’impact est « la mesure du changement causé par l’intervention sur une population cible » (définition utilisée, entre autres, par la Banque Mondiale et 3ie).

Selon l’OCDE (glossaire du CAD, cf. encadré suivant), la dimension temporelle distingue

l’impact des « outcomes ». La notion d’impact se réfère aux effets à long terme positifs ou négatifs d’une action de développement. Les « outcomes » sont définis comme des effets à court et moyen terme.

Dans l’approche de la logique d’intervention, l’impact est défini comme étant le dernier élément d’une chaine causale, telle qu’exposée dans la logique du projet (« l’objectif global »). Cela correspond donc à un effet global du projet. La notion d’« outcomes » est reprise sous le terme d’objectif spécifique.

Selon la définition de la communauté de l’« Impact Evaluation », l’évaluation d’impact mesure l’effet d’une intervention sur les populations cibles. L’évaluation d’impact est en fait l’évaluation des « outcomes ». La Banque Mondiale utilise d’ailleurs le terme d’ « outcomes » pour désigner ce qu’elle mesure. Par extrapolation, elle permet également de quantifier l’impact global d’un projet, mais ce n’est pas son objectif principal.

20 “Glossary of key terms in evaluation and results based management”, OCDE – DAC (2010).


Encadré 3 : L’utilisation du terme « impact » dans la communauté de l’évaluation

Use of the Term “Impact” within the Impact Evaluation Community

There is a long tradition in evaluation literature defining the term “impact” as long-term

effects of a development intervention. For example, the Organisation for Economic Co-operation and Development’s Development Assistance Committee defines impact as “positive and negative, primary and secondary, long-term effects produced by a development intervention, directly or indirectly, intended or unintended” (OECD 2002). In this sense, any evaluation that refers to impact indicators is an IE—for example, participatory impact assessments, which rely largely or solely on qualitative approaches (3ie 2009).

However, in the IE community, including at the World Bank Group, impact is used to denote causal effects of a program on outcomes, whether immediate, intermediate, or final. For instance, Gertler and others (2011) define IEs as “a particular type of evaluation that seeks to answer cause-and-effect questions. Unlike general evaluations, which can answer many types of questions, IEs are structured around one particular type of question: What is the impact (or causal effect) of a program on an outcome of interest?” Similarly, according to the International Initiative for Impact Evaluation, “High-quality impact evaluations measure the net change in outcomes that can be attributed to a specific program.” Consistent with the terminology used in the IE community and at the World Bank, this report uses the term impact to mean causal effects of an intervention, irrespective of the time dimension of the outcomes of interest.

Ces aspects sémantiques sont d’autant plus importants que cette étude propose la combinaison de deux approches méthodologiques qui définissent l’impact différemment.

Dans le cas des évaluations dites « qualitatives », on cherche principalement à apprécier l’impact global (au niveau macro-économique, au niveau des secteurs) d’une action de développement. Dans le cas des évaluations dites « quantitatives », ce sont les résultats sur les populations bénéficiaires qui sont appréciés. L’analyse proposée dans la section 5 tient compte de ces différences.

Pour terminer, il est intéressant d’illustrer les implications du choix des définitions par un

exemple. Un programme d’appui à des activités génératrices de revenus peut avoir un effet significatif positif sur les bénéficiaires directs. Cependant, il peut également ne pas avoir d’impact global sur la société. En effet, même si l’ensemble de la population cible connaît une augmentation significative de ses revenus mais que le projet ne touche qu’une partie marginale de la population, aucun changement significatif au niveau du PIB ou de la pauvreté à travers le pays (ou la région, ou la commune) ne sera observé. Sur base de la définition proposée, le projet n’a donc pas d’impact global.

Donc, selon la méthodologie utilisée et implicitement la définition de l’impact sous-entendue, à savoir les effets sur les bénéficiaires directs (méthodes quantitatives) ou effet global sur la société dans laquelle les bénéficiaires directs évoluent (méthodes qualitatives), les conclusions d’une étude peuvent être très différentes. Ainsi apparait toute l’importance de la clarification des définitions utilisées dans ce type d’exercice.

4. Méthodologie


4.3 La logique d’intervention reconstituée de AETP2

La reconstitution la logique d’intervention résumée dans le cadre logique est une étape cruciale dans la réflexion sur l’analyse d’impact. Tout d’abord elle permet de structurer le projet en mettant en évidence la liste des activités réalisées, avec les « outputs » prévus, et de clarifier les liens de causes à effets envisagés, sous certaines hypothèses, pour l’atteinte des « outcomes » et de l’impact.

Cette reconstitution ex post permet également de critiquer la logique d’intervention en se posant principalement deux questions :

(1) La conception de l’intervention est-elle cohérente ? Les objectifs étaient-ils réalistes ? L’enchainement entre « input – output – outcomes – impact » est-il logique ?

(2) Quelles sont les hypothèses sous-jacentes aux liens de causes à effets, c’est-à-dire susceptibles d’influencer l’atteinte des « outcomes » et de l’impact ?

La figure 4 ci-dessous, présente la logique d’intervention simplifiée21 reconstituée du

projet AETP2. En rouge, figurent les modifications apportées à la logique d’intervention initiale afin de faire correspondre au mieux la logique d’intervention du projet avec les définitions présentée dans la section précédente.

Deux éléments sont déterminants avant même la mise en place des activités : le choix des écoles (accessibilité, qualité de gestion et des infrastructures, …) et les filières retenues (perspectives d’emplois, qualification technique à maîtriser, …). L’hypothèse que ces choix ont été faits tel que prévu (des critères de choix explicites ont bien été définis dans le DTF) a été vérifiée dans l’analyse car ils conditionnent l’atteinte des « outcomes » attendus. Dans la colonne des « outputs », le dernier « génération de revenus par les écoles ; autofinancement » devient un « outcome ». Etant donné le retard dans la mise en œuvre du projet, les écoles n’ont pas eu le temps de réaliser des AGR avant la fin du projet. Du côté des « outcomes », tels qu’ils sont formulés, ils restent très généraux et ne correspondent pas à la définition d’« outcomes » (encore appelé objectifs spécifiques) : « effets directs sur les groupes-cibles ». Il convient de reformuler les 4 « outcomes » en tenant compte des bénéficiaires directs : écoles, professeurs, élèves.

Finalement, il convient également de redéfinir l’impact du projet. En effet, l’objectif global « contribution au développement économique de toute la RDC » correspondant à l’impact global attendu du projet, est particulièrement ambitieux et sans lien explicite avec les moyens mis en œuvre dans le cadre de ce projet. En effet, les liens causals entre le projet et l’impact envisagé sont tellement nombreux et sont soumis à tant d’hypothèses que cet impact paraît déconnecté des inputs mis en œuvre par le projet. De plus, cet impact semble irréaliste en référence à l’ampleur relativement faible du projet par rapport aux besoins du sous-secteur (27 ateliers, dans 6 filières, réhabilités au sein de 21 écoles éparpillées dans 8 provinces). La « contribution au développement socio-économique de la RDC » est donc abandonnée au profit d’un impact global au niveau sectoriel et institutionnel plus réaliste qui est « l’amélioration de la qualité de l’ETP ».

21 Par souci de clarté, les hypothèses sous-jacentes aux liens de causes à effets ne sont pas ajoutées dans la

figure, ces hypothèses sont détaillées dans l’analyse de l’impact (section V), et les activités y sont

présentés de façon thématique (une liste exhaustive des activités prévues est disponible dans le rapport

d’étude p.16, Novembre 2012).


Figure 4 : Logique d’intervention reconstruite pour le projet AETP 2 en RDC

Personnel éducatif formés à

l’utilisation des équipements

Augmentation de

l’attractivité pour l’ETP

dans les f ilières

soutenues des écoles

appuyées

Meilleure adéquation

entre formation et

emploi ; Meilleure

employabilité des

jeunes diplômés des

écoles appuyées

Activités de réhabilitation de locaux

de documentation, d’ateliers des

filières choisies et d’équipements

Activités de sensibilisation de

l’importance de l’ETP et accès

équitable en termes de genre

Activités pour mettre en adéquation

les formations et le marché de

l’emploi

OUTPUTS et leur UTILISATION

IMPACTglobal

INPUTS OUTCOMESSur les bénéficiaires

Contribution au

développement

économique de

toute la RDC

Amélioration de la

qualité de l’ETP dans

les écoles appuyées

Création de revenu par

les écoles appuyées;

autofinancement

Réhabilitation de 27 ateliers

dans 21 écoles

Réhabilitation et

équipements de 33 salles

de documentation

(1 salle par écoles)

Activités de formation des

enseignants à l’utilisation des

nouveaux équipements

création Unité Formation-

Emploi dans chaque école ;

annuaires des anciens ;

Génération de revenus par

les écoles ; autof inancement

Activités de livraison d’équipements

techniques, matériel didactique et

matière d’oeuvre

Activités pour générer des revenus

dans les écoles

Parents/enfants

(f illes/garçons) sensibilisés à

l’ETP

Acquisition de nouveaux

équipements techniques et

didactiques, et

consommables

Choix des écoles et des filières à

soutenir par le projet

Amélioration de la

qualité de l’ETP en

RDC

4. Méthodologie


L’analyse d’impact ex post du projet AETP2 a été faite en deux temps. Dans un premier temps, les effets sur les bénéficiaires (écoles professeurs, élèves) ont été évalués (« outcomes ») :

(1) l’attractivité pour l’ETP dans les filières soutenues des écoles appuyées ;

(2) l’amélioration de la qualité de l’ETP dans les écoles soutenues ;

(3) la création de revenus et la capacité d’autofinancement des écoles AETP2 ; et

(4) l’employabilité des jeunes diplômés des filières/écoles soutenues.

Les effets inattendus et les effets sur les thèmes transversaux seront également traités.

Dans un deuxième temps, c’est l’impact global au niveau sectoriel et institutionnel qui

a été analysé.

Encadré 4 : Résumé de l’approche méthodologique générale

Cette étude d’évaluation ex post vise à apprécier l’impact d’un projet de développement à travers deux approches l’une, dite « qualitative » s’articulant principalement sur l’analyse de la logique d’intervention et critiquant le processus d’atteinte de l’impact global d’un projet, et l’autre, dite « quantitative » correspondant à une approche spécifique visant à comparer avec des méthodes statistiques appropriées l’effet d’une intervention sur une population bénéficiaire par rapport à une population témoin. Il est utile de souligner le caractère exploratoire de cet exercice qui, au-delà de l’appréciation de l’impact du projet AETP2, vise à explorer les deux approches, leur complémentarité et leur intérêt pour évaluer l’impact.

La collaboration entre les deux équipes d’évaluateurs, une quali (bureau d’étude

spécialisé dans l’évaluation), l’autre quanti (un centre de recherche universitaire en économie du développement), soulève une réflexion sur la confusion de la définition de l’« impact » à estimer. Dans la littérature, il existe au moins trois définitions de l’impact d’une intervention de développement : (1) la définition de l’OCDE qui définit l’impact comme « un effet à long terme d’une intervention » ; (2) la définition de l’approche par cadre logique (ACL) pour laquelle l’impact est « la mesure de l’atteinte de l’objectif global » ; et (3) la définition issue de la communauté pratiquant l’’Impact Evaluation’ (IE) pour qui l’impact est « la mesure du changement causé par l’intervention sur une population cible » (« outcomes »).

Dans le cadre de cette étude, la définition de l’impact retenue est celle de l’ACL, c’est-à-dire l’atteinte de l’objectif global : effet du projet au niveau d’un pays, d’une région ou d’un secteur. Mais étant donné que l’approche quanti se concentre sur l’atteinte des « outcomes », deux niveaux d’effets du projet ont été appréciés : les effets sur les bénéficiaires directs et les effets à un niveau plus global.

Sur base de ces définitions, la logique d’intervention a été reconstituée afin de définir avec précision les effets à analyser dans le cadre de cet exercice. Le projet AETP2 poursuit 4 objectifs spécifiques correspondant à 4 « outcomes » attendus sur les bénéficiaires, à savoir, (i) l’augmentation de l’attractivité de l’ETP dans les filières soutenues des écoles appuyées, (ii) l’amélioration de la qualité de l’ETP dans les écoles appuyées, (iii) la création de revenu et la capacité d’autofinancement dans les écoles soutenues par le projet, et (iv) l’amélioration de l’employabilité des jeunes diplômés issu des écoles/filières soutenues. L’objectif global (l’impact) du projet AETP2 redéfini est la contribution à l’amélioration de la qualité de l’ETP.


4.4 Les questions d’évaluation

L’analyse se structure en cinq questions d’évaluation. Le tableau 3 présente ces questions. Elles sont détaillées dans la section 5. La question des effets inattendus est traitée dans la question quatre (Q4). Les thèmes transversaux, à savoir l’effet du projet sur les femmes et l’environnement sont résumés à la fin de la Q4.

Tableau 3 : Aperçu des questions d’évaluation d’ordre sommatif.22

Questions d’évaluation d’ordre sommatif

Q1 Alignement Dans quelle mesure les objectifs du projet ont-ils été alignés

aux objectifs des politiques des pays partenaires en vue de

maximiser l’impact du projet ?

Q2 Intégration de l’impact Dans quelle mesure l’appréciation des « outcomes » et de

l’impact fut intégrée dès la conception et la mise en œuvre du

projet?

Q3 Obtention des

«outputs» et leur

utilisation

Dans quelle mesure les activités du projet ont-elles été mises

en œuvre, et ont-elles produit les « outputs » prévus ? ; Que

reste-il de ces « outputs » ? Sont-ils utilisés ? ;

Q4 Atteinte des

« outcomes » et de

l’impact

Dans quelle mesure les « outcomes » et l’impact attendus ont-

ils été atteints? Y-t-il des effets inattendus ?

Quels sont les effets sur les thèmes transversaux, à savoir

sur le genre et l’environnement?

Q5 Durabilité Dans quelle mesure l’impact atteint par le projet ont-ils une

chance d’être durables dans le temps ?

4.5 Approche méthodologique pour le projet AETP2

Le faible nombre d’établissements scolaires bénéficiaires par province (de 1 à 7 par province) malgré l’ampleur nationale de cette intervention, les complexités géographique, sécuritaire et politique du pays, le peu de statistiques disponibles et les contraintes temporelles et financières limitent fortement les méthodes d’analyse quantitative pertinentes à utiliser pour ce type d’intervention.

Les interventions réalisées ne sont pas les mêmes entre les établissements scolaires

sélectionnés car elles appuient d’une part des filières différentes, et sont d’autre part déterminées en fonction de ce qui existait avant le projet. Le but de l’exercice n’est donc pas d’évaluer une activité en particulier mais bien d’évaluer l’effet de l’ensemble des activités réalisées dans le cadre de ce projet sur 4 niveaux d’« outcomes » -(i) l’attraction pour l’ETF, (ii) la qualité de la formation, (iii) les capacités à générer des revenus au sein des établissements scolaires, et (iv) l’employabilité des jeunes diplômés de ces écoles- ; et plus globalement sur l’amélioration de la qualité de l’ETP en RDC.

L’approche méthodologique mixte « qanti/quali » proposée se résume en 5 phases :

(i) l’analyse documentaire et la préparation des outils de collecte de données ; (ii) la reconstitution et la critique la logique d’intervention résumée dans le cadre

logique ; (iii) la mission exploratoire à Kinshasa (pour des raisons de sécurité fin novembre

2012) pour tester les outils de collecte et affiner la méthodologie ; (iv) la mission de terrain : collecte d’informations auprès d’interlocuteurs clefs liés

au projet, et réalisation de l’étude de cas avec contrefactuel dans la ville de Kisangani ;

(v) la réponse aux questions d’évaluation (section suivante).

22 Les sous-questions et les indicateurs s’y rapportant sont disponibles dans la note méthodologique

complétée révisée (juin 2004).

4. Méthodologie


Approche méthodologique proposée : étude de cas avec contrefactuel.

Compte tenu du contexte au moment de l’intervention et au moment de l’évaluation, la méthode d’analyse « quantitative » la plus pertinente à proposer est une étude de cas avec contrefactuel reposant sur une collecte de données primaires (enquêtes auprès des élèves et anciens diplômés -traçabilité des anciens élèves- dans un nombre réduit d’écoles bénéficiaires et non bénéficiaires du projet).23 Cependant, suite aux constats réalisés lors de la mission exploratoire en novembre/décembre 2012, il a été décidé d’abandonner la réalisation d’enquêtes individuelles auprès des bénéficiaires directs au profit d’entretiens de groupe et de collecte de données quantitatives de 2nde main, tout en gardant l’idée de l’étude de cas avec contrefactuel.

Des informations quantitatives et qualitatives ont été collectées dans quatre établissements scolaires techniques de la ville de Kisanagni (2 cibles / 2 témoins) via les outils suivants24 :

- Entretiens individuels avec préfet et directeur d’étude afin de

comprendre les changements vécus depuis le projet, et les problèmes de mise en œuvre éventuels. Les questions visaient en priorité à capter les effets attendus du projet (évolution des effectifs, amélioration de l’enseignement, capacité d’autofinancement et employabilité des jeunes diplômés), mais tentaient également d’identifier des « outcomes » non attendus ;

- Entretien type « focus group » avec les enseignants des filières identifiées. L’objectif était de comprendre comment et en quoi l’intervention belge a modifié leur enseignement. Des questions sur l’évolution des effectifs, les opportunités d’emploi de leurs anciens élèves et sur la création d’AGR au sein de l’école ont également été posées.

- Entretiens type « focus-group » avec des étudiants de 6ème, puis avec des diplômés (de 201125), afin de comprendre les motivations de ces jeunes à entreprendre des études techniques et professionnelles, d’avoir une idée de la qualité de la formation, d’identifier la création d’AGR au sein des écoles, ainsi que d’appréhender la question de leur employabilité sur le marché (type d’emploi, de contrat, plan après les études secondaires, etc.).

- Consultation des « Palmarès des résultats de fin d’année » disponibles dans chaque école, pour les périodes pré- et post-intervention (nombre d’effectifs par filières, taux de réussite aux examens…),

- Consultation du Palmarès des examens et jury d’Etat pour l’année 2011 (comparaison du taux de réussite et des effectifs par filières entre région et établissements au sein d’une région)26.

23 Cette méthode ainsi que d’autres ont été présentées dans la note méthodologique complétée révisée (juin

2012).

24 Les différents guides d’entretien, ainsi que les tableaux ayant permis la collecte des informations

quantitatives sont disponibles dans l’annexe 4.

25 Considérer des jeunes diplômés de 2011 permet d’accroitre les chances qu’ils aient trouvé une emploi.

26 Les évaluateurs ont également essayé d’utiliser les données de l’enquêtes DFID/UNICEF sur les enfants et

adolescents en dehors de l’école. Malheureusement, suite à l’analyse des questionnaires administrés dans

le cadre cette l’étude (2013), les données nécessaires à l’analyse prévue n’étaient pas disponibles. En effet,

le niveau d’étude est demandé d’ordre très général, il est impossible de savoir si la personne interrogée,

ses frères et sœurs et ses parents ont fait des humanités techniques, professionnelles ou générales.

Finalement seules les données du palmarès agrégées pour l’année 2011 de la province éducationnelle de

Kisangani I seront utilisées (cf. Infra, section V, ‘Choix des filières’), car les autres sources se sont révélées

moins intéressantes que prévu.


Des entretiens avec des personnes clefs sur le terrain et en Belgique en lien avec le

projet ont également été réalisés. L’équipe a rencontré les assistants et les conseillers techniques en charge de la mise en œuvre du projet, les attachés à la coopération, des membres de la CTB en charge du domaine d’intervention, les évaluateurs des projets antérieures ou d’évaluation à mi-parcours ou finale, le partenaire local, des bénéficiaires, des personnes au sein des ministères de l’enseignement, de l’emploi, des affaires sociales, etc. La liste des personnes rencontrées dans le cadre de l’évaluation ex post du projet AETP2 est reprise dans l’annexe 7. Aucune résistance ou retenue de la part des personnes interrogées n’a été constatée.

L’objectif de l’approche proposée était de :

- Détecter, apprécier et commenter l’impact du projet sur les bénéficiaires (écoles, professeurs, jeunes) de la ville de Kisangani en analysant les données qualitatives et quantitatives collectées sur le terrain.

- Extrapoler les conclusions, à la lumière du paysage institutionnel, pour apprécier l’impact global du projet.

La mission exploratoire et ses enseignements.

Une mission exploratoire a pour objectif principal de tester les outils d’enquêtes élaborés sur base de l’analyse documentaire. C’est aussi l’occasion de se rendre compte de certaines réalités du terrain et d’organiser la logistique de la phase d’enquête (trouver et former des enquêteurs, location de véhicules, locale de formation, etc). Cette étape est importante car elle influence fortement la qualité des instruments de collecte d’informations et donc la qualité des données à exploiter.

Cette mission aurait dû se dérouler dans la ville de Kisangani. Mais, suite aux troubles dans la ville de Goma en novembre 2012, et les débordements dans certaines villes dont Kisangani (le 20 novembre 2012), la mission exploratoire (du 26 novembre 2012 au 3 décembre 2012) a été restreinte à la ville de Kinshasa. Les évaluateurs ont alors interrogé des personnes ressources et ont testé les outils d’enquête dans des écoles cibles du projet AETP1 et dans des écoles témoins.

Durant la mission exploratoire, des entretiens avec des personnes ressources de la CTB

ont été menés et quatre établissements techniques (publics non-conventionnés) de Kinshasa ont été visités avec l’aide d’un expert local. Trois filières ont été examinées : (i) mécanique générale, (ii) coupe/couture et (iii) administration/commerciale, sur l’ensemble des écoles visitées.

Les écoles visitées à Kinshasa sont: (1) ITP N’Galiema -filière mécanique situé dans la division de Kin Ouest- ; (2) ITS LIMETE -filière admin/com et coupe/couture situé dans la division de Kinshasa Centre (3) ITP LILOBA -filière mécanique situé dans Kin Ouest- ; (4) LTP MATONGE -filières coupe/couture et admin/comm situé dans Kin Centre-.

Les deux premières écoles font partie des écoles ayant bénéficié d’un appui en 2003. Les deux dernières sont des écoles témoins, c’est-à-dire des écoles n’ayant bénéficié d’aucun appui de la part des bailleurs mais étant similaires aux écoles cibles à plusieurs égards (type de filières dispensées, localisation/public de l’école, de financements publics non-conventionnés, anciennement des centres de spécialisation professionnelle, etc.).

Dans ces établissements scolaires, l’équipe s’est entretenue avec les préfets les

directeurs d’étude et les enseignements. Le questionnaire individuel préparé a également été testé auprès d’un étudiant de 6ème mécanique générale à ITP Ngalièma.

Les constats réalisés lors de cette mission ont fortement remis en cause la pertinence (« value for money ») de réaliser une collecte de données de 1ère main via une enquête individuelle auprès de professeurs, élèves et diplômés d’écoles bénéficiaires et non-bénéficiaires du projet. Même si les écoles visitées à Kinshasa ne reflètent qu’une partie de la diversité que l’on peut rencontrer dans le pays, les observations et informations

4. Méthodologie


collectées poussaient à croire que l’impact était faible, voire inexistant dans d’autres cas27. Il a alors été décidé d’une part de maintenir une étude de cas avec contrefactuel dans une province du pays afin de se rendre compte des réalités hors de la capitale, et d’autre part d’abandonner la réalisation d’enquêtes individuelles (le questionnaire élaboré est néanmoins disponible dans l’annexe 5).

Les limites de l’étude de cas avec contrefactuel sans enquêtes individuelles.

Une étude de cas consiste à examiner un échantillon relativement petit de bénéficiaires dans une zone géographique déterminée. Le choix de la région se fait sur base de critères assurant de détecter le cas échéant un effet minimum de l’intervention. Il n’est a priori pas possible de généraliser les résultats d’une étude de cas (taille réduite de l’échantillon) mais on peut tout de même extrapoler certaines conclusions en présentant une argumentation solide sur base d’observations et de l’analyse qualitative. 28

L’utilisation d’un contrefactuel (entretiens avec non-bénéficiaires similaires aux

bénéficiaires) favorise la démonstration de la causalité. Dans une étude de cas, l’échantillon est bien souvent trop petit pour permettre l’utilisation de techniques économétriques qui a pour but de démontrer l’attribution de l’impact au projet. Par contre, l’utilisation d’un contrefactuel permet de comparer des établissements bénéficiaires et non-bénéficiaires (mais également avant-projet par des données de « recall » ou des données de 2nde main) et de soulever des questions quant à l’attribution des effets, sans pour autant la démontrer formellement.

En plus de permettre de faire des analyses statistiques détaillées, une enquête individuelle aurait permis de collecter des informations plus précises (plus nuancées) qu’en entretien de groupe. Les répondants se confient différemment dans un entretien individuel et dans un entretien en groupe.

Finalement, étant donné la petite taille de l’échantillon et le type d’acteurs rencontrés, un risque de collecter des informations biaisées est possible. Certains interlocuteurs peuvent avoir des agendas cachés en voyant arriver l’équipe d’évaluation. Ils sont aussi tentés de dire que rien ne fonctionne afin de recevoir un appui dans le futur ou que tout fonctionne à merveille afin d’être encore encouragé à l’avenir. Sans pouvoir écarter totalement ce genre de biais, tout a été mis en œuvre afin de les minimiser. En effet, outre une clarification auprès de chaque interlocuteur des objectifs de la mission, la triangulation de certaines informations entre différents acteurs au sein d’un établissement, ainsi que le temps passé avec chacun, garantit une certaine qualité des informations recueillies.

Pourquoi avoir choisi la ville de Kisangani pour réaliser l’étude de cas ?

La ville de Kisangani a été retenue pour les raisons suivantes : (i) elle est relativement stable sur le plan politique et sécuritaire depuis l’intervention, (ii) elle est relativement accessible, (iii) elle jouit d’un certain niveau de développement économique, (iv) il existe des contrefactuels ‘crédibles’, et (v) aucune information disponible avant la mission de terrain n’indique que l’intervention a posé problème dans les établissements soutenus.29 Les établissements choisis présentent également l’avantage de dispenser une filière à priori mixte, administration/commerciale rendant une analyse « genre » possible (moins

27 Les arguments soutenant ce constat sont expliqués dans le rapport de mission de Tatiana Goetghebuer

(décembre 2012) disponible dans l’annexe 10.

28 Pour être en mesure de généraliser les conclusions, il aurait fallu répéter cet exercice de façon aléatoire

dans plusieurs écoles d’une même province, ainsi que dans d’autres provinces; il aurait aussi été rigoureux

d’interroger un échantillon de la population aux alentours des établissements traités. Cet exercice de

généralisation est irréaliste compte tenu des contraintes budgétaires et temporelles.

29 Les Villes de Gemena et Boende étaient aussi potentiellement éligibles, cependant deux critères,

l’accessibilité et un certain niveau de développement économique, n’étaient pas satisfaits.


évident pour la coupe/couture et encore moins pour la mécanique auto et la construction).

Présentation de l’étude de cas avec contrefactuel à Kisangani.

Quatre écoles situées dans la ville de Kisangani ont été sélectionnées : deux écoles subventionnées dans le cadre du projet AETP 2 (mais ne bénéficiant pas d’un appui du projet actuel) et deux autres écoles relativement similaires mais n’ayant bénéficié d’aucune intervention (écoles ‘témoins’) -les caractéristiques générales de ces écoles sont présentées dans le tableau 5 ci-dessous et commentées plus bas dans le texte-:

Deux écoles cibles : le lycée technique de Mapendano (ensuite nommé Mapendano), et l’institut technique et industriel Chololo (ensuite nommé Chololo) ;

Deux écoles témoins : le complexe éducatif Likunde (ensuite nommé Likunde), et l’école technique de la Makiso (ensuite nommé Makiso).

Suite au retard pris sur le calendrier de la mission à cause du report de deux jours du vol

pour Kisangani, il n’était matériellement pas possible de collecter l’ensemble des informations dans les quatre établissements. Il a donc fallu se concentrer sur deux écoles : Mapendano et Likunde ont été choisies pour les raisons expliquées ci-dessous.

(i) En nous concentrant sur Mapendano et Likunde, nous avons eu la possibilité d’étudier l’effet de l’appui sur deux filières (« administration/commerciale » et « coupe/couture ») plutôt que sur une. Même si l’école de Chololo a reçu un appui pour deux filières -Mécanique auto et construction- nous n’avons pas trouvé dans la liste des établissements scolaires de Kisangani une autre école technique dispensant à la fois mécanique auto et construction. L’école Makiso est donc un contrefactuel partiel car il ne dispense que la mécanique auto.

(ii) La filière administrative/commerciale est particulièrement intéressante car potentiellement mixte, ce qui permet d’aborder la question du genre.

(iii) Après une visite dans les écoles présélectionnées, il est apparu que l’école de Makiso est un contrefactuel partiel (cf. Supra) et peu crédible car extrêmement différents de l’école de Chololo (voir ci-dessous). Néanmoins, il n’existe pas d’autre contrefactuel possible pour Chololo à Kisangani.

(iv) L’école Likunde, bien que très différente du lycée de Mapendano, est un contrefactuel moins contestable que Makiso pour Chololo. D’ailleurs, afin de s’assurer qu’il n’existait pas de meilleur contrefactuel pour le lycée de Mapendano, nous nous sommes rendus dans deux autres établissements techniques dispensant les filières coupe/couture et admin/commerciale, l’école Marie-Antoinette et celle de la Tshopo. Ces deux écoles n’avaient pas plus de points communs avec Mapendano que l’établissement Likunde, il a donc été décidé de garder Likunde comme contrefactuel pour cette étude.

Malgré le retard pris sur le calendrier, nous avons collecté des données chiffrées objectives antérieures (pour l’année scolaire 2005-06) et postérieures (pour l’année scolaire 2011-12) au projet dans les deux écoles appuyées et dans deux écoles témoins (le guide d’entretien aux préfets a été distribué dans ces mêmes 4 écoles). Cependant, les entretiens avec les professeurs, les élèves et anciens élèves n’ont pu être réalisés que dans les écoles de Mapendano et Likunde. Les analyses sont donc en priorité basées sur les données quantitatives et qualitatives collectées dans les écoles Mapendano et Likunde et lorsque cela s’avère pertinent, sur les données chiffrées et information récoltées auprès des préfets des deux autres écoles, Chololo et Makiso. Notons également, que les observations et informations collectées lors de la mission exploratoire à Kinshasa ont été utilisées pour nuancer certains constats.

Le type d’information récolté auprès de chaque établissement est résumé dans le

Tableau 4, ci-dessous. Les diplômés ont été avertis par message audio sur deux radios et sur deux chaînes locales de télévision avant notre arrivée sur le terrain (3 fois par jour pendant 5 jours).

4. Méthodologie


Tableau 4 : Type d’informations collectées auprès des établissements scolaires

Ecoles

LT de Mapendano

Publique

CIBLE

CE de Likunde

TEMOIN

ITI Chololo

CIBLE

ET de la

Makiso

TEMOIN

Filières techniques

d’intérêt pour

l’étude

Coupe/Couture

Admin/

Commerciale

Coupe/Couture

Admin/

commerciale

Mécanique

Auto

Construction

Mécanique

Auto

Construction

Données

quantitatives sur

base des palmarès

oui oui oui oui

Entretien avec

préfet et directeur

d’étude

oui oui oui oui

Visite atelier oui oui oui oui

Focus-group avec

professeurs oui oui non non

Focus-group avec

élèves de 6ème

technique

oui oui non non

Focus-group avec

diplômés de juin

2011

oui non non non

Les caractéristiques générales des écoles sélectionnées dans le cadre de notre étude de cas à Kisangani sont présentées dans le Tableau 5, ci-dessous. Tout d’abord, les deux écoles soutenues sont des écoles publiques conventionnées : le lycée de Mapendano est dirigé par les sœurs franciscaines et l’institut Chololo par les frères Maristes ; alors que les écoles témoins sont des écoles publiques non-conventionnées. Les écoles cibles sont pourtant renseignées comme ‘non-conventionnées’ dans la liste des écoles techniques de la ville de Kisangani. Sur place, il n’a pas été possible de trouver des écoles témoins conventionnées afin d’améliorer la qualité du contrefactuel.

Le lycée Mapendano a été créé en 1924, l’institut Chololo en 1954, ces écoles était à

l’époque dirigées par un frère ou une sœur belge. A l’inverse, les écoles témoins n’ont aucun ‘héritage colonial’, c’est-à-dire qu’elles ont été fondées après l’indépendance : Likunde en 1970 et Makiso en 2008. Cet aspect a également une influence sur la réputation et la gestion des écoles. Ceci explique, peut-être en partie, la taille des écoles cibles qui comptent près de 8 fois plus d’élèves que les écoles témoins. Mapendano est la seule école non mixte : seules les filles sont acceptées.

Les quatre écoles sélectionnées pour l’exercice sont toutes des écoles dispensant le cycle d’orientation (C.O), c’est-à-dire les deux premières années du cycle secondaire. Elles enseignent également plusieurs filières techniques de la 4ème à la 6ème année. L’institut Chololo dispense une autre filière professionnelle de la 3ème à la 4ème année, la filière menuiserie. Les filières professionnelles, diésel auto et maçonnerie, renseignées dans le tableau, ont été abandonnées30 car elles n’attiraient plus suffisamment d’élèves. Notons que ces deux dernières filières avaient reçu un appui du projet AETP2. Mapendano et Likunde ont abandonné les options professionnelles par manque d’élèves depuis plus de 10 ans. Makiso est une école récente, le préfet n’a pas l’intention d’ouvrir de section professionnelle dans un avenir proche. Les établissements scolaires de Mapendano et Likunde dispensent également certaines options des humanités générales (de la 3ème à la 6ème), dont, entre autres, la pédagogie qui semble remporter un franc succès auprès des élèves depuis plusieurs années. Selon les informations récoltées auprès des élèves, cette

30 Cette information vient des directeurs des études techniques et pédagogiques. Sur les données chiffrées

collectées on voit encore une dizaine d’élèves inscrits en maçonnerie… selon les personnes interrogées, ces

enfants vont passer en cycle long.


option est plus facile31 ou autrement dit, cette option présente un taux de réussite plus élevé que les autres, permettant donc aux élèves d’obtenir plus facilement leur diplôme d’Etat.

Tableau 5 : Résumé des caractéristiques principales des écoles sélectionnées

Ecoles

Caractéristiques

LT de

Mapendano

CIBLE

CE de Likunde

TEMOIN

ITI Chololo

CIBLE

ET de la

Makiso

TEMOIN

Type d’école Publique

conventionnée

Publique non-

conventionnée

Publique

conventionnée

Publique non-

conventionnée

Date de création 1924 1970 1954 2008

Mixité Filles uniquement Mixte Mixte Mixte

Filières

techniques*

Coupe/Couture

Admin/

Commerciale

Coupe/Couture

Admin/

commerciale

Electricité

Mécanique Général

Mécanique Auto

Construction

Mécanique

Générale

Méca-Auto

Construction

Filières

Professionnelles*

Abandonnées Abandonnées Menuiserie

Auto-diésel

(abandonnée)

Maçonnerie

(abandonnée)

Aucune

Filières générales Pédagogie

Sociale

Pédagogie

Latin/philo

Aucune Aucune

Effectifs en 05-06

(Pré-projet)

1656 517 2176 0

Effectifs en 11-12

(Post-projet)

1710 436 1804 361

Effectifs en 12-13

(aujourd’hui)

1682 322 1946 318

Prime pour

201332 (en

technique)

100 US$ 110 US$ 140 US$ 80 US$

Date des appuis

éventuels

-2006, livraison de

9 ordinateurs

- 2008, livraison

matérielles

techniques

-2010, montage

de certains

équipements par la

CTB

-2010, don de

machines à coudre

manuelles par un

parti politique

Aucun appui -2006, livraison de

2 ordinateurs

-2008, livraison

matériel technique

-2010, montage

de certains

équipements par la

CTB

-2010 dons privés

d’une française

(bourse pour filles)

Aucun appui

*en gras les filières ayant reçu un appui.

L’école de Makiso est différente des autres, car même si c’est une école publique, elle n’est pas encore ‘mécanisée’. Cela veut dire qu’elle n’a pas encore reçu de numéro de matricule lui donnant accès à des financements de l’Etat, qui se résume souvent (toujours…) au paiement des salaires du personnel. Cette école existe pourtant depuis 5 ans... Le salaire des enseignants dans cette école est donc entièrement payé par la prime de motivation des parents. Cette prime y est d’ailleurs moins élevée que dans les

31 D’autres sources indiquent qu’il y aurait des fuites des questions d’examens…

32 Il est étrange de constater que les montants de la prime de motivation des parents renseignés par les

élèves et les préfets ne coïncident pas exactement. Les chiffres présentés sont donc des moyennes.

4. Méthodologie


autres établissements visités (30 US$ par enfants et par trimestre à Makiso, contre en moyenne 40US$ dans les 3 autres écoles). Cette école utilise, à horaire décalé, les bâtiments d’une autre école, elle ne dispose d’aucun matériel technique, et attire vraisemblablement des enfants majoritairement issus d’un milieu socio-économique défavorisé (le préfet confie que beaucoup d’élèves quittent Chololo pour son école car la prime est moins élevée). L’école de Likunde semble aussi attirer un public issu d’un milieu socio-économique plus simple que celui des écoles soutenues. En effet, malgré des stratégies semblables aux autres établissements pour inciter les parents à payer la prime, le préfet nous exprime que seuls 40% des enfants sont en ordre de cotisations pour le premier trimestre, contre 80% dans les établissements soutenus par le projet.33

L’hypothèse que les écoles témoins attirent un public plus défavorisé que les écoles appuyées est soutenue par la différence d’âge observée au sein d’une même année entre les deux types d’écoles. Les élèves des écoles témoins sont en moyenne plus âgés que ceux des écoles de Mapendano ou Chololo : ils ont 15-16 ans en 3ème contre 14 ans dans les écoles cibles ; en 6ème, la différence semble encore plus marquée. Les finalistes des écoles témoins terminent parfois à 23-24 ans alors que dans les écoles cibles, les diplômés ont 18-19 ans. Les préfets confirment d’ailleurs que ces retards sont causés par le manque de moyens des parents. Les préfets des écoles appuyées par AETP2 admettent qu’ils refusent les élèves ayant accumulé trop de retard dans leur scolarité, afin de garder une homogénéité d’âge dans les classes34 (ils font néanmoins parfois des exceptions comme pour les deux adultes de plus de 30 ans rencontrées dans la classe de 6ème coupe/couture). Les établissements scolaires de Makiso et Likunde ont aussi la particularité de ne pas verser de complément de salaire aux professeurs, comme c’est le cas dans les établissements soutenus par le projet. Cette dernière observation a pour effet de mettre les enseignants dans une situation de précarité financière et de les contraindre, encore d’avantage, à chercher d’autres opportunités d’emploi, avec les conséquences qui s’en suivent sur la qualité de leur enseignement.

Pertinence du contrefactuel.

Sur base des caractéristiques générales des écoles présentées et commentées ci-dessus,

les écoles témoins (le contrefactuel) présentent des caractéristiques bien différentes des écoles cibles. Cependant, ces différences ont été pour la plupart identifiées et il n’y a pas de raison de penser que ces quatre établissements aient vécu de grands changements autres que l’appui pour les écoles cibles entre les périodes avant et après le projet AETP2. La comparaison entre les deux types d’établissements reste donc pertinente pour l’analyse même s’il convient d’être vigilant sur les différences non observées pouvant influencer les constats.

Possibilité d’extrapolation des conclusions de l’étude de cas à l’ensemble des écoles touchées par l’intervention ?

Même si les analyses sont faites à partir d’une analyse de cas dans la ville de Kisangani, des éléments suggèrent que la situation de l’enseignement technique à Kisangani est une bonne référence dans le pays. En effet, cette ville est sans doute moins ‘développée’ que Kinshasa ou Lubumbashi mais est certainement dans une situation meilleure ou similaire à de nombreuses autres villes du pays où se situent des écoles soutenues par le projet AETP2. Dans ces conditions, certains constats pourront vraisemblablement être extrapolés à l’ensemble des établissements appuyés par ce projet.

33 Seule une enquête détaillée auprès des élèves peut nous confirmer ce que nous avançons concernant le

type de public qui fréquente ces écoles.

34 « Les vieux rendent les choses difficiles » (mots du directeur d’étude de Chololo)


Encadré 5 : Résumé de l’approche méthodologique proposée pour AETP2

Mener une évaluation dans un environnement et un contexte complexe limite fortement les méthodes d’analyse quantitative pertinentes à utiliser pour l’évaluation ex post du projet AETP2. La méthodologie retenue est une approche « quanti/quali » basée sur une étude de cas avec contrefactuel dans la ville de Kisangani concernant les filières administration/commercial et coupe/couture.

Suite à la mission exploratoire, l’idée de collecter des informations par le biais d’enquêtes individuelles auprès des bénéficiaires directs (écoles, professeurs, élèves et jeunes diplômés) a été abandonnée. Cependant, afin d’être en mesure d’apprécier les « outcomes » et l’impact du projet AETP2, divers d’entretiens ont été réalisés et des données quantitatives ont été collectées: - des entretiens avec des personnes clefs en Belgique et sur le terrain (au niveau institutionnel en RDC, CTB, DGD, autres bailleurs dans ce sous-secteur) - des entretiens type « focus group » auprès des bénéficiaires directs du projet (préfets, professeurs, élèves et jeunes diplômés) dans 2 établissements soutenus par le projet et 2 établissements témoins de la ville de Kisangani. - visite des ateliers - données provenant des palmarès des écoles (informations sur les effectifs, taux de réussites…) avant et après l’intervention - données au niveau provincial (nombre d’ETP, filières existant, effectif global,…)

Une analyse de cas ne permet pas, à priori, de généraliser les constats. Cependant, des

éléments suggèrent que la situation de l’ETP à Kisangani est un bon exemple pour parler de l’état de l’ETP dans le pays. En effet, cette ville est sans doute moins ‘développée’ que Kinshasa ou Lubumbashi, mais est certainement dans une situation meilleure ou similaire à de nombreuses autres villes du pays où se situent des écoles soutenues par le projet AETP2. Dans ces conditions, certains constats peuvent être extrapolés à l’ensemble des établissements appuyés par ce projet.


5. Réponses aux questions d’évaluation

Cette partie a pour objectif de répondre aux 5 questions d’évaluation posées dans le cadre de cette étude. Les constats se fonde sur l’analyse documentaire et sur l’analyse des informations et données collectées en Belgique et lors des missions de terrain. Bien que le projet soit un appui à l’enseignement technique et professionnel, les analyses et les résultats se concentrent sur les filières techniques car, comme montré ci-dessus, les filières professionnelles sont en voie d’abandon dans le pays. Cette tendance se dégage en particulier dans les écoles sélectionnées pour cette étude.

5.1 Alignement – Q1

Q1 : Dans quelle mesure les objectifs des projets ont-ils été alignés aux objectifs des politiques des pays partenaires en vue de maximiser l’impact des projets?

Cette question vise à évaluer la pertinence du projet en termes d’alignement avec les politiques des pays partenaires. Il est en effet important pour assurer l’impact à long terme que la conception du projet soit en phase avec les dynamiques nationales et tienne compte des synergies possibles dans son secteur d’intervention.

Encadré 6 : Résumé de la réponse à la Q1 (alignement)

Le projet AETP2 n’a pas été aligné sur les politiques nationales sectorielles car elles étaient inexistantes au moment de sa formulation et de sa mise en œuvre. Le projet AETP2, qui succède au projet AETP1, était motivé par l’importance des besoins dans le sous-secteur considéré comme indispensable à la reconstruction du pays et par la nécessité d’intervenir pour des raisons politiques, et donc d’étendre le projet AETP aux provinces nouvellement sous contrôle dans le souci d’être cohérent avec la réunification du pays.

Le projet bien qu’ancré au sein du Ministère de l’EPSP est resté très autonome par rapport aux structures nationales. Par ailleurs, il n’existait aucune synergie avec les autres bailleurs à ce stade, dans la mesure où la Belgique était le seul bailleur à soutenir directement les établissements scolaires professionnels et techniques au milieu des années 2000.

Depuis 2010, il existe une politique nationale pour ce sous-secteur. Les projets

successifs de la coopération belge dans le secteur de l’ETP ont contribué à la reconnaissance de ce sous-secteur et à démontrer son importance dans le système éducatif congolais.


Au moment de la conception du projet, le pays ne possédait pas de politique sectorielle en éducation, y compris dans le sous-secteur « enseignement technique et professionnel », sur laquelle le projet aurait pu s’aligner. Lors de la phase de clôture du projet AETP 1 en novembre 2003, le Gouvernement de la RDC a introduit une requête pour prolonger le projet pour une durée de 3 ans. Il est surprenant que la coopération belge ait répondu favorablement à cette requête alors que nombre de documents de projet considéraient à l’époque que la réalisation d’un plan-cadre pour l’enseignement technique et professionnel par la partie congolaise était la « clef du succès » de cette coopération.35

La phase deux a tout de même été lancée en août 2005 sans politique nationale sur laquelle s’aligner. La coopération belge était consciente de ce fait. La mission en charge d’analyser la recevabilité de la requête congolaise expliquait dans son rapport : « la mission a eu le sentiment qu'il n'existe aucune politique de l'éducation technique, aucun plan national de redressement, aucune stratégie et aucun budget pour mettre en œuvre un tel plan. »36

La justification du projet s’explique par quatre facteurs.

(i) Une volonté d’étendre l’appui à l’éducation technique et professionnelle aux provinces nouvellement sous contrôle, dans le souci d’être cohérent avec la réunification imminente du pays (rappelons que le projet AETP1 avait pour cible les provinces sous contrôle du gouvernement –Bas Congo, Kinshasa, Bandundu, et Katanga– et pas celles sous contrôle rebelles).

(ii) La nécessité d’assurer un suivi aux écoles soutenues dans le cadre de la première phase (nombreux retards de mise en œuvre).

(iii) L’état catastrophique des écoles et des ateliers, après de nombreuses

années de guerres, pillages et d’absence d’aide tant de l’Etat que des bailleurs.

(iv) L’importance et l’urgence de former une main d’œuvre qualifiée pour reconstruire le pays.

Le projet a été mis en œuvre de manière très autonome vis-à-vis des autorités en charge de l’ETP. Si le projet était bien ancré au sein de la direction de l’ETFP au sein du ministère de l’EPSP, la collaboration entre le projet et cette structure s’est limitée à une aide pour la sélection des établissements et pour l’organisation de certaines formations. L’identification des besoins des écoles et la livraison du matériel ont été réalisées directement par le projet. Ce mode opérationnel s’explique d’un côté par le manque d’équipement, de formation et d’infrastructure qui n’épargne pas la direction de l’ETFP, et de l’autre côté par le risque de mauvaise gouvernance (les assistants/conseillers techniques voulaient à tout prix éviter les détournements d’équipements37). Ce constat limite l’appropriation du projet par le partenaire.

Si le projet n’était pas aligné faute de politique nationale, la situation a depuis évolué. Il

existe depuis 2010 une politique pour le sous-secteur de l’ETP. A travers ses différents

35 Karel Cools et Léonard Kabeya Mukeba Yakasham pour la DGCD, « Projet d’appui à l’enseignement

technique et professionnel en République démocratique du Congo : Evaluation finale de la phase 1 – Pré-

identification des phases 2 et 3 », Kinshasa, février 2004 : p.6.

36 Ibid., p. 29.

37 Selon une personne interrogée, des employés de la Banque Mondiale à Kinshasa les auraient mis en garde

de ne pas passer par un système centralisé pour distribuer les équipements. En effet, une partie des

ordinateurs offerts dans le cadre d’un de leurs projets de soutien à l’enseignement auraient été revendus

aux écoles par les dirigeants politiques, et l’autre partie aurait disparu…



projets d’interventions dans ce sous-secteur, la Belgique a participé à la reconnaissance de l’ETP et a certainement contribué, à l’émergence d’une politique sous-sectorielle nationale. Par ailleurs, la coopération belge était, au moment du projet AETP2, le seul acteur dans ce sous-secteur en RDC, à l’exception de l’APEFE et JICA qui intervenaient au niveau de l’INPP. Les synergies potentielles avec d’autres projets dans ce domaine étaient donc inexistantes. Finalement, il n’est pas inutile de rappeler que l’ETP était tout à fait marginalisé dans le système éducatif national au début des années 2000 : il est, par exemple, absent du rapport d’Etat des lieux du système éducatif préparé en 2005 par la Banque Mondiale (Rapport d’Etat du Système Educatif National -RESEN-, 2005).

5.2 Intégration de l’impact – Q2

Q2 : Dans quelle mesure la conception et la mise en œuvre des projets ont-elles intégré la mesure des « outcomes » et de l’impact ?

Cette question vise à évaluer si la chaîne de résultats définie lors de la formulation du

projet est conceptuellement juste et pertinente pour atteindre les « outcomes » escomptés et l’impact attendu. Elle vise également à vérifier si la mesure des « outcomes » et de l’impact a été réellement intégrée lors de la conception du projet et s’ils ont été effectivement mesurés par la suite.

Encadré 7 : Résumé de la réponse à la Q2 (Intégration de l’impact)

L’intégration de l’impact, dans la formulation et dans la mise en œuvre du projet, est

restée à un stade « théorique ». La définition de l’impact (l’objectif global) et la collecte des données pour l’apprécier ne sont pas satisfaisantes et semblent déconnectées des réalités du terrain.

Cependant, la préoccupation concernant la mesure de l’impact était bien présente. Un longue liste d’indicateurs, pour la plupart pertinents, avait été définie, et des enquêtes au début et à la fin du projet étaient prévues. Ceci étant, aucune enquête ou base de données n’est aujourd’hui exploitable, ce qui indique que le dispositif de suivi-évaluation mis en place ne s’est préoccupé que de la réalisation des activités planifiées et des «outputs», sans chercher à savoir si ces « outputs » étaient utilisés. Le dispositif n’apprécie pas non plus les « outcomes » ou l’impact.

Un objectif global irréaliste, une logique d’intervention peu cohérente.

Avant de répondre à cette question, il convient de rappeler les deux niveaux d’effets du

projet : des effets sur les bénéficiaires (=« outcomes ») et des effets au niveau du pays ou du secteur de l’ETP (=impact). Dans la partie méthodologique (section 3), la logique d’intervention du projet a été reconstituée et les « outcomes » et impact à évaluer dans le cadre de cette étude ont été redéfinis comme suit :

- l’impact est l’amélioration de la qualité de l’enseignement technique et professionnel en RDC, - les « outcomes » sont : l’augmentation de l’attractivité de l’ETP dans les filières soutenues des écoles appuyées, l’amélioration de la qualité de l’ETP dans les écoles appuyées, la génération de revenus dans les écoles appuyées, et l’amélioration de l’employabilité des jeunes diplômés des filières/écoles soutenues par le projet.

Dans le DTF, l’impact du projet est défini comme suit : « contribution au développement économique de toute la RDC ». Les liens entre les différents éléments la logique d’intervention résumée dans le cadre logique ne sont pas clairement établis. Par ailleurs, une telle définition de l’objectif global (impact) semble déconnectée des inputs et des moyens dont disposait le projet. En effet, comment peut-on espérer avoir un impact sur le développement économique d’un pays quand le projet touche seulement quelques filières d’une trentaine d’écoles (5%) éparpillées dans toutes les provinces d’un pays grand comme la RDC où le fonctionnement des institutions fait souvent défaut ?


Par contre, cet objectif traduit l’importance à accorder, à juste titre, au développement du pays par le biais de l’enseignement technique et professionnel. Pour atteindre un tel objectif, il faut une meilleure adéquation entre l’ETP et les besoins du marché du travail afin de fournir une main d’œuvre qualifié en interne capable d’aider à la reconstruction du pays. L’objectif spécifique du DTF est « l’amélioration de l’enseignement technique et professionnel ». Or, cela ne correspond pas à la définition d’un objectif spécifique qui doit normalement exprimer les changements recherchés sur les bénéficiaires directs des interventions.

Le dispositif de suivi évaluation inutile pour la mesure des « outcomes » et de l’impact.

Le système de suivi évaluation semblait, a priori, pertinent pour apprécier l’obtention des

« outputs » et des « outcomes » mais il s’est avéré en pratique peu efficace. En effet, les nombreux indicateurs (43) déterminés lors de la formulation du projet ont été en règle générale pertinents mais peu réalistes en termes de collectes sur le terrain. Aucune base de données de ces indicateurs n’a été constituée. Par ailleurs sur les 43 indicateurs, environ un quart (11) visaient à mesurer une augmentation. Cela requiert l’existence d’une baseline ou au moins de données statistiques avant intervention, deux choses non disponibles, bien que le DTF prévoie comme moyens de vérification une « Enquête en début et en fin de projet ».

La nécessité de formuler une enquête a été réitérée dans l’évaluation à mi-parcours mais aucune enquête n’a été menée. 38 Les rapports de réunions de la SMCL, en charge du suivi évaluation, ne contiennent pas d’informations réellement exploitables pour l’évaluation du projet (ils font l’état des lieux d’avancement de la livraison du matériel, et relèvent des éventuels problèmes de gestion interne). Les seules informations exploitables pour apprécier l’impact du projet sont des données au niveau des écoles soutenues ou fortement agrégées par output. Il est frappant de constater qu’aucune donnée sur les élèves n’est disponible alors que ce sont les bénéficiaires finaux de l’intervention.

Par ailleurs, le système de suivi évaluation mis en place n’a pas non plus été conçu de façon à apprécier l’impact tel que défini dans la formulation du projet (mais quel système en aurait été capable ? tant les indicateurs à relever pour apprécier ce type d’impact sont déconnectés du projet). Ils sont plus en lien avec le monde de l’emploi que celui de la formation et ils sont difficiles à collecter dans un pays où le secteur informel représente au minimum 85% du secteur économique.

38 Cette remarque apparaissait déjà dans le rapport d’évaluation à mi-parcours (2007): “le manque de données

statistiques et leur archivage ne permet pas de rendre compte des résultats atteints” (entendons outcomes

par le terme résultats).



5.3 Obtention des « outputs » et leur utilisation – Q3

Q3 : Dans quelle mesure les activités du projet ont-elles été mises en œuvre, et ont-elles produit les « outputs » prévus ? Que reste-t-il de ces « outputs » ? Sont-ils utilisés ?

Cette question vise à évaluer la performance immédiate des projets. Il n’y a, en effet, pas d’impact à attendre pour les activités non réalisées ou les outputs inadéquats et/ou inutilisés. L’analyse de cette question pendant la phase documentaire influence également les choix méthodologiques concernant par exemple la destination de la mission de terrain, l’échantillon, la conception d’un contrefactuel crédible, etc.

Encadré 8 : Résumé de la réponse à la Q3 (Obtention des « outputs » et leur

utilisation)

Le rapport d’évaluation final du projet AETP2 est relativement positif s’agissant du niveau d’« outputs » réalisés en ligne avec ce qui était prévu dans la formulation, à quelques exceptions près et ce, malgré les difficultés rencontrées. Sur base de l’étude de cas réalisée à Kisangani, le jugement est très différent.

Globalement, le choix des filières et des écoles est pertinent. Les écoles retenues sont des écoles relativement bien gérées, capables d’accueillir et de préserver les équipements fournis. Les filières retenues connaissent une demande importante au niveau de la province éducationnelle (à l’exception peut-être de l’option coupe/couture). Il est, par contre, difficile de comprendre la priorité mise sur l’enseignement professionnel. Ces filières ‘cycle court’ ont une demande peu élevée et connaissent un taux de réussite particulièrement bas.

En ce qui concerne l’obtention des « outputs », la mission d’évaluation confirme que la plupart des équipements ont été livrés. Par contre, ce matériel ne profite que très marginalement aux bénéficiaires (élèves, professeurs, écoles) car il est en grande partie non utilisé. La formation des enseignants à l’utilisation des nouveaux équipements n’a pas eu lieu dans les écoles visitées. Les réhabilitations des ateliers et des locaux de documentation au sein des écoles ont été faites. Cependant, cela ne signifie pas nécessairement que les étudiants ont accès aux manuels scolaires et que les conditions d’apprentissages ont réellement été améliorées. La création d’unité formation-emploi n’a pas vu le jour au sein des établissements scolaires visités. Les activités de sensibilisation à l’ETP semblent avoir eu lieu mais à un niveau très local (au sein des écoles principalement).

L’analyse des facteurs inhibant l’obtention des « outputs » (sous utilisation, voire non-utilisation des équipements, pas de formation des enseignants,…) met en lumière les contraintes auxquels sont confronté les acteurs de l’ETP et ceux du développement dans le contexte congolais. Les contraintes identifiées n’étant pas propres à la ville de Kisangani, les constats peuvent être en grande partie extrapolés à l’ensemble des écoles soutenues par le projet.

Ces premiers constats inhibent évidement tout espoir d’observer un impact significatif du projet sur les bénéficiaires et à fortiori un impact global d’amélioration de l’ETP dans ce pays.

5.3.1 L’obtention des « outputs » selon le rapport final du projet

Etant donné la méthodologie choisie, à savoir une étude de cas avec contrefactuel à Kisangani, il n’est pas possible de commenter, ni même de confirmer ou infirmer les «outputs» réalisés dans l’ensemble des établissements soutenus dans le cadre de ce projet. Le rapport final du projet présente une liste d’« outputs » réalisés sur l’ensemble des provinces soutenues. Ces chiffres étant agrégés et les données de base étant


indisponibles39, une comparaison entre les chiffres proposés dans le rapport final et ceux collectés sur le terrain dans la ville de Kisangani n’est pas possible. Le tableau 6 ci-dessous reprend les « outputs » réalisés tels que présentés dans le rapport final. Le même genre de liste a été reconstitué sur base de l’étude de cas à Kisangani (cf. Tableau 17, infra).

Tableau 6 : Etat des « outputs » du projet AETP2 selon le rapport final

« outputs »

poursuivis

Etat en fin de projet

(1) Acquisition de

nouveaux

équipements,

matériels

didactiques et

consommables

- 30800 équipements (dont 217 machines) sont utilisés

régulièrement par 7850 apprenants

- 33 écoles utilisent et renouvèlent les consommables (dans les 30

ateliers réhabilités et équipés)

- création de nombreux outils didactiques par les apprenants avec

leurs enseignants dans le cadre du projet

(2) Formation du

personnel

éducatif

- 173 chefs d’ateliers/professeurs de cours à option ont reçu une

formation ou une remise à niveau technique et pédagogique grâce

aux 31 formations dispensées par l’APEFE ou la direction de ETFP,

dans 20 écoles soutenues (dont une formation organisée à

Kisangani en septembre 2008 -2jours-) ; 173 appliquent les

formations acquises

- 28 inspecteurs sensibilisés/formés aux problématiques des curricula

- 90 personnes formées par ministère EPSP pour créer des UFE

(unité formation-emploi) dans les écoles

(3) Réhabilitation

d’ateliers, salle de

cours pratiques

- 30 ateliers/salles de cours pratiques ont été réhabilités dans 21

écoles

- 7 écoles ont participé à la réhabilitation (spécialement les écoles

dispensant les filières électricité, mécanique, et construction)

(4) Réhabilitation

et équipements

de locaux de

documentation*

- 32 locaux installés (ou créés) dans 33 écoles

- 5000 livres distribués dans les 33 écoles

- 45 ordinateurs opérationnels et utilisés (aussi pour visionner le

matériel didactique audio-visuel livré)

- 5 gestionnaires formés

(5) Création d’UFE - 90 personnes formées par le ministère EPFP pour assurer la

création de ces unités au sein de 31 établissements sur 33 (dont

une formation organisée à Kisangani en Mai 2008 -7jours-)

- 310 élèves de 5ème ont fait un stage organisé dans des villes ayant

un tissu économique prospère (Kisangani n’en faisait pas partie)

- 260 élèves ont fait au moins une visite d’entreprise

- identification formation sur 6 nouveaux modules concernant une

technologie de pointe

(6) Sensibilisation

à l’enseignement

technique et

professionnelle

- participation à FIKIN 07 et 08, distribution de 1000 dépliants

- 100 banderoles déployées dans les villes

- interventions à la radio et tv locales

- médiatisation lors de la remise de prix aux lauréats, des journées

portes ouvertes…

(7) Génération de

revenu par les

écoles**

- pas de chiffres disponibles mais affirmation que ça marche dans

certains établissements (dispenser des formations pour des

extérieurs par exemple)

*Concerne les écoles de la phase I et II ;

**il existe des informations contradictoires à ce sujet dans le rapport d’évaluation finale interne (cette dernière

réalisation devient un résultat -impact spécifique- dans la logique d’intervention reconstituée)

39 Ils étaient disponibles quelques part dans une farde, dans un bureau… vu la durée de la mission, nous

avons préféré passer du temps à collecter de nouveaux chiffres que de rechercher des chiffres dont nous

n’avons aucun moyen de vérifier leur exactitude.



Dans ce rapport, les auteurs sont très optimistes quant à l’obtention des « outputs » du

projet. Ils en citent toutefois certains qui n’ont pas vu le jour, comme par exemple la création d’un annuaire d’anciens élèves, la participation d’entrepreneur dans la formation etc. Ils amorcent également une réflexion sur les causes du manquement ou de l’obtention partielle de certains « outputs ». Les « lourdeurs » administratives des passations des marchés publics, les retards de livraison des équipements, la difficulté de s’approvisionner en matière première (pour réaliser les travaux), la complexité de se déplacer dans un pays post-conflit et la courte durée du projet sont les principales causes mentionnées. Ils insistent également sur l’absence d’une politique nationale dans le domaine de l’ETP et celle d’un partenaire fort sur lequel s’appuyer.

Un tableau reprenant l’ensemble des écoles bénéficiaires des phases I et II a été reconstitué (ce tableau est disponible dans l’annexe 3). Une comparaison entre ce tableau et du tableau 6, décrivant les « outputs » perçus par le rapport final, montre une certaine confusion entre les « outputs » issus de la phase I (13 écoles) et ceux issus de la phase II (21 écoles). En bref, on compte 33 écoles touchées par les deux projets, réparties dans l’ensemble des provinces du pays : 13 écoles soutenues par la phase I et 21 écoles par la phase II. Une école fait donc à la fois partie des bénéficiaires de la phase I et de ceux de la phase II (c’est l’ITI Mbandaka dans la province de l’Equateur).

Dans la phase II, on ne peut donc parler de 33 écoles que pour les travaux de réhabilitation des salles de documentation et de leurs équipements. Les réhabilitations d’ateliers, les livraisons d’équipement ou l’utilisation de consommables ne concernent que 21 écoles, les écoles de la deuxième phase, et non 33 comme il en est fait mention dans le tableau des « outputs » du rapport final (cf. tableau 6). Par ailleurs, les commentaires disponibles dans le tableau de l’annexe 3 font à peine mention des problèmes liés à l’obtention des « outputs » dans les écoles. Seuls les retards de livraisons ou de réhabilitation des ateliers sont mentionnés. Il est frappant de constater que dans ce tableau, aucune information sur le nombre d’enseignants formés par école n’est disponible. Il n’est jamais question de l’utilisation (la non-utilisation) du matériel.

5.3.2 Obtention des « outputs » et leur utilisation selon l’étude

de cas à Kisangani

Dans un premier temps, nous commenterons le choix des écoles et des filières appuyées dans la ville de Kisangani. En effet, le type d’écoles ou encore de filières choisies a une influence sur l’obtention des « outputs », des « outcomes » et de l’impact. Il s’agit de vérifier si les écoles soutenues correspondent bien aux critères de choix préalablement définis dans la formulation du projet.

Dans un deuxième temps, l’obtention des « outputs » et leur utilisation sont analysés sur base des observations et informations collectées sur le terrain dans la ville de Kisangani.

Choix des écoles appuyées

Aujourd’hui, 5 ans après le fin du projet AETP2, force est de constater que dans les établissements visités, les besoins tant en réhabilitation qu’en équipements ou formation sont énormes. Après plusieurs guerres et pillages, les écoles sont « à genoux »40. Cette situation explique un des critères de sélection des établissements définis en 2005 (année de démarrage du projet) : des établissements en relativement bon état, capables de sécuriser le matériel à livrer.

Après avoir visité 6 écoles dans la ville de Kisangani, le choix des écoles appuyées semble pertinent. En effet, les deux écoles appuyées ont des bâtiments en relativement bon état, comparés à ceux d’autres établissements de la ville. Ce sont des écoles publiques conventionnées catholiques de bonne réputation. Elles sont depuis longtemps

40 Pour utiliser une de leurs expressions.


réputées pour la qualité de leur enseignement et le taux de réussite élevé de leurs élèves aux examens d’Etat, mais également pour le sérieux et la discipline qu’elles imposent41. Le matériel livré a permis de rénover l’équipement ancien dont disposaient ces écoles qui n’ont manifestement pas attendu l’appui de la Belgique pour sortir des diplômés sur le marché. Selon nos appréciations, les autres écoles techniques de la ville étaient à l’époque et sont encore aujourd’hui en moins bon état et moins dotées en équipements42.

Choix des filières soutenues

Il est difficile d’apprécier aujourd’hui si les filières appuyées étaient les plus pertinentes à l’époque pour reconstruire la région et/ou offrir des opportunités d’emploi aux jeunes de la région (pas de données disponibles sur l’état de l’emploi avant-projet dans la région). Constatons seulement que les filières soutenues sont à la fois destinées à former des filles et des garçons dans des matières à priori utiles pour reconstruire une région et générer un revenu.

L’examen de la base de données disponible pour l’année académique 2010-2011 (des statistiques antérieures au projet n’existent pas) permet de se faire une idée de l’offre et la demande pour l’ETP et en particulier pour les filières soutenues. Les tableaux 7 et 8, ci-dessous, présentent les statistiques générales de l’offre et de la demande pour l’ETP et par filière pour la province éducationnelle orientale 1 dans laquelle se situe la ville de Kisangani.

Ces tableaux permettent de faire plusieurs observations.

(i) Les écoles dispensant des filières techniques (489) sont beaucoup plus nombreuses que celles dispensant des filières professionnelles (9). Cela se vérifie en termes d’effectifs : il y a cent fois plus d’élèves en humanités techniques (13251) qu’en humanités professionnelles (115).

(ii) Les filles sont moins nombreuses que les garçons : 27,5% en techniques contre 17,4% en professionnelles.

(iii) Concernant le taux de réussite, il est catastrophique pour les écoles dispensant des options professionnelles, moins de 2% des élèves réussissent (ceux de pédagogie générale) contre près de 70% en technique ; le taux de réussite des filles n’est pas significativement supérieur à celui des garçons.

(iv) Si l’on se concentre sur les filières dispensées dans les écoles techniques, on observe que la pédagogie générale est, de loin, la plus enseignée et la plus demandée. Cependant, si l’on se limite aux options techniques, les filières les plus demandées (tableau 8, 2ème colonne) par ordre décroissant sont admin/commerciale suivie de l’agriculture, puis de mécanique générale, construction, électricité, mécanique auto, coupe/couture, et pour finir hôtesse d’accueil, filière forestière et éducation physique. A part coupe/couture (55 élèves en 2010-2011), il semble donc que les filières choisies pour l’appui (admin/commerciale, mécanique auto, et construction) connaissent une certaine demande dans la région de Kisangani. La 3ème colonne du tableau 8 présente, à titre d’information, les taux de réussite par option (cet aspect de l’enseignement sera abordé ultérieurement).

41 Par exemple, à Mapendano, les filles ne peuvent pas tresser leurs cheveux, ni porter de bijoux ; LT

Mapendano et ITI Chololo ont une politique stricte quant à l’admission des élèves afin de garder une

certaine homogénéité dans les classes : on ne peut pas avoir plus de 15 ans pour entrer en 3ème.

42 Dans les ateliers des écoles témoins, on peut voir une dizaine de machines à coudre dont seules trois sont

encore fonctionnelles ; des salles de dactylo contenant quelques vieilles machines à écrire dont on se

demande réellement comment elles fonctionnent ; des classes avec des murs effondrés, des bancs en

mauvais état....



Selon les informations récoltées sur le terrain, la situation décrite par ces chiffres est

comparable à la situation au moment de la formulation du projet (période pour laquelle nous ne disposons pas de données). Ces observations ne remettent donc pas en question le choix des options dans le cadre de ce projet, mais remettent en question le choix du type de filières. En effet, le choix de soutenir des filières professionnelles, peu demandées et dont le taux de réussite est particulièrement faible ne semblait pas adéquat.

Tableau 7: Statistiques générales sur l’enseignement technique et professionnel de la province éducationnelle Orientale 1 (où se situe la ville de

Kisangani)

Type

d’enseignement

Nombre

d’écoles

Nombre de

filières

dispensées

Nombre

d’élèves

total

Nombre

de filles

Nombre

de

garçons

Taux de

réussite

Technique 489 17 13255 3646 9609 69,1%

Professionnel 9 6 115 20 95 1,7%

(Source : données reçues de la CTB à Kinshasa)

Tableau 8 : Statistiques des filières techniques et professionnelles enseignées dans la province éducationnelle Orientale 1 présentées en ordre croissant

d’importance.

Proportion des

écoles dispensant

l’option indiquée

dans la 1ère colonne

Proportion d’élèves

dans l’option

indiquée dans la

1ère colonne

Taux de réussite

moyen (toutes écoles

confondues) pour

l’option indiquée dans

la 1ère colonne

Options dispensées dans les écoles techniques de la province orientale 1

Education physique 0,2% 0,1% 5,6%

Normale 0,2% 0,2% 83,3%

Nutrition 0,2% 0,0% 0,0%

Forestière 0,2% 0,1% 12,5%

Hôtesse d’accueil 0,4% 0,1% 20,0%

Mécanique auto 0,8% 0,6% 39,5%

Construction 1,0% 1,7% 71,4%

Electricité 1,2% 1,1% 44,0%

Coupe/couture 1,4% 0,4% 41,8%

Mécanique générale 1,6% 2,3% 75,2%

Latin/philo 4,9% 2,7% 51,1%

Math/physique 4,9% 2,2% 30,9%

Agriculture 7,0% 2,4% 52,4%

Sociale 7,2% 5,6% 76,5%

Admin/commercia

le

9,2% 5,8% 22,7%

Chimie/biologie 10,6% 9,6% 74,3%

Pédagogie générale 56,6% 65,1% 75,3%

Options dispensées dans les écoles professionnelles de la province orientale 1

Mécanique auto 11,1% 3,5% 0%

Pédagogie générale 11,1% 21,7% 8%

Pédagogie

maternelle

11,1% 7,8% 0%

Coupe/couture 33,3% 9,6% 0%

Maçonnerie 33,3% 45,2% 0%

Menuiserie 44,4% 12,2% 0%

(Source : données reçues de la CTB à Kinshasa) ; en gras les options soutenues par le projet AETP2


Acquisition de nouveaux équipements, matériel didactique et consommables

Concernant le choix du matériel livré, une partie de l’équipement répondait tout à fait aux besoins des écoles sélectionnées. Sur base des filières étudiées dans le cadre de cette étude, il s’agit des équipements suivants: machines à écrire et à coudre mécaniques, outils de base pour les filières coupe/couture, mécanique automobile et construction/maçonnerie. Cependant, une partie des équipements fournis présentait une technologie inappropriée et inadaptée au contexte local d’utilisation et à la modicité des moyens des écoles pour l’achat/renouvellement des consommables et la maintenance. De tels choix traduisent la volonté de ‘moderniser’ l’enseignement technique pour le rendre adéquat au monde de l’emploi. Bien que légitimes, ces choix n’étaient pas justifiés dans le contexte complexe de ce pays rendant le développement des infrastructures extrêmement lent.

Même si la totalité du matériel a été livré en 2008, le montage de certaines machines n’a été réalisé qu’en 2010 (par exemple les machines à coudre, le pont élévateur,…), et d’autres machines n’ont été mises en place qu’en 2011 (les machines à écrire électriques). Les chefs d’atelier avaient pour instruction d’attendre la visite d’un spécialiste extérieur pour réaliser ces travaux de montage. Ces retards ont évidemment eu des conséquences sur les résultats et l’impact du projet (cf. Infra). Le matériel didactique et la matière d’œuvre (consommable) ont également été livrés, cependant, 5 ans après la fin du projet, force est de constater que les consommables sont épuisés et le matériel didactique a disparu ou est fortement abîmé.



Utilisation des nouveaux équipements, matériel didactique et consommables

Dans les deux écoles appuyées de Kisangani (LT Mapendano, ITI Chololo), pour les 4 filières soutenues (coupe/ couture, administration/commercial, mécanique automobile, construction/maçonnerie), plusieurs constats sont à noter quant à l’utilisation et au fonctionnement des équipements livrés dans ces écoles.

La plupart de l’équipement fourni est toujours fonctionnelle, mais la majeure partie n’a jamais été utilisée43, et cela pour plusieurs raisons :

(1) Les enseignants ne sont pas techniquement formés à l’utilisation de certaines

machines (témoignages des professeurs présents au moment de l’intervention, ils auraient donc dû bénéficier de la formation prévue dans le projet).

Tableau 9 : Exemples illustrant la non-utilisation du matériel livré par manque de formation

Filières Exemples

Administration/

commerciale

- Pas de formation sur l’utilisation des machines à écrire

électriques

- Pas de formation en informatique pour utiliser les ordinateurs

- Pas d’explication pour utiliser les onduleurs (un genre de

batterie pour des ordinateurs fixes qui leur permettent de

fonctionner en moyenne 30 min après une coupure de courant

et qui protègent les machines des variations d’intensité de

courant nuisible à leur bon fonctionnement)

Coupe/couture - Pas de formation pour l’utilisation de la machine à broder

(‘brodeuse’)

Mécanique automobile - Pas de formation pour utiliser la machine à monter/démonter

les pneus

- Pas de formation pour utiliser la rectifieuse de soupapes

(2) Les chefs d’atelier gardent ‘jalousement’ le matériel livré. Leur argumentation est

la suivante : ils ne savent pas quand ils recevront des outils similaires à l’avenir, ils les gardent donc précieusement dans des salles fermées à clef pour ne pas les abîmer ou se les faire voler. Ils s’assurent ainsi d’en disposer longtemps.

Tableau 10 : Exemples illustrant la non-utilisation du matériel livré « gardé jalousement »

Filières Exemples

Mécanique

automobile

- Multiples boîtes de clefs et d’outils de base sont encore dans leur

emballage d’origine

- Plusieurs outils pour mesurer la compression des cylindres intacts

dans leurs boîtes d’origine

Construction - 1 table à dessin jamais montée (encore dans sa boîte d’origine)

(une sur les trois reçues)

- les deux autres tables à dessin montées servent de présentoirs

pour les plans lors de la journée portes ouvertes

- la bétonnière n’a jamais été utilisée, ils attendent que la vieille ne

soit plus utilisable (elle semble déjà en très mauvais état…)

- la moitié des jalons pour faire des relevés topographiques ne sont

pas utilisés

(3) Inadéquation du matériel avec les besoins de la formation (programme) et les

réalités de leur environnement

43 La “majeure partie” en terme de “coût” du matériel livré, peut-être pas en terme de “nombre” de matériel

livré. Un exemple: les centaines de paires de ciseaux livrées sont pour la plupart utilisées, par contre la

machine à broder et les 7 machines à coudre semi-industrielles ne sont pas ou sont peu utilisées.


Tableau 11 : Exemples illustrant la non-utilisation du matériel livré par

inadéquation de celui-ci avec le programme et/ou avec les réalités du terrain

Filières Exemples

Administration

/commerciale

- Les ordinateurs ne sont pas utilisés par les élèves car le cours

d’informatique n’est qu’un cours théorique dans le programme de la

filière administration/commerciale. Les élèves y ont accès en dehors

des heures de cours moyennant une compensation financière (les

élèves confient qu’ils n’y vont jamais car c’est plus cher qu’en ville)44.

Coupe/couture - les machines industrielles fonctionnent sur du courant triphasé. Or,

même si les prises sont en place (2 pour 5 machines !), l’école n’a

encore jamais été alimentée en courant triphasé pendant les heures de

cours

Mécanique

automobile

- Certains outils entreposés dans l’atelier sont encore dans leur

emballage d’origine ; « la modernité n’est pas encore arrivée, ici à

Kisangani »

Construction - le coupe-carreau semble ne jamais avoir été utilisée ; ils mentionnent

l’avoir déjà utilisé mais pas souvent, pas une fois par an… car ils n’en

ont pas réellement besoin

- la presse à brique n’a jamais été utilisée, car selon eux, la dimension

des briques qu’elle produit n’est pas vendable sur le marché

(4) Indisponibilité de consommables dans la ville de Kisangani / manque de moyens,

volonté pour acheter des consommables

Tableau 12 : Exemples illustrant la non-utilisation du matériel livré par indisponibilité de consommables à Kisangani

Filières Exemples

Coupe/

couture

- les 5 machines industrielles ne sont pas utilisées car le lubrifiant ne se

trouve pas à Kisangani. Ils ont donc préféré utiliser la bouteille qu’ils

avaient pour les machines semi-industrielles qui sont plus nombreuses et

plus faciles à utiliser.

Construction - La bétonnière n’est pas utilisée car l’école n’achète pas de ciment par

manque de moyens (selon les dires du chef d’atelier)

44 En d’autres mots, les ordinateurs ne sont pas utilisés par les élèves car ce n’est pas matière d’examen

d’Etat. Cependant, la préfète ne le dit qu’à demi-mots : « les élèves peuvent utiliser les ordinateurs

pendant les heures de cours, mais l’informatique n’est pas un cours prévu dans leur programme »… nous

en tirons donc la conclusion que les élèves n’utilisent jamais les ordinateurs, ce qu’ils confirment lors de

l’entretien.



Certains équipements n’ont fonctionné que très peu de temps. L’équipement même basique, lorsqu’il est utilisé est, souvent, sous-utilisé et ce, pour plusieurs raisons.

(1) Le nombre d’heures de cours pratiques prévu dans le programme de référence est faible

Tableau 13 : Exemples illustrant la sous utilisation du matériel livré car peu d’heures de pratique sont prévues dans le programme

Filières Exemples

Administration

/commerciale

- Les élèves interrogées à Mapendano confient qu’elles ont 1 à 2 heures

de cours de sténo/dactylo par semaine. Il existe 4 classes (de la 3ème à

la 6ème) d’une trentaine d’élèves en moyenne, cela représente 120

élèves dans l’option. Les machines sont donc utilisées au maximum 8

heures par les élèves de l’école +3 heures par semaine par une dizaine

d’élèves d’autres écoles Notons également que cela signifie que chaque

élève s’exerce 15 à 30 minutes par semaine sur les machines à écrire

mécaniques car elles sont 3 par machine sur une ou deux période(s)

de cours de 45 minutes.

Coupe/couture - Seules les élèves de Mapendano de 5ème et 6ème utilisent les machines

électriques. Cela représente en moyenne 15 élèves sur une année à

raison de quelques heures par mois -selon la disponibilité du courant-

(2) Le manque de moyens/volonté des écoles/élèves d’acheter/de renouveler les

consommables nécessaires à l’utilisation du matériel.

Tableau 14 : Exemples illustrant la sous utilisation du matériel livré par manque

de moyens/volonté d’acheter les consommables

Filières Exemples

Administration

/commerciale

- Problèmes fréquents avec les rubans des machines à écrire

mécaniques à cause de leur non-renouvellement. Les enfants ne

peuvent donc pas utiliser ces machines de façon optimale. Les élèves

interrogés confient que « les rubans des machines dérangent à tout

moment, quand les machines étaient neuves, ça allait bien mais ça n’a

pas duré longtemps»)

Coupe/couture - Machines semi-industrielles sous-utilisées car en 4 ans, ils n’ont utilisé

qu’une bouteille de lubrifiant (100ml) –celle reçue par le projet– pour 7

machines, en insistant sur le fait que ces machines consomment

beaucoup de ce produit et qu’ils n’en trouvent pas à Kisangani.45

- Les élèves n’ont pas tous les moyens d’acheter les consommables

(tissus, aiguilles, bobine de fils, papier pour patron, etc.), ils sous-

utilisent donc le matériel pendant les cours pratiques. Sur les 10 élèves

interrogés, 8 confient ne pas avoir les moyens d’acheter les

consommables à temps pour les cours pratiques, elles sont donc en

retard sur le programme.

Mécanique

automobile

- 1 Moto compresseur peu utilisé car l’école n’a pas toujours les moyens

d’acheter le gasoil nécessaire pour le faire fonctionner

- 1 Moto soudeuse peu utilisé car l’école n’a pas toujours les moyens

d’acheter le gasoil nécessaire pour le faire fonctionner

45 Localement, elles trouvent un mélange non spécifique à ces machines, elles craignent de casser les machines

si elles l’utilisent.


(3) Le matériel n’est pas suffisamment résistant au grand nombre d’utilisateurs

Tableau 15 : Exemples illustrant la sous utilisation du matériel livré en raison de sa fragilité

Filières Exemples

Administration/commerciale - Problèmes fréquents sur les machines à écrire.

Coupe/couture - Problèmes fréquents sur les machines à coudre.

Mécanique automobile - Les étaux se sont vite cassés

- Le moteur du pont élévateur ne fonctionne plus.

- Ce pont n’a fonctionné que quelques mois.

(4) Manque de courant (localement appelé le ‘délestage’)

Tableau 16 : Exemples illustrant la sous utilisation du matériel par manque de

courant

Filières Exemples

Administration/commerciale - Les machines à écrire électriques demandent un

approvisionnement continu en courant de 220 volt pour

fonctionner correctement, une telle situation est rare

pendant les heures de cours. (6 élèves sur les 17

rencontrées ont utilisé une fois 15 min la machine à

écrire électrique sur ces deux dernières années)

Coupe/couture - Machines semi-industrielles sous-utilisées par manque

de courant.

Une dernière réflexion mérite d’être faite sur le manque de dynamisme ou de volonté des établissements visités. Ce manque peut en partie, expliquer pourquoi le matériel livré n’est pas utilisé à sa capacité optimale. A plusieurs reprises, il a été constaté que certains matériels facilement réparables étaient effectivement en panne ou abîmés depuis plusieurs mois (pouvant d’ailleurs mettre en danger les utilisateurs). La réparation aurait pu être réalisée au sein de l’école avec le concours des autres filières, et/ou à moindre frais localement : par exemple, la réparation électrique du pont élévateur, la soudure du pied et les fils électriques de la calibreuse, le remplacement d’aiguilles sur les machines à coudre, l’achat de ruban pour les machines à écrire, … 46 Ceci est d’autant plus étonnant, que les deux écoles appuyées semblent être des références tant en matière d’enseignement technique dans le secteur public, que pour la discipline et la bonne gestion. Il faut, néanmoins, relever que l’atelier de soudure de Chololo a réparé les brouettes de la filière construction.

Formation du personnel éducatif

Les enseignants rencontrés, qui étaient en poste lors de l’appui, n’ont pas reçu de formation spécifique sur le matériel livré. Ces manquements en formation sont vraisemblablement une conséquence du retard de la livraison du matériel. Les personnes interrogées confient que si la formation était censée venir de Kinshasa via une organisation en pyramide, la probabilité qu’elle arrive jusqu’à eux est très faible47. Les préfets et enseignants confient également qu’ils n’ont pas vu d’inspecteurs depuis la livraison des machines. Le préfet de Chololo est en demande de plus d’inspection, la seule façon, selon lui, que le ministère réalise à quel point leurs enseignants sont mal formés et donc incapables de transmettre des compétences aux apprenants. Il se sent impuissant face à ce fléau, car même si en théorie il a le droit de licencier, les

46 Pour illustrer de la manque de réaction des établissements face à certains problèmes techniques, voici les

mots des élèves de 6ème coupe/couture du LT Mapendano : « les pannes sont fréquentes et l’école ne

réagit pas, alors on se débrouille entre nous »…

47 Plusieurs enseignants et préfets témoignent de l’isolement qu’ils ressentent par rapport à ce qui se décide

au ministère de l’enseignement à Kinshasa.



procédures de licenciement sont tellement complexes qu’il ne le fait pas. Un inspecteur a le même droit mais la procédure est plus facile et rapide (selon le préfet de Chololo).

Réhabilitation des ateliers, salles de cours pratiques

La réhabilitation des ateliers a eu lieu, y compris la réhabilitation de l’installation électrique. Ces réhabilitations étaient indispensables et en cohérence avec la livraison d’équipements électriques. Cependant, les nouvelles installations électriques servent finalement peu à cause des coupures quotidiennes de courant et de l’inadéquation de certains équipements.

Dans les écoles visitées, les réhabilitations ont été réalisées par une entreprise mandatée par la CTB. L’idée initiale d’utiliser les compétences techniques et la main d’œuvre de l’école, n’a donc pas pu être matérialisée, même à l’ITI Chololo réputée comme une des meilleures écoles techniques de la ville. Selon les chefs d’atelier, « le marché a été détourné ». Une autre explication serait que l’école ne disposait pas des compétences pour satisfaire la qualité exigée par la CTB : un élève reste un élève, la qualité de son travail n’est souvent pas comparable à celle d’un professionnel expérimenté.

Notons que lors de la réhabilitation de l’atelier de mécanique automobile de l’ITI Chololo,

l’entreprise a enlevé l’isolation existante sous le toit en tôle, et ne l’a pas remise. Le chef d’atelier se plaint de la chaleur étouffante sous laquelle ils doivent maintenant travailler.

Réhabilitation et équipement de locaux de documentation

Les deux écoles visitées possèdent un local de documentation qui a été réhabilité par le projet. Des manuels, en partie reçus par le projet, y sont entreposés. Cependant, au lycée de Mapendano, le local est très petit et il ne permet pas aux étudiantes de consulter les livres sur place. Les élèves confient qu’elles y vont une à deux fois par an car les modalités d’emprunt sont à ce point complexes qu’elles sont découragées d’emprunter les manuels. Il arrive même qu’à ces rares occasions, on leur refuse l’accès aux manuels par manque de confiance.

Les élèves interrogés dans les écoles appuyées et non-appuyées ne ressentent pas le

besoin de consulter des manuels ou des livres, selon eux, les notes prises en cours suffisent. Ceci n’est pas étonnant car consulter des ouvrages en bibliothèque est une pratique qui s’apprend. De plus, même si cela ne s’observe pas dans tous les établissements, plusieurs professeurs vendent leurs notes de cours aux élèves, une façon d’arrondir leur fin de mois. Pourquoi encourageraient-ils donc leurs élèves à emprunter des ouvrages en bibliothèque ?

Création d’unité formation-emploi (UFE)

Selon les chefs d’établissements interrogés, des documents au niveau des ministères ont été signés. Ces conventions avaient pour objectifs d’encourager les échanges entre le monde des entreprises et les écoles techniques de la ville sous formes de visites, de stages ou encore d’invitations des chefs d’entreprises. Concrètement cela n’a rien changé sur le terrain. Les chefs d’entreprises sollicités ne voient pas l’intérêt de se déplacer dans les établissements, ils déclinent donc les invitations. Les écoles n’organisent pas plus de visites qu’avant l’appui, et les élèves ayant la chance de faire un stage restent peu nombreux. En effet, le tissu économique peu développé de la ville de Kisangani ne peut faire face à la demande importante de stage pour ces jeunes. Les quelques élèves, qui ont la chance de faire un stage, le trouvent via leurs relations personnelles. Les préfets trouvent que la division de l’enseignement n’informe pas suffisamment les entreprises pour qu’une telle unité formation-emploi puisse se mettre concrètement en place.


Sensibilisation à l’enseignement technique et professionnel

Selon les dires des personnes interrogées, la livraison du matériel a été médiatisée, à un niveau très local (au sein de l’école). Les élèves interrogés dans les écoles appuyées n’ont pas entendu parler de l’appui avant la livraison du matériel. Ni les élèves, ni les préfets et ni les professeurs des écoles non appuyées n’étaient au courant de l’existence du projet. Ils ne se souviennent d’aucune émission radio ou télévisée et d’aucune banderole dans la ville.

Conclusion sur l’obtention des outputs et leur utilisation

La mission de terrain a permis de constater, que dans les écoles appuyées de la ville de

Kisangani, les réalisations du projet AETP2 se résument à la réhabilitation des ateliers et des centres de documentation, ainsi qu’à la livraison du matériel technique, didactique et des consommables. Ces « outputs » ne sont pas nécessairement utilisés par les bénéficiaires. La conclusion sur l’atteinte des « outputs » dans la ville de Kisangani, synthétisée dans le tableau 17 ci-dessous, contraste avec les commentaires peu détaillés et très positifs sur l’obtention des « outputs » présentés dans le rapport final du projet (cf. Supra, tableau 6).

Tableau 17 : Etat des outputs du projet AETP2 selon l’analyse de cas de Kisangani

« outputs »

poursuivis

Etat des « outputs » et leur utilisation

(1) Acquisition et

utilisation de

nouveaux

équipements,

matériels didactiques

et matière d’œuvre

- Equipements livrés mais pas utilisé ou sous-utilisés

- Matériel didactique livré et utilisé pendant les deux/trois

années qui ont suivi. Maintenant, ils ont été volés, utilisé dans

le cadre de travaux pratique ou sont inutilisables

- Les consommables livrés, et utilisé pendant les premières

années, aujourd’hui, le stock est vide.

(2) Formation du

personnel éducatif

- Aucun enseignant rencontré n’a suivi une formation dans le

cadre du projet AETP2

(3) Réhabilitation

d’ateliers, salle de

cours pratiques

- Réhabilitation de l’installation électrique, mais pas/peu utilisé

et en partie déjà endommagée

- Réhabilitation des locaux de cours pratique (un souci

d’isolation dans un atelier, qui rend les conditions de travail

pénibles lorsqu’il fait chaud)

(4) Réhabilitation et

équipements de

locaux de

documentation

- Pas de réhabilitation d’équipement ancien

- Réhabilitation/création d’un local de documentation

- Livraison de manuels de cours mais pas/peu utilisés

(5) Création d’UFE - Pas de formation d’un responsable d’UFE

- Pas de création d’UFE

(6) Sensibilisation à

l’enseignement

technique et

professionnelle

- Médiation très locale lors de la livraison de matériel

- Pas de médiation particulière au niveau du genre

(7) Génération de

revenu par les écoles

N/A, selon la nouvelle logique d’intervention, cet output est

devenu un « outcome » du projet

Il est important de rappeler, que cette analyse se base sur deux écoles appuyées dans une ville du pays. Il est donc possible que la situation soit différente ailleurs. Cependant, comme les manquements observés sont en grande partie causés par les retards de livraison du matériel et le contexte institutionnel dans le pays, il est très probable que la situation des autres écoles soit relativement comparable (moyennant sans doute



quelques exceptions que l’on pourrait appeler des « success stories »).48 Notons toutefois que certains manquements auraient pu être anticipés sur base des leçons tirées du premier projet AETP1, et/ou partiellement atténué par le projet suivant (AETFP)49.

L’analyse faite sur l’obtention des « outputs » et leur utilisation, ainsi que les arguments avancés pour expliquer les manquements observés, annonce que la probabilité de trouver un impact du projet est faible tant dans la ville de Kisangani que dans les autres régions.

48 Lors du débriefing à l’ambassade ou à la CTB, tout le monde semblait d’accord avec l’extrapolation de ces

constats moyennant quelques exceptions.

49 Un budget de 12000 euros étaient prévus pour terminer l’appui AETP2 dans la phase AETFP, un montant

bien trop peu élevé, selon les responsables AETFP, pour rattraper les manquements du projet AETP2.


5.4 Atteinte des « outcomes » et de l’impact – Q4

Q4 : Dans quelle mesure les « outcomes » et l’impact du projet ont-ils été atteints? Y a-t-il des effets inattendus ? Y a-t-il des effets sur les thèmes transversaux ?

Cette question vise à évaluer les effets attendus et inattendus du projet sur les

bénéficiaires directs (élèves, écoles, professeurs) et sur le secteur de l’ETP. En d’autres termes, cette question vise à apprécier les « outcomes » et l’impact global du projet. Des explications sur les facteurs inhibant ou favorisant l’atteinte des « outcomes » et de l’impact d’un projet sont également proposées.

Notons que cette étude est une évaluation d’impact ex-post. Il s’agit donc d’apprécier les effets qui persistent encore à ce jour, cinq années après la fin du projet, tout en identifiant les effets temporaires qui ont pu avoir lieu.

Encadré 9 : Résumé de la réponse à la Q4 (Atteinte des « outcomes » et de l’impact)

« Outcomes »

Le projet n’a pas généré les « outcomes » attendus à savoir, l’augmentation de l’attractivité des écoles, l’amélioration de la qualité de l’enseignement, la génération de revenus au sein des écoles et l’amélioration de l’employabilité des jeunes diplômés.

Ce constat malheureux est en partie expliqué par l’obtention très partielle des

«outputs» mais également par leur faible ou non-utilisation (cf. Q3). Plus fondamentalement, le projet AETP2 tel que formulé et mis en œuvre avait peu de chance de générer les effets désirés. En effet, l’état désastreux de l’ETP, le mode d’aide au développement choisi dans ce secteur par la Belgique et la situation socio-politico-économique du pays sont autant d’obstacles structurels allant à l’encontre de l’évolution des mentalités et des comportements des différents acteurs. Les constats réalisés grâce à l’étude de cas à Kisangani peuvent donc être en grande partie extrapolés à l’ensemble des écoles soutenues dans le cadre de ce projet.

Compte tenu d’un contexte peu favorable à la réalisation de la chaîne des résultats, l’analyse des « outcomes » aurait pu s’arrêter aux constats d’échec de la non-atteinte des « outputs ». L’équipe a néanmoins décidé de démontrer chaque « outcomes » dans un but formatif ce qui a également permis d’apprendre beaucoup sur les mécanismes inhibant l’atteinte des objectifs du projet. Une hypothèse sous-jacente à chaque « outcomes » a été formulée et plusieurs indicateurs, construits sur base des informations quantitatives et qualitatives collectées dans deux écoles cibles et deux écoles témoins, ont été analysés afin d’infirmer ou de confirmer ces hypothèses.

(1) Augmentation de l’attractivité pour les écoles/filières soutenues Les analyses réalisées ne permettent pas de confirmer l’hypothèse selon laquelle le projet a eu un impact sur l’attractivité des écoles/filières soutenues. Même si un accroissement d’effectifs est parfois observé au sein d’une école soutenue, cet effet est marginal et difficilement attribuable au projet. L’absence d’effet n’est pas propre à la situation des écoles visitées, c’est tout le contexte qui est remis en question. (2) Amélioration de la qualité de l’enseignement dans les écoles soutenues L’hypothèse selon laquelle le projet a eu un impact durable sur la qualité de la formation, ou sur l’acquisition, en classe ou à l’extérieur, de réelles compétences techniques est rejetée. Les seuls effets très marginaux relevés sont que les élèves de coupe/couture de l’école appuyée utilisent, à de rares occasions, des équipements plus modernes que ceux de l’école témoin. Dans cette même filière, la fourniture de consommables par le projet a eu un effet éphémère sur la qualité de l’enseignement pendant les 3 années ayant suivi l’appui.



(3) Génération de revenus au sein des écoles appuyées/capacité d’autofinancement Aucune activité génératrice de revenu (AGR) n’a été observée au sein des écoles soutenues visitées. Cependant il ne faut pas exclure quelques ‘success stories’ ailleurs dans le pays, sachant que l’utilisation de ces revenus à des fins privées l’emporte sur l’autofinancement des écoles. De plus, il ne faut pas exclure l’existence de certains débordements du temps consacré à ces AGR sur les heures de cours.

(4) Meilleure employabilité des jeunes diplômés des écoles/filières soutenues Cinq années après la fin du projet, aucun effet du projet sur l’emploi n’a été observé et ce n’est pas étonnant. En effet, le projet n’a pas modifié les préférences des élèves à poursuivre des études supérieures après l’obtention de leur diplôme d’Etat : une grande majorité continue à étudier. Pour ceux qui cherchent un emploi, l’appui n’ayant pas eu d’effet sur la réputation de l’école, ni sur les compétences techniques acquises, et encore moins sur le marché de l’emploi, la probabilité de trouver un emploi pour un élève sortant d’une école cible est la même que pour un élève sortant d’une école non appuyée.

Bien que présents dans la formulation du projet, les thèmes transversaux sont absents

des effets trouvés. Aucun effet en termes de genre ou d’environnement n’a été relevé sur base des informations et observation faites durant les missions de terrain.

Impact global

Etant donné les manquements en termes d’obtention des « outputs » et des « outcomes » dans les écoles bénéficiaires, l’impact du projet AETP2 sur l’amélioration de la qualité de l’ETP est pour ainsi dire nul.

Par ailleurs, même si l’ensemble des effets avaient été atteints sur l’ensemble des

écoles soutenues, la contribution du projet à l’amélioration de la qualité de l’ETP aurait été très marginale vu le petit nombre d’écoles touchées par ce projet (5% des écoles techniques et professionnelles du pays sont concernées par les projets AETP1&2).

Cependant, les interventions belges dans le secteur depuis plus de 10 ans ont contribué au moins indirectement aux prémices de l’amélioration de l’ETP en RDC à 3 niveaux : (i) ces projets ont influencé la stratégie sous-sectorielle de l’ETP formulée en 2010, (ii) ils ont contribué à rendre compte de l’importance de ce sous-secteur dans le pays, et (iii) ils ont encouragé le dialogue sectoriel. Deux remarques tempèrent néanmoins cette appréciation. La première est que l’élaboration d’une stratégie et la prise de conscience sont nécessaires, mais pas suffisantes, pour améliorer la situation sur le terrain. La seconde est l’impossibilité d’attribuer et de quantifier les effets du projet AETP2 (ou même des autres projets belges dans ce secteur) sur une amélioration de la gestion institutionnelle de l’ETP.

Cette section a pour objectif d’identifier et d’apprécier les effets du projet sur les bénéficiaires tels qu’ils sont définis dans la logique d’intervention reconstituée (cf. Supra, section 4) : (1) l’attractivité des écoles techniques et professionnelles, (2) la qualité de l’enseignement, (3) la capacité d’autofinancement des établissements scolaires et (4) l’employabilité des jeunes diplômés. L’hypothèse sous-jacente à chaque effet est formulée pour ensuite être infirmée ou confirmée par l’analyse d’indicateurs construits sur base des données quantitatives et qualitatives récoltées sur le terrain. L’appréciation se fonde sur une analyse de cas avec contrefactuel, ce qui permet de comparer des indicateurs dans deux écoles (cible et témoin) à deux moments donnés dans le temps (avant et après projet). Néanmoins, cela exclut tout traitement économétrique et ne permet a priori pas de généraliser les conclusions à l’ensemble des établissements appuyés par le projet AETP2. Ce type d’analyse permet d’apprécier les « outcomes » sur un échantillon réduit (c’est-à-dire prouver leur existence, les quantifier et argumenter leur attribution), tout en essayant d’expliquer les facteurs les ayant inhibé ou encouragé.

Le tableau 18, ci-dessous, reprend l’ensemble des hypothèses et indicateurs analysés dans le cadre de cette étude pour apprécier les « outcomes » du projet.



Tableau 18 : Résumé des hypothèses testées et des indicateurs analysés pour apprécier les « outcomes »

« Outcomes » Résumé des hypothèses

testées

Indicateurs analysés Sources

1. Meilleure

attractivité des

écoles techniques

et professionnelles

Observe-t-on une

augmentation des effectifs ?

(1) Nombre d’inscrits dans l’école sur les 10 dernières années

(2) Comparaison avant/après projet entre le nombre d’inscrits par

filière toutes classes confondues

(3) Mobilité des élèves au sein d’une même école vers une filière

soutenue

(4) Comparaison entre périodes pré- et post- projet du nombre

d’inscrits par filière en 6ème technique

(5) Facteurs déterminant le choix d’une école et d’une filière

- palmarès des écoles




- entretiens avec élèves et

anciens élèves des écoles

Y-a-t-il eu des changements

dans les

formalités d’admission ?

(1) L’existence de test d’admission dans les écoles témoins et cibles,

avant et après projet

(2) La difficulté des tests et/ou la sévérité des formalités

d’admission

- entretien avec préfets,

élèves et anciens élèves

- entretien avec préfets

Y a-t-il moins de retard-

absence-abandon ?

(1) Fréquence des retards et absences non justifiées

(2) Proportion d’abandons entre la 3ème et la 6ème d’une même

promotion (Source : entretiens avec les bénéficiaires) et Proportion

d’abandons au sein d’une même promotion calculé par la différence

entre ceux qui ont réussi en 4ème et ceux inscrits à l’examen d’Etat

en 6ème, avant et après projet

- entretiens avec les

bénéficiaires


Accueil des élèves d’autres

écoles

(1) L’école est-elle un centre d’examen d’Etat ? :

(2) Fréquence de l’accueil d’élèves ou de classes d’autres école

- entretien avec préfet

- entretien avec préfet

2. Amélioration de

la qualité de

l’enseignement

Le matériel technique et

didactique est adéquat et

utilisé ; les compétences des

formateurs sont améliorées.

(1) Utilisation réelle du matériel :

- Nombre d’heures de cours pratiques en 6ème technique/nombre

de manipulations techniques en classe

- Taux d’utilisation du matériel technique et type d’équipement

(2) Conditions d’apprentissage :

- Nombre d’élèves par classe en 6ème ;

- Nombre d’élèves par machine en 6ème technique dans les filières

soutenues

(3) Accès aux manuels pour les élèves / accès aux programmes

scolaires et matériel didactique pour les professeurs

(4) Niveau de qualification des enseignants :

- Type de diplôme et d’expériences pratiques ;

- Nombre de formations et recyclages auxquels ils ont participé

(5) Stabilité/présence des enseignants dans l’établissement scolaire

- entretien avec

professeurs et élèves

- chef d’atelier

- entretiens avec préfet,




- Palmarès des écoles,

entretiens avec

professeurs

- entretiens avec préfets

et professeurs

5. Réponses aux questions d’évaluation d’ordre sommatif


« Outcomes » Résumé des hypothèses

à testées

Indicateurs analysés Sources

(6) Contact avec le monde professionnel :

- Nombre de visite d’entreprises réalisées avec l’école en 5ème et

6ème technique ;

- Nombre d’étudiants ayant réalisé un stage en entreprise durant

ces humanités



Meilleur taux de réussite (1) Taux de réussite en 6ème technique de toutes les filières dans les

écoles cibles, et dans les écoles témoins ; avant et après l’appui.

(Source :)

(2) Points obtenus aux examens d’Etat.


- Non collectés

3. Capacité

d’autofinancement

des établissements

Les établissements ont-ils

des sources de financement

interne, cela a-t-il une

influence sur le coût de

l’éducation ou le salaire des

professeurs?

(1) Nombre d’activités génératrices de revenus (AGR) existantes au

sein des établissements visitées

(2) Evolution de la prime de motivation des parents sur les deux

périodes (Pré- et Post-projet)/ évolution du complément des salaires

des professeurs

(3) Fréquence d’achats de consommables par l’établissement / offre

de ‘kit de démarrage’ aux diplômés

(4) Type d’activités menées par les professeurs en dehors de

l’enseignement au sein de l’école

(5) Type d’activités génératrices de revenus faites par les élèves

durant leur formation

- entretien avec préfets,

professeurs/chefs

d’atelier, élèves



- entretien avec

professeurs

- entretien avec élèves et

anciens élèves

4. Meilleure

employabilité des

jeunes

Meilleure insertion

professionnelle et/ou plus de

capacités de générer des

revenus tout en poursuivant

des études supérieures.

(1) Annuaire des anciens

(2) Présence d’une unité formation-emploi

(3) Type d’activité après les humanités techniques : études

supérieures et/ou recherche d’emploi


des écoles


des écoles

- entretiens avec élèves,

anciens élèves et

professeurs

Effet sur le genre Plus de filles entreprennent

des études techniques et

professionnelles

la proportion de filles inscrites dans chaque filière avant/après

projet

(non pertinent dans l’étude de cas car école de filles ou à mixité

réduite de par les filières dispensées)

- palmarès des écoles &

entretien avec élèves et

professeurs

Effet sur

l’environnement

Existe-il des mesures pour

préserver l’environnement ?

Faits ou activités du projet en lien avec l’environnement - entretien avec chefs

d’atelier, préfets, et

professeurs


La section examine ensuite l’impact global du projet tel qu’il est défini dans la logique d’intervention reconstituée : « l’amélioration de la qualité de l’ETP en RDC ».

Pour rappel, les constats sur l’impact du projet AETP2 sont en priorité illustrés par les données quantitatives et qualitatives collectées dans les écoles Mapendano et Likunde. Lorsque cela s’avère pertinent, les données chiffrées et informations récoltées auprès des préfets des deux autres écoles Chololo et Makiso sont également utilisées50. Certaines informations recueillies dans des établissements de Kinshasa51, lors de la mission exploratoire, sont également utilisées afin de nuancer quelques propos.

5.4.1 Meilleure attractivité des écoles techniques et

professionnelles

Le projet avait entre autres pour objectif d’accroître le nombre d’élèves formés et diplômés dans les filières techniques appuyées. Les effets du projet sur des éléments en liens avec le nombre d’élèves touchés directement ou indirectement par l’appui sont analysés ci-dessous. Il est intéressant de soulever que le rapport d’évaluation à mi-parcours et le rapport final de ce projet mentionnent que le projet a eu pour effet une augmentation des effectifs dans les filières soutenues, créant des écoles à deux vitesses. Ces rapports font également mention d’organisation de tests à l’entrée dans les écoles soutenues pour faire face aux demandes croissantes d’inscriptions. Les analyses proposées ci-dessous ne démontrent pas ces effets.

Evolution des effectifs

Hypothèse

L’appui en matériel et la réhabilitation d’ateliers, accompagné d’une médiatisation et d’une sensibilisation aux avantages d’un ETP et d’un métier manuel, ont comme effet d’attirer plus d’élèves dans les écoles soutenues par le projet, au moins dans les filières appuyées, et spécialement en 6ème année afin que l’enfant augmente ses chances de réussir l’examen d’Etat.52

Constat

L’analyse des différents indicateurs démontre que l’effet du projet sur l’accroissement des effectifs au sein d’une école soutenue est marginal et difficilement attribuable au projet. En d’autres termes, l’étude de cas infirme l’hypothèse selon laquelle la simple vision de matériels neufs et modernes dans les écoles incite les parents à y inscrire leurs enfants53 (par exemple, via les journées portes ouverte fin avril54). L’absence d’effet n’est pas propre à la situation des écoles visitées car c’est tout le contexte dans lequel est implémenté le projet qui est remis en question.55 Poursuivant le même raisonnement, il n’est pas certain que l’appui aurait eu un effet plus important sur les effectifs si l’école soutenue ne disposait pas du tout de matériel avant l’arrivée du projet.

50 Les professeurs et les élèves de ces deux écoles n’ont pas été interrogés par manque de temps, les chefs

d’atelier ont néanmoins été rencontrés. 51 Ces écoles ont reçu un appui similaire mais dans le cadre du projet précédant, AETP1. 52 Cette hypothèse pourrait être résumée comme suit: “la communication autour du projet et la simple vision

du matériel attire des nouveaux élèves dans les filières soutenues des écoles sélectionnées pour le projet

AETP2” 53 Cela ne signifie pas que cela n’arrive jamais, mais cela veut dire que le projet n’a pas eu d’effet significatif

sur le nombre d’effectifs dans les filières soutenues des écoles appuyées. 54 Une petite histoire: “lors des journées portes ouvertes à Chololo, l’atelier de construction présente de beaux

plans de maison sur les tables de dessin reçues par le projet. Ils mentionnent que cela fait beaucoup d’effet

sur les visiteurs. Mais ils confient également que les meilleurs élèves peuvent utiliser ces tables, parfois,

une fois par an…” 55 Il est naïf de penser qu’à la simple vision de la modernité, les gens vont avoir envie ou simplement être

capables de changer leur mode de raisonnement et leurs comportements.



Les indicateurs utilisés afin d’infirmer ou confirmer cette hypothèse se fondent sur les chiffres du palmarès des écoles, avec l’aide du préfet et du directeur des études.

(1) Nombre d’inscrits dans l’école sur les 10 dernières années (Source : palmarès des écoles)

Pour confirmer la présence d’un impact, il faut observer une augmentation des inscriptions après l’appui (c’est-à-dire en 2009-10 ou en 2010-11) dans les écoles cibles, ainsi qu’une absence d’inscription ou une moins grande augmentation dans les écoles témoins.

Si l’on observe la figure 4, on constate que l’effectif des écoles cibles chute les deux

années qui suivent la livraison des équipements (en 2008-09 et en 2009-10). Les effectifs remontent en 2010-2011, année où certains équipements ont été montés par le projet AETFP. A première vue, on aurait tendance à conclure qu’il y a eu un impact sur les effectifs des écoles appuyées après le montage du matériel en 2010 mais il faut être prudent dans l’interprétation de ces chiffres. En effet, selon les entretiens réalisés à Mapendano, la chute des inscriptions pendant deux ans est due à une baisse des taux de réussite en 2006-07 (0% de taux de réussite) et 2007-08 (15% de taux de réussite). Selon la secrétaire de la préfète, cette chute est vraisemblablement due à un changement dans la façon d’interroger à l’examen d’Etat (passage à la correction électronique et donc au noircissement de la case au lieu d’une croix dans la case devant la bonne réponse). L’école n’a pas pu avertir les élèves car ils n’étaient pas au courant de ce changement. Et toujours selon la préfète, la hausse des inscriptions en 2010-2011 et 2011-12 serait uniquement due à un retour à un bon taux de réussite et, surtout, à l’engouement pour la filière ‘pédagogie’56 (ce qui se vérifie dans la figure 5, cf. Infra).

Pour l’établissement scolaire Likunde, la tendance est stable, même si elle est légèrement en baisse à partir de 2006-07 et de façon légèrement plus marquée depuis 2010-11. Il semblerait que cette baisse soit due au retour du fondateur de l’école, Mr Likunde, en tant que préfet. En effet, ce dernier ne paie pas de complément de salaire aux professeurs. Ceux, qui désertent, font donc de la contre publicité pour cette école. De plus, il semblerait que le préfet exige que les enfants paient la prime par trimestre en début de période sans échelonnement possible, ce qui fait fuir les élèves car les parents n’arrivent pas à suivre financièrement.

Figure 5 : Evolution des effectifs des 4 écoles visitées à Kisangani de 02-03 à 12-13*

* Même si Makiso fut fondée en 2008, les données ne sont pas disponibles avant 2010-11; Pour Chololo les données de 2002-03 et 2003-04 n’ont pas pu être retrouvées.

56 La filière « pédagogie » aurait beaucoup de succès auprès des jeunes ces dernières années. Selon leurs

dires, c’est une filière facile, et il y aurait plus de fuite sur les questions de l’examen d’Etat… le taux de

réussite est très élevé (cela se confirme dans les statistiques cf. Supra Tableau 8)

0

500

1000

1500

2000

2500

3000

20

02

-03

20

03

-04

20

04

-05

20

05

-06

20

06

-07

20

07

-08

20

08

-09

20

09

-10

20

10

-11

20

11

-12

20

12

-13

Mapendano

Likunde

Chololo

Makiso


(2) Comparaison avant/après projet entre le nombre d’inscrits par filière toutes

classes confondues (Source : palmarès des écoles)

Pour confirmer la présence d’un impact, il faut observer (i) une augmentation significative du nombre d’élèves dans les filières soutenues des écoles appuyées après l’intervention, ou une moins forte augmentation (ou aucune augmentation) dans les écoles non soutenues pour ces mêmes filières (en d’autres termes, pour que le projet ait eu un effet sur les effectifs, on devrait observer une différence d’effectifs entre les écoles cibles et témoins significativement plus importante en post-intervention qu’avant l’intervention); et (ii) une moins forte augmentation (ou aucune augmentation) des inscriptions dans les filières non soutenues des écoles appuyées après l’appui.

En observant les figures 5 (a) et (b), cette hypothèse ne se confirme pas. En effet, si l’on regarde la figure (a) –école cible–, il y a entre les deux périodes (pré- et post-projet), une diminution des effectifs dans les filières soutenues, coupe/couture et administration/commerciale à Mapendano, et une augmentation dans la filière pédagogie, non soutenue par AETP2. Dans la figure (b) –école témoin–, on observe une légère augmentation des inscriptions dans la filière coupe/couture à Likunde. Par ailleurs, une analyse des chiffres présentés dans les deux premières figures indique que la différence d’effectifs dans les filières bénéficiaires, entre Mapendano et Likunde, n’a pas significativement augmenté suite à l’intervention (bien qu’aucun test statistique ne puisse être effectué étant donné le petit nombre de données). En coupe/couture, la différence d’effectifs entre les écoles avant l’intervention était de plus ou moins 40 élèves (130 à Mapendano et 90 à Likunde), cette différence après intervention est de plus ou moins 50 élèves (95 à Mapendano et 45 à Likunde). En administration/commercial, cette différence diminue : la différence pré-intervention est de plus ou moins 165 élèves (=270-95) alors qu’en post-intervention, elle n’est plus que de plus ou moins 110 élèves (=200-90).

La figure (c) confirme partiellement l’hypothèse, sans pour autant être en mesure

d’attribuer l’effet au projet AETP2. En effet, on constate une forte augmentation des effectifs (28% en plus) dans la filière construction (filière soutenue) entre les périodes pré- et post-projet. Mais cette hausse ne peut être attribuée uniquement au projet car selon les personnes interrogées, l’augmentation des effectifs dans cette filière serait principalement due à l’ouverture d’un institut supérieur (l’IBTP) offrant l’opportunité aux élèves munis du diplôme d’Etat de poursuivre des études supérieures dans ce domaine. De plus, toujours selon les personnes interrogées, les offres d’emplois dans le secteur de la construction sont nombreuses à Kisangani (surtout depuis le retour à la paix) et Chololo est l’une des écoles les plus réputées pour enseigner la construction (et la seule à Kisangani). L’appui n’aurait donc qu’une responsabilité marginale pour expliquer cet accroissement des inscriptions.

Deux autres faits ressortent de cette figure (c) : (i) la perte quasi totale d’effectif, en 2011-12, dans les filières professionnelles (Cycle Court -CC-), même dans les filières soutenues comme la maçonnerie et auto diésel; et (ii) la création d’une filière mécanique auto cycle long. Cette dernière filière bénéficie aussi directement de l’appui car les élèves utilisent le matériel livré à la filière professionnelle auto diésel. Même si la création de la filière mécanique auto n’est pas un effet du projet, mais bien une réponse aux préférences des élèves pour le cycle long, le nombre d’élèves y est plus important (30% en plus) qu’en auto diésel en 2005-06. Cependant, une fois de plus, l’attribution de cet effet au projet n’est pas possible. Cela pourrait simplement être l’effet de la création d’un cycle long en mécanique auto et de la préférence des jeunes pour ce type de cycle afin de poursuivre leurs études supérieures (des écoles supérieures dans ce domaine existent à Kisangani).



0

20

40

60

80

100

120

140

C.O (1+2) Coupe/Couture(3+4+5+6)

Admin/Com(3+4+5+6)

Pédagogie(3+4+5+6)

Philo/Latin(3+4+5+6)

2005-06

2011-12

Figure 6 : Comparaison avant/après de l’appui des effectifs dans les filières, toutes classes confondues à Mapendano, Likunde et Chololo

(a) MAPENDANO

(b) LIKUNDE

(c) CHOLOLO

0

100

200

300

400

500

600

700

800

900

C.O (1+2) Coupe/Couture(3+4+5+6)

Admin/Com(3+4+5+6)

Pédagogie(3+4+5+6)

Sociale(3+4+5+6)

2005-06

2011-12

0

100

200

300

400

500

600

2005-06

2011-12


(3) Mobilité des élèves au sein d’une même école vers une filière soutenue

Les contraintes auxquelles sont soumis les parents, les élèves, les écoles et les enseignants n’ont pas été réduites par la présence du projet : l’école coûte toujours aussi cher aux parents (cf. Supra) et l’école ne génère pas plus de rentrées financières (cf. Infra). Si les préférences des parents/enfants s’orientaient en faveur des filières techniques soutenues suite à la livraison de matériel dans les écoles, les parents n’auraient de toute façon pas plus de moyens pour envoyer leurs enfants à l’école qu’avant l’appui (changer d’école implique aussi des coûts tels un transport plus long ou une prime de motivation plus élevée, …). De même si les écoles font face à une demande plus forte pour la formation dans les filières soutenues suite au projet, ont-elles les moyens d’augmenter leur capacité en termes d’espace et de ressources humaines pour accueillir ces élèves supplémentaires sans recevoir de soutien de leur gouvernement? Ce constat implique qu’un des seuls effets significatifs sur les effectifs que nous aurions pu observer dans notre analyse est la « migration » des élèves d’une filière non soutenue vers une filière soutenue au sein d’une même école. Cependant, ni le préfet de Mapendano, ni celui de Chololo n’ont observé une mobilité des étudiants entre filières au sein de leur établissement. Sur base de cette dernière observation et sur l’analyse des graphiques, il n’est pas possible d’affirmer que le projet a créé un problème d’écoles à deux vitesses en ne soutenant que quelques filières par école contrairement à ce qui est mentionné dans les rapports d’évaluation (à mi-parcours et finale) du projet.

(4) Comparaison entre périodes pré- et post- projet du nombre d’inscrits par filière

en 6ème technique (Source : palmarès des écoles)

En imaginant que les parents décident d’investir dans la réussite de leurs enfants une fois qu’ils ont atteint la 6ème, on devrait observer une augmentation significative des inscriptions en 6ème pour les filières soutenues par le projet dans les écoles appuyées, sans observer d’augmentation dans ces mêmes filières dans les écoles témoins, ni dans les autres filières non soutenues des écoles appuyées.

Les chiffres collectés ne montrent aucune augmentation des inscriptions en 6ème pour les filières soutenues, et suite aux entretiens réalisés avec les préfets, il apparaît que cet indicateur n’est pas pertinent. En effet, les enfants venant d’autres écoles ne sont pas facilement acceptés en 6ème de peur que ces derniers ne fassent baisser le niveau et donc le taux de réussite de l’école (et donc la réputation de celle-ci). De plus, toujours selon les préfets, les demandes d’inscription en cours de formation (c’est-à-dire en 4ème, 5ème ou 6ème) ne sont pas fréquentes, elles concernent principalement les enfants qui sont déplacés pour des raisons de travail des parents ou de guerre. Ces observations se confirment par les chiffres (collectés via les entretiens « focus-group ») : sur les 41 élèves ou anciens élèves interrogés en administration/commerciale, 87% étaient inscrits à Mapendano en C.O ou en primaires (si l’on ajoute les élèves de coupe/couture, on descend à 78%, car cette option attire également des personnes plus âgées qui reprennent un cycle de formation à l’âge adulte). De plus, aucun nouvel élève n’est arrivé en 5ème ou 6ème, et aucun des élèves arrivés en 3ème ou 4ème ne confie avoir choisi cette école car elle avait reçu du nouveau matériel (d’ailleurs, selon leurs dires, leurs parents ignoraient cet appui).

(5) Facteurs déterminant le choix d’une école et d’une filière (Source : entretiens

avec élèves et anciens élèves des écoles de Mapendano et Likunde)

Si la présence d’équipement était un élément déterminant dans le choix d’école et/ou de filière, l’arrivée de nouveau matériel devrait attirer de nouveaux élèves.

Même si les chiffres montraient un effet du projet sur le nombre d’effectifs, les informations collectées lors des entretiens ne permettraient pas de tisser un lien de cause à effet entre l’arrivée de nouveaux équipements et un accroissement des inscriptions dans les filières soutenues et ce, pour quatre raisons.



(i) La présence d’équipement influence le choix de l’école mais pas celui de la

filière. Les entretiens avec les élèves et anciens élèves révèlent que la présence d’équipement est un facteur qui influence le choix d’une école. Cependant, il arrive seulement en 4ème position après d’autres facteurs plus importants qui sont le taux de réussite, la bonne réputation et la discipline (suivi du critère de non-mixité et du bel uniforme pour le LT de Mapendano). Force est de constater qu’aujourd’hui, on ne peut pas établir un lien de cause à effet entre la présence d’équipements techniques et le taux de réussite (cf. Infra). Le choix d’une filière est guidée par les préférences des parents, l’offre d’école supérieure ou université dans le domaine de la filière, les ambitions professionnelles (particulièrement pour la filière admin/commerciale)57 et la capacité à générer un revenu tout en étudiant (surtout pour celles de coupe/couture).58

(ii) Les élèves de l’école de Mapendano (cible), comme ceux de l’établissement de Likunde (témoin), disent avoir choisi leur école pour l’existence de matériel, en avouant ne pas s’être soucié de la qualité ou même du fonctionnement de ces équipements.

(iii) Les élèves interrogées en 6ème qui se sont inscrites à Mapendano en 3ème ou 4ème technique59 -alors que l’appui avait déjà eu lieu-, ne savait pas que l’école disposait de matériel relativement neuf au moment de leur inscription.

(iv) Le contexte actuel de l’ETP et de l’emploi n’encourage pas les parents/enfants à accorder de l’importance à l’aspect réellement technique de la formation. En effet, pour une majorité des élèves du cycle technique, leur priorité semble être la réussite de l’examen d’Etat afin d’avoir accès à des études supérieures (d’où la corrélation positive entre l’offre d’études supérieures et le nombre d’inscriptions dans certaines filières) et accroitre ainsi leurs chances de trouver un emploi et de grimper des échelons sur l’échelle socio-économique. Pour la minorité des élèves qui n’auront pas accès aux études supérieures par manque de moyens et/ou de capacités intellectuelles, le fait que l’école soit équipée de matériel moderne ne semble pas non plus un élément déterminant pour le choix de la filière. Les raisons invoquées sont doubles. Tout d’abord, ils ne sont pas nécessairement au courant des enjeux de la modernité tant elle semble loin de leur quotidien (pas d’électricité, ni d’eau courante). Ensuite, les équipements modernes ne semblent pas avoir réellement intégré le marché de l’emploi qu’ils convoitent. Par exemple, pour les couturières qui aimeraient s’installer sur le marché de Kisangani, les machines à coudre électriques ne sont pas utilisables car il n’y a pas d’électricité sur le marché (et de toute façon, les élèves interrogées pensent que l’achat d’une machine électrique est hors de portée de leur pouvoir d’achat). Pour celles qui se mettront à leur propre compte en s’installant chez elles, la machine à coudre électrique leur paraît également peu utile car même si elles ont une connexion au réseau, les coupures sont tellement fréquentes, qu’elles l’utiliseront peu. Pour les futures secrétaires ou comptables dans les administrations ou petites affaires locales, la machine à écrire mécanique est encore vraisemblablement

57 Une des étudiantes interrogée veut devenir ‘gérante de la Banque Mondiale’ ; une autre ‘secrétaire de

l’ONU’ ; trois autres ‘ministres’. (Pour la petite histoire, quand on leur a demandé, c’est quoi être ministre,

elles ont répondu : « être assis derrière un bureau et gagner beaucoup d’argent » !!)

58 Avec une enquête plus détaillée, il serait possible d’obtenir des statistiques représentatives sur les

élements guidant le choix des études, avec une meilleure appréciation de l’influence des parents dans ces

choix. En focus-group, ce genre d’information est soumise à l’effet du groupe, même des précautions sont

prises pour écouter chacun.

59 Cela concerne 12 élèves sur les 34 interrogées : 6/10 en coupe/couture et 6/24 en admin/commerciale.


plus utilisée que les ordinateurs (c’est en tout cas, ce que pensent les élèves et anciennes élèves interrogées).

Formalités d’admission

Hypothèse

Grâce à l’appui, l’école attire plus d’élèves, spécialement dans les filières soutenues. Les écoles doivent donc gérer cet afflux de nouveaux élèves en imposant un test d’admission afin de garder un nombre gérable d’apprenants par classe.60

Constat

Sur base des informations collectées, l’hypothèse est infirmée. Des modalités de sélection préexistaient au projet. Elles n’ont pas été modifiées suite au projet.

Comme nous venons de le voir, le projet n’a pas eu l’impact attendu sur l’afflux d’étudiants. Il y a donc peu de chance de montrer un quelconque impact sur les modalités d’admission.

(1) L’existence de test d’admission dans les écoles témoins et cibles, avant et après projet (Source : entretien avec préfets, élèves et anciens élèves)

Une sélection des enfants au moment de l’inscription en 3ème pour les enfants ayant

fait leur C.O dans une autre école existe dans les deux écoles soutenues par le projet. Cependant, ces formalités d’admission préexistaient au projet. Le test en début de 3ème permet de sélectionner les éléments qui ont un avenir dans l’école (en moyenne 60% des élèves sont admis) mais il est surtout utilisé pour orienter les élèves dans la bonne classe et dans la filière la plus adaptée à leurs aptitudes. Le directeur des études de Chololo nous confie que ces tests sont essentiels car les rares élèves sélectionnés sur dossier leur causent de réels soucis (« ils ne savent parfois même pas écrire correctement leur nom ! »). Généralement les écoles refusent les inscriptions en cours de formation (en 4ème, 5ème ou 6ème) car, conscientes du fléau de l’usage de faux certificats et diplômes, elles sont obligées d’organiser des tests spécifiques et de vérifier chaque document du dossier d’un nouvel enfant. On touche ici à une problématique bien connue en RDC: l’authenticité des diplômes et certificats.

L’établissement scolaire Likunde n’organise pas de test mais fait, selon le préfet, une sélection sévère sur base du dossier de l’enfant… L’école de Makiso n’a pas ‘le luxe’ de trier les élèves car le préfet a besoin d’élèves pour faire fonctionner son école (pour rappel, il ne reçoit aucun financement de l’Etat, ce sont donc les parents qui financent tout).

(2) La difficulté des tests et/ou la sévérité des formalités d’admission (Source : entretien avec préfets)

Selon les préfets des écoles soutenues par AETP2, les tests d’admission sont les

mêmes aujourd’hui qu’avant l’appui. Ils ne voient, d’ailleurs, pas l’intérêt de durcir les conditions d’admission car ils n’ont pas plus de demandes qu’avant le projet.

60 L’hypothèse peut être complétée: grâce au test d’admission, l’école sélectionne les meilleurs éléments, qui

ont une plus grande probabilité de réussir l’examen d’Etat, ce qui a pour effet d’augmenter le taux de

réussite aux examens d’Etat de l’école, ce qui lui procure une meilleure réputation et donc un afflux encore

plus important d’élèves, etc. Un élément pervers de ce cercle vertueux d’afflux d’étudiants pour les écoles

soutenues est la discrimination des enfants les moins doués.



Retard-Absence-Abandon (‘désertion’)

Hypothèse

Grâce au projet, l’attraction pour les filières soutenues a augmenté dans les écoles appuyées, pour gérer l’afflux de nouveaux élèves. Ces écoles ont dû organiser des tests d’admission. Les élèves qui y sont entrés sont donc plus motivés que les élèves des autres écoles. Nous devrions donc observer une fréquence des retards, absences et abandons moins importante dans les écoles soutenues que dans les écoles témoins.

Constat

Le projet n’a pas d’impact sur la motivation des élèves à arriver à l’heure, à manquer moins souvent la classe ou à moins abandonner leurs études. Ces comportements trouvent leur origine ailleurs que dans la qualité de la formation ou dans l’intérêt qu’ils ont pour leurs études. C’est un problème structurel : l’enseignement coûte cher, l’école est loin, les transports sont onéreux, les familles sont pauvres, les tentations d’arrêter nombreuses (problèmes des fille-mère, peu d’opportunité d’emploi…), etc.

Une fois encore la probabilité d’observer un effet sur la motivation des apprenants est quasi nulle dans la mesure où l’hypothèse de l’effet d’attraction n’a pas été confirmée. Cependant, il est intéressant de mieux comprendre les facteurs affectant la motivation des apprenants en poursuivant l’analyse des indicateurs construits à partir des entretiens avec les préfets, directeurs d’études, élèves et anciens élèves des écoles visitées (autrement appelés les bénéficiaires). 61

(1) Fréquence des retards et absences non justifiées (Source : entretiens avec les bénéficiaires)

Les préfets des écoles de Chololo, Likunde et Makiso font part de leurs

préoccupations quotidiennes face aux retards importants et répétés des élèves (1/5 des enfants sont fortement en retards tous les jours)62 ainsi qu’à leurs nombreuses absences non justifiées (en moyenne 10% par classe chaque jour). Les filières techniques ne sont pas les seules concernées par ce comportement. La conséquence immédiate est l’échec aux examens d’Etat. Les préfets veulent réellement trouver des solutions car ils sont conscients que le taux de réussite aux examens d’Etat est leur carte de visite.

A Mapendano, ces problèmes existent mais n’ont pas cette envergure. Les sanctions que l’école impose ont, selon la préfète, l’effet désiré et ce depuis longtemps. Remarquons que les sanctions sont pourtant les mêmes que dans les autres établissements : couper l’herbe à la machette ou à la main, convocation des parents (qui ne viennent jamais), retenue, …

(2) Proportion d’abandons entre la 3ème et la 6ème d’une même promotion (Source : entretiens avec les bénéficiaires) et Proportion d’abandons au sein d’une même promotion calculée par la différence entre ceux qui ont réussi en 4ème et ceux inscrits à l’examen d’Etat en 6ème, avant et après projet. (Source : Palmarès des écoles)

A Mapendano, selon les élèves et anciennes élèves, 30% de leurs collègues ont

abandonné entre la 3ème et la 6ème (beaucoup de filles sont tombées enceintes et ont donc été renvoyées) ; en coupe/couture, les abandons atteignent 50% de la promotion. A Likunde, les abandons sont encore plus fréquents : 90% en administration/commerciale et 75% d’abandon en coupe/couture. (Selon les préfets rencontrés à Kinshasa, le taux d’abandon était de l’ordre de 30-40%).

61 Une source d’information intéressante aurait pu être le carnet de présence par classe et par filière dans

chaque école. Cela n’a aps été fait faute de temps mais à postériori, ce genre de collecte d’information

n’aurait rien apporter de plus, car il n’y a pas d’effet!

62 « Lorsque la sonnerie retentit les enfants sont dans la rue et ils ne viennent pas »


Les proportions d’abandon dans une même promotion avant et après projet

présentés dans la figure 6 montrent une nette diminution du taux d’abandon pour les deux filières soutenues dans le lycée de Mapendano entre une promotion ayant étudié avant le projet et une autre ayant étudié après. Sur cette même figure, on observe également une augmentation de ce taux dans l’établissement de Likunde entre ces deux mêmes périodes. On aurait donc tendance à attribuer cette diminution d’abandons au projet, cependant rien n’indique que cette différence est provoquée par le projet. En effet, les causes des abandons se résument par ordre décroissant d’importance à un manque de moyens pour poursuivre sa scolarité, le fait d’être enceinte, l’échec et le manque de motivation/la dévalorisation des études techniques63. Or, le projet n’a pas eu d’effet sur l’une ou l’autre de ces causes. De plus, selon la préfète, les taux d’abandons sont très variables selon les promotions (ce que les autres préfets confirment), elle ne voit pas en quoi et comment le projet aurait pu influencer le taux d’abandon.64

Figure 7 : Comparaison du taux d’abandon en administration/commerciale et coupe/couture, entre deux écoles (cible et témoin), avant et après projet pour

une même promotion au sein d’une même école.

Accueil d’élèves d’autres écoles pour cours pratiques

Hypothèse

Les écoles soutenues par le projet AETP2, étant mieux dotées en équipements que les autres écoles de la ville, offrent la possibilité d’accueillir des élèves des autres écoles pour les cours pratiques et/ou le passage des examens d’Etat.

Constat

Le projet n’a pas eu d’impact sur la fréquentation des élèves provenant d’autres écoles moins dotées en équipement dans les ateliers réhabilités par le projet.

(1) L’école est-elle un centre d’examen d’Etat ? (Source : entretien avec préfet)

Les écoles soutenues sont des centres de passage d’examen d’Etat depuis de longues

années car elles étaient déjà équipées du matériel nécessaire pour passer ces épreuves. Le projet n’a en rien modifié ce statut, ni le flux d’élèves venant passer leurs examens dans ces établissements. Notons également que le complexe éducatif Likunde, école témoin, est également un centre officiel de passage d’examen d’Etat.

63 Cette dernière cause semble plus fréquente pour les étudiantes de la filière coupe/couture, souvent

réputées pour être les moins intelligentes.

64 Sur base d’un échantillon représentatif d’écoles soutenues et témoins, il serait possible de tester les

méthodes de simple et double différence en contrôlant pour les facteurs ayant également une influence sur

le taux d’abandon, afin de vérifier si même après l’ajout de tous ces contrôles, une différence persistait. Si

ce que la préfète raconte est vrai, cette différence devrait disparaître après l’ajout des contrôles appropriés.

Si cette différence persistait de façon significative, alors la différence serait l’impact qui pourrait être

attribué au projet.

0%

10%

20%

30%

40%

50%

60%

70%

MAPENDANOAdmin/comm

LIKUNDEAdmin/comm

MAPENDANOcoupe/couture

LIKUNDEcoupe/couture

abandon PRE-projet (mêmecohorte, entre 03-04 et 05-06)

abandon POST-projet (mêmecohorte, entre09-10 et 11-12)



(2) Fréquence de l’accueil d’élèves ou de classes d’autres écoles (Source : entretien

avec préfet)

Il aurait été intéressant de consulter la liste (si elle existe) de l’utilisation du matériel par d’autres classes que celles des écoles soutenues. Cela n’a pas été fait, faute de temps. Cependant, ce thème a été abordé lors des entretiens avec les préfets des écoles.

Les écoles soutenues accueillent des élèves ou des classes entières d’élèves d’autres écoles pour les cours pratiques. Cette habitude date d’avant le projet AETP2 et la fréquence n’a pas significativement augmenté suite au projet. L’institut technique de Chololo accueille deux à trois fois par an des classes dans ses ateliers de mécanique auto, construction, et d’électricité (cette dernière filière n’a pas reçu d’appui du projet). Le lycée de Mapendano accueille trois fois par semaine des élèves pour l’utilisation des machines à écrire mécaniques, et occasionnellement pour l’utilisation des machines à coudre. Likunde ouvre également ses portes aux étrangers mais uniquement à des élèves, pas à des classes entières.

L’accueil d’élèves étrangers dans les ateliers équipés pose deux problèmes. Le

premier problème est le respect du matériel. On note d’ailleurs une certaine réticence chez les chefs d’ateliers à prêter leur équipement à des étrangers souvent peu disciplinés et mal supervisés (vols et casses fréquents). Le second problème est le coût que cela représente pour les élèves ‘invités’ (avec le risque de causer des discriminations entre élèves d’une même classe)65. Ces frais ne sont pas compris dans la prime de motivation des parents.

5.4.2 Amélioration de la qualité de l’enseignement

Un effet attendu du projet est l’amélioration de la qualité de l’enseignement technique dans les filières appuyées. Deux analyses sont proposées : (i) analyser les facteurs qui définissent la qualité de l’enseignement, tels le matériel utilisé et les conditions d’utilisation, la qualification des enseignants, et le programme suivi ; et (ii) analyser l’effet du projet sur le taux de réussite des apprenants aux examens d’Etat.

Matériel, Enseignants, Programme

Hypothèse

Le projet apporte un matériel en adéquation avec le marché de l’emploi, de bonne qualité, qui fonctionne, et qui est utilisé dans des bonnes conditions (ateliers réhabilités, manuels disponibles…). Les enseignants, formés à la bonne utilisation du nouveau matériel, sont capables de transmettre des compétences techniques aux élèves. Les professeurs font des visites d’entreprises avec les élèves et les envoient en stages. Ces écoles sont donc en mesure d’offrir une réelle formation pratique en adéquation avec le marché de l’emploi (dans les filières soutenues) afin que les élèves acquièrent des compétences techniques qu’ils peuvent ensuite valoriser sur le marché de l’emploi.

Constat

L’analyse des données collectées dans le cadre de l’étude de cas à Kisangani, ne permet pas de confirmer l’hypothèse. Le projet a néanmoins permis de prolonger la capacité de l’école appuyée à dispenser l’ensemble des cours pratiques. En coupe/couture, les élèves de l’école appuyée utilisent, à de rares occasions, des équipements plus modernes que l’école témoin. Dans cette même filière, le projet a eu un effet éphémère sur la qualité de l’enseignement grâce aux consommables et outils didactiques disponibles les 3 années ayant suivi l’appui.

65 Chaque élève doit payer 500FC pour 45 minutes de pratique. Il doit ajouter à cette somme, le coût du

transport et certainement quelques sous pour le professeur (on ne nous l’a pas dit, mais c’est tout à fait

imaginable).


Les divers éléments influençant l’acquisition de compétences techniques par les

apprenants (et donc la qualité de l’enseignement) ont été regroupés sous une même hypothèse afin d’éviter des répétitions car ces facteurs sont interconnectés. Dans la section ‘atteinte des réalisations’ ci-dessus, nous avons montré que le matériel livré lorsqu’il est fonctionnel et utilisé, est souvent sous-utilisé ; et que le personnel enseignant des écoles visitées n’a pas reçu les formations pour les nouveaux équipements. De plus, ce projet n’avait pas pour objectif la réforme des programmes, il serait donc hâtif de conclure que le projet n’a pas eu d’impact sur la qualité de l’enseignement. Cependant, dans un souci de bonne compréhension des enjeux liés à la qualité de l’enseignement, plusieurs indicateurs liés à la qualité seront analysés : l’utilisation réelle du matériel pédagogique, les conditions d’apprentissage dans les ateliers, l’accès aux manuels et aux programmes, le niveau de qualification et la stabilité des enseignants des options techniques, et finalement les opportunités de contacts avec le monde professionnel (stages et visites en entreprises).

(1) Utilisation réelle du matériel : - Nombre d’heures de cours pratiques en 6ème technique/nombre de manipulations techniques en classe (Source : entretien avec professeurs et élèves) ; - Taux d’utilisation du matériel technique et type d’équipement (Source : chef d’atelier)

Pour la filière ‘administration/commerciale’ : à Mapendano, les élèves parlent d’une fois 45 minutes par semaine de cours sur les machines à écrire mécanique (3 apprenants par machine); à Likunde, ils parlent de deux fois 45 minutes (1 apprenant par machine). Les enseignants interrogés confient que le nombre d’heures de pratique est tout à fait insuffisant pour former correctement les élèves. L’utilisation des ordinateurs ne fait pas partie du programme tant à Mapendano qu’à Likunde. Ils ont un cours théorique d’informatique, les élèves ont donc vu un ordinateur mais n’en ont jamais utilisé dans le cadre de leur formation. Les 9 ordinateurs de Mapendano –fournis par le projet– sont à disposition des élèves et des professeurs en dehors des heures de cours contre paiement pour l’utilisation. La salle informatique est également ouverte au public. L’école de Likunde dispose d’un ordinateur qui sert uniquement au préfet et à son administration.

En coupe/couture, la pratique l’emporte sur la théorie. Les élèves ont en moyenne 15

heures en atelier par semaine à Mapendano. Les élèves de Likunde n’ont que 6 heures à l’école car elles suivent certains cours hors de l’école faute de matériel adéquat, comme par exemple le cours de coupe industrielle. Même si le nombre d’heures de pratique est important, les professeurs et les élèves interrogés soulèvent deux obstacles à l’acquisition de compétence. Tout d’abord, ils évoquent le manque de moyens financiers des élèves qui éprouvent des difficultés à acheter les consommables nécessaires aux exercices demandés en classe (30% des élèves expriment ne pas avoir les moyens d’acheter les consommables qui coûtent en moyenne 20US$ par mois)66. Les élèves évoluent donc à des vitesses différentes, empêchant les professeurs d’arriver au bout du programme. Ensuite, ils soulèvent le problème de l’agencement des heures de cours. Les périodes, même de 1h30 sont trop courtes pour un cours en atelier. Ils perdent beaucoup de temps à déballer puis ranger les matériels afin de respecter les horaires qui leur sont imposés.

Malgré le fait que les élèves des deux écoles considérées ci-dessus utilisent le même type de machine et font face aux mêmes genres de problèmes d’utilisation, l’école traitée, le LT de Mapendano, est mieux équipée que l’école témoin, le CE de Likunde, spécialement en petit matériel basique (ciseaux, fer à repasser, modèles, mètre ruban, planche de coupe…). Mapendano dispose, en effet, de tout le matériel nécessaire pour dispenser l’ensemble des cours pratiques. Ce qui n’est pas le cas à

66 Le projet avait donné divers consommables, tissus, papier pour patron, aiguilles, etc. Les professeurs

confient que ce problème avait, grâce à l’appui, disparu pendant deux-trois années.



Likunde, où les élèves sont contraints de suivre quelques cours pratiques à l’extérieur de l’établissement scolaire. Les filles en coupe/couture de Mapendano ont également la chance, lorsqu’il y a du courant d’utiliser le fer à repasser à vapeur et les machines à coudre semi-industrielles (quelques fois par an, pour les filles en 5ème et 6ème). Ces derniers constats sont incontestablement des effets du projet : les équipements anciens ont été renouvelés, et du matériel plus moderne a été livré, permettant à cette école de prolonger sa capacité à enseigner les manipulations techniques en son sein et d’offrir à de rares occasions la manipulation d’outils modernes. De plus, notons que même si aujourd’hui, les consommables (matière d’œuvre) livrés par le projet sont épuisés et si les outils pédagogiques ont disparu, ces outils livrés par le projet ont permis à cette école d’améliorer la qualité de l’enseignement spécialement en coupe/couture pendant les 2-3 années qui ont suivi l’appui.

Une dernière remarque concernant le travail à domicile mérite d’être formulée. Pour acquérir des compétences, l’enfant doit pratiquer à l’école mais également s’exercer à la maison. Les enseignants confient qu’il est impensable de demander des devoirs pratiques à la maison. Les enfants ne disposent pas de matériel chez eux et n’ont pas les moyens d’en louer. Une solution serait de permettre aux enfants de rester quelques après-midis par semaine dans les ateliers de l’école, mais se pose alors la question de la supervision et du financement du salaire du surveillant.

(2) Conditions d’apprentissage (Source : entretiens avec préfet, professeurs et élèves) :

- Nombre d’élèves par classe en 6ème ; - Nombre d’élèves par machine en 6ème technique dans les filières soutenues

Aussi bien dans le lycée de Mapendano que dans celui de Likunde, il n’existe qu’une

classe de 6ème coupe/couture et qu’une classe de 6ème administration/commerciale (le constat est identique avant et après le projet). Par contre, les élèves de 6ème technique sont 3 à 6 fois plus nombreux dans une classe de Mapendano (Maximum 40 élèves par classe) qu’à Likunde où le nombre d’élèves n’a pas évolué pendant la période du projet. Les classes sont identiquement équipées en bancs et tableaux noirs dans les deux écoles mais elles sont plus spacieuses à Mapendano.

Les cours pratiques ne se donnent pas en sous-groupes pour les filières coupe/couture et administration/commerciale. Les élèves de coupe/couture sont peu nombreuses. Même si certaines machines sont défectueuses, elles sont quasiment tout le temps seules sur les machines manuelles (à Mapendano seules 9 machines sur plus de 20 fonctionnent ; à Likunde seules 5 machines sur 20 fonctionnent). Ceci se vérifie avant et après l’appui, tant à Mapendano, qu’à Likunde. Par ailleurs, autant la préfète que les professeurs ou les élèves de Mapendano se plaignent du manque de place dans les ateliers de coupe/couture et ce surtout depuis l’appui de la CTB en 2008 et d’un politicien en 2010. En effet, l’école dispose de beaucoup de machines non utilisées (1 brodeuse, 5 machines industrielles, 7 machines semi-industrielles, plus une quinzaine de machines manuelles qui ne fonctionnent plus) qui sont entreposées dans tous les coins.

Selon les élèves interrogés de la filière administration/commerciale, ils sont en moyenne 3 par machine à écrire en 2012-2013. C’est une classe de 24, cela veut donc dire qu’il y a en moyenne 8 à 10 machines à écrire qui fonctionnent. Si l’on se base sur les chiffres collectés (en 2005-06 et 2011-12), le nombre moyen d’élèves par machine est similaire entre ces deux périodes (minimum 3 par machine). Cela voudrait dire que le nombre de machines livrées n’a pas suffit à diminuer le nombre d’utilisateurs par machine. Ceci s’explique par deux phénomènes : (i) le nombre d’étudiants en 6ème a un peu augmenté entre ces deux périodes (de 33 à 40 élèves); et (ii) le nombre de machines qui fonctionnent est similaire entre ces deux périodes, en moyenne 10 machines (sur 12 disponibles) fonctionnent (avec des problèmes de


ruban).67 Notons que si les 10 machines à écrire électriques livrées par le projet étaient utilisées, cela réduirait en partie la pression sur les anciennes machines. 68

Une dernière remarque mérite d’être faite concernant la réhabilitation électrique des bâtiments. Comme soulevé précédemment, cette réhabilitation était nécessaire pour l’utilisation d’équipement électrique. Mais selon les observations de la mission, cela n’a pas eu d’effet significatif sur les conditions d’apprentissage dans les ateliers car ces équipements sont peu ou pas utilisés par manque de courant ou de savoir-faire des enseignants. De plus, l’état des prises de l’atelier de mécanique à Chololo, bien que réhabilité, laisse vraiment à désirer. Elles sont même dangereuses pour les utilisateurs69.

(3) Accès aux manuels pour les élèves / accès aux programmes scolaires et matériel didactique pour les professeurs (Source : entretiens avec préfet, professeurs et élèves)

Le projet a réhabilité un local de documentation. Comme expliqué dans la section

‘atteinte des réalisations’ ci-dessus, les élèves de Mapendano ont en théorie accès aux manuels mais en pratique, elles n’en font pas usage. Elles utilisent les notes de cours ou les leçons qu’elles recopient du tableau. Elles ne paient pas de syllabus aux professeurs. Le projet a bien livré des manuels mais n’a pas eu d’effet sur l’accès aux manuels pour les élèves. A Likunde, il n’y a pas de bibliothèque. Les élèves se procurent les notes de cours chez les professeurs car le coût est entre 10 et 15US$ par trimestre (les professeurs utilisent ce moyen pour compléter leur salaire car ils ne reçoivent pas de complément de salaire du préfet. Certains ne sont même pas payés par l’Etat car ils n’ont pas encore de matricule -cf. Supra).

Les professeurs de Mapendano utilisent en 6ème année, le programme de 2005. Tout récemment les professeurs de coupe/couture ont été formés au nouveau programme qui prône la pédagogie de l’approche par compétences (l’APC est introduit en 3ème année depuis cette année)70. L’école leur fournit le programme et les informe des évolutions. L’école a toujours fonctionné comme cela. L’école Likunde n’applique pas la même politique. L’école ne fournit ni programme, ni informations concernant leur

67 Les anciennes élèves de Mapendano interrogées, (elles furent témoins de l’appui) confient que les nouvelles

machines ont très bien fonctionnée au tout début, mais assez vite elles ont eu des problèmes de ruban ou

de touche.

68 Rappelons ici que les machines à écrire mécanique sont donc utilisées moins d’une douzaine d’heures par

semaine (4 classes de admin/commerciale, à raison de max 2h par semaine + 3heures par des élèves

venant de l’extérieur). Les machines à écrire électriques ne sont pas (ou très peu) utilisées par manque de

courant et de savoir-faire de l’enseignant (cf. Section ‘atteinte de résultats’ pour plus de détails sur les

causes de non- ou sous utilisation des équipements).

69 Il est difficile de comprendre comment ils ne font pas appel au chef d’atelier en électricité pour pallier ce

problème… “nous allons le faire” répondent-ils…

70 Les professeurs de coupe/couture initiés à l’APC expriment des inquiétudes quant à la mise en pratique de

cette nouvelle pédagogie. Elles trouvent la nouvelle approche plus intéressante et adéquate avec l’exercice

d’un métier technique que la pédagogie par objectifs utilisée aujourd’hui. Cependant, ils disent avoir besoin

de formation pour être en mesure d’enseigner sur les machines modernes, il leur faut du courant et une

machine électrique par élève sinon leurs élèves échoueront à l’examen pratique. L’enseignante de la filière

administration/commerciale n’a pas encore suivi de formation sur l’APC, mais a les mêmes préoccupations:

elle ne sait pas utiliser les machines à écrire électrique, ni les ordinateurs, comment pourrait-elle donc

enseigner cette pratique à ses élèves? De plus, sans courant et avec 10 machines à écrire électriques, pour

30 à 40 apprenants, en deux heures de cours pratique par semaine, comment parviendront-ils à acquérir

de réelles compétences techniques?



évolution. Les professeurs s’en plaignent71. Ils enseignent des matières qui ne sont plus tout d’actualité.72 Par exemple le programme de comptabilité nationale date de 1995. Il en existe un nouveau de 2010 qui coûte 15 US$ mais les professeurs n’ont pas les moyens de l’acheter, ni d’investir du temps dans un nouveau cours.

Concernant le matériel didactique, l’école de Likunde n’en dispose pas. A Mapendano, les professeurs de coupe/couture nous parlent d’outils pédagogiques reçus par le projet, tels des modèles, des échantillons de divers types de tissu, etc. Malheureusement, ils n’ont duré que 3 ans après le projet car ils ont été utilisés dans les divers travaux de couture réalisés ou ont été perdus (volés ?). L’enseignante d’administration/commerciale ne relève aucun outil pédagogique reçu dans le cadre du projet.

(4) Niveau de qualification des enseignants (Source : Palmarès des écoles, entretiens avec professeurs):

- type de diplôme et d’expériences pratiques ; - nombre de formations et recyclages auxquels ils ont participé

Sur papier, il n’existe pas de différence significative en termes de niveau de

qualification des professeurs entre les écoles appuyées et les écoles témoins, avant et après l’appui. Les professeurs interrogés disent avoir également une expérience pratique dans leur domaine (ils disent l’avoir acquise en travaillant ou pendant leur formation). Rappelons que le niveau du diplôme est une chose, les compétences et aptitudes à enseigner en est une autre. Cela est d’autant plus vrai en RDC où l’on est engagé grâce à ses relations et peu pour ses compétences, et où tout diplôme s’achète…

Il est frappant de constater qu’aucun des professeurs interrogés, présent dans l’école au moment de l’appui, n’a suivi les trois journées d’atelier sur l’enseignement technique et professionnel organisé à Kisangani les 20-21-22 septembre 2008 par la direction de l’enseignement technique et formation professionnelle et financé par le projet (les dates de cet atelier sont écrites dans une annexe du rapport d’évaluation final interne). Seules les enseignantes de coupe/couture à Mapendano confient avoir suivi une formation à la nouvelle approche pédagogique en 2011-2012 (financée par AETFP). Aucun autre professeur interrogé n’a suivi de remise à niveau ou formation depuis sa prise de fonction (ils ont une moyenne d’âge de 42 ans). Les professeurs de Mapendano regrettent de ne pas avoir reçu les formations annoncées sur les nouveaux équipements acquis par le projet. Les élèves soulèvent d’ailleurs le fait que le professeur de sténo/dactylo ne sait pas utiliser les machines à écrire électriques et qu’une enseignante de coupe/couture éprouve des difficultés à leur apprendre à coudre avec une machine à coudre électrique. A part cela, les élèves et la direction apprécient la qualité du travail des professeurs tant à Mapendano qu’à Likunde.

A Chololo, la situation semble légèrement différente. Le préfet se plaint du travail peu professionnel réalisé par certains professeurs, trop âgés et mal formés à leur métier et donc incapables de transmettre la matière aux enfants. Il ajoute que même s’ils avaient reçu la formation prévue dans le projet, rien n’aurait changé tant les lacunes sont importantes. Faute de temps, ni les professeurs, ni les élèves et ni les anciens élèves, n’ont été interrogés. Il n’est donc pas possible d’étayer ce commentaire.

Le projet n’a donc pas aidé à améliorer la qualification des enseignants dans les

écoles visitées à Kisangani. Toutefois, dans certains établissements appuyés de Kinshasa ou Lubumbashi, la réalité semble différente : certains professeurs ont reçu

71 Ils n’avaient pas entendu parler de l’APC… l’idée leur a paru intéressante mais impossible à mettre en

pratique dans leur école.

72 C’est une des raisons qui explique le taux de réussite peu élevé en administration/commerciale dans cette

école.


une formation sur les nouveaux équipements dans le cadre du projet AETP2. Cependant, les effets de la formation sont mitigés.73 D’une part, les enseignants formés par le projet rencontrés à Kinshasa se disent satisfaits et en mesure de transmettre ce qu’ils ont appris. Mais ces derniers restent en demande de formations supplémentaires et de recyclages pour mieux maîtriser les techniques modernes. D’autre part, plusieurs cas de ‘désertions’ des professeurs formés sur des équipements modernes ont été observés (par exemple les automates industriels au Katanga,…). Les enseignants maitrisant ces techniques de pointe se sont faits engagés dans le privé, sans prendre le temps de former leurs collègues. Les élèves n’en ont retiré aucun bénéfice.

(5) Stabilité/présence des enseignants dans l’établissement scolaire (Source : entretiens avec préfets et professeurs)

Selon les entretiens réalisés avec les différentes personnes ressources au sein des écoles cibles et témoins, les préfets, les élèves et les anciens élèves s’accordent pour dire que les professeurs sont rarement absents. Cela semblait également le cas avant le projet. Le cumul des AGR des enseignants et la conséquence sur leur taux de présence en classe est pourtant un problème bien connu en RDC, encore faut-il qu’ils aient des opportunités d’emploi hors de l’école…

Afin d’arrondir leurs fins de mois, les professeurs rencontrés (à Mapendano et à

Likunde) essaient tous de trouver une autre AGR, mais seulement 1 sur 10 a une autre activité régulière. Sur base de l’entretien réalisé avec les directeurs pédagogiques et techniques des études de Chololo, la réalité de leur école est tout autre : tous les enseignants sont des ‘cumulards’, expression locale qui signifie qu’ils ont au moins une autre AGR à côté de l’enseignement. Cette différence entre Mapendano et Chololo pourrait en partie s’expliquer par une différence en terme de genre (il est sans doute plus complexe pour une femme de cumuler des AGR avec la famille -pour rappel, les professeurs rencontrés à Mapendano sont des femmes-) mais aussi en terme de type d’activité et de marché de l’emploi local. Il existe peut-être plus d’opportunité pour un maçon ou un mécanicien à Kisangani que pour une secrétaire ou une couturière.

Deux éléments semblent aussi influencer la présence/stabilité des professeurs au sein d’une école. Tout d’abord, les règle imposées par la direction de l’école : les préfets des quatre écoles visitées ont mis en place les bons incitants pour encourager leurs enseignants à être présents à leurs cours (tout en comprenant leur nécessité de chercher d’autres AGR). A Mapendano, Makiso et Chololo, le complément de salaire est retenu en cas d’absence trop fréquente ; à Likunde, il promet une prime à ceux qui sont présents (car il ne donne pas de complément de salaire). Finalement, le complément de salaire payé aux professeurs semble un élément important pour les motiver à rester dans un établissement et à bien préparer les enfants aux examens d’Etat74. En effet, les professeurs de Likunde sont prêts à partir à la première occasion qui se présente, alors que ceux de Mapendano, ont envie de rester dans leur école.

73 Informations reçues des assistants techniques du projet AETP2 et du projet actuel; et témoignages

recueillis lors de la mission exploratoire à Kinshasa.

74 Pour rappel, le complément de salaire provient de la prime de motivation payée par les parents, et donc du

nombre d’élèves inscrits qui paient cette prime. Etant donné que le taux de réussite à l’examen d’Etat

influence le nombre d’inscriptions, la capacité des enseignants à bien préparer les élèves à l’examen d’Etat,

et donc la qualité de leur enseignement ont une influence sur leur salaire. Les enseignants rencontrés à

Mapendano en sont bien conscients.



(6) Contact avec le monde professionnel (Source : entretiens avec préfets,

professeurs et élèves): - Nombre de visite d’entreprises réalisées avec l’école en 5ème et 6ème technique ; - Nombre d’étudiants ayant réalisé un stage en entreprise durant ces humanités

Comme mentionné plus haut, cette dimension du projet n’a pas été concrétisée pour diverses raisons (cf. Supra, Q3 ‘atteinte des réalisations’). Chololo est la seule école visitée qui organise des visites, en moyenne 5 sur la durée de la formation. C’est également la seule qui dit envoyer la majorité de ses élèves en stage. Comme nous n’avons pas parlé avec les élèves, ils n’ont pas pu nous confirmer cette information. Par contre, selon le préfet, ces pratiques (stages et visites) préexistaient au projet. A Mapendano, aucune visite d’entreprise ou d’atelier n’a eu lieu. Les élèves de coupe/couture n’ont même jamais visité l’atelier de couture du couvent des sœurs franciscaines où sont confectionnés les uniformes (l’atelier se situe juste à côté de l’école). Seulement trois anciennes élèves de Mapendano, sur les 17 rencontrées ont fait un stage durant leurs études : elles ont eu ce stage grâce aux relations de leurs parents. La directrice dit qu’ils ont essayé de placer leurs élèves en stage et de planifier des visites, mais les entreprises n’ont jamais considéré leurs demandes.

Taux de réussite

Hypothèse

Si la qualité de l’enseignement s’améliore, le taux de réussite dans les filières soutenues s’améliore.

Constat

Il n’existe aucun effet attribuable au projet sur le taux de réussite aux examens d’Etat.

Avant même d’analyser les indicateurs, la probabilité de mettre en évidence un impact du projet sur le taux de réussite est quasi inexistante. En effet, nous avons démontré que le projet n’a pas d’impact sur le nombre d’effectifs et il existe une forte corrélation entre le taux de réussite et le nombre d’élèves dans les écoles. Cela se vérifie dans les statistiques des écoles visitées, on observe une corrélation positive entre le nombre d’effectifs et le taux de réussite. Les moyennes calculées sur les deux dernières années (2010-11 et 2011-12) montrent que Mapendano et Chololo accueillent 8 fois plus d’élèves que Likunde et Makiso et présentent un taux de réussite à l’examen d’Etat toutes filières techniques confondues75 plus élevé de 25%.76 De plus, étant donné que les écoles sélectionnées pour le projet sont des écoles qui jouissaient déjà d’une bonne réputation, donc d’un bon taux de réussite, il ne reste pas beaucoup de marge d’amélioration.

(1) Taux de réussite en 6ème technique de toutes les filières dans les écoles cibles, et

dans les écoles témoins ; avant et après l’appui. (Source : palmarès des écoles)

Le projet avait pour objectif d’avoir un effet sur la partie technique de la formation, or l’enseignement technique en RDC n’en a souvent que le nom. Entendons par là, que même si l’on forme des techniciens, dans la majorité des écoles techniques du pays les cours pratiques sont en fait des cours ‘pratique en théorie’, c’est-à-dire sans manipulation de matériel (« on voit la pratique en théorie » disent les professeurs). L’examen d’Etat reflète donc cet aspect : la partie empirique ne pèse pas lourd dans la répartition des points à l’examen. De plus, bien que l’enseignement joue un rôle déterminent dans la formation des élèves et donc dans leur capacité à réussir cette épreuve, les aptitudes intrinsèques des enfants, ainsi que le contexte de l’année scolaire écoulée (grève, troubles politiques, élections, etc) influencent également ce taux de réussite. Et finalement, il semble que les taux de réussite soient parfois (souvent) manipulés au niveau politique. Sur base des arguments cités ci-dessus, la

75 Makiso n’est pas considéré dans le calcul du taux de réussite car l’école n’a encore jamais sorti de diplômé

76 Si l’on observe les statistiques nationales, cette corrélation apparait aussi. Nous pourrions la mesurer.


probabilité que le projet ait eu un quelconque impact positif ou négatif sur le taux de réussite est très faible.

Les taux de réussite collectés au niveau des écoles pour les périodes pré- et post-projet sont exposés dans la figure 7, ci-dessous. A première vue, on pourrait conclure que le projet a eu un effet négatif sur le taux de réussite : les taux de réussite des deux filières étudiées post-projet sont inférieurs à ceux de la période pré-projet à Mapendano (école appuyée) alors qu’ils n’ont pas changé à Likunde (école témoin). Mais aucun argument permettant de faire le lien entre le projet et le taux de réussite n’est disponible. En effet, il est difficile d’établir une corrélation entre la présence d’équipement dans une école (sans même parler d’adéquation du matériel entre la formation et l’emploi) et le taux de réussite aux examens d’Etat. Bien que l’école Mapendano soit plus équipée que Likunde, le fait qu’elle présente des taux de réussite plus élevés est, selon les observations de la mission, majoritairement expliqué par d’autres facteurs que la présence d’équipement.77

Figure 8 : Taux de réussite en 6ème pour les filières (a) administration/ commerciale et (b) coupe/couture, dans une école cible (Mapendano) et une

école témoin (Likunde), avant et après le projet AETP2.

(a) ADMINISTRATION/COMMERCIALE

(b) COUPE/COUTURE

(2) Points obtenus aux examens d’Etat. (Non collectés)

Il avait été envisagé de collecter les résultats individuels des élèves aux examens car

même si les taux de réussite n’évoluent pas, on pourrait observer une évolution des points obtenus aux examens. Cependant, cet indicateur a été abandonné car (i) suite aux différents constats, la probabilité de trouver un effet était très faible ; et (ii) pour

77 En guise d’illustration, citons simplement les propos d’une personne congolaise éduquée de Kinshasa,

connaissant très bien le projet AETP2, ainsi que le fonctionnement du système éducatif dans son pays : “Je

préfèrerais envoyer mes enfants dans une école technique soutenue politiquement, qu’une école bien

équipée, afin de maximiser leurs chances d’obtenir leur diplôme d’Etat”

0%

20%

40%

60%

80%

Mapendano Likunde

tx de réussite 6ème Pre-projet

tx de réussite 6ème Post-projet

0%

10%

20%

30%

40%

50%

60%

70%

MAPENDANOAdmin/comm

LIKUNDEAdmin/comm

MAPENDANOcoupe/couture

LIKUNDEcoupe/couture

abandon PRE-projet (mêmecohorte, entre 03-04 et 05-06)

abandon POST-projet (mêmecohorte, entre09-10 et 11-12)



que cela soit pertinent, il aurait fallu contrôler les aptitudes intellectuelles des élèves et autres variables afin d’isoler l’effet du projet.

5.4.3 Capacité d’autofinancement des établissements

Hypothèse

L’accès à un matériel moderne et de qualité, accompagné d’une formation pour leur utilisation donne la possibilité aux écoles d’offrir des services à l’extérieur contre rémunération. Cela produit potentiellement trois effets.

(i) L’argent gagné peut être utilisé de multiples façons, entre autres acheter des consommables, diminuer la prime de motivation des parents, augmenter le complément de salaire du personnel, offrir des ‘kit de démarrage’ aux élèves sortant afin de les aider à lancer leur propre affaire, etc.

(ii) Les professeurs des matières techniques qui supervisent les services rendus à

l’extérieur, génèrent un revenu sans être contraints de chercher d’autres opportunités d’emploi hors de l’école. Ces revenus les stabilisent au sein de l’établissement et les motivent à ne pas cumuler plusieurs autres activités qui pourraient nuire à la qualité de leur enseignement.

(iii) Les élèves peuvent être engagés pour répondre aux demandes de l’extérieur. Ces demandes les motivent à apprendre et leur permet d’avoir une expérience concrète de travail, qu’ils pourront ensuite valoriser sur le marché de l’emploi.

Constat

L’étude de cas ne constate qu’un effet extrêmement marginal du projet sur la capacité d’autofinancement des écoles. Cependant, cet effet est peut-être sous-évalué, compte tenu du fait que des expériences positives existent dans les écoles AETP2 non visitées. Sur base des informations reçues et non vérifiées, l’effet serait alors surtout observé au niveau de la capacité des professeurs à générer des revenus à des fins privées grâce à l’utilisation du matériel des écoles en dehors des heures de cours.

Une condition préalable indépendante du projet est nécessaire à l’apparition de cet impact. Pour qu’il existe une demande de service venant de l’extérieur, il faut que la population détienne un certain pouvoir d’achat. En d’autres termes, la zone où est implanté l’école doit présenter un certain niveau de développement économique ce qui n’est pas implicite en RDC et loin d’être vérifiée pour toutes les écoles sélectionnées dans le cadre du projet AETP2.

(1) Nombre d’activités génératrices de revenus (AGR) existantes au sein des établissements visitées (Source : entretien avec préfets, professeurs/chefs d’atelier, élèves)

A Mapendano, aucune activité génératrice de revenu n’est identifiée dans la filière de

coupe/couture. Les professeurs de cette option semblent motivés mais il manque, selon eux, une volonté de la direction car l’ouverture d’un atelier au sein de l’école créerait de la concurrence à l’atelier du couvent des sœurs. Cet atelier confectionne, entre autres, les uniformes pour le lycée (un des premiers travaux qu’un atelier interne à l’école pourrait réaliser). Relevons que les enseignants rencontrés n’ont pas eu de discussion à propos de la création d’AGR lors de l’intervention. Par contre, les ordinateurs reçus ont permis à l’école d’ouvrir un genre de « cyber café ». Malheureusement, il est peu fréquenté à cause des coupures de courant trop fréquentes en journée. Selon la direction de l’école, les sommes d’argent gagnées sont tellement peu importantes que ces rentrées n’apparaissent même plus dans le budget prévisionnel de l’école. L’école a également une rentrée d’argent grâce à la location des machines à écrire mécaniques à des élèves d’autres écoles. Cela rapporte en moyenne 15 US$ par semaine. Même si cette activité préexistait au projet, le projet a permis de pérenniser cette activité.


Le chef d’atelier de mécanique auto de l’institut de Chololo mentionne qu’ils font

parfois des entretiens de véhicules privés avec les élèves (deux/trois fois par année). La fréquence de ces services n’a pas augmenté depuis l’appui. Il explique cette faible fréquence d’offre de service à l’extérieur par l’existence de deux problèmes qui sont, en fait, liés : le manque de confiance de la population par rapport à la qualité du service rendu et le manque de professionnalisme des enseignants. Cela concerne principalement les plus âgés et ceux qui ont été engagés par « relations » sans tenir compte de leurs réelles compétences. Selon les dires du préfet : « l’école n’est pas, dans l’état actuel des choses, en mesure d’offrir un service de qualité à des privés ». Nous n’avons pas trouvé d’activité génératrice de revenu à Likunde ou à Makiso.

Le projet n’a donc pas eu d’impact significatif sur la création d’AGR au sein des écoles visitées. Dans certaines écoles appuyées des autres provinces, il a été mentionné que le projet a participé à la création d’AGR mais cela n’a pas été évalué dans le cadre de la mission. Sur base des expériences des écoles de Kinshasa (AETP1), certains aspects organisationnels n’ont pas suffisamment été anticipés, donnant lieu à des dérives : la priorité donnée à l’AGR sur l’apprentissage, le détournement des revenus par des individus au détriment de l’école et l’usure plus rapide des équipements. Il est donc essentiel de créer les bons incitants pour amener chaque acteur à travailler en priorité pour l’école.

(2) Evolution de la prime de motivation des parents sur les deux périodes (Pré- et Post-projet)/ évolution du complément des salaires des professeurs (Source : entretien avec préfets)

Dans la mesure où il n’a pas été constaté d’activités génératrices de revenus

susceptibles de réduire les primes à charge des parents, il n’existe pas de lien entre l’évolution du montant de cette prime et le projet. D’ailleurs, le coût de l’éducation à charge des parents ne cesse d’augmenter d’année en année78, même dans les écoles qui sont parvenues à générer des revenus (expériences de Kinshasa).

(3) Fréquence d’achats de consommables par l’établissement / offre de ‘kit de démarrage’ aux diplômés (Source : entretien avec préfets)

Toutes les écoles, tant cibles que témoins, manquent de moyens pour acheter les consommables nécessaires aux manipulations techniques. Etant donné le peu d’AGR, ces consommables, lorsqu’ils sont achetés, sont payés avec l’argent des primes de motivation des parents. Aucune école visitée n’a les moyens d’offrir un ‘kit de démarrage’, même aux lauréats. Le projet n’a donc pas créé d’incitant auprès de la direction des écoles pour acheter plus de consommables ou récompenser les meilleurs élèves.

(4) Type d’activités menées par les professeurs en dehors de l’enseignement au sein

de l’école (Source : entretien avec professeurs)

Les professeurs interrogés sont à la recherche d’AGR. Seul un professeur sur les dix rencontrés a une AGR hors de l’école. Ils sont demandeurs pour générer des activités complémentaires au sein des écoles mais la mise en pratique semble poser plusieurs problèmes déjà évoqués ci-dessus.

A Kinshasa, les professeurs techniques rencontrés étaient très satisfaits des revenus qu’ils arrivaient à générer au sein de l’école en dehors des heures de cours depuis le projet (AETP1). Ils confient que cela a pour effet de les stabiliser au sein de l’école. Nous n’avons pas rencontré de cas similaire dans les écoles AETP2 visitées mais ces cas ne sont pas à exclure. Le projet a donc pu avoir un effet sur la capacité des professeurs à générer des revenus personnels grâce aux équipements acquis par

78 La prime a doublé en 10 ans, elle était de l’ordre de 40 US$ au début du projet AETP2 ; elle était de

65US$+10US$ d’uniforme en 2010-2011, et est de 80US$+15US$ d’uniforme en 2012-13, à Mapendano



l’école. Notons que la personnalité des préfets, et des professeurs peut avoir une forte influence sur la création d’AGR au sein d’un établissement.

(5) Type d’activités génératrices de revenus faites par les élèves durant leur formation (Source : entretien avec élèves et anciens élèves)

Aucun jeune interrogé ne mentionne avoir participé à une AGR au sein de son école. Par contre, 40% d’entre eux ont une AGR pendant leur scolarité. Ces activités ont rarement un lien avec leurs études (taxi-vélo, vente de sucré devant la maison, vente de cartes de téléphone, etc.) sauf pour les filles de la filière coupe/couture quand elles ont la chance d’avoir une machine à la maison (celles n’ayant pas de machine à la maison souhaiteraient utiliser les machines de l’école pendant les après-midis mais ce n’est pas permis).


5.4.4 Effet sur l’emploi/l’employabilité des jeunes

Hypothèse

Les élèves formés dans une école appuyée développent de réelles compétences techniques en adéquation avec le marché de l’emploi pendant leurs années d’étude. Ces élèves connaissent donc une insertion professionnelle plus aisée, et/ou ont les capacités de générer des revenus tout en poursuivant des études supérieures.

Constat

Cinq années après le projet, aucun effet sur l’emploi n’est observé et ceci n’est pas étonnant. En effet, le projet n’a pas modifié les préférences des élèves à poursuivre des études supérieures après l’obtention de leur diplôme d’Etat : une grande majorité continue à étudier. Pour ceux qui cherchent un emploi, l’appui n’ayant eu d’effet ni sur la réputation de l’école, ni sur les compétences techniques acquises, ni sur le marché de l’emploi, la probabilité de trouver un emploi pour un élève sortant d’une école cible est la même que pour un élève sortant d’une école non appuyée.

Un des objectifs du projet était d’offrir de bons techniciens sur le marché pour reconstruire le pays. Evidemment, il ne suffit pas d’être un bon technicien pour trouver un travail en RDC. Avant d’analyser les indicateurs pour tester cette dernière hypothèse, il est utile de mentionner quelques constats (trois sur l’emploi en RDC, un sur les aspirations des jeunes congolais et un dernier sur la situation de l’emploi dans la province orientale).

(i) Toutes les personnes interrogées s’accordent à dire qu’en RDC « avoir des relations »

est une condition nécessaire pour trouver un emploi. La formation est souvent secondaire. De plus, à la nécessité d’avoir de bonnes relations s’ajoute la condition de se soumettre à son patron, spécialement en ce qui concerne les femmes. Citons simplement ici les propos d’une ancienne élève : « si tu ne couches pas, tu n’as pas le job » (ses propos ont été acquiescés par la totalité des filles dans la classe).

(ii) Pour prétendre à un emploi, il faut encore qu’il y ait un marché de l’emploi relativement développé. Cette condition n’est pas implicite. Les témoignages sont parlants : « Il n’y a pas d’emploi, ici » ; « Je ne suis pas payé en tant qu’enseignant car je n’ai pas mon matricule, et l’école ne donne pas de complément de salaire, or je reste, car je ne trouve rien ailleurs, ici j’arrive à vendre quelques heures de cours particuliers, quelques notes de cours… » ; « A Kisangani ! Le marché de l’emploi ! Faut même pas y penser » ; « On est dans l’enseignement, car il n’y a pas d’autres opportunités », « il y a trop peu d’entreprises qui vont bien à Kisangani ; pour trouver un emploi, on devra partir ailleurs, mais on ne sait pas encore où, car on nous dit que la situation n’est pas meilleure dans le reste du pays », « il n’y a pas d’emploi ici à Kisangani, même si vous avez un diplôme, il ne sert à rien sans avoir les relations » ; « vous pouvez interroger les TOLEKA (taxi-vélo), vous verrez que la majorité d’entre eux sont licenciés », etc. Même si ces propos ont été recueillis à Kisangani, ils auraient certainement pu être entendus dans d’autres régions du pays.

(iii) L’enseignement technique forme des jeunes aux métiers manuels. Il est donc logique de penser qu’une partie d’entre eux s’établiront à leur propre compte, ce qui est appelé communément « l’auto-emploi ». Ceci n’est pas non plus le cas. En effet, pour créer sa propre entreprise, il faut procéder à 19 enregistrements auprès de divers ministères et bureaux qui demandent, bien entendu, de payer quelque chose. Les propos d’une personne interrogée illustre bien le climat peu incitatif à l’investissement : « A peine, tu as accroché une affiche indiquant ta nouvelle activité sur ta porte, que des messieurs en costume font la file devant chez toi pour te rappeler que tu n’as pas payé la taxe ceci ou la taxe cela. Il n’est pas évident de savoir si ce sont des taxes légales ou pas -les lois sont mal écrites- alors tu paies ou tu arrêtes ton activité avant même de l’avoir réellement commencée ». Les propos du préfet de l’école Marie-Antoinette (une école visitée pour conforter le choix de Likunde comme contrefactuel) illustre également ce climat peu encourageant à créer son affaire : « L’école avait réussi à mettre sur pied un atelier de coupe/couture qui fonctionnait bien, et engageait plusieurs élèves et



anciennes élèves. Après quelques mois d’activité, nous avons fermé, découragés par le nombre de taxes à payer qui n’en finissait pas ».79

(iv) Le parcours éducatif d’un congolais n’est pas linéaire, il est sinueux, sans fin et, il mélange emplois divers avec formations multiples. Le « mythe des diplômes » existe. Cette dimension est importante pour comprendre l’organisation du système éducatif congolais et les liens existants avec le milieu professionnel. Les élèves qui réussissent leur examen d’Etat ont l’ambition de poursuivre des études supérieures. Ils veulent accumuler des diplômes dans l’espoir d’accroître leur chance de trouver un emploi, d’être payés correctement et d’évoluer sur l’échelle socio-économique (« gagner la considération »). Ceux qui n’ont pas les moyens ou les capacités intellectuelles de poursuivre des études supérieures de type long, choisissent une formation de type court ou commencent par travailler dans l’objectif de mettre de l’argent de côté pour poursuivre leur formation quelques années plus tard. Cette pratique est courante, les jeunes travaillent et étudient en alternance. Il est par ailleurs certain que la poursuite des études est conditionnée par l’offre d’étude supérieure dans la région et par leur capacité à se déplacer dans le pays.

(v) Le taux d’activité dans la province Orientale est plus élevé que la moyenne nationale, 71.2% et 60.2% respectivement. Ceci s’explique par une plus grande insertion des enfants et jeunes sur le marché du travail (le taux d’activité des enfants –entre 10 et 14 ans– est de 12.8% contre 9.0% pour le pays ; le taux d’activité des jeunes –de 15 à 24 ans– y est de 56% contre 44.2% pour le pays). Le chômage est nettement plus faible dans cette province (1.6%) qu’au niveau national (3.7%), même s’il touche en priorité les jeunes (2.3%) et le milieu urbain (10.6%). Bien que ces chiffres soient intéressants dans la mesure où ils montrent que la situation de l’emploi est a priori meilleure dans la province orientale qu’en moyenne dans le reste du pays, ils n’en sont pas moins que des moyennes. De plus, avant de conclure sur la validité des chiffres annoncés (PNUD, 2011), il convient de vérifier comment ces indicateurs ont été construits (sur base de quel type de données). Finalement, si ces chiffres sont réels, les constats de l’analyse proposés ci-dessous ne peuvent qu’être extrapolés à l’ensemble des autres provinces où se situent les écoles soutenues par le projet, à l’exception sans doute de la province du Katanga. Cette dernière connait un développement plus rapide qu’ailleurs.

(1) Annuaire des anciens (Source : entretien avec préfets des écoles)

Comme constaté dans le rapport d’évaluation finale interne, aucune des écoles visitées n’a constitué un annuaire des anciens, outil trop compliqué à mettre en place. Ils n’ont pas les ressources nécessaires pour le faire.

(2) Présence d’une unité formation-emploi (Source : entretien avec préfets des

écoles)

Aucune des écoles cibles visitées n’a mis en place une unité formation-emploi. Et aucun membre du personnel interrogé n’a participé aux journées de formation organisées sur ce thème par le ministère de EPSP à Kisangani du 21 au 27 mai 2008 (dates trouvées dans le rapport d’évaluation finale interne).

(3) Type d’activité après les humanités techniques : études supérieures et/ou recherche d’emploi (Source : entretiens avec élèves, anciens élèves et professeurs)

Le choix de faire des humanités techniques au lieu des humanités générales est, pour

la plupart des apprenants, un choix délibéré, même si leur objectif est ensuite de poursuivre des études supérieures. L’avantage des humanités techniques est pour

79 Une autre personne éduquée nous confie que selon ses observations, les congolais ne paient pas leurs

taxes, même s’ils sont cencés le faire. Et le gouvernement ne réclament pas cet argent, car sinon le peuple

serait en mesure de réglamer plus de biens publiques, ce qui n’arrange pas le gouvernement… par contre le

gouvernement taxe tant et plus les étrangers.


eux l’acquisition d’un premier diplôme qu’ils pourront valoriser sur le marché de l’emploi après ou pendant leurs études supérieures. Les personnes interrogées souhaitent poursuivre des études afin d’améliorer leur formation, continuer à apprendre et ainsi maximiser leurs chances de trouver un emploi et donc avoir un revenu.

Le tableau 19 montre que sur les 17 anciennes élèves de la filière administration/commerciale (diplômées en juin 2011) rencontrées, toutes poursuivent des études. De plus, elles affirment que les 15 autres filles de leur promotion qui ne sont pas venues pour l’entretien font également des études supérieures. Les professeurs et préfets interrogés confirment que selon les contacts qu’ils ont encore avec certains anciens élèves, la majorité d’entre eux poursuivent des études supérieures. Seules deux élèves (de coupe et couture) sur les 38 jeunes rencontrés feront le choix de commencer à travailler après leurs humanités techniques, 4 commenceront par travailler faute de moyen pour pouvoir continuer à étudier. Ce tableau révèle également que la majorité des élèves poursuivront des études supérieures dans le domaine de la filière choisie en humanité. Le tableau n’indique pas de différence majeure entre les écoles (hormis le nombre d’élèves).

Tableau 19 : Choix de filières en humanité et choix d’activités après les études secondaires

Administration/commerciale Coupe/couture

Diplômés

Mapendano

en juin

2011

Elèves

Mapendano en

6ème tech

Elèves Likunde

en 6ème tech

Elèves

Mapendano

en 6ème tech

Elèves

Likunde en

6ème tech

% d’élèves

dont la

filière est

leur 1er

choix

95%

(16/17)

70%

(17/24)

100%

(1/1)

90%

(9/10)

100%

(3/3)

% d’élèves

poursuivant

des études

supérieures

100%

(17/17)

87.5%

(21/24)

100%

(1/1)

80%

(8/10)

66%

(2/3)

Après les

humanités ?

14 éco/

gestion

4 droit€

15 éco/gestion

4 droit

1 sc. Politique

1 médecine

3 travailleront

faute d’argent

1 ISPA à Kin

5 ISAM à Kin

ou à Lumb

1 droit

1 médecine

1 éco/gestion

1 travaillera

faute d’argent

1 travaillera

par envie

1 ISAM à Kin

1 droit

1 travaillera

car a envie



5.4.5 Effets sur les thèmes transversaux

Le genre

Hypothèse

La communication autour du projet attache une attention particulière à la dimension ‘genre’. Elle a pour effet d’inciter plus de filles à entreprendre des études techniques et professionnelles.

Constat

A Kisangani, nous ne pouvons pas confirmer que le projet ait eu un impact sur l’incitation des filles à entreprendre des études techniques.

Bien que le rapport d’identification mentionne le thème du genre, on ne trouve aucune

activité relative au genre dans la logique d’intervention résumée dans le cadre logique. Ce n’est que plus tard que des activités axées sur le genre y ont été ajoutées. Il était prévu

- une sensibilisation des filles à l’enseignement technique et professionnel lors des interventions dans les médias ;

- les conseillers en orientations scolaire et les responsables des unités formation-emploi (UFE) étaient censés valoriser le placement des filles tant à l’école que dans le monde professionnel ;

- le matériel didactique et les documentations mis à la disposition dans les centres de documentation devaient être neutres et dépourvus de stéréotypes sexistes ;

- les ateliers réhabilités devaient disposer d’un minimum de structures pour accueillir les filles (par exemple des toilettes pour femmes).

Lors des entretiens, la dimension genre ne semble pas avoir eu la place escomptée :

- aucune personne n’a confirmé avoir entendu une communication relative à l’ETP axée

sur la dimension genre ; - au sein des écoles visitées, il n’existe pas de conseillers en orientation, ni d’UFE; - le matériel didactique et les documentations sont sans doute démunis de stéréotypes

sexistes. Cependant le matériel didactique à en grande partie disparu, et les manuels ne sont pas consultés ;

- concernant les facilités sanitaires pour les filles, les deux préfets des écoles réhabilités dans le cadre du projet (et certaines étudiantes également) se sont plaints de l’état désastreux des blocs sanitaires (aucune réhabilitation n’a été faite sur ces locaux par le projet).

Pour tester l’hypothèse, l’indicateur adéquat est la proportion de filles inscrites dans chaque filière avant/après projet. Malheureusement, pour cette étude, ils n’existent pas de données chiffrées comparables pour tester cette hypothèse. En effet, le LT de Mapendano est une école de filles et la comparaison des effectifs avant/après projet (cf. Supra : Figure 5 (a)), infirme cette hypothèse. Même si l’établissement scolaire de Likunde est mixte, la comparaison des effectifs féminins entre cette école et Mapendano n’a pas de raison d’être.80 (pour information : les classes d’administration/commerciale à Likunde sont constituées à 79% de filles pour l’année scolaire 2005-06, ce chiffre descend à 59% pour l’année scolaire 2011-12.).

Concernant la mixité des filières à l’institut technique de Chololo, elle est très faible, même pas 1% de filles pour la filière construction avant (2 filles sur 355 élèves en 2005-06) ou après (6 filles sur 485 élèves en 2011-12) le projet. La filière mécanique auto compte, en 2011-12, 4% de filles. La comparaison avec la période avant-projet n’est pas pertinente car cette filière a remplacé la filière auto-diésel, soutenue par le projet (à titre

80 Il est intéressant de constater que seules des filles choisissent la filière coupe/couture dans les écoles

techniques, alors que sur le marché, on retrouve une proportion importante d’hommes couturiers

(observation faite sur le marché de Kisangani, qui peut être généralisée pour l’ensemble du pays).


d’information, auto-diésel ne comptait aucune fille -0%- en 2005-06, c’est-à-dire avant le projet). Il est toutefois utile de soulever que même avec une très bonne communication, les filières dans le domaine du bâtiment et de la mécanique ne sont pas les plus à mêmes d’attirer une population féminine.

Le problème de l’accès à l’éducation pour les filles est bien plus complexe qu’un problème de communication. Il existe des préjugés culturels ou traditionnels (il est préférable d’éduquer un garçon car les filles partent dans la famille de leur mari, une fille ne peut pas faire tel ou tel métier, elle ne peut pas partir/rentrer seule, problèmes de filles-mères, mariages précoces,…), des obstacles pratiques (absence de toilettes séparées pour les filles dans les écoles), etc. Le projet n’a pas, eu des effets sur l’une ou l’autre de ces dimensions, l’effet sur le genre n’avait donc que peu de chance de se produire.

L’environnement

Le DTF fait mention, dans la formulation du projet, de plusieurs mesures pour favoriser le respect de l’environnement comme :

- l’introduction de cours théoriques en bonne gestion de matières toxiques ainsi que

des exercices pratiques en techniques de recyclage ; - la cellule de gestion du projet devait veiller à ce que des poubelles bien visibles

soient installées dans les différents établissements ; - promotion d’une utilisation judicieuse de l’énergie existante et si possible utiliser des

énergies alternatives comme l’énergie solaire ou encore hydroélectrique.

Le rapport final ne donne aucune indication sur ces activités. De même, aucune prise en compte de la dimension environnementale ne fut observée lors des visites dans les écoles. Aucun préfet, enseignant ou élève ne confirme l’existence d’activité pour promouvoir l’environnement en lien avec le projet.

5.4.6 Conclusion sur l’appréciation des « outcomes »

Le tableau 20 récapitule les effets du projet AETP2 sur les bénéficiaires directs tels qu’identifiés par l’étude de cas à Kisangani.

L’exercice démontre que le projet AETP2 n’a eu aucun effet significatif dans les écoles

appuyées de Kisangani, tant sur la qualité de l’enseignement, que sur les effectifs, la capacité d’autofinancement des établissements scolaires ou encore l’employabilité des jeunes diplômés. L’obtention très partielle des « outputs », imputable à la mise en œuvre du projet, explique en partie cette conclusion. Cependant, le mode de fonctionnement du système de l’éducation en RDC, ainsi que celui de l’aide belge dans ce secteur est, selon les évaluateurs, en majeure partie responsable du manque d’effet. Fondamentalement, c’est la conception même du projet et sa pertinence qui sont remis en cause. Les constats traduisent une connaissance superficielle du secteur. Il est bien évidement complexe de mettre en œuvre une intervention de ce type dans le contexte spécifique du Congo. La question qu’il convient donc de se poser est celle de la pertinence d’une intervention de ce type dans un tel contexte. De plus, le suivi du projet pose également question, il s’agissait d’une gestion orientée sur les moyens mis en œuvre et non sur les objectifs poursuivis.

Il existe de fortes raisons de penser que ces constats ne sont pas propres à la ville de Kisangani car le contexte institutionnel dans lequel le projet s’insère est propre au pays tout entier. La mise en œuvre et le mode de suivi évaluation de la CTB sont identiques dans toutes les provinces. Ceci implique que même si l’obtention des « outputs » est



meilleure dans certaines écoles81, les effets sur les bénéficiaires ne sont certainement pas plus importants ailleurs (sauf peut-être quelques exceptions liées principalement à la personnalité des acteurs).

Tableau 20 : Récapitulatif des « outcomes » du projet AETP2

Effets POSITIFS pas/peu

significatifs et pas toujours

attribuables au projet

Effets POSITIFS mais NON

DURABLES Effets NEGATIFS

(a) Augmentation des effectifs

dans la filière construction mais

doute sur l’attribution de l’effet

au projet

(b) Meilleure qualité de la

formation grâce à :

- l’utilisation (peu fréquente) de

certains matériels électriques

modernes en coupe/couture à

Mapendano (fer à repasser et

machine semi-industrielles)

- prolongation de la capacité à

enseigner l’ensemble des cours

pratiques au sein de l’école grâce

au renouvellement du matériel

ancien et la livraison de petits

outils

_________________________

« Outcomes » possibles identifiés

dans des établissements non

visités:

- Amélioration de la qualité de la

formation lorsque les professeurs

ont reçu la formation sur le

nouveau matériel et que le

matériel est utilisable

- Génération de revenus pour

certains professeurs/chefs atelier

sur le matériel livré (et emploi de

certains élèves pour offrir des

services à l’extérieur)

(a) Amélioration éphémère

de qualité de la formation

grâce à :

- l’accès à du matériel

didactique (aujourd’hui

disparu)

- des consommables

(aujourd’hui épuisés)

- des machines neuves

(aujourd’hui défectueuses)

______________________

« Outcomes » possibles

identifiés dans des

établissements non visités:

- Amélioration de la qualité

de la formation grâce à la

formation de certains

professeurs (ils ont ensuite

rejoint le privé)

(a) Conditions d’utilisation du

matériel à cause :

- de la chaleur dans l’atelier de

mécanique de Chololo (retrait

de l’isolation lors de la

réhabilitation)

- du manque de place dans les

ateliers de coupe/couture à

Mapendano (à cause des

nombreuses machines non

utilisées entreposées dans les

classes)

_____________________

« Outcomes » possibles

identifiés dans des

établissements non visités:

- diminution des heures de

pratique à cause du non-

respect des périodes

d’exercices pratiques en faveur

de la réalisation de services

pour l’extérieur

5.4.5 Contribution du projet à l’impact global

Etant donné les manquements en termes d’« outputs » et d’« outcomes », il ne peut y avoir d’effet du projet AETP2 à un niveau plus global sur l’amélioration de la qualité de l’ETP en RDC. Par ailleurs, même si l’ensemble des effets sur les bénéficiaires avaient été observés dans l’ensemble des établissements scolaires soutenus, la contribution du projet à l’amélioration de la qualité de l’ETP aurait été marginale, étant donné le petit nombre d’écoles soutenues (moins de 2.5% des écoles pour le projet AETP2 et moins de 5% si l’on considère les deux premiers projets).

Cependant, il apparait que le projet ou plus exactement l’ensemble des projets belges relatifs à l’ETP a contribué à l’évolution des mentalités et au regard porté sur l’ETP dans

81 Dans 7 écoles sur les 21 appuyées par le projet AETP2, les équipements furent livrés en 2007, la probabilité

que les professeurs aient reçu les formations sur le matériel livré est donc plus grande que dans les 14

autres, dont celles visitées à Kisangani, qui ont reçu la grande partie du matériel à la fin du projet en 2008

(et ce matériel n’a parfois été monté que deux ou trois années après).


le pays. Certains acteurs interrogés (dont les membres de la Commission interministérielle) estiment que les leçons apprises des interventions successives ont été capitalisées et appropriées par la majorité des acteurs et décideurs sectoriels. La continuité de l’action, les échanges liés à la préparation et à la mise en œuvre des projets et leur ancrage au sein du ministère ont incontestablement contribué, au moins indirectement, à orienter les réflexions stratégiques sur l’ETP. Bien que des doutes subsistent quant à l’appropriation des leçons par les autorités nationales (cf. Infra), il est fort probable que le projet AETP2 ait influencé le contenu de la politique sectorielle élaborée en 2010, « Stratégie de développement du sous-secteur de l’enseignement primaire, secondaire et professionnel -2010/1016- », ou le contenu du « Plan intermédiaire de l’éducation -2012/2014- » (2012). Ces deux documents furent, en effet, en grande partie, réalisées par le projet AETFP, on peut donc imaginer qu’ils se soient inspirés des leçons tirées des deux premiers projets (AETP 1 & 2).

De plus, il semblerait qu’aujourd’hui, les décideurs sectoriels soient de plus en plus préoccupés par l’adéquation entre la formation et l’emploi (un objectif poursuivi par le projet AETP2). Ils prônent des changements tant dans l’offre de formation (réforme des curricula, nouvelle pédagogie,…) que sur le marché de l’emploi aussi bien formel qu’informel. Certains membres de la Commission interministérielle prennent des initiatives originales en matière de promotion de l’emploi des jeunes formés. Ainsi, la Division urbaine de la jeunesse de la ville de Kinshasa, pratique le « coaching » des jeunes formés dans l’enseignement professionnel en les encadrant pendant deux années et les « immunisant » de toutes taxes formelles ou informelles durant cette période. (Il serait intéressant de vérifier cette information sur le terrain, auprès des bénéficiaires). Les acteurs des différents secteurs tentent de rétablir un climat de confiance entre le secteur privé et le secteur public. Cependant, dans un contexte de gouvernance prédatrice, il n’est pas évident de rétablir une confiance réciproque permettant d’identifier les besoins en formation des employeurs du secteur privé (formels et informels). Ce secteur se bat déjà au quotidien pour sa survie.

En résumé, il ressort que l’ensemble des interventions belge dans le secteur a contribué au moins indirectement aux prémices de l’amélioration de l’ETP en RDC à 3 niveaux :

o influence sur le contenu des documents stratégiques du sous-secteur de

l’ETP, o prise de conscience de l’importance de ce sous-secteur dans le pays, et o contribution à un processus de dialogue sectoriel (emploi/formation).

Il convient toutefois de rappeler que l’élaboration d’une stratégie et la prise de conscience sont nécessaires mais pas suffisantes pour améliorer la situation de l’ETP sur le terrain.



5.5 Durabilité – Q5

Q5 : Dans quelle mesure les effets du projet ont-ils une chance d’être durables dans le temps?

Cette question vise à évaluer la durabilité des « outcomes » et de l’impact : comment et en quoi cet aspect fut traité de la conception jusqu’à la mise en œuvre et la clôture du projet. Il s’agit donc d’identifier le degré de consultation, d’implication, d’appropriation des bénéficiaires et du partenaire.

Encadré 10 : Résumé de la réponse à la Q5 (Durabilité)

Étant donné que le projet n’a pas eu d’impact significatif la question de la durabilité est peu pertinente. Pourtant, les mesures pour assurer la durabilité du projet ont globalement bien été prises en compte lors de la conception.

Il était prévu :

(i) un ancrage du projet au sein du Ministère de l’EPSP ; (ii) une sélection des écoles bénéficiaires en tenant compte de leur capacité à

préserver les acquis du projet ; (iii) la conception d’une stratégie participative de mise en œuvre ; (iv) la mise en place d’activités d’autofinancement ; (v) l’introduction de nouvelles technologies pour permettre aux professeurs de

mettre à jour leurs cours.

A l’exception de la sélection des écoles qui a effectivement été réalisée en choisissant les écoles qui offraient les meilleurs garanties de durabilité des investissements, toutes les autres mesures n’ont pas pu être mises en œuvre ou n’ont pas abouti.

Par ailleurs, certaines mesures n’étaient pas durables sans la réussite d’autres

activités : par exemple la livraison de consommables est liée à la création d’activités génératrices de revenus au sein des écoles. L’activité n’est pas durable car les stocks n’ont pas pu être renouvelés.

Si l’on s’accorde à dire qu’il existe un effet au niveau institutionnel, de par l’existence même de projets belges depuis plus de 10 ans dans le secteur de l’ETP, l’appropriation et la mise en œuvre de la politique sectorielle soulève des questions.

Finalement, les effets d’une intervention dans ce secteur ne pourront pas être durables tant que le sous-financement de l’ETP subsiste dans le pays.

Étant donné l’absence d’atteinte des « outcomes » et d’impact (cf. Supra), il est bien

difficile de parler de durabilité du projet, bien que des éléments propices à la durabilité aient été intégrés dès la conception. Le projet était administré par une Cellule de Gestion du Projet (CGP) dont l’ancrage au sein du Ministère de EPSP à Kinshasa était prévu de manière « à valoriser au maximum l’impact du projet et d’en assurer la pérennité. »82 En pratique, la participation du Ministère a surtout été active dans le choix des écoles. Pour le reste, la mise en œuvre du projet AETP2 est restée une intervention très autonome sans liens fréquents avec le partenaire. Aucune mesure n’a été prise pour préparer le partenaire à l’après-projet. Par contre, plusieurs mesures au niveau de la conception du projet et du choix des activités ont été prises pour inscrire le projet dans la durée.

(i) La sélection des écoles bénéficiaires selon des critères en lien avec la durabilité. Comme cela a été démontré dans la réponse à la question 3, la sélection des écoles

82 DTF, p.8.


menée avec l’appui de la cellule du Ministère a été pertinente. Les écoles choisies étaient bien gérées et avaient la capacité d’accueillir (et d’abriter) les équipements.

(ii) La mise en place d’une stratégie participative des réhabilitations. Le projet prévoyait de former les chefs d’ateliers à la maintenance des locaux et des équipements en les associant à la réhabilitation des locaux (avec les élèves) et à l’installation des machines. En ce qui concerne la réhabilitation des locaux de documentation, la même approche était prévue avec la formation de deux gestionnaires. L’activité qui consistait à faire exécuter certains travaux de réhabilitation par les élèves et leurs encadreurs pendant les vacances scolaires n’a en pratique que très peu été mise en œuvre (cf. Supra). Plusieurs raisons sont évoquées, la difficulté pratique de mettre en œuvre cette approche avec le bureau de la CTB basé à Kinshasa, le manque de motivation des écoles, l’intérêt des décideurs à privilégier des entreprises locales (des connaissances…). Ce point mériterait d’être approfondi dans la mesure où il s’agissait, à priori, d’une idée intéressante.

(iii) La mise en place d’activités d’autofinancement. Le DTF précise que les activités d’autofinancement mises en place devaient permettre aux écoles appuyées par le projet de générer des fonds leur permettant « d’assurer la maintenance et le renouvellement des équipements, donc d’assurer la durabilité des investissements faits par l’intervention. »83 Comme nous l’avons montré dans la réponse de la question 3, le projet n’a pas atteint les résultats attendus en termes de capacité d’autofinancement.

(iv) L’introduction de nouvelles technologies, comme l’installation d’ordinateurs avec,

dans la mesure du possible, des connexions Internet, pour permettre aux professeurs de renouveler leurs cours et de se tenir au courant de l’évolution de leur discipline. Lors des visites dans les écoles et des entretiens avec les bénéficiaires, ce point apparaît comme totalement déconnecté de la réalité congolaise, de l’état désastreux des infrastructures socio-économiques (accès à l’électricité,…) et de la motivation des professeurs mal payés.

Qu’en est-il de la collaboration, consultation et appropriation du projet par le partenaire ?

Force est de constater la faible collaboration et le peu d’échanges concrets avec le partenaire sur la durée du projet. Même si le partenaire a collaboré pour l’identification des écoles à soutenir et pour l’organisation de formations/ateliers financés dans le cadre du projet (rapport d’évaluation finale interne, 2008), les assistants techniques du projet ont choisi d’atteindre eux-mêmes les bénéficiaires sans passer par la structures politiques afin de minimiser les risques de détournement d’équipement, et de faciliter la mise en œuvre, étant donné la fragilité des structures administratives.84

Il est plus que probable que les leçons apprises du projet AETP2 aient influencé le

contenu de la politique sectorielle. Cependant, un doute majeur persiste quant à l’appropriation de cet outil par le gouvernement actuel et sur l’opérationnalité de ces documents. En effet, selon les informations collectées sur le terrain, les ministres congolais interrogés en charge de ces dossiers sont à peine au courant du contenu de ces documents qui constituent normalement la ligne politique à suivre dans ce domaine pour les années à venir.85 Par ailleurs, il fut constaté que cette politique sectorielle n’est en rien contraignante ou aidante à la mise en place de projets d’appui à l’ETP, si l’on en

83 DTF, p.40.

84 Le projet aurait également financé des voyages d’étude à certains dirigeants qui n’auraient jamais remis de rapport de mission ou même entamé des réflexions sur base de leurs observations du terrain ; cela illustre particulièrement la faible collaboration et le faible niveau d’implication des dirigeants nationaux dans ce projet.

85 Il semblerait, selon les dires de personnes interrogées à Kinshasa, qu’une partie de ces documents auraient été signés sans même être lus dans leur intégralité car les passages où il fallait compléter des informations n’avaient pas été remplis.



croit les dires d’une personne du bureau international du travail (BIT) en charge d’un projet au Katanga qui a débuté fin 2012.

Finalement, même si l’adoption d’une stratégie pour le sous-secteur (abstraction faite de l’opérationnalité du document) est un élément positif pour la pérennisation de l’enseignement technique en RDC, le financement de l’éducation reste toujours insuffisant et remet sérieusement en cause toute évolution et tout effet durable d’une quelconque intervention dans ce secteur.

Les auteurs du rapport d’évaluation de la phase 1 et de la pré-identification des phases 2 & 3 (2003) exposaient déjà cette préoccupation en rapport direct avec la durabilité des projets dans ce secteur : « Le fonctionnement même d'une quelconque forme d'enseignement au Congo tient du miracle permanent. Ce miracle prendra fin lorsque les parents des 50% d'enfants qui vont toujours à l'école, soit ne pourront plus, soit ne voudront plus suppléer au rôle fondamental de l'Etat en matière d'éducation ». Les propos du directeur des études d’une école visitée à Kisangani remettent aussi en cause toute durabilité d’un appui dans ce secteur sans un effort plus marqué de la part du gouvernement congolais: « la Belgique appuie le vide car le gouvernement ne fait pas d’efforts pour que le sous-secteur évolue ».

Avant de conclure il est intéressant de relever les propos d’un congolais interrogés à

propos de l’impact et de la durabilité de celui-ci : « il faut être plus exigent vis-à-vis du partenaire et des bénéficiaires, car finalement lorsqu’un projet échoue ou n’atteint pas les objectifs promis à la population, c’est la Belgique qui est montré du doigt, alors que bien souvent, la Belgique a rempli la totalité de ses engagements, ce qui est rarement le cas pour la partie congolaise –j’ai des dizaines d’exemples à vous citer– ».


6. Conclusions

L’objectif de cette étude est d’apprécier l’impact ex post (5 années après la fin de l’intervention) du projet AETP2. Cela implique deux choses :

(1) Bien que le terme, impact, soit couramment utilisé, sa définition est loin d’être sans

équivoque. Ce rapport amorce d’ailleurs une discussion sur l’impact et ses définitions (cf. section 4).

(2) Etant donné le calendrier de ce rapport, 5 années post-intervention, certains pourraient être tentés de croire que les constats sont obsolètes, tellement les choses peuvent avoir changé en 5 ans. Or, ce n’est pas le cas. D’une part, la méthodologie suivie permet d’apprécier dans une certaine mesure l’impact ex post du projet AETP2. D’autre part, elle permet d’expliquer les constats en faisant référence à des éléments contextuels et opérationnels toujours d’actualité. Ces éléments peuvent certes avoir évolué sur papier cependant des changements concrets sur le terrain sont encore attendus.

Conclusion 1

Les analyses menées sur des données quantitatives et qualitatives collectées par le biais d’une étude de cas avec contrefactuel dans une ville de Kisangani n’ont pas mis en évidence d’effet significatif du projet AETP2 sur les bénéficiaires (écoles, professeurs, élèves, diplômés).

Les analyses, menées sur base d’une étude de cas avec contrefactuel dans la ville de

Kisangani, démontrent que le projet AETP2 n’a globalement pas atteint les effets attendus sur les bénéficiaires des écoles visitées pour les filières soutenues (coupe-couture, administration-commerciale, mécanique automobile et construction).

Tout d’abord, les analyses démontrent une obtention très partielle des « outputs » et une sous utilisation de ceux-ci. Les équipements ont été livrés. Les ateliers et les centres de documentation ont été effectivement réhabilités. Cependant, le matériel et les centres de documentation ne sont pas utilisés ou sont sous-utilisés par les bénéficiaires. Les professeurs des écoles soutenues visitées n’ont pas reçu de formation à l’utilisation des nouveaux équipements. Aucune unité de formation-emploi n’a été créée. La sensibilisation aux études techniques et professionnelles semble s’être limitée à une médiatisation très locale au moment de la réception des équipements.

Dans le cadre de l’analyse de l’atteinte des « outcomes » -à savoir, l’augmentation de l’attractivité pour des études techniques et professionnelles, l’amélioration de la qualité de l’enseignement, la création d’activités génératrices de revenus au sein des écoles, et une meilleure employabilité des jeunes diplômés-, les hypothèses sous-jacentes aux liens de causes à effets entre le projet et chaque « outcome » ont été d’abord énumérées et ensuite confrontées aux données quantitatives et qualitatives collectées sur le terrain.

Bien que le projet ait sélectionné deux des meilleures écoles de la ville de Kisangani,

aucun effet significatif durable du projet n’est observé. Aucune augmentation d’effectifs due au projet n’est enregistrée. On note une amélioration éphémère de la qualité de l’enseignement grâce à la consommation des matières d’œuvre livrées dans la filière


coupe/couture mais aucune autre amélioration significative dans la qualité de l’ETP n’est à constater. Par ailleurs, les écoles ne sont pas parvenues à mettre en place des AGR avec les chefs d’ateliers et les élèves. Au final, le projet ne semble avoir eu aucun effet sur l’employabilité des jeunes. Ce dernier constat n’est pas étonnant car le projet n’a pas eu d’effet sur les capacités techniques acquises pendant la formation, ni sur le tissu économique souvent peu développé dans les zones d’intervention, ni sur les préférences des élèves qui choisissent, pour la plupart, de poursuivre des études supérieures ou universitaires une fois qu’ils ont obtenu leur diplôme d’Etat.

Bien que l’intervention cible les filières techniques et professionnelles, nous avons constaté une impopularité des filières professionnelles au sein des écoles sélectionnées pour cette évaluation (cela concerne tant les filières professionnelles soutenues par le projet que les autres). Il semblerait que cela soit, en partie, dû au fait que les élèves sont plus intéressés par l’obtention de l’examen d’Etat en fin de 6ème technique afin d’avoir accès à des études supérieures, que par l’acquisition de compétences professionnelles à faire valoir sur le marché de l’emploi.

Conclusion 2

L’absence d’effets sur les bénéficiaires des écoles de la ville Kisangani est en partie due

aux manquements dans l’obtention des « outputs » et leur utilisation. Mais ce non-effet peut surtout s’expliquer par le contexte socio-politico-économique du pays, par les dysfonctionnements existants au sein de l’enseignement technique et professionnel (ETP), et également par la mauvaise conception et le mode de gestion du projet axée sur les « outputs » et non sur les « outcomes ».

La non-atteinte des effets sur les bénéficiaires de ce projet n’est pas seulement la conséquence du manque d’obtention des « outputs ». Plusieurs autres facteurs ont inhibé les effets: le contexte socio-économico-politique, les dysfonctionnements institutionnels au sein de l’ETP (dont son sous-financement) et la conception86 du projet avec son mode de gestion sur le terrain.

Premièrement, le faible niveau de développement socio-politico-économique du pays a plusieurs conséquences pour ce type de projet :

(i) Un manque d’infrastructures et de moyens de communication rendant

tout déplacement, transferts de matériel et d’argent (voire même d’informations) complexe, couteux et long ;

(ii) Un accès difficile, voire nul, à l’électricité, et aux commodités de base dans les écoles ;

(iii) La difficulté de se procurer des pièces de rechange ou de trouver des personnes qualifiées pour l’entretien et le bon usage des équipements sur les marchés locaux ;

(iv) Des ménages, qui n’ont pas les moyens financiers nécessaires pour inscrire leurs enfants à l’école, sont incapables d’acheter les consommables nécessaires aux travaux pratiques de leurs enfants, ou encore incapables de leur offrir des conditions favorables à l’apprentissage à la maison (pas de temps ou d’espace pour réviser, pas de matériel pour s’exercer) ;

(v) Une demande très limitée d’emplois qualifiés, et donc des débouchés presque inexistants pour des jeunes diplômés de l’ETP tant dans le

86 Le terme ‘conception’ du projet reprend l’identification et la formulation. Etant donné le va-et-vient entre la

DGD et la CTB pour ces deux étapes, il nous semble plus cohérent de les rassembler pour que le propos

s’adresse aux deux structures en même temps.

6. Conclusions


secteur formel qu’informel (où les procédures de recrutement semblent attacher plus d’importance aux bonnes relations qu’aux réelles compétences) ;

(vi) Des entreprises du secteur privé ayant du mal à survivre dans un contexte de gouvernance prédatrice, sont incapables de faire face à la demande de stages des jeunes (trop peu ou mal formés).

Deuxièmement, les dysfonctionnements au sein du système éducatif sont nombreux.

(i) Le sous-financement du secteur a des conséquences sur le prix à payer pour suivre des études. Les parents sont contraints de financer l’école par le biais de la prime de motivation. Cette prime est majoritairement utilisée pour compléter le salaire médiocre des enseignants et pour faire face aux frais de fonctionnement des établissements scolaires (la prime représente jusqu’à 40% des frais scolaires d’un ménage). Cette prime est également taxée par plusieurs niveaux de pouvoir de l’Etat ;

(ii) Les professeurs, mal formés techniquement et sous-payés (ou carrément pas payés s’ils ne sont pas mécanisés), sont contraints de chercher d’autres emplois, avec les conséquences négatives que cela implique sur la qualité de leur enseignement et sur leurs motivations ;

(iii) La dilution des responsabilités au sein des différents organes et ministères en charge de l’ETP a également certaines conséquences : lenteurs administratives, complexité du transfert d’informations de Kinshasa vers les provinces et vice-versa, des procédures longues et peu efficaces de nomination et mécanisation des enseignants ou de licenciement, un manque de supervision par les inspecteurs, pas d’uniformité dans les programmes de cours utilisés par les écoles,…;

(iv) Une réforme des programmes est en cours. Cette réforme, bien que nécessaire suscite des réflexions quant à l’opérationnalité des programmes dans l’ensemble des établissements scolaires techniques et professionnelles, spécialement pour ceux situés en dehors de Kinshasa (manque de moyens techniques, humains et financiers pour dispenser les cours pratiques tels que préconisés par la nouvelle approche pédagogique). Cela pose également la question de l’adaptation des examens d’Etat au contenu des ces nouveaux programmes (et la transparence des corrections), dont la réussite est tant convoitée.

(v) En plus du manque de moyens tant financiers, que techniques et humains, les écoles font face à d’autres problèmes au quotidien, tel l’invasion de personnes extérieures sur leur concession (manque de sécurité foncière), posant le problème de sécurité du matériel et des élèves (vols, vandalisme, viols, prostitution)87 ;

(vi) L’examen d’Etat dans une filière technique est utilisé par les jeunes diplômés comme tremplin vers un enseignement universitaire ou supérieur plutôt que d’être valorisé sur le marché de l’emploi. Les raisons sont vraisemblablement multiples tant du côté de la formation (qualité de l’enseignement, acquisition de réelles compétences techniques en classe, adéquation avec le marché de l’emploi, « mythe des diplômes »), que du marché de l’emploi (peu d’emploi dans le secteur formel, peu d’incitants à créer son activité indépendante à

87 Les préfets confient que même s’ils sont dans le besoin de recevoir un appui technique et pédagogique, ils

font face à divers problèmes quotidiens qui les empêchent souvent d’offrir un enseignement de qualité. Il

s’agit de problèmes d’ordre pratique tels les coupures d’électricité, … mais aussi des problèmes liés à la

sécurité physique et foncière. Par exemple, l’enceinte de la concession de leur école n’est pas ou est

partiellement clôturée, ou encore l’Etat vend des parcelles appartenant à l’école à des privés. Les écoles

sont donc quotidiennement envahies par des étrangers qui squattent et détériorent les locaux de classe, et

les blocs sanitaires, ils détournent les enfants de la scolarité (oisiveté, trafic en tout genre, fille-mère…) , et

causent des accidents (violences sexuelles, accident de voiture, vols de matériel).


cause des taxes -« tracasseries »- à tous les étages, pas de débouchés intéressants sur le marché informel car peu de pouvoir d’achat des ménages…).

Troisièmement, tel que conçu et géré sur le terrain, le projet ne pouvait pas avoir les effets attendus.

D’un côté, certaines activités suggérées et réalisées dans le cadre du projet AETP2 étaient en théorie pertinentes mais en pratique irréalisables ou partiellement réalisables. Elles ne tenaient pas compte des enjeux en amont et en aval ou encore des autres aspects de la formation (motivation des élèves et des professeurs, pédagogie, curricula, contraintes tant de l’offre que de la demande pour l’éducation, marché du travail,…) qui influencent directement la qualité de l’enseignement.

(i) En amont, il existe des enjeux et dysfonctionnements au sein du ministère de

l’EPSP (cf. ci-dessus), il existe aussi des barrières à l’éducation (financières, culturelles,…) ;

(ii) En aval, il existe des enjeux au niveau de l’éducation supérieure (« le mythe des diplômes ») et de réels défis au niveau du marché du travail, et du développement du tissu économique;

(iii) Le projet a surtout privilégié la dimension technique (infrastructures et équipements). Cela n’est qu’un aspect parmi tant d’autres qui contribuent à la qualité d’une formation : les conditions de travail du corps professoral (niveau des salaires, niveau de qualification, stabilité de leur emploi, reconnaissance…), les motivations des élèves (développer de réelles compétences techniques et/ou avoir son diplôme d’Etat ?), le coût des études (et ses conséquences sur le taux d’abandon, sur l’attraction pour l’ETP, sur leur capacité à se procurer des consommables pour participer aux cours pratiques…), les modalités et enjeux de l’examen d’Etat, la vétusté des programmes et la difficulté à mettre en œuvre les programmes réformés, l’accès des écoles à des besoins de base (électricité, eau, hygiène, sécurité), etc.

Lors de la conception du projet AETP2, une analyse approfondie de ces enjeux et des risques remettant en cause l’atteinte des « outcomes » attendus manquait. Ce travail préalable à l’intervention aurait permis de définir des activités en meilleure adéquation avec l’ensemble des réalités complexes du terrain, et de formuler de bons incitants pour que chacun des bénéficiaires aient intérêt à collaborer à l’atteinte des « outcomes »88.

Par ailleurs, nous avons constaté que le mode de gestion n’a pas pu rendre compte des constats réalisés dans le cadre de cette étude. En effet, hormis un suivi des activités mises en œuvre, aucune modalité de gestion axée sur les résultats (« outcomes ») n’a été concrètement mise en œuvre. Bien que des indicateurs pertinents aient été définis dans le dispositif de suivi évaluation, aucune analyse de ces indicateurs, ni même aucune base de données exploitable n’est disponible à la fin de l’intervention. De plus, aucun compte-rendu de réunion de la SMCL ne remet en doute l’atteinte des « outcomes ». Aucun document de suivi et d’évaluation n’analyse les hypothèses sous-jacentes à l’atteinte des effets du projet. Le mode de raisonnement du suivi évaluation adopté par ce projet pourrait se résumer à « vérifier depuis Kinshasa l’état d’avancement des activités, pensant que si les activités sont réalisées, les « outputs » sont implicitement utilisée et procurent implicitement les « outcomes » et impact attendus ». Ce rapport démontre que ces liens de causes à effets sont loin d’être implicites.

88 Les bénéficiaires, au niveau des écoles visitées en province dans le cadre de cette évaluation, regrettent de

ne pas avoir été suffisamment consultés sur leurs besoins et réalités quotidiennes. Ils insistent sur les

différences importantes qu’il existe entre la réalité de Kinshasa et celle des provinces.

6. Conclusions


Conclusion 3

En théorie, les constats faits sur les effets du projet AETP2 dans les écoles de la ville de

Kisangani (étude de cas) ne peuvent pas être généralisés à l’ensemble des écoles soutenues par le projet AETP2. Cependant étant donné la nature des causes identifiées pour expliquer l’absence d’impact significatif (cf. conclusion 2) et leur caractère généralisé, une extrapolation est a posteriori défendable.

Cette étude démontre donc que le projet AETP2 n’a globalement pas eu d’effet significatif sur les bénéficiaires de l’ensemble des écoles soutenues dans le cadre du projet AETP2, moyennant quelques exceptions (« success stories »).

La méthode déployée, à savoir une étude de cas avec contrefactuel dans la ville de Kisangani, est le résultat d’un compromis entre la rigueur d’une analyse quantitative et la profondeur d’une analyse qualitative, entre la complexité du contexte congolais, la spécificité du projet (peu d’écoles soutenues dispersées sur huit provinces) et la « value for money » de cette évaluation (les dépenses pour réaliser une collecte de données de première main n’étaient plus justifiées suite aux constats de la mission exploratoire). Afin d’allier toutes ces contraintes, l’étude de cas avec contrefactuel dans une ville de province relativement accessible paraissait un bon compromis pour mener une analyse de l’impact du projet AETP2.

Dans un premier temps, l’analyse de la chaine des résultats du projet (logique

d’intervention) a permis d’amorcer une réflexion sur la définition de l’impact, et de mettre en évidence certaines incohérences au niveau de la formulation des « outcomes » attendus et de l’impact global recherché par ce type de projet.

Dans un second temps, une collecte d’informations tant qualitatives que quantitatives a été menée sur le terrain auprès d’acteurs clefs et des bénéficiaires directs (écoles, professeurs, élèves et diplômés) de deux écoles soutenues et, auprès de ces mêmes types de personnes dans deux écoles non-retenues par le projet dans la ville de Kisangani.89

A priori, les conclusions d’une telle approche méthodologique ne peuvent pas être généralisées car l’échantillon n’est pas représentatif de l’ensemble des écoles bénéficiaires (21 écoles soutenues réparties sur 8 provinces). De plus, dans ce cas précis, les écoles témoins ne sont que des contrefactuels partiellement convaincants. Ceci étant, la méthode déployée a permis de mettre en évidence des constats relativement différents des conclusions plutôt positives exprimées dans le rapport final du projet. Une extrapolation des constats sur l’impact du projet AETP2 pour l’ensemble des établissements soutenus est a posteriori défendable.

D’une part, les causes identifiées pour la non atteinte des effets au niveau des

bénéficiaires ne sont pas propres à la ville de Kisangani, ni spécifiques aux filières étudiées, ni même aux écoles visitées. Ces causes sont d’ordre contextuel, systémique et institutionnel (cf. Conclusion 2.1).

D’autre part, bien qu’il existe en RDC une relative hétérogénéité entre provinces/régions en termes de développement économique ou disponibilité d’écoles ou de filières, l’ensemble des écoles et filières soutenues dans le cadre du projet AETP2 ont été soumises aux mêmes critères de sélection, se situent dans des zones jouissant d’un développement comparable ou pire que Kisangani. Ces écoles qui sont dans le même environnement institutionnel, ont été appuyées avec les mêmes difficultés liées au

89 Il est toutefois important de noter que quatres autres écoles, deux cibles du projet AETP1 et deux témoins,

furent visitées lors de la mission exploratoire menée à Kinshasa (pour des raisons de sécurité au mois de

novembre 2012). Les constats étaient relativement similaires à ceux réalisés à Kisangani.


contexte et ont été soumises au même dispositif de mise en œuvre et de suivi évaluation.

Il est donc défendable d’extrapoler les conclusions observées par le biais de l’étude de cas à Kisangani à l’ensemble des écoles soutenues dans le cadre du projet AETP2. Ceci n’exclut cependant pas quelques « success stories » pour certaines écoles qui ont un taux d’utilisation plus élevé des équipements, des professeurs ayant bénéficiés d’une formation, et qui ont pu, parfois, générer des revenus.

Conclusion 4

Le projet AETP2 n’a pas eu d’impact en termes d’amélioration de l’enseignement technique et professionnel au niveau du pays.

Assez logiquement, il ne peut y avoir eu un impact au niveau du sous-secteur dans la

mesure où l’obtention des « outputs » est plutôt décevant et qu’il n’y a pas eu d’effets significatifs sur les bénéficiaires.

Par ailleurs, même si le projet avait atteint les effets attendus dans toutes les écoles ciblées par le projet AETP2, l’impact global sur le secteur aurait été très faible. En effet, moins de 5% des écoles du pays soutenues par les projets AETP1&2 est une masse critique insuffisante pour avoir un impact global au niveau du secteur.

Conclusion 5

Les différentes interventions de la coopération gouvernementale belge dans le secteur de l’enseignement technique et professionnel ont contribué, au moins indirectement, à sensibiliser les autorités congolaises à l’importance de ce sous-secteur et ont inspiré la politique sectorielle.

S’il n’y a pas d’impact global, il ressort des entretiens réalisés au niveau des ministères, que l’ensemble des interventions de l’aide bilatérale directe dans ce sous-secteur depuis 2001 (plus ou moins 10 millions d’euros en 10 ans) a contribué et contribue aux prémices de l’amélioration de l’ETP en RDC. Ces projets ont participé à la prise de conscience de l’importance de ce sous-secteur dans le pays, ont influencé le contenu de la stratégie du développement du sous-secteur de l’EPSP, et ont encouragé un processus de dialogue sectoriel (emploi/ formation).

Néanmoins, la contribution du projet AETP2 en tant que tel, sur cet aspect institutionnel n’est pas quantifiable, ni même réellement attribuable, étant donné que la mise en œuvre de ce projet s’est déroulée de façon relativement autonome des autorités nationales. De plus, l’élaboration d’une stratégie sous-sectorielle et une prise de conscience de l’importance de réformer ce sous-secteur sont deux éléments nécessaires mais loin d’être suffisants pour améliorer la situation de l’ETP sur le terrain.90

90 Citations d’une personne interrogée: “Dans mon pays, on applaudit beaucoup, mais rien de change pour

nous…”

6. Conclusions


Conclusion 6

L’analyse des causes de l’absence d’impact du projet AETP2 met en lumière l’existence

d’incitants pervers décourageant fortement tout effet significatif de ce type d’intervention dans l’enseignement technique et professionnel (ETP) en RDC. Plus fondamentalement, ce sont donc les systèmes qui sont remis en cause : le système institutionnel du sous-secteur de l’ETP en RDC, le système et les enjeux de la coopération gouvernementale en RDC dans ce sous-secteur, et celui de la politique de l’évaluation.

Grâce à la collecte d’informations précises et systématiques auprès des bénéficiaires directs et non bénéficiaires de l’intervention, et d’entretiens approfondis avec des acteurs clefs de ce sous-secteur, et de la coopération gouvernementale belge, l’étude met en évidence les incitants pervers existants au sein des systèmes. Ces incitants découragent fortement tout effet significatif possible d’une intervention de ce type dans ce secteur dans ce pays. C’est donc l’ensemble des systèmes qui est remis en question –à savoir, le système institutionnel de l’enseignement technique et professionnel en RDC (et plus largement l’ensemble des institutions du pays), le système de la coopération bilatérale directe en RDC dans l’ETP et ses enjeux tant en interne, qu’au niveau de politique extérieure, et finalement le système de l’évaluation.

Les systèmes méritent certainement une analyse plus approfondie. Néanmoins, cette étude permet déjà de cerner un peu mieux la systémique dans laquelle s’insert un tel projet. Cette conclusion plus fondamentale ne constitue pas un jugement de valeur, ni un débat sur « à qui la faute ? », elle amorce simplement une réflexion sur « pourquoi des systèmes inefficaces se maintiennent ?». Lors de la conception d’un projet, il semble nécessaire de comprendre les incitants pervers existants qui inhibent ou, tout au moins, n’encouragent pas le changement qu’un projet voudrait insuffler. A cet égard, il ne faut pas négliger les intérêts des nations (niveau politique), des exécutants de l’aide tant au niveau local, qu’international, mais également les intérêts du marché de l’évaluation. Même si ces acteurs du développement sont normalement les premiers témoins de l’existence de ces incitants pervers, remettre en cause un projet ou l’aide dans un pays remet également d’autres choses en question (l’emploi de certaines personnes, des accords politiques, …).

(i) Le système institutionnel de l’enseignement technique et

professionnel au Congo. Bien qu’il existe une volonté de changements et d’évolution dans le sous-secteur, qui se matérialise en partie par la formulation d’une politique de développement du sous-secteur, il n’en reste pas moins une pauvreté à tout niveau et une dilution des responsabilités. Cette pauvreté et ce partage de la gestion du sous-secteur ne créent pas d’incitants pour les personnes tant sur le terrain que dans les ministères pour faire évoluer concrètement le mode de fonctionnement actuel (sous-financement, taxations à tous les étages, multiples stratégies pour augmenter ses maigres revenus, manque de soutien/volonté pour mettre en œuvre des réformes, lenteurs administratives, complexité du partage d’informations, …). De plus, les notions de bien commun et de bonne gouvernance sont à instaurer à tous les niveaux dans la société. En bref, une réelle volonté politique se traduisant par des actes concrets sur l’ensemble du territoire est nécessaire pour que les différents acteurs concernés par l’enseignement technique et professionnel aient intérêt à modifier leurs comportements de façon individuelle, sans craindre de perdre le peu qu’ils ont acquis.

(ii) Le système de la coopération gouvernementale en RDC dans le secteur de l’enseignement technique et professionnel. À ce niveau, deux éléments sont à relever: la systémique de la coopération bilatérale directe belgo-congolaise dans ce sous-secteur, et le système de suivi/évaluation d’une intervention dans le cadre d’une coopération gouvernementale.


- Tout d’abord, il parait relativement clair, que par son histoire et la position

stratégique de ce pays, la Belgique continuera à soutenir la RDC. Ensuite, bien que reconnu et apprécié par les autorités congolaise pour son expertise et son savoir-faire dans le domaine de l’ETP, les montants alloués aux projets de coopération bilatérale dans l’ETP sont relativement petits. De plus, l’ETP reste un sous-secteur encore marginalisé dans le secteur de l’éducation mais aussi par rapport à d’autres domaines d’intervention plus en vogue (développement du secteur privé, de l’agriculture, des infrastructures, de la santé, …). Dans un tel contexte, il n’est pas aisé de créer les bons incitants afin que le partenaire respecte leurs engagements. Or, un non-respect de l’engagement des partenaires et/ou des bénéficiaires peut non seulement inhiber les résultats d’une intervention mais également empêcher l’appropriation des résultats et donc entraver la durabilité des effets d’un projet. Dans le cadre du projet AETP2, aucun des rapports existants ne parle des engagements du partenaire, tant sur le plan financier que sur le terrain. Par ailleurs concernant l’engagement des bénéficiaires, nous avons observé que les écoles n’ayant pas participé à la réhabilitation des ateliers comme cela était prévu ont obtenu le soutien annoncé.

- La CTB, bien que consciente des enjeux de l’évaluation et de l’importance d’atteindre les effets sur les bénéficiaires, n’a pas les bons incitants pour mettre en œuvre un système de suivi/évaluation efficace et pertinent pour une gestion axée sur les résultats (« outcomes »). C’est la seule façon de tendre vers une plus grande efficacité de l’aide. La mise en œuvre effective d’un système de suivi/évaluation est complexe à cause de la simultanéité avec la mise en œuvre des activités du projet, mais surtout à cause du manque de moyens tant financiers, qu’humains91. Ce manque de ressources allouées à l’activité du suivi/évaluation peut être en partie expliqué par le mode de répartition des budgets par tâches au sein d’un projet. En effet, cette répartition est négociée avec le partenaire dans une enveloppe budgétaire fixe. Ceci implique que tout euro dépensé au suivi/évaluation n’est pas investi dans une autre activité en faveur des bénéficiaires. Par ailleurs, ni la CTB, ni le partenaire ne semblent subir de conséquences négatives en cas de non atteinte des « outcomes », mais ils sont, par contre, sanctionnés en cas de non-engagement et/ou non-déboursement des fonds à la fin de la période d’intervention. Dans une telle situation, il manque donc clairement des bons incitants tant au niveau des exécutants des projets, que du partenaire pour allouer des ressources afin de mettre en place un système de suivi/évaluation efficace. Par ailleurs, en dépit de tout ce qui est mentionné ci-dessus, le suivi évaluation du projet AETP2, géré depuis Kinshasa, ne pouvait pas être efficace, étant donné la dispersion (et parfois l’enclavement) des établissements soutenus (21 écoles sur 8 provinces), et la complexité de voyager dans le pays.

(iii) Le système de l’évaluation. Premièrement, il convient de soulever la question de l’utilisation et du calendrier des rapports d’évaluation. Ces rapports sont systématiquement prévus lors d’une intervention mais leurs conclusions semblent rarement influencer de façon significative la finalisation du projet évalué à mi-parcours ou la formulation d’un nouveau projet dans le

91 Il est constaté une maîtrise ‘théorique’ du système de suivi/évaluation mais peu de maîtrise pratique. En

effet, une batterie d’indicateurs relativement pertinents avaient bien été identifiés, cependant, aucune

modalité pratique n’a été réellement établie: qui collecte, quelle information, à quel moment, dans quel lieu

et pour en faire quoi…? D’ailleurs aucune données exploitables du projet n’est disponible à ce jour pour

réaliser une évaluation d’impact.

6. Conclusions


même secteur. Une raison objective à ce constat est le calendrier : des rapports à mi-parcours sont faits presqu’en fin de projet, ou encore des rapports d’évaluation (finaux ou ex post) sont commandés alors qu’un ou plusieurs nouveau(x) projet(s) est/sont déjà formulés, voire mis en œuvre.

Deuxièmement, il est important de comprendre les enjeux de l’évaluation tant du point de vue du client qui rédige les termes de référence, donc qui contrôle d’une certaine façon ce qu’il sera permis de dévoiler dans le rapport92 ; que de celui des experts évaluateurs pour qui l’évaluation est un business. Il est donc essentiel de créer là aussi les bons incitants pour que tant le client que l’exécutant d’une évaluation aient intérêt à soulever les vrais problèmes, dans l’espoir qu’une suite pourra être donnée aux constats soulevés.

92 Deux personnes interrogées (un belge et un congolais) confient que lorsqu’elles ont rédigé des rapports

pour la CTB, elles auraient souhaité soulever certains problèmes, mais les termes de référence ou encore le

caneva du rapport à utiliser ne leur donnaient pas cette liberté.

Rapport Pays RDC – Evaluation ex post AETP2 119

7. Leçons apprises

Avant de présenter les leçons tirées des conclusions de ce rapport, il est nécessaire de préciser qu’aucune leçon ne porte sur la décision de la coopération bilatérale directe de poursuivre ou non des interventions dans le sous-secteur de l’enseignement technique et professionnel (ETP) en RDC. Il semble relativement clair que par son histoire et la position stratégique de ce pays, la Belgique continuera à soutenir la RDC. Cependant, les évaluateurs ne disposent pas de suffisamment d’éléments pour se prononcer sur la meilleure utilisation de l’argent public au Congo: investir dans le sous-secteur de l’ETP ou dans d’autres secteurs. Cette décision incombe aux dirigeants politiques. Néanmoins, les résultats de cette évaluation devraient interpeler l’Administration et le Ministre.

D’une part, l’étude se contente d’apprécier l’effet du projet sur les bénéficiaires et au

niveau du sous-secteur. Elle conclut que le projet AETP2 n’a pas eu d’impact significatif. D’autre part, elle tente d’expliquer cette absence d’impact. Elle met en évidence des causes contextuelles, institutionnelles et opérationnelles. La plupart sont encore d’actualité. Cette étude montre également l’état particulièrement désastreux du secteur à tous les niveaux et les défis nombreux auxquels il fait face en termes de financement, d’organisation et d’adéquation de la formation au marché de l’emploi…

Les leçons présentées ci-dessous, partent donc du postulat du maintien d’une intervention de la coopération bilatérale directe dans le secteur de l’ETP en RDC. Ces leçons sont formulées dans un double objectif : (i) maximiser les chances qu’un tel projet ait un impact sur les bénéficiaires, et (ii) être en mesure d’apprécier cet impact et d’en tirer un maximum de leçon pour des interventions futures dans ce sous-secteur.

Leçon 1

Etant donné les nombreux facteurs contextuels, institutionnels et systémiques identifiés dans cette étude comme pouvant inhiber l’impact de projets dans le sous-secteur de l’enseignement technique et professionnel (ETP) en RDC, et les sommes déjà importantes dépensées pour ce genre de projet sans résultats convaincants, un projet modeste ayant pour objectif de tester une intervention innovante est plus approprié.

La raison d’une telle suggestion est d’utiliser l’expérience belge acquise au fil du temps, en limitant les sommes engagées, tout en se préoccupant réellement de démontrer l’impact sur les bénéficiaires. L’idée est de chercher à disséminer à terme ce type de projet en cas de succès ou de renoncer à toute autre intervention en cas d’une nouvelle démonstration d’échec.

Le sous-secteur de l’ETP en RDC a des besoins énormes et des dysfonctionnements

majeurs persistent. Il existe donc un risque relativement important que les facteurs contextuels et institutionnels identifiés comme des obstacles à l’atteinte d’impact ne disparaissent pas dans un avenir proche. Par ailleurs, la coopération gouvernementale belge est, aujourd’hui, un bailleur reconnu dans ce sous-secteur par son histoire mais également par son expérience acquise par la succession de projets mis en œuvre depuis 2001. Des doutes fondés persistent quant à l’existence d’impact significatif sur les bénéficiaires. Dans une telle situation, il semble intéressant de poursuivre une intervention, seulement si celle-ci est innovante (cf. Leçon 2) et permet un réel apprentissage (le dispositif du suivi évaluation a donc d’autant plus d’importance, cf. Leçon 5).


Le but d’une telle intervention est donc d’identifier avec précision les facteurs encourageant ou inhibant l’impact de projet dans l’ETP sur les bénéficiaires, pour ensuite chercher à disséminer le modèle en cas de réussite, ou de renoncer à tout autre intervention dans le sous-secteur en cas de démonstration d’échec. En effet, compte tenu de son expérience et des sommes qu’elle peut allouer à ce type de projet, la Belgique peut être un acteur décisif en termes d’orientation des interventions dans ce sous-secteur.

Leçon 2

L’intervention devrait comporter plusieurs volets : un volet de réhabilitation, un volet

d’appui technique, un volet de renforcement des capacités, une dimension institutionnelle et enfin un appui à la création d’activités génératrices de revenus (AGR) au sein des écoles et de mise à l’emploi pour les jeunes diplômés.

L’étude met en évidence l’importance de connaître et comprendre les enjeux aux différents niveaux des systèmes dans lesquels le projet s’insère afin de formuler des activités qui soient théoriquement pertinentes et pratiquement réalisables. Il s’agit de définir un projet plus intégré, c’est-à-dire prévoyant des activités menant à des « outcomes » concrets dans différentes sphères ayant une influence sur la qualité de la formation et sur l’employabilité des jeunes.

Etant donné l’interdépendance qui existe entre ce qui se situe en amont et en aval de l’enseignement secondaire technique, mais aussi l’interdépendance entre les différentes dimensions de la formation, et conscient des incitants pervers qui existent dans les systèmes, il s’agit de proposer des activités en cohérence avec ces interdépendances tout en mettant en évidence les différents mécanismes qui pourraient inhiber les effets souhaités. Finalement, il s’agit de mettre en place des activités répondant aux besoins des bénéficiaires, en les impliquant dans les activités afin qu’ils participent activement à l’atteinte des « outcomes ».

Un projet d’appui à l’enseignement technique devrait donc comporter plusieurs volets. Il

faudrait les mettre en œuvre de façon coordonnée et quasi simultanée:

(1) Un volet de réhabilitation dans le but de sécuriser les bâtiments afin de préserver le matériel et assurer la sécurité des élèves, mais aussi pour remettre l’électricité ou d’autres aspects techniques aux normes.

(2) Un volet d’appui technique et didactique. Cela consisterait à identifier le matériel technique et didactique nécessaire pour dispenser les cours pratiques prévus dans le nouveau programme. Il conviendra de s’assurer que les machines sont utilisables (en vérifiant par exemple la tension du courant disponible), que les consommables sont disponibles sur le marché local ou facilement importables, et que des personnes pouvant assurer l’entretien ou le dépannage existent dans la région. Dans une certaine mesure, il serait aussi intéressant de fournir des consommables, en s’assurant que les écoles sont capables de les financer par la suite. Il s’agira également de s’assurer que l’utilisation de ce nouveau matériel ne coûtera pas plus cher aux élèves et à leurs parents.

(3) Un volet de renforcement des capacités. Ce volet comprend à la fois la formation à l’utilisation des nouveaux équipements, et la formation des professeurs à l’enseignement des programmes réformés pour assurer une meilleure adéquation entre formation et emploi (autant sur le contenu des cours que sur la nouvelle approche pédagogique).

(4) Un volet institutionnel. Ceci consiste à travailler en collaboration avec les autorités locales du ministère de l’EPSP et du ministère de l’emploi afin de poursuivre un dialogue sectoriel, de permettre des nouvelles prises de conscience mais aussi des changements concrets sur le terrain dans les deux secteurs (par exemple : réduction/annulation de la taxe de la prime

7. Leçons apprises


des parents ; faciliter la mécanisation des enseignants ; encourager la création d’emploi de petits indépendants,…). Il s’agit aussi de définir l’engagement souhaité de la part du partenaire, tant financier, qu’humain et technique, dans le respect de pratiques de bonne gouvernance, afin de maximiser les chances d’appropriation des effets sur le long terme.

(5) Un volet d’appui à la création d’AGR au sein des écoles. Il s’agit de réfléchir avec la direction et les professeurs à diverses AGR qui pourraient être développées au sein de l’école (en cohérence avec, d’un côté, les potentiels conflits d’intérêt, le temps, les compétences, et le matériel disponibles dans l’école ; et, de l’autre côté, la demande locale pour certains services). Il est indispensable à ce stade de veiller à mettre en place des bons incitants pour que l’argent ainsi collecté profite réellement à la collectivité (achat de consommables, réduction de la prime de motivation des parents,…) et que ces activités n’entravent pas le bon déroulement des cours.

(6) Un volet d’appui à l’emploi pour les jeunes diplômés. Tout d’abord, les élèves et jeunes diplômés pourraient travailler au sein de leur école en participant aux AGR. Ensuite, il serait intéressant d’aider les jeunes à trouver un emploi dans leur domaine de formation93. Ceci pourrait consister en un appui financier -via des microcrédit- et/ou un appui en orientation ; mais également se concrétiser par des mesures d’encouragement de la part du ministère de l’emploi (par exemple : immunité contre les taxes en tout genre pendant une certaine période, etc).

(7) Un volet ‘divers’ pour faire face aux demandes particulières des établissements qui seraient justifiées afin de maximiser les chances d’atteindre l’impact (ex : sécuriser l’enceinte de la concession, trouver des solutions pour que les élèves puissent rester faire leurs devoirs pratiques à l’école certains après-midi, …)

A ce niveau, il est important de vérifier s’il existe des synergies potentielles avec d’autres projets dans la zone d’intervention (des projets CTB ou d’autres bailleurs dans des domaines touchant l’un ou plusieurs volets). A ce stade de la formulation, il est également important de s’inspirer de modèles de projets qui sont en cours ou qui ont fait leurs preuves dans le pays94 mais également dans d’autres pays.

Leçon 3

Construire une logique d’intervention cohérente, c’est-à-dire réaliste avec les réalités du terrain et les moyens mis en œuvre. Il convient de formuler avec précision les hypothèses sous-jacentes aux liens causals entre les inputs, les « outputs » et leur utilisation, les « outcomes » (effets sur les bénéficiaires) et finalement l’impact global.

Afin de maitriser la chaine de résultats du projet, il est nécessaire de dresser une logique d’intervention claire et cohérente. Cela veut dire deux choses. Tout d’abord, cette étape permet de définir avec précisions les activités et les « outputs » attendus, puis de spécifier, les « outcomes » attendus sur les bénéficiaires directs et l’impact global du projet, tout en veillant à la cohérence entre ces différents éléments. L’objectif d’apprentissage de l’intervention devrait également être formulé avec précision : que vont-on apprendre ? Pour quelles raisons ? (cf. Leçon 1).

93 Même si ces jeunes ont le désire de poursuivre des études, cela n’empêche pas qu’ils reçoivent une aide à

chercher un emploi car ils sont quasi tous à la recherche d’une AGR pour financer leurs études supérieures.

94 Par exemple, s’inspirer du projet BIT mis en œuvre en 2012-2013 au Katanga.


Ensuite, il convient de formuler les hypothèses sous-jacentes aux liens causals la logique

d’intervention résumée dans le cadre logique. Cet exercice a deux avantages non négligeables : (i) il permet de mettre en évidence les risques inhérents à chaque étape du projet, et les incitants pervers pouvant inhiber les effets attendus ; et (ii) il permet aussi de définir des indicateurs pertinents à suivre via un système de suivi évaluation efficace (cf. Leçon 5) et ainsi être capable de mener une réelle gestion axée sur les résultats (« outcomes »).

Leçon 4

Formuler dans la convention spécifique, des clauses stipulant clairement et de façon

contraignante les engagements de chaque partie (la CTB, le partenaire local, les bénéficiaires).

Afin d’accroitre les chances d’un projet d’avoir un impact, il faut réfléchir aux bons incitants qui amèneront les partenaires et/ou les bénéficiaires à respecter leurs engagements. Concrètement, il s’agit de formuler dans la convention spécifique, des clauses stipulant des conséquences crédibles et contraignantes en cas de non respect des engagements des partenaires et/ou des bénéficiaires.

Seule une collaboration étroite entre des personnes de la coopération et du terrain permettrait de formuler les bons incitants pour chaque partie du contrat, vu la complexité des systèmes de l’aide et des institutions congolaises.

Leçon 5

Mettre en place un système de suivi évaluation (S/E) qui ne soit pas un alibi mais qui devienne un véritable outil de gestion axée sur les résultats (« outcomes »), c’est-à-dire un système qui :

- permettrait de suivre le déroulement opérationnel du projet ;

- prévoirait des modalités d’ajustement de l’intervention en cas de matérialisation trop importante de risques pouvant inhiber l’atteinte des résultats ;

- permettrait une appréciation des effets sur les bénéficiaires directs en fin de projet.

Afin d’y arriver, il est nécessaire d’y consacrer les ressources humaines et financières adéquates pour sa mise en œuvre effective sur le terrain dès le début de l’intervention.

Le système de S/E fait partie intégrante d’un projet, mais sa mise en œuvre et son

utilisation restent souvent problématiques. Un système de suivi évaluation réaliste et efficace signifie :

(i) définir des indicateurs pertinents en lien avec les effets attendus en se posant la question concrète de ‘comment va-t-on les utiliser ?’ ;

(ii) s’assurer qu’il est possible de les collecter sur le terrain en établissant des modalités précises de collecte ‘qui les collecte ?’, ‘à quelle fréquence ?’, ‘comment ?’ et ‘où ?’

(iii) s’assurer que la valeur de ces indicateurs soient collectés avant les interventions

(‘baseline’), pendant l’intervention (‘monitoring’) et après l’intervention (‘impact evaluation’);

(iii) prévoir un support fiable -informatique si possible- pour stocker les données collectées.

7. Leçons apprises


Il s’agit donc de donner aux agents de terrain, les bons incitants pour qu’ils collectent

des données de qualité, et qu’ils en fassent l’usage demandé à des fins de gestion et d’évaluation. En plus des bons incitants, il faut prévoir un calendrier réaliste (temps nécessaire pour réaliser la « baseline », prévoir l’évaluation à mi-parcours à la moitié de la durée du projet) et des moyens humains et financiers suffisants.

Pour aboutir à une véritable gestion axée sur les résultats (« outcomes »), et donc réagir lorsqu’un risque se matérialise, ou lorsque un ou plusieurs facteur(s) pouvant inhiber l’atteinte des « outcomes » se manifeste(nt) (par exemple des manquements au niveau des « outputs » et/ou leur non-utilisation ou encore, le non respect d’un engagement des partenaires et/ou des bénéficiaires), il est nécessaire de définir des modalités concrètes de réajustement de l’intervention (‘qui décide ?’, ‘sur base de quels critères ?’, ‘avec quelle marge de manœuvre ?’) et de s’assurer que les acteurs ont les bons incitants pour les mettre en œuvre.

Leçon 6.1

Le projet devrait être réalisé dans une zone accessible jouissant d’un tissu économique relativement développé.

Le niveau de développement de la zone d’intervention influence plusieurs aspects de la réussite d’un projet d’appui à l’ETP. En effet, un tissu économique relativement développé accroit les débouchés potentiels des jeunes diplômés tant dans le secteur formel qu’informel, assure une demande pour des services qui pourraient être développés au sein des établissements scolaires. De plus, il augmente la probabilité de trouver des écoles ayant accès à une bonne alimentation en courant électrique permettant ainsi une meilleure utilisation des équipements techniques, etc. Un marché local relativement prospère rend possible le fait de trouver des pièces de rechanges, des consommables et des personnes compétentes pour l’entretien du matériel.

L’accessibilité de la zone d’intervention est aussi importante afin de permettre un suivi

rapproché et d’être en mesure d’observer la matérialisation de risque tant au niveau des « outputs » et leur utilisation, qu’au niveau de l’atteinte des « outcomes ».

Leçon 6.2

L’intervention devrait concerner au maximum trois filières techniques porteuses dont les

programmes ont été réformés dans le cadre du projet AETFP. Le projet devrait sélectionner des écoles techniques sur base, entre autres, de leurs motivations et de leurs capacités à s’approprier les résultats du projet.

Il existe de grandes différences entre les établissements scolaires en termes de capacité de gestion, d’état des infrastructures, de réputation ou encore de types de public. Les écoles doivent être sélectionnées sur base de critères exigeants mais réalistes mettant en priorité l’accent sur leur bonne gestion, bonne réputation, bon état d’infrastructure, … mais aussi et surtout sur leur disponibilité à s’impliquer dans le projet et à mobiliser tant la direction, que les professeurs et les élèves dans le processus. En d’autres termes, ces écoles devraient montrer qu’elles sont en mesure de respecter leurs engagements afin d’augmenter la probabilité qu’elles s’approprient les effets du projet sur le long terme.

Afin de garder l’intervention d’une taille modeste et réaliste tant financièrement que sur

le plan du suivi évaluation, il conviendra de sélectionner au maximum trois filières techniques porteuses dans la zone d’intervention (s’informer tant sur la disponibilité d’études supérieures dans ces filières que sur l’état du marché du travail formel et informel). Ces filières seront choisies parmi des filières techniques afin de toucher un maximum d’élèves car les filières professionnelles connaissent de moins en moins de succès. Il s’agira également de choisir ces filières en fonction de la disponibilité de


programmes réformés dans le cadre du projet AETFP (voire choisir des écoles ayant déjà fait l’objet de recyclage de programme dans le cadre de ce projet). Une façon de bénéficier de l’expérience du dernier projet belge dans ce sous-secteur d’activité.

Leçon 6.3

L’intervention devrait durer au minimum 5 ans.

Plus la durée d’un projet est courte, plus la probabilité d’être en mesure de réagir à la matérialisation d’un risque ou celle d’observer un impact (et être en mesure de le quantifier) est faible, et ce, en particulier pour ce type de projet visant à modifier le comportement des agents. La durée d’un projet d’appui à l’enseignement technique devrait être de 5 années minimum, spécialement dans un contexte aussi complexe que celui de la RDC. Un projet de cette durée permettrait non seulement de s’assurer de l’obtention des « outputs » et de leur utilisation, mais aussi d’instaurer un système de suivi évaluation sur une promotion de bénéficiaires (les élèves) –les suivre dès le début du projet, quand ils entrent en 3ème secondaire jusqu’à ce qu’ils arrivent sur le marché de l’emploi et/ou des études supérieures-, une façon convaincante de réaliser une analyse d’impact et donc d’en tirer un maximum des leçons.


8. Bibliographie

4 PV des comités de pilotages (SMCL) du projet AETP2.

ADE/CRED, 2012. Note méthodologique complétée révisée (4 juin 2012).

ADE/CRED, 2012. Note méthodologique complétée révisée pour phase d’étude (2 juillet 2012).

AFD/OCDE, 2008. Perspectives économiques en RDC.

Björklund A., Kjell G.S., 2010. Education and family background: Mechanisms and policies. Discussion paper of the INSTITUTT FOR SAMFUNNSØKONOMI.

Cools K. et Kabeya Mukeba Yakasham L. pour la DGCD, 2004. Projet d’appui à

l’enseignement technique et professionnel en République démocratique du Congo : Evaluation finale de la phase 1 – Pré-identification des phases 2 et 3.

CTB, 2008. Rapport d’évaluation finale interne AETP2.

CTB, 2012. Rapport d’évaluation à mi-parcours AETFP.

CTB/DGD, 2004. Rapport d’identification : appui à l’enseignement technique et professionnel, extension à tout le territoire AETP2.

CTB/DGD, 2007. Rapport d’évaluation sur l’éducation.

CTB/DGD, 2012. Formulation EDUKAT (katanga).

CTG/DGD, 2005. DTF AETP2.

DE VREYER, P., 1993. Une analyse économétrique de la demande d’éducation en Côte-d’Ivoire. Revue d’économie du développement, Vol. 3, p. 51-79.

DFID, 2007. A DFID practice paper : Technical and vocational skills development.

DFID/UNICEF, 2013. Enquêtes sur les enfants et adolescents en dehors de l’école (à paraître).

Document de Stratégie de Croissance et de Réduction de la Pauvreté DSCRP I & II

Evaluation finale du projet « appui institutionnel au ministère de l’enseignement primaire, secondaire et professionnel » 2012

HILL, A.M. et KING, E.M., 1993. Women’s Education in Developing Countries : An Overview » in : Elizabeth M. KING et M. Anne HILL (éd.), Women’s Education in Developing Countries. Barriers, Benefits, and Policies, Banque Mondiale, The Johns Hopkins University Press, Baltimore, p. 1-50.

KOBIANÉ J-F., 2006. Ménages et scolarisation des enfants au Burkina Faso : à la recherche des déterminants de la demande scolaire, Collection « Monographies de l’Institut de Démographie de l’UCL », Louvain-la-Neuve, Academia-Bruylant.


KOBIANÉ, J-F., 2003. Pauvreté, structures familiales et stratégies éducatives à Ouagadougou, in Éducation, Famille et Dynamiques Démographiques, Cosio M., Marcoux R., Pilon M., et Quesnal A. (dir.), CICRED, Paris, pp.183-217.

LLOYD, C.B. et BLANC, A.K., 1996. Children's Schooling in sub-Saharan Africa: The Role of Fathers, Mothers, and Others. Population and development review, Vol. 22, N 2, p. 265-298.

Ministère des affaires étrangère des Pays-Bas ‘Evaluation Policy and guidelines for evaluation’

Mukendi Mvudi Matingu S. Pierre, déc 2004. Problème d’adéquation entre post-primaire, marché de l’emploi et l’enseignement technique et professionnel. Cahier de recherche de l’unif de kinshasa

PILON, M., 2005. Confiage et scolarisation en Afrique de l’Ouest : Eclairages à partir des sources de données démographiques. Communication au Congrès de l’UIESP de Tour.

PILON, Marc et Denis CLÉVENOT (1996), « Femmes et scolarisation des enfants », Communication au Séminaire international "Femmes et gestion des ressources", IFORD, Yaoundé, 5-7 février 1996, 24 p.

PNUD, 2008/2010/2011. Rapport sur le développement humain (2008-2010-2011)

RDC, Stratégie de développement du sous-secteur de l’EPSP (2010-2016)

RDC. Palmarès 2011 agrégé par options ou par province et par option (document Excel)

RDC. Plan intermédiaire de l’éducation (2012-2014)

RDC/MEPSP, 2010. Stratégie pour le développement du sous-secteur de l’EPSP 2010/2011-2015/2016, Kinshasa.

RDC/MEPSP, 2012. Plan intérimaire de l’éducation 2012/2014, Kinshasa.

SHAPIRO, D., 1999. Family Influences on Women’s Educational Attainment in Kinshasa. Communication au Séminaire International CICRED « Stratégies éducatives, familles et dynamiques démographiques », Ouagadougou, Burkina Faso, 15-19 novembre 1999.

Simon L., 2012. Evaluation finale du projet d’appui institutionnel au Ministère de l’enseignement primaire, secondaire, et professionnel en RDC. CTB.

UNESCO, 2012. Rapport mondial de suivi de l’EPT 2012. Jeunes et compétences : l’éducation au travail, Éditions UNESCO, Paris.

UNICEF, 2010. Enquêtes MICS.


ANNEXES

ANNEXE 1: CARTE DE LA RDC

ANNEXE 2 : DÉPENSES DE L’AIDE DE LA COOPÉRATION BELGE (TOUTES SOURCES OFFICIELLES

CONFONDUES) RÉPARTIES PAR SECTEUR D’INTERVENTION (EN EUROS), DE 2001 À 2011

ANNEXE 3 : TABLEAU RÉCAPITULATIF DE L’ENSEMBLE DES ÉCOLES SOUTENUES PAR LES PROJETS

AETP1&2 (INFORMATIONS TIRÉES DES DOCUMENTS CTB EXISTANTS)

ANNEXE 4 : GUIDES D’ENTRETIEN ET TABLEAUX POUR COLLECTE D’INFORMATIONS QUANTITATIVES

DANS LES ÉTABLISSEMENTS SCOLAIRES À KISANGANI

ANNEXE 5: QUESTIONNAIRE INDIVIDUEL

ANNEXE 6 : AGENDA DES MISSIONS

ANNEXE 7 : LISTE DES PERSONNES INTERROGÉES

ANNEXE 8 : GALERIE PHOTOS

ANNEXE 9 : ARRÊTÉ PROVINCIAL PORTANT FIXATION DES FRAIS SCOLAIRES POUR L’ANNÉE 12-13

ANNEXE 10 : RAPPORT DE MISSION EXPLORATOIRE (NOV-DÉC 2012)

Les annexes ne sont pas imprimées et sont reprises uniquement sur le CD-ROM joint à la synthèse de l’évaluation ou sur le site internet.

Dépôt légal n° 0218/2014/004

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]


ROYAUME DE BELGIQUE



Evalu

atio

n e

x-po

st de l’im

pact d

u P

roje

t d’a

ppu

i à l’e

nse

ignem

ent te

chn

ique e

t pro

fessio

nnel (A

ETP p

hase

2) en

Répu

bliq

ue d

ém

ocra

tique d

u C

on

go

ROYAUME DE BELGIQUE



Evaluation ex-post de l’impact du Projet d’appui à l’enseignement technique et professionnel (AETP phase2) en République démocratique du Congo


Evaluation ex-post de l’impact du Projet d’appui à l ... · Evaluation ex post de limpact du...

Documents

Transcript of Evaluation ex-post de l’impact du Projet d’appui à l ... · Evaluation ex post de limpact du...