351gion de Kolda.docx) - UNICEF · Fiabilité Les données ont été mesurées, collectées,...

Rapport final 09/01/2013

Evaluation des systèmes statistiques de routine de la région de Kolda

Vincent Turmine

1

Table des matières

TABLE DES MATIERES 1

LISTE DES SIGLES ET ACRONYMES 3

RESUME EXECUTIF 4

INTRODUCTION 5

Contexte 5

Objectifs 5

METHODOLOGIE 6

Analyse préliminaire 6

Etude des structures productrices de données 7

Satisfaction des utilisateurs 8

LES ACTEURS ET LES MECANISMES DE PRODUCTION STATISTIQUES 10

Secteur de la Santé 10

Secteur de l’Education 12

Secteur de la protection 13

Agence Régionale de Développement 16

Les services régionaux intersectoriels 17

SERVICE REGIONAL DE LA STATISTIQUE ET DE LA DEMOGRAPHIE 17

SERVICE REGIONAL DE LA PLANIFICATION 17

ETAT DES LIEUX DES SYSTEMES DE PRODUCTION STATISTIQUE DE ROUTINE 19

Analyse du secteur Santé 19

CONDITIONS STRUCTURELLES 19

ASSURANCE DE L’INTEGRITE 20

RIGUEUR METHODOLOGIQUE 21

EXACTITUDE ET FIABILITE 22

UTILITE 23

ACCESSIBILITE 23

SYNTHESE 25

Analyse du secteur Education 27





UTILITE 31

SYNTHESE 32

Analyse du secteur de la Protection 34


Evaluation des systèmes statistiques de routines de la région de Kolda

2




UTILITE 37

SYNTHESE 38

CONCLUSION 40

Recommandations 40

BESOINS STRUCTURELS 40

QUALITE DES DONNEES 41

DIFFUSION 42

RELATIONS INTERSECTORIELLES 42

REFERENCES 44

ANNEXES 45

Liste des personnes contactées 45

Entretien Producteur 46

Questionnaire Producteur 48


3

Liste des sigles et acronymes

AEMO Action éducative en milieu ouvert

ANSD Agence nationale de la statistique et de la démographie

ARD Agence régionale de développement

CTS Comité technique et de suivi

DPRE Direction de la planification et de la réforme de l’éducation

DPSR Direction de la planification et du suivi de la réforme

DS District sanitaire

IA Inspection d’académie

IDEN Inspection départementale de l’éducation nationale

INEADE Institut national d’étude et d’action pour le développement

de l’éducation

MoRES Monitoring results for equity system

PDEF Programme décennal de l’éducation et de la formation

PRDI Programme regional de développement intégré

S&E Suivi et Evaluation

SDAS Service départemental de l’action sociale

SDDC Service départemental du développement communautaire

SGBD Système de gestion de base de données

SIG Système d’information géographique

SISE-DL Système d’information et de suivi-évaluation sur le

Développement Local

SNIS Système national de l’information sanitaire

SRSD Service régional de la statistique et de la démographie

SRP Service régional de la planification

UNESCO Organisation des Nations-Unie pour l’éducation, la science

et la culture

UNICEF Fonds des Nations-Unies pour les enfants


4

Résumé exécutif

Dans le cadre de la préparation du MoRES (Monitoring Results for Equity

System), le bureau UNICEF Sénégal a exprimé le besoin d’évaluer les

processus de production de données de routine sur la situation des enfants dans

la région de Kolda couvrant trois secteurs clé que sont la santé de la mère et de

l’enfant, l’éducation et la protection des femmes et des enfants. Cette étude ainsi

a pour objectif d’analyse ces systèmes sectoriels dans le but d’améliorer et/ou

d’identifier des solutions alternatives pour l’amélioration de la qualité et la

régularité du suivi de 15 indicateurs traceurs sur la situation sanitaire, éducative

et sociale des populations cibles (Demande) et 20 indicateurs sur le niveau des

prestations offertes par les services sectoriels (Offre) (Annexe 1.a et 1.b). Pour

dresser une situation des systèmes de suivi de routine pour chaque secteur,

nous nous sommes fixés des objectifs spécifiques débouchant sur les résultats

attendus suivant :

• Avoir une vision générale du système statistique au niveau multisectoriel

(Santé, Education et Protection) ;

• Identifier l’ensemble des acteurs participant à l’élaboration des systèmes

statistiques tant au niveau régional, que départemental et local

• Elaborer un schéma des relations intra-sectorielles du système de suivi

de routine ;

• Comprendre le schéma organisationnel du système de routine pour

chaque service sectoriel décentralisé ;

• Analyser les processus de collecte des données ;

• Evaluer les systèmes de gestion des bases de données ;

• Analyser les traitements et procédures de contrôles des données ;

• Vérifier la qualité des données collectées ;

• Identifier le niveau de diffusion et l’utilisation des données produites.


5

Introduction

Contexte

Dans le cadre de la préparation du MoRES (Monitoring Results for Equity

System), le bureau UNICEF Sénégal a exprimé le besoin d’évaluer les

processus de production de données de routine sur la situation des enfants dans

la région de Kolda couvrant trois secteurs clé que sont la santé de la mère et de

l’enfant, l’éducation et la protection des femmes et des enfants. Cette étude ainsi

a pour objectif d’analyse ces systèmes sectoriels dans le but d’améliorer et/ou

d’identifier des solutions alternatives pour l’amélioration de la qualité et la

régularité du suivi de 15 indicateurs traceurs sur la situation sanitaire, éducative

et sociale des populations cibles (Demande) et 20 indicateurs sur le niveau des

prestations offertes par les services sectoriels (Offre) (Annexe 1.a et 1.b).

Objectifs

Pour dresser une situation des systèmes de suivi de routine pour chaque

secteur, nous nous sommes fixés des objectifs spécifiques débouchant sur les

résultats attendus suivant :

• Avoir une vision générale du système statistique au niveau multisectoriel

(Santé, Education et Protection) ;

• Identifier l’ensemble des acteurs participant à l’élaboration des systèmes

statistiques tant au niveau régional, que départemental et local

• Elaborer un schéma des relations intra-sectorielles du système de suivi

de routine ;

• Comprendre le schéma organisationnel du système de routine pour

chaque service sectoriel décentralisé ;

• Analyser les processus de collecte des données ;

• Evaluer les systèmes de gestion des bases de données ;

• Analyser les traitements et procédures de contrôles des données ;

• Vérifier la qualité des données collectées ;

• Identifier le niveau de diffusion et l’utilisation des données produites.


6

Méthodologie

L’évaluation des systèmes de routine s’appuie sur une approche associant un

audit des acteurs producteurs de données et une enquête de satisfaction des

utilisateurs des données produites dans la région de Kolda. Ces deux

dimensions seront étudiées à la fois qualitativement grâce à des entretiens

exploratoires et quantitativement par le biais d’une grille d’analyses d’indicateurs.

Ainsi nous analyserons la performance des systèmes statistiques de routine de

la région de Kolda à travers 3 phases : Une analyse préliminaire, Une analyse de

la production des données et une analyse de satisfaction des utilisateurs (Figure

1).

Figure 1. Grandes étapes de l’analyse des systèmes statistiques de routine

Analyse préliminaire

A la lecture de documents consultés lors de la revue documentaire, plusieurs

points ont été soulignés afin de mieux comprendre les multiples facettes

nécessaires pour une meilleure évaluation des systèmes statistiques et de

comprendre les difficultés qu’elles soient structurelles ou techniques.

Pour atteindre cet objectif, nous procéderons à un entretien exploratoire adressé

aux responsables d’établissements œuvrant dans les secteurs de la santé,

l’éducation et la protection des enfants :

- Importance du rôle des statistiques pour les différents acteurs ;

- Identifier les mécanismes de production des données au sein de chaque

secteur.

Cette analyse permettra de lever une cartographie des acteurs et des relations

qu’ils entretiennent avec leur hiérarchie mais aussi avec les structures locales.

Analyse préliminaireAnalyse des producteurs

Enquête satisfaction « utilisateurs »


7

Etude des structures productrices de données

Dans le cadre de cette première phase, nous aurons à rencontrer les

responsables des établissements déconcentrés et les agents responsables du

Suivi & Evaluation (S&E) de cette structure.

La présente étude s’est focalisée sur les structures de la région de Kolda

(l’Inspection d’Académie, AEMO, la Région Médicale) et limitée au département

de Kolda essentiellement pour des raisons d’accessibilité (Inspection

Départementale de l’Education Nationale, Service Départemental du

Développement Communautaire, Service Départemental de l’Action Sociale,

District Sanitaire).Au niveau central, nous nous appuierons sur l’évaluation

réalisée en mars 2012 pour évoquer la situation nationale des systèmes de suivi

de routine (ADE, 2012).

L’objectif de cette étape est d’identifier les différents points faibles des systèmes

analysés et d’évaluer la qualité des données produites. Cette étape se

décompose en 12 éléments couvrant l’ensemble des fonctions d’un système de

suivi et évaluation. Chaque élément sera approfondi par une série d’indicateurs

permettant d’évaluer la performance du système de suivi de routine à travers la

structure du S&E, les données et l’utilisation des données (Figure 2).

Une grille d’évaluation sera établie conférant un score cumulatif pour chaque

indicateur exprimé en pourcentage.

Figure 2. Liste des établissements producteurs de données

1. Structure et

activités du SSE

• 1. Organisation de la

structure

•2. Ressources humaines

•3. Orientation

stratégique

•4. Planification des

activités

•5. Communication et

valorisation

•6. Partenariat

2. Données et

système de gestion

•7. Collecte des données

•8. Implémentation &

SGBD

•9. Contrôle du système et

sauvegarde

3. Validation et

diffusion

•10. Reporting

•11. Evaluation des

données

•12. Diffusion et utilisation


8

Satisfaction des utilisateurs

Pour avoir une meilleure analyse des systèmes producteurs de données, il est

intéressant de s’attarder d’une part, sur la qualité des données produites et

d’autre part, sur le degré de satisfaction des utilisateurs de ces données.

Pour atteindre cet objectif, nous nous sommes appuyés sur des entretiens

d’utilisateurs au niveau local et régional visant à obtenir un avis sur la qualité des

données selon les critères de validité et de fiabilité. Ces deux critères sont

analysés à travers 5 dimensions : Exactitude, Complétude, Promptitude,

Intégrité, Confidentialité (Tableau 1).

Tableau 1. Critères d’évaluation de la qualité des données

Dimensions Définition

Validité

La validité mesure le niveau d’erreur dans la saisie, l’échantillonnage ou l’interprétation. Le degré de validité traduit si cette donnée est correcte ou biaisée

Fiabilité

Les données ont été mesurées, collectées, saisies et administrées selon des protocoles et procédures rigoureux limitant l’interférence de l’auteur.

Exactitude

Les données contiennent suffisamment de détails offrant un usage complet et précis. Exemple : recenser l’âge et le sexe pour les personnes atteintes du VIH/SIDA.

Complétude

La complétude signifie que le jeu de données de cet indicateur est complet c’est-à-dire que toutes les personnes éligibles pour cet indicateur ont été enquêtées et leurs données enregistrées.

Promptitude La promptitude s’évalue à travers la fréquence de mise à jour des données, la disponibilité de l’information et le respect des périodicités requises pour la diffusion.

Intégrité Les données sont jugées intègres lorsque le système produisant les données protégé celles-ci de toutes modifications ou corrections à des fins politiques, collectives ou individuelles.

Confidentialité

Le niveau de confidentialité renseigne sur le degré de respect de la confidentialité des personnes enquêtées mais aussi sur la protection des données et le contrôle de l’accès aux archives.

Les utilisateurs ciblés ont été principalement au niveau local, régional et au sein

de l’UNICEF afin de comprendre comment les données statistiques de routines

produites au niveau régional et départemental parvenaient à satisfaire la

demande à l’échelle de la région de Kolda et permettre d’appuyer les prises de

décision. Le choix des utilisateurs s’est orienté vers des utilisateurs œuvrant


9

dans la Survie, l’Education et la Protection de l’enfant : chargés de programme

du Bureau Pays UNICEF, Chargé de programme du bureau régional de

Ziguinchor de l’UNICEF, Service Régional de la planification, l’Agence Régionale

de Développement, ChildFund, WorldVision et Aide-et-Action.

En sus, nous avons pu obtenir un échantillon des données produites pour les

secteurs de la protection et de l’éducation. Au niveau de la santé, les

administrateurs des données statistiques étant en conflit avec le ministère,

aucune donnée n’a pu être collectée. De ce fait, la qualité des données n’a pu

être évaluée.


10

Les acteurs et les mécanismes de production statistiques

Initialement, nous avions souhaité aborder les mécanismes de production de

manière intégrée et intersectorielle. Force est de constater que les acteurs

n’entretiennent pas d’échanges entre les différents secteurs suivis. Seul,

l’Agence Régionale de Développement (ARD) a entrepris l’édification d’un

monitoring intersectoriel dont les résultats sont attendus à la fin de l’année 2012.

Les services régionaux de la planification ou de la statistique participent très peu

à l’édification de données intersectorielles et sont perçues comme des relais du

ministère de tutelle. Nous présentons donc ici une schématisation des

mécanismes régissant la production statistique dans la région de Kolda pour les

secteurs de la Santé, l’Education et de la Protection des enfants.

Secteur de la Santé

Conformément à l’organisation structurelle du secteur décentralisé de la Santé, la collecte d’information s’effectue en 4 niveaux à partir des structures de bases (Case et poste de santé) opérant au niveau local (

Figure 3).

Le district sanitaire, organe départemental s’attèle à recueillir ces informations et

à les contrôler afin de réaliser une première agrégation incluant les données du

centre de santé qu’il contrôle. Le planificateur du district est donc chargé de

recueillir les données issues des établissements sanitaires locaux et d’organiser

les données au sein d’un monitoring mensuel. Il est enfin chargé de réaliser des

opérations de supervision au niveau des établissements.

Sous la tutelle effective de la région médicale, ces données sont alors

transmises chaque mois auprès des superviseurs régionaux pour effectuer un

monitoring régulier des districts.

Au niveau de la région médical, la supervision est structurée selon les

thématiques (vaccination, nutrition, lutte contre la tuberculose et la lèpre, santé

de la reproduction, entre autres). A Kolda, la coordination des superviseurs est

assurée par le superviseur en charge de la santé de la reproduction. Ainsi,


11

l’ensemble des données issues des districts sont agrégés par le coordinateur

régional incluant les données de l’hôpital régional. Le coordinateur est enfin

chargé de consolider les données et de les transmettre au Service National de

l’Information Statistique (SNIS).

Le SNIS créé par décret en 2004 agrège l’ensemble des données régionales

pour élaborer annuellement l’annuaire statistique national.

Figure 3. Schématisation de la gestion des données statistiques dans le secteur de la santé


12

Secteur de l’Education

A l’instar de la santé, le secteur de l’éducation épouse l’organisation

décentralisée avec 4 niveaux bien structurés allant des écoles (niveau local) à

l’INEADE (niveau national) (Figure 4).

Les données sont donc produites à la base au niveau des écoles à l’aide de

formulaires destinés à l’enquête statistique. Ces formulaires sont remplis au

début de l’année par les directeurs et retournés à l’Inspection Départementale de

l’Education Nationale (IDEN). En fin d’année, un second formulaire est retourné

afin d’évaluer les résultats de l’année.

A l’IDEN, un planificateur est chargé de collecter les formulaires et de les saisir

dans une base locale (Excel). Le planificateur est également chargé de vérifier

l’intégrité des données au niveau des écoles. Néanmoins, le contrôle des

données est très rare notamment dans les départements étendus et peu

accessible comme Médina Yoro Foula. Les données produites sont désagrégées

par écoles et sont transmises ensuite à l’Inspection d’Académie (IA). En théorie,

les rapports de l’IDEN sont faits chaque trimestre mais seulement deux rapports

sont réalisés (début d’année scolaire et fin d’année scolaire).

L’IA est chargée de contrôler les données des IDEN et de valider les bases

transmises. Une fois ce travail réalisé, les données sont consolidés en une base

locale destinée à l’inspecteur et à son adjoint. Les données sont également

saisies dans la base nationale nommée StatEduc afin d’être directement

transmises au Ministère. Les données font l’objet de rapports semestriels qui

n’ont plus été publiés depuis 2007.

Les données sont transmis à la DPRE (Direction de la Planification et de la

Réforme de l'Education) qui transmet à l’INEADE pour les aspects relatifs aux

ouvrages et à la qualité de l’enseignement et au bureau des constructions

scolaires pour les questions relatives aux bâtiments et ouvrages hydrauliques.

Ces données permettent ensuite de publier annuellement un annuaire national

dans le cadre du PDEF (Programme Décennal pour l’Education et la Formation).


13

Figure 4. Schématisation de la gestion des données statistiques dans le secteur de l’éducation

Secteur de la protection

A l’inverse des secteurs de la Santé et de l’Education, la protection est rattachée

à plusieurs ministères. Ce secteur se caractérise donc d’une part, par la

multiplicité des ministères et d’autre part, par un nombre impressionnant

d’acteurs à tous les niveaux (Figure 5).

Au niveau local, l’Etat est peu présent dans ce secteur relativement récent dans

les préoccupations nationales. Les ONG mènent ainsi des actions de prise en

charge ou de sensibilisation auprès des populations vulnérables. Ces ONG

produisent leurs propres statistiques mais sans véritable harmonisation.


14

ChildFund notamment participe activement dans la production de données

statistiques en appuyant le CTS pour l’élaboration de bases de données au

niveau départemental.

Les services de l’Etat interviennent essentiellement au niveau départemental

(Développement local, Action sociale) et régional (AEMO). Ces services

produisent des statistiques sommaires sur leurs champs d’activité mais n’opèrent

pas de collectes d’information proprement dites. Néanmoins, l’édification des

CTS a permis de rapprocher les services de l’Etat entre eux et de favoriser le

partage d’information. Chaque service est également chargé de transmettre leurs

données à leur direction de tutelle qui effectue ponctuellement des visites de

contrôle.

En marge, certains services comme la police ou la gendarmerie possèdent des

données statistiques sur la population d’enfants en conflit avec la loi ou en

délinquance. Mais ces données restent dans une sphère confidentielle très peu

accessible.

Au niveau national, les données de chaque service permet en théorie de réaliser

des annuaires statistiques. Seul, le ministère de la justice produit annuellement

un annuaire statistique dans lequel la protection des enfants est documentée à

partir des données de l’AEMO. Les deux autres services sont soumis aux

variabilités des changements politiques impliquant un changement de tutelle très

fréquemment.

15

Figure 5. Schématisation de la gestion des données statistiques dans le secteur de la protection de l’enfant

16

Agence Régionale de Développement

L’ARD est un organe régional regroupant la région, les communes et les

communautés rurales afin d’apporter une assistance aux collectivités locales de

la région. Les missions de l’ARD sont notamment :

• l’appui et la facilitation à la planification du développement local ;

• la mise en cohérence des interventions entre collectivités locales d’une

même région d’une part et avec les politiques et plan nationaux d’autre

part

• le suivi évaluation des programmes et plan d’actions de développement

local.

Intégré au suivi-évaluation, le SISE-DL a été développé initialement pour faciliter

le suivi des actions menées dans la région. Mais, la forte demande des

partenaires tels que l’UNICEF a amené l’ARD a élaboré un système de suivi des

indicateurs d’harmonisation. Cette base de données a pour vocation d’être

intersectorielle s’appuyant sur les différents services sectoriels et collaborant

étroitement avec le service régional de la statistique et de la démographie ainsi

qu’avec le service régional de la planification.

Cette base de données bénéficie ainsi de 158 indicateurs définis par des

métadonnées avec un mécanisme de collecte de l’information auprès des

différents services pourvoyeurs de données. Cette fonction du SISE-DL n’est pas

encore opérationnelle et devrait permettre dès 2013 la mise à disposition d’un

monitoring de la situation socio-économique de la région de Kolda.

Les données seront consultables par le web et accessible en téléchargement sur

format Excel. Egalement, un effort de diffusion auprès des partenaires est

planifié.

Sous la tutelle de la Gouvernance, cet outil constituera un outil d’aide à la

décision pour l’autorité régionale afin de mieux diriger les efforts à fournir tant

pour les services de l’Etat que pour les partenaires au développement.


17

Les services régionaux intersectoriels

Service régional de la statistique et de la démographie

Le Service Régional de la Statistique et de la Démographie (SRSD) est sous la

tutelle de l’Agence National de la Statistique et de la Démographie (ANSD) créée

en 2004. La principale mission du SRSD est de dresser la situation économique

et sociale de la région de Kolda notamment à travers la production et le suivi

d’indicateurs. Ces indicateurs sont ensuite publié par l’ANSD annuellement à

travers la publication « Situation Economique et Sociale » et site web de l’ANSD.

Le SRDS vient également en appui opérationnel à la réalisation des travaux

d’enquêtes de l’ANSD de grande ampleur telle que l’Enquête Démographique et

Sociale ou encore les travaux cartographiques actuellement en cours.

Enfin, le SRSD fournit également des données aux services déconcentrés de

l’Etat au niveau de la région de Kolda. Néanmoins, la capacité de travail du

SRDS de Kolda composé d’un chef de service et d’un adjoint ne permet pas à

tous les services d’avoir satisfaction.

Service Régional de la Planification

Sous-tutelle de la Direction de la Planification Nationale, le SRP de Kolda a pour mission d’appuyer la direction à :

• d’élaborer et coordonner la politique économique et sociale à moyen

terme du pays ;

• de préparer le Plan d’Orientation pour le Développement Economique et

Social, d’assurer le suivi de sa mise en œuvre aux niveaux national,

régional et sectoriel, d’en évaluer les résultats et d’en dresser le bilan ;

• de faire l’évaluation des projets et programmes de développement.

Au niveau de la région de Kolda, le SRP est composé d’un chef de service et

d’un adjoint. Sa principale activité est de dresser un diagnostic socio-

économique et environnemental de la région, d’accompagner les collectivités

locale dans leur développement et de mettre en place un Plan Régional de

Développement Intégré (PRDI) Les faibles moyens sont insuffisants pour

participer activement à la production statistique. Néanmoins, ce service contribue


18

au SISE-DL notamment dans la section « projet et programme de

développement ».


19

Etat des lieux des systèmes de production statistique de routine

Analyse du secteur Santé

Cette étude s’attèle ainsi à examiner les conditions favorables à l’élaboration de

bases de données à partir du district sanitaire et de la région médicale. Nous

verrons ainsi comment ces deux structures s’organisent pour recueillir les

données et construire des outils de suivi-évaluation avant que ces données

soient transmises au niveau national. L’examen de la collecte au niveau local n’a

pas fait l’objet ici d’une évaluation spécifique.

Conditions structurelles

L’organisation du système statistique de routine dans le secteur de la santé

s’appuie à la fois sur les besoins propres des organes régionaux et

départementaux pour assurer la supervision mais aussi sur les besoins du SNIS

en matière de statistique nationale. A cet effet, nous avons constaté notamment

au niveau de la région médicale une organisation forte et rigoureuse tant pour la

supervision tant en personnel que pour la structuration des tâches. Les

différentes missions sont clairement définies et des plans d’activités suivis pour

mettre en place une base de données solides et régulièrement mise à jour.

Toutefois, on notera que la formation initiale du personnel et les renforcements

de capacités n’offrent pas actuellement d’avoir un personnel qualifié pour

interagir au mieux avec l’exigence d’un suivi-évaluation notamment pour

l’approche qualité. Ainsi, pour le district sanitaire ou encore la région médicale,

les personnes à charge des statistiques sont issues du corps médical (infirmier

ou médecin). La mise à niveau du personnel est peu fréquente et les bénéfices

peuvent aussi être limités par un turn-over ou promotion vers le niveau central

pour les meilleurs éléments.

D’un point de vue qualitatif, l’entretien auprès du district sanitaire souligne un

plus grand besoin en renforcement de capacité notamment en matière de rigueur

méthodologique.

Enfin, le système de suivi-évaluation souffre à l’image de l’ensemble de la

structure d’un déficit en équipement informatique et en alimentation électrique. Si


20

les agents possèdent bien un outil informatique, celui-ci est souvent obsolète et

pas intégrer dans un réseau informatique facilitant le partage et la sécurité des

données.

Assurance de l’intégrité

A l’image du SNIS, les différentes structures de la région de Kolda n’ont pas de

système de suivi-évaluation proprement parlé. Il en découle l’absence de

recherche systématique de la qualité des informations transmises ou encore

d’interprétation des données (ADE, 2012). Comme au niveau national, les

données utilisées pour le calcul des taux de couverture sont recueillies au niveau

des services régionaux de la statistique et demeurent souvent asynchrones avec

les données collectées au niveau des systèmes de santé.

L’implémentation des monitorings soulèvent également quelques interrogations

notamment en termes de sécurisation des données. L’archivage des données

est quasi inexistant et très peu méthodique. Ainsi, au niveau du district, les

formulaires non saisis ne sont pas stocké et accessibles aisément. Les

formulaires saisis sont quant à eux non classés et parfois égarés. Enfin,

l’absence de systèmes de sécurité des données ou d’administration des données

par droits ne permet pas la traçabilité des modifications des données et laisse la

possibilité d’accéder aux données librement.

En dernier lieu, la politisation du secteur médical est forte au Sénégal et trouve

dans la région de Kolda une dimension régionale également non négligeable.

Les enquêtes auprès des utilisateurs des données a montré une certaine

méfiance quant à l’intégrité des données qui pour les producteurs constitueraient

un moyen d’orienter les politiques sanitaires locales mais aussi de copter un

appui plus conséquent de la coopération internationale. Ces inquiétudes

constatées auprès des utilisateurs des données et partenaires des

établissements sanitaires de la région de Kolda n’ont cependant pu être vérifiée.

En effet, l’absence de publication de données a limité le contrôle effectif des

données. Il est donc difficile d’évoquer la possible modification de données à des

fins spécifiques locales ou nationales mais l’absence de crédit des utilisateurs

souligne une nécessité pour ces établissements de renforcer d’une part, la

transparence dans la diffusion des données et d’autre part, l’effort de contrôle


21

des données à tous les niveaux à travers des collectes indépendantes du

système de santé lui-même.

Rigueur méthodologique

Au niveau conceptuel, les principes et normes sont respectés et font l’objet d’un

effort de mise à jour par le personnel du niveau central lors d’une revue annuelle

avec les représentants des régions médicales. La présence de guide

méthodologique et de notices explicatives facilitent également les phases de

saisies et de collectes d’informations. L’outil informatique est largement employé

pour enregistrer et manier les données afin de fournir des indicateurs de suivi. La

méthodologie employée pour la réalisation de monitorings est adéquat et facile à

utiliser. Le district bénéficie ainsi d’un monitoring réalisé sous Excel permettant

de suivre ses indicateurs de résultats et de dresser des tableaux mensuels. Au

niveau de la région médicale, les données collectées via le monitoring s’intègrent

également aisément dans un monitoring régional sous Excel.

Cependant, certains points méthodologiques soulignent quelques carences et

peuvent limiter l’exactitude des statistiques. Tout d’abord, l’approche même du

système statistique dans le secteur de la santé réduit sensiblement la nature des

résultats statistiques. Ainsi, les données sont construites à partir d’une collecte

systématique au niveau des établissements de santé, or, dans les départements

excentrées ou très pauvres comme celui de Médina Yoro Foulah, l’accès au

système de santé faisant défaut, les cas de pathologie ou de mortalité peuvent

ne pas être recensés par le système lui-même.

L’évaluation des données également suscite un certain nombre d’interrogation

notamment pour l’échelle locale. Les fonds destinés à la supervision

opérationnelle (dotation en carburant) sont limités et réduisent considérablement

les possibilités de contrôle notamment des districts sur les établissements

communautaires.

En parallèle, très peu d’enquêtes sont réalisées pour acquérir de l’information

ménage. Ces enquêtes permettraient ainsi de palier au manque d’information

des zones peu accessible mais également de contrôler les données retournées

par les établissements sanitaires locaux. Les rares enquêtes sont généralement

menées de manière indépendante par des programmes centraux. Si l’implication


22

du personnel régional est effective, les données ne sont pas mises à la

disposition de la région médicale ou du district concerné.

Exactitude et fiabilité

La méthodologie de collecte de données entraine une interdépendance des

données du niveau local au niveau national. Ce système nécessite une rigueur

méthodologique forte et robuste pour éviter que toute erreur puisse être

répercutée sur l’ensemble des données agrégées. L’exigence méthodologique

requise par cette emboitement de données n’a pu être constatée et très peu de

corrections sont envisageables tant l’effort de contrôle des données et de leur

qualité est limité par manque de moyens financiers et matériels chroniques.

La décomposition des données tant en matière de classes d’âge, de genre ou de

découpage géographique est bonne. Elle offre au district et à la région médicale

la possibilité d’exploiter les données par rapport à des populations cibles (ex :

enfants de moins de 5 ans). Au niveau géographique, on note toutefois une

certaine limite dans la couverture du district qui n’épouse pas toujours le

découpage administratif actuel. Cet aspect soulève ainsi des contraintes dans le

croisement de données telles que la population (calculée selon le découpage

administratif) et les données issues du système sanitaire.

Le système de collecte mis en place implique une interdépendance des

données. L’emboitement des données à travers l’agrégation de données du

niveau local au niveau départemental et régional puis au niveau national

nécessite un effort important de contrôle et de vérification des données. Or, les

enquêtes auprès du district sanitaire de Kolda et de la région médicale montre

que le contrôle de la qualité des données est peu fréquentes voire parfois

inexistantes pour des raisons structurelles (moyens financiers, absence de

motos, manque de personnel). Le SNIS, garant de l’éthique des données,

effectue quelques décentes annuellement mais là encore, la supervision globale

des 14 régions nécessite un effectif supérieur à 15 personnes (ADE, 2012).

Ainsi, ces difficultés structurelles limitant la vérification des données associées à

l’approche méthodologique induisant une interdépendance des données

augmentent le risque d’erreur dans les bases de données agrégées au niveau

régionale et national.


23

Utilité

Initialement, les systèmes de production de données de routine au niveau de la

région de Kolda ont décliné une périodicité de collecte et de diffusion

intéressante. Le district collecte ainsi les données chaque mois auprès des

établissements communautaires et est chargé de les transmettre au mieux

chaque trimestre au niveau de la région médicale. La région médicale s’attache à

consolider les bases de données produites par les districts et fournir des

données régionales chaque trimestre avant de les diffuser lors de la revue

semestrielle au niveau national. Ce niveau national s’appuie ainsi sur ces

données pour produire annuellement l’annuaire statistique de la santé. Ces

dispositions sont donc appropriées mais dans la réalité, ce système ne satisfait

pas cette planification.

Ainsi, suite à des mouvements syndicaux entamés en 2010, les données sont

depuis 2 ans incomplètes et non diffusées. Le blocage s’effectue essentiellement

au niveau des districts qui ont toutefois accès aux données locales mais ne

produisent plus d’efforts nécessaires pour assurer une continuité des données. Il

en découle ainsi, une remise en question sur la pertinence des données

collectées durant ce blocage étant données que la complétude et l’exactitude ne

sont plus assurée.

Accessibilité

Le calendrier de publication des données n’est pas suivi du fait des blocages

d’information au niveau des districts sanitaires. Toutefois, nos enquêtes révèlent

à mots cachés que ces données sont accessibles au niveau des partenaires qui

en font la demande auprès des services de supervision du District. Ceci laisse

apparaître une certaine obscurité sur le mode de diffusion des données sachant

que nous n’avons pu disposer de celles-ci tant au niveau du District Sanitaire de

Kolda qu’au niveau de la Région Médicale.

L’absence de publication ou de reporting officiel réduit l’évaluation de

l’accessibilité des données. Cependant, l’examen des rapports antérieurs (2010)

au niveau de la région médicale montre un effort pour simplifier l’information par


24

des graphiques générés automatiquement. Les données sont présentées sous la

forme de tableaux relativement lisibles et clairement définis.

Chaque donnée est définie par des métadonnées regroupées dans un manuel

intitulé « Manuel d’Harmonisation des Méthodes de Calcul des Indicateurs de

Base ». Cependant, aucun service n’a pu fournir ce document essentiel pour

l’assurance de la qualité et l’exploitation des données produites. Il convient donc

de présumer de sa disponibilité sans pour autant que celui-ci soit utilisé

régulièrement.

Enfin, aucun catalogue de publication n’est disponible permettant aux utilisateurs

d’identifier les documents pertinents à leurs requêtes. Egalement, le codage des

champs des tableaux rend difficile la lecture pour une personne tiers.


25

Synthèse

D’une manière générale, l’analyse du

système de production de données

statistiques du secteur Santé révèle un

niveau moyen du système de production

statistique malgré de nombreuses

contraintes d’ordres structurel,

méthodologique et opérationnel (Figure

6).

Figure 6. Evaluation du secteur de la santé selon les 12 composante d’un Système de Suivi-Evaluation

0

50

100

Unité SE Gestion des

données

Validation et

diffusion

Score du secteur de la santé par section


26

1. Organisation de l’Unité de suivi-évaluation

L’analyse des indicateurs définissant les performances d’un système de suivi-

évaluation montre ainsi, une bonne organisation de l’unité et devrait permettre

l’obtention de bons résultats. Si, théoriquement, le secteur de la santé est

correctement structuré pour fournir de l’information de bonne qualité et en temps

voulu, notre enquête soulève quelques difficultés qui constituent des blocages

structurels importants (qualification du personnel, moyens financiers, personnels

insuffisants). On notera également l’implication du système de suivi-évaluation

dans de nombreux partenariats tant financier que scientifique ce qui constitue un

tissu favorable pour l’amélioration des résultats et la validation des données.

2. Gestion des données et méthodes de collecte

Les carences en matière de gestion et de sécurisation des données modèrent

les performances du système en matière de qualité de l’information. Ainsi,

malgré un outil informatique rudimentaire fonctionnant sous Excel, l’unité peut

produire un monitoring intéressant. Cependant, les lacunes méthodologiques et

les failles sécuritaires réduisent la pertinence des données produites. Enfin,

l’absence de système de sauvegarde et la méconnaissance des protocoles

peuvent aboutir à la perte partielle ou globale de jeux de données.

3. Validation et diffusion

Cette partie est véritablement le point faible du système statistique de routine du

secteur de la santé. Face au mouvement de grève débuté en juin 2010, aucune

donnée n’est diffusée. Certaines données ont pu être collectées ponctuellement

par la région médicale mais le taux de complétude est rédhibitoire.

Le système de supervision mis en place pour contrôler les données est limité par

le manque de moyen. En l’absence chronique de contrôle tant par le niveau

supérieur que par le niveau central, la qualité des données ne donne donc

aucune assurance aux utilisateurs les amenant à procéder à leurs propres

enquêtes.


27

Analyse du secteur Education


Le système statistique de routine dans l’éducation répond avant tout à aux

besoins statistiques nationaux. Ainsi, le système central a mis en place une

structure épousant l’organisation décentralisée de ce secteur. Ceci s’effectue par

l’élaboration des questionnaires et fiches d’enquêtes mais également par un

système centralisé des données. Les directives en matière de collecte statistique

sont donc imposées aux IDEN et IA. Ceci permet de définir une stratégie

homogène et plan d’actions annuel bien structuré.

Cependant, la structuration des services reste essentiellement théorique et ne se

traduit pas par une organisation opérationnelle efficace. En effet, que ce soit

pour IA ou pour les IDEN, le personnel déployé pour la production des données

ne possède pas de formation initiale en suivi-évaluation. L’ensemble des

planificateurs sont issus du corps enseignant et s’appuient uniquement sur des

formations internes. D’ailleurs, la formation continue n’existe que ponctuellement

et n’offre pas une mise à niveau du personnel.

On notera également, l’absence de matériel adéquat et fonctionnel au point où le

planificateur de l’IA utilise son matériel personnel pour travailler. Au niveau des

IDEN, il existe une grande disparité d’un département à l’autre. Ainsi, à Kolda, le

service de la planification dispose d’une machine connecté à un réseau intranet

tandis qu’à Médina Yoro Foula, l’alimentation en électricité faisant défaut,

l’équipement informatique est devenu une priorité secondaire.

Ces carences s’accentuent avec l’absence de partenariat extérieur et contribuent

à une marginalisation du service (notamment pour l’IA) par rapport aux autres

services. Lors des entretiens, nous avons pu noter une forte lassitude des agents

par rapport aux conditions de travail. Ceci engendre donc une dispersion des

agents et favorise les départs de ces agents vers d’autres postes.


Au niveau national, la DPRE et la DPSR élaborent les statistiques annuellement

de manière impartiale (ADE, 2012). Néanmoins, l’absence de notes


28

méthodologiques expliquant notamment les méthodes de calculs et les chiffres

de la population utilisés limite la transparence.

Au niveau régional, les carences structurelles observées s’ajoutent à un déficit

de confiance par rapport à l’intégrité des traitements de données. Nos entretiens

« utilisateurs » ont souligné un manque de confiance important à tous les

niveaux de la chaîne de collecte.

La construction des bases de données au niveau régional et départemental

n’intègrent pas un système d’archivage et de sécurisation des données.

L’archivage des données est quasi inexistant et très peu méthodique. Les

formulaires ne sont pas conservés dans leur intégralité. Enfin, hormis pour le

système national StatEduc, l’accès aux bases de données n’est pas restreint par

un système de droits offrant une traçabilité des modifications des données.

Enfin, la politisation du secteur de l’éducation impacte l’intégrité des données

statistiques. Les enquêtes auprès des utilisateurs des données ont montré une

grande méfiance quant à l’intégrité des données. En effet, ces données

constituent pour les producteurs un moyen d’orienter futures lignes budgétaires

notamment dans l’affrètement du matériel de classe.

Ces inquiétudes constatées auprès des utilisateurs des données et partenaires

des établissements sanitaires de la région de Kolda n’ont cependant pu être

vérifiée. Cependant l’absence de crédit des utilisateurs souligne une nécessité

pour ces établissements de renforcer d’une part, la transparence dans la

diffusion des données et d’autre part, l’effort de contrôle des données à tous les

niveaux à travers des collectes indépendantes du système de santé lui-même.


Au niveau méthodologique, le secteur de l’éducation est assez performant

malgré les difficultés structurelles affichées. Cette rigueur imposée par le niveau

central est assez bien respectée au niveau de la collecte tant dans le respect de

la nomenclature UNESCO que dans l’implémentation d’un formulaire

accompagné d’une notice d’utilisation. Chaque agent est formé pour remplir le

formulaire et celui-ci est dûment rempli par les directeurs d’école. Néanmoins, il


29

existe peut de documents méthodologiques expliquant les calculs réalisés pour

les indicateurs diffusés.

Les limites méthodologiques s’observent sur trois axes principalement : la

supervision, l’agencement des données au niveau des services régionaux et

départementaux et la confidentialité des données.

Au niveau de la supervision, on note un certain nombre de limites telles que

l’absence d’opérations de contrôles sur le terrain mais aussi l’absence de

contrôle des données avant publication entraînant des erreurs évitables. Ainsi,

aux planificateurs des IDEN ont pour mission de contrôler les données fournies

par les directeurs d’écoles. Ces supervisions s’opèrent au cas par cas dès lors

qu’un questionnaire n’est pas correctement rempli. En contre partie, aucune

supervision spontanée n’est programmée ce qui réduit tout contrôle effectif des

données transmises et laisse la qualité des données à l’intégrité des directeurs

d’écoles. L’IA également procède très rarement à un contrôle des données,

collectant uniquement les données des IDEN. Enfin, la DRPE effectue quelques

missions de supervision au cours d’années au niveau de l’IA et des IDEN

(principalement l’IDEN de Kolda) pour évaluer la qualité du service mais le temps

imparti ne permet pas d’évaluer la qualité des données.

Au niveau de l’organisation des données, que ce soit à l’IDEN ou à l’IA

l’exploitation des données suscite quelques inquiétudes méthodologiques. Nous

avons ainsi constaté la présence d’une base « locale » sous Excel dans laquelle

figure les données saisies de chaque établissement. L’agencement des données

sous Excel montre de réelles carences méthodologiques ne permettant pas

d’exploiter les capacités du logiciel en matière des tris ou des croisements de

données par exemple. Cette base locale mal agencée facilite ainsi les erreurs de

calcul (les agents utilisent très peu les fonctions de calcul automatique d’Excel)

et réduisent drastiquement les possibilités d’exploitation.

Enfin, l’absence de rigueur se constate également au niveau de la confidentialité

des données. En effet, les bases de données issues des directeurs d’écoles et

notamment le listing nominatif des élèves est très souvent transmis au partenaire

allant à l’encontre des normes éthiques sur les bases de données. De plus, les

agents n’hésitent pas à donner les formulaires remplis laissant ainsi libre accès à

des données nominatives sur le personnel et leur quota horaire.


30

D’une manière générale, on peut conclure que le cadre méthodologique est bon

mais que l’application est moins rigoureuse. Ces limites réduisent ainsi la

crédibilité des services et laissent planer des doutes sur la transparence des

données fournies.


A l’image de l’aspect méthodologique, l’exactitude des données et leur fiabilité

présente une certaine ambivalence notamment dès lors que l’on passe à la

phase opérationnelle.

Ainsi, le calcul d’indicateurs comme le taux brut de scolarité nécessite l’utilisation

de données démographiques. N’étant pas dans les missions du secteur de

l’éducation, les services concernés collectent des données auprès de l’ANSD.

Ces données sont basées sur une projection des données du dernier

recensement (2002) en s’appuyant sur un découpage administratif antérieur à

2008. Les changements récents des limites administratives des collectivités

territoriales ont ainsi contraint la DPRE et les services décentralisés à estimer les

données de population. Aucun document méthodologique n’a pu être présenté

afin de comprendre et d’analyse le degré d’exactitude au niveau de Kolda.

L’évaluation faite au niveau central montre certaines incohérences dans les

estimations faites (ex : baisse de la population des 7 ans entre 2004 et 2009,

puis une forte hausse en 2010) (ADE, 2012). Ces données estimées ont une

incidence majeure sur les indicateurs calculés et remettent ainsi en cause leur

fiabilité.

Les données présentent un bon niveau de désagrégation avec

systématiquement la décomposition des données par âge, genre et écoles. Ceci

permet de dresser des indicateurs avec une bonne exactitude. Au niveau

géographique, le lien entre écoles et découpage administratif n’est pas toujours

maintenu au niveau de l’IA alors qu’il l’est pour l’IDEN et réduit ainsi l’analyse

des données à une échelle géographique plus fine (ex : communauté rurale,

arrondissement).

L’absence de système de vérification automatisé et la faible automatisation des

calculs (via Excel) augmentent les possibilités d’erreurs. De plus, le système


31

d’archivage défaillant des formulaires d’enquête contribue à une faible traçabilité

réduisant les possibilités de vérification par l’agent ou par un service extérieur.

Le système de collecte mis en place implique également une interdépendance

des données. L’agrégation de données du niveau local au niveau départemental

et régional puis au niveau national nécessite un effort important de contrôle et de

vérification des données. Or, cette supervision n’étant pas opérationnelle, les

erreurs se cumulent. Malheureusement, au niveau central, aucune instance de

validation des données existe et donc laisse place à la publication d’erreurs au

niveau des rapports.

Utilité

Le ministère à travers le PDEF publie chaque année un annuaire statistique

agrégeant les données fournies par les IA. Ces données conservent les données

des IDEN. Néanmoins, l’IA de Kolda et les 3 IDEN ne produisent pas de rapports

et s’attachent ainsi uniquement à fournir des données suivant la planification des

revues. La continuité des données est bonne et permet de suivre les indicateurs

d’une année à l’autre. Seulement, les problèmes méthodologiques cités

précédemment remettent en question la pertinence de cette continuité des

données.

Les données produites au niveau régional et départemental sont néanmoins

accessibles. Ainsi, l’IDEN et l’IA diffuse à la demande les données collectées les

plus récentes auprès des partenaires. On regrettera seulement que cette

diffusion ne soit pas systématisée afin d’accroitre le rôle de ces services. Du côté

des utilisateurs, les données produites au niveau régional sont assez utiles et

permettent d’avoir un regard critique sur les données nationales afin d’affiner

leurs stratégies. Toutefois, le format des données transmises par les IA et IDEN

ne permet pas une utilisation optimale et force les utilisateurs à modifier la

disposition des tableaux pour manipuler les données convenablement.

Enfin, la disponibilité des planificateurs et agents en charge des statistiques est

bonne et permet à tous les utilisateurs d’accéder à l’information facilement et

rapidement.


32

Synthèse

L’analyse du système statistique de

routine du secteur de l’éducation

montre un niveau de contrainte

assez important malgré une

organisation impulsée par le niveau

central (Figure 7).

Figure 7. Evaluation du secteur de l’éducation selon les 12 composante d’un Système de Suivi-Evaluation

0

50

100


données

Validation et

diffusion

Score du secteur de l'éducation par section


33


Les unités du secteur de l’éducation dans la région de Kolda sont symbolisées

par un personnel non qualifié et peu formé. De plus, l’absence de partenariat des

services statistiques locaux et la considération limitée des responsables envers

les statistiques fait que ces services sont isolés et parfois abandonnés.


L’outil de collecte est cohérent et développé rigoureusement par les services

centraux. Au niveau local, la phase opérationnelle est rendu plus difficile du fait

de la faiblesse des outils de traitement et de moyens de supervision. L’absence

de système de gestion de base de données limite l’exploitation et la sécurisation

des données. Ainsi, malgré un cadre méthodologique rigoureux, les conditions

d’exécution ne garantissent pas une assurance qualité acceptable.


Au niveau de la région de Kolda, il n’existe pas de reporting et de diffusions

systématiques des données. Les données sont accessibles à la demande et

s’appuie sur la disponibilité et la bonne volonté des planificateurs.

La validation des données pose d’une manière générale problème. En effet,

l’évaluation n’est pas performante notamment au niveau de l’IDEN où peu

vérifications sont faites au niveau des écoles. Ceci contribue à une perte de

crédibilité des données de la part des utilisateurs qui collectent eux même leurs

propres données à travers des enquêtes parallèles.


34

Analyse du secteur de la Protection

L’examen du secteur de la Protection des enfants a mis en exergue un secteur

excessivement compartimenté avec un nombre important d’acteurs œuvrant

pour la protection des enfants (Figure). Ces acteurs à travers leurs actions de

prise en charge ou de sensibilisation élaborent des bases de données

spécifiques. L’examen de la collecte au niveau local n’a pas fait l’objet ici d’une

évaluation spécifique.


Les différents services (AEMO, CTS, SDDC et SDAS) ne bénéficient pas de la

part des ministères de tutelle d’un support technique adéquat leur permettant de

développer une réelle stratégie en matière de suivi-évaluation. Il en résulte

l’absence de personnel qualifié mais aussi de matériel informatique ou plus

généralement, de conditions de travail offrant un cadre favorable à la tenue de

bases de données (pas de groupes électrogènes ou d’onduleurs).

Au niveau des statistiques, très peu d’activités sont planifiées et se cantonnent

majoritairement à tenir une main-courante. On note toutefois du CTS, un effort

pour recenser des personnes vulnérables telles que les personnes handicapées

(données collectées par le SDAS). Ces données sont encore peu consolidée

mais l’impulsion des ONG tel que Child Fund laisse envisager une certaine

émulation des acteurs de la protection des enfants. Ainsi, on note que l’AEMO

vient de se renforcer en personnel et en équipement informatique afin de

construire une base de données sur les enfants en conflit avec la loi. Il serait

cependant profitable pour cette structure de recevoir un appui méthodologique

pour mettre en place une base de données efficace.

Le CTS ayant pour mission de coordonner les actions en matière de protection

ambitionne ainsi de jouer un rôle tant dans la compilation des données que dans

la mise en place d’une stratégie collective. Néanmoins, ces objectifs n’ont

toujours pas été discutés lors des réunions.


35


Malgré la faiblesse des données collectées, les différents services font preuve

d’efforts et d’intégrité dans le recensement des informations. Pour l’AEMO, par

exemple, chaque enfant ayant été en conflit avec la loi est identifié de manière

systématique. Ces données ne sont pas corrigées et sont conservée à l’état brut.

D’un point de vue des utilisateurs, les données issues de ces services sont

précieux car très peu de données sont accessibles (données de la Police ou du

Tribunal restent confidentielles) ou existantes. Il y a donc une forte interaction

entre les utilisateurs et les services sociaux pour renforcer leur effort en matière

de statistiques.

Néanmoins, les utilisateurs soulignent la faiblesse méthodologique et de

compétence des services en matière de statistiques installant une certaine

méfiance sur les chiffres produits.


Au niveau méthodologique, aucun document ou notice explicative existe. Les

agents n’étant pas formés pour l’approche statistique, n’ont pas de références

statistiques et n’ont pas l’autonomie pour développer une méthodologie

rigoureuse consolidant les données collectées.

Néanmoins, on note une certaine disparité d’un service à l’autre notamment au

niveau de la collecte et des techniques de gestion des données utilisées.

Pour tous les services, la collecte d’information s’effectue soit systématiquement

ou par enquête. Cependant, si le recensement des bénéficiaires est assez bien

tenu notamment pour l’AEMO, la collecte proprement dite des données est quasi

inexistante. L’AEMO ou encore le SDAS déroulent des enquêtes sociales qui

leur permettent d’affiner leur action mais celles-ci, qualitative et à l’échelle de

l’individu, n’offre pas de perspectives statistiques. Il n’y a pas d’enquêtes

ménages réalisée dans un cadre rigoureux et à l’échelle de la région permettant

de statuer sur la situation sociale de la région de Kolda.

La gestion des données fait elle aussi défaut. Ainsi, certains services

enregistrent leurs données à l’aide Word afin de les transmettre à leur tutelle.


36

D’autres services tels que le CTS ou l’AEMO utilisent Excel mais l’exploitation

des données reste encore sommaire.

Enfin, d’une manière générale, la supervision et la validation des données font

défaut. Que ce soit en interne ou externe, il n’existe pas de contrôle des

données. Les seuls contrôles résident dans la tenue des registres mais malgré

cette règle, on a pu constater l’absence d’enregistrement dans certains services

depuis 2008.

D’un point de vue méthodologique, on constate donc un retard important et en

partie lié au fait que ce secteur soit très cloisonné. La mise en place récente du

CTS permet d’envisager un cadre méthodologique intéressant à travers une

collaboration entre les services sociaux et les ONG (ex Child Fund) qui ont des

moyens statistiques plus efficaces. L’un des objectifs du CTS est d’harmoniser

les données et de faciliter l’interopérabilité des différentes bases de données.


L’exactitude des données est différente d’un service à l’autre mais dans

l’ensemble, ces bases de données s’appuient sur un bon détail de l’information.

Ainsi, pour l’AEMO, les données sur les enfants en conflit avec la loi intègre le

genre, l’âge et la localisation. Pour chaque individu, la situation de conflit est

suffisamment détaillée pour permettre une classification riche des enfants en

conflit avec la loi. A l’inverse, le cas des enfants des rues ou Talibés soulève des

difficultés pour détailler l’information notamment sur l’âge, l’origine des enfants

mais surtout sur l’identification des enfants entrouvrant la possibilité double-

comptage.

Néanmoins, malgré un niveau d’information intéressant, les données produites

restent trop isolées et pas systématiques des enfants. Les données sont ainsi

faiblement représentatives et ne permettent pas d’avoir une vue globale de la

situation en matière de protection. La couverture géographique des services

également se concentre sur les zones urbaines et faciles d’accès. Il est donc

difficile d’avoir l’information sur la paupérisation des ménages ou encore le degré

de délinquance dans les zones excentrées.


37

Utilité

Compte tenu des difficultés méthodologiques et opérationnelles, les données

produites souffrent d’un taux de complétude faible. Il est donc difficile d’extraire

des indices à l’échelle départementale ou régionale à l’exception d’informations

propres au système judiciaires ou social (ex : nombre de personnes pris en

charge par le service).

Malgré des difficultés majeurs, les données lorsqu’elles existent sont diffusées à

l’autorité de tutelle en respectant les délais. Ainsi, l’AEMO produit

trimestriellement un récapitulatif des cas gérés par le service et les transmets au

ministère de la Justice. Ces données seront ensuite intégrées dans l’annuaire du

ministère de la justice annuellement. Néanmoins, il n’y a pas de diffusion

systématique auprès des partenaires et le CTS n’a pas encore prévu la mise en

place d’un bulletin d’information ou d’une revue pour la diffusion de ces données.

Les données produites sont accessibles auprès des services et du CTS. Les

différents services n’ont pas de restrictions dans la transmission des données à

l’exception des données nominatives. Les données accessibles sont agrégées

pour éviter d’accéder à l’information confidentielle.


38

Synthèse

L’analyse du système statistique de

routine du secteur de la protection de

l’enfant évoque une situation

complexifiée par la multiplicité des

acteurs et la faible organisation du

système (Figure 8).

Figure 8. Evaluation du secteur de la protection selon les 12 composante d’un Système de Suivi-Evaluation

0

50

100


données

Validation et

diffusion

Score du secteur de la protection par section


39


Les services sociaux de la région de Kolda n’ont pas de personnel dédié à la

production statistique. Cette responsabilité repose sur généralement le seul

agent qui n’est pas formé pour accomplir ces tâches de manière efficace et

rigoureuse. Les unités ont une stratégie et un plan d’activités rudimentaires.

Ayant pour principal objectif d’améliorer la cohésion entre les différents services,

le CTS ne propose pas encore une stratégie en matière de statistique. Des

échanges méthodologiques sont inscrits dans les tâches du CTS qui assurera un

rôle de catalyseur statistique appuyé par l’ONG Child Fund.


Les méthodes de données ne sont pas conformes aux normes statistiques.

L’absence de méthodologie rigoureuse s’associe à une gestion des données

faisant défaut et une vérification des données inexistante. La collecte reste donc

sommaire et les données sont issues de l’enregistrement des cas traités par ces

services sociaux.

Ainsi, les conditions d’exécution actuelles ne garantissent pas la production de

statistiques de routine complètes et représentatives.


Il n’existe pas encore de reporting à l’échelle de la région de Kolda. Néanmoins,

les données produites sont accessibles à la demande et s’appuie sur la

disponibilité des agents des services sociaux.

La validation des données n’est pas réalisée et compte-tenu des lacunes

méthodologiques, cette étape remet en cause la véracité de nombreuses

données. Ceci contribue à une perte de crédibilité des données de la part des

utilisateurs qui collectent eux même leurs propres données à travers des

enquêtes parallèles.


40

Conclusion

Recommandations

Besoins structurels

1) Face aux difficultés structurelles recensées précédemment, il paraît

primordial pour la région de Kolda de mettre en place une politique de

ressources humaines efficace se traduisant par le recrutement de

personnel ayant les compétences en Suivi-Evaluation. Un

programme de formation continue constituerait une possibilité d’élever les

compétences locales notamment en matière de statistiques et de

diffusion web.

2) En parallèle au renforcement de capacité, il conviendra de renforcer le

partenariat des équipes du Suivi-Evaluation pour permettre plus

d’interactions avec les instituts de recherche, l’université ou programmes

nationaux. Une plus grande implication des services déconcentrés offrirait

la possibilité d’améliorer drastiquement la qualité des données et de

pallier au manque de moyen chronique de ces services.

3) Au-delà de la formation individuelle, la mise en place d’un programme de

formation des producteurs et des utilisateurs de données statistiques

au niveau régional et départemental devrait être placée comme action

prioritaire pour la région de Kolda. En effet, les producteurs ainsi que les

utilisateurs nécessitent d’échanger et de comprendre les possibilités

offertes par les données statistiques mais aussi comment les décideurs

ou utilisateurs seront amenés à manier celles-ci.

4) L’approche actuelle de la décentralisation n’encourage pas les structures

déconcentrées à utiliser leurs données pour organiser leur stratégie. Lors

des différents entretiens avec les responsables de services, les

statistiques sont évidemment important stratégiquement mais les

décisions sont soumises à l’autorité de tutelle qui ne perçoit pas toujours

les mêmes priorités. A l’image de la santé qui est en train de mettre en

place des contrats de performances avec financement basé sur les

résultats (FBR), une réforme des stratégies ministérielles visant à

encourager la production de statistiques à travers l’implication des


41

services déconcentrés dans l’analyse des goulots d’étranglement et la

proposition de solutions à l’échelle de leur région ou département

donnerait lieu à une nécessité d’avoir des statistiques fiables et

fréquentes.

Qualité des données

1) D’un point de vue méthodologique, l’amélioration de la qualité se

trouverait renforcée avec l’élaboration de documents et notices de

procédures et d’utilisation. Hormis quelques rares documents

existants, ce type de documents fait défaut et fragilise la structure dès

lors qu’un agent est appelé à d’autres fonctions. Ce renforcement

documentaire permettra d’assurer une continuité des données.

2) La supervision à travers l’évaluation des données doit être considérée

comme partie intégrante de la production statistique. Actuellement, trop

peu de vérifications des données sont effectuées et mettent à mal la

crédibilité des services. La supervision doit également permettre de

surveiller la situation au-delà du système lui-même afin d’évaluer les

lacunes et définir des objectifs.

3) La gestion des données doit être faite simplement et efficacement pour

permettre la manipulation des données et la production d’indicateurs sans

risque d’erreur. Pour cela, nous encourageons les dispositifs « Excel »

mais ils nécessitent une optimisation dans leur élaboration afin que ces

systèmes soient opérationnels.

4) Enfin, la sécurisation des données est un élément important dans tout

système de données. A Kolda, cet aspect fait nettement défaut et

accentue les possibilités de perte de données, de formulaires ou encore

de modifications accidentelles des données. Il serait précieux de mettre

en place une mise à niveau des protocoles de sécurité des données et

d’archivage notamment avec une sécurisation hors-sol des données.


42

Diffusion

La diffusion des données est un point négatif qui ressort dans les trois secteurs.

Mis à part le mouvement de blocage des données pour le secteur de la Santé, le

mode de diffusion des données ne permet pas à la région et aux acteurs locaux

d’avoir régulièrement des informations complètes et synthétiques.

1) Le service régional de la statistique doit faciliter la mise à disposition de

l’information pour les différents services et ainsi encourager l’interaction

entre les différents secteurs.

2) Pour y palier, un renforcement de l’ARD de Kolda en tant qu’entité

régionale transversale pourrait favoriser la prise en charge de la diffusion

des données avec notamment l’édition d’un bulletin statistique régional

intersectoriel visant à publier les données statistiques de routine pour les

3 départements de Kolda. De plus, l’ARD disposant d’un site web pourrait

mettre à disposition de l’information régionale palliant ainsi l’absence de

site web des différents services

Relations intersectorielles

Les relations intersectorielles ne sont pas très intenses et rend les bases de

données très peu échangeables d’un secteur à l’autre. Le SISE-DL de l’ARD

favorise les échanges entre les différents secteurs notamment en combinant de

nombreux indicateurs provenant des 3 secteurs. Cet outil doit permettre de

prendre des décisions basées sur une approche intégrée et non plus sectorielle.

Néanmoins, certaines données ne sont pas interopérables d’un secteur à l’autre.

Par exemple, cette interopérabilité fait souvent défaut dans les tranches d’âges

des enfants qui varient d’un secteur à l’autre. Il en est de même avec le

découpage géographique des données où les districts ne correspondent pas

toujours à la même circonscription que l’éducation. Il faut nécessairement

renforcer cet aspect en facilitant l’échange méthodologique intersectoriel afin de

permettre une meilleure désagrégation des données.

Enfin, dans le but de renforcer l’échange des données et l’utilisation des données

des autres secteurs, une sensibilisation sur l’intérêt de collaborer ensemble pour

rendre les services plus performants peut être envisagée. Ainsi, l’échange de


43

données s’appuiera sur une demande effective de chaque service et

encouragera ainsi un besoin mutuel de l’interopérabilité des données. Cette

promotion de l’intersectorialité est nécessaire afin que le SISE-DL devienne un

outil partagé par les différents secteurs et pas seulement l’outil de planification

de l’ARD.


44

Références

ADE, 2012, Etude d’évaluation des besoins pour une amélioration de la qualité

des statistiques du schéma directeurs de la statistique au Sénégal ; Rapport

final, Mars 2012, Louvain, 63 p. + 11 annexes.

Boone, D., Tran Ba Huy, R., Hardee, K., Alayon, S., Pervilhac, C.,

Souteyrand, Y., et La Tour, A., 2008, Routine Quality Assessment Tool :

Guidelines for implementation ; The Global Fund to Fight Aids, Tuberculosis and

Malaria,Office of the Global AIDS Coordinator, PEPFAR, USAID, WHO,

UNAIDS,MEASURE Evaluation, 21 p.

FIDA, 2003, « Collecter, gérer et communiquer l’information » ; Guide pratique

de S&E des projets, 6, 32 p.

Okello, F., Kitungulu, B., Kabore, I., Lew, K., et Adhikary, R.,

2012,Participatory Data Quality Assessment (PDQA) Guidelines : Global

Guidelines for FHI 360 Country Offices ; Family Health International 360, New-

York., 21 p.

UNSAID, 2010, 12 Components Monitoring &Evaluation System Assessment -

Guidelines to Support Preparation, Implementationand Follow-Up Activities ;

Geneva, 36 p.

USAID, 2008, « Conducting data quality assessments» ;TIPS, 18, June 2010, 9

p.

USAID, 2010, Data Quality Audit Tools : Guidelines for implementation ; MS-08-

2, 106 p.


45

Annexes

Liste des personnes contactées

M. Dabo – Directeur Adjoint de l’Agence Régionale de Développement M. Ngom – Adjoint au Gouverneur de Kolda 77 529 06 11 P. Senghor – Chef adjoint du service régional de la planification 33 996 12 63 Services sectoriels Education M. Dia – Inspecteur d’Académie adjoint 77 658 88 26 M. Baldé – Planificateur IA Kolda 77 652 03 66 C. Sagna – Planificateur IDEN Médina Yoro Foula 77 571 20 01 Planificateur IDEN Médina Yoro Foula Santé B. Gningue – Médecin Chef de la Région Médicale de Kolda M.E. Badiane – Coordinatrice de la RM de Kolda M. Ndiaye – Médecin chef intérimaire du DS de Kolda 77 653 44 07 A. Badiette –Superviseur du DS de Kolda 77 554 93 02 Protection M. Ba – Chef du service départemental de l’action sociale 77 532 37 67 O. Diatta – Chef de l’AEMO de Kolda 77 558 24 54 M. Ouattara – Adjoint de l’AEMO de Kolda 77 552 86 36 M. Diatta – Chef du service départemental du développement communautaire Partenaires D. Sagne - Chargé de programme WorldVision 77 541 64 27 A. Diamanka – Chargé de programme Aide et Action Faye – Chef du bureau Child Fund Kolda

Unicef Mamadou O. Bah – Chef du bureau Unicef Ziguinchor X. Crespin – Chef Section Santé Diop – Section Santé – Bureau Ziguinchor J. – Chef Section Protection A. Gueye - Section Protection – Bureau Ziguinchor Y. Kassoka – Section Protection M. Fall – Section Education Gassama – Section Education – Bureau Ziguinchor


46

Entretien Producteur

Question 1 : La structure et ses missions Objectifs

• Connaître les missions et l’organisation de la structure

• Mettre en place un climat de confiance

Question principale

• Quelle est la mission de votre établissement ?

Questions supplémentaires

• Comment votre équipe est-elle organisée ?

• Y a-t-il des difficultés majeures pour réussir votre mission ?

Question 2 : Le système statistique et la mission de la structure Objectifs

• Connaître le niveau d’implication de l’interviewé dans le déploiement des

données statistiques de la structure

• Evaluer le besoin en statistiques de la structure pour répondre à la

mission

Question principale

• Comment la collecte de données et leur analyse contribue à vos

missions ?


• A quel niveau, les statistiques sont-elles utilisées (services, missions)?

• Selon vous, l’utilisation est-elle idéale, optimale ou bien celle-ci pourrait

être plus efficace ? Comment ?

Question 3 : Les données statistiques des structures partenaires Objectifs

• Savoir comment cette structure est interconnectée avec les différents

systèmes statistiques

Question principale


47

• Au sein de votre secteur (Santé, Education et Protection), comment

percevez-vous le rôle les mécanismes de collectes et d’utilisation des

statistiques pour votre mission mais aussi celles de vos partenaires ?


• Comment sont vos rapports avec les structures hiérarchiques et sous

votre tutelle dans la collecte et l’exploitation des données ?

Question 4 : Evaluation de votre système statistique de routine Objectifs

• Savoir s’il y a eu déjà eu une évaluation

• Connaître la perception par l’interviewé de notre mission

Question principale

• Avez-vous déjà procédé à une évaluation de votre système statistique de

routine ?


• Si oui : Dans quel cadre cette évaluation a été réalisée ? Avez-vous eu

accès aux résultats ?

• Si non : Quelle est votre attente par rapport à cette évaluation ?


48

Questionnaire Producteur

A. Structure et activités du S&E

1 Organisation de la structure Indicateurs Score Commentaires

1.1 Les membres de l’équipe S&E sont identifiés

1.2 Chaque membre a une mission déterminée

1.3 Les membres de l’équipe S&E sont identifiés et leur rôle bien établis

1.4 Chaque membre connaît sa mission et celle des autres membres

1.5 L’équipe SE bénéficie d’un budget alloué

Total section 1.

2 Ressources humaines et capacités 2.1 L’équipe est en nombre suffisant pour répondre

à leurs tâches

2.2 Le S&E dispose d’un matériel informatique adéquat et fonctionnel

2.3 Au moins un des membres à une formation de statisticien ou une expérience professionnelle équivalente

2.4 L’équipe dispose d’un plan de formation annuelle

2.5 Au moins 75% des membres de l’équipe S&E ont bénéficié d’une formation dans l’année précédente

Total section 2.

3 Orientation stratégique

3.1 L’équipe S&E a des objectifs annuels évalués régulièrement

3.2 L’équipe S&E possède des indicateurs de suivi de ses objectifs


49

3.3 L’équipe S&E dispose d’un monitoring des objectifs

3.4 Les indicateurs sont mis à jour régulièrement

Total section 3.

4 Planification des activités

4.1 Les activités de collectes du S&E sont planifiées

4.2 Les activités de diffusion S&E sont planifiées

4.3 L’audit des données est programméannuellement

4.4 Les mises à jour des données sont planifiées

Total section 4.

5 Communication et valorisation

5.1 L’équipe S&E utilise le bulletin de la structure pour communiquer sur ses résultats

5.2 L’équipe S&E possède une ou plusieurs pages sur le site de la structure

5.3 Les données sont utilisées dans des publications scientifiques

5.4 L’équipe participe à des réunions d’échanges au niveau national

Total section 5.

6 Partenariat

6.1 L’équipe du S&E dispose d’un partenariat national et international d’échanges techniques et méthodologiques

6.2 L’équipe est inscrite au sein d’un réseau méthodologique sur le S&E

6.3 L’équipe S&E participe à des programmes de recherche


50

6.4 L’équipe du S&E bénéficie d’un appui financier ou matériel extérieur

Total section 6.

Total Section A

B. Données et système de gestion

1 Collecte des données Indicateurs Score Commentaires

1.1 L’équipe S&E a à disposition un manuel/guide de collecte de données

Référence

1.2 Les données collectées sont assez précises pour mesurer les indicateurs (genre, âge, …)

Précisez le mode de collecte

1.3 Les données collectées permettent de descendre à l'échelle plus fine (géographiquement)

Laquelle

1.4 La source des données collectées, la date, les formulaires et les outils sont mentionnées dans tous documents

1.5 Le S&E procède à la collecte de données sur le terrain

1.6

Si le S&E procède à la collecte de données sur le terrain, les données de terrain sont immédiatement saisies dans la base de données

1.1 L’équipe S&E a à disposition un manuel/guide de collecte de données

Total section 1.

2 Implémentation & système de gestion de bases de données (SGBD)

2.1 L’équipe S&E a à disposition un manuel/guide d’utilisation du SGBD

Référence

2.2 Chaque base de données possède un jeu de métadonnées sur l’ensemble des champs, date de collecte, auteur, zone géographique

2.3 Dans le manuel, y-a-t-il une explication pour la vérification automatique des données

2.4 La base de données est sur format électronique et peut être exportée

Quel logiciel ?


51

2.5 Si oui, un moyen de contrôle de saisie est implémenté dans le SGBD.

2.6 L’identifiant identique au questionnaire est conservé

2.7 Les utilisateurs ont accès à la base par un système de droits spécifiques

Total section 2.

3 Contrôle du système et sauvegarde 3.1 L’équipe S&E a à disposition un manuel/guide

explicatif de l’agrégation et de manipulation des données

Référence

3.2 L’équipe S&E a à disposition un manuel/guide explicatif pour les procédures de supervision et de contrôle des données

Référence

3.3 Le système permet de croiser les données, d’éliminer les données erronées et de faciliter l’analyse des données

3.4 Les données sont vérifiées avant le reporting et l’exportation vers un niveau d’agréation supérieur

3.5 L’équipe S&E a à disposition un manuel/guide de procédures pour la sauvegarde et l’archivage des données

Référence

3.6 Les questionnaires/registres sont archivés selon les protocoles

3.7 Les bases de données ont un système de sauvegarde automatique amélioré (Sauvegarde programmée et distante)

Total section 3.

Total Section B

C. Validation et diffusion

10 Reporting Indicateurs Score Commentaires

10.1 L’équipe S&E a à disposition une notice précisant l’ensemble des documents, guides et rapports produits par le système

Référence

10.2 L’équipe S&E dispose d’un gabarit standardisé pour publier en routine des rapports statistiques directement depuis la base de données


52

10.3 Une périodicité de la publication des rapports existe

Précisez la périodicité

10.4 Les rapports sont précis, complets et respectant les fréquences de publication

10.5 Les rapports respectent les fréquences de publication

10.6 Les indicateurs pertinents sont insérés dans les rapports nationaux

Total section 10.

11 Evaluation des données 11.1 L’équipe S&E dispose d’un manuel de

procédures d’évaluation des données collectées

Référence

11.2 Un processus d’évaluation des données est planifié

11.3 Une évaluation de la qualité des données est réalisée périodiquement

Précisez la périodicité

11.4 Les indicateurs font l’objet de recherche sur la pertinence et sont réévaluer

11.5 Les indicateurs ont été réévalués et modifiés

11.6 Les commentaires et corrections des rapports sont pris en compte et des mises à jour faites

Total section 11.

12 Diffusion et utilisation 12.1 Les données sont diffusées périodiquement

12.2 Les données sont diffusées sur des annuaires ou bulletins

12.3 Les données sont diffusées sur internet

12.4 L’utilisation des données par des parties tierces est recensée et renseignée

12.5 Les données sont partagées avec les collègues techniques


53

12.6 Les données sont partagées avec les partenaires techniques

12.7 Les données sont utilisées dans des publications scientifiques

Total section 12.

Total Section C

351gion de Kolda.docx) - UNICEF · Fiabilité Les données ont été mesurées, collectées,...

Documents

Transcript of 351gion de Kolda.docx) - UNICEF · Fiabilité Les données ont été mesurées, collectées,...