Post on 03-Apr-2015
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne1
Introduction au suivi et à l’évaluation
Jean-Pierre Gervasoni, Thérèse Huissoud, Françoise Dubois-Arber Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne
Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées.
Paris, IMEA, 25 au 27 novembre 2009
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne2
Objectifs pédagogiques
A la fin de la journée les participants seront capables de:
Définir les différents concepts de Suivi et Evaluation Décrire le rôle du Suivi et Evaluation dans le cycle du
programme Décrire les divers types d’évaluation Formuler des questions d’évaluation Créer des indicateurs pertinents Décrire les divers utilisateurs des résultats de
suivi/évaluation
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne3
L’évaluation, c’est quoi pour vous?
À quels mots /idées l’associez-vous? Avez-vous déjà été impliqué(e) dans une évaluation
et à quel titre?
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne4
Principales raisons d'entreprendre une évaluation Investiguer la nécessité, la pertinence d'un
programme Planifier un programme Suivre la mise en oeuvre d'un programme Comprendre les raisons des réussites et échecs Vérifier l’efficacité et l’utilité d’un programme Améliorer les programmes Etre responsable et motiver les parties prenantes
(partenaires) Rendre des comptes
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne5
L‘importance de S/E pour les Programmes Nationaux de VIH/SIDA
Fournir une information (stratégique) pour les décideurs, pour un meilleur pilotage de la lutte contre le VIH/sida
Plaidoyer: convaincre les décideurs et les politiciens de la nécessité d’un meilleur engagement politique pour la mise en œuvre des programmes
Tirer les leçons des programmes efficaces, pour les reproduire dans de nouvelles régions
Réorienter les priorités quand l'épidémie elle-même continue à changer
Justifier l’utilisation des fonds et assurer la transparence
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne6
Proportion des professionnels du sexe et leurs Proportion des professionnels du sexe et leurs clients qui utilisent toujours des condoms avec leur clients qui utilisent toujours des condoms avec leur
partenaire, Cambodge, 1997 à 1999partenaire, Cambodge, 1997 à 1999
0
10
20
30
40
50
60
70
80
90
1997 1998 1999
Pro
po
rtio
n r
app
ort
an
t u
sag
e
sys
tém
atiq
ue
de
pré
serv
atif
s(%
)
Trav.sex dans les bordels
Militaires /police
Cyclo-taxis
Femmes dans bars à bière
Source: National AIDS Programme, Cambodia, and Family Health International, 2000
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne7
Définitions…
Le SUIVI est une fonction continue qui vise à fournir aux gestionnaires du programme et aux principales parties prenantes, des indications sur les progrès réalisés les difficultés rencontrées au cours de la mise
en oeuvre du programme
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne8
Définitions…
L’évaluation c’est l’application de stratégies de recherche (sociale, économique ou épidémiologique) pour examiner / juger
la conception / planification, la mise en oeuvre, l’efficacité et l’utilité
d’interventions et de programmes.
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne9
L’évaluation c'est, suivant la situation, répondre à des questions telles que:
Quelle est la nature (quoi, où, qui cela affecte-t-il ?) et la taille d'un problème nécessitant une intervention préventive ?
Quelle intervention (faisable) est susceptible d'améliorer le problème de façon significative ? (comment et pourquoi ?)
Qui sera la population-cible de l'intervention projetée ?
Est-ce que l'intervention atteint réellement cette population ?
Est-ce qu'elle se déroule de la manière prévue, quels sont les problèmes rencontrés ?
Est-ce qu'elle est efficace ? Est-ce que les résultats observés sont dus à l’intervention?
À quel coût ? Y a-t-il des effets non prévus / non recherchés?
Besoins, pertinence
Processus, Suivi
RésultatsImpact
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne10
Quel est le problème? Analysie et Surveillance continue de la situation
Quels sont les facteurs déterminants? Recherche des déterminants
Quelles interventions et ressources sont-elles necessaires?
Analyse des besoins, ressources, réponses et suivi des apports
Quelles interventions fonctionnent bien? Faisons nous ce qu’il faut faire?Études spéciales, recherches opératives et formatives, et synthèse de recherche
Que faisons-nous? Le faisons-nous bien?
Suivi et évaluation du processus, Evaluations de la qualité
Sommes-nous en train d’appliquer le programme tel que prévu? Suivi du rendement
Les interventions fonctionnent-elles et opèrent-elles une différence? Etudes d’évaluation des résultats
Les efforts collectifs sont-ils réalisés à suffisamment grande échelle pour avoir un effet sur l’épidémie (couverture; impact)? Sondages et Surveillance
Comprendre les réponses possibles
Programmes Nationaux de Suivi et Évaluation
Déterminer l’efficacité collective
ACTIVITÉS
RENDEMENT
APPORTS
RÉSULTATS
SUIVI DES RÉSULTATS ETIMPACT
Identification de probème
Méthode de questionnement en Santé Publique pour le suivi et évaluation des programmes pour le SIDA
Données
Données
Données
Source: cours M/E CESAG / Measure evaluation
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne11
Le cycle de l’évaluation
Source Office fédéral de la santé publique. Guide pour la planification de l’évaluation de projets ou programmes de santé. Berne: Office fédéral de la santé publique; 1997, p. 19.
Contrôle bilan EVALUATION Opérationalisation
Mise en oeuvre
efficience besoins,pertinence
Résultats, efficacité
Processus,
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne12
Terminologie
Intrants /ressourcesUn ensemble de ressources (ex: financement, personnel, équipement) qui sont utilisées pour le programme
ProcessusUn ensemble d’activités qui utilisent les intrants à la poursuite des résultats souhaités dans le programme (formation du personnel, programme d’éducation sexuelle, distribution de condoms, etc.)
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne13
Terminologie
Extrants, produits, productionLes résultats obtenus au niveau du programme, suite aux activités, utilisant les ressources
(ex: campagnes organisées, enfants vaccinés, condoms vendus, etc.)
EffetsLes résultats obtenus au niveau de la population dus aux activités et extrants du programme
(ex: changement du comportement, morbidité, mortalité, etc.
Impact
Résultat final (ex. diminution de l’incidence du VIH) ou
Effets non prévus / non désirés
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne14
Enjeux
Les interventions en santé publique formes très diverses ne visent pas toujours un but précis mais
une chaîne d'événements environnement changeant multiplicité d'acteurs coût Mot-clef
complexité
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne15
Conséquences pour l'évaluation
Panoplie de méthodes et instruments Multidisciplinarité Simplification de la réalité Choix sur les aspects de l'intervention à évaluer Concertation, participation
Mot-clef
pertinence
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne16
Quelques approches de l'évaluation Approche Point fort Questions principales
Rôle de l'évaluation
Expérimentale Design de la recherche
Quels effets résultent du programme, généralisation possible ?
Expert, méthodologiste
Orienté vers les buts
Buts et objectifs
Quels sont les buts et objectifs des programmes, comment les mesurer ?
Spécialiste des mesures
Orienté vers l'aide à la décision
Processus décisionnel
Quelles décisions doivent être prises, quelle est l'information nécessaire à la prise de décision ?
Personne support de décision
Orienté vers l'(les) utilisateur(s)
Utilisation de l'information
Qui seront les principaux usagers de l'information, quelle information leur est utile ?
Collaborateur
Accompagnante, adaptative
Compréhension personnelle
Quelles personnes ont des intérêts dans le programme et quels sont leur points de vue ?
Conseiller facilitateur
positiviste
constructiviste
Source: Stecher. M et. Al. How to focus an evaluation
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne17
Définir une approche d'évaluation
Responsabilité: évaluateurs et mandant(s) /parties prenantes Quelle est la situation du programme ?
raison d'être, buts et objectifs cibles organisation fonctionnement
il faut comprendre le cadre conceptuel du programme, sa « théorie d’action »
Quelles sont les attentes vis-à-vis de l'évaluation ?
Quelles sont les questions d'évaluation ?
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne18
Composantes du Cadre d’évaluation
Relations entre les composantes du programme
Intrants Processus Extrants Résultats/Impact Au niveau du programme Au niveau de la population
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne19
Les trois composantes d’une théorie du programme
Théorie du programme
Théorie des processus
Plan organisationnel
Comment assembler, configurer et déployer les ressources, et organiser le programme de façon à ce que le système de prestations de services prévu soit développé et maintenu
Plan d’utilisation des services
Comment la population-cible reçoit la quantité prévue des services prévus en interaction avec le système de prestations de services
Théorie d’impact
Comment l’intervention prévue pour la population cible spécifiée apporte les résultats /bénéfices désirés
Source: Rossi PH et al. Evaluation: a systematic approach, 1999.
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne20
Théories du changement : théorie de mise en oeuvre et théorie d’action du programme (formation au travail des jeunes)
Théorie mise en oeuvre (activités du programme)
Théorie d’action (mécanismes du changement)
Le programme annonce un projet de formation au travail
Jeunes en entendent parler Sont intéressés et motivés à participer
Recrutement de jeunes éligibles Jeunes s’engagent
Formation au travail dans un lieu accessible Jeunes reçoivent défraiement pour y assister
Jeunes viennent régulièrement (certains non)
La formation est en phase avec les besoins du marché du travailformation de qualité
Jeunes acquièrent compétences et développent aisance (pas tous)
La formation enseigne les bonnes habitudes de travail
Les formateurs offrent aide et support
Jeunes acquièrent les valeurs nécessaires au travail Et des comportements adéquats
Le programme développe des listes de jobs appropriés et ces jobs existent Le programme oriente les jeunes vers ces emplois
Jeunes cherchent du travail Jeunes se comportent de manière adéquate lors de l’interview d’engagement Employeurs offrent le poste Jeune prend le poste Employeur assiste le jeune dans sa transition vers l’emploi
L’équipe du programme suit les jeunesLes jeunes ont un travail
Jeunes acceptent autorité au travail Jeunes travaillent bien Jeunes restent dans leur emploi
Source: C.H. Weiss. Evaluation 1998
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne21
Modèle logique de mise en oeuvre d’un Programme de Conseil et Dépistage Volontaire
INTRANTS ACTIVITES EXTRANTS EFFETS IMPACT
Financement gvt et autres donateurs
Personnel de Conseil et Dépistage
Protocoles CDV, Directives, Matériel de formation
Kits de dépistage VIH
Système de référence vers sce de prévention et PEC
SGI CDV
Formation personnel CDV et Gestionnaire de site
# personnel certifié dans le VCT
Qualité des services CDV accrue
Fournir un conseil pré et post test ainsi qu’un dépistage à tous les clients testés
Fournir aux femmes enceintes des services de PTME
Examiner les VIH+ (ou les orienter pour rechercher OI et TB
Orienter les VIH+ vers les services de TTT
# clients recevant un counseling pré-test
# clients dépistés
# clients recevant le résultat du test et un counseling post-test
# de femmes ayant bénéficié de service PTME
# clients VIH+ référés ou examinés pour IO/TB
# clients VIH+ référés vers des centres de PEC (ARV, Soins et soutien)
Accès au CDV accru
Clients (VIH+ et -) développent et adhèrent à un plan individuel de réduction du risque et une stratégie de traitement
Augmentation de l’offre de services de prévention, soin et traitement pour VIH+, VIH- et couples sérodiscordants
Comportements à risque diminués
L’état de santé des VIH+ amélioré
taux de transmission du VIH réduit
l’incidence du VIH réduite
Morbidité et Mortalité du VIH réduites
Source: cours M/E CESAG / Measure evaluation
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne22
Définir une approche d'évaluation
Responsabilité: évaluateurs et mandant(s) /parties prenantes
Quelle est la situation du programme ? raison d'être, buts et objectifs cibles organisation fonctionnement
Quelles sont les attentes vis-à-vis de l'évaluation ?
Quelles sont les questions d'évaluation ?
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne23
Parties prenantes : les personnes, groupes, institutions ayant des intérêts dans le programme et/ou l'évaluation
Politiciens et décideurs Organismes internationaux Financeurs du programme ONGs Groupes ou personnes-cibles du programme Responsable(s) et équipe(s) qui travaillent dans
le programme ……
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne24
Définir une approche d’évaluation… suite
Responsabilité: évaluateurs Quelles sont les procédures / méthodes
à disposition ?
Quels sont les moyens à disposition, les contraintes ? budget temps compétences
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne25
Suivi ou évaluation?Evaluation externe ou interne ?
Dépend du degré de nouveauté de l'envergure des enjeux pour l'avenir des problèmes / conflits