IUMSP Institut universitaire de médecine sociale et préventive, Lausanne 1 Introduction au suivi...

IUMSPInstitut universitaire de médecine sociale et préventive,

Lausanne1

Introduction au suivi et à l’évaluation

Jean-Pierre Gervasoni, Thérèse Huissoud, Françoise Dubois-Arber Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne

Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées.

Paris, IMEA, 25 au 27 novembre 2009


Lausanne2

Objectifs pédagogiques

A la fin de la journée les participants seront capables de:

Définir les différents concepts de Suivi et Evaluation Décrire le rôle du Suivi et Evaluation dans le cycle du

programme Décrire les divers types d’évaluation Formuler des questions d’évaluation Créer des indicateurs pertinents Décrire les divers utilisateurs des résultats de

suivi/évaluation


Lausanne3

L’évaluation, c’est quoi pour vous?

À quels mots /idées l’associez-vous? Avez-vous déjà été impliqué(e) dans une évaluation

et à quel titre?


Lausanne4

Principales raisons d'entreprendre une évaluation Investiguer la nécessité, la pertinence d'un

programme Planifier un programme Suivre la mise en oeuvre d'un programme Comprendre les raisons des réussites et échecs Vérifier l’efficacité et l’utilité d’un programme Améliorer les programmes Etre responsable et motiver les parties prenantes

(partenaires) Rendre des comptes


Lausanne5

L‘importance de S/E pour les Programmes Nationaux de VIH/SIDA

Fournir une information (stratégique) pour les décideurs, pour un meilleur pilotage de la lutte contre le VIH/sida

Plaidoyer: convaincre les décideurs et les politiciens de la nécessité d’un meilleur engagement politique pour la mise en œuvre des programmes

Tirer les leçons des programmes efficaces, pour les reproduire dans de nouvelles régions

Réorienter les priorités quand l'épidémie elle-même continue à changer

Justifier l’utilisation des fonds et assurer la transparence


Lausanne6

Proportion des professionnels du sexe et leurs Proportion des professionnels du sexe et leurs clients qui utilisent toujours des condoms avec leur clients qui utilisent toujours des condoms avec leur

partenaire, Cambodge, 1997 à 1999partenaire, Cambodge, 1997 à 1999

0

10

20

30

40

50

60

70

80

90

1997 1998 1999

Pro

po

rtio

n r

app

ort

an

t u

sag

e

sys

tém

atiq

ue

de

pré

serv

atif

s(%

)

Trav.sex dans les bordels

Militaires /police

Cyclo-taxis

Femmes dans bars à bière

Source: National AIDS Programme, Cambodia, and Family Health International, 2000


Lausanne7

Définitions…

Le SUIVI est une fonction continue qui vise à fournir aux gestionnaires du programme et aux principales parties prenantes, des indications sur les progrès réalisés les difficultés rencontrées au cours de la mise

en oeuvre du programme


Lausanne8

Définitions…

L’évaluation c’est l’application de stratégies de recherche (sociale, économique ou épidémiologique) pour examiner / juger

la conception / planification, la mise en oeuvre, l’efficacité et l’utilité

d’interventions et de programmes.


Lausanne9

L’évaluation c'est, suivant la situation, répondre à des questions telles que:

Quelle est la nature (quoi, où, qui cela affecte-t-il ?) et la taille d'un problème nécessitant une intervention préventive ?

Quelle intervention (faisable) est susceptible d'améliorer le problème de façon significative ? (comment et pourquoi ?)

Qui sera la population-cible de l'intervention projetée ?

Est-ce que l'intervention atteint réellement cette population ?

Est-ce qu'elle se déroule de la manière prévue, quels sont les problèmes rencontrés ?

Est-ce qu'elle est efficace ? Est-ce que les résultats observés sont dus à l’intervention?

À quel coût ? Y a-t-il des effets non prévus / non recherchés?

Besoins, pertinence

Processus, Suivi

RésultatsImpact


Lausanne10

Quel est le problème? Analysie et Surveillance continue de la situation

Quels sont les facteurs déterminants? Recherche des déterminants

Quelles interventions et ressources sont-elles necessaires?

Analyse des besoins, ressources, réponses et suivi des apports

Quelles interventions fonctionnent bien? Faisons nous ce qu’il faut faire?Études spéciales, recherches opératives et formatives, et synthèse de recherche

Que faisons-nous? Le faisons-nous bien?

Suivi et évaluation du processus, Evaluations de la qualité

Sommes-nous en train d’appliquer le programme tel que prévu? Suivi du rendement

Les interventions fonctionnent-elles et opèrent-elles une différence? Etudes d’évaluation des résultats

Les efforts collectifs sont-ils réalisés à suffisamment grande échelle pour avoir un effet sur l’épidémie (couverture; impact)? Sondages et Surveillance

Comprendre les réponses possibles

Programmes Nationaux de Suivi et Évaluation

Déterminer l’efficacité collective

ACTIVITÉS

RENDEMENT

APPORTS

RÉSULTATS

SUIVI DES RÉSULTATS ETIMPACT

Identification de probème

Méthode de questionnement en Santé Publique pour le suivi et évaluation des programmes pour le SIDA

Données

Données

Données

Source: cours M/E CESAG / Measure evaluation


Lausanne11

Le cycle de l’évaluation

Source Office fédéral de la santé publique. Guide pour la planification de l’évaluation de projets ou programmes de santé. Berne: Office fédéral de la santé publique; 1997, p. 19.

Contrôle bilan EVALUATION Opérationalisation

Mise en oeuvre

efficience besoins,pertinence

Résultats, efficacité

Processus,


Lausanne12

Terminologie

Intrants /ressourcesUn ensemble de ressources (ex: financement, personnel, équipement) qui sont utilisées pour le programme

ProcessusUn ensemble d’activités qui utilisent les intrants à la poursuite des résultats souhaités dans le programme (formation du personnel, programme d’éducation sexuelle, distribution de condoms, etc.)


Lausanne13

Terminologie

Extrants, produits, productionLes résultats obtenus au niveau du programme, suite aux activités, utilisant les ressources

(ex: campagnes organisées, enfants vaccinés, condoms vendus, etc.)

EffetsLes résultats obtenus au niveau de la population dus aux activités et extrants du programme

(ex: changement du comportement, morbidité, mortalité, etc.

Impact

Résultat final (ex. diminution de l’incidence du VIH) ou

Effets non prévus / non désirés


Lausanne14

Enjeux

Les interventions en santé publique formes très diverses ne visent pas toujours un but précis mais

une chaîne d'événements environnement changeant multiplicité d'acteurs coût Mot-clef

complexité


Lausanne15

Conséquences pour l'évaluation

Panoplie de méthodes et instruments Multidisciplinarité Simplification de la réalité Choix sur les aspects de l'intervention à évaluer Concertation, participation

Mot-clef

pertinence


Lausanne16

Quelques approches de l'évaluation Approche Point fort Questions principales

Rôle de l'évaluation

Expérimentale Design de la recherche

Quels effets résultent du programme, généralisation possible ?

Expert, méthodologiste

Orienté vers les buts

Buts et objectifs

Quels sont les buts et objectifs des programmes, comment les mesurer ?

Spécialiste des mesures

Orienté vers l'aide à la décision

Processus décisionnel

Quelles décisions doivent être prises, quelle est l'information nécessaire à la prise de décision ?

Personne support de décision

Orienté vers l'(les) utilisateur(s)

Utilisation de l'information

Qui seront les principaux usagers de l'information, quelle information leur est utile ?

Collaborateur

Accompagnante, adaptative

Compréhension personnelle

Quelles personnes ont des intérêts dans le programme et quels sont leur points de vue ?

Conseiller facilitateur

positiviste

constructiviste

Source: Stecher. M et. Al. How to focus an evaluation


Lausanne17

Définir une approche d'évaluation

Responsabilité: évaluateurs et mandant(s) /parties prenantes Quelle est la situation du programme ?

raison d'être, buts et objectifs cibles organisation fonctionnement

il faut comprendre le cadre conceptuel du programme, sa « théorie d’action »

Quelles sont les attentes vis-à-vis de l'évaluation ?

Quelles sont les questions d'évaluation ?


Lausanne18

Composantes du Cadre d’évaluation

Relations entre les composantes du programme

Intrants Processus Extrants Résultats/Impact Au niveau du programme Au niveau de la population


Lausanne19

Les trois composantes d’une théorie du programme

Théorie du programme

Théorie des processus

Plan organisationnel

Comment assembler, configurer et déployer les ressources, et organiser le programme de façon à ce que le système de prestations de services prévu soit développé et maintenu

Plan d’utilisation des services

Comment la population-cible reçoit la quantité prévue des services prévus en interaction avec le système de prestations de services

Théorie d’impact

Comment l’intervention prévue pour la population cible spécifiée apporte les résultats /bénéfices désirés

Source: Rossi PH et al. Evaluation: a systematic approach, 1999.


Lausanne20

Théories du changement : théorie de mise en oeuvre et théorie d’action du programme (formation au travail des jeunes)

Théorie mise en oeuvre (activités du programme)

Théorie d’action (mécanismes du changement)

Le programme annonce un projet de formation au travail

Jeunes en entendent parler Sont intéressés et motivés à participer

Recrutement de jeunes éligibles Jeunes s’engagent

Formation au travail dans un lieu accessible Jeunes reçoivent défraiement pour y assister

Jeunes viennent régulièrement (certains non)

La formation est en phase avec les besoins du marché du travailformation de qualité

Jeunes acquièrent compétences et développent aisance (pas tous)

La formation enseigne les bonnes habitudes de travail

Les formateurs offrent aide et support

Jeunes acquièrent les valeurs nécessaires au travail Et des comportements adéquats

Le programme développe des listes de jobs appropriés et ces jobs existent Le programme oriente les jeunes vers ces emplois

Jeunes cherchent du travail Jeunes se comportent de manière adéquate lors de l’interview d’engagement Employeurs offrent le poste Jeune prend le poste Employeur assiste le jeune dans sa transition vers l’emploi

L’équipe du programme suit les jeunesLes jeunes ont un travail

Jeunes acceptent autorité au travail Jeunes travaillent bien Jeunes restent dans leur emploi

Source: C.H. Weiss. Evaluation 1998


Lausanne21

Modèle logique de mise en oeuvre d’un Programme de Conseil et Dépistage Volontaire

INTRANTS ACTIVITES EXTRANTS EFFETS IMPACT

Financement gvt et autres donateurs

Personnel de Conseil et Dépistage

Protocoles CDV, Directives, Matériel de formation

Kits de dépistage VIH

Système de référence vers sce de prévention et PEC

SGI CDV

Formation personnel CDV et Gestionnaire de site

# personnel certifié dans le VCT

Qualité des services CDV accrue

Fournir un conseil pré et post test ainsi qu’un dépistage à tous les clients testés

Fournir aux femmes enceintes des services de PTME

Examiner les VIH+ (ou les orienter pour rechercher OI et TB

Orienter les VIH+ vers les services de TTT

# clients recevant un counseling pré-test

# clients dépistés

# clients recevant le résultat du test et un counseling post-test

# de femmes ayant bénéficié de service PTME

# clients VIH+ référés ou examinés pour IO/TB

# clients VIH+ référés vers des centres de PEC (ARV, Soins et soutien)

Accès au CDV accru

Clients (VIH+ et -) développent et adhèrent à un plan individuel de réduction du risque et une stratégie de traitement

Augmentation de l’offre de services de prévention, soin et traitement pour VIH+, VIH- et couples sérodiscordants

Comportements à risque diminués

L’état de santé des VIH+ amélioré

taux de transmission du VIH réduit

l’incidence du VIH réduite

Morbidité et Mortalité du VIH réduites

Source: cours M/E CESAG / Measure evaluation


Lausanne22

Définir une approche d'évaluation

Responsabilité: évaluateurs et mandant(s) /parties prenantes

Quelle est la situation du programme ? raison d'être, buts et objectifs cibles organisation fonctionnement

Quelles sont les attentes vis-à-vis de l'évaluation ?

Quelles sont les questions d'évaluation ?


Lausanne23

Parties prenantes : les personnes, groupes, institutions ayant des intérêts dans le programme et/ou l'évaluation

Politiciens et décideurs Organismes internationaux Financeurs du programme ONGs Groupes ou personnes-cibles du programme Responsable(s) et équipe(s) qui travaillent dans

le programme ……


Lausanne24

Définir une approche d’évaluation… suite

Responsabilité: évaluateurs Quelles sont les procédures / méthodes

à disposition ?

Quels sont les moyens à disposition, les contraintes ? budget temps compétences


Lausanne25

Suivi ou évaluation?Evaluation externe ou interne ?

Dépend du degré de nouveauté de l'envergure des enjeux pour l'avenir des problèmes / conflits

IUMSP Institut universitaire de médecine sociale et préventive, Lausanne 1 Introduction au suivi...

Documents

Transcript of IUMSP Institut universitaire de médecine sociale et préventive, Lausanne 1 Introduction au suivi...