IUMSP Institut universitaire de médecine sociale et préventive, Lausanne Suivi et évaluation des...

IUMSPInstitut universitaire de médecine sociale et préventive,

Lausanne

Suivi et évaluation des processus

Jean-Pierre Gervasoni, Françoise Dubois-Arber Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne

Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées.

Paris, IMEA, 25 au 27 novembre 2009


Lausanne2

Évaluation des processus

Examine la mise en oeuvre et le déroulement d'un programme

deux domaines de questionnement,dans un contexte particulier

1. couverture

2. système de prestation de services


Lausanne3

Types de questions posées dans une évaluation de processus Est-ce que le programme atteint la population

cible ? De façon équitable? Est-ce que l'intervention se déroule

conformément à ce qui était prévu ? Quels sont les problèmes rencontrés ?

Est-ce que le programme est conduit de manière efficace et efficiente ?

L'essentiel de l'activité évaluative est descriptive (qualité et quantité)


Lausanne4

Le cycle de l’évaluation

Office fédéral de la santé publique. Guide pour la planification de l’évaluation de projets ou programmes de santé. Berne: Office fédéral de la santé publique; 1997, p. 19.

Contrôle bilan EVALUATION Opérationalisation

Mise en oeuvre

efficience Besoins,pertinence

efficacité processus


Lausanne5

1. Couverture

Cible atteinte (qui et combien ?) Accès au service (qui et combien ?) Problèmes ?

Ces questions ont un rapport avec l'efficacité et l'équité du processus


Lausanne6

Couverture : éléments à examiner

Atteinte/attraction de la population-cible Biais de couverture (attraction différentielle,

"écrémage", sur-couverture, etc.)

N en besoin servis N non en besoin servis

Efficacité de la couverture

= 100 x _______________ - ____________________

N total besoin N total servis

La valeur varie entre +100 (toutes les personnes en besoin sont servies et il n'y a pas cible non éligible servie) et -100 (toutes les personnes servies sont non éligibles).


Lausanne8

Non-participation à un programme de dépistage de cancer du sein par mammographie

Profil socio-démographique des non-participantes : comparaison avec les participantes

Caractéristiques Non-participantes (n = 33) (n) %

Participantes (N = 2335)

%

Age moyen/médian 59.5 / 59 ans 59.5 / 59 ans

Etat civil : mariée autre

(24) 73 (9) 27

70 30

Nationalité : suisse autre

(27) 82 (6) 18

87 13

Formation* : élémentaire (<10 ans) autre

(26) 81 (6) 19

41 59

*Note : 1 observation manquante


Lausanne9

Proportion (%) de personnes testées pour le VIH*dans divers groupes d'exposition au risque 1992 1994 1997 n moyen

Ensemble de la population 48 57 59 2823

Aucun de ces risqueshommesfemmes

5133

6044

6046

912984

Multi-partenaires**hommesfemmes

6255

6965

7073

392393

Toxicomane i/v 79 79 98 24

Contacts avec prostituées (vie) 66 69 77 240

Contacts homosexuels (vie) 64 75 69 50

* inclut test lors de don du sang ** quartile supérieur pour leur catégorie d'âge et de sexe


Lausanne10

Sur-couvertureexemple de cours de rattrapage pour ceux qui ont des difficultés en mathématiques

On découvre que des bons élèves viennent aussi aux classes de rattrapage en plus de ceux qui ont des difficultés

Conséquence 1 effectifs trop grands, l'enseignant n'a pas assez de temps à consacrer à chacun, davantage d'enseignement en commun

Conséquence 2 les meilleurs imposent leur rythme Conséquence 3 les meilleurs font un meilleur usage

des classes de rattrapage Conséquence 4 l'écart entre meilleurs et moins bons

risque de s'agrandir, même si les moins bons ont progressé


Lausanne11

Couverture

données provenant de statistiques de population (dénominateur)

enquêtes de population enquête auprès de participants /

non participants à un programme études de dossiers

La mesure / l’analyse de la couverture peut se faire à l’aide de :


Lausanne12

2. Système de prestation de services

Le suivi et l’évaluation de ce système a pour but de : décrire le fonctionnement réel repérer les forces et faiblesses tenter de comprendre et d’expliquer


Lausanne13

Système de prestation de services du programme Trois sources principales de

déficiences du système :

1. service (programme) incomplet ou pas de service fourni

2. pas le service prévu fourni

3. service non standardisé ou non contrôlé (variation dans le temps et dans l'espace)

Beaucoup d’interrogations possibles dans la logique du système


Lausanne14

Exemple de questionnement de processus dans un programme – pilote de prévention par les pairs c/o prostituéesRecrutement Comment se fait-il ? Qui recrute et avec quels critères ?

Quel cahier des charges? Formation et suivi Contenu et modalités de la formation Suivi des médiatrices, durée d’activité, critères d’efficacité Répercussions sur la vie des médiatricesActivité sur le terrain Comment développent-elles leurs action Groupes-cibles faciles/difficiles à atteindre? Suivi des

contacts?Réception par le groupe-cible Visibilité et légitimité des médiateurs? Importance du problème pour le groupe-cible? Utilisation des médiatrices, besoins nouveaux ?Réplicabilité du programme Critères déterminants pour la réussite?


Lausanne15

Les données pour l'évaluation du système de prestation de services peuvent être récoltées par

Observation directe (ouverte ou avec une grille)

Étude de dossiers ou de systèmes de gestion de l'information

Étude des équipes engagées dans le programme

Étude des participants au programme (clients, usagers)

Étude de l'environnement du programme


Lausanne16

Liste de tâches pour l’observation de l’accessibilité des préservatifs « sur le terrain » Indiquer la date, le lieu (marché, dispensaire,

pharmacie, etc.) Présence d’incitatifs (affiches, matériel éducatif, etc)

concernant les préservatifs ou leur utilisation? Si oui où, visible facilement?

Visibilité et accessibilité des préservatifs eux-mêmes (étalage? Comptoir, près du comptoir? Vitrine? Si libre service, facilement accessibles, etc..)

Si marché, rue, dispensaire, appréciation de l’intensité de l’incitation et de l’accessibilité (échelle de 1 à 6)

Exemples de bonnes pratiques


Lausanne17








Lausanne18

Etude de dossiers: Évolution de la prise en charge à 6 mois et une année, centre de référence pour toxicomanes, 1996-1997

Centre SM

T0 6 mois

Centre SM

Drop -out

Réseau ext.

15

20

100 65

Drop -out

Réseau Ext.

Centre SM

1 an

24

51

25

2

4

9

16

45

13

11


Lausanne19

Système de gestion : marché des préservatifs (estimation> 80% du marché Suisse 1986-2006 )

7.6

11.7

10.5

13.412.7

13.8

15.0 15.1

16.0

16.9

15.9

17.0

16.216.7

16.1

17.318.1

17.3 17.0

18.519.0

0

2

4

6

8

10

12

14

16

18

20

1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006

Mill

ions

de

pièc

es


Lausanne20








Lausanne21

0 20 40 60 80 100

patients séparés

migrants

nouveaux patients

check up

jeunes adultes

grossesse

demande contraception

homosexuels

patients MST

toxicomanes

2002 1995 1990

Suivi des participants à un programme: Proportion de médecins recherchant de routine une exposition au risque de VIH chez différents types de patients / situations, 1990-2002


Lausanne22








Lausanne23

Etude des participants: déclaration des accidents par piqûre / blessure : personnel soignant et de maison Infirmier s(ères) (N=78)

Déclaration n %

oui 31 39.7 non 45 57.7 ne sait pas 0 0.0 pas de réponse 2 2.6

TOTAL 78 100.0% Médecins (N=88)

Déclaration n %

oui 3 3.4 non 77 87.5 ne sait pas 0 0.0 pas de réponse 8 9.1

TOTAL 88 100.0% Personnel de maison (N=33)

Déclaration n %

oui 29 87.9 non 4 12.1

TOTAL 33 100.0%

Incidence des accidents, taux annuel/ personne

0.49

4.28

0.17


Lausanne24

Suivi minimum de base d'un projet

Description et documentation en continu ou à intervalles réguliers

structures services / produits profil des clients / usagers problèmes rencontrés événements marquants

avec influence sur le projet changements opérés et raisons


Lausanne25


Lausanne26

IUMSP Institut universitaire de médecine sociale et préventive, Lausanne Suivi et évaluation des...

Documents

Transcript of IUMSP Institut universitaire de médecine sociale et préventive, Lausanne Suivi et évaluation des...