évaluation en promotion de la santé

Evaluer en promotion de la santé

Aymery Constant

Maitre de conférences

EHESP

Prevention et promotion de la santé

Début XX°: Bond de l’espérance de vie, bien avant les

progrès de la médecine

Aujourd’hui encore, la plupart des causes de mortalité

prématurées sont évitables

Les actions de promotion de santé et de prévention

sont donc pertinentes pour…

….augmenter l’espérance de vie en bonne

santé, le bien-être, la productivité, et éviter blessures, et

maladies…

EHESP

2

Quelques exemples…

EHESP

4

EHESP

5

EHESP

6

EHESP

7

EHESP

8

Un très bon slogan, très bien mémorisé (1984)

….mais quel effet sur la consommation

d’alcool?

EHESP

9

Susciter la peur

EHESP

10

Susciter la peur

Quelle logique sous tend ces actions?

EHESP

11

Une logique de slogan

Pendant des décennies, les actions de promotion de la

santé et de prévention ont été assimilées à des

campagnes publicitaires

Peu ou pas d’évaluation; évaluation sous forme

d’enquêtes de satisfaction; de mémorisation des

messages; de « taux de pénétration » des

campagnes d’information…etc .

Effet « plafond » de ce type de campagne atteint

EHESP

12

EHESP

13

+

Les couples hétérosexuels

monogames stables (et à

haut revenus, visiblement)

sont-ils la cible prioritaire

pour les campagnes

d’information sur le

préservatif ?

Ratage de cible

EHESP

14

Potentiel d’identification: nul

EHESP

15

Ratage de communication sur les déterminants

(la honte à ceux qui ont des difficultés)

Quelles sont les points communs de

ces campagnes d’information ?

EHESP

16

Situation en France

Des indicateurs inquiétants…mais réversibles !

• Un des taux de mortalité prématuré les plus élevés d’Europe de

l’Ouest

• Taux de suicide le plus élevé d’Europe de l’Ouest

• Espérance de vie en bonne santé inférieure aux pays voisins

• Consommation d’alcool très élevée

• Consommation d’alcool et de cannabis la plus élevée chez les

adolescents en Europe

• Consommation de psychotropes la plus élevée au monde

Seule l’entrée des pays de l’est dans Union Européenne a

permis à la France de « descendre » dans les classements

EHESP

17

Les principes fondamentaux de l’évaluation

19

L’efficacité, un mot tabou en prévention et promotion de la santé ?

20

Urbanisation

croissante

Pauvreté

grandissante Vieillissement

Des populations

dépendance

Détérioration de

l'environnement

Erosion de la volonté

générale d'aide

Exigences

des beneficiaires

Restrictions

budgetaires Actions de santé

Scepticisme des

commanditaires

Extension

modèle

anglo-saxon (et évaluation)

Incertitudes

institutionnelles Déficits liés aux dépenses de santé

Raisons pour des actions efficaces

21

Et du point de vue de l’usager ?

EHESP

22

Les bénéfices de l’évaluation

23

t1

Conception

etc...

t3

Conception

Planification

Réalisation

Evaluation

Conception

Planification

Réalisation

Evaluation

t2

Le cycle de fonctionnement d'une organisation qui apprend à partir de ses expériences

24

Inconvénients de l’évaluation?

Les étapes de la démarche d’évaluation

EHESP

26

27

Diagnostic

Objectifs - généraux

- spécifiques

Ressources Prévues

Activités Prévues

Pop cible prévue

Planification

28

Diagnostic


- spécifiques

Ressources Prévues

Ressources Effectives

Pop cible effective

Actions Effectives

Objectifs atteints Autres effets

Actions Prévues

Pop cible prévue

Planification Réalisation

29

Diagnostic


- spécifiques

Ressources Prévues

Activités Prévues

Pop cible prévue

Evaluation du projet et de sa planification

Validité du diagnostic initial

Pertinence des objectifs et de la

conception des actions

Pertinence du choix de la pop cible

Pertinence de la planification

Organisation

Faisabilité

Etude des coûts

Etc…

30


Pop cible effective

Actions Effectives


Evaluation de la Mise en oeuvre

Diagnostic


- spécifiques

Ressources Prévues

Activités Prévues

Pop cible prévue

31

Diagnostic


- spécifiques

Ressources Prévues


Activités Effectives


Activités Prévues

Pop cible prévue

Pop cible effective

Evaluation de processus

Evaluation des résultats

32

Le "moment" d'une évaluation

Diagnostic

Planification

Démarrage

Réalisation (Phase 1)

Réalisation (Phase 2)

....

Fin du projet

Poursuite des effets

Les

moments de

la vie d'un projet, d'un programme

ou d'une politique

Etudes de faisabilité (évaluation ex-ante)

Evaluation en cours

Evaluation à mi-parcours

Evaluation finale

Evaluation retrospective

Les

moments

de

l'évaluation

33

Selon les "moments" de l'évaluation, les buts diffèrent

Avant Pendant À la fin Avant et après

Vérifier la

conception

et la

planification

Améliorer

la mise en

œuvre

Rendre des

comptes

Déterminer

l’impact

Programme

Début

L’évaluation n’a de sens que…

- Si elle a été planifiée et conçue en même temps que le projet

(le projet est lui-même conçu en intégrant l’évaluation)

- Si elle a débuté avant l’action, continue pendant l’action et se

poursuit après

- Si l’action est évaluable (les indicateurs de qualité du projet,

de processus et de résultat sont collectés et disponibles)

EHESP

34

EHESP

35

Wholey (1970) a proposé quatre conditions préalables à

l’évaluation:

1. La logique d’intervention est claire, connue et partagée de

tous;

2. Les relations causales et la logique de l’intervention sont

plausibles (fondement théorique) et les activités planifiées

devraient permettre d’atteindre les effets attendus (elles ont

déjà fait leurs preuves);

3. Les données nécessaires pour réaliser l’évaluation sont

disponibles ou accessibles (collecte planifiée dans le

projet)

4. L’utilité de réaliser l’évaluation est reconnue par les

utilisateurs potentiels des résultats (peut aider à la mise en

œuvre et à améliorer les effets de l’action).

Utile

Les qualités d'une évaluation

Crédible

Utile

Pertinente Accessible (digne de confiance)


Crédible

Qualité et transparence des méthodes employées, compétence des évaluateurs

Utile

Pertinente

Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique

Accessible

Qualité des mesures et des relations causales établies

Caractère reproductible des conclusions (un autre évaluateur

aboutirait aux mêmes conclusions) , séparation complète entre conclusions et recommandations

(digne de confiance)


Crédible

Utile

Pertinente

Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique

Accessible (digne de confiance)

Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes


Crédible

Utile

Pertinente

Communication des résultats

Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements

Accessible

,

(digne de confiance)

Qualité du rapport : organisation, taille, style (clarté, concision)


Quelles compétences pour un évaluateur ?

Questions évaluatives

• Savoir quelles questions poser aux différentes

étapes du projet/action (avant, pendant, après)

• Savoir comment y répondre (méthodes, outils..)

• Analyser les étapes du projet/action en fonction

de ces éléments

• Utiliser ces informations pour émettre des

recommandations en vue d’améliorer l’action

EHESP

42

À la fin de l’action

• Qu’est ce qui a fonctionné comme prévu ?

• Qu’est ce qui n’a pas fonctionné comme prévu et

pourquoi ?

• Les résultats sont-ils conformes aux prévisions?

• Quels événements imprévus et pourquoi ?

• Utiliser ces informations pour émettre des

recommandations en vue d’améliorer l’action

EHESP

43

44

Diagnostic


- spécifiques

Ressources Prévues



Objectifs atteints Autres effets ?

Activités Prévues

Pop cible prévue

Pop cible effective

45

Diagnostic Exemple:

L’analyse de la situation est-elle pertinente,

claire, fondées sur les données

épidémiologiques disponibles et actualisées ?

46


- spécifiques

Exemple:

Les objectifs sont-ils clairs; quantifiables;

réalistes; pertinents au regards de la

situation et des actions en promotion de la

santé ?

47

Activités Prévues

Pop cible prévue

Exemple:

Les activités prévues sont-elles efficaces

pour atteindre les objectifs ? Sont-elles

adaptées à la population-cible ?

48

Ressources Prévues


Exemple:

Les ressources effectives correspondent

elles aux ressources prévues? Sont-elles

attribuées selon le plan initial ?

49


Pop cible effective

Exemple:

Les actions se sont-elles déroulées

comme prévu ? Les participants

ont-ils été satisfaits ?

50


Objectifs atteints Autres effets ?

Pop cible effective

Exemple:

A –on observé un changement chez

les participants ?

Ce changement correspond t-il aux

objectifs ?

Approche systématique: le Preffi 2.0

EHESP

52

L’approche systématique

Une approche systématique implique des étapes menant à des

choix.

Permet d’établir des décisions conscientes, et réfléchies

aboutissant à un projet cohérent et basé sur le bon sens.

Une approche systématique est particulièrement importante pour

faire les choix théoriques les plus justes.

En même temps, ces derniers sont limités par des contraintes

pratiques telles que le financement, le recrutement et le temps.

Ces ressources et la manière de les prendre en compte

influencent de manière importante le succès d'un programme.

EHESP

53

Avantages

Une approche systématique augmente les chances de succès en

permettant d’éviter certaines erreurs (Kok, 1992) comme :

• Traiter un problème inexistant, mettre en place une action de

grande envergure pour un problème exceptionnel ou touchant un

groupe spécifique qui fait déjà l’objet d’interventions adaptées

(mauvaise analyse du problème)

• Se concentrer sur des comportements ou des facteurs

environnementaux dont la relation avec le problème est

incertaine. (mauvaise analyse des déterminants)

• Concevoir l'intervention à partir d’une analyse incorrecte des

motivations du comportement. Par exemple, on suppose

souvent à tort que la connaissance par le public des effets

dangereux sur la santé d’une pratique suffit pour changer ce

comportement ;

EHESP

54

Permet d’éviter de…

• Concevoir une action inadéquate. Par exemple, diffuser un

dépliant sur un programme d'échange de seringues pour des

toxicomanes alors que les seringues nécessaires ne seront

disponibles que six mois plus tard (mauvaise analyse de la mise en

œuvre)

• Concevoir une action dont l'introduction (à grande échelle)

s'expose à une résistance. Citons l'exemple de la brochure

hollandaise sur le sida prévue pour les enfants scolarisés et

rejetée par les écoles de confession chrétienne (mauvaise

analyse de la population-cible)

EHESP

55

Avantages du Preffi

• Permettre de se lancer dans un processus d’évaluation à

toutes les étapes de l’action, même sans disposer d’une

expérience de 20 ans (avantage de l’outil didactique)

• Produire des évaluations structurées et standardisées,

facilement lisibles pour des non spécialistes;

• Permettre de comparer différentes évaluations d’une même

action (convergence inter-évaluateurs); ou de plusieurs

actions différentes

EHESP

56

Limites

• Structure pouvant paraitre rigide et peu adaptable;

items/questions non pertinentes

• Fournit des lignes directrices qui peuvent et doivent être

modifiées en fonction de la situation, des problèmes

rencontrés, des évaluateurs etc.

• Les échanges avec les acteurs de l’action et de

l’évaluation doivent être le plus fréquent possibles, sur

la base des informations fournies par cet outil

• Guide la réflexion individuelle et collective, mais ne la

remplace pas

EHESP

57

58

Des objets de taille variable

Action/mesure

Action/mesure

Projet Projet

Programme

Politique

Action/mesure

Action/mesure

Action/mesure

Action/mesure

Projets, programmes, politiques

L'évaluation porte sur des objets de taille variable

EHESP

59

Dimensions évaluées dans le Preffi

EHESP

60

Projet centré sur l’élaboration de stratégies politiques

de santé

Evaluation en fonction de l’objet à analyser

EHESP

61

Projet de mise en œuvre


EHESP

62

Projet communautaire


EHESP

63

Projet de diagnostic


EHESP

64

Evaluation de processus et de résultats


65

Evaluation d’un programme/action de

santé

Approximativement nous retenons :

- 10% de ce que nous lisons

- 20% de ce que nous entendons

- 30% de ce que nous voyons

- 50% de ce que nous voyons et entendons

- 80% de ce que nous disons

- 90% de ce que nous mettons en pratique

Exercice : conduire les différentes étapes d’un

processus d’évaluation à l’aide d’un outil standardisé

Le diagnostic a t-il été correctement effectué ?

Question évaluative 1

Diagnostic: Evaluer le problème

Un projet pertinent doit cibler un problème de santé ayant des

conséquences significative sur la santé des gens (espérance de

vie, qualité de vie, espérance de vie en bonne santé, bien être..)

Différent aspects sont à prendre en compte:

Incidence / prévalence, mortalité prématurée

fardeau de la maladie / qualité de vie,

expérience et signification de la maladie

Déterminants (biologiques, sociaux, psychologiques, comportementaux…)

Spécificité géographique ou temporelle

Cout de la Prise en charge

Coût humain; cout financier; cout en terme de productivité, de

développement

Année de vie perdues (DALYS)

EHESP

67

68

Où chercher les données?

Sources possibles

L’OMS (http://www.who.int/publications/fr/)

Le Bulletin Epidémiologique Hebdomadaire (http://www.invs.sante.fr/beh/)

L’OCDE (http://www.oecd.org/fr/statistiques/)

L’Union Européenne

(http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home)

L‘INSERM (http://www.inserm.fr/thematiques/sante-publique/rapports-

publies)

Les organismes spécialisés comme l’OFDT ou l’ONISR

(http://www.securite-routiere.gouv.fr/medias-

outils/documentation/bibliographie)

(http://www.ofdt.fr/ofdtdev/live/publi.html)

http://www.who.int/publications/fr/

http://www.who.int/publications/fr/

http://www.invs.sante.fr/beh/

http://www.invs.sante.fr/beh/

http://www.oecd.org/fr/statistiques/

http://www.oecd.org/fr/statistiques/

http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home

http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home

http://www.inserm.fr/thematiques/sante-publique/rapports-publies






http://www.securite-routiere.gouv.fr/medias-outils/documentation/bibliographie






http://www.ofdt.fr/ofdtdev/live/publi.html

http://www.ofdt.fr/ofdtdev/live/publi.html

Principales causes de décès en 2009

Hommes Femmes Total

en effectif en % en effectif en % en effectif en %

Maladies

infectieuses et

parasitaires (1)

5 268 2 5 531 2 10 799 2

Tumeurs 93 134 34 66 310 25 159 444 30

Tumeurs du larynx,

trachée, bronches

et poumon

23 453 9 7 429 3 30 882 6

Tumeurs du côlon 6 530 2 5 990 2 12 520 2

Tumeurs du rectum

et de l’anus 2 482 1 2 040 1 4 522 1

Tumeurs du sein 200 ns 11 588 4 11 788 2

Troubles mentaux

et du

comportement

7 482 3 10 059 4 17 541 3

Maladie de

l’appareil

circulatoire

66 833 25 77 510 29 144 343 27

Maladies

cérébrovasculaires 13 266 5 18 720 7 31 986 6

Cardiopathies

ischémiques 20 774 8 15 765 6 36 539 7

Maladies de

l’appareil

respiratoire

17 654 6 16 207 6 33 861 6

Maladies de

l’appareil digestif 12 543 5 10 888 4 23 431 4

Causes externes 22 620 8 14 748 6 37 368 7

Accidents de

transport 3 262 1 1 044 ns 4 306 1

Suicides 7 739 3 2 725 1 10 464 2

Autres causes 45 697 17 60 277 23 105 974 20

Total 272 253 100 263 113 100 535 366

Diagnostic: Evaluer le contexte

Un projet pertinent doit prendre en compte le contexte local

Le contexte regroupe plusieurs aspects : géographique, social, culturel,

environnemental, historique, politique, conduites….législatif,

réglementaire.

l’ancrage dans un territoire et dans une problématique locale sont

des caractéristiques intrinsèques des actions de santé.

Le diagnostic va permettre d’analyser la situation sur le territoire,

il est recommandé d’associer des acteurs locaux à cette phase de

diagnostic afin d’élargir le champ des points de vues, de vérifier la

pertinence de notre démarche et d’impliquer le plus grand nombre de

personnes possible dans le dialogue territorial.

EHESP

71

EHESP

72

Questions possibles

Est-ce que nous avons identifié dans quelle zone géographique se déroule notre

projet ?

• Dans quel type d’environnement (urbain, rural, semi-rural, cité…) ?

• En quoi peut-on s’appuyer sur les ressources locales ?

• Est-ce que nous avons réalisé un diagnostic de départ ? Quelles habitudes,

attitudes des participants envers la santé ?

• Quelle connaissance des participants de leur santé, des problèmes de santé ?

• Est-ce qu’il y a une politique de santé sur le territoire ?

• Est-ce que notre projet est ancré sur le territoire ?

Est-il construit à partir d’une problématique locale ?

• Est-ce que notre projet est relié à des problématiques globales ?

• Est-ce que notre discours est approprié à ce que peuvent observer les

participants par eux-mêmes?

• Est-ce que notre projet respecte les réglementations

en vigueur ?

Diagnostic: Evaluer le public

EHESP

73

Le projet doit partir d’un repérage des besoins et caractéristiques

du public-cible

L’implication des participants est un des aspects fondamentaux de

toute actions de santé, c’est pourquoi la prise en compte de leurs

caractéristiques est un critère de qualité.

l’âge des participants, leur effectif, leurs caractéristiques sociales et

culturelles, leurs capacités, leur culture, leurs acquis, leurs

représentations…

Enjeux

Repérer au préalable les caractéristiques des futurs participants

pour élaborer une action de santé appropriée et favorisant leur

implication.

EHESP

74

Questions possibles

Est-ce que nous avons pris en compte l’âge des participants ? Leurs

capacités ? Leur niveau de connaissances ? Leurs motivations ? Leur

effectif ? Leurs « caractéristiques » sociales et culturelles ?

• Quelles sont les capacités cognitives, psychiques et de mobilité des

participants ?

• Est-ce que le projet tel qu’il est pensé correspond au rythme de vie des

participants ?

• Est-ce que notre projet s’est construit à partir des besoins ou envies des

participants ?

• Est-ce que la problématique les concerne réellement ?

• Est-ce que les participants sont associés à l’élaboration du projet ?

• Est-ce que nous avons défini la place, le rôle des participants dans le

projet ?

Les Objectifs ont-ils clairement été définis ?


76

Les objectifs

La première question est de savoir pourquoi on veut mettre

en place une action de santé, c'est-à-dire à quelle fin on

veut mener une évaluation => les objectifs

Ceux-ci doivent être réalistes, précis et quantifiables

L’objectif prioritaire demeure le même: Améliorer la santé

(au sens large du terme) des usagers

Les objectifs

Objectif général

Enoncé, en termes plus ou moins et précis, de ce vers quoi tend

l’action de santé. Cet énoncé, qui définit les résultats de l‘action,

représente l'orientation générale d'un programme. (L'objectif

général constitue un premier degré de précision du but dont il

découle.)

Exemples

Améliorer les comportements de santé chez les étudiants en première

année

Diminuer la mortalité routière chez les jeunes adultes

Augmenter l’activité physique chez des salariés sédentaires en entreprise

EHESP

77

Objectif spécifique

Un OBJECTIF SPECIFIQUE est issu de la démultiplication d'un

objectif général en autant d'énoncés nécessaires pour que

quatre exigences soient satisfaites:

• Décrit un changement attendu chez les bénéficiaires

• Univoque: précis et une seule signification. Pas d’expressions nébuleuses ou

sujettes à une interprétation libre. L'objectif doit exprimer clairement le résultat à

atteindre (éventuellement de manière chiffrée)

• Résultat, comportement…observable ou mesurable: décrire un résultat

spécifique. Et non pas une catégorie de comportements comme le suggèrent les

mots "comprendre« , « sensibiliser », "savoir". Ainsi, des objectifs comme "voir la

valeur de la nutrition" ou « comprendre l’importance de la santé » ne sont pas

spécifiques.

• Précise les conditions dans lequel le résultat sera observé: chez qui, à

quel moment, à quel endroit etc.

EHESP

78

Les objectifs

• Exemples d’objectifs spécifiques

• Diminuer de 10% le nombre de cigarettes consommées chez les

étudiants en première année au cours des six prochains mois

• Augmenter le nombre de fruits frais consommés au sein des

foyers participants au cours des deux prochains mois

• Réduire de 20% le nombre d’accidents de la route chez les jeunes

du département au cours de l’année prochaine.

• Augmenter le taux de connaissance sur le repérage des patients à

risque suicidaire chez les médecins généralistes du réseau ville-

hôpital à l’issue de la formation (pas de donnée de départ)

NB: les termes favoriser, faciliter, sensibiliser, promouvoir etc. sont à

éviter autant que possible pour les objectifs spécifiques

EHESP

79

Les objectifs

La Pertinence des objectifs

EHESP

80

La pertinence est un critère qui interroge le rapport entre les

objectifs définis et les finalités de l’action.

Enjeux

Il est important de bien évaluer la pertinence des objectifs de l’action

lors de l’élaboration du projet car elle est à la base d’un projet réussi.

Si les objectifs ne sont pas pertinents et clairs,

1) L’action sera hasardeuse

2) Il sera impossible de définir des indicateurs

3) … ni de faire une évaluation

4) …ni de connaitre les effets de l’action

EHESP

81

EHESP

82

EHESP

83

La Pertinence des objectifs

EHESP

84

Quelle est la population visée ?

Sera-t-il possible de mesurer ces indicateurs ?

Quel est le contexte dans lequel ces objectifs seraient mesurables ?

La population générale

Non, trop compliqué

Etudes cliniques hospitalières, utilisation de « seuils » cliniques

Quel conclusion ?

Ne pas confondre promotion de la santé et soins médicaux

EHESP

85

EHESP

86

Questions possibles:

Est-ce que le projet possède des objectifs précis?

Est-ce que le projet possède des objectifs réalistes ?

Est-ce que le projet possède des objectifs pertinents ?

Pour les actions ciblant les individus

• Est-ce que nous avons identifié des objectifs en termes de conduite ?

Est-ce que nous avons identifié des objectifs en termes de savoir ?

• Est-ce que nous avons identifié des objectifs en termes de savoir-faire ?

• Est-ce que nous avons identifié des objectifs en termes de savoir-être ?

• Est-ce que nous avons identifié des objectifs en termes de ressentis ?

Pour les actions ciblant les organisations

• Est-ce que nous avons identifié des objectifs de gouvernance ?

Est-ce que nous avons identifié des objectifs de mise en œuvre ?

• Est-ce que les activités que nous allons mettre en œuvre peuvent nous permettre

d’atteindre nos objectifs ?

87

Exercice sur document

Cernez les éléments suivants :

But du projet

Porteur de projet

Public cible

Objectifs général

Objectifs spécifiques

Évaluation à l’aide du Preffi et des éléments discutés en cours

Sur quelles bases a été sélectionnée l’intervention?


La sélection de l’intervention

EHESP

89

Il est important pour la réalisation du projet, que l’intervention

sélection ait démontré son efficacité sur le problème de santé

par ailleurs.

Certains critères de sélection sont à examiner:

Universalité : une intervention ayant montré des effets positifs dans

une région du monde doit pouvoir être transposée dans un pays

similaire (US= France= Allemagne=…)

Reproductibilité : Toute action de santé rigoureuse doit être

reproductible à l’identique (la procédure est décrite dans la

publication: matériel, population, calendrier…)

Efficacité: ses effets ont été quantifié précisément au cours d’une

procédure d’évaluation rigoureuse (recherche)

Sélectionner une intervention

La stratégie à adopter doit être sélectionnée en fonction de sa

faisabilité; de son efficacité à réduire le problème; de sa

pertinence par rapport au terrain; de son coût; du rapport

cout/bénéfice…

Des preuves scientifiques existent dans la littérature sur ces

paramètres (evidence-based)

Cette sélection va déterminer les besoins logistiques, financiers,

intellectuel etc…nécessaires à l’intervention

Sélectionner une intervention

Un rapport de 1979 du ministère américain de la santé estimait à:

50% la fraction de mortalité prématurée attribuables aux comportements

contre 20% pour les facteurs environnementaux,

20% pour les facteurs biologiques individuels

et 10% pour les insuffisances dans la prise en charge.

Des estimations similaires ont été mises en évidence au niveau international

Types d’interventions possibles…

Education du public: médias locaux ou nationaux, prévention par les

pairs…

Education précoce: intervention auprès des enfants (écoliers…)

Formation/sensibilisation des professionnels de la santé: médecins,

infirmières scolaires, travailleurs sociaux….

Programmes communautaires: par ex Gatekeepers (« sentinelles »)

Interventions Législatives: obligation d’adopter un comportement de

sécurité, interdiction des comportements à risque, restrictions…

Modifications environnementales: barrière de sécurité, alarmes,

constructions adaptées à la prévention; pistes cyclables; nudges

Les 7 étapes de la promotion de la santé

fondée sur les preuves

EHESP

94

EHESP

95

Synthèses de la littérature

EHESP

96

EHESP

97

EHESP

98

Rapports institutionnels

EHESP

99

EHESP

100

EHESP

101

Rapports d’experts terrain et recherche

EHESP

102

Rapports d’experts terrain et recherche

La sélection de l’intervention

EHESP

103

L’utilisation des données probantes est la meilleure

manière de sélectionner une intervention qui a des

chances d’être efficace

Permet de sélectionner l’intervention la plus pertinente en

l’état actuel des connaissances et jusqu’à preuve du

contraire (approche scientifique)

En revanche, il n’existe aucune garantie de résultat

quant à cette efficacité (et donc à l’atteinte des

objectifs) dans le contexte local d’intervention

D’autres paramètres sont à l’œuvre (contextuels,

environnementaux, mise en œuvre, adaptation à la

population-cible, au territoire etc.)

104



Action ou intervention prévue

Déterminant sur lequel elle est sensée agir

Modalités de sélection (pourquoi elle plutôt qu’un autre)

Modalités de mise en œuvre

Adaptation au public-cible


La mise en œuvre correspond t-elle aux prévisions ?


106

Des

moyens

sont mobilisés

(intrants)

… pour

réaliser des

activités..

… dont les

produits

Cet enchaînement repose sur une

suite de relations logiques (si...

alors) dites "de cause à effet"

et un

impact sur

la santé

…doivent

produire des

résultats…

Évaluation

Suivi et évaluation de la chaîne des étapes d'une action

107

Moyens

humains,

matériels,

financiers

Activités :

construire,

former,

organiser,

soigner,

écrire, ...

personnel

formé,

procédures

mises en

place,

matériels

conçus textes

de loi

préparés

Baisse des

conduites

à risque,

Recours aux

soins,

Détection

précoce

Conduites

améliorées,

Diminution des

maladies;

Mortalité

prématurée

réduite,

Dépendance

diminuée

Intrants Activités Produits Résultats Impact

Des

moyens

sont mobilisés

(intrants)

… pour

réaliser des

activités...

dont les

produits..

.

doivent

produire

des

résultats..

.

et un

impact sur

la santé

La structure logique d'un projet ou d'un programme

NB: l’impact à long terme (cancer; maladies chroniques..)

n’est ni mesurable ni pertinent pour les actions de PPS locales

EHESP

108

EHESP

109

110


Un processus continu de collecte et d'analyse

d'informations pour apprécier comment un

projet (un programme, une action, ou une

politique) est mis en œuvre, en comparant les

performances effectives avec les performances

attendues

111

1) Je vais identifier ce qui était prévu dans les documents de départ, 2) Je vais reconstituer ce qui s'est passé réellement

Analyse documentaire

Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension

Comment répondre à cette question ?

Analyse documentaire, lecture des dossiers d'archive

Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité

Exemple de question :

La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?

112


3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais

Etablissement d'un chronogramme rétrospectif

Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions

Construction de l'argumentaire

C'est la démarche que je me propose de suivre pour répondre à cette question

113

Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instruments

Techniques

- Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion

Outils/instruments - Guides d'entretien - Chronogrammes


Quels dispositifs d’évaluation ont été prévus ?


115

L’évaluation de processus et de résultats sont des démarches distinctes mais complémentaires


Mesure continue du rendement

Utile au pilotage

Evaluation de résultat

Mesure des effets

EHESP

116

Processus/résultats

117

Evaluation de résultat

Une mesure, aussi systématique et objective

que possible, des résultats d'un projet, d'un

programme ou d'une politique, en vue de

déterminer sa pertinence, et sa cohérence,

l'efficience de sa mise en œuvre, son efficacité

et son impact ainsi que la pérennité des effets

obtenus

118

Comment s'assurer que l'impact est dû au programme ?

Les questions auxquelles il faut répondre :

– Est-ce que le programme « capitaine de soirée » a fait diminuer le nombre d’accidents de la route dans le secteur, ou bien ces accidents auraient-ils diminué de toute façon ?

– Est-ce que la fourniture de brochures a contribué à l'amélioration du port du casque à vélo ou bien est-ce que cette amélioration est due à d'autres facteurs ?

– Est-ce que le l’action éducative a amélioré le niveau de connaissances ou bien cela est-il dû à d'autres causes ?

119

Deux problèmes sont à résoudre :

1) Dans quelle mesure peut-on identifier un effet (la

conduite à risque diminue, ...)

2) Dans quelle mesure cet effet est-il attribuable à

l’action (et non pas à une autre cause).

Pour tenter de répondre, du mieux possible, à ces deux

questions, des méthodes qui sont spécifiques à

l'évaluation sont utilisées

Méthodes d'évaluation de résultats

120

Comment les résultats ont-ils été analysés?


121

Question clé de l'évaluateur :

Que ce serait-il passé pour les bénéficiaires si l’action n'avait pas eu lieu ?

Comment refaire l'histoire ? Comment construire une base de comparaison ? L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles

Méthodes d'évaluation de résultats

122

Temps

Programme Bénéficiaires

30

10

17

Niv

eau d

es

connais

sance

s Étude écologique: Avant - après

Score: Niveau des connaissances sur les aliments sains et ceux à éviter

123

Temps


30

10

17

Niv

eau d

es

connais

sance

s Avant - après

124

Temps


30

10

17

Niv

eau d

es

connais

sance

s Avant - après

Tendance temporelle

sans le programme

Tendance temporelle

avec le programme effet

EHESP

125

Étude écologique: Avant - après

EHESP

126

Étude écologique: Avant - après

EHESP

127

128

Causes possibles

Groupes observés

Résultats de l'observation (effets)

Toutes les autres

influences

Le projet ou

la politique

Groupe

de contrôle

Groupe

expérimental

Résultats au niveau du groupe

de contrôle Résultats au niveau du

groupe expérimental

Résultats nets (attribuables

au projet ou à la politique)

L’expérimentation idéale (mais peu réaliste)

129

Temps


30

Groupe de contrôle équivalent

10

17

Niv

eau d

es

connais

sance

s Etude contrôlée

130

Temps


30


10

17

Niv

eau d

es

connais

sance

s Etude contrôlée

Le niveau de connaissances est resté

inchangé, la programme n’a eu

aucun effet

131

Temps


30


10

17

Niv

eau d

es

connais

sance

s Etude contrôlée

Le niveau des connaissances a

augmenté, mais pas grâce au

programme !

132

Temps

Programme

Bénéficiaires (tous bac + 5)

30

Groupe de contrôle (tous sans diplomes)

10

17

Niv

eau d

es

connais

sance

s Etude contrôlée

Quel part de l’effet est lié au

programme ?

133

En pratique, les études randomisées sont réservées à la

recherche et ne peuvent pas être utilisées dans les

actions de terrain (éthique, faisabilité…)

MAIS

Il est toujours possible de comparer les indicateurs de

santé (si disponibles) entre l’endroit (territoire,

établissement, population..) où l’action a eu lieu et un

endroit similaire où se posent les même problèmes de

santé (comparaison ici-ailleurs)

Ex: mesure l’absenteisme des élèves dans le lycée où

l’action de prévention de la grippe a eu lieu vs. le lycée

voisin

Méthodes d'évaluation de résultat

134

Temps


30


10

17

Niv

eau d

es

connais

sance

s Etude transversalle

Objectif atteint, mais

impossible d’estimer

l’influence du programme

Les scores étaient peut-être

identiques avant le

programme

135

Temps

Programme

30

10

17

Niv

eau d

es

connais

sance

s Etude cas-témoin

Cas: bon niveau

témoin: faible

niveau

% qui a suivi

l’action

% qui a suivi

l’action

EHESP

136

Estimation de l’effet

Groupes % réponses

correctes

signification

Intervention 41% P<0.05

Témoin 11%

Groupes % réponses

correctes

signification

Intervention 13% P>0.05

Témoin 11%

EHESP

137

Estimation de l’effet

Groupe Odd Ratio IC [95%]

Intervention 4.3 [ 2.7 – 5.9]

Témoin (ref) 1

Groupe Odd Ratio IC [95%]

Intervention 4.3 [ 0.5 – 5.9]

Témoin (ref) 1

Sélection de la procédure

EHESP

138

Hiérarchie des preuves quantitatives: indique les types d'études qui

sont les plus fiables, c'est-à-dire qui comportent le moins de biais.

Aucune étude sur des humains et conçue par des humains ne

pourra jamais être totalement exempte de biais, mais plus vous

descendez dans la hiérarchie, plus il y a de risques

Examens systématiques d'essais contrôlés randomisés

Essais contrôlés randomisés

Examens systématiques d'essais non randomisés ou d'études de cohorte

Études de cohorte

Études cas-témoin

Séries de cas

Rapports de cas

Idées, éditoriaux, opinions

Recherche sur les animaux

Types d’étude

Validité

Coût

*Etude de cas

*Etude écologique

*Étude tranversalle

*Cas-controle

*Cohorte

*Étude randomisée

Types d’étude

EHESP

140

Définition Intérêt Limite Etude transversale Enquête établissant au même

moment l’état de santé et la

présence de facteurs de risque

Aisée à mettre en œuvre.

Résultats rapidement

disponibles.

Permet d’estimer la

prévalence (fréquence)

d’une exposition / d’un état

de santé

Faible niveau de preuve

quant au caractère causal

des associations

identifiées.

Etude cas-témoins Comparaison de cas (ex :

personnes ayant chuté) à des

témoins (n’ayant pas chuté) et

comparaison de leurs expositions

passées à des facteurs de risque

(ex : prise de médicament)

Relativement aisée à

mettre en œuvre

Résultats rapidement

disponibles, y compris

pour des affections rares

Niveau de preuve

supérieur à celui des

études transversales

Sujette à divers biais

pouvant entraîner des

résultats erronés

(caractère rétrospectif,

biais de mémoire…)

Etude de cohorte Suivi prospectif de personnes

exposées (ex : prenant un

médicament) à des personnes non-

exposées et comparaison de la

fréquence d’apparition du

phénomène (ex : chute)

Permet de mesurer

l’incidence

Permet d’étudier les effets

d’expositions rares

Niveau de preuve

supérieur à celui des

enquêtes cas-témoins

Coûteuse, longue

Difficulté à assurer le suivi

des participants sur le long

terme.

Non-exempte de biais

141

Comment ont été constuit les indicateurs ?

Question évaluative

Indicateurs

Hiérarchie des objectifs

Définition claire et précise d'un objectif

Indicateur objectivement vérifiable

Clarification des résultats attendus

Quel niveau sera jugé satisfaisant: • quantité • qualité • temps

Moyens de vérification

Source et type de preuve nécessaires pour établir l'état de l'indicateur

Le travail sur les

indicateurs

oblige à préciser

et clarifier les

objectifs

La disponibilité

de données

valides et fiables

limite l'utilité

d'un indicateur

Définition des indicateurs de résultats

La logique

horizontale

Planification

143

Les indicateurs devraient être : • mesurables (nombre, pourcentage, ratio) • factuels (avoir la même signification pour tous) • valables (ou appropriés : bien mesurer ce qu'ils proposent de mesurer) • vérifiables • sensibles (réagissant aux changements de situation)

Avoir des indicateurs objectivement vérifiables est une condition qui prépare le succcès d'un projet :

- Montre comment le succès sera reconnu

- Oblige à clarifier ce qu'on entend par objectif

- Fournit une base objective pour l'évaluation

144

Techniques, outils, instruments ...

Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation:

• Entretiens

• Groupes de discussion (focus group)

• Recherche documentaire

• Revue des dossiers d'archive

• Enquête par questionnaire

• Etude de cas

• Tests de connaissances ou d'aptitudes

• Enquête d'opinion

• Analyse de contenu

• ...

Entretiens en groupe

individuels

Questionnaires

Auto questionnaire

Hétéro questionnaire

Focus group

par la

personne

par un

tiers

Grille d’entretien

Observation

directe

indirecte documentaire

analyse

conversationnelle

Grille d’observation

L’observation

Il existe différentes procédures d’observation :

l’observation systématique

– grille d’observation standardisée utilisée de manière

systématique

– Pas d’implication personnelle

– Degré de réactivité des sujets

l’observation participante

– Implication active

– Degré de participation variable

– Grille d’observation

l’observation libre

– Pas de grille (à éviter pour les évaluations)

Les grilles d’observation

- Construites à la fois à partir d’un modèle théorique et

à partir de l’observation de comportements

_ Exemple d’une grille d’observation : grille

d’observation des enseignants

1 2 3 4 5

Terne, triste Sait stimuler

Effacé Séduisant

Peu sûr de lui Confiant

Désorganisé Méthodique

EHESP

148

EHESP

149

EHESP

150

Si pertinent:

Grille d’observation

validée

scientifiquement

Avantages de l’observation

Les observations permettent d’appréhender une réalité vécue, plutôt que d’en obtenir une représentation éventuellement déformée au travers des représentations que les gens s’en font

Limites

• Très couteux en temps, énergie, préparation,…

• L’observation doit avoir lieu dans un endroit et une

période de temps définis et bornés

• Dans toute procédure d’observation, les personnes

observées ont tendance à modifier leur

comportement

L’entretien

Méthode de recueil d’informations qui consiste en des entretiens oraux individuels avec plusieurs personnes sélectionnées soigneusement, afin d’obtenir des informations sur des faits ou des perceptions

Les questions peuvent être :

ouvertes

semi-ouvertes

fermées

EHESP

153

EHESP

154

Sécurité de l’Information Hospitalière

EHESP

155

EHESP

156

Projet « suricates »

Abdel Baba-Moussa et Catalin Nache, Santé Publique 4/2010 (Vol. 22), p. 449-459.

structuré Semi-structuré Libre

Discours qui suit l’ordre

des questions posées

Discours « par paquets »,

dont l’ordre peut être plus

ou moins déterminé

Discours continu

Questions préparées à

l’avance et posées dans

un ordre bien précis

Information partielle et

raccourcie

Quelques points de

repère pour l’interviewer

Information de bonne

qualité, orientée vers le

but poursuivi

Aucune question

préparée à l’avance

Information de très bonne

qualité, mais pas

nécessairement

pertinente

Information recueillie

rapidement ou très

rapidement

Information recueillie dans

un laps de temps

raisonnable

Durée de recueil

d’informations non

prévisible

Les différents types d’entretiens

La préparation

Préciser les questions générales et spécifiques

Faire une première rédaction des questions

Organiser la séquence des questions

Adapter le processus de l’interview aux objectifs visés

(transitions entre thèmes)

Préparer l’introduction et les conclusions

Préparer le système de notation des réponses

Tester le protocole de l’entretien

Avantages

• un plus haut pourcentage de réponses peut être obtenu

• les personnes réellement sélectionnées peuvent être atteintes

• tout type de population peut être atteint

• on est mieux informé sur les caractéristiques de ceux qui ne répondent pas

• les réponses sont spontanées

• les réponses sont nuancées

• Permet d’explorer le ressenti, les sentiments, les impressions, les opinions, les attitudes

• L’enquête peut porter sur des sujets plus délicats et personnels

Inconvénients

• L’apprentissage est indispensable pour bien

manipuler la technique de l’entretien semi-directif.

• C’est un outil qui demande du temps (temps

d’entretien, temps de dépouillement, temps

d’analyse)

• Méthode très coûteuse

• Réactivité maximale

• L’enregistrement papier des réponses peut être

difficile

• L’attitude de l’interviewer peut affecter la validité des

réponses

EHESP

161

Entretien de groupe composé de personnes concernées par une

politique de santé ou une intervention.

Obtenir des informations relatives à leurs opinions, attitudes et

expériences ou attentes vis-à-vis de cette politique ou de cette

intervention.

Utilisée en évaluation de projets ou de programmes, en particulier

pour les études de terrain auprès des bénéficiaires et des acteurs

intermédiaires.

Focus group

EHESP

162

Usages du Focus group

EHESP

163

• Recueillir rapidement des informations et des points de vue.

• Permet à la fois l’expression et l’explication des différences de

points de vue, et l’approfondissement de leurs opinions

contradictoires.

• Restitution à l’échelle locale: se concentre sur les observations

et les premières conclusions des analyses de terrain conduites

par les évaluateurs.

• Peut être organisé pour recueillir les réactions des acteurs

cibles de l’intervention, ainsi que leurs sensibilités à un

problème donné.

• L’objectif est de déceler les lignes de clivages dans un groupe

Focus group

EHESP

164

Le focus group est le seul outil à la disposition de l’évaluateur à la

fois d’analyse et de confrontation de l’information.

Permet de mieux comprendre l’attitude des participants, leur

compréhension et leur perception d’une intervention

Permet d’obtenir une variété de points de vue et de perceptions

stimulés par l’interaction.

Chaque participant est mis en position de justifier en permanence

ce qu’il affirme.

Focus group

Exemple

Au cours d’un focus group rassemblant les représentants de

diverses associations d’aide aux toxicomanes IV et des

acteurs de prévention

Le terme « prévention » a été rejeté d’emblée par les

associations, car considéré comme « moralisateur » vis-à-vis des

usagers. Ces associations préfèrent le terme « réduction des

risque » qui n’impliquent pas l’arrêt de la toxicomanie mais la

réduction des risques liés à la pratique (VIH, VHC)

Différence de vocabulaire lié à l’histoire (prévention du sida;

engagement politique et social) et à l’idéologie (perception relative

à la stigmatisation) des parties prenantes, etc..

EHESP

165

EHESP

166

Avant de décider d’organiser un focus group, l’évaluateur doit

cerner la problématique de l’évaluation et en dégager une

thématique à laquelle l’outil pourra répondre.

Ressources allouées:

temps, moyens

Acteurs impliqués:

terrain, planification,

budget, analyse…

Objectif:

Approfondissement ou

confrontation

EHESP

167

• Très utile pour collecter des infos auprès de groupes

de bénéficiaires, notamment pour analyser l’impact

perçu par ses derniers.

• Et des participants, pour identifier ce qui pourrait être

amélioré

• La dynamique de groupe incite les participants à

approfondir, expliciter et justifier leurs prises de

position.

• Les coûts de mise en œuvre peuvent être limités.

• Gain de temps.

• Intérêt exploratoire de la méthode

Avantages

EHESP

168

• Informations qualitatives, difficile à recueillir (verbatim) et

à analyser (analyse de contenu);

• Aucune portée universelle ou quantifiable

• Organisation du focus group peut être complexe du point

de vue logistique : identification de groupes de

bénéficiaires, distances à gérer, mobilisation de

compétences nationales et locales.

• L’expression publique peut être limitée par des freins

d’ordre politique et sociaux, ou relevant de la composition

du groupe.

Limites

Définition du questionnaire

Un outil méthodologique

Composé d’une série de questions s’enchaînant de manière structurée

Permet la collecte méthodique d’informations dans le cadre d’une enquête, de façon directe ou par l’intermédiaire d’un enquêteur

Vise la vérification d’hypothèses (y compris questions évaluatives)

Permet d’obtenir des renseignements quantitatifs et/ou qualitatifs, précis et exploitables, souvent présentés sous forme de tableaux ou graphiques

Présenté sous forme papier ou électronique.

EHESP

170

1: Une partie présentation/instruction destinée aux enquêteurs: Titre de

l'enquête, présentation de l'organisme, présentation de la raison de

l'enquête, le plan sommaire du questionnaire, un consentement éclairé ( à

faire signer)

2: Des questions relatives aux caractéristiques individuelles : Age, sexe, état

matrimonial, enfants, niveau d'études, etc.

3: Des questions de comportement : Fait quoi ?, où ?, quand ?, etc. (échelle

de fréquence et d’intensité)

4: Des questions d'opinion/attitudes.croyances : Que pensez- vous de ?,

donner votre avis sur.

5: Des questions de motif : pour quelles raisons ?

Structure du questionnaire

Définition de l’objectif de l’enquête

Objet: problème étudié

Tabagisme chez les jeunes adultes

Objectif: hypothèse à vérifier

Modification des opinions et conduites tabagiques avant et après l’intervention

La formulation se fera sous forme de phrase rédigée.

Ex: Enquête auprès des jeunes adultes: elle vise à estimer les conduites tabagiques avant et après l’intervention préventive

Délimitation de la population

Selon l’objectif

Selon l’importance de la population

Selon les moyens disponibles

On pourra réaliser l’enquête auprès de toute la

population ou auprès d’un échantillon.

Plus l’effectif est important, mieux c’est

L’échantillon se devra d’être représentatif.

Les questions filtres

Une première question permet de « filtrer » la

population interrogée

Est-vous fumeur (se) ?

□ oui □ non

Selon la réponse donnée, la personne devra répondre

à d’autres questions pour préciser encore

Si oui, quelle est votre consommation journalière ?

□ 1-4 cig./jour □ 5-10 cig/jour □ 11 – 20 cig/jour

□ plus de 20 cig/jour

Les questions fermées

Elles collectent des faits précis

Plusieurs types de questions selon les modalités de réponses:

Une seule réponse est possible

- questions à choix binaire

ex: Sexe: □ masculin □ féminin

- questions à choix multiples

ex: Situation familiale: □ célibataire

□ marié(e)

□ divorcé(e)

□ pacsé(e) ou concubinage

□ veuf(ve)

- réponses à situer sur une échelle

ex: Situez votre santé perçue sur une échelle graduée:

Mauvaise □ 1 □ 2 □ 3 □ 4 Bonne


Plusieurs réponses possibles

- Réponses à choisir dans une liste:

ex: par quels moyens vous informez vous sur les questions de santé?

□ médecin généraliste

□ médecin spécialiste

□ internet

□ télévision

□ journaux

□ brochures

□ autres

lesquels:………………..


- Réponses à ordonner (classement hiérarchique)

ex: même exemple que le précédent, mais en précisant:

Numérotez de 1 à 10 selon votre ordre de préférence.


- Les échelles de satisfaction, et de degré d’accord

Que pensez-vous de l’interdiction de fumer dans les bars ?

Très satisfait

Plutôt satisfait Plutôt insatisfait Très insatisfait

4 3 2 1

Interdire de fumer dans les bars est une bonne chose…

Pas du tout

d’accord

Pas d’accord D’accord Tout à fait

d’accord

1 2 3 4


- Les échelles de fréquence et d’intensité

A quelle fréquence fumez-vous lors des soirées entre amis?

Toujours

souvent Parfois Jamais

4 3 2 1

Combien de cigarettes fumez vous lors d’une soirée entre amis

1 – 5 cig.

6- 10 cig. 11 – 15 cig. 16 ou + cig.

1 2 3 4


- Les échelles de croyances/ connaissances

Fumer du cannabis est moins dangereux que fumer du tabac

Totalement faux Plutôt faux Plutôt vrai Totalement vrai

1 2 3 4

Possibilité d’utiliser des échelle en 5 points (Lickert), ou en 7

points.

Mais un nombre de modalité pair évite la réponse médiane,

utilisée par les répondant pour ne pas « s’engager »

Echelle visuelle Analogique

Fumer du cannabis est moins dangereux que fumer du tabac

Pas du tout d’accord Tout à fait d’accord


Avantages des questions fermées

Elles permettent des réponses aisées et rapides

Elles sont faciles à dépouiller

Les résultats sont directement quantifiables

Les questions ouvertes

Question ouverte d’opinion: ex: Quelle est votre position par rapport à l’interdiction de

fumer dans les lieux publics ?

Question ouverte de fait: ex: quels sont les bénéfices que vous tirez de votre tabagie ?

Question ouverte numérique: ex: Quelle est votre moyenne de consommation tabagique

par jour?

Avantages des questions ouvertes:

Elles permettent réellement le recueil d’opinions et

de suggestions

La personne enquêtée a le libre choix de la

réponse

Elles permettent des réponses personnalisées

Elles permettent une approche exploratoire (mise

en évidence d’informations non connues jusque-là)

Les questions de fait et d’opinion

Les questions de fait:

Elles concernent des faits précis:

Fumez-vous ?

Combien de cigarettes fumez-vous par jour ?

Les questions d’opinion:

Elles concernent les avis personnels, les jugements:

Pourquoi fumez-vous ?

□ par habitude □ par imitation □ par ennui….

Que pensez-vous de l’interdiction de fumer dans les restaurants ?

La formulation des questions

La forme interrogative directe:

Que pensez-vous de… Combien de …

La forme indirecte:

Nommez… Citez… Classez ….

La forme affirmative:

Vous avez obtenu le baccalauréat en _ _ _ _

Vous êtes demandeur d’emploi

Conseils pour la formulation des

questions:

Ce qui est recommandé

- demander un seul fait ou opinion par question

- utiliser un vocabulaire simple et précis

- formuler clairement

- prévoir éventuellement une question ouverte

- prévoir toujours:

□ autre choix

Lequel ?...................

- les questions utilisant une négation:

Ne pensez-vous pas que…..?

- les questions qui induisent les réponses:

Pensez-vous que la vente du tabac devrait être interdite aux mineurs ?

- les questions qui risquent d’entraîner des réactions de rejet ou de gêne:

Lors des élections présidentielles, pour quel candidat allez-vous voter ?

ou des réactions de conformisme:

Le problème de l’insécurité est-il un phénomène important aujourd’hui ?

- les choix trop limités dans les questions à choix multiples

Ajouter Autres choix ? Lesquels ?

Ce qui est à éviter

Mise en forme

Regrouper les questions de même type (socio-démographiques;

habitudes; conduites…)

Eventuellement, mettre un titre à ces rubriques

ex: Identification – Logement – Famille – Loisirs….

Séparer les rubriques par un espace

Placer au début les questions d’identification

Placer les questions difficiles ou délicates entre des questions

simples, ou les placer à la fin

Limiter le nombre de questions afin de ne pas décourager la

personne enquêtée: 25 à 30 questions au maximum.

Présentation définitive

Facile à lire

Facile à remplir

Facile à dépouiller

EHESP

190

• Simple à mettre en œuvre et à remplir par un

grand nombre de participants

• Donne des résultats directement exploitables

(scores, %)

• Analyse et inférence statistique possible

(différences entre groupes ..)

• Gain de temps.

• Résultats comparables dans le temps

Avantages

EHESP

191

• Demande beaucoup de temps et de rigueur pour la

conception en amont

• Aucune marge de manœuvre une fois les premières

passations effectuées (impossible de le modifier a

posteriori)

• Aucun intérêt en terme d’analyse exploratoire

• Donne des résultats faussés si défaut de conception

Limites

192


Pour approfondir, il existe de nombreux manuels,

guides, etc... sur les thèmes suivants :

- Collecte des données

- Entrevues, groupes de discussion

- Observations directes, études de cas

- Etudes de cohortes, suivi longitudinal

- Analyse des données

- ...

193


Un très grand nombre d’outils (questionnaires, grilles

d’entretien etc..) construits et validés par les chercheurs

sont disponibles sur internet ou auprès des organismes

institutionnels (OMS, INPES, etc..)

Ils produisent des indicateurs clairs sur les dimensions

complexes (conduites, attitudes, croyances, normes,

représentations…) de la plupart des problèmes de santé (tabac,

alcool, addiction, sédentarité, nutrition…)

Construire un outil de mesure complexe est donc pour la plupart des acteurs de terrain: - Une perte de temps - Une perte d’énergie et de moyens - Avec, au final, un outil qui sera peu pertinent

194



Procédure d’évaluation prévue

- Pour analyser le processus

- Pour analyser les résultats

Outils utilisés (questionnaires, grilles…)

Mesures répétées avant-après

Personnes en charge de l’évaluation

Conclusions sur le processus et les résultats ?


Critères de Qualité du rapport

Question évaluative

196

Rapport

Thèmes à inclure dans le rapport (projet) :

– Description schématique du programme à évaluer avec

identification des parties prenantes

– Les questions d’évaluations – les problèmes posés

– La méthode, les outils

– Les résultats attendus

– La démarche et le plan de travail

– Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises)

– Le calendrier

CONCIS

197

Rapport

Thèmes à inclure dans le rapport d’évaluation :

– Description schématique du programme avec identification

des parties prenantes

– Les questions d’évaluations – les problèmes posés

– La méthode, les outils, les indicateurs utilisés

– Les résultats obtenus pour chaque objectif

– Les effets non attendus (positifs et négatifs)

– Une comparaison entre mise en ouvre prévue et effective

– Conclusions et améliorations prévues (sur la base des résultats)

CONCIS

évaluation en promotion de la santé

Education

Transcript of évaluation en promotion de la santé