Changement de paradigme dans l’évaluation des systèmes · PDF...

Changement de paradigme dans l’évaluation des systèmes de surveillanceépidémiologique Sylvie BriandCredes, France

Articleoriginal

Ruptures, revue transdisciplinaire en santé, vol. 7, n° 2, 2001, pp. 8-22.

Résumé:De nombreux pays se demandent comment rendre les systèmes d’information sanitaires plus performants dans un contextede ressources limitées pour le secteur de la santé. L’enjeu, lors de l’évaluation des ces systèmes, est donc de produire uneconnaissance utile c’est à dire à la fois valide et porteuse de changement.En ce qui concerne les systèmes de surveillance épidémiologique, on dispose d’un guide d’évaluation proposé par le Centrefor Disease Control. Cependant cet outil ainsi que la méthodologie préconisée présentent des limites, en particulier quand ils sont utilisés dans les pays en voie de développement. L’objet de cet article est d’analyser ce guide en utilisant le cadre conceptuel des paradigmes cognitifs afin depouvoir proposer d’autres modalités d’évaluation, en particulier lorsque l’objectif de l’évaluation est de produiredu changement. L’évaluation de quatrième génération représente une alternative intéressante basée sur la participation des acteurs du système tout au long du processus d’évaluation, de l’identification des dysfonctionnementsà la mise en œuvre des corrections

Mots clés : évaluation, systèmes de surveillance épidémiologique, paradigme, constructivisme, transdisciplinarité.

Introduction

Avec l�émergence de nouvelles maladiesinfectieuses (encéphalopathie spongiformebovine, SIDA) et la réapparition de maladies

que nous croyions contrôler, la surveillanceépidémiologique bénéficie de l�intérêt croissantaccordé par les autorités sanitaires de nombreuxpays. (Berche & Weil, 1993 ; Collinge, 1996 ;Gremck, 1995). Les informations épidémiologiquesfournies par les systèmes de surveillanceépidémiologique deviennent, en effet, utilespour (i) détecter précocement l�apparitiond�épidémies, (ii) planifier les actions de préventionet contrôle des maladies et enfin (iii) évaluer

l�impact des interventions (Anderson, Martinez&Vilegas, 1986; Dab&Gremy, 1993; Dab, Quenel,Cohen&Hannoun, 1991, Drucker&Moren, 1992).Cependant, tout système d�information impliquedes coûts financiers et les crises économiquesauxquelles se confrontent de nombreux pays envoie de développement obligent à optimiser l�utilisation des ressources et à évaluer les systèmesexistants pour assurer la meilleure utilisationdes moyens.

L�évaluation des systèmes de surveillanceépidémiologique (SSE) constitue une activité de formalisation récente. Les premiers articlesqui proposent un modèle d�évaluation comportantdes lignes directrices ont été publiés par le Center

for Disease Control (CDC) d�Atlanta, en 1988 (Anonymous, 1988; Thacker, Berkelman&Stroup,1989). Nous avons utilisé ce modèle d'évalua-tion, en Équateur, dans le cadre d'un projet de coopération dont l�une des composantesvisait le renforcement du système national desurveillance épidémiologique. L�évaluationmenée a permis de mettre en évidence les dysfonc-tionnements du système. Ainsi, la qualité du systèmede surveillance s�est révélée très faible : retard de transmission des formulaires de données alimentant le système d'alerte, taux de déclarationvariant de 10 à 60%, selon les provinces, manquede rigueur des renseignements inscrits dans les déclarations. Il a été possible de mesurer l�acceptabilité, mais la compréhension opératoire(c'est-à-dire celle permettant d'agir sur le problème)ne pouvait être fournie par les indicateurs ou les méthodes de recueil utilisés. De plus, lors de la mise en �uvre des recommandations figurantdans le rapport d'évaluation, certaines difficultéssont apparues. Par exemple, les tentatives poursimplifier les formulaires de recueil des donnéesont suscité de fortes résistances chez les acteursalors même qu'il existait un consensus sur la validité de l'appréciation de l'expert épidémio-logiste ayant réalisé l'évaluation.

Deux ans après cette expérience aux résultatsmitigés, le besoin d�une nouvelle évaluationdans ce même pays s�est fait sentir. Pour cettedeuxième expérience évaluative, nous avons tenucompte des difficultés antérieures de manière à proposer une approche alternative.

Nous devions résoudre deux problèmes :

1. Comment produire une connaissance «valide» (c�est-à-dire à la fois exacte mais aussi utilisable) lors de l�évaluation d�un objet complexe comme un système de surveillanceépidémiologique?

2. Comment l�évaluation peut-elle favoriserle changement?

Aussi, aborderons-nous, dans la premièrepartie de cet article, la notion de paradigme quiconstitue le cadre conceptuel de cette réflexion.Dans la seconde partie, le recours à la notion de paradigme permettra de comparer uneapproche désormais classique (celle du CDC)

avec une approche constructiviste en émergencedans le domaine de l�évaluation et mise en �uvre lors des évaluations réalisées en Équa-teur et au Pérou (Briand, 1997). L'expérienceéquatorienne sera décrite plus précisément dansla troisième partie de cet article.

I. Cadre conceptuel : la notion de paradigme

À la suite de la première expérience d�évaluation, l�interrogation portait sur la complé-tude du modèle utilisé. Les lignes directrices du CDC sont-elles incomplètes, et si oui, devrions-nous ajouter des indicateurs à ce modèle? Mais l�ajout de toutes les dimensions possibles aumodèle, dont le principal rôle consiste à proposerune sélection de dimensions à analyser, ne le rend-ilpas alors inutilisable, vu la surabondance de critèresà considérer?

Les modèles d�évaluation se composentd'un ensemble de critères d�évaluation ou de lignes directrices. Ces instruments facilitentle travail de l�évaluateur en lui présentant, de façon simplifiée et pragmatique, un systèmecomplexe ainsi que les méthodes pour appréhendercette complexité. Les lignes directrices constituentpar nature une sélection de critères qui rendcompte implicitement d�une certaine vision du système de surveillance. Cette vision du systèmene peut être isolée d�une vision du monde engénéral et d�un projet de connaissance de ce monde.

Notre propos est de révéler l�inscriptionparadigmatique de cet outil afin de comparer les diverses approches possibles. Il ne s'agit pasde hiérarchiser les approches mais plutôt de nous doter d'un cadre qui facilite la comparaisonen permettant de dépasser les polémiques surles méthodes et leur validité.

Comme le soulignent Guba et Lincoln «a paradigm may be viewed as a set of basic beliefs(or metaphysics) that deals with ultimate or firstprinciples. It represents a worldview that defines, for its holder, the nature of the world the individual�splace in it and the range of possible relationships to that world and its parts... The beliefs are

Changement de paradigme dans l’évaluation des systèmes de surveillance épidémiologique 9

basic in the sense that they must be accepted simply on faith (however well argued), there is no way to establish their ultimate truthfulness» (Guba&Lincoln, 1992).

La notion de paradigme permet de classerles divers types d�approche cognitive, selontrois critères :

i) L�aspect ontologique (Quelle est la visiondu monde sensible qui sous-tend le programmede recherche ? Comment sont perçus le mondeet son fonctionnement?)

ii) L'aspect épistémologique (Quelle est la nature de la relation entre le chercheur et le monde tel qu�il le perçoit ?)

iii) L�aspect méthodologique (Comment le chercheur peut-il trouver ce qu�il croit pouvoirsavoir sur ce monde ?)

Ces aspects ontologique, épistémologiqueet méthodologique semblent difficilement sépara-bles. Selon la réponse donnée à la première question, la diversité des réponses possibles à la seconde et à la troisième se réduit.

Ainsi, pour illustrer le cadre conceptuelproposé par Guba et Lincoln (1992), deux paradigmes peuvent être présentés succinctement:

1. Paradigme positiviste :

(i) Ontologie: réalisme. Dans ce paradigme,le monde phénoménal existe indépendammentde l�observateur. Il est régi par des lois éternelleset universelles (déterminisme) que le chercheurpeut découvrir puis généraliser indépendammentdu temps et du lieu.

(ii) Épistémologie : dualité et objectivité.Le sujet connaissant peut accéder à la connaissancede « l�essence» du monde sensible. Le chercheuret son objet sont supposés indépendants (dualité):le chercheur peut observer cet objet sans êtreinfluencé par lui et réciproquement, l�objet ne subit pas l�influence de l�observateur. Cettedistance de l�observateur à l�objet correspond àla notion d�objectivité. Lorsque la situation ne rencontre pas ce critère (c�est souvent le casen sciences humaines et en épidémiologie),

des stratégies sont alors développées pourréduire, voire supprimer les interactions ou les biais.

(iii) Méthodologie : expérimentation etmanipulation. Les hypothèses de recherche sontsoumises à la vérification empirique (expérimenta-tion). Les expériences peuvent être construitesde façon à contrôler les facteurs pouvant influencerles résultats.

2. Paradigme constructiviste :

(i) et (ii) Ontologie et épistémologie.Dans ce paradigme, la connaissance du réel/réalité n�existe pas sans sujet connaissant.Chacun «construit» sa connaissance du réel àpartir de sa propre expérience du réel, autrementdit, la connaissance du réel découle des construc-tions mentales ou représentations. Cette notions�illustre dans l'exemple suivant : « La carte (ou la représentation) n�est pas le territoire (ou le réel connaissable indépendant du sujet), maisla carte exprime la connaissance expérimentaledu territoire par le sujet, qu�ainsi parfois elletransforme» (Korzybsky,1980). Pour les construc-tivistes, les représentations du réel que chacunpossède n�existent pas a priori, elles se créent à partir d�une interaction entre le sujet connaissantet l�objet à connaître. Le réel est construit parl�acte de connaître plutôt que donné par la percep-tion objective du monde. La notion d'objectivitéperd son sens puisqu�il existe nécessairementune relation entre les représentations construitespar le sujet et son objet, c�est une vérité intersubjec-tive. Par ailleurs, le monde se caractérise par unensemble de formes en mouvement, en interactionet en changement perpétuel (l�impression d�unmonde figé ne correspond qu�à un certainniveau de perception).

(iii) Méthodologie. La nature variable et individuelle (intramentale) des constructionsmentales produites par le sujet connaissantsuggère que seule l�interaction permet d�affinerces constructions (cognition dialectique), que ce soit une interaction entre les chercheurs ouencore entre les chercheurs et le milieu. La métho-dologie employée visera comme objectif de permettre les interactions afin de produireune construction consensuelle (entre les acteurs)plus sophistiquée que les constructions indivi-duelles précédentes. De façon schématique,

10 Sylvie Briand

la modélisation, qui constitue une médiationentre le sujet connaissant et le réel, caractérisel�approche constructiviste.

En théorie, il n'existe pas de hiérarchisationentre les paradigmes qui apparaissent commedes tiroirs conceptuels utiles pour comparerdiverses approches. En revanche, socialement, il existe le plus souvent une approche reconnueet légitime que Kuhn nomme paradigme dominant.Dans un paradigme, les chercheurs reconnaissentun ensemble de problèmes à élucider, des théories,des méthodes et des critères de jugement quiguident le processus cognitif. Le paradigme sertà « renseigner les scientifiques sur les entités que lanature contient ou ne contient pas et sur la façondont elle se comporte» (Kuhn, 1970; p. 155). Il existetoujours, dans un même champ scientifique, plu-sieurs paradigmes en «concurrence». À la naissanced�une science, ces paradigmes coexistent mais,peu à peu, un paradigme s�impose et la scienceatteint le statut de «science normale ». Ce statutn�est pas acquis pour toujours puisque l�histoire des sciences est jalonnée de révolutions scien-tifiques ou ruptures qui constituent, selon Kuhn,des changements de paradigmes.

II. Comparaison de deux types d’évaluation des systèmes de surveillance épidémiologique

Vision du système de surveillance ou perspectiveontologique

Parmi les modèles d�évaluation des SSE,celui proposé par le CDC d�Atlanta demeure le plus connu. Le même groupe d�auteurs l�a,maintes fois, publié dans diverses revues scien-tifiques à forte audience internationale. Reprisdans plusieurs manuels d�enseignement de l�épidé-miologie, largement diffusé et utilisé, il constitueune référence dans ce domaine.

Ce modèle comprend diverses dimen-sions d�analyse dont l�importance relative doitêtre pondérée en fonction du système étudié. Ce modèle d�évaluation se base sur l�analyse de trois critères principaux, à savoir la qualitédu système, son utilité et son coût (Thacker,Parrish & Trowbridge, 1988). Cependant, un

document plus complet publié dans le MMWR(Anonymous, 1988) comporte un ajout des dimen-sions suivantes : description du système etimportance en termes de santé publique de l�événement sous surveillance (voir tableau I ).

À notre avis, la vision du SSE à laquelle se réfèrent les épidémiologistes du CDC correspondà celle d�un système réifié. Malgré des empruntsà la systémique (input, output, flux d�informationet boucle de rétro information), le système resteperçu comme un ensemble figé d'éléments(Lugan, 1992). D'une part, l�analyse sembleexaminer chaque dimension de façon isolée et met rarement en relation les différents éléments du système entre eux; d'autre part, elleparaît ne pas tenir compte de certaines notionsfondamentales dans la perspective systémique.Il s'agit en particulier des notions suivantes :

i) le primat de l�analyse des interactionssur l�analyse des éléments constitutifs du système;

ii) la notion de transformation du système;

iii) les interactions du système avec l�envi-ronnement dans les systèmes ouverts.


Tableau 1: Évaluation du SSE selon les lignesdirectrices du CDC

Modèle du CDC

Critères

Importance de l'événementsous surveillance

Description du système de surveillance

L’utilité du système

L’analyse du coût

Qualités du système

Dimensions

Objectifs, composantes,flux d'information

SimplicitéFlexibilitéAcceptabilitéSensibilitéSpécificité Valeur prédictive positiveReprésentativité Réactivité

Le modèle fait référence implicitement à un système dont le fonctionnement seraitgénéralisable indépendamment du lieu et dutemps. L�inscription du système dans un contexteplus large (sanitaire, social, économique, politique,géographique) tient pour peu dans l�évaluation.

Il découle trois conséquences de cette perception :

� Ce modèle ne tient pas compte de la dimension historique du système.

En effet, l�évaluation se veut une analysetransversale d�un système au fonctionnementstable dans le temps. À notre avis, cetteapproche « statique » comporte l�avantage de simplifier l�analyse du système mais aussil�inconvénient de révéler des dysfonctionnementssans comprendre leur origine et limite ainsi lespossibilités de compréhension et de correctioneffective de ceux-ci.

� Ce modèle ne tient pas compte de l�envi-ronnement du système.

Le système de surveillance semble êtreconsidéré comme une entité isolée de l�environ-nement. Le modèle ne propose aucune variablepour analyser l�impact ou les relations réciproquesentre le système de surveillance et l�organisationspécifique du système de santé dans lequel il s�inscrit, la culture, le niveau de développementdu pays et l�institution dans laquelle le systèmese développe.

� Ce modèle tient très peu compte des acteurs.

Les acteurs du système apparaissent dansdeux dimensions : l�acceptabilité du système et l�utilité du système. La place qui leur estaccordée dépend sans doute de l�application «sur le terrain» des critères et de la façon dontl�évaluateur procède pour évaluer l�interventiondes acteurs dans le système. Cependant, le mo-dèle, en n�insistant pas sur les notions d�enjeux,de valeurs, de représentations et de stratégiesd�acteurs, semble regarder les acteurs commedes individus interchangeables sans tenircompte explicitement de leur lien social. Les outils méthodologiques préconisés par

les auteurs du modèle pour aborder la partici-pation des acteurs se révèlent insuffisants dansune perspective «emic». La démarche des créateursde ce modèle élaboré par des épidémiologistesrenommés du CDC ne surprend pas, outremesure, car tenir compte des jeux d�acteursrelève plus d�une perspective sociologiquequ�épidémiologique. Les auteurs eux-mêmesmentionnent les limites de leur approche en ce qui concerne le concept d�acceptabilité : « the quantitative assessment of acceptability of a surveillance system has never been carefullyconducted» (Thacker et al., 1988). L�acceptabilitédésigne la volonté (willingness) des acteurs à générer des données fiables en temps utile, elle représente les points d�interaction entre le système et ses participants (Anonymous,1988). Elle est mesurée par des indicateursquantitatifs comme le nombre de formulaires de déclaration émis et le pourcentage de décla-rations opportunes. Sans diminuer l�apport de ces indicateurs pour la description globale du fonctionnement du système, il nous sembleimportant de souligner qu�ils ne permettent pasde comprendre avec finesse les jeux d�acteurs au sein du système, compréhension essentielle,à notre avis, à l�établissement de solutions adaptées.

Ce système de surveillance s�apparente à une machine dont il convient d�évaluer le fonctionnement (i) par rapport aux objectifsfixés (pertinence du choix des maladies à surveiller ou utilité) (ii) par rapport à unemachine idéale (critères de qualité du système).Dans cette conception, les acteurs deviennentdes rouages interchangeables et non différenciés.

L�analyse suggérée par le modèle du CDCse focalise sur les aspects permanents (structureet absence de dimension contextuelle et historique)et adopte une posture analytique (globalité vuecomme une somme de parties). Cette position se rapproche de la vision ontologique adoptéedans le paradigme positiviste.

Il est possible en nous plaçant dans un autre paradigme cognitif, de proposer uneapproche alternative d�évaluation des SSE.Ainsi, l�adoption d�une perspective près de la conception constructiviste amène à considérerdifféremment le système. Celui-ci ne constitueplus un ensemble d�éléments figés mais plutôt

12 Sylvie Briand

un assemblage complexe de sous-systèmes en interaction (Le Moigne, 1990). Il reste surtouten interaction permanente avec son environnement.L�analyse du système tient alors compte des facteurs sociaux, économiques, culturels et poli-tiques qui influencent le système et se rapprochede l�analyse de cas (Yin, 1984). Le système étantperçu comme ouvert et en adaptation, la perspectivehistorique et dialectique doit faire partie inté-grante de l�analyse. Le SSE n�est plus considérécomme une machine à produire de l�informationmais comme un système social composé d�acteurs.Le système formel tel qu�il peut être décrit dansson organigramme avec les flux d�information,les inputs et outputs ainsi que la production d�information épidémiologique, pourrait être considéré comme le squelette, les acteurs, quantà eux, formant la chair et l�âme du système. Cesdeux éléments demeurent indissociables. Dansl�évaluation du fonctionnement du système desurveillance, ces acteurs ne sont plus vuscomme passifs (rouages d�une machine), maisdeviennent des sujets actifs avec lesquels il fautcompter.

La difficulté consiste à trouver l�abordconceptuel opérationnel pour envisager un systèmecomplexe comme l�est un SSE en centrantl�analyse d�un point de vue sociologique. La plupartdes systèmes de surveillance épidémiologiquese composent d�acteurs « parsemés » au sein du système de santé : (i) à la périphérie, les producteurs d�information (médecins, infirmiers,établissements de soins), (ii) au niveau intermédiaire,les administrations sanitaires provinciales ourégionales qui collectent et organisent les donnéesau sein de fichiers, (iii) au niveau central, une institution se charge de réaliser l�analysedes données nationales. Parmi les acteurs du système, il convient aussi de ne pas négligerles usagers du système et l�information épidémi-ologique produite par celui-ci. La difficulténe réside pas dans le fait d�intégrer l�hétéro-généité des acteurs mais plutôt les diversesappartenances de ceux-ci (Aubret & Gilbert,1997). Le système de surveillance ne peut êtrecomparé à une organisation dont les contours sedéfiniraient comme ceux d�une structure physiqueidentifiable (une entreprise) ou d�une institution(une administration). La situation du systèmede surveillance se rapproche de la vision de l�entre-prise moderne de John Atkinson , qui la considère

comme composée de plusieurs cercles qui vontd�un noyau central de salariés permanentsjusqu�aux prestataires extérieurs, irréguliers etprécaires (Bellier-Michel, 1998).

Le SSE vu comme un système d�actionsociale peut alors être évalué en utilisant les conceptsdes diverses écoles de sociologie des organisa-tions : analyse stratégique, école des ressourceshumaines, organisation scientifique du travail,théorie de l�innovation (Crozier & Friedberg,1977 ; Fauvet, 1997 ; Fineman, 1996 ; Friedberg,1993 ; Friedberg, 1994 ; March & Simon, 1971 ;Mayo, 1933 ; Mintzberg, 1995 ; Taylor, 1971).Dans cette perspective plus sociologique, les méthodes pour réaliser l�évaluation du systèmede surveillance seront non seulement quantitativesmais aussi qualitatives (Blanchet et al., 1985 ;Blanchet, Ghiglione, Massonat&Trognon, 1987 ;Rogers&Kinget, 1966; Petit, 1991; Rogers&Kinget,1966 ; Winkin, 1996). L�analyse se focalise, danscette deuxième approche, sur les aspectsdynamiques (système social évolutif, en interactionavec le contexte) et adopte alors une vision près de la modélisation systémique (la globalitén�étant plus réductible aux parties).

Réflexions sur le processus d’évaluation ou perspective épistémologique et méthodologique.

Le deuxième axe de réflexion théoriquecorrespond à la démarche d�évaluation pouvantêtre appliquée aux systèmes de surveillanceépidémiologique. Guba et Lincoln (1989) définis-sent quatre stades dans l�histoire de l�évaluation.Le premier stade est celui de l�évaluation centréesur la mesure: mesure des résultats scolaires, de la productivité et de l�intelligence. L�évaluationrequiert des instruments permettant de mesurerles phénomènes à l�étude. L�évaluateur tient le rôle du technicien apte à utiliser ces instru-ments. Le deuxième stade (situé selon les auteursdans les années 20-30) est celui de l�évaluationcentrée sur l�identification et la description des processus. Il s�agit de décrire comment des programmes permettent d�atteindre des résultats. Le troisième stade est celui de l�évaluation centrée sur le jugement. Des critères sont établis pour attribuer unevaleur à l�intervention (efficience, efficacité...).L'évaluation médicale en France pourrait


se situer dans ces premières générations de l'évaluation comme l'attestent les définitionsretenues par l'ANDEM et l'ANAES. La définitiondu Pr Yves Matillon de l�ANDEM 2 «Évaluer,c�est mesurer, c�est-à-dire donner de la valeur »(Matillon, 1992) complétée par celle de Gardeur«Évaluer serait donc apprécier la réalité des faits enles comparant à ce qui était prévu, attendu ou souhaitémais aussi aider à déterminer ce qui est souhaitable etles moyens et activités pour y parvenir... Évaluern�est pas non plus seulement mesurer. L�évaluationutilise la mesure mais la dépasse pour donner un sens à cette mesure afin de déboucher sur une aide à la décision » (Gardeur, 1996). Le quatrièmestade de l'évaluation est en émergence et répondau projet suivant: «À la constatation et à la descriptionde ce qui existe, nous proposons donc la recherche de ce qui pourrait exister » (Darcy de Oliveira, 1977).L�évaluation de la quatrième génération n�a plusseulement comme objectif de « donner unevaleur » mais aussi de jouer un rôle dans le changement. «Le but le plus important de l�évalua-tion de programmes n�est pas de les mettre à l�épreuvemais de les améliorer» (Stake, 1989 ; Stuffelbeam,1989; Zuñiga, 1994). Pour ces auteurs, cette amélio-ration ne peut s�effectuer qu�avec la participationactive de tous les acteurs. L�évaluation devientalors un processus social.

La quatrième génération d�évaluationrepose sur deux positions fortes. Premièrement,c�est une évaluation dans l�action ; c�est-à-direque, contrairement aux démarches classiques, il ne s�agit pas d�évaluer la situation puis, dansun deuxième temps, de prendre les mesurespour changer cette situation. Dans l�évaluationde quatrième génération, l�évaluation constitueune intervention à part entière et s'apparente àla gestion d'un projet de changement dans uneorganisation (Brénot & Tuvée, 1996). Il existe une interpénétration constante des phases de connaissance et d�action. Le but de l�évaluationne vise plus à fournir de l�information à des décideurs extérieurs mais à développer,chez les acteurs sociaux (participants au programmeou à l�intervention), une prise de conscience de leur potentiel d�action et du pouvoir qu�ilsdétiennent sur cette action (il s�agit de la notiond�empowerment en anglais et d�empoderamientoen espagnol). Cette conception part du principesuivant : « il est possible de forcer les gens à obéirmais il n�est pas possible de les forcer à l�excellence »

(Zuñiga, 1994, p 163). La seule façon d�obtenirune implication réelle des acteurs est que ceux-cidécouvrent par eux-mêmes le sens de leurinvestissement et s�approprient la dynamiquede l�action en cours. Il importe alors de les inciterà prendre des risques, stimuler leur créativité,assumer des responsabilités (Guba & Lincoln,1989, p 226-227). Dans cette perspective con-structiviste de l�évaluation, l�évaluateur, loin de se limiter au rôle d�observateur-interprètedes situations, devient un catalyseur du changement.Deuxièmement, l�évaluation de quatrièmegénération s�inspire d�une conception construc-tiviste de la science (Le Moigne, 1995). Pour uneépistémologie positiviste, tout est donné par la réalitédes objets étudiés, le positif= le réel. Pour le con-structivisme, la connaissance est construite, par le modélisateur, qui en a le projet, dans ses interactionspermanentes avec les phénomènes qu�il perçoit ou qu�il conçoit. Ce processus actif de construction de la connaissance est au c�ur du processus de modéli-sation des phénomènes perçus comme complexes(Lugan, 1993).

La démarche évaluative adoptée par le CDCse situe plutôt dans la perspective des deux premières générations d�évaluation (mesure etdescription des processus). L�utilisation des lignesdirectrices comme s�il s�agissait d�une norme ou d�unréférentiel, s�apparente à une pratique de type «évaluation administrative» (Contandriopoulos,1991). Le modèle ou la norme de référence resteimplicite, il s�agit d�un système idéal qui répondraitexactement aux objectifs assignés à la créationdu SSE (par exemple détection d�épidémie).C�est une évaluation de type rétrospectif comparantle système existant actuellement au système telqu'il a été conçu idéalement à sa création. La méthodologie d�évaluation proposée par les auteurs du CDC place l�évaluateur commeun observateur externe et distant ; elle ne tientpas compte des interactions potentielles de celui-ciavec l�objet d�étude. Nous retrouvons là encorecette vision du système désincarné, réifié qui peutêtre appréhendé dans une posture de neutralitéet d'objectivité. Les outils d�évaluation préconisésvisent à la mesure et à la quantification.

Dans une évaluation de quatrièmegénération, dans la mesure où la connaissance se construit avec les différents acteurs du système,une large place sera faite aux méthodes qualitatives

14 Sylvie Briand

permettant ainsi uneapproche compréhensiveet « emic » (compré-hension de l'intérieur). La stratégie de l�évalua-tion repose sur le respectet la compréhension de la situation et desperceptions éprouvéespar les participants. Ils�agit d�un processusdynamique de prise deconscience et de rétro-alimentation de l�action,à partir de cette con-science critique. L�accentest mis sur la négocia-tion entre les diversacteurs pour aboutir à une construction con-sensuelle. Cette approches'inscrit plutôt dans lesillage de la recherche éva-luative (Contandriopouloset coll., 1990). (cf :Tableau II)

III. Expérience d'évaluation constructiviste en Équateur

Le système national de surveillance (SSE)équatorien fait régulièrement l'objet d'évaluationsqui mettent en évidence les même types de dys-fonctionnement : surabondance de formulairesde déclaration, formulaires complétés au détrimentdes activités de soins, information de qualitémédiocre, transmission retardée, non utilisationdes données produites� Or, si les nombreusesévaluations réalisées aboutissent à des conclusionspertinentes quant à la nature des dysfonction-nements, force est de constater que l'impact sur le fonctionnement des SSE reste minime : lesrecommandations des experts sont au mieuxpartiellement entendues et considérées ou au pire totalement ignorées des acteurs du SSE quirésistent activement au changement institutionnel.

Pour remplacer les systèmes jugés inadaptés,nous assistons parfois à la création de nouveauxsystèmes d'information qui, au fil du temps,souffrent des mêmes dysfonctionnements que lessystèmes antérieurs.

Proposer une démarche d'évaluation quipermette d'améliorer concrètement le fonction-nement du SSE représente un enjeu économiqueimportant afin d�éviter de répéter constammentles évaluations improductives mais aussi unenjeu de santé publique afin de doter les autoritéssanitaires d'instruments d'aide à la décisionvalides, utiles et utilisables. La connaissance produitepar la première évaluation ayant utilisé leslignes directrices du CDC occultait certainsaspects très importants dans la mise en �uvrede recommandations issues de l�évaluation. En effet, des blocages ou dysfonctionnementspar rapport aux objectifs initiaux du systèmeétaient liés à divers facteurs dont la compréhensiondevient essentielle à la prise de décision : par


Tableau 2 : Comparaison des deux approches

Première évaluation Approche type CDC

• Positivisme ou postpositivisme

• SSE réifié, figé• Mise de côté du contexte

historique, social et culturel

• Objectivité (distance à l'objet)• Évaluateur expert distant

recherchant la neutralité

• SSE découpé en parties • Situation simplifiée• Acteurs du SSE = objets

• Évaluation administrative (référent implicite, système de surveillance des pays développés)

• Rétrospective

• Distincte de l'action et sans projet de changement

• Mesure et observation

• Première deuxième troisième génération

Deuxième évaluationApproche constructiviste

• Constructivisme

• Relativisme (constructions mentales)

• SSE = système social lieu d'interactions et d'adaptations permanentes à l'environnement

• Constructions partagées avec les acteurs du SSE

• Évaluateur catalyseur du changement

• Modélisation de phénomènes complexes

• Catalyse de chimie socialeActeurs du SSE participants et sujets

• Recherche évaluative

• Évaluation dans l'action• Projet de changement

• Quatrième génération

Paradigme deréférence

Ontologie ou visiondu SSE

Epistémologieou posture de l'évaluateur

Méthodologie

Évaluation

exemple, les facteurs liés à une adaptation du système à son environnement. En Équateur,le système d�alerte fonctionnait avec un formu-laire de déclaration hebdomadaire sur lequel figurait le SIDA. Aucune raison épidémiologiquene justifiait le fait que cette maladie à incubationlongue soit ainsi déclarée. Cette «anomalie»pouvait, à première vue, passer pour un dys-fonctionnement du système. En réalité, le SIDApermet d�attirer des financements de bailleursde fonds internationaux et les données sur cettemaladie représentent un enjeu important pourle département d�épidémiologie.

De même, l�utilisation détournée du systèmeou son adaptation secondaire peuvent expliquerla mauvaise qualité de l�information épidémio-logique produite (Goffman, 1968; Lafaye, 1996).En Équateur, les formulaires mensuels de décla-ration obligatoire servant aussi à la Directionprovinciale pour vérifier la présence des médecinsdans les dispensaires des zones rurales, le person-nel soignant était porté à surestimer le nombre de cas détectés dans le but d�améliorer le bilan de son activité.

Ces évaluations des SSE, en grandemajorité, sont financées par des bailleurs de fondsinternationaux. Rédigées par des experts despays développés, les recommandations issuesde l'évaluation négligent souvent la dimensionculturelle (modalités de communication, type de gestion, valeurs partagées,�) et provoquentdes résistances importantes chez les acteurs du système, lors de l'application des réformes(Winkin, 1996). Ce fut notre première expériencequi nous conduisit à l�idée que le système doitêtre modifié de l'intérieur par les acteurs eux-mêmes pour arriver à une transformationdurable. Le SSE équatorien, dans la premièreévaluation, a été comparé à un référent implicitede pays développé possédant les moyensmatériels, humains et financiers de produire uneinformation de qualité. En Équateur, pays auxprises avec une grave crise sociale, économiqueet politique, la question centrale de l�évaluationne s�énonce pas ainsi: «le système fonctionne-t-ilbien?» ; mais plutôt, connaissant les contraintesliées au contexte, «comment pourrait-il mieuxfonctionner? ». Une évaluation de type «admi-nistrative» peut produire des effets néfastes surles acteurs du système qui constatent que, malgré

leurs efforts, « la barre à atteindre» reste trophaute. L�évaluation, au lieu de susciter unemobilisation vers le changement, devient le couperet décapitant les impulsions de change-ment. Les acteurs se démobilisent. L�évaluationconstituant un puissant vecteur pour modifierles perceptions des acteurs sur la réalité qui les entoure, l�évaluateur doit veiller à ce que ce processus ne génère pas, chez eux, un sentimentd�impuissance et n�aboutisse pas à une attitudedéfaitiste ou fataliste.

L'enjeu consiste à trouver une méthodologied'évaluation qui permette de produire une con-naissance valide sur l'objet, en l�occurrence le SSE, tout en facilitant le changement dans l'organisation dans un sens qui convienne à la majorité des acteurs impliqués dans l'action.L'évaluateur a pour rôle de permettre l'expressionde toutes les voix dans la construction de cetteconnaissance/action. Son expertise ne peutreposer seulement sur les techniques d'évaluationmais relève d'un ensemble d'aptitudes dans la gestion d'un processus de mobilisation sociale:capacités d'adaptation aux situations et de ques-tionnement de ses préjugés, conscience de la dis-tance culturelle, etc. La deuxième évaluation que nous avons menée visait clairement à modifierle système de surveillance existant non pas à l'issue de l'évaluation par la mise en applicationdes recommandations des experts (comme lorsde la première tentative), mais bien en coursmême d'évaluation.

Nous nous confrontions alors à au moinsdeux «défis » à relever : améliorer le système de surveillance et faire participer les acteurs.Nous avions l'expérience de séminaires de formation des acteurs du système de surveillanceafin d'améliorer leur savoir et leur permettre de mieux utiliser l'information épidémiologique.Les techniques pédagogiques participativesavaient été largement utilisées afin de nousassurer de l'acquisition concomitante du savoir,savoir faire et savoir être. Pourtant, la mesure de l'impact de ces formations sur la mobilisationde ces divers savoirs dans la pratique quotidienne,affichait des résultats peu probants. L�objectifpour cette évaluation visait l�obtention d�uneparticipation réelle et non pas ce que nous avonsqualifié «d�absentéisme présenciel».

16 Sylvie Briand

Concrètement, la première étape de cetteévaluation a consisté à produire un cadre intelligiblede cet objet complexe que représente le systèmede surveillance avec ses acteurs hétérogènes. Il s'agissait de modéliser le système de façon à (i) définir une stratégie d'intervention � évaluation,et (ii) donner à voir le système aux acteurs de façon à ce qu'ils puissent prendre consciencede leur rôle dans ce système.

L'équipe d'évaluation comprenait six per-sonnes de formations diverses (médecine,épidémiologie, sociologie) et de cultures différentesou possédant des expériences prolongées dansdes pays de cultures différentes (européennesou latino-américaines). Elle s'est efforcée de définir le système de surveillance à travers le prisme des représentations construites pardes informateurs clés entretenant des rapportsplus ou moins proches avec le SSE. Ces informa-teurs provenaient du milieu des utilisateurs de l'information produite (décideurs politiques,représentants d'organismes de coopération,universitaires, responsables du ministère de la Santé,médecins des centres de santé épidémiologistesdes directions provinciales de santé) ou de celuides producteurs et gestionnaires de l'information(épidémiologistes et statisticiens travaillantdans les provinces, médecins des centres de santé,infirmiers des postes de santé). La série d'entre-tiens avec les informateurs-clés a permis de retracer l'historique du système de surveillancedepuis sa création, de révéler les enjeux des diverses institutions et acteurs dans le développement de la surveillance épidémio-logique dans ce pays et de repérer les acteurs(individus ou institutions) du système pouvantjouer un rôle moteur dans le changement du SSE.

La deuxième phase de l'évaluation s'estdéroulée sous forme de séminaires-ateliers. Cesséminaires regroupaient, pendant deux ou troisjours, une quinzaine d'acteurs du SSE. Ces rencon-tres voulaient (i) permettre la communicationentre divers niveaux du système (central,provincial, local), (ii) faire prendre conscienceaux acteurs de leur rôle et de leurs possibilitésd'action dans le SSE, et (iii) favoriser la recherchede solutions aux dysfonctionnements reconnuset ce, de façon consensuelle. Les techniques utilisées reposent sur des focus group, des entretienssemi-directifs, des jeux de rôles, des dessins

commentés� L�organisation des séquencesdurant ces ateliers, pour favoriser la participationdes acteurs, repose sur le postulat suivant : la participation des individus demeuregénéralement partielle (l'absentéisme présencieldéjà cité) parce que les situations dans lesquellesles individus sont sollicités leur permettent de mobiliser une partie réduite de leur être.Nous avons alors tenté de tenir compte des troisdimensions suivantes :

1. La raison ou la dimension intellectuelledevient le levier logique, rationnel qui engagel�acteur à agir, après avoir analysé la situation,hiérarchisé les arguments et choisi l�attitude la plus raisonnable. Cette dimension est sollicitéedans les «brainstorming».

2. Le c�ur ou la dimension affectivecorrespond au moteur sentimental capable d�entraîner l�acteur à adopter ou rejeter de manière pulsionnelle une attitude, un collègue,une situation. Mais le «c�ur» dans notre accep-tation ne couvre pas seulement le sentiment oules affects, mais comprend aussi les sensations(interprétations affectives produites par desstimuli des cinq sens, en particulier le toucher, la vision et l�audition). Les méthodes participativesutilisées sollicitent la dimension émotionnellepar des techniques corporelles (toucher l�autre,se toucher, fermer les yeux, rester immobile...).

3. Les «tripes» ou la dimension ontologique(l'essence) de l�individu inclut l�attachementaffectif à certaines valeurs ou croyances et l�engagement pour le respect de celles-ci, la vocation3 et l�éthique entre autres.

Dans ces rencontres, l�objectif consistait àsolliciter les trois dimensions (intellectuelle,émotionnelle, ontologique), en réservant à chacuned�elles des moments privilégiés d�expression ou simplement de reconnaissance. Suite à chaqueséminaire-atelier, l'équipe d'évaluation produisaitun rapport répertoriant les dysfonctionnementsdu SSE repérés, les solutions proposées, les difficultés rencontrées, etc. Ces rapports servaient de base de travail lors du séminairesuivant. Nous avons employé aussi des techniquesd'observation participante, afin de compléter les discours des acteurs et des questionnairespour quantifier certains phénomènes comme


les bases matérielles du SSE (existence de fax, de téléphone, �).

Les diverses méthodes utilisées (jeux de rôles et dynamique de groupe créée pendantles séminaires-ateliers) ont permis la participa-tion active des acteurs du SSE à la constructiond�une nouvelle vision du système susceptible de favoriser le changement. Cela les a amenés à percevoir la façon dont les transformations,suggérées par eux-mêmes, pourraient se concrétiser.Des échanges informels entre acteurs se sontavérés plus efficaces pour modifier le systèmeque les recommandations produites par desexperts extérieurs au SSE. Des conflits latentsexistaient entre les épidémiologistes et les statis-ticiens au sein des Directions provinciales desanté, entre autres. Les rencontres ont permis derétablir la communication entre ces deux caté-gories professionnelles, de faire tomber despréjugés ancrés dans des conflits anciens etd'élaborer, dans certaines provinces, des straté-gies conjointes d'action pour les années à venir.Un des problèmes soulevés provenait de l'ab-sence de rétro-information entre les différentsniveaux du système. Lors des séminaires,diverses formes de rétro-information ont ététestées (bulletin, communication orale, articledans la presse locale, réunions régulières, etc.)de façon à identifier la forme la plus adaptée en fonction de la réalité de chaque province et de la culture du pays fortement marquée parla tradition orale. Les acteurs se confrontentainsi à l'apprentissage de nouveaux comporte-ments durant l'évaluation. Ils s'entraînent àdépasser la simple description des problèmes(ça ne marche pas, et il n'y a qu'à faire ceci) pours'impliquer dans la mise en �uvre de solutions(personnellement, je vais faire ceci pour résoudre ce problème).

Par ailleurs, ces séminaires ont favorisé la création d'un espace de diffusion de l'innovation.Ainsi, dans une province d'Amazonie marquéepar des difficultés chroniques de communication(inondations des routes, coupures téléphoniques�)et par le dénuement de la Direction provincialede santé, l'épidémiologiste utilise de nombreusessources d�information pour détecter les épidémies:la radio locale, les associations indigènes, les pro-fesseurs des écoles et la presse locale commemoyen de compléter les informations obtenues

par le système officiel de surveillance, lui-mêmealimenté par les données transmises des centresde santé. Les journalistes, quand à eux, possèdent la capacité matérielle de mener des investigationsd�épidémies là où le ministère de la Santémanque cruellement de ressources. Au lieu de considérer que l�information journalistique,dénuée de valeur scientifique, ne peut être priseau sérieux, il a passé un accord avec les média locauxpour utiliser et maîtriser en partie le processus de transmission et de vulgarisation de l�infor-mation. De nombreuses autres adaptations du système ont pu être répertoriées durant les rencontres et les acteurs ont eux-mêmesdécidé de les adopter quand elles représentaientune solution à leurs problèmes quotidiens. Le changement s'est effectué non par l'imposition,de façon administrative, de transformationsprovenant du niveau central vers la périphérie,mais plutôt par résolution ponctuelle de dysfonc-tionnements à tous les niveaux du système.

Différemment des évaluations classiquespouvant être menées en moins d'un mois par un évaluateur, cette évaluation a duré six moiset a mobilisé une équipe pluridisciplinaire d'évaluateurs. Toutefois, la durée de ce type de processus demeure nécessaire à la mise en �uvre du changement. L'évaluation de typeconstructiviste se montre probablement pluscoûteuse en raison des efforts à fournir sur unepériode plus longue par une équipe plus polyva-lente. Cependant, pour comparer vraiment le coûtdes deux approches, outre les dépenses, il faudraitaussi tenir compte des deux critères suivants :

- Le rendement réel de ce type d'intervention(moyens utilisés/bénéfices obtenus)

- Existe-t-il une autre manière d'obtenir les même impacts ?

Certains changements peuvent être rapidescomme la modification des modalités de déclaration,d�autres exigent plus de temps, particulièrementles changements liés à de nouveaux comportementsdes acteurs, comme le fait de remplir plus précisément l�histoire clinique du patient. Lacoopération internationale peut constituer unrecours salutaire au financement d�évaluationsitératives, permettant ainsi d�adapter les interven-tions au fil de l�action.

18 Sylvie Briand

Cette évaluation a su mettre en évidencel�existence, chez de nombreux acteurs, d�uneconnaissance pragmatique de la surveillance etun fort potentiel d�adaptation et d'innovation.Le programme d�enseignement des formationsprofessionnelles dispensées aux fonctionnairesdu ministère de la Santé publique dans le domainede l'épidémiologie d'intervention s�organisetoujours autour d�objectifs de connaissancethéorique définis a priori. Les enseignementsmême dispensés de façon participative, tiennentpeu compte de l'expérience concrète des acteurs.À notre avis, une réflexion sur la gestion de la con-naissance doit être menée en référence, nonseulement à la «capitalisation» de l�expériencede façon à ne pas reproduire des erreurs, maisaussi au partage du savoir. L�évaluation de la quatrième génération ne se limite pas à une simpleintervention mais aussi comporte un tempsd'apprentissage des acteurs.

Conclusion

Afin de dépasser la polémique sur les mé-thodes (qualitatives versus quantitatives) etpour ouvrir un espace d�innovation dans le domainede l�épidémiologie d�intervention, nous avonsjugé opportun ce retour à une réflexion théorique.De nombreuses publications « épidémiologiques»sur l�évaluation des systèmes de surveillances�intéressent à l�optimisation des méthodes de capture-recapture pour mesurer la sensibilitédu système. Mais ces recherches s�inscrivent,consciemment ou non, dans un cadre ou para-digme déterminé (Dunn&Baxter Andreoli, 1994;Hubert& Desenclos, 1993).

Selon Alter (1998), l�innovation équivaut à une forme d�exercice de la déviance par rapportaux règles et aux normes de l�organisation. Pourproposer un nouveau modèle d�évaluation,transgresser la norme épidémiologique devientalors nécessaire. Cette transgression s�appuiesur le recours à d�autres disciplines comme la philosophie, l�épistémologie ou la sociologied�une part et d�autre part, sur le dépassement de la vision centrée sur l�objet d�étude (le systèmede surveillance épidémiologique) afin d�amenerle débat au niveau d�une vision plus générale du monde (les paradigmes).

La résistance aux approches alternativesexiste dans le domaine de l�évaluation des SSE.Le fait de proposer des démarches innovatricesrisquant d�être perçues comme une remise en question des pratiques précédentes exige de la diplomatie. L�innovation s�inscrit aussidans la transgression du paradigme dominant.Kuhn énonce à ce sujet « la science normale n�ajamais pour but de mettre en lumière des phénomènesd�un genre nouveau ; ceux qui ne cadrent pas avec la boîte passent même souvent inaperçus. Les scientifiques non plus n�ont pas pour but d�inventerde nouvelles théories, et ils sont souvent intolérantsenvers celles qu�inventent les autres » (Kuhn, 1970 ;p 46). C'est pourquoi une perspective transdisci-plinaire favorisant l'émergence de nouveauxpoints de vue en matière d�évaluation et de surveillance épidémiologique permettraitune meilleure approche de la complexité et un enrichissement du paradigme épidémiologiquedominant (Nicolescu, 1998; Morin, 1997; ThompsonKlein, 1998).❑


Notes

1�ANDEM, Agence nationale pour le développementde l�évaluation médicale, inaugurée en avril 1990.Cette institution a pour mission de rassembler la docu-mentation nationale et internationale sur l�évaluationmédicale, d�inciter la formation de spécialistes eninformation, de réaliser et d�assurer le suivi techniquedes évaluations et des études sélectionnées par sonconseil scientifique et de diffuser les résultats de

ces évaluations. L�ANDEM a été remplacée, en avril1997, par l�Agence nationale d�accréditation et d�évaluationen santé (ANAES).(Journal officiel de la républiquefrançaise du 8 avril 1997, pp. 5328-35)

Références

Alter, N. (1998). Organisation et innovation. Scienceshumaines, 20, 56-9.

Anderson, N., Martinez, E. & Vilegas, A. (1986). La epidemiología en la planificación de salud.Centinela-CIET, 1, 3-29.

Anonymous. (1988). Guidelines for evaluating surveillance systems. MMWR, 37(S5), 1-18.

Aubret, J.,&Gilbert, P. (1997). Psychologie de la ressourcehumaine. Paris: PUF.

Bellier-Michel, S. (1998). L'individu et le système.Sciences Humaines, 20, 44-47.

Berche, P.,&Weil, O. (1993). L'épidémie de choléra en Amérique latine. Med Mal Inf, 23, 85-98.

Blanchet, A., Bezille, H., Florand, M., Giami, A., Giust,F., Gotman, A., Leger, J., Revault, C.&Vaisman, L.(1985). L'entretien dans les sciences sociales. Paris: Dunod.

Blanchet, A., Ghiglione, R., Massonat, J.&Trognon, A.(1987). Les techniques d'enquêtes en sciences sociales.Paris : Dunod.

Brénot, J. & Tuvée, L. (1996). Le changement dans les organisations. Paris: PUF.

Briand, S. (1997). Análisis profundizado de la línea « sistemas de información en salud ». Lima : UniónEuropea.

Collinge, J. (1996). New diagnostic tests for prion diseases [editorial; comment]. N Engl J Med, 335(13),963-5.

Contandriopoulos, A. (1991, 12 avril 1991). L'évaluationdans le domaine de la santé : concepts et méthodes.Présentation faite à la conférence sur «L'évaluation en matière de santé, concepts, méthodes, pratiques»,Université catholique de Lille.

Contandriopoulos, A., Champagne, F., Potvin, L., Denis,J. & Boyle, P. (1990). Savoir préparer une recherche.Montréal: Les Presses de l'Université de Montréal.

Crozier, M.&Friedberg, E. (1977). L'acteur et le système.Paris : Le Seuil.

Dab, W.&Gremy, F. (1993). La décision en santé publique:surveillance épidémiologique, urgences et crises. Rennes :ENSP Editeur.

Dab, W., Quenel, P., Cohen, J.-M. & Hannoun, C.(1991). A new influenza surveillance system in France:The Ile-de-France GROG. Eur J Epidemiol, 7(6), 579-87.

Dabis, F., Drucker, J.&Moren, A. (1992). Epidémiologied'intervention. Paris: Arnette.

Darcy de Oliveira, R. (1977 ). L'observation militante,une alternative sociologique. document IDAC, N°9.

Dunn, J.&Baxter Andreoli, S. (1994). Método de captura erecaptura : nova metodologie para pesquisas epidemiológicas. Rev Saúde Pública, 28(6), 449-453.

Fauvet, J. (1997). La sociodynamique, concepts et méthodes.(3ème ed ed.). Paris : Les Éditions d'Organisation.

Fineman, S. (1996). Emotion and Organizing. In S. R.Clegg, C. Hardy & W. R. Nord (Eds.), Handbook of Organization Studies (First Edition ed., pp. 543-64).London : SAGE.

Friedberg, E. (1993). Le pouvoir et la règle. Paris : Le Seuil.

Friedberg, E. (1994). L'analyse sociologique des organisations:pour N°28. Paris : L'Harmattan.

Gardeur, P. (1996). Évaluation en santé publique.Actualités et Dossiers en Santé Publique, 17, 18-22.

Goffman, E. (1968). Asile, études sur la condition socialedes malades mentaux. Paris : Editons de Minuit.

Gremck, M. (1995). Histoire du SIDA. Paris : Payot.

Guba, E.&Lincoln, Y. (1989). Fourth Generation Evaluation.Newbury Park : SAGE.

20 Sylvie Briand

Guba, E. G.&Lincoln, Y. S. (1992). Competing paradigmsin qualitative research. In N. K. Denzin&Y. S. Lincoln(Eds.), Handbook of Qualitative Research (pp. 105-17).London : SAGE.

Hubert, B. & Desenclos, J.-C. (1993). Évaluation de l'exhaustivité et de la représentativité d'un système de surveillance par la méthode de capture - recapture.Application à la surveillance des infections àméningocoques en France en 1989 et 1990. Rev Épidémiol Santé Publique, 41, 141-49.

Korzybsky A. Science and Sanity,. 2d ed. Lakeville :The International Non-Aristotelician Lib Pub CY,1980.

Kuhn, T. (1970). La structure des révolutions scientifiques.Paris: Flammarion.

Lafaye, C. (1996). La sociologie des organisations. Paris :Nathan.

Le Moigne, J. (1995). Les épistémologies constructivistes.Paris : PUF.

Le Moigne, J.-L. (1990). La modélisation des systèmescomplexes. Paris : Dunod.

Lugan, J. C. (1992). L'évolution de la systémique, du compliqué au complexe. Polycopié de l'UniveristéToulouse Mirail.

Lugan, J. C. (1993). La systémique sociale. Paris : PUF.

March, J. E.&Simon, H. A. (1971). Les organisations.Paris : Dunod.

Matillon, Y. (1992). L'évaluation appliquée à la santé.DS Hôpital -ville, 12-7.

Mayo, E. (1933). The Human Problem of an IndustrialCivilization. New York : Macmillan.

Mintzberg, H. (1995). Structure et Dynamique des Organisations. Paris : Les Éditions d'Organisation.

Morin, E. (1997, 30 avril- 2 mai). Réforme de pensée,transdisciplinarité, réforme de l'université. Présentationfaite à la conférence «Quelle université pour demain?Vers une évolution transdisciplinaire de l'Université»,Locarno (Suisse).

Nicolescu, B. (1998). Gödelian Aspects of Nature andKnowledge. Rencontres transdisciplinaires, 12, 19-34.

Petit, F. (1991). Introduction à la psychosociologie des organisations. Toulouse : Privat.

Rogers, C. & Kinget, G. M. (1966). Psychothérapie et relations humaines. (3ème ed ed.). Louvain : Ed Université de Louvain.

Stake, R. (1989). The Case Study Methods in SocialInquiry. In G. Madaus, M. Scriven,&D. Stufflebeam(Eds.), Evaluation models Viewpoints in Educational andHuman Services Evaluation (pp. 279-286). Boston :Kluwer -Nijhoff.

Stuffelbeam, D. (1989). The CIPP Model for ProgramEvaluation. In G. Madaus, M. Scriven,&D. Stufflebeam(Eds.), Evaluation models Viewpoints in Educational andHuman Services Evaluation. Boston : Kluwer -Nijhoff.

Taylor, F. W. (1971). La direction scientifique des entreprises(trad fr, Trans.). Paris : Dunod.

Thacker, S. B., Berkelman, R. L.&Stroup, D. F. (1989).The science of public health surveillance. J PublicHealth Policy, 10(2), 187-203.

Thacker, S. B., Parrish, R. G.&Trowbridge, F. L. (1988). A method for evaluating systems of epidemiological surveillance. World Health Stat Q, 41(1), 11-8.

Thompson Klein, J. (1998). Notes Toward a SocialEpistmology of Transdisciplinarity, RencontresTransdisciplinaires (Vol. 12, pp. 11-18). Paris : CIRET.

Winkin, Y. (1996). Anthropologie de la communication : de la théorie au terrain. Bruxelles : De Boeck Université.

Yin, R. (1984). Case Study Research Design and Methods.Beverly Hills : Sage.

Zuñiga, R. (1994). Planifier et évaluer l'action sociale.Montréal : Les Presses de l'Université de Montréal.


22 Sylvie Briand

Remerciements

À Monsieur André Pierre Contandriopoulos pour ses enseignements et ses précieux conseils dans la rédaction de cet article ainsi qu�aux réviseurs ayant accepté de relire et de corriger cet article.

Biographie

Sylvie Briand est médecin, spécialisée en santé publique. Elle a suivi parallèlement des études de sociologie des organisations et de philosophie. Elle travaille actuellement au CREDES, bureau d�étude spécialisé en santéinternationale et réalise des missions en Afrique et Amérique latine dans les domaines de l�amélioration des systèmesd�information sanitaires et la mise en place de démarches qualité dans les structures de soins.

Abstract

Most of the countries are concerned with the performance of their information systems in a context of short resources in health sector. The aim of the evaluation of such system is not only the productionof knowledge but also the concrete improvement of the system. Guidelines have been published by the Center for Diseases Control to evaluate epidemiological surveillance systems, but these happenedto be inadequate when using them in developing countries. This article uses the notion of paradigm to compare the various ways to evaluate such systems. The fourth generation evaluation is proposedas a new approach, based on the participation of the actors during all the evaluation process, from the identification of the malfunctioning to the implementation of solutions.

Changement de paradigme dans l’évaluation des systèmes · PDF...

Documents

Transcript of Changement de paradigme dans l’évaluation des systèmes · PDF...