[Références en médecine d’urgence. Collection de la SFMU] Guide des outils d’évaluation en...

1Définitions et champs d’application de l’évaluation

T. Rusterholtz, M. Hachelaf, N. Assez

Points essentielsÉvaluer, c’est porter un jugement de valeur sur une intervention.L’évaluation se distingue du contrôle, c’est un processus continu et dynamique.Un projet d’évaluation doit pouvoir répondre à un certain nombre de questions :

– Quels sont les objectifs de l’évaluation ? Quelle est son utilité ? – Quels sont les problèmes posés par l’évaluation, les objectifs de l’action et de la politique à évaluer ?

– Quel est le commanditaire de l’évaluation ? À qui va être remis le rapport ?

– Quels sont les différents acteurs concernés par les résultats de l’évaluation et comment vont-ils s’intégrer dans l’évaluation ?

– Comment vont se traduire les résultats de l’évaluation en termes d’action et de politique en cours ?

Les outils de l’évaluation seront choisis une fois les réponses données à ces questions : audit, démarche processus, revue de morbi-mortalité (RMM), enquêtes…L’adhésion des acteurs au projet d’évaluation et leur participation interactive dans un processus dynamique facilitent le change-ment : on parle d’évaluation pluraliste (pluralité des regards) ou participative.La certification des établissements de santé est l’un des éléments de l’amélioration de la qualité et de la sécurité des soins.La complexité de l’évaluation en médecine d’urgence provient de la multiplicité des acteurs concernés, nécessitant que soient déterminés ou analysés les objectifs d’un service d’urgences.

T. Rusterholtz (�), Agence régionale de santé Rhône-Alpes, Direction de la stratégie et des projets, 241, rue Garibaldi, 69418 Lyon Cedex 03, e-mail : [email protected] ; M. Hachelaf, Structure d’urgence et SAMU, CHRU de Besançon, 2, boulevard Fleming, 25030 Besançon ; N. Assez, SAMU régional, Pôle de l’Urgence, CHRU de Lille, 2, avenue Oscar-Lambret, 59000 Lille.Sous la direction de Guillaume Debaty et Carlos El Khoury, Guide des outils d’évaluation en médecine d’urgence. ISBN : 978-2-8178-0530-6, © Springer-Verlag Paris 2014

2 Guide des outils d’évaluation en médecine d’urgence

Définitions de l’évaluation

Le Petit Robert (1999) donne de l’évaluation la définition suivante : « évaluer, c’est porter un jugement sur la valeur de… ». L’évaluation est ainsi définie par deux notions, celle de juge-ment – l’évaluateur doit posséder une capacité de jugement sur l’objet qu’il évalue – et celle de valeur, qui implique que le regard porté sur l’objet comporte un aspect qualitatif [1]. Le Larousse (1999) apporte quelques éléments supplémentaires : « évaluer, c’est apprécier, estimer la valeur ou l’ importance de… », « C’est fixer approximativement (évaluer la valeur de quelque chose en quelques secondes) ». Selon Contandriopoulos, l’évaluation est définie comme « la démarche consistant fonda-mentalement à porter un jugement de valeur sur une intervention (une technique, une pratique, une organisation, un programme, une politique) dans le but d’aider à la décision » [2].

Malgré ces définitions simples et claires, il persiste encore une confusion autour du concept de l’évaluation, en raison de son caractère polysémique [1].

– Cette confusion tient sans doute, et en premier lieu, à la très grande variété des objets sur lesquels porte l’évalua-tion, chaque objet ayant une influence prépondérante sur la façon d’envisager l’évaluation elle-même. En médecine, par exemple, on pourra évaluer une technique médicale, une pratique de soins infirmiers, la performance d’un hôpital ou l’efficacité d’un programme de dépistage.

– Une deuxième raison de cette confusion tient à la variété des regards portés sur un même objet, chacun définissant l’évaluation en fonction de son domaine de compétence. Par exemple, l’évaluation médicale pourra se résumer pour le médecin à l’évaluation diagnostique ou thérapeutique, pour l’infirmière à l’évaluation de la qualité des soins infir-miers, pour le directeur d’hôpital à l’efficience des soins et pour les responsables des politiques de santé, à l’accessibilité aux soins pour tous les patients.

– Une troisième raison est liée au niveau de l’évaluation. Chaque échelon de responsabilité pourra privilégier les

Définitions et champs d’application de l’évaluation 3

critères de qualité des soins ou des prestations de santé, différents à l’échelle de l’individu, de l’hôpital, de la ville, de la région, du pays ou d’un continent. Les indicateurs en résultant seront, dès lors, eux aussi, différents.

– Enfin, on peut estimer que les techniques de l’évalua-tion jouent également un rôle dans la définition du terme. Ainsi, pour certains, l’audit doit être considéré comme une méthode, voire un outil d’évaluation parmi d’autres (comme dans le présent ouvrage), alors que pour d’autres, l’audit est un genre à part entière qui se distingue de l’évaluation.

Évaluation interne ou externe

Une évaluation peut être interne (autoévaluation) ou externe. Ces deux modalités ne répondent pas aux mêmes objectifs. Les Évaluations des pratiques professionnelles (EPP), par exemple, correspondent le plus souvent à des autoévalua-tions, en essayant de s’intégrer le plus possible au processus de soins. Mais, un regard extérieur peut être pertinent, par-ticulièrement lors d’une approche globale de l’évaluation ou pour permettre une identification des problématiques en jeu. Le coût est plus élevé que l’évaluation interne. Cette méthode présente un gage de neutralité que l’autoévaluation ne pourra permettre et a l’avantage de pouvoir servir de médiation, notamment en cas d’éventuels conflits internes [3].

Évaluation quantitative ou qualitative, scientifique ou rigoureuse

L’évaluation des soins peut être examinée sous deux aspects : l’un quantitatif qui consiste à mesurer les ressources consommées par les médecins dans l’exercice de leur profes-sion, l’autre qualitatif qui consiste à déterminer si ces res-sources ont été consommées à bon escient par des personnes compétentes [1, 4].Le chapitre 3 sur les indicateurs distingue bien ces deux aspects, qui ne répondent pas aux mêmes objectifs. Il est important de ne pas restreindre l’évaluation à la seule notion de mesure quantitative.


De même, si dans certains domaines une approche scienti-fique utilisant les méthodes statistiques traditionnelles peut être pertinente (évaluation d’un médicament ou d’une tech-nique médicale), il est préférable dans notre acceptation de l’évaluation de choisir le terme de méthode rigoureuse [1].

Genres voisins de l’évaluation

La frontière séparant l’évaluation de ce qui apparaît par-fois comme équivalent est souvent floue, entretenant ainsi la confusion.

Contrôle

Le contrôle porte en général sur la conformité de l’activité à un certain nombre de règles ou de normes, alors que les éva-luations, elles, n’ont pas pour objet spécifique la conformité à des règles, mais l’analyse des effets de l’action publique et l’appréciation de leur qualité [5, 6].Les contrôles se font ex-post (ou rétrospectif ) et peuvent être sanctionnants [7] : par exemple, si évaluer un protocole « antidouleur » mis en place aux urgences vise à tirer des enseignements rétrospectifs sur une politique ou une pratique parvenue à maturité, débouchant ainsi sur une réactualisation des objectifs et des moyens, on est dans l’évaluation. Si elle est conduite de manière autoritaire, elle peut être vécue comme un contrôle. Cela peut expliquer pour partie les réticences des professionnels craignant que l’évaluation ne s’apparente à un contrôle, alors que, fondamentalement, son efficacité vient pour partie du fait qu’elle n’entraîne pas de sanction et surtout qu’elle doit s’inscrire dans un processus continu et dynamique.

Assurance qualité

Elle est un moyen pour atteindre le niveau de qualité requis et non une fin en soi. Elle se définit comme l’ensemble des actions planifiées et systématiques, destinées à garantir aux usagers que le produit (la prestation) « fonctionnera »


correctement. Pour cela, il faudra mettre en place une orga-nisation, des documents et surtout des actes. Elle s’intègre dans un système qualité qui recouvre à la fois l’organisation, les responsabilités, les procédures et les ressources nécessaires à la mise en œuvre de la gestion de la qualité [8]. Les approches d’assurance qualité centrées sur l’organisation globale d’une structure ont abouti d’abord à la certification [9] (plutôt d’un service ou d’un processus), puis à l’accréditation (à l’échelle d’un établissement), puis de nouveau la certification (l’accré-ditation concerne, par convention, les médecins) [8, 10] qui cor-respond à l’évaluation des modalités d’organisation des soins et de toute action concourant à une prise en charge « consi-dérée » comme globale du malade. Elles sont en quelque sorte une preuve de la réponse aux exigences de l’assurance qualité. Le système qualité, considéré comme un outil de management interne, permettant d’améliorer en continu la qualité de soins (ou identifiée comme telle) et de diminuer les coûts de la non-qualité, peut être considéré comme une forme d’évaluation, en utilisant des outils voisins. La détermination de tableaux de bord, composés d’indicateurs utilisés en routine grâce à un système d’information rigoureux, peut être considérée comme un outil à la disposition d’un système qualité. Les besoins, les processus sont identifiés (évaluation par la méthode des processus), la réflexion doit être participative. [11].

Audit

Dans le cadre des normes ISO (International Organisation for Standardization), l’audit se définit comme « un examen méthodique et indépendant en vue de déterminer si les activités et les résultats relatifs à la qualité satisfont aux dispositions préé-tablies, si ces dispositions sont mises en œuvre de façon efficace et si elles sont aptes à atteindre les objectifs ». L’audit est un contrôle de légalité et de conformité par rapport aux normes de fonc-tionnement définies par les lois et les règlements, les direc-tives, les budgets, les circulaires, les notes internes [2]. L’audit est aussi une activité de contrôle a posteriori et de conseil qui consiste en une expertise indépendante, objective et un juge-ment sur l’organisation, le service ou l’établissement. L’audit


peut apparaître comme un outil d’amélioration continue, lorsqu’il permet de faire le point sur l’existant (état des lieux) afin d’en dégager les points faibles et/ou non conformes aux référentiels d’audit. Il permet par la suite des actions correc-trices si des écarts et des dysfonctionnements sont constatés ; il contribue ainsi à créer une valeur ajoutée.Selon la HAS, l’audit clinique suit une démarche en deux phases [12] :

– une phase de mesure, appelée « l’audit clinique » qui va de la décision de s’engager dans un audit clinique jusqu’à la proposition d’axes d’amélioration ;

– une phase d’amélioration qui prévoit les actions sélec-tionnées à mettre en œuvre pour réduire les écarts identi-fiés, les stratégies de changement et la nouvelle évaluation de la situation.

L’audit clinique évolue en six étapes : – choix du thème ; – choix des critères ; – choix de la méthode de mesure ; – recueil des données ; – analyse des résultats ; – plan d’action d’amélioration et de réévaluation.

Le thème choisi doit concerner une pratique fréquente pour laquelle il existe un référentiel et l’audit doit être d’une grande faisabilité. Le recueil des données s’appuie le plus souvent sur les éléments du dossier médical (analyse rétrospective), témoin essentiel de la qualité des soins délivrés au malade. L’analyse des résultats doit amener à définir une démarche pour l’avenir et le suivi [12]. Le succès du processus dépend de divers paramètres : le sujet choisi est centré sur un pro-blème concret des professionnels audités, les écarts relevés doivent pouvoir trouver une solution et les recommandations doivent améliorer la qualité des soins. Plus récemment, la HAS a développé une méthode d’évaluation des pratiques : l’audit clinique ciblé. Celle-ci permet à l’aide d’un nombre limité de critères de comparer ces pratiques à des références admises, en vue de les améliorer.


Démarche processus

Le processus est un « ensemble de moyens et d’activités liés qui transforment des éléments entrants en éléments sortants, avec une valeur ajoutée ». Ces moyens comprennent le personnel, les finances, les installations, les équipements techniques et les méthodes. Tout est processus [13].La démarche processus va se décomposer en quatre étapes :

– l’identification du processus, qui vise à repérer les dif-férents segments constitutifs du processus, à les décrire et à les étudier avec l’ensemble du personnel ;

– la description du processus qui a pour objectif d’affiner la vision générale par une description plus précise et plus concrète des différents segments ; elle permet la mise en évidence des interfaces entre les différents intervenants du processus, l’identification des dysfonctionnements ainsi que l’analyse de leurs origines et le recueil des données ;

– la construction du nouveau processus ; – l’amélioration du processus, qui consiste à conduire des

actions planifiées, à assurer leur suivi et leur évaluation.L’approche par processus est une approche participative. Elle se fonde sur le fonctionnement actuel, ce qui permet de décrire l’action de chaque intervenant et de repérer les tâches de cha-cun. L’implication du personnel dans son analyse favorise l’acceptabilité du processus. La dynamique du processus de l’amont vers l’aval ou par feedback permet d’introduire une culture de l’anticipation et de favoriser en amont la prévention des risques [2, 3, 14].

Pour résumer, si le contrôle de conformité et de régularité est profondément distinct de l’évaluation, le contrôle de gestion, l’audit et l’approche processus, qui restent des outils, en sont plus proches et les différentes démarches peuvent se poten-tialiser mutuellement. L’évaluation, concept global, ne doit pas s’appuyer uniquement sur des critères quantifiables : elle met en jeu des jugements de valeur qui intègrent une certaine subjectivité. La spécificité de l’évaluation étant de se porter sur le jugement de valeur, elle doit s’entourer de garanties. Ce sont


des garanties d’indépendance, de compétence, de rigueur, de transparence et de pluralisme [1, 2, 5, 7].

Différents champs de l’évaluation

Appréhender les différents champs de l’évaluation va per-mettre de préciser le concept de l’évaluation. On va évaluer un soin, une technique médicale, un processus organisationnel, la qualité de la prestation des repas, de l’accueil, des soins, de l’exactitude diagnostique et thérapeutique, de l’efficience d’un médicament, etc. C’est en fonction de ce qui sera évalué que l’on choisira l’outil à même de répondre aux questions posées [1, 15] (voir « Méthode et finalité de l’évaluation » ci-après).Historiquement, l’évaluation des soins et l’évaluation médi-cale étaient synonymes.

Évaluation médicale

L’évaluation médicale reposait sur une base conceptuelle définie par Donabedian [16], qui définissait ses champs d’ap-plication en :

– structures et organisations sanitaires (évaluation de type administratif, méthode de gestion du risque, évaluation de l’organisation du travail) ;

– procédures et stratégies médicales : ensemble des acti-vités destinées directement ou indirectement aux soins des malades, qui vont faire appel à des outils, comme les Recommandations pour la pratique clinique (RPC) (contrôle des pratiques), l’information médicale, les audits cliniques ciblés… ;

– évaluation des résultats, plus difficile à mettre en œuvre (indicateurs peu pertinents), dans lesquels on trouve la satisfaction des malades.

L’évaluation médicale est considérée comme une aide à la décision médicale. Elle est surtout centrée sur les profession-nels, essentiellement médicaux. On comprend dès lors que l’évaluation dite médicale ne soit qu’une partie de l’évaluation


de la qualité des soins, la notion de soins étant différente pour chaque type d’acteurs.

Évaluation de la qualité des soins

L’évaluation de la qualité des soins a été longtemps un concept mal précisé qui correspondait en réalité à l’évaluation médicale [1]. La pluralité des acteurs concernée par la qualité des soins, dont le principal est la personne (terme choisi par la HAS pour désigner l’usager, le patient, le malade…), a permis d’en élargir le champ et de mieux appréhender la notion de prise en charge globale d’une personne qui a son histoire, sa dimension psychologique, son environnement. Mais, s’il est possible de parler de globalité de la personne dans sa relation singulière avec le médecin, il existe aussi une approche globale de la qualité des soins, à l’échelle des populations, justifiant la mise en place de filières de soins ou de parcours de santé.L’évaluation de la qualité des soins se déplace progressivement d’une approche centrée sur les structures, vers une approche centrée sur le patient et le processus de prise en charge (voir « Démarche processus ») [17].Selon l’Institut de Médecine aux États-Unis (IOM, 1990), la qualité des soins est « la capacité des services de santé destinés aux individus et aux populations d’augmenter la probabilité d’atteindre les résultats de santé souhaités, en conformité avec les connaissances professionnelles du moment ».La santé d’une personne ou d’une population correspond à un processus continu, non figé à un instant t0, nécessitant pour être efficace que l’évaluation s’intègre dans le processus de l’action (en l’occurrence le soin, le programme de santé, le réseau…).

Évaluation des pratiques professionnelles

L’évaluation des pratiques professionnelles (EPP) est un concept clair en soi. Son objectif est l’amélioration de la qua-lité de la prise en charge des patients. Elle va faire appel à un certain nombre d’outils ou revêtir des modalités diverses comme : l’audit clinique ciblé, la revue de dossier, la réu-nion de concertation pluridisciplinaire, le chemin clinique,


le registre, le suivi d’indicateurs, la revue de morbi-mortalité (RMM)… [18].

Certification

La certification est une évaluation externe des établissements de santé publics ou privés, effectuée par des professionnels mandatés par la HAS qui réalisent les visites de certification sur la base d’un référentiel [10]. Ce dernier porte sur le niveau des prestations et des soins délivrés aux patients mais aussi sur la dynamique d’amélioration de la qualité et de la sécurité des soins mise en œuvre par les établissements. L’ordonnance n° 96-346 du 24 avril 1996, dite ordonnance « Jupé » [9], a introduit la certification au sein du système de santé français. La première procédure d’accréditation date de juin 1999 et la deuxième itération de la procédure de certification (V2-V2007) a débuté en 2005 et a pris fin en 2010 pour les visites initiales. Elle mesure simultanément la mise en place d’une démarche d’amélioration continue de la qualité et le niveau de qualité atteint. Les différentes thématiques appréciées sont :

– la politique et la qualité du management ; – les ressources humaines ; – les fonctions hôtelières et logistiques ; – l’organisation de la qualité et de la gestion des risques ; – la qualité et la sécurité de l’environnement ; – le système d’information ; – la prise en charge du patient.

La V2010, troisième version de la procédure de certifica-tion, a été développée pour permettre une certification plus continue. Dans l’intervalle, la certification a été substituée au terme d’accréditation, qui désormais se réfère à une procédure de gestion des risques [10].Cette certification doit :

– délivrer une information accessible et claire à destination des usagers ;

– renforcer sa place en tant qu’outil de management interne des établissements ;

– agir pour les professionnels de santé.


Les résultats de certification restent incontournables pour appréhender la qualité des établissements.En 2011, le manuel de certification a été révisé afin de mieux répondre sur les champs de l’hospitalisation à domicile, de la santé mentale et de la biologie.

Évaluation économique

L’évaluation économique, ajoutant des critères économiques aux critères médicaux, est devenue incontournable pour maintenir un système de soins de qualité pour tous. Ce type d’évaluation se caractérise par la recherche de l’efficience, c’est-à-dire du meilleur rapport coût/performance des actions de santé. La nature des coûts à prendre en compte dépend du point de vue d’où l’on se place (celui du patient, de l’hôpital, de la sécurité sociale, de la collectivité, de l’État) et de la nature de l’évaluation effectuée [19, 20]. Ainsi les évaluations coût-efficacité comparent les coûts et les résultats obtenus et devraient comporter un critère d’efficacité pertinent. Les études coût-utilité enrichissent les études coût-efficacité, en y incorporant la quantité et la qualité de vie afin de mesurer l’« utilité » de l’action ainsi évaluée. Les études coût-bénéfice évaluent les coûts et les résultats en termes monétaires [19]. Ainsi tous les programmes peuvent être comparés entre eux car évalués dans la même unité. Il apparaît difficile dans la plupart des cas de dissocier l’évaluation économique de l’éva-luation médicale ; elles sont les étapes d’une même démarche intervenant à des moments différents. L’évaluation écono-mique est une aide aux décideurs en ce sens qu’elle favorise la prise de décision sur des critères plus objectifs qu’intuitifs [20, 21]. La loi de financement de la Sécurité sociale (2008) confère à la HAS une compétence nouvelle en matière d’évaluation médico-économique.

Méthode et finalité de l’évaluation

On a vu qu’en fonction de l’objet, du regard porté sur celui-ci, de l’échelle d’analyse du problème ou des différents


champs concernés, la définition ou l’approche de l’évaluation sera différente, justifiant la diversité des outils utilisables pour la mener à bien.Néanmoins, il est possible de proposer une méthode générale et des grands principes de l’évaluation, qui puissent répondre aux différents objets et objectifs de l’évaluation [15].La méthode générale va consister à se poser systématiquement un certain nombre de questions. Ce ne sera qu’à l’issue de la réponse à ces questions que les outils seront choisis [1]. C’est dire l’importance de connaître la fonction de l’évaluation [2, 5, 13, 15, 22].Quels sont les objectifs de l’évaluation ? On peut distinguer dans cette question la finalité de l’évaluation, le but visé et l’objet de cette procédure. Questions auxquelles l’évaluation va chercher à répondre [1, 15] :

– Quels sont les problèmes posés par l’évaluation, les objec-tifs de l’action et de la politique à évaluer ? Quelle est l’utilité de l’évaluation ?

– Quel est le commanditaire de l’évaluation et quelles sont ses motivations ? À qui va être remis le rapport d’évalua-tion ? Quels sont les différents acteurs concernés par les résultats de l’évaluation et comment vont-ils s’intégrer dans l’évaluation ? Quels sont les destinataires de l’évaluation ? Comment vont se traduire les résultats de l’évaluation dans l’action et la politique en cours ?

– Enfin, il faudra se demander comment l’évaluation est un processus de changement et d’amélioration de l’état existant et comment il pourrait s’intégrer dans l’action. Ce dernier point est capital. Il est la justification de l’éva-luation. Il permet de comprendre l’importance d’une approche participative ou « pluraliste », levier reconnu du changement par les sociologues des organisations.

Pluralité des regards sur la qualité

Les définitions de la qualité des soins et de son contenu doivent être envisagées avec les mêmes précautions de lecture que celles énoncées à propos de l’évaluation. Il est important


de savoir qui parle de la qualité des soins, quel est son rôle et sa place dans le système de soins. Les critères de qualité ne seront en effet pas les mêmes pour un patient, pour un médecin, une infirmière ou un gestionnaire ; ils ne sont pas non plus les mêmes selon que l’on s’intéresse à l’individu soi-gné ou à la population. La définition de la qualité est « ce qui rend une chose bonne ». La qualité d’un produit (AFNOR) est l’aptitude d’un produit ou d’un service à satisfaire les besoins d’un utilisateur. Comme ses besoins évoluent, la qualité ne peut être statique. On peut considérer la qualité d’un soin en tenant compte uniquement de son résultat, c’est-à-dire l’état qui en résulte pour le patient. On peut aussi distinguer les multiples éléments qui concourent à la qualité des soins, cha-cun d’entre eux ayant son importance. On peut « découper » la qualité des soins en efficacité technique, sécurité, confort, accessibilité aux soins ou selon deux aspects peu dissociables, l’un technique, l’autre relationnel [1, 2, 14, 15].L’évaluation de la qualité des soins doit tenir compte de la globalité et de la pluralité des acteurs concernés. L’OMS distingue quatre catégories d’acteurs participant à la qualité des soins : les consommateurs, les prestataires de soins, les décideurs et les administrateurs. Elle introduit deux concepts : celui de l’exhaustivité qui indique si l’on a effectivement fait tout ce que l’on estimait nécessaire pour dispenser des soins de bonne qualité et celui de l’utilité qui consiste à savoir si tout ce qui a été fait était vraiment nécessaire. Elle introduit aussi la notion fondamentale de participation des consommateurs de soins [2, 23].

Autre approche de la qualité

On peut opposer schématiquement deux approches : – celle des « expérimentalistes » qui considèrent que le réel

est constitué d’entités décomposables en une hiérarchie de sous-systèmes qui peuvent s’analyser de manière indépen-dante (les variables). Pour être appréhendée, la réalité peut être éclatée en petits éléments simples [15] ;

– celle des promoteurs du « paradigme endosysté-mique » qui pensent qu’il faut préserver la globalité du


réel ; « le tout est plus que l’ensemble des parties » [15]. Les résultats ont une valeur relative à l’environnement dans lequel ils sont établis.

La qualité des soins est donc fonction de l’environnement, de la position sociale, de la profession, de l’éducation, de la culture…

Qualité d’un service d’urgences

Ainsi, pour envisager l’évaluation, au sens large, des ser-vices d’urgences, il apparaîtra important de bien définir les acteurs concernés et les objectifs auxquels telle ou telle éva-luation devra répondre [1]. Cette approche va permettre de comprendre la notion d’évaluation pluraliste ou participative décrite plus loin.Les urgences étant une interface entre la ville et l’hôpital, qua-siment tout le système de santé est concerné, en amont avec la médecine libérale, ses structures et ses réseaux, ses filières (ou son absence de filières), ses règles de fonctionnement, ses tutelles, les agences de régulation que sont les ARS.À l’échelle d’un établissement ou d’une région, on entre dans un concept d’évaluation des politiques publiques.En pratique, l’évaluation de la qualité des soins porte surtout sur le fonctionnement : « la médecine d’urgence est sans doute la seule spécialité définie par le lieu où elle se pratique » [1, 24]. Mais la médecine d’urgence a également des modes d’organi-sation très différents d’un hôpital à l’autre, rendant difficiles les éléments de comparaison [1]. Si l’on s’en tient aux textes réglementaires, « les établissements (qui assurent le service public hospitalier, majoritaire pour les urgences) sont ouverts à toutes les personnes dont l’ état requiert leurs services ; ils doivent être en mesure de les accueillir de jour comme de nuit et éventuel-lement en urgence… » [24, 25]. Tout patient s’y présentant a donc une certaine légitimité que seul l’afflux massif peut perturber. Une des fonctions des urgences, outre le traitement des patients présentant une détresse vitale, va être d’éviter des hospitalisations inutiles. En revanche, la notion que les urgences sont des unités diagnostiques et thérapeutiques n’est pas encore admise par tous et pourrait être remise en question. Une simple fonction de tri n’entraînerait pas alors les mêmes méthodes ou outils d’évaluation.


Peut-on s’inspirer d’outils existants ?

Le monde de l’entreprise et de l’industrie a toujours été en avance par rapport au monde de la santé en matière d’évalua-tion. Les normes ISO lui sont empruntées.

Expérience de l’aviation

La liste de vérification, appelée aussi check-list, est en avia-tion une procédure de sécurité consistant à vérifier métho-diquement si l’appareil est en état pour effectuer la phase de vol suivante. Par exemple, on vérifie la puissance des gaz, les volets, le train d’atterrissage, l’auto-manette, le pilote auto-matique, les phares et d’autres composantes selon le type et le modèle de l’avion. La procédure se déroule généralement à voix haute et/ou en cochant une liste écrite. Les listes de vérification peuvent concerner plusieurs domaines.Nous pouvons utiliser l’expérience de l’aéronautique, qui a été pionnière dans le domaine des outils de l’évaluation et de la sécurité, pour faire une analogie avec le monde de la santé : les urgences, l’anesthésie, la réanimation ou encore le bloc opératoire.

Exemple de la check-list « sécurité du patient au bloc »

Le rapport de l’Académie de médecine américaine (IOM) « To err is Human – Building a safer health system » a démontré que la cause des événements indésirables est rarement liée au manque de connaissance des professionnels, mais est le plus souvent le fait de défauts d’organisation, de manques de vérification, coordination, communication, c’est-à-dire liée à un manque de culture commune de sécurité.C’est ainsi que l’OMS a lancé le programme Safe surgery saves lives (« La chirurgie sûre sauve des vies »), visant à réduire les taux de complications et de décès postopératoires. L’objectif de ce programme est de renforcer l’implication des équipes en s’appuyant sur des recommandations de bonnes pratiques afin d’améliorer la sécurité du patient en chirurgie. À l’instar de ces résultats, la HAS a promu l’utilisation d’une check-list


type OMS, reprise par des sociétés savantes, dont les objectifs sont d’améliorer la sécurité au bloc opératoire et de réduire les erreurs chirurgicales en intégrant la vérification croisée de différents points critiques de sécurité [26].Depuis l’année 2010, la check-list « Sécurité du patient au bloc opératoire » est devenue exigible en France à travers la procé-dure de certification des établissements de santé. Sa mise en place est systématiquement vérifiée par les experts-visiteurs, à partir de l’étude des manuels V2007 et V2010 [10].

Sciences sociales et sociologie des organisations

La santé et particulièrement les services d’urgences peuvent être assimilés à des politiques publiques. L’évaluation des poli-tiques publiques apporte un éclairage intéressant qui peut enrichir le domaine de la santé.Il est possible de proposer un cadre à cette évaluation [1] :

– le cadre du temps : ce sont les évaluations ex-ante, préa-lables à la décision ou au programme [13, 15] ; les évalua-tions concomitantes, réalisées au fur et à mesure de l’action publique (ces actions sont surtout intéressantes lorsqu’il s’agit d’aider les acteurs à améliorer leur connaissance des effets de leur propre intervention, pour mieux l’ajuster aux objectifs) ; les évaluations ex-post, intervenant après les résultats de l’action, permettent de vérifier l’impact ou le prolongement de l’impact du projet et d’en apprécier la durabilité [7] ;

– le cadre des fonctions de l’évaluation : l’ évaluation comparative [13] mesure les écarts entre certaines caracté-ristiques initiales d’une population ou d’une situation et ces mêmes caractéristiques après réalisation de l’action ; l’ évaluation analytique s’interroge sur la portée et la signi-fication des changements intervenus et vise à comprendre pourquoi et comment on passe de A à B ; l’ évaluation dynamique prend appui sur les résultats de l’analyse pour modifier au fur et à mesure de son déroulement et adapter l’organisation en conséquence [27] ;


– le cadre des destinataires de l’évaluation : l’ évalua-tion endoformative [27], qui vise à fournir une aide opéra-tionnelle aux organisations du programme (exemple des programmes de l’OMS), a pour but d’informer les prota-gonistes du programme afin qu’ils puissent modifier leur pratique et transformer ainsi son « objet » même ; l’ évalua-tion récapitulative (ou évaluation sommative ou évaluation globale ou évaluation bilan) [28, 29] s’attache aux résultats obtenus par une intervention ou un programme, il s’agit de déterminer les résultats et l’impact du programme.

L’évaluation ne doit pas se limiter à la mesure de résultats, mais doit permettre de comprendre l’origine des effets sociaux observables et les conséquences des moyens mis en œuvre (financiers, humains, matériels et juridiques). Cette vision opérationnelle de l’évaluation, qui doit modifier l’action, se distingue des constats déterminés à des instants précis et qui présentent une image plus figée. Elle correspond à ce qui, de plus en plus, se pratique dans le domaine de la santé.L’évaluation pluraliste (ou pour certains participative) [15] est fondée sur la pluralité de systèmes de valeurs au sein de la société. Le niveau d’aspiration de chacun varie selon ses expé-riences individuelles et collectives. Il faudra tenir compte des différentes théories d’action des acteurs. Ce sont les acteurs eux-mêmes qui vont participer à l’interprétation des données, considérer l’ensemble de leur démarche en regard du problème qui motive l’action. Cette approche est celle qui répond à une question fondamentale de l’évaluation dans le domaine public, à savoir, qu’elle est l’utilité de l’évaluation [2, 3, 15].L’évaluation pluraliste tient compte de l’environnement qui est une notion changeante en matière de santé. La vérité qui émerge à un temps t1 n’est en aucun cas identique à celle à l’instant t2.

Conclusion

L’évaluation dans le domaine de la santé, et plus préci-sément appliquée à la médecine d’urgence, est une notion complexe qui se simplifie lorsque son objectif est bien défini


et que les grands principes méthodologiques décrits ci-des-sus ont été correctement utilisés. Les outils pourront dès lors être choisis de manière pertinente. Lorsque certains outils d’évaluation sont intégrés dans la « routine de la pratique », comme peuvent l’être des tableaux de bord ou la mise en place d’un système qualité (qui ne l’oublions pas doit être évalué !), il est essentiel de conserver à l’esprit la simplification des procédures. Il est important de ne pas avoir une vision purement administrative de la santé. L’évaluation n’est pas une fin en soi. Elle n’est possible que s’il y a un projet et n’a de sens que si elle produit du changement. Elle ne doit pas être trop chronophage et son objectif premier doit résider dans le processus d’amélioration de la qualité des soins dans les services des urgences.

Références1. Rusterholtz T (1991) Évaluation de la qualité des soins dans un service

d’urgences : nouvelle approche théorique. Établissement d’un cahier des charges à l’hôpital de Nantes. Thèse Université Nantes

2. Contandriopoulos AP (1991) L’évaluation dans le domaine de la santé : concepts et méthodes. In : Lebrun TH, Sailly JC, Amouretti M (eds). L’évaluation en matière de santé. Des concepts à la pratique. Sofestec/Cresge, Lille, p. 15-32

3. Fontaine D, Beyragued L, Miachon C (2004) Référentiel commun en évaluation des actions et programmes santé et social. ERSP, Lyon

4. Vandoorne C, Jabot F, Fond-Harmant L (2007) Dossier : Éducation pour la santé, les défis de l’évaluation. La santé de l’homme 390 : 11-55

5. Harvois Y (1986) Le contrôle, cet obscur objet du désir. Pour 107 : 116-119

6. Duran P, et al. (2010) Évaluation des politiques sociales et sanitaires. Rev Fr Affaires Sociales 1-2, La documentation française, Paris

7. Bantuelle M, Morel J, Dargent D (2001) L’évaluation : un outil au service du processus. Bruxelles, asbl Santé, Communauté, Participation : 53

8. Matillon Y, Maisonneuve H (2007) L’évaluation en santé. De la pratique aux résultats. Médecine Sciences Publications, Paris

9. Ordonnance n° 96-346 du 24 avril 1996 http://www.legifrance.gouv.fr/affichTexte.do?cidTexte=LEGITEXT000005620817&date

10. Haute autorité de santé (HAS) (2014) La certification des établissements de santé. http://www.has-sante.fr/portail/jcms/c_39085/fr/recherche?portlet=c_39085&text=la+certification+des+etablissements+de+sante&opSearch=&lang=fr (Dernier accès le 3 mars 2014)

11. Kelly E, Hurst J (2006) Health care quality indicators project: conceptual framework paper. OCDE, Health Working papers n° 23, Paris


12. Haute autorité de santé (HAS) (2014) Audit clinique. http://www.has-sante.fr/portail/jcms/c_39085/fr/recherche?portlet=c39085&text=audit+clinique&opSearch=&lang=fr (Dernier accès le 3 mars 2014)

13. Pineaut R, Daveluy C (1995) La planification de la santé. Concepts, méthodes, stratégies. Éditions Nouvelles, Montréal, 480 p

14. Cattan M (2000) Management des processus. Une approche innovante. AFNOR, 121 p

15. Monnier E (1989) L’évaluation des politiques publiques de l’État : méthodes et pratiques, problèmes politiques et sociaux n° 599, La documentation française, Paris

16. Donabedian A (2005) Evaluating the quality of medical care. Milbank Quaterly 83: 691-729

17. Minvielle E, De Pouvourville G (2001) La mesure de la qualité des soins : un défi et un enjeu de santé publique. Rev Epidemiol Santé Pub 49 :113-115

18. République française (2005) Décret n° 2005-346 du 14 avril 2005 relatif à l’évaluation des pratiques professionnelles http://www.has-sante.fr/portail/upload/docs/application/pdf/2009-08/decret_n_2005-346_du_14_avril_2005_relatif_a_lepp.pdf (Dernier accès le 3 mars 2014)

19. Braconnier P, Cauquil G (2010) L’évaluation des politiques publiques, le développement d’une culture. In : Profession cadre service public, SCEREN-CNDP, ESEN, Paris

20. Drummond MF, O’Brien B, Stoddart G, Torrence GW (1997) Méthodes d’évaluation économique des programmes de santé. Paris, Economica, 331 p

21. De Pouvourville G (1995) L’évaluation économique en santé. Principes. Exemple de la cholécystectomie laparoscopique. Ann Chir (Paris) 49 : 881-8

22. West E (2001) Management matters: the link between hospital organisation and quality of patient care. Quality Health Care 10: 40-8

23. Organisation mondiale de la santé (1981) L’évaluation des programmes de santé. Principes directeurs. Genève : OMS, 1981. http://whqlibdoc.who.int/publications/9242800066.pdf (Dernier accès le 3 mars 2014)

24. Circulaire n° 195/DHOS/01/2003 du 16 avril 2003 relative à la prise en charge des urgences. http://www.sante.gouv.fr/fichiers/bo/2003/03-20/a0201409.htm (Dernier accès le 3 mars 2014)

25. Greffet A, Rouillard A, Ek F, et al. (2007) Démarche qualité en médecine d’urgence : évaluation du ressenti de la population prise en charge à domicile par le Samu de Paris. JEUR 20 : 106-12

26. Société française d’anesthésie et de réanimation (SFAR) (2010) Check-list du bloc opératoire. http://www.sfar.org/article/381/check-list-du-bloc-operatoire (Dernier accès le 3 mars 2014)

27. Fraisse J, Bonetti M, Gaulejac V (1987) L’évaluation dynamique des organisations publiques. Éditions d’Organisation, Paris, 116 p

28. Agence nationale pour le développement de l’évaluation médicale (ANDEM) (1995) Évaluation d’une action de santé publique : recommandations. Agence nationale pour le développement de l’évaluation médicale, Paris, p 48

29. Manderscheid JC (1992) Les évaluations en éducation pour la santé. Thèse Université Montpellier 1

[Références en médecine d’urgence. Collection de la SFMU] Guide des outils d’évaluation en...

Documents

Transcript of [Références en médecine d’urgence. Collection de la SFMU] Guide des outils d’évaluation en...