Comment mesurer les risques associés aux soins ?

Philippe Michel, MD, PhD

3 février 2011 “…nous avons tendance à mettre l’accent sur ce qui est mesuré”

John Kenneth Galbraith

Recherche sur la Sécurité des patients

Cours préparatoire 3ème Séance

2

Votre professeur

Philippe Michel, MD, PhD,

Directeur, centre régional qualité et sécurité des soins, Bordeaux, France

Expert auprès de l’OMS sur de nombreux projets

Vice-président de la commission Sécurité des Patients au Haut Conseil de la Santé Publique, Ministère de la Santé

Responsable des études nationales sur les événements indésirables associés aux soins 2004/2009

3

Objectifs pédagogiques

Connaître les enjeux et les objectifs de la mesure

Connaître les sources de données

Connaître les grands types de méthodes permettant la mesure et l’évaluation

Connaître les principales méthodes de mesure permettant de faire des estimations robustes de la fréquence des événements indésirables (épidémiologie)

Décrire les méthodes validées par l’OMS

4

1. Lesquelles des mesures ci-après portent sur les erreurs ?a. Le pourcentage de patients ayant subi une intervention abdominale et qui

développent une infection de la plaie b. Le nombre d’erreurs de médication survenant chaque jour dans une unité de soins

intensifs c. Le taux de décès en chirurgie cardiaqued. Le pourcentage de personnel infirmier par lit en soins intensifs

2. Parmi ces méthodes, lesquelles sont pertinentes pour faire une estimation robuste de la fréquence des événements indésirables?

a. Observation systématique d’une activité de soinsb. Système de signalement interne à l’établissementc. Revue de dossiersd. Analyse approfondie des causes

Quizz

5

3. En moyenne, quelle est la fréquence d’erreurs médicales survenant dans une unité de soins intensifs?

a. Un ou deux erreurs par patient et par semaineb. Un ou deux erreurs par patient et par jourc. Dix erreurs à l’heure par patientd. Pas d’erreurs s’il s’agit d’une bonne unité

4. A quelles étapes en gestion des risques la mesure est-elle utile ?a. Identification des niveaux de risqueb. Priorisationc. Mise en œuvre des actionsd. Evaluation d’impact des actions

Quizz

6

Définition: La mesure

Comparer une grandeur physique qui caractérise un objet (ou un événement) avec celle choisie comme unité de mesure

Chaque mesure comprend du “bruit”

■Certaines sont aléatoires, appelées “erreur de mesure”

■Certaines sont systématiques, appelées “biais de mesure”

Valider la mesure consiste à réduire le “bruit”

7

Pourquoi mesurer ?

Identification des risques associés aux soins

Priorisation des risques

Maîtrise des risques (mise en œuvre des

actions)

+++

Placede la mesure

+++

+++

Evaluer l’impact de ces actions+++

8

Pas d’outil de mesure universel en matière de sécurité des patients

Se familiariser avec des outils de mesure

Les essayer dans un contexte local

Vérifier qu’ils sont valides

Promouvoir le partage d’expérience en matière d’efficacité, de faisabilité, d’acceptabilité

9

Que mesure-t-on ?

Les événements indésirables associés aux soins

Les conséquences (décès, invalidité, etc.)

Les erreurs: erreur d’indication, délai dans la prise en charge, erreur de réalisation

Les facteurs contributifs: tout défaut, échec ou dysfonctionnement des méthodes opérationnelles, des processus ou de l’infrastructure

10

Sources d’information sur la sécurité des patients

Dossiers de patients

Systèmes de signalement et

d’apprentissage

Observation/interview

Bases de données

informatisées

11

Données collectées en routine

Dossiers patients(papier ou électronique)

Bases administratives

Autres bases de données(laboratoires, pharmacie)

Évaluation clinique(autopsies, revues RMM)

12

12

Collecte ad hoc auprès des professionnels / patients

Collectepassive

Surveillance

Systèmes designalement

Plaintes et contentieux

Collecteactive

Collectesystématique

Collecte nonsystématique

Méthodesquantitatives

Méthodesqualitatives

Revue de dossiers,cohortes, triggers,

audits, Observation (par

des professionnels,enregistrements..)

Visites hiérarchiques de sécurité

Focus groups

Analyse approfondie des causes

ScénarioSimulation

13

Taux d’événements indésirables médicamenteux (en %

de patients hospitalisés) Méthode de mesure

Signalement spontané

0.2 Cullen et al (1995)

Revue des dossiers 0.7 Leape et al (1991)

Détection dans bases de données

3.8 Classen et al (1991)

Revue de dossier et signalement actif

6.5 Bates et al (1995)

Bases de données et revue de dossiers

10.0 Jha et al (1997)

Leape et coll. 1997

14

Méthodes épidémiologiques

Collecte de données structurée, standardisée et validée, exhaustive ou sur un échantillon

Seules les méthodes épidémiologiques permettent la comparaison dans le temps et l’espace

15

Méthodes

qualitatives

Observation (par

des professionnels,

enregistrements…)

Bases de données (si exhaustives)Enquêtes (le plus souvent sur échantillon)

Collecteactive

Collectesystématique

Méthodesquantitatives

Revue de dossiers, études de cohorte, triggers, audits

Quelles méthodes permettent-elles une estimation robuste de la fréquence des EIG ?

16

Observation directe des professionnels

Efficace pour déceler les erreurs actives et certains facteurs contributifs (liés aux individus, aux équipes et aux tâches)

Parfois le seul moyen d’avoir des données

Potentiellement exacte, précise

Formation/Coûteuse

Surcharge d’informations

Effet Hawthorn ?

Biais rétrospectif ?

Inefficace dans l’observation des facteurs contributifs les plus profonds

17

Yoel Donchin et al

Etude prospective observationnelle dans une unité de soins intensifs à l’aide d’une observation directe par le personnel médical, et de la collecte d’erreurs constatées

18

Link to Abstract (HTML)Link to Abstract (HTML) Link to Full Text (PDF)Link to Full Text (PDF)

Donchin Y, Gopher D, Olin M, et al. Donchin Y, Gopher D, Olin M, et al. A look into the nature and A look into the nature and causes of human errors in the intensive care unit. Qual. Saf. causes of human errors in the intensive care unit. Qual. Saf. Health Care 2003, 12; 143-147 Health Care 2003, 12; 143-147

19

Méthodes: schéma d’étude

Observations directes multiplesObservations directes multiples■ Signalement d’erreurs par les infirmiers et médecins immédiatement après leur Signalement d’erreurs par les infirmiers et médecins immédiatement après leur

identificationidentification

■ Observations sur 24h par des observateurs externes, spécialisés en facteurs Observations sur 24h par des observateurs externes, spécialisés en facteurs humainshumains

■ Erreurs classées par niveau de sévérité, par type de professionnel et par type Erreurs classées par niveau de sévérité, par type de professionnel et par type d’activitéd’activité

PopulationPopulation: : staff de l’unité de soins intensif medical-chirurgical staff de l’unité de soins intensif medical-chirurgical du Hadassah-Hebrew University Medical Center, Jerusalemdu Hadassah-Hebrew University Medical Center, Jerusalem

UnitéUnité: : 6 lits de soins intensifs + lits supplémentaires en cas de 6 lits de soins intensifs + lits supplémentaires en cas de surchargesurcharge

20

Méthodes: Collecte des données (1)

Signalement d’erreurs par les infirmiers et médecins Signalement d’erreurs par les infirmiers et médecins immédiatement après leur identificationimmédiatement après leur identification■ Erreurs classées de façon indépendante par trois membres seniors du Erreurs classées de façon indépendante par trois membres seniors du

service sur une échelle à 5 niveauxservice sur une échelle à 5 niveaux

Questionnaire de collecte:Questionnaire de collecte:■ Heure d’identificationHeure d’identification

■ Profil de la personne ayant commis l’erreur et de celle qui l’a identifiéeProfil de la personne ayant commis l’erreur et de celle qui l’a identifiée

■ Description brève de l’erreurDescription brève de l’erreur

■ Cause présuméeCause présumée

21

Méthodes: Collecte des données (2)

Observation en continue 24/24 par des observateurs externesObservation en continue 24/24 par des observateurs externes■ 46 patients représentatifs de la population de l’unité46 patients représentatifs de la population de l’unité

■ Profil d’activité et fréquence/type d’erreursProfil d’activité et fréquence/type d’erreurs

■ Observateurs formés par une infirmière senior de l’unitéObservateurs formés par une infirmière senior de l’unité

AnalyseAnalyse■ Distribution des fréquences, activité moyenne, taux d’erreur, pourcentagesDistribution des fréquences, activité moyenne, taux d’erreur, pourcentages

■ Logiciel permettant la saisie et l’analyse descriptive simple et croiséeLogiciel permettant la saisie et l’analyse descriptive simple et croisée

22

Principaux résultats

En quatre mois d’observation, 554 erreurs ont été identifiéesEn quatre mois d’observation, 554 erreurs ont été identifiées■ Les observateurs ont inclus au total 8 178 activités pendant l’observation des Les observateurs ont inclus au total 8 178 activités pendant l’observation des

46 patients pendant 24 heures de surveillance46 patients pendant 24 heures de surveillance

178 activités/patient/jour en moyenne178 activités/patient/jour en moyenne

1,7 erreur par patient et par jour en moyenne (0.95% des 1,7 erreur par patient et par jour en moyenne (0.95% des activitiés)activitiés)■ Deux erreurs graves et potentiellement dommageables pour les patients par Deux erreurs graves et potentiellement dommageables pour les patients par

jourjour

■ Autant de signalements par les médecins et par les infirmières, bien que les Autant de signalements par les médecins et par les infirmières, bien que les infirmières aient plus d’activités par jourinfirmières aient plus d’activités par jour

23

Discussion par les auteurs: leçons et conseils

Un point d’amélioration de l’étude ?Un point d’amélioration de l’étude ? ■ “ “Réaliser la même étude après mise en place des actions d’amélioration." Réaliser la même étude après mise en place des actions d’amélioration."

Faisable et acceptable dans les pays en développement? Faisable et acceptable dans les pays en développement? ■ “ “Je ne sais pas. La réponse est plus spécifique à une unité qu’à un pays. Mais la Je ne sais pas. La réponse est plus spécifique à une unité qu’à un pays. Mais la

méthode semble appropriée pour les pays en développement."méthode semble appropriée pour les pays en développement."

24

Revue de dossiers

Utilise des informations existantes

Communes

Evaluation non fiable

Méthode chère

Dossiers incomplets, perdus

Hindsight bias (biais de retrospection)

25

Ross Baker

Analyse rétrospective de dossiers hospitaliers pour identifier les événements indésirables et évitables au Canada

26

Baker GR, Norton PG, Flintoft V, et al. The Canadian Adverse Baker GR, Norton PG, Flintoft V, et al. The Canadian Adverse Events Study: the incidence of adverse events among Events Study: the incidence of adverse events among hospital patients in Canada. CMAJ, 2004, 170:1678-1686hospital patients in Canada. CMAJ, 2004, 170:1678-1686

Link to Abstract (HTML)Link to Abstract (HTML) Link to Full Text (PDF) Link to Full Text (PDF)

27

DesignDesign: Analyse rétrospective de dossiers: Analyse rétrospective de dossiers■ Etablissements de court séjour tirés au sort dans 5 provincesEtablissements de court séjour tirés au sort dans 5 provinces

■ Revue de dossiers excluant la psychiatrie, la pédiatrie et l’obstétrique dans chaque Revue de dossiers excluant la psychiatrie, la pédiatrie et l’obstétrique dans chaque établissement en 2000établissement en 2000

ObjectifsObjectifs::■ Estimer l’incidence des événements indésirables graves dans un échantillon Estimer l’incidence des événements indésirables graves dans un échantillon

représentatif d’établissementsreprésentatif d’établissements

■ Décrire la fréquence et le type d’EIGDécrire la fréquence et le type d’EIG

■ Comparer le taux d’EIG entre types d’établissement et d’activitéComparer le taux d’EIG entre types d’établissement et d’activité

Méthodes: Conception de l'étude et objectifs

28

EchantillonEchantillon: quatre hospital tirés au sort dans la liste des : quatre hospital tirés au sort dans la liste des établissements éligibles dans chacune des 5 provincesétablissements éligibles dans chacune des 5 provinces■ Un établissement universitaireUn établissement universitaire

■ Un grand établissement(100 lits ou plus)Un grand établissement(100 lits ou plus)

■ Deux petits établissements (moins de 100 lits)Deux petits établissements (moins de 100 lits)

Critères d’éligibilité:Critères d’éligibilité:■ Situé à moins de 250km du centre de recherche de la provinceSitué à moins de 250km du centre de recherche de la province

■ Au moins1500 admission en 2002Au moins1500 admission en 2002

■ Existence d’un service d’urgence ouvert 24/24Existence d’un service d’urgence ouvert 24/24

■ Etablissements mono-spécialité exclusEtablissements mono-spécialité exclus

Méthodes: Population étudiée et contexte

29

PopulationPopulation: dossiers de l’année 2000 tirés au sort: dossiers de l’année 2000 tirés au sort■ Objectif de revoir 230 dossiers dans les gros établissements et 142 dans Objectif de revoir 230 dossiers dans les gros établissements et 142 dans

les petits, pour atteindre un total de 3 720 admissionsles petits, pour atteindre un total de 3 720 admissions

■ Parmi les 4 164 admissions incluses, 3 745 dossiers (89.9%) eligiblesParmi les 4 164 admissions incluses, 3 745 dossiers (89.9%) eligibles

Méthodes de collecte des données fondées sur des études Méthodes de collecte des données fondées sur des études antérieures, notamment aux USA, Australie et Royaume antérieures, notamment aux USA, Australie et Royaume UniUni■ Recueil informatique pour s’assurer de l’exhaustivité du recueilRecueil informatique pour s’assurer de l’exhaustivité du recueil

■ Formation de leaders médecin et infirmier dans chaque ProvinceFormation de leaders médecin et infirmier dans chaque Province

■ Utilisation de questionnaires de recueil standardisésUtilisation de questionnaires de recueil standardisés

Méthodes: Population étudiée et contexte (2)

30

Méthodes : Processus d'examen des dossiers

Etape 1: Etape 1: ■ Identification de dossiers avec EIG potentiels avec 18 critères de Identification de dossiers avec EIG potentiels avec 18 critères de

détectiondétection

Etape 2: Etape 2: ■ Revue des dossiers “positifs” par un médecinRevue des dossiers “positifs” par un médecin

■ Evaluation de la nature liée aux soins, de la sévérité et de l’évitabilitéEvaluation de la nature liée aux soins, de la sévérité et de l’évitabilité

31

Principaux résultats

Taux d’incidence 7.5 pour 100 admissionsTaux d’incidence 7.5 pour 100 admissions

ConséquencesConséquences■ 5% avec incapacité permanente5% avec incapacité permanente

■ 16% avec décès16% avec décès

Plus d’un tiers des EIG évitables (37%)Plus d’un tiers des EIG évitables (37%)■ 9% de décès associés à un EIG considéré comme évitable9% de décès associés à un EIG considéré comme évitable

32

Un point d’amélioration de l’étude?Un point d’amélioration de l’étude?■ Former les enquêteurs sur une période plus longue et former tous les Former les enquêteurs sur une période plus longue et former tous les

enquêteurs (~ 3 jours)enquêteurs (~ 3 jours)

Faisable et acceptable dans les pays en développement?Faisable et acceptable dans les pays en développement?■ 3 Projets OMS3 Projets OMS

■ Enquête au Moyen Orient et en AfriqueEnquête au Moyen Orient et en Afrique

■ Enquête en Amérique du SudEnquête en Amérique du Sud

■ Développement de méthodes adaptées à un contexte pauvre en informationDéveloppement de méthodes adaptées à un contexte pauvre en information

Discussion par les auteurs: leçons et conseils

33

Etudes de cohorte / surveillance clinique

Potentiellement appropriée et précise pour les EIG

Robuste pour tester l’efficacité des interventions

Peut être intégrée aux soins

Chère

Incapable d’identifier les EIG survenant à distance

34

Michel P, Quenon JL, Djihoud A, Tricaud-Vialle S, de Sarasqueta AM. A French national survey of inpatient’s adverse events prospectively assessed with ward staff. Qual Saf Health Care 2007;16:369-77.

Michel P, Quenon JL, deSarasqueta AM, Scemama O. Comparison of three methods for estimating rates of adverse events and rates of preventable adverse events in acute care hospitals. BMJ. 2004;328:199-202

Etude de cohorte : Michel P. et al

35

Objectifs

Estimer l’incidence des événements indésirables graves (EIG) observés en milieu hospitalier

■ EIG causes d’hospitalisation

■ EIG identifiés pendant l’hospitalisation

En estimer la part évitable

Analyser les causes latentes et les facteurs contributifs

Constituer des données de références pour des enquêtes ultérieures

36

Méthode d’identification des EIG

Détection

Enquêteurs infirmiers

Avec le cadre de santé et les dossiers des patients

Trois passages pendant les 7 jours

Confirmation

Enquêteurs médecins

Avec le médecin et les dossiers des patients

Un passage en fin de période d’observation

37

EIG inclus

La fenêtre d’observation : une fenêtre de 7 jours

Tous les séjours des patients présents ou entrants dans la période d’observation

Début durecueil

Fin durecueil

Type de séjour 1

Type de séjour 4

Type de séjour 3

Type de séjour 2

38

Analyse des données

Densité d’incidence des événements survenus pendant les séjours observés

Proportion des patients admis pour un EIG

nb de nouveaux EIG identifiésnb de jours d’hospitalisation

DI =

nb de patients admis pour un EIG pendant la période d’observation

nb de patients admis Proportion =

39

EIG pendant l’hospitalisation

EIG pendant l’hospitalisation

Densité d’incidence 6,6 EIG pour 1000 jours

d’hospitalisation (IC95% [5,7 ; 7,5])

35% jugés évitables

Soit entre 120 000 et 190 000 EIG évitables par an

50% des EIG sont liés à la période péri-opératoire

(infections et complications mécaniques)

40

Hospitalisations causées par un EIG

Proportion d’admission causées par un EIG 3,9% (IC95% [3,3 ; 4, 6])

■ 2/3 médecine de ville, 1/3 réadmission

47% évitables

Soit entre 125 000 et 205 000 admissions évitables par an

40% sont liés aux médicaments, 40% aux suites d’interventions chirurgicales

41

concernent■ La moitié des EIG causes d’hospitalisation

■ Le tiers des EIG survenus pendant l’hospitalisation

Pour les EIG survenus pendant l’hospitalisation, l’omission (absence de traitement) représente la moitié des erreurs liées à la pratique

■ en particulier absence d’anticoagulants chez les personnes âgées

EIG associés aux médicaments

42

EIG période péri-opératoire

Une fréquence élevée d’EIG liés aux interventions

Peu d’événements liés directement à l’anesthésie

L’infection du site opératoire, une complication fréquente

Autant d’infections liées aux soins que de complications « mécaniques » (hémorragie, hématome, défaut cicatrisation…)

Les EIG surviennent souvent majoritairement lors de situations à risques spécifiques

Des EIG liés à des erreurs, souvent évitables

43

Facteurs contributifs les plus fréquents

Défaut de communication interne

Absence de protocoles de soins

Planification des tâches non adaptée

Collaboration insuffisante entre les soignants

Insuffisance de communication entre les professionnels et le patient

Charge de travail importante

44

Un point d’amélioration de l’étude?Un point d’amélioration de l’étude?■Former les enquêteurs sur une période plus longue et former tous les Former les enquêteurs sur une période plus longue et former tous les

enquêteurs (~ 3 jours)enquêteurs (~ 3 jours)

Faisable et acceptable dans les pays en développement?Faisable et acceptable dans les pays en développement?■ “ “Un test transculturel est nécessaire aavant de proposer cette méthode”Un test transculturel est nécessaire aavant de proposer cette méthode”

Discussion par les auteurs: leçons et conseils

45

Méthodes testées dans des pays en développement

46

Etudes de prévalence

Jordan

Morocco

Egypt

South Africa

Tunisia

Kenya

YemenSudan

Argentina

Peru

Mexico

Colombia

Costa Rica

Brazil

47

Choisir la méthode adaptée

WHO Patient SafetyPhilippe Michel, MD, PhD

48

Observation de la délivrance des soins, centrée sur la sécurité des injections

Observation structurée des matériels et équipements

Observation structurée des pratiques (WHO guidelines)■ 25 observations au minimum par établissement, réparties dans

plusieurs services

Interview des professionnels sur la disponibilité des matériels et équipements

Croisement des résultats issus des trois approches

49

50

51

Interview des professionnels

Recherche systématique des EIG chez les patients hospitalisés■ EIG survenus pendant l’hospitalisation

■ EIG causes d’hospitalisation

Méthode proche de la revue de dossier■ Investigateurs externes

■ Deux phases de recueilPhase 1 de détection: interview d’une infirmièrePhase 2 d’analyse des événements, de ses conséquences et de

ses causes, avec un médecin du service

■ Toute documentation peut être consultée

Etude de type “un jour donné”, permettant de calculer la prévalence des EIG

52

53

Quelques résultats de prévalence

17% à 24% des patients ont au moins un événement indésirable grave

16 à 19% des patients ont au moins un événement indésirable grave évitable

54

Conclusion

Importance du phénomène

La mesure est le fondement de toute démarche de prévention et de gestion des risques liés aux soins

Nombreuses méthodes, produisant des résultats différents

Des méthodes adaptées aux contextes de pauvreté d’information disponible mises à disposition par l’OMS en 2009

55

Discussion

Les participants donnent des exemples de dommages fréquents survenus sur leur lieu de travail (hôpital)

Les participants suggèrent des méthodes potentiellement réalisables pour mesurer les effets indésirables sur leur lieu de travail

56

Sommaire

Il existe différentes méthodes pour mesurer les erreurs et les effets indésirables. Chacune d’elles enregistre des points forts, et des points faibles

■ Observation directe

■Surveillance clinique

■ Analyse des données administratives

Les grands ensembles de mesure peuvent contenir plusieurs combinaisons de méthodes de mesure.

57

Introduction à la Recherche sur la Introduction à la Recherche sur la Sécurité des PatientsSécurité des Patients

“Arguments” en faveur de la Recherche sur la sécurité des patients

58

Baker GR, Norton PG, Flintoft V, et al. The Canadian adverse events study: the incidence of adverse events among hospital patients in Canada. CMAJ, 2004, 170:1678-1686.

 Bates DW, Cullen DJ, Laird N, et al. Incidence of adverse drug events and potential adverse drug events. JAMA. 1995;274:29-34.

 Brennan T, Leape L, Laird N, et al. The incidence of adverse events and negligence in hospitalized patients: results from the Harvard Medical Practice Study I. N Engl J Med 1991;324:370-376.

Donchin Y, Gopher D, Olin M, et al. A look into the nature and causes of human errors in the intensive care unit. Qual. Saf. Health Care 2003, 12;143-147.

 Leape L, Brennan T, Laird N, et al. The nature of adverse events in hospitalized patients: results from the Harvard Medical Practice Study II. N Engl J Med 1991;324:377-384.

Michel P, Quenon JL, de Sarasqueta AM, Scemama O. Comparison of three methods for estimating rates of adverse events and rates of preventable adverse events in acute care hospitals. BMJ, 2004, 328; 199.

Thomas EJ, Petersen LA. Measuring errors and adverse events in health care. J Gen Intern Med 2003;18:61-67.

Publications

59

1. Lesquelles des mesures ci-après portent sur les erreurs ?a. Le pourcentage de patients ayant subi une intervention abdominale et qui

développent une infection de la plaie b. Le nombre d’erreurs de médication survenant chaque jour dans une unité de soins

intensifs c. Le taux de décès en chirurgie cardiaqued. Le pourcentage de personnel infirmier par lit en soins intensifs

2. Parmi ces méthodes, lesquelles sont pertinentes pour faire une estimation robuste de la fréquence des événements indésirables?

a. Observation systématique d’une activité de soinsb. Système de signalement interne à l’établissementc. Revue de dossiersd. Analyse approfondie des causes

Quizz

60

3. En moyenne, quelle est la fréquence d’erreurs médicales survenant dans une unité de soins intensifs?

a. Un ou deux erreurs par patient et par semaineb. Un ou deux erreurs par patient et par jourc. Dix erreurs à l’heure par patientd. Pas d’erreurs s’il s’agit d’une bonne unité

4. A quelles étapes en gestion des risques la mesure est-elle utile ?a. Identification des niveaux de risqueb. Priorisationc. Mise en œuvre des actionsd. Evaluation d’impact des actions

Quizz