Décembre 2002 RECEMAP 1 Évaluer la satisfaction des patients hospitalisés : A propos de lÉchelle...

Décembre 2002 RECEMAP 1

Évaluer la satisfaction des patients hospitalisés :

A propos de l’Échelle de Qualité des Soins EQS

L. Moret - Y Foucher - P. Lombrail - JM. NguyenRemerciements à B. Dessomme

Pôle d’Information Médicale, d’Évaluation et de Santé Publique

CHU Nantes


ContexteLa mesure de la satisfaction, une obligation…

• Obligation pour les établissements de santé– Renforcée par la procédure d’accréditation

• Indicateur du résultat– Du processus de prise en charge– Des soins

• Composante des performances hospitalières


Contextemais un manque d’outils de mesure valides

• Peu d’outils validés en français• Notamment pour les ‘questionnaires de sortie’• Risque d’attribuer aux patients des opinions

erronées

• EQS : Échelle de Qualité des SoinsSalomon, Gasquet, Mesbah, Ravaud – Int J for Quality in Health care, 1999

– Validée en médecine et chirurgie, pas en obstétrique

– Taille de l’échantillon d’analyse insuffisante


Objectif

• Dans le cadre d’un projet de recherche plus général, utilisant l’EQS comme gold-standard– Élargir la validation de l’EQS au service

d’obstétrique– Vérifier la validation interne de l’EQS

• Taille d’échantillon de validation adaptée

• Solutionner les problèmes méthodologiques rencontrés


Population et méthode

Étude de validation• Hôpital Cochin en 1997• 8 services enquêtés : 4

services de médecine et 4 services de chirurgie

• Patients interrogés le jour précédant leur sortie

• 60 questionnaires par service

Étude en cours• CHU de Nantes-avril

2002• 9 services enquêtés : 4

services de médecine, 4 services de chirurgie, 1 service d’obstétrique

• Patients interrogés le jour de leur sortie

• 60 questionnaires par service


EQS : Échelle de Qualité des SoinsSalomon, Gasquet, Mesbah, Ravaud – Int J for Quality in Health care, 1999

• Construction à dire d’experts– Liste d’items de questionnaires de satisfaction français et anglo-saxons– Interviews non-structurées de 20 patients hospitalisés

• 59 items testés auprès des professionnels et de 50 patients• ACP exploratoire : Items ayant des coordonnées >0.50 sur un axe

– Facteur 1 : Information médicale : 21 items Variance expliquée 27.5%

– Facteur 2 : Relations avec les soignants : 19 items Variance expliquée 7.4%

• Analyse de fiabilité pas à pas– Maximisation du coefficient de Cronbach avec un minimum d’items

• 13 items dans chaque dimension

• Échelle EQS : 26 items– 4 Modalités codées de 0 à 3 : ‘Pas du tout’ , ‘Pas vraiment’, ‘Presque’, ‘Tout à fait’

– 1 modalité ‘Non concerné’


RésultatsÉchantillon

Étude de validation

Étude en cours

80.2%

534 patients éligibles

54 refus (10%)52 autre raison

(langue, état clinique)

428 questionnaires remplis

Réponses exhaustives : 93.2% à 100% par

item

88.5%

86.2%

724 patients sortants

62 n’ont pu être interrogés (sortie précipitée, patient

introuvable)

38 ne respectant pas les critères d’inclusion

(langue, état clinique)

624 patients éligibles

23 refus (3.7%) 49 abandons

552 questionnaires remplis

54 questionnaires ayant au moins une valeur

manquante

498 réponses exhaustives

Non-répondants significativement plus âgés (72.2 ans 18.9 versus 56.6 ans 20.6– p<0.01)


Étude de validation• Age moyen 55.5 ans ± 17.1

• Femmes 48.4%• DMS 8.5 jours ± 7,8

• Admission en urgence 24.6%

• Intervention chirurgicale 52.1%• Maladie chronique (>6 mois)

63.3%

Caractéristiques socio-médicales des répondants

Étude en cours• Age moyen 57,2 ans ± 21,1

• Femmes 52.2%

• DMS 7.8 jours ± 8,8 – 5 jours en moyenne en obstétrique

– 13,2 jours en médecine interne

• Admission en urgence 46.5%

• Intervention chirurgicale 44%• Maladie chronique (>6 mois) 50%


Distribution des réponses des 26 itemsÉtude en cours

Distribution des réponses en % Pas du tout Pas vraiment Presque Tout à fait

J'ai obtenu des informations très claires sur mes symptômes 4,4 8,9 17,7 69,0J'ai obtenu des informations très claires sur la raison pour laquelle je passais des examens 4,5 7,2 11,3 77,0J'ai obtenu des informations très claires sur les résultats de mes examens 10,5 11,9 19,0 58,6J'ai obtenu des informations très claires sur l'objectif des traitements 6,1 7,7 15,9 70,3J'ai obtenu des informations très claires sur les effets indésirables des traitements 23,4 17,4 15,3 43,9Les médecins ont répondu à toutes mes questions 1,3 4,4 15,6 78,6J'ai pu identifier le médecin responsable de moi 12,4 10,9 11,9 64,7J'ai vu une infirmière aussi souvent que je le souhaitais 1,3 1,5 8,8 88,4On a respecté mon intimité 0,5 1,1 8,4 89,9Pour mes gestes quotidiens, on a fait le maximum pour m'aider 1,0 2,6 9,3 87,1Je n'ai pas été très perturbé(e) par les propos tenus par les médecins pendant la visite 6,6 3,8 9,8 79,8Il n'est pas arrivé aux soignants de parler entre eux, comme si je n'étais pas là 11,6 12,2 11,8 64,4On a fait le maximum pour soulager ma douleur 0,8 2,6 7,1 89,6Les infirmières étaient très disponibles pour moi 0,5 2,4 13,9 83,2Il y avait une excellente coordination dans le servcice 2,8 6,8 15,6 74,8L'ambiance dans le service était très bonne 0,7 2,6 10,4 86,2J'ai obtenu des explications très claires sur les symptômes qui doivent m'alerter à l'avenir 19,7 12,9 14,4 53,0J'ai obtenu des explications très claires sur les activités que je pourrai reprendre après ma sortie 23,3 15,9 10,8 50,0J'ai reçu des explications très claires sur mon suivi médical après ma sortie 14,8 8,4 12,8 63,9On a tenu compte de mon avis pour organiser ma sortie 10,6 9,2 8,8 71,3


Propriétés psychométriques

Étude de validation• % de Variance expliquée

– 2 Facteurs : 42.3%– Facteur 1 : Informations médicales

31.7%

– Facteur 2 : Relations avec les soignants10.6%

– 13 items par facteur

• N= ?

Étude en cours• % de Variance expliquée

– 2 Facteurs : 39.5%

– Facteur 1 : 26.7%

– Facteur 2 : 12.8%

• N=82Graphique des valeurs propres

Component Number

252321191715131197531

Va

leu

r p

rop

re

8

6

4

2

0

ACP confirmatoire2 dimensions

1- ACP : Analyse en Composantes Principales


Items du facteur 1 : Informations médicales Validation Étude en cours

J’ai obtenu des informations très claires sur mes symptômes 0.71 0.70

J’ai obtenu des informations très claires sur la raison pour laquelle je passais des examens

0.68 0.56

J’ai obtenu des informations très claires sur les résultats de mes examens 0.61 0.71

J’ai obtenu des informations très claires sur l’objectif des traitements (médicaments, opérations)

0.72 0.70

J’ai obtenu des informations très claires sur les effets indésirables possibles des traitements

0.71 0.60

Les médecins ont répondu à toutes mes questions 0.65 0.65

J’ai pu identifier le médecin responsable de moi 0.50 0.56

J’ai obtenu des explications très claires sur les symptômes qui doivent m’alerter à l’avenir

0.67 0.74

J’ai obtenu des explications très claires sur les activités que je pourrai reprendre après ma sortie

0.56 0.74

J’ai reçu des explications très claires sur mon suivi médical après ma sortie 0.63 0.70

On a tenu compte de mon avis pour organiser ma sortie 0.45 0.51

Les médecins ont demandé mon avis avant d’informer mes proches sur mon état de santé

0.60 0.41

Mes proches ont obtenu des informations claires et compréhensibles sur mon état de santé

0.57 0.48

Projection des 26 items de l’échelle EQS dans les 2 facteursRotation Varimax /Matrice de corrélation


Items du facteur 2 : Relations avec les soignants Validation Étude en cours

J’ai vu une infirmière aussi souvent que je le souhaitais 0.71 0.65

On a fait le maximum quand j’étais angoissé(e), inquiet(e), triste 0.52 0.48

On a respecté mon intimité 0.49 0.51

Pour mes gestes quotidiens, on a fait le maximum pour m’aider. 0.77 0.69

J’ai été très perturbé(e) par les propos tenus par les médecins pendant la visite 0.32 -0.06

Il est arrivé aux soignants de parler entre eux, comme si je n’étais pas là 0.51 0.17

On a fait le maximum pour soulager ma douleur 0.41 0.58

Pour prendre mes repas, j’ai obtenu une aide très adaptée 0.65 0.65

Pour me laver, j’ai obtenu une aide très adaptée 0.77 0.68

Pour faire mes besoins (uriner, ...), j’ai obtenu une aide très adaptée 0.65 0.55

Les infirmières étaient très disponibles pour moi 0.71 0.66

Il y avait une excellente coordination dans le service 0.71 0.72

L’ambiance dans le service était très bonne -0.71 0.73

J’ai été très perturbé(e) par les propos tenus par les médecins pendant la visite

Il est arrivé aux soignants de parler entre eux, comme si je n’étais pas là


Étude de validation

Propriétés psychométriques

Étude en cours

2 - Fiabilité : Coefficients de Cronbach

Facteur 1 : Informations médicales=0.88 (n=103) =0.81(n=180)

Facteur 2 : Relations avec les soignants =0.87 (n=?) =0.83 (n=164)

Échelle globale : =0.90 (n=?) =0.87(n=82)


• Résultats comparables– Incluant le service d’obstétrique

MAIS• Nombre de questionnaires participant à l’analyse

limité– ACP réalisée sur 82 questionnaires parmi 498– Coefficients de Cronbach calculés sur le facteur 1 : n=103 dans l’étude de

validation et n=180 dans notre étude

• Valeurs ‘Non concerné’ – Ne sont pas des données manquantes

REMISE EN CAUSE DE LA VALIDATION ?

Problématique


Fréquence des réponses ‘non concerné’ par item

0,0 10,0 20,0 30,0 40,0 50,0 60,0

On a respecté mon intimité

Les infirmières étaient très disponibles pour moi

J'ai vu une inf irmière aussi souvent que je le souhaitais

J'ai pu identif ier le médecin responsable de moi

L'ambiance dans le service était très bonne

Il y avait une excellente coordination dans le servcice

Les médecins ont répondu à toutes mes questions

J'ai obtenu des informations très claires sur mes symptômes

J'ai obtenu des informations très claires sur la raison pour laquelle je passais des examens

J'ai obtenu des informations très claires sur l'objectif des traitements (médicaments, opérations)

J'ai obtenu des informations très claires sur les résultats de mes examens

On a fait le maximum pour soulager ma douleur

Pour mes gestes quotidiens, on a fait le maximum pour m'aider

J'ai reçu des explications très claires sur mon suivi médical après ma sortie

On a tenu compte de mon avis pour organiser ma sortie

Il est arrivé aux soignants de parler entre eux, comme si je n'étais pas là

J'ai obtenu des informations très claires sur les effets indésirables possibles des traitements

J'ai été très perturbé(e) par les propos tenus par les médecins pendant la visite

J'ai obtenu des explications très claires sur les symptômes qui doivent m'alerter à l'avenir

J'ai obtenu des explications très claires sur les activités que je pourrai reprendre après ma sortie

On a fait le maximum quand j'étais angoissé(e), inquiet(e), triste

Mes proches ont obtenu des informations claires et compréhensibles sur mon état de santé

Pour me laver, j'ai obtenu une aide très adaptée

Pour faire mes besoins (uriner, ...), j'ai obtenu une aide très adaptée

Les médecins ont demandé mon avis avant d'informer mes proches sur mon état de santé

Pour prendre mes repas, j'ai obtenu une aide très adaptée


6 items ont un taux de réponse ‘Non concerné’ > 20%

- Items de dépendance physique et psychique

- Items concernant l’entourage

Dépendance physique et psychique % NC

on a fait le maximum quand j’étais angoissé(e), inquiet(e), triste 23.1%

pour prendre mes repas, j’ai obtenu une aide très adaptée 48.8%

pour me laver, j’ai obtenu une aide très adaptée 34.0%

pour faire mes besoins (uriner, ...), j’ai obtenu une aide très adaptée 38.2%

Entourageles médecins ont demandé mon avis avant d’informer mes proches sur mon état de santé 47.2%

mes proches ont obtenu des informations claires et compréhensibles sur mon état de santé 33.8%

Sens clinique


Qui sont les ‘Non concernés’ ?

• Dépendance– Plus jeunes– Hospitalisés dans des services d’os– Opérés

• Entourage– Plus âgés– Pas le service d’obstétrique


• Garder tous les items dans l’échelle sélectionne des patients dépendants et entourés– Si traitement comme des valeurs manquantes– Biais de sélection

• Construire un outil générique de mesure de de la satisfaction du patient hospitalisé

• Applicable à tous les pathologies et les patients

EQS 20 : module de mesure génériqueAssocié à des modules spécifiques


RésultatsPropriétés psychométriques EQS20 1 - ACP : Analyse en Composantes Principales

Numéro de l'axe

20

19

18

17

16

15

14

13

12

11

10

9

8

7

6

5

4

3

2

1

Val

eur

prop

re

6

5

4

3

2

1

0

4 facteurs

VP>1

% de Variance Expliquée :

53.2%

Facteur 1 25.4%

Facteur 2 13.1%

Facteur 3 8.1%

Facteur 4 6.6%

N=217

rotation varimax – matrice de corrélation


Facteur 1 Disponibilité des soignants - Organisation du serviceFacteur 2 Information médicale délivréeFacteur 3 Information donnée sur la sortieFacteur 4 Discrétion des soignants

EQS 20 : Libellé des items Facteur 1 Facteur 2 Facteur 3 Facteur 4J’ai vu une infirmière aussi souvent que je le souhaitais 0,65 0,21 -0,07 -0,17On a respecté mon intimité 0,52 -0,15 0,23 -0,01Pour mes gestes quotidiens, on a fait le maximum pour m’aider 0,67 0,16 -0,03 0,01On a fait le maximum pour soulager ma douleur 0,56 0,13 0,11 0,08Les infirmières étaient très disponibles pour moi 0,77 0,08 0,01 -0,03Il y avait une excellente coordination dans le service 0,77 0,04 0,09 0,18L’ambiance dans le service était très bonne 0,77 0,04 0,03 0,20

Informations sur les symptômes 0,20 0,67 0,17 0,06Informations sur les raisons des examens 0,03 0,71 0,03 0,04Informations sur les résultats des examens 0,05 0,66 0,22 -0,01Informations sur les objectifs des traitements 0,02 0,68 0,24 0,08Informations sur les effets indésirables possibles des traitements 0,00 0,58 0,25 -0,07Les médecins ont répondu à toutes mes questions 0,33 0,48 0,03 0,24J’ai pu identifier le médecin responsable de moi 0,13 0,43 0,30 -0,07

J’ai obtenu des explications très claires sur les symptômes qui doivent m’alerter à l’avenir 0,03 0,28 0,74 0,07J’ai obtenu des explications très claires sur les activités que je pourrai reprendre après ma sortie 0,04 0,19 0,80 0,08J’ai reçu des explications très claires sur mon suivi médical après ma sortie 0,03 0,21 0,76 -0,01On a tenu compte de mon avis pour organiser ma sortie 0,15 0,21 0,51 -0,13

J’ai été très perturbé(e) par les propos tenus par les médecins pendant la visite 0,00 0,07 -0,11 0,76Il est arrivé aux soignants de parler entre eux, comme si je n’étais pas là 0,16 0,01 0,10 0,75


• Échelle globale (20 items) 0.83n=217

• Facteur 1(7 items) 0.83 n=401• Facteur 2 (7 items) 0.78 n=388• Facteur 3 (4 items) 0.79 n=341• Facteur 4 (2 items ) 0.44 n=410

Propriétés psychométriques EQS20 2 - Fiabilité : Coefficients de Cronbach


Caractéristiques de l’échelle EQS 20

Score global de l'échelle EQS20

100959085807570656055504540353025

n

70

60

50

40

30

20

10

0

Score moyen ± ET

83.2 ± 14.3

Mode 100

Médiane 86.7

Range 25-100

N=498

Calcul du score : somme des réponses données à chaque item divisée par le nombre d’items remplis par le patient – 0 à 100

Score moyen élevé

Distribution non gaussienne

Gestion des risques

Gestion de la qualité


Validité externe concourante

Axe Information médicale

Moyenne

Écart-type

Service E 91.4 14.1

Service C 88.4 12.4

Service A 83.5 18.6

Service H 81.3 19.8

Service F 77.8 19.5

Service G 76.5 24.9

Service D 73.2 19.2

Service I 69.1 25.3

Service B 68.2 25.3

TOTAL 78.9 21.5

Axe Informations à la sortie

Moyenne

Écart-type

Service E 85.1 22.9

Service F 80.4 21.4

Service C 75.2 30.8

Service D 74.3 28.1

Service A 70.9 30.0

Service H 70.8 32.1

Service G 65.3 35.7

Service B 63.2 33.6

Service I 62.1 31.3

TOTAL 71.7 30.7

• Bonne discrimination entre les services

Le service E a déjà travaillé sur l’information médicale délivrée



m (ET)

Facteur 1Disponibilité

Facteur 2Informations

médicales

Facteur 3Informations

sortie

Facteur 4Discrétion

Score global

Entrée :

En urgence

Programmée

NS 74.8(23.3)

83.3(19.3)***

66.5(32.6)

77.5(27.1)***

NS 80.8(14.6)

86.0(13.1)***

Intervention chirurgicale

Pas d’intervention

96.0(9.3)

91.9(13.2)***

84.1(19.7)

74.4(22.3)***

NS 84.2(26.6)

79.0(26.7)*

86.6(12.8)

80.3(14.8)***

Santé perçue

Moins bonne

Semblable

Meilleure

91.7(14.0)

93.8(11.8)*

96.0(8.2)

NS NS NS NS

Maladie< 6 mois

Maladie>= 6 mois

NS 75.4(23.0)

83.6(18.6)***

65.1(31.6)

76.8(29.4)***

NS 81.5(14.6)

85.8(13.3)**


Influence de l’âge (modélisation)

Biais ?


Analyse multivariée (1)Régression linéaire multiple sur le score global EQS 20

s() IC() 95% p

Entrée programmée 3.04 1.33 [0.42;5.65] 0.0233

Intervention chirurgicale 4.46 1.33 [1.85;7.07] 0.0009

Age <70 ans 0.14 0.05 [0.05;0.23] 0.0015

Age >70ans -0.54 0.13 [-0.80;-0.28] 0.0001


Analyse multivariée (2)Régression linéaire multiple sur le score global EQS 20

Interaction s() IC() 95% p

0 ou 1 hospitalisation * Santé perçue meilleure

8.50 2.68 [3.27;13.73] 0.0016

2 ou 3 hospitalisations

* Santé perçue meilleure

0.58 5.91 [-11.01;12.15] 0.8320

Plus de 4 hospitalisations

* Santé perçue meilleure

-0.27 5.95 [-11.93;11.39] 0.9620


• Résultats convergents avec les données de la littérature• Facteurs influençant positivement le niveau de

satisfaction– Hospitalisation programmée– Maladie chronique– Meilleure santé perçue, peu d’hospitalisations antérieures– Intervention chirurgicale– Homme– Age (effet seuil) : croissant jusqu’à 70 ans

• Tenir compte de ces facteurs dans la mesure (stratification, ajustement)



Conclusion

• Modalités de traitement des réponses ‘Non concerné’– Traiter comme des valeurs manquantes ?

• Remplacer par la moyenne ?• Modélisation ?

– Biais de sélection

• Une réponse possible– Questionnaire de satisfaction générique– Modules spécifiques (patients dépendants, entourage…)


Pour le futur…• Construction d’un outil composite en cours

– Qualités métrologiques de l’EQS 20 à consolider– Associer d’autres dimensions non explorées par l’échelle

• Questions ouvertes

– Nouvelle approche de la mesure : EVA• Simplicité• Meilleure exhaustivité ?

• Développer la dimension ‘information du patient’– Rôle dans le processus de prise de décision– Acceptation du risque thérapeutique

Décembre 2002 RECEMAP 1 Évaluer la satisfaction des patients hospitalisés : A propos de lÉchelle...

Documents

Transcript of Décembre 2002 RECEMAP 1 Évaluer la satisfaction des patients hospitalisés : A propos de lÉchelle...