Comment construire une échelle de risque ? Théorie et pratique Gilles Chatellier Faculté Paris...
-
Upload
adrien-chauvet -
Category
Documents
-
view
109 -
download
1
Transcript of Comment construire une échelle de risque ? Théorie et pratique Gilles Chatellier Faculté Paris...
Comment construire une échelle de risque ?
Théorie et pratique
Gilles Chatellier
Faculté Paris Descartes Unité de Recherche Clinique, HEGP
URC HEGP, 2009, G Chatellier
Clinical Decision Making
It is simply unrealistic to think that individuals can synthesize in their heads scores of pieces of evidence, accurately estimate the outcomes of different options, and accurately judge the desirability of those outcomes for patients.
...All confirm what would be expected from common sense: The complexity of modern medicine exceeds the inherent limitations of the unaided human mind.
David M. Eddy. JAMA 1990; 263:1265-1275
URC HEGP, 2009, G Chatellier
Clinical Prediction Rules
Clinical prediction rules (CPR) are tools that clinicians can use to predict the most likely diagnosis, prognosis, or response to treatment in a patient based on individual characteristics.
CPRs attempt to standardize, simplify, and increase the accuracy of clinicians’ diagnostic and prognostic assessments.
URC HEGP, 2009, G Chatellier
Clinical Prediction Rules
Dérivées d’étude de type « Pronostic » répondant aux questions du type:Quel est le risque d’une intervention, d’une maladie ?Quels sont les prédicteurs du risque de maladie (Sexe,
Age, Cholestérol…) Clinical Prediction Rules.
Sachant les prédicteurs, quel est le risque ? Ceci nécessiteUne CohorteUn Modèle, et sa mise en œuvre (calculette,
table…)Une Validation
URC HEGP, 2009, G Chatellier
Méthodes possibles pour la prédiction d’un risque à partir de données
Méthodes statistiques :Régression multiple (Y:variable continue)Analyse discriminante (Y:variable continue)Régression logistique (Y: variable catégorielle)Modèle de Cox (Y: risque de survenue à un
temps donné)
Réseaux neuronaux Apprentissage symbolique
URC HEGP, 2009, G Chatellier
Hypothèses des méthodes statistiques
Le respect des hypothèses conditionne la validité Régression multiple et analyse discriminante :
Hypothèse de linéarité (le risque Y est représenté comme une combinaison linéaire des facteurs prédictifs Xi)
Normalité et égalité des variances (pour toute valeur fixée d’un Xi , Y suit une loi de distribution normale définie par sa moyenne et sa variance)
Indépendance des observations entre elles
Régression logistique (temps non pris en compte) Beaucoup moins d’hypothèses sont requises Nombre d’événements par variable du modèle (10)
Modèle de Cox (temps pris en compte) Risques proportionnels (
URC HEGP, 2009, G Chatellier
Modèles statistiques multivariés: les difficultés
Petit nombre d'événements (et non de sujets) risque d'association due au hasard imprécision dans l'estimation des événements
Trop nombreuses covariables - règles de sélection des variables
Modalités de prise en compte des interactions Non respect de la linéarité Codage des variables non précisé Colinéarité des variables Poids de certaines observations (« outliers »)
URC HEGP, 2009, G Chatellier
Un exemple simple
La plus étudiée des règles de prédiction clinique….
L’équation de Framingham
Prédit à 10 ans le risque de maladie cardio-vasculaire, en fonction de l’âge du sexe, de la PA, du cholesterol, du tabagisme…REMARQUE: de multiples papiers ont montré que la performance prédictive des médecins était très loin de celles des modèles de Framingham!
URC HEGP, 2009, G Chatellier
1er niveau: Précision
Reproductibilité
Échantillons d’apprentissage
et validation
Indicateurs de performance Discrimination (index C, Sensibilité, Spécificité)
Calibration (observés-prédits)
2e niveau: Transportabilité
Autres populations: différences historiques,
géographiques, cliniques
3e niveau: Évaluation sur
le terrain
Indicateurs de qualité des soins:
Processus de soins, événements cliniques
Règle de prédiction cliniqueRègle de prédiction clinique
Validité technique Impact
Échantillons différents
URC HEGP, 2009, G Chatellier
Discrimination et calibration
Discrimination: dans quelle mesure le modèle sépare bien les malades des non malades ?Index C (1 pour une discrimination parfaite, 0.5 pour une
discrimination aléatoire). Calibration: dans quelle mesure le risque prédit
est-il proche du risque réel (approché par l’observation) ?Confrontation, par tranches de risque, du nombre
d’événements prédits et du nombre d’événements observés
Test de Hosmer et Lemeshow (plus la valeur du test est élevée plus la différence (observés-prédits) est importante)
URC HEGP, 2009, G Chatellier
Discrimination
Signification de l’aire sous la courbe ROC
00
00 0.20.2 0.40.4 0.60.6 0.80.8 11
Se
ns
ibili
té
0.40.4
0.60.6
0.80.8
11
0.20.2
Discrimination: Parfaite: C index = 1 Bonne: C index = 0.8Absente: C index = 0.5
1- Spécificité (taux de faux positifs)
URC HEGP, 2009, G Chatellier
CalibrationDans quelle mesure le risque prédit est-il proche du
risque réel (virtuel) ?(nombre d’événements observés par décile de risque prédit)
Ob
serv
ed e
ven
t ra
teO
bse
rved
eve
nt
rate
Predicted event ratePredicted event rateEvents 1 3 5 7 9 11 13 15 17 19 Patients 20 20 20 20 20 20 20 20 20 20/décile
00
00 0.20.2 0.40.4 0.60.6 0.80.8 11
0.40.4
0.60.6
0.80.8
11
0.20.2
Bien calibrérelativement
8 9 14 6 17 10 12 8 8 8 13 22 27 19 25 22 24 20 17 11
00
00 0.20.2 0.40.4 0.60.6 0.80.8 11
0.40.4
0.60.6
0.80.8
11
0.20.2
Modèle sans valeur
URC HEGP, 2009, G Chatellier
Guide de lecture du groupe EBM : CPR JAMA, 2000
URC HEGP, 2009, G Chatellier
Guide de lecture du groupe EBM : CPR JAMA, 2000
URC HEGP, 2009, G Chatellier
Guide de lecture du groupe EBM : CPR JAMA, 2000
URC HEGP, 2009, G Chatellier
Guide de lecture du groupe EBM : CPR JAMA, 2000
URC HEGP, 2009, G Chatellier
URC HEGP, 2009, G Chatellier
ML Brown et al. J Thorac Cardiovasc Surg 2008;136:566-571
URC HEGP, 2009, G Chatellier
ML. Brown et al. J Thorac Cardiovasc Surg 2008;136:566-571
URC HEGP, 2009, G Chatellier
Modele de risque (Mitral Valve Replacement) appliqué sur une autre population: C-index (95% confidence interval) 0.81 (0.76 to 0.86) Test de Hosmer- Lemeshow: 7.10 (p: 0.526)
URC HEGP, 2009, G Chatellier
AUC = 66.1% 0.2%
Discrimination : courbe ROC Équation de Framingham
Prédiction maladies cardio-vasculaires Essai Insight
1 - Sp
Se
1
1
Au niveau individuel, mauvaise valeur prédictive
URC HEGP, 2009, G Chatellier
Discrimination Equation de Framingham
Maladies Cardio-Vasculaires(MCV) Essai Insight
Application aux données d’un essai international (INSIGHT)Risk/ratio*: Italie Espagne France Scandin. Hollande UKMCV 4.0 3.4 3.0 2.9 3.3 2.7
*: quintile supérieur/quintile inférieurL’équation de Framingham permet de
différencier les groupes de patients à haut et à bas risque
URC HEGP, 2009, G Chatellier
Comparaison des % de maladies coronariennes prédits par l’équation de Framingham aux % observés
Essai Insight
Italie EspagneFrance Scandin. Holl. UKTous
Prédits Fram. 7% 6% 7% 8% 8% 8% 7%Observés 2% 2% 1% 3% 2% 4% 3%Fram./Observés 3.5 3.0 7.0 2.7 4.0 2.0 2.3
L’équation de Framingham surestime le risque de maladie cardio-vasculaire (principalement coronarienne) dans tous les pays (2 à 7)
(calibration inadéquate)
URC HEGP, 2009, G Chatellier
L’estimation est-elle précise ?
Il ne s’agit pas d’un risque individuel, mais d’une estimation à partir d’une population dont les caractéristiques « couvrent » celles du patient.
L’estimation obtenue est imprécise
Ex : Homme, 65 ans, non fumeur, non diabétique, PAS: 160 mmHg , CT:6.22 mmol/L, HDL-C:0.98 mmol/L, HVG : oui
Risque coronarien à 10 ans (Framingham)
47.1%
33.1% ------ 63.5%
(IC 95%)
URC HEGP, 2009, G Chatellier
Présentation graphiquePrésentation graphiqueNew Zealand risk prediction chartNew Zealand risk prediction chart
FemmesFemmes
URC HEGP, 2009, G Chatellier
Conclusion
Oui, il est possible d’employer des modèles de prédiction
MAIS:Validation nécessaireATTENTION: il s’agit d’une estimation sur un groupe
de patients dont les caractéristiques sont celles du patient
Il s’agit d’une AIDE à la décision, pas d’un chiffre « couperet »
URC HEGP, 2009, G Chatellier