Bases méthodologiques de l'évaluation clinique des …€¦ · Quantification Exploration...

Méta-analyse

DIU FIEC

François Gueyffier

Service de pharmacologie clinique

UMR5558

[email protected]

Objectifs pédagogiques

• Critiquer la méthode de l'avis d'expert comme synthèse de l'information

thérapeutique, par rapport à l'approche méta-analytique

• Connaître les bases de la hiérarchisation des données actuelles de la

science

• Connaître le principe statistique des calculs de MA (regroupement des effets

traitements et non des patients, moyenne pondérée)

• Lire un graphique de méta-analyse

• Interpréter un effet traitement global

• Interpréter un p d’association

• Interpréter les indices d’hétérogénéité

• Connaître les limites des analyses en sous-groupes dans les essais

cliniques

• Lire un funnel plot

• Appliquer les critères de qualité pour juger de la fiabilité des résultats d'une méta-analyse

Différentes approches pour la synthèse des données actuelles de la science

1. Code de déontologie* ET

2. Masse des connaissances

Conduisent à l'obligation d'une synthèse des informations thérapeutiques

Trois approches pour une synthèse Avis d'expert

Revue générale

Méta-analyse

* Art 32 : Dès lors qu'il a accepté de répondre à une demande, le médecin s'engage à assurer personnellement au patient des soins consciencieux, dévoués et fondés sur les données acquises de la science, en faisant appel, s'il y a lieu, à l'aide de tiers compétents.

Nombre d'essais nécessaires pour établir l'efficacité d'une thérapeutique comme un

fait scientifique

Quelques arguments pour justifier la réalisation de plus d'un essai clinique pour répondre à une question thérapeutique : – Le résultat du premier essai n'est-il pas le fruit d'une certaine

"malchance" ?

– Les résultats sont-ils reproductibles dans un autre contexte ?

– Cette reproductibilité permet-elle de généraliser les résultats ?

• Conclusion – Deux essais sont nécessaires pour « valider » une intervention

thérapeutique

• Conséquence – Que faire lorsque les résultats de plusieurs essais sont disponibles ?

Méta-analyse

Définition

Principes de la méta-analyse Séparer les effets observé sur plusieurs essais entre :

L’effet commun

Des effets spécifiques d’essais

Avantages des méta-analyses Reproductibilité

Quantification

Exploration rigoureux de l’hétérogénéité des effets

Introduction du modèle d’effet des indices pertinents pour la méta-analyse

Effets fixes ou aléatoires

Lecture d’un graphique

Critère principal et secondaire dans le cadre d’une méta-analyse

Critères composites dans le cadre d’une méta-analyse

Principe statistique de la méta-analyse

• Regroupement des patients ?

– Attention au paradoxe de Simpson

– Éviter le « pooling » = regroupement naïf

• Regroupement des essais comme unités statistiques

d’estimation de l’effet traitement

• Technique de moyenne ajustée et pondérée

• Pondération par l’inverse de la variance de

l’estimateur

– Règle générale en statistique

– On minimise la variance des estimateurs, pour maximiser la

puissance des tests

Éléments de l’interprétation du graphique de méta-analyse

1. Critère de jugement ?

2. Indice d’efficacité ?

3. Hétérogénéité ? • Graphique / visuelle

• Test… 1. I²

2. Q p d’hétérogénéité

4. Test d’association ? • Seuil ?

5. Pertinence clinique de la grandeur d’effet ?

Les tests modernes pour l’hétérogénéité

• I² : pourcentage de la variabilité globale qui n’est pas liée au hasard. Considérée comme significative à partir de 70% (50% pour certains)

• Tau² = variance du logarithme du vrai effet considéré comme variable aléatoire entre les essais

• On se débarrasse de l’impuissance du p d’hétérogénéité et de la sensibilité au nombre d’étude du test Q

Graph of meta-analysis (CA vs classical antiHTN)

•Presentation by sub-groups

Interprétation

• Test d’hétérogénéité - Probabilité que le résultat soit différent entre les études

- Remise en cause du modèle statistique sous-jacent aux calculs

de la méta-analyse

- Quelle conclusion en tirer ?

• Test de signification - p = Probabilité que le résultat soit compatible avec le hasard

- si p < 0,05, on rejette l’hypothèse que le hasard explique l’effet

observé

- et si p > 0,05 ???

Choix du modèle d’effet sous-jacent

• Effet aléatoire et effet fixe

– il s’agit de l’hypothèse d’hétérogénéité entre essais…

l’hypothèse nulle est raisonnable, entre études, même si la

variabilité biologique de tout effet traitement est une

évidence (variabilité inter-études très faible, au moins sur le

plan clinique).

• Notion d’interaction biologique / arithmétique

– Interaction arithmétique : l’hétérogénéité disparaît avec le

changement d’indice.

Interprétation

• Comment interpréter les résultats suivants: • RR p Ass. p Hétérog. Critère

• 0,92 0,001 0,50 Non contrôle de la PA

• 0,92 0,001 0,50 Mortalité totale

• 0,50 0,05 0,05 Non contrôle de la PA



Dimensions à prendre en compte pour interpréter les résultats d’une méta-analyse

Pertinence clinique

Signification statistique de l’association

Signification statistique de l’hétérogénéité

Exemple d’hétérogénéité: AVC, HTA, diurétiques versus bêtabloquants

• Manipulation de l’échelle sur la symétrie des

intervalles de confiance

– Indice multiplicatif (RR, OR): échelle logarithmique

– Indice additif (DR, NPT): échelle arithmétique

• Influence du choix de la méthode à effets fixes ou

aléatoires sur la dimension de l’intervalle de

confiance et la signification du test d’association

Analyse de sensibilité

• Définition

• Argumentaire

– Majoration de la puissance

– Par l’inclusion de données de fiabilité incertaine ou

moindre

• Exemple: AntiHTA après 80 ans, selon le

caractère en double insu ou non

Figure 1 : Treatment effect (relative risk) on stroke

Heterogeneity between trials : p=0.37.

0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2

SHEP

SHEP-pilot

STOP

SYST-EUR

Double-blind trials

Coope

Castel

Open-label trials

TOTAL

(RR=0.64, p=0.01)

(RR=0.85, p=0.75)

(RR=0.67, p=0.01)

Treatment better Control better

Méta-analyse cumulative

• La méta-analyse cumulative montre comment

les résultats s’ « empilent » selon une direction

donnée, le temps.

• Exemple des antihypertenseurs sur la mortalité,

sur l’accident vasculaire cérébral.

• A quelle question répond une méta-analyse

cumulative ?

Funnel plot Exploration du biais de publication

• Mathématiquement, – 1) le nuage est centré sur le vrai effet traitement;

– 2) plus les études sont grandes, plus leur précision augmente

– 3) on peut déterminer des lignes de signification statistique

• les essais NS et / ou négatifs ne sont pas publiés et laissent un creux asymétrique.

• En cas de biais de publication on a un graphique asymétrique et triangulaire.

Funnel plot : example

• There is a suggestion of missing studies on the right-hand-side

of the plot, broadly in the area of non-significance (i.e. the white

area where P > 0.1) for which publication bias is a plausible

explanation

Analyse en sous-groupes, exploration de l'hétérogénéité des résultats

• Les analyses en sous-groupes partagent des inconvénients majeurs : – Perte de puissance, majoration des risques d'erreur

– Multiplication des tests statistiques, consommation du risque alpha

• Il faut donc être méfiant vis-à-vis de leurs résultats, en particulier si – Les analyses sont conduites sur un seul essai

– A fortiori si l'essai est globalement non concluant

• Cependant, l'exploration de l'hétérogénéité des résultats, par l'analyse en sous-groupe, permet de justifier le processus d'extrapolation des résultats

Savoir lire le compte-rendu d'un essai clinique

• Les questions à se poser: – La définition de l'objectif principal, de l'hypothèse à tester, du critère de

jugement principal

– L'adéquation du plan expérimental à l'hypothèse

• Essai comparatif, randomisé avec imprévisibilité, en double insu

– Le calcul du nombre de sujets nécessaires

• Le risque alpha & la puissance a priori

• Le réalisme des fondements du calcul

– Pour un critère de jugement binaire : risque attendu, risque relatif espéré

– Pour un critère de jugement quantitatif: différence attendue, variabilité de la différence

– La définition a priori des analyses complémentaires

– La présentation des résultats

– Savoir se méfier des résumés

Appliquer les critères de qualité pour juger de la fiabilité des résultats d'une méta-analyse

• La recherche bibliographique a-t-elle été exhaustive ?

• L'hypothèse testée par la méta-analyse a-t-elle été formulée avant la collecte des données ?

• Les données ont-elles été extraites par deux lecteurs indépendants ?

• La justesse des données extraites a-t-elle été vérifiée par contact avec les auteurs ?

• Le choix de la méthode d'analyse a-t-il été adéquat ?

• La publication fournit-elle l'ensemble des données extraites qui ont été intégrées dans l'analyse ?

• L'hétérogénéité des résultats a-t-elle été testée ? explorée ?

Connaître les bases de la hiérarchisation des données actuelles de la science

• Niveau de preuve en thérapeutique

– Multidimensionnel (exo : séparer les éléments de validité interne et de

validité externe…)

• Qualité méthodologique des données source

• Multiplicité et concordance des preuves

• Qualité des méthodes de synthèse utilisées

• Pertinence clinique des critères de jugement

• Cohérence entre le résultat de la synthèse et le modèle physiopathologique

et thérapeutique

– L'essai clinique et la synthèse d'essais cliniques par la méta-analyse

constituent les plus haut niveau de preuve

• Niveau de preuve dans les domaines non thérapeutiques

Utiliser les connaissances disponibles pour adapter l'information thérapeutique au profil du patient

• En situation de prévention, sous l'hypothèse du modèle multiplicatif, cette adaptation comporte les étapes suivantes:

– estimer le niveau de risque spontané (Rc) [Épidémiologie]

– estimer le bénéfice relatif moyen (1 - RR) [Méta-analyse]

– vérifier qu'il s'applique à la situation individuelle (recherche

d'interactions?)

– L'interaction est une modification de la quantité d'effet

thérapeutique avec une donnée (caractéristique du patient, durée

du traitement, etc…)

– calculer le bénéfice absolu par

– BA = Rc * BR

– en déduire le nombre de patients à traiter pour prévenir un

accident:

– NPT = 1 / BA

sources

prescripteur = récepteur

intermédiaires

canal indirect

canal direct

divulgation

Modèle élémentaire de l'information thérapeutique

Les sources de plus haute fiabilité pour prescrire le médicament aujourd'hui

• La revue Prescrire (indépendance vis à vis des

industriels du médicament)

• La bibliothèque Cochrane (accès aux

synthèses de qualité des données sources),

mais en anglais, et encore trop peu accessible

pour la pratique

• Avenir : poste informatique d'aide à la

prescription

Utilisation des résultats d’une méta-analyse

• La méta-analyse est-elle plus adaptée qu’un

essai isolé pour répondre à la question de

l’application d’un effet thérapeutique ?

• Deux approches

– Réplication des critères d’inclusion

– Quantification du bénéfice attendu

• Question subsidiaire

– Quel est l’impact de l’absence de représentativité

de la population étudiée sur la validité de

l ’extrapolation des résultats ?

Exemple d'interprétation abusive 1

• Effet des traitements antihypertenseurs sur l'hypertrophie ventriculaire gauche : Schmieder, JAMA, 1996, 275:1507-1513

D IU

B B

C A

IE C

-2 0 ,0 0 % -1 5 ,0 0 % -1 0 ,0 0 % -5 ,0 0 % 0 ,0 0 %

D IU

B B

C A

IE C -13.3%

-9.3%

-5.5%

-6.8%

Exemple d'interprétation abusive 1

• La conclusion des auteurs sur la valeur respective des classes de médicaments est infondée, parce que basée sur – des études non randomisées

– des études non comparatives

– des comparaisons indirectes

Population étudiée

2 groupes statistiquement

similaires

Estimation non biaisée

de l ’effet du traitement

Randomisation

•Suivi en double insu (DI) •Evaluation des critères en DI

•Analyse en ITT

En quoi la majorité des MA sur l ’HVG ne sont pas fiables ?

Les méta-analystes se sont

concentrés sur la régression de

l’HVG seulement sous traitement

= comparaison Avant / Après

Cette approche perd totalement le

bénéfice acquis par la randomisaiton

et un suivi approprié

ILS OBTIENNENT UNE

ESTIMATION CONFONDUE DE

L ’EFFET DU TRAITEMENT





L’EFFET MOYEN DU TRAITEMENT

ENTRE LES ESSAIS



L ’EFFET DU TRAITEMENT ESTIMATION CONFONDUE DE









L ’approche correcte consiste à

grouper les estimations non biaisées

par les phénomènes de confusion


L ’approche correcte consiste à

grouper les estimations non biaisées

par les phénomènes de confusion


de l ’effet du traitement Estimation non biaisée






ESTIMATION NON BIAISEE DE

L’EFFET MOYEN DU TRAITEMENT

ENTRE LES ESSAIS

Messages issus d’une méta-analyse méthodologiquement correcte

• Studies, comparing D, BB, CA and/or ACE inhibitors, suggest

that the reduction of LVM with each of these classes is similar

to the reduction obtained with the other 3 classes statistically

combined

• 4 studies which compared a ACE i and a CA concluded that the

effect on LVM was not significantly different.

• There is evidence, however, that drugs such as minoxidil and

hydralazine, do not reduce left ventricular mass.

• Fagard RH. Neth J Med 1995 Oct;47(4):173-9

Message à retenir sur cet exemple

• La méta-analyse n’est pas un instrument

magique permettant de fabriquer des données

fiables à partir de données non fiables (GIGO)

• La validité interne des données incluses dans la

méta-analyse doit faire l’objet d ’une évaluation

critique soigneuse.

• Rappel: validité interne: adéquation de la

méthode employée pour répondre à une

question donnée.

Exercice d'interprétation The objective of the Beta-Blocker Pooling Project (BBPP) was to determine whether subsets of post-infarction patients benefit to a greater or lesser extent from beta-blocker therapy than the average patient population. One-year all-cause mortality data from nine trials involving 13,679 patients were obtained. Overall, mortality was 24% lower in the beta-blocker group compared to the placebo group. There was heterogeneity among the results of the trials, which tested seven different beta-blockers. Subgroups with high placebo group mortality (e.g. patients with a history of previous myocardial infarction (MI), angina pectoris, mechanical or electrical complications, and digitalis usage) seemed to benefit particularly from beta-blocker treatment. These findings were consistent in the nine trials. There was no evidence that treatment outcome was related to gender, baseline level of heart rate or blood pressure, or time of initiation of treatment after hospital admission.

Exercice d'interprétation

• Beta-blocker Pooling Project : méta-analyse en sous-groupes des essais de prévention secondaire par bêta-bloquants après infarctus du myocarde.

• Hétérogénéité des résultats entre essais ou entre sous-groupes ? – Non significative

• Comment interpréter un tel résultat ? – Preuve que tout les individus ont le même bénéfice ?

– Preuve que tous les bêta-bloquants ont un effet similaire ?

– Preuve d'un effet classe ? • Preuve d'équivalence impossible

• Pas de comparaison directe des bêta-bloquants entre eux

Message à retenir du second exemple

• L’exploration de questions « ancillaires » à

partir des ensembles de données d’essais

cliniques est utile…

– Jeu de données sans pareil pour la mesure de

l ’effet du traitement

• Les réponses obtenues n’ont pas toutes le

même niveau de preuve.

• Typologie des questions soulevées dans une

méta-analyse: quel est le NDP maximal ?

Conclusion

• Les résultats de méta-analyse peuvent être utilisés comme réponse à beaucoup de questions : – Existence d’un effet ?

– Existence de sources de variation d’effet ?

– Test du modèle pour l’extrapolation des résultats ?

– Détermination du moment où un effet significatif a été démontré ?

• Les conditions pour que ces réponses soient fiables et utiles sont : – que les questions soient pertinentes

– que les données analysées soient valides

– que la méthode employée soit adaptée

– qu’elles soient interprétées avec un esprit critique en éveil

Bases méthodologiques de l'évaluation clinique des …€¦ · Quantification Exploration...

Documents

Transcript of Bases méthodologiques de l'évaluation clinique des …€¦ · Quantification Exploration...