Analyse, présentation et interprétation des résultats d'une méta-analyse

Michel Cucherat

TrialResults-center.org

Hypothèse - Modèle

Les résultats des essais varient d'un essai à l'autre du fait du hasard

Ces résultats fluctuent de manière aléatoire autours d'une valeur commune

But de la MA : estimer cette valeur commune

Valeur

commune

Vraie valeur - valeur observée

Réalité

(modèle)

vraie valeur valeur observée

Résultat de

l'essai

vrai OR OR observé

fluctuations

aléatoires

vrai ET ET observé

Principe statistique

Le but de la MA est de prendre en compte ces fluctuations dues au hasard (suppression du bruit de fond)

et de fournir une estimation moins sujette à ces variations que l'estimation donnée par un seul essai

Combinaison des effets traitements correcte

T. étudié T. contrôle Effet du traitement

Essai 1 x1/n1 x0/n0

Essai 2 x1/n1 x0/n0

Essai 3 x1/n1 x0/n0

Essai 4 x1/n1 x0/n0

regroupement regroupementEffet

global

Paradoxe de Simpson

Essai T+ T- OR

1 18/60 36/120 1.00

30% 30%

2 84/120 42/60 1.00

70% 70%

Total 102/180 78/180 0.58

56% 43%

Combinaison des effets traitements

T. étudié T. contrôle Effet du traitement

Essai 1 x1 x0 e

Essai 2 x1 x0 e

Essai 3 x1 x0 e

Essai 4 x1 x0 e

Effet

global

Principe fondamental de la méta-analyse

Ne pas regrouper les patients– car les sujets ne sont pas comparables d'un essai à l'autre

Regrouper les estimations de l'effet traitement– en faisant l'hypothèse que le traitement a le même effet dans tous les

essais

hypothèse d'homogénéité

Essai 1

Essai 2

Essai 3

vrai ET

vrai ET

vrai ET

ET observé 1

ET observé 2

ET observé 3

Modèle Résultats

MA vrai ET estimation MA

Modèle fixe

– à partir d'une série d'estimation du même effet traitement

– trouver la meilleure estimation possible du vrai effet traitement1ˆ ˆ

k

ˆi iY

Résultats statistiques

Effet traitement commun

– moyenne pondérée par l'inverse de la variance

– plus un essai est précis,plus sa contribution est forte

– si un essai est prépondérant il masque complément les autres essais

– intervalle de confiance

Test de l'existence de l'effet traitement– test d’association

Test de l'hypothèse d'homogénéité– test d’hétérogénéité ou mesure de l’hétérogénéité

Graphique de méta-analyse

1 . 0 0 . 8 0 . 6 0 . 5 0 . 4 R i s q u e r e l a t i f

C a s / E f f e c t i f s

E v é n e m e n t s c o r o n a r i e n s R i s q u e r e l a t i f , m o d è l e f i x e

T + T -

H e t . C o c h r a n Q p = 0 . 7 0

T o t a l 7 8 7 / 1 7 0 4 3 1 0 3 0 / 1 6 9 4 9 0 . 7 6 1 , p < 0 . 0 0 1

A F C A P S / T e x C A P S 1 6 3 / 3 3 0 4 2 1 5 / 3 3 0 1

W e s t o f S c o t l a n d 1 7 4 / 3 3 0 2 2 4 8 / 3 2 9 3

H H S 5 6 / 2 0 5 1 8 4 / 2 0 3 0

L R C C P P T 1 5 5 / 1 9 0 6 1 8 7 / 1 9 0 0

W H O c l o f i b r a t e 1 8 5 / 5 3 3 1 2 2 2 / 5 2 9 6

C o l e s t i p o l 5 4 / 1 1 4 9 7 4 / 1 1 2 9

in-hospital mortality Risque relatif, modèle fixe (IC 95%)

Essai T. étudié

n/N

T. controle

n/N Graphique RR [IC95%]

Ribichini 0 / 24 0 / 26 1.08 [0.00; 269.25]

Gibbons 2 / 47 2 / 56 1.19 [0.17; 8.14]

PAMI 5 / 195 13 / 200 0.39 [0.14; 1.09]

Grinfeld 5 / 54 6 / 58 0.90 [0.29; 2.76]

Ribeiro 3 / 50 1 / 50 3.00 [0.32; 27.87]

Zwolle 3 / 152 11 / 149 0.27 [0.08; 0.94]

Global p ass=0.07 0.58 [0.32; 1.05]

Het. entre les 6 essais p=0.38 , I2=5% 0.0 5.0 1

A comparison of the analgesic efficacy and side-effects of

paravertebral vs epidural blockade for thoracotomy

British Journal of Anaesthesia 96 (4): 418–26 (2006)

A comparison of the analgesic efficacy and side-effects of

paravertebral vs epidural blockade for thoracotomy

British Journal of Anaesthesia 96 (4): 418–26 (2006)

Calcul (1)

Effectifs Evénements Risques

Essai n1 n0 x1 x0 r1 r0

Essai A 100 100 24 35 0.24 0.35

Essai B 234 242 55 95 0.24 0.39

Essai C 56 34 12 12 0.21 0.35

Essai D 345 500 77 180 0.22 0.36

r1 = x1 / n1

Calcul (2)

Risques

Essai r1 r0 RR d=Log(RR) Var (log RR) w

Essai A 0.22 0.37 0.595 -0.520 0.0525 19.1

Essai B 0.24 0.38 0.634 -0.456 0.0199 50.3

Essai C 0.21 0.38 0.560 -0.579 0.1130 8.9

Essai D 0.21 0.36 0.577 -0.551 0.0145 68.9

RR = r1 / r0

var = 1/x1-1/n1+1/x0-1/n0

w=1/var

147.1

Calcul (3)

Essai d=Log(RR) w d*w

Essai A -0.377 19.9 -7.51

Essai B -0.513 49.3 -25.26

Essai C -0.499 8.4 -4.18

Essai D -0.478 73.3 -35.04

150.8 -71.99

dc -0.48

RRc=Exp(dc) 0.62

var( log RRc) 0.0066

dc = Sd*w / Sw

var( log RRc) = 1 / Sw

Hétérogénéité - graphique

0 0.5 1 1.5 2

Essai 1

Essai 2

Essai 3

Essai 4

Global

Absence d'hétérogénéité

OR0 0.5 1 1.5 2

Essai 1

Essai 2

Essai 3

Essai 4

Essai 5

Global

Hypothèse d'homogénéité

Hypothèse omnibus

– H0 :

Hétérogénéité– rejet de l'hypothèse nulle

– Acceptation de l'hypothèse alternative :

i 21

jijj ,

Hétérogénéité

Sous l'hypothèse d'homogénéité

– vaut en moyenne zéro

Test d'hétérogénéité

– distance pondérée

– nulle en cas d'homogénéité parfaite

– Chi² à k-1 ddl

ii ˆ

ˆˆ i

2

ˆˆ iiwQ

I²

% de la variabilité totale non explicable par le hasard, du à une vraie variabilité de l'effet traitement dans les essais

varie de 0% à 100%

Problème d'extrapolabilité du résultat si I²>70%

Il existe un autre indice important tau 2– Lié au modèle aléatoire

2

2

2max 0, 100%het

het

ddlI

Deux types d’hétérogénéité

Hétérogénéité des caractéristiques des essais

– patients

– traitements

– etc.

Hétérogénéité statistique des résultats– taille de l’effet obtenu différente d’un essai à l’autre

Statut de l'hétérogénéité

Nuisance– utilisation d'un modèle aléatoire

– hypothèse forte sur l'hétérogénéité (gaussienne)

Informative – recherche des sources de l'hétérogénéité

– "explication" de l'hétérogénéité en fonction des caractéristiques des études

– témoin de l'existence d'interactions

– Sous groupe, méta-régression

Modèle aléatoire

Essai 1

Essai 2

Essai 3

vrai ET 1

vrai ET 2

vrai ET 3

ET observé 1

ET observé 2

ET observé 3

Modèle

essaiRésultats

MA estimation MA

Modèle

général

vrai ET

vrai ET

var. intra essaivar. inter essai

var = t2

i

Modèle fixe - aléatoire

Modèle fixe

– modèle simple

Modèle aléatoire– variabilité structurelle de l'effet traitement

– variabilité aléatoire ?

– forme de la distribution ?

– prise en compte d'une certaine hétérogénéité (mais ne l'explique pas)

– diminution de puissance

Analyse en sous groupeanalyse de sensibilité

•essai 1

•essai 2

•essai 3

•essai 4

•essai 5

MA SG 1

MA SG 2

Analyse en sous groupe Analyse de sensibilité

•essai 1

•essai 2

•essai 3

MA n° 1(SG 1)

•essai 1

•essai 2

•essai 3

•essai 4

•essai 5

MA n° 2(SG1 +SG2)

Analyse de sensibilité

étude de l’influence d’un facteur pouvant biaisé la méta-analyse

Analyse en sous groupescomparaison indirecte de l’influence d’un facteur sur l’effet du traitement

Utilisation

bonne

qualité

qualité

moyenne

Duke B

Duke C

bonne

qualité+

Constitution des sous groupes (1)

Essai 1(10 mg)

Essai 2(10 mg)

Essai 3(10 mg)

Essai 4(20 mg)

Essai 5(20 mg)

Sous groupe

10 mg

Sous groupe

20 mg

Constitution des sous groupe (2)

Essai 1<=60 ans

>60 ans

Essai 2<=60 ans

>60 ans

Essai 3<=60 ans

Essai 4>60 ans

Sous groupe

<= 60 ans

Sous groupe

> 60 ans

Méta-régression

ORi=a+b*Xi+ei

difficultés– OR n'est pas distribué normalement

– OR est une variable bornée à gauche par 0

– log(OR) mais interprétation difficile

– en général peu de dispersion des valeurs Xi

solution – analyse en sous groupes

– univarié

Méta-régression - Exemple

Lancet online sept 2005

Retour sur l’hétérogénéité - Tau 2

Variance du vrai effet traitement dans le modèle aléatoire

Meilleure mesure de l’hétérogénéité– Insensible au nombres d’essais

• Contrairement à Q

– Insensible à la taille des essais

• Contrairement au I2

• 1-I2 = pourcentage de variabilité du aux erreurs d’échantillonage

• Quand les essais augmentent en taille 1-I2 diminue I2 tends vers 100%

Utilisation– Prendre tau = racine (tau2)

– Unité de la variable (log RR pe)

– Mesure la pertinence clinique de l’hétérogénéité

CAD devant l’hétérogénéité

Tau2 =0

– Regroupement des résultats

• Avec un modèle fixe ou un modèle aléatoire

Tau2 <>0 mais cliniquement non pertinente– Regroupement des résultats avec un modèle aléatoire

– Recherche de l’explication de l’het. non obligatoire

Tau2 <>0 et mais cliniquement pertinente– Recherche de l’explication de l’het. obligatoire

– Eventuellement regroupement des résultats avec un modèle aléatoire

Logiciels

Meta-analyst

Revman– www.cochrane.org

Macro stata

Comprehensive MA

EasyMA.net– www.spc.univ-lyon1.fr/easyma.net

EasyMA– www.spc.univ-lyon1.fr/~mcu/easyma

Multiplicité des méthodes de calcul

Mesure multiplicative

– Risque relatif

• modèle fixe, variance minimum

• Greenlands et Robins

• modèle aléatoire

– Odds ratio

• modèle fixe, variance minimum

• Mantel-Haenszel (Greenlands et Robins)

• modèle aléatoire

• Peto

• Maximum de vraisemblance

Multiplicité des méthodes de calcul

Mesure additive

– Différence des risques

• modèle fixe, variance minimum

• Greenlands et Robins,

• modèle aléatoire

RECHERCHE D’UN BIAIS DE PUBLICATION

Funnel plot - sans biais de publication

0

100

200

300

400

500

-0.04 -0.02 0 0.02 0.04

Taille de l'effet traitement

Effectif

Funnel plot - avec biais de publication

0

100

200

300

400

500

-0.04 -0.02 0 0.02 0.04

Taille de l'effet traitement

Effectif

Funnel plot of randomised controlled trials comparing topical non-

steroidal anti-inflammatory drugs with placebo (asymmetry P=0.04)Jinying Lin,Weiya Zhang, Adrian Jones, Michael Doherty. Efficacy of topical non-steroidal anti-

inflammatory drugs in the treatment of osteoarthritis: meta-analysis of randomised controlled trials. BMJ,

doi:10.1136/bmj.38159.639028.7C (published 30 July 2004)

Funnel plot des résultats concordants

Egger M BMJ 1996

Funnel plot des résultats discordants

Egger M BMJ 1996

A meta-analysis of the angiotensin-converting enzyme gene polymorphism

and restenosis after percutaneous transluminal coronary revascularization:

Evidence for publication bias.Willem R. P. Agema, MD^J. Wouter Jukema, MD, PhD, FESC, FACC,-*^ Aeiiko H. Zwinderman, PhD,1' and E. E. van der

Wall, MD, PhD, FESC, FACC'1'" Leiden and Utrecht, The Netherlands

Am Heart J 2002; 144:760-8.

Test simple du biais de publication

Log (OR) = a +b *precision

si FP symétrique – b = 0

– a = Log(OR commun)

si FP asymétrique– b <> 0

INTERPRÉTATION – NIVEAU DE PREUVE

Niveau de preuve

Place de la méta-analyse dans la démonstration de l'effet

Effet démontré (plus haut niveau de preuve)– MA concluante sans hétérogénéité

– avec au moins un essai concluant

Effet suggéré– MA concluante sans hétérogénéité

– sans essai concluant

Etidronate for treating and preventing postmenopausal osteoporosis

Cranney A, Welch V, Adachi et al.

Osteoporosis International, 2001

Conclusions raisonnable d’une méta-analyse

Le bénéfice clinique est démontré par au moins un essai concluant, la méta-analyse :

– vérifie la cohérence externe de ce (ces) résultats et permet de démonter définitivement l’efficacité

– permet d’estimer au mieux la taille de l’effet

– permet d’explorer les sous groupes, etc.

Il n’y a pas d’essais concluant, la méta-analyse :

– permet d’explorer si les 1er données disponibles laissent espérer une efficacité

– permet de construire l’essai de confirmation

Dans tous les cas, la méta-analyse permet de faire l’état des lieux de façon objective et performante

Utilisation de la MA en safety

MA montrant un surcroit d’EI

– Intérêt : seule approche à même de détecter un signal en cas d’EI rares

– Limites : multiplicité, post hoc, zéros, recueil de l’information

– À interpréter comme un signal

Essai montrant un surcroit d’EI– MA test la cohérence externe de ce résultat

– Protection contre les résultats du au hasard

Avantages de l’interprétation globale - 3 exemples

1er exemple

Un essai de grande taille (1000 patients) montre bien l’efficacité du traitement

Lancet 2003; 361: 2017–23

2ème exemple

Deux essais

– le premier mené en Europe de l’Est est concluant

– le second réalisé aux US est non concluant

Conclusion– l’effet du traitement n’est pas le même aux US et en Europe

– car les contextes de soins sont différents

3ème exemple

3 essais ont été réalisés pour évaluer le même traitement

ils sont tous négatifs

conclusion : ce traitement n’a pas d’efficacité

MÉTA-ANALYSE EN RÉSEAU

MA en réseau

OBJECTIVE: To summarize the available clinical trial evidence concerning the safety and efficacy of various antihypertensive therapies used as first-line agents and evaluated in terms of major cardiovascular disease end points and all-cause mortality

Psaty BM, Lumley T, Furberg CD, Schellenbaum G, Pahor M, Alderman MH,

Weiss NS.

Health outcomes associated with various antihypertensive therapies used as first-

line agents: a network meta-analysis.

JAMA. 2003 May 21;289(19):2534-44.

PMID: 12759325

Difficultées

Utilisation d’une méthode Bayesienne– introduction d’une information initiale (apriori)

– l’apriori doit être non informatif• normal (mean=0, variance=100) pour les paramètres

• gamma (0·0001, 0·0001) pour les précisions

– le résultat ne soit pas dépendre de l’apriori

Utilisation d’une méthode itérative– test de la convergence

– pour obtenir la convergence il faut souvent mettre un apriori pas trop non-informatif

Effet « boite noire »– Estimation global

– La précision de A vs C dépend de toutes les autres comparaisons du réseaux

Incohérence du réseau

A

C

B

0.4

0.6

D

0.6

0.5

A

C

B

-0.6

-0.4

D

0.5

0.6

A vs B /C = 0.4+0.6=1

A vs B /D = 0.6+0.5=1.1

A vs B /C=-0.6-0.4=-1

A vs B /D = 0.6+0.5=1.1

Mesure de l'effet traitement

Quantification de la taille de l'effet du traitement

Quantité d'effet• mesurée par des indices d'efficacité

Indices – critères binaires

• risque relatif

• odds ratio

• différence des risques

• nombre de sujet nécessaire de traiter

– critères continus

• différence des moyennes

• "effect size"

Mesure de l'effet traitement : Critères binaires

Les plus utilisés

Fréquence de survenu (risque) d'un événement– dans de groupe contrôle R0

– dans le groupe traité R1

Comparaison directe de R0 et R1

– courante

– mais valeur de R0 très sensible

• à la définition du critère

• aux caractéristiques des patients

• aux fluctuations aléatoires (comme R1)

RR = RT / RC

Ev. Effectif Risque

Grp T 45 180 45 / 180 = 0.25

Grp C 56 176 56 / 176 = 0.32

RR = 0.25 / 0.32 = 0.79

Réduction Relative de RisqueRRR = 1 - 0.79 = 21%

Risque Relatif

1effet bénéfique

fréquence sous traitement < fréquence sans traitement

effet délétèrefréquence sous traitement > fréquence sans traitement

0 0.25 0.5 0.75 1 1.25 1.5 1.75 2RR

Risque relatif, interprétation

– RR < 1 (RT < RC)

• le traitement réduit la fréquence de l'événement

• effet bénéfique

– RR > 1 (RT > RC)

• le traitement augmente la fréquence de l'événement

• effet délétère

– RR = 1 (RT = RC)

• le traitement est sans effet

Exemple

Odds ratio

Ev. Effectif Risque

Grp T 45 180 45 / 180 = 0.25

Grp C 56 176 56 / 176 = 0.32

OR = (0.25/(1-0.25) /( 0.32/(1-0.32)) = 0.71

L'odds ratio est une approximation du risque relatif

ORR R

R R

T T

C C

/

/

1

1

Relation entre RR et OR

L’OR n’est proche du RR que si le risque de base est faible (<0.4)

1.0

0.0

0.2

0.4

0.6

0.8

0.00 0.25 0.50 0.75 1.00Risque de base dans le groupe contrôle

Od

ds

-ra

tio

RR=0.8

Mesure de l'effet : Différence des risques

DR = RT - RC

Ev. Effectif Risque

Grp T 45 180 45 / 180 = 0.25

Grp C 56 176 56 / 176 = 0.32

DR = 0.25 - 0.32 = -0.07 = -7%

Absence d’effet DR = 0

Différence des risques - Interprétation

Absence d’effet DR = 0

0

-0.20 -0.15 -0.10 -0.05 0 0.05 0.10 0.15 0.20DR

effet bénéfique

fréquence sous traitement < fréquence sans traitement

effet délétèrefréquence sous traitement > fréquence sans traitement

Mesure de l’effetNombre nécessaire de traiter NNT

NNT = Nb de patients nécessaire de traiter pour éviter UN événement

NNT = 1 / DR1 / 0.07 = 14

Intérêts– signification «clinique»

Limites– personnalise trop le bénéfice

– calcul de l’intervalle de confiance

NNTerreurs d’interprétation

14 sujets à traiter pour éviter 1 événements

sur 14 patients un seul bénéficie du traitement

NNT = Nombre moyen– tous les patients bénéficient un peu du traitement

– en moyenne cela équivaut à un événement évité pour NNT patients traiter

There's a lot of expensive technology. Some of it provides benefit

for only a tiny fraction of patients and at great cost" to everybody

else, Sox says. With breast cancer, for example, 800 women must

be screened for 13 years to prevent a single death.

Application numérique (1)

4S : statine, prévention secondaire

– n = 2223 + 2221

– 11,5% vs 8,2%

– 4,9 ans

WOSCOPS : statine, prévention primaire

– n = 3293 + 3302

– 4,1% vs 3,2%

– 5,4 ans

ISIS 2 : fibrinolyse, IDM

– n = 8595 + 8592

– 12,0% vs 9,2%

– 5 sem.

Application numérique (2)

RR DR NNT

4S 0.71 3.3% 30

WOSCOPS 0.78 0.9% 112

ISIS 2 0.77 2.8% 36

Relation entre Rc et BA

R0=50% R1=25% RR=0.5 DR=25%

R0=1% R1=0.5% RR=0.5 DR=0.5%

R0=10% R1=5% RR=0.5 DR=5%

Bénéfice absolu - relative

Bénéfice absolu

– Différence de risque

– Santé publique

– Conséquence du traitement

Bénéfice relatif– Risque relatif

– Indice "explicatif"

– Efficacité du médicament

BA et durée de suivi

0 5 10 15 20 25 30

t

0

0.2

0.4

0.6

0.8

1

S t

0 5 10 15 20 25 30

t

0

0.02

0.04

0.06

0.08

0.1

DRfig . d

critères quantitatifs