Les problématiques liées à la multiplicité des résultats

Les problématiques liées à la multiplicité des résultats

Michel Cucherat

TrialResults-center.org

Multiplicité des résultats

En général plusieurs essais ont été réalisés pour répondre à une même question thérapeutique

Résultats variables voir contradictoires

Nécessité d’une interprétation globale– Pour éviter une sélection des arguments

La réalisation d’une synthèse optimale pose un certain nombre de problèmes– La méta-analyse a été développée pour apporter une réponse

satisfaisante à chacune de ces difficultés

Problèmes liés à la synthèse de l'information

Existence d'un risque d'erreur statistique au niveau des essais

Sélection des essais

Pollution par les études biaisées

Conséquence de la non publication de certains travaux

Sens d'un résultat global, agrégatif

Exemple

Nb de patients

Mortalité grp trt

Mortalité grp contrôle

P

Essai 1 56 6.9% 5.2% NSEssai 2 100 6.0% 2.0% NSEssai 3 395 2.5% 6.5% NSEssai 4 52 4.3% 17.2% NSEssai 5 103 4.2% 3.5% NSEssai 6 301 1.9% 7.3% p<0.05

Résultats concluants - non concluants

Essais concluants– différence significative

– en faveur de l'effet du traitement

– mais risque alpha (conclure à tort à l’efficacité)

Essais non concluants– différence non significative

– ne donnent pas d'argument en faveur de l'effet du traitement

– deux origines

• Réelle absence d’effet du traitement

• manque de puissance (risque beta)

Au total ?

Résultats apparemment discordants– 1 résultats significatifs

– 5 résultats non significatifs

Il est possible de faire deux conclusions opposées– au total, ces résultats sont en faveur de l'efficacité du traitement

– au total, ces résultats ne sont pas en faveur de l'efficacité du traitement

Conclusion en faveur de l'efficacité

S'appuie sur les résultats significatifs– un seul, mais essai parmi les deux plus grands

Les résultats non significatifs– sont expliqués par un manque de puissance car ce sont des essais plus

petits

• (mais essai n°3, le plus grand non significatif )

Conclusion en défaveur de l'efficacité

La majorité des essais sont non significatifs

Un seul essai est significatif– rejeté en argumentant le risque alpha

– Et en plus inflation du risque alpha (6 test au total)

Non prise en compte du manque de puissance des essais non significatifs

Les résultats apparemment discordants sont de règle

Quelle est la probabilité d'obtenir un second essai significatif

après un premier essai – ayant obtenu p=0.049

– et ayant estimé parfaitement le vrai effet du traitement

50%

Réplication d’un essai

H0

Effet

Limite de

rejet de H0

H1

conclusion

On ne peut pas interpréter globalement un ensemble de p-value– En raison des risques statistiques alpha et beta

– Et de la puissance variable des essais

Il faut trouver autre chose

La taille d’effet (risque relatif pe) est à l’abris des risques statistiques

Solution ...

La taille de l'effet est plus informatif que la conclusion binaire significatif / non significatif

T étudié Placebo p RR

Essai A20%

20/10030%

30/100NS 0.67

Essai B20%

200/100030%

300/1000p<0.01 0.67

Solution - 1

Existence de risques d'erreur statistiques alpha et beta au niveau des résultats des essais

Calcul d'un effet traitement commun à partir des données de chaque essai

Synthèse de résultats d'essais thérapeutiques

Revue de la littérature– pas de méthode, subjectif

– correspond parfois à une simple opinion argumentée

– discursif

Fréquence de citation en fonction des résultats

Hypocholestérolémiants, Ravnskov, BMJ 1992

Nombre de citations par an– résultats favorable (n=14) 40

– résultats non favorables (n=10) 7.4

– résultats favorable dans unegrande revue (n=8) 61

Fréquence de citation en fonction des résultats (2)

2 essais publié dans le JAMA

Fréquence de citation dans les années suivant la publication1er 2ème 3éme 4éme

– LRC, favorable 109 121 202 180

– Miettinen, non favorable 6 5 3

Solution - 2

Sélection arbitraire des essais en fonction de leurs résultats

Prise en compte de tous les essais quelle que soit la nature de leur résultat

MA = GIGO

essais biaisés méta-analyse biaisée

Garbagein

Méta-analyse

Garbage out

GIGO conséquence 1

La méta-analyse n'est pas une méthode magique– elle n'améliore pas la qualité des études qu'elle regroupe

p.e. : La méta-analyse d'études d'observation a la valeur des études d'observation

Études potentiellement

biaisées

MA potentiellement

biaisée

Exemple : bêta-carotène et mortalité cardiovasculaire

GIGO - conséquence 2

Une ou des études biaisées biaisent le résultat de la méta-analyse– Effet tampon de la MA: résultat de la MA moins biaisé que celui des

essais biaisés

– détection par les outils de recherche de l'hétérogénéité

Décision prise en fonction de la MA est moins erronée que celle prise uniquement en fonction de/des essais biaisés

Solution - 3

La prise en compte d'essais biaisés qui faussent le résultat de la synthèse

Sélection des essais dont la qualité méthodologique garantit suffisamment

l'absence de biais

Critère méthodologique de sélection des essais non biaisés

Score de

Jadad

Randomisation imprévisible

Double aveugle

satisfaisant

Attrition décrite

Biais de publication

Les essais positifs sont plus facilement publiés que les négatifs

Différence

significative

Différence

non-significative

Publication

Biais de publication

Un essai peut être positif à tort (risque alpha)

Exemple d'un traitement sans efficacité

Risque alpha = 5%

Essais réalisés Essais publiés

E. positifs 5 5

E. négatifs 95 0

Méta-analysenégative

Méta-analysepositive !

Biais de publication (2)

Influence de la significativité des résultats sur la publicationEasterbrook et al., Lancet 1991

285 études soumises au comité d'éthique d'Oxford

Publication ou

présentation

Pas de publication

Résultat significatif 131 (85%) 23 (15%)

Tendance non significative 22 (65%) 12 (35%)

Résultat non-significatif 54 (56%) 43 (44%)

Biais de publicationévaluation

Évaluation de l'influence de la signification des résultats sur l'acceptation d'un manuscrit

d'après Mahoney MJ, Cog Ther Res 1977

(cotation de 0 à 6)

Presentation Methodes contribution

scientifique

mérite pour

publication

Methode seulement 3.4 4.5 3.4

Resultats positifs 4.2 4.3 3.2

Resultats négatifs 2.4 2.4 1.8

Solution - 4

Biais de publication lié à la non publication des résultats négatifs

Recherche exhaustive des essais publiées et non publiés

Difficultés

Danger = regrouper des informations différentes– patients différents

– traitements différents

– des critères différents

– des essais de qualité différente

mélanger des pommes et des oranges

La synthèse de l’information a-t-elle un sens ?

Solution :question précise

Opposition pragmatique - explicatif

Pragmatique Explicatif

Critères larges Critères précis

Effet de la baisse du

cholestérol

Effet des statines

Solution - 5

Sens d'un résultat global

Formulation précise d'une question cliniquement pertinente

Solutions apportées par la MA

Synthèse– répondant à une question précise

Exhaustive– arguments en faveur et en défaveur de l'hypothèse

Quantifiée– prise en compte des problèmes statistiques

– meilleure estimation possible de la taille de l'effet étant donnée la totalité de l’information disponible

Basée sur des résultats non biaisés

Reproductible : méthodologie

Les problématiques liées à la multiplicité des résultats

Health & Medicine

Transcript of Les problématiques liées à la multiplicité des résultats