Méthodologies d’analyse des essais cliniques. Recherche clinique … en

dehors des essais cliniques ?

Sylvie Chevret

26 avril 2013

DES Hématologie

Plan

• Introduction : les statistiques(statististiciens) dans les essais cliniques

• Alternatives aux essais cliniques ?

Statistiques

• La statistique est l'art /science de résumer des données

• Mieux encore ... Résumer des données de sorte que les non-statisticiens peuvent comprendre

• Les investigations cliniques impliquent généralement la collecte d'une grande quantité de données

• Mais, à la fin de votre étude, ce que vous voulez vraiment, c'est une réponse– Est-ce que le nouveau traitement est efficace et bien toléré ?

– Les deux groupes comparés sont-ils identiques ou différents ?

– Est-ce le nouveau test est plus précis que l'ancienne méthode?

• L'inférence statistique est la réponse!

Introduction

Avez-vous besoin d'un statisticien dans le cadre de votre recherche clinique?

• Oui !

• Simples raisons: il / elle contribuera à optimiser

– Conception

– Analyse

– Interprétation des résultats

– Conclusions

Introduction

Trouvez un statisticien tôt

• Votre essai ne peut que bénéficier de l'inclusion d'un statisticien !

• Les statisticiens ne peuvent pas sauver un essai mal conçu après l’essai ait commencé …– L’«Ajustement statistique" dans le plan d'analyse ne

fonctionne pas toujours.

– L'ignorance n'est pas le bonheur !• Certains investigateurs cliniques sont formés aux statistiques

• Mais habituellement pas à tous ses aspects!

• Malgré l'envie de choisir un schéma particulier ou une méthode d'analyse, il peut y avoir de meilleures options

Introduction

6

Quelques points de vue sur les statistiques (1)

“Si des statistiques sont nécessaires pour interpréter une expérience, ce n’est pas une bonne expérience.”

Ernest Rutherford

Introduction

7

Quelques points de vue sur les statistiques (2)

“Appeler un statisticien après que l’expérience est terminée c’est comme lui demander de faire une autopsie; il pourra seulement déterminer la cause de l’échec de l’expérience.”

Sir Ronald Fisher

Introduction

8

Etudes cliniques

• Une expérimentation est une suite d’observations réalisées sous certaines conditions par un scientifique

• Un essai clinique est une expérimentation qui a pour but de tester des traitements sur des humains

– sous contrôle des facteurs pouvant contribuer à la variabilité, biais, application des traitements, mesure du devenir et analyse

Introduction

9

Historique (1)

• « Essais cliniques »– XVIIIème siècle

• J. Lind (1726 - 1794) : traitement du scorbut (12 pts/groupe) 1753

• Pierre Louis (1787-1872) : saignées et phtisie

– XIXème siècle • application des méthodes expérimentales aux études

cliniques (Bichat, Cl. Bernard, Wirchow).

• Apparition du placebo

• Comparaison « contrôlée » : Semmelweiss (Fièvre puerpérale), Snow (Choléra)

• Importance de la comparaison clinique…..

Introduction

Département de Biostatistique et Informatique Médicale –ERM321 INSERM

10

Historique (2)

• 1898 : Fibiger ; 1er ETR diphtérie? (méthode randomisation ?)

• Début XXème siècle : « the great American Fraud » (1912, interdiction information erronée)

• 1928 : Premiers groupes coopérateurs (USA)

• 1935 : R. Fisher ; Randomisation

• 1937 : MRC, therapeutic trial committee (1948 : MRC strepto-BK = 1er ETR)

Introduction

Département de Biostatistique et Informatique Médicale –ERM321 INSERM

11

CONTRE POURFort FortFaible

Essai randomisé Essai randomisé

Séries chronologiques Séries chronologiques

Essais non randomisés Essais non randomisés

Cohortes Cohortes

Cas-témoins Cas-témoins

Prévalence Prévalence

Séries de cas Séries de cas

Case report

La causalité

Introduction

Choix du schéma expérimental : Existe-t-il une alternative aux essais

randomisés ?

L’Essai Thérapeutique Randomisé

– Proposé par Sir Ronald Fisher

– Devenu le Gold standard pour évaluer l’efficacité d’un traitement

• Idéalement, contre placebo, en double aveugle

– Voire « en triple » aveugle (en incluant selon les cas le pharmacien ou le statisticien)

ETR

Essai thérapeutique randomisé

• Les ETR sont des plans expérimentaux dans lesquels l’attribution du traitement expérimental vs. contrôle (placebo ou traitement actif) est déterminée par randomisation

• Ils ont été conçus pour estimer l’effet causal du traitement

– La randomisation garantissant « l’échangeabilité » entre les groupes

– Ils sont considérés comme le gold-standard dans cet objectif

ETR

Pourquoi?

… Retour sur la « causalité »

• Pour chaque individu, on suppose l’existence de 2 devenirs potentiels (« contrefactuels »)– Y0 : devenir si le sujet ne reçoit pas le (nouveau) traitement– Y1 : devenir si le sujet avait reçu le (nouveau) traitement

• Avant l’attribution du traitement, tous les deux peuvent être observés– Après attribution du traitement, on peut observer pour

chaque sujet l’un ou l’autre des devenirs, mais pas les deux …

ETR

Effet causal

• Définition : ∆∆∆∆ = Y1-Y0

• On ne peut observer simultanément les deux devenirs … • On observe

y = Y0 si non traité y = Y1 si traitéy=Y0(1-T) + Y1 T

Distinguer « association » et « causalité »

L’enjeu des méthodes (d’inférence) statistiques sur les effets d’un traitement est donc d’estimer un « contrefactuel »

(le devenir du malade avec le traitement qu’il n’a pas reçu)Celui-ci dépend du mécanisme d’attribution des traitements

ETR

• L’attribution du traitement peutêtre dépendante des caractéristiques ou de préférences des malades : biaisbiaisbiaisbiaisde de de de causalitécausalitécausalitécausalité

• Les sujets traités peuvent différersystématiquement des sujets non traités :::: biaisbiaisbiaisbiais de de de de sélectionsélectionsélectionsélection

– Tous à l’origine d’un potentielbiais d’estimation de l’effet du traitement

• Biais de causalité (« counfonding by indication »)

vs. Facteurs de confusion

Traitement

Covariables

Critère

Effet causal

ETR

Estimateur naïf de ∆∆∆∆ = Y1-Y0

= Différence entre groupes traité et non traité

•Mais pour estimer l’effet causal du traitement

• « Echangeabilité » des groupes

• Le devenir des sujets non traités doit être représentatif du devenir qu’auraient eu les sujets traités s’ils n’avaient pas été traités !

ETR

Echangeabilité

L’idéal : ETR • Les individus sont affectés aléatoirement entre deux groupes de traitement

• En moyenne, les sujets traités et non traités sont identiques • La randomisation permet l’équilibre de répartition des covariables initiales, mesurées ou

non, entre les deux groupes de traitement

Donc le traitement T ne dépend pas des devenirs potentiels

• Le groupe contrôle est représentatif du groupe traité s’il n’avait pas reçu le

traitement

►►►►sinon (si sinon (si sinon (si sinon (si Biais de sélection) : les traités n’ont a priori pas le même devenir que les non traités, donc pas d’estimation causale directe possible

ETR

Inférence causale des ETR

Si Echangeabilité

= Tous les sujets ont la même probabilité d’être dans l’un oul’autre bras (schéma standard à 2 bras équilibrés)

– L’effet (causal) du traitement est déterminé en comparant les devenirs observés chez des sujets ayant la même probabilitéde recevoir le traitement

• Tout étant égal par ailleurs, la seule différence pouvant causer la différence sur le critère de jugement est l’exposition au traitement

ETR

Limites des ETR (1)

• Validité interne ?

– Capacité de l’étude à produire des résultatspouvant être attribuables à l’intervention étudiéeplutôt qu’à des biais ou à d’autres phénomènes

Nécessité du contrôle des différentes sources de biais

ETR

Comment contrôler les différentes sources de biais ?

• Mêmes procédures appliquées dans les deux groupes (« biais de suivi »)

• Même évaluation du critère dans les deux groupes (« biais d’évaluation ») : intérêts du double aveugle

• Conserver tous les patients inclus dans l’analyse dite « en intention de traiter » (sinon, introduction d’un « biais

d’attrition »)

ETR

Biais de sélection

Biais de suivi

Randomisation

Double aveugle

E

C

Comparabilité des groupes

Randomisation

Biais d’attrition

ITT

Analyse du critère de jugement principal

Biais d’évaluation

Double aveugle

Maintient de la comparabilité

ETR

Limites(critiques) des ETR (2)

• Validité externe ?– Capacité de l’étude à produire des résultats

généralisables à d’autres populations ou à d’autres situations que celle qui est étudiée

ETR

– Difficultés de généralisation des résultats

• Faible représentativité des malades à inclure ou des investigateurs

Exemple : chirurgiens très expérimentés

• Mesure indissociable de l’effet « propre » du traitement et des effets liés à l’expérimentation (effet Hawthorne, notamment)

– Eclairage et productivité (1930)

►Amélioration liée à l’attention portée aux ouvriers et non pas à l’éclairage

ETR

Limites(critiques) des ETR (3)

• Difficultés pratiques pour des raisons

– d’éthique• Exemple : problème du consentement ‘libre’ dans les

situations de stress ou d’urgence

– de coûtD’autant plus que les bénéfices escomptés sont faibles (car le nombre de sujets inclus pour répondre à l’objectif est très élevé)

– de faisabilité• Exemple : comparaison de deux techniques de nature

différente (médical versus chirurgical)

…

ETR

Ainsi …

• Les travaux de Fisher concernaient l’agronomie

• mais … le maïs

– ne pose pas de question éthique ou de faisabilité quant à la randomisation

– …

ETR

Questions éthiques

• Essais justifiés sur la seule clause d’« incertitude » (equipoise) pour le patient

– Rationnel scientifique

ETR

Questions éthiques

BMJ 1998;317:1209-1212The ethics of randomised controlled trials from the perspectives of patients, the public, and healthcare professionals. Sarah J L Edwards, R J Lilford, J Hewison

« It has been argued that participants may be called to sacrifice their own best interests for the benefit of future patients. »

ETR

Questions d’ … incertitude !

• Notamment, en termes de bénéfice attendu du nouveau traitement

• Exemple : évaluation de l’autogreffe de cellules souches

dans la Leucémie Lymphoïde Chronique

– Sondage auprès d’un panel d’experts sur le bénéfice attendu de l’AG

sur le % de survie à 2 ans

ETR

Statistiques pour les Hématologues 31

• Implications de l’imprécision sur ∆ ∆ ∆ ∆ sur le calcul du nombre de

sujets

823

214

99 57 37 260

100200300400500600700800900

Nombre par groupe

5% 10% 15% 20% 25% 30%∆∆∆∆

25ème percentile 75ème percentile

médiane

ETR

Questions de coût/faisabilité

• Notamment, en termes de nombre de malades à inclure et donc de temps

– Notamment quand les bénéfices attendus du nouveau traitement sont peu importants, la maladie et les événements rares

• Exemple : Bénéfices en termes de survie dans les LAL de l’enfant

ETR

Quelle alternative aux ETR ?

• Première question : définir ce qui est ciblé dans le choix !

• Alternative(s) ?

– Au dogme

– À la randomisation=au tirage au sort

– À l’essai randomisé

Alternatives ETR

Quelle alternative aux ETR ? (1)

Alternatives au dogme

• Méthodes : Très nombreuses – 1980s : Essais séquentiels

– 2000s, proposition de «Tracker Trials»*• Protocoles flexibles (dits aussi « adaptatifs »)

• En termes de durée ou effectif

• Mais aussi de critères de jugement …

• Basés sur des méthodes statistiques d’analyses intermédiaires (notamment bayesiennes)

– perte de puissance (à n fixe)

• Exemple : Phase II randomisés– « Métatrials », ou « keep the winner » ou « pick the winner »

– permettant de tester simultanément des (jusque 5 à 6) nouvelles molécules

* BMJ 2000;320:43-46 Trials and fast changing technologies: the case for tracker studiesRichard J Lilford, David A Braunholtz, Roger Greenhalgh, Sarah J L Edwards

Alternatives ETR

Quelle alternative aux ETR ?(2) Alternatives au tirage au sort des patients

• Choisir une autre unité d’observation : Le cluster– Résout les limites de faisabilité et de « contamination »

quant au niveau d’application de l’intervention• Interventions sur les médecins/équipes soignantes

– Au prix d’une augmentation du coût (baisse de puissance)

* Donner A, Klar N. Design and Analysis of Cluster Randomization Trials in Health Research. London: Arnold; 2000

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

0.1 80

0.2 79 80

0.3 77 79 80

0.4 75 78 80 80

0.5 71 76 79 80 80

0.6 66 73 77 79 80 80

0.7 60 69 74 77 79 80 80

0.8 52 63 70 74 77 78 80 80

0.9 42 56 64 70 73 76 78 79 80

Proportion

de patients

Inclus par les

« gros »

clusters

Proportion de « gros »

clusters

Alternatives ETR

Quelle alternative aux ETR ?(3) Alternatives au tirage au sort du traitement

• « Randomized Encouragement Designs »

– Plutôt que de tirer au sort le traitement, on randomise « l’encouragement » à l’appliquer

– Suppose

• L’encouragement ne doit pas avoir d’effets « pervers » (ne doit pas diminuer la probabilité de recevoir l’intervention)

• L’encouragement n’a pas d’effet sur le résultat, en dehors d’augmenter la probabilité de recevoir l’intervention

• Intérêts dans l’évaluation des stratégies de prévention

• Exemples

– Mc Donald 1992 : Randomisation de médecins entre l’encouragement à vacciner contre la grippe

Alternatives ETR

Quelle alternative aux ETR ?(4) Alternatives au tirage au sort équilibré

• But = optimiser le nombre de sujets recevant le traitement le plus efficace

… au vu des observations : « Play the Winner »

… a priori (expérimental) : « Stepped wedge trial design »

- Perte de puissance

- Problèmes de FAISABILITE +++

Alternatives ETR

• Etudes non interventionnelles, dites « d’observation »– L’attribution du traitement n’est plus aléatoire– Longtemps seuls compléments à l’essai randomisé mais

apparaissent également comme des alternatives possibles

Ravaud Y a-t-il des réponses méthodologiques aux contraintes éthiques. In : Droit à la connaissance, respect des personnes et recherche clinique Dreyfuss D, Lemaire F, Outin HD, Rameux S eds Flammarion/Médecine Sciences,

Paris 2001 ; 31-41

Quelle alternative aux ETR ?(5) Alternatives à l’essai randomisé

Alternatives ETR

Etudes observationnelles ?

• Intérêt : Reflet de la « vraie vie »

– « population-based » …

• Limite : Pas de contrôle des biais d’indication/de sélection

– une différence observée entre les patients traités et non traités peut être liée non pas au choix thérapeutique mais aux raisons de ce choix (biais d'indication, ou plus largement biais de sélection)

►« ne permettent pas de conclure en termes de causalité »

Etudes Observation

40

Donc … différence après traitement entre groupes ≠ effet traitement

différences de

prise en charge

AVANT APRES

contrôle

expérimental

Effet traitement

différences initiales Biais

d’estimation

Etudes Observation

→ Soulèvent un problème de validité interne du fait de potentiels biais de sélection +++

→ Développement de méthodes statistiques

d’analyse appropriées pour corriger ces biais

Etudes Observation

Comment corriger ces biais de sélection ?

– Historiquement, • Modèles de régression : utilisés pour estimer des effets traitement

conditionnels aux variables pronostiques (régression logistique ou modèle de Cox).

– Plus récemment • Modélisation de la relation entre les caractéristiques du patient et

l’attribution d’un traitement

– « score de propension »

Etudes Observation

Objectif des méthodes basées sur le PS

• L’objectif est de mimer un ETR, au moins en termes de covariables de confusion mesurées

• Comment ?

– en créant des groupes (traité, contrôle) qui se ressemblent comme s’ils avaient été constitués par tirage au sort

– Ils ont les mêmes distributions de ces covariables

Etudes Observation

Score de propension• Rosenbaum et Rubin (1983)

• Parfois appelée en français « méthode de la probabilité prédite »

• Le score de propension est la probabilité pour un individu de recevoir un traitement connaissant ses caractéristiques

Pr(Tr=1|X1,X2,…,Xn)

• Dans un ETR à 2 bras équilibrés, le PS est égal à 0.5 pour tous les inclus

Score Propension

Propriétés du score de propension

• La propriété principale du PS est d’équilibrer les covariablesobservées entre groupes traité et non traité– Dans des strates homogènes en termes de PS, l’attribution du

traitement est indépendante des covariables mesurées à l’inclusion : c’est un score d’équilibre

– À l’intérieur de ces strates, l’attribution du traitement est aléatoire

• Ainsi, conditionner sur le PS permet une estimation non biaisée de l’effet traitement

⇒ Véritable engouement pour ces méthodes

Score Propension

Recherche pubmed

3080 références

• 2780 en langue anglaise� 1550 (56%) in 5 main areas

• 514 Cardiac & Cardiovascular

• 357 Economics

• 242 Public environmental

• 224 Surgery

• 213 Statistics & Probability

1980 1985 1990 1995 2000 2005 2010

050

010

0020

00

Année

0 100 200 300 400 500 600

CARDIAC and CARDIOVASCULAR…

SOCIAL SCIENCES, MATHEMATICAL…

CRITICAL CARE MEDICINE

ENDOCRINOLOGY and METABOLISM

SOCIAL SCIENCES, INTERDISCIPLINARY

INDUSTRIAL RELATIONS and LABOR

BIOTECHNOLOGY and APPLIED…

BIOCHEMICAL RESEARCH METHODS

EMERGENCY MEDICINE

ECOLOGY

PRIMARY HEALTH CARE

EDUCATION, SCIENTIFIC DISCIPLINES

CHEMISTRY, MULTIDISCIPLINARY

AGRONOMY

MATHEMATICS

Score Propension

Principes

• La propension à bénéficier d’un traitement est définie comme la probabilité pour un patient de se trouver dans le groupe traité en fonction de ses caractéristiques

– L’analyse de propension consiste à tenir compte, dans l’analyse de la relation entre un traitement et l’évolution des patients, de cette probabilité d’avoir été traité

– Cette analyse repose sur l’idée que si l’on tient compte, dans l’estimation de l’effet du traitement, de cette probabilité d’avoir été traité, on se met en situation ‘quasi-expérimentale’ (d’ETR)

Score Propension

3 étapes

1. Sélectionner les variables initiales associées au devenir (facteur pronostique) et au choix du traitement

A Y

VFacteurs de confusionvs. Biais de causalité

(« counfonding by indication »)

Score Propension

2. Prédire la probabilité d’être dans le groupe de traitement T

– À partir des variables sélectionnées à l’étape 1, combinées dans un score (« propensity score »)

• Estimation par régression logistique

• Intérêt : comparer des patients qui ont la même probabilité d’avoir reçu le traitement à l’étude

Score Propension

3. Étudier la relation entre le traitement et le critère de jugement (mesurant l’évolution)

• Trois (quatre) méthodes utilisées :– Ajustement– Stratification– Appariement– Pondération inverse (inverse propensity score-based

weighting, IPTW)

BUT = obtenir une distribution en moyenne identique des covariables entre les groupes de traitement

Score Propension

Hypothèses

• Trois hypothèses1. Conditionnellement aux covariables, chaque sujet a la

même probabilité d’être traité

2. Toutes les variables de « confusion » sont observées (la plus difficile à évaluer)

3. Indépendance conditionnelle de l’attribution du traitement et des devenirs

1+3 ⇒ Chaque sujet a une probabilité positive (non nulle) de recevoir le traitement

Rosenbaum and Rubin, 1983

Score Propension

Ex : Appariement sur le ps

• Avant appariement

Score Propension

• Après appariement

Score Propension

Représenter les déséquilibres entre groupes avant et après appariement

Score Propension

Remarques (1)

• Les deux approches recommandées comme minimisant les biais sont

– Appariement

– Pondération inverse

– Le choix entre les deux méthodes devrait être dicté par la quantité d’intérêt à estimer

*

Score Propension

Effets estimés différents

• la pondération inverse permet d’estimer l’ATE, ie l’effet moyenpour la population

∆ATE= E(Y1-Y0)

« quel serait l’effet moyen si le traitement était étendu à l’ensemble de la population ? »

• alors que l’appariement sur le PS permet d’estimer l’ATT

ie, l’effet moyen pour les traités

∆ATT= E(Y1-Y0, sachant T=1)« quel est l’impact du traitement pour les sujets qui l’ont reçu ? »

Score Propension

Remarques (2)

• Limites : question posée et choix de population cible ?

– Situations « déterministes » des sujets non exposés (eg, sujets avec contre-indications, …) habituellement non repérés par un ajustement traditionnel

• Identifier zones de « non recouvrement »

Score Propension

Conclusions

• L’ensemble des alternatives proposées à l’essai clinique randomisé nécessite (encore) l’aide de statisticiens

– une bonne connaissance des techniques d’analyse statistique

– et surtout des fondements mathématiques justifiant ces plans expérimentaux

Score Propension