Fraude et recherche clinique Hervé Maisonneuve

Professeur associé, santé publique

9 mars 2017, Cordeliers, Paris

www.redactionmedicale.fr

Valeurs de la formation Les réponses ne sont pas toujours bonnes

Il n’y a pas de questions stupides

Pas trop de discours magistraux

On va essayer de tout faire

Nous devrions dire ce que l’on pense sans aggression

Chaque critique est accompagnée d’une suggestion pour faire mieux

Personne ne monopolise la parole

Tout le monde contribue

Tous enseignent, tous apprennent

Se faire plaisir avant tout

Fraude en recherche clinique mars 2017 2

Liens d’intérêts

• Rédacteur de www.redactionmedicale.fr

• Rédacteur adjoint de

• Consultant en rédaction et en formation professionnelle

• Membre commission HAS sur la qualité des revues (2010-2013)

• Conseil scientifique de l’Institut international de recherche et d’action sur le plagiat et la fraude académiques (Genève)

• Auteur de ‘La rédaction médicale’, Doin, 2010

• Rédacteur de ‘Science Editors’ Handbook’, EASE 2013

Fraude en recherche clinique mars 2017 3

Avertissement •La plupart des chercheurs sont honnêtes • La plupart des chercheurs sont honnêtes

• Les fraudes sont médiatisées mais très rares

• Les limites de l’intégrité scientifique sont difficiles à percevoir

Fraude en recherche clinique mars 2017 4

J Cruz : suicide en 2005… co-auteurs ?

• Minoja: It was a pleasure for me to be included along the authors of the papers written by Julio Cruz on the use of high doses of mannitol in head trauma emergencies. My Unit and I did not provide to Dr. Cruz a personal series of randomized patients, but my contribution was discussing with him and sharing his assumption, because occasionally, in emergency situations, I have used and I still use with success aggressive high-dose mannitol approach.

• Okuchi: “Since I did not conduct any study related to the results of Dr Cruz’s high-dose mannitol trials in Japan, I have no data to present you. I did not know any part of the paper before he called me about the acceptance in the journal every time”

Fraude en recherche clinique mars 2017 5

J Cruz : suicide en 2005… co-auteurs ?

• Facco : The paper I am co-author, springs from the clinical experience I shared with Julio Cruz about the potential effectiveness of high doses of mannitol in selected very critical patients. I discussed with him (mainly by phone) about my anecdotal experience I never had the opportunity to check in a prospective study, and he also had the same clinical impression of its effectiveness ... Following our discussion, he decided to test high mannitol doses in the emergency setting and involved me as co-author, but my role was ‘philosophical’ rather than clinical: to my knowledge, the study was conducted personally by Julio, probably in Brazil, and I only helped him with discussion and text revision”

Fraude en recherche clinique mars 2017 6

Le courage des co-auteurs !

• Later that month (27 October 2006), Dr Facco wrote on behalf of Dr Minoja and Dr Okuchi. He said that they did not believe that they were gift authors and declined to seek retraction. He argued that the papers were published in an international peer reviewed journal, that the first author had taken responsibility for their content, and that they knew the first author well and believed that “he would never have been able to do something false.”

Fraude en recherche clinique mars 2017 7

Un autre exemple, BMJ 2007, 334 (27 février)

Fraude en recherche clinique mars 2017 8

De Darsee à Boldt (et Fujii)

• John Darsee : 82 articles rétractés

• Années 80s

• Emory University puis Harvard

• Cardio puis réanimation

• A continué à exercer

• A expliqué la naïveté des co-auteurs

• Joachim Boldt : 88 articles rétractés 2011/2012

• Années 2000

• Heidelberg, Allemagne

• Anesthésie -réanimation puis STOP

• Action de 16 rédacteurs de revues

• Investigations en cours

• Prison ? Fraude en recherche clinique mars 2017 9

Fraude en anesthésie: environ 300 rétractations pour S Reuben, J Boldt, Y Fujii

Fraude en recherche clinique mars 2017 10

Les connaissez-vous ?

Fraude en recherche clinique mars 2017 11

Les connaissez-vous ?

Fraude en recherche clinique mars 2017 12

Scott Reuben Joachim Boldt Yoshitaka Fujii

Fraude en recherche clinique mars 2017 13

Fraude en recherche clinique mars 2017 14 JAMA 2013;309:723-724.

J Boldt : combien de morts ?

Fraude en recherche clinique mars 2017 15

JAMA 20 février 2013

Méta-analyses avec et sans les publications de Boldt

Fraude en recherche clinique mars 2017 16

Fujii : une communauté très complaisante

• 2001, Anesthesia & Analgesia : Kranke et al ‘Reported data on granisetron and postoperative nausea and vomiting by Fujii et al are incredibly nice!’

• 2002 et 2005 : PONV guidelines

• Méta-analyses

• 2011 : Can J Anesthesia alerte l’université japonaise Toho

• 2012 : rétractation de 183 articles

Fraude en recherche clinique mars 2017 17

Fraude en science : je vous écoute ! • Est-ce que la fraude existe ? Fréquence ?

• Comment définir la fraude ?

• Quelle est la définition des pratiques discutables en recherche ?

• Pourquoi des chercheurs fraudent ?

• Où commence la fraude ?

• Personnalité des fraudeurs ?

• Comment découvrir la fraude ?

• La vie brisée des lanceurs d’alerte ?

Fraude en recherche clinique mars 2017 18

Définition des mauvaises pratiques

• Research Misconduct: FFP aux USA

Fabrication

Falsification

Plagiarism ORI, COPE, WAME, ICMJE, etc… Office of research integrity, Committee on publication ethics, World association of medical editors; International committee of medical journal editors…

19 Fraude en recherche clinique mars 2017

Les pratiques discutables en recherche • FFP pour Fabrication, Falsification, Plagiat

• La fraude est très rare, mais médiatisée

• Depuis 20 ans, et surtout 5 ans, prise de conscience de l’existence des QRP ou Questionable Research Practices

• Zone grise ‘proche’ des bonnes pratiques de recherche

• Les QRP sont des actions qui violent les valeurs traditionnelles de l’entreprise de recherche et qui peuvent porter atteintes à la recherche. Ces comportements sont en désaccord avec les normes définies à partir d’un comportement moyen, ou du comportement idéal.

Fraude en recherche clinique mars 2017 20

Pression sur les chercheurs

• Publish or Perish ; Publish and Perish ; Publish early and dirty

• Les carrières et les allocations de ressources en partie basées sur les publications depuis les années 80s

Frauder en science : très petit risque pour des avantages importants

Fraude en recherche clinique mars 2017 21

Le Vioxx • Anti-inflammatoire retiré du marché le 30/09/2004

• Lors des procès, le tribunal a : • exposé la stratégie de rédaction des publications par des auteurs fantômes,

• montré qu’un essai avait été publié sur 6 mois (efficacité versus naproxen) alors que le protocole était fait sur un critère à 12 mois,

• a expliqué que les résultats à 12 mois étaient connus lors de la publication.

• Les rédacteurs des revues prestigieuses ont immédiatemment décidé de ne publier des essais cliniques que si le protocole était disponible pour les reviewers et rédacteurs.

• Les instructions aux auteurs ont exigé les protocoles dès 2004.

Fraude en recherche clinique mars 2017 22

• 10 revues de médecine

• 10 revues de chirurgie

• 327 essais randomisés de chirurgie ont été publiés (2007 / 2012)

• 152 des essais avaient un protocole enregistré avant la fin de l’essai

• 48 protocoles ont été exclus de l’analyse car écrits après la publication

Janvier 2013, pages 1-6

Fraude en recherche clinique mars 2017 23

Fraude en recherche clinique mars 2017 24

Comparaison des informations entre le protocole et l’article publié • Analyse faite à partir de 152 protocoles enregistrés avant la fin de l’essai

Fraude en recherche clinique mars 2017 25

Fraude en recherche clinique mars 2017 26

Présence du critère sur 152 articles % N

Critère principal de jugement du protocole a été omis dans l’article

Critère principal de jugement dans l’article n’était pas dans le protocole

Variations du critère principal pour favoriser un résultat statistiquement significatif

Critère principal de jugement dans l’article était un critère secondaire du protocole

Mesure du critère de jugement principal dans l’article n’a pas été faite au moment décrit dans le protocole

Critère principal de jugement du protocole était un critère secondaire dans l’article

Fraude en recherche clinique mars 2017 27

Présence du critère sur 152 articles % N

Critère principal de jugement du protocole a été omis dans l’article

21,1 32

Critère principal de jugement dans l’article n’était pas dans le protocole

15,8 24

Variations du critère principal pour favoriser un résultat statistiquement significatif

13,8 21

Critère principal de jugement dans l’article était un critère secondaire du protocole

9,2 14

Mesure du critère de jugement principal dans l’article n’a pas été faite au moment décrit dans le protocole

5,9 9

Critère principal de jugement du protocole était un critère secondaire dans l’article

5,3 8

• 327 publications d’essais randomisés de chirurgie (2007 à 2012) ont été analysées ; seuls 152 protocoles étaient disponibles, et avaient été enregistrés avant la fin de l’essai

• 75 / 152 (49 %) « ont montré des preuves de divergences entre les critères de jugement des protocoles enregistrés, et ceux décrits dans les publications, le plus souvent il s’agissait de l’omission ou de l’introduction du critère de jugement principal »

Fraude en recherche clinique mars 2017 28 Janvier 2013, pages 1-6

Embellissement en chirurgie ?

Alerter les revues The COMPare project takes a new approach. We are monitoring all trials published in the top five medical journals (NEJM, JAMA, The Lancet, Annals of Internal Medicine, BMJ). We are analysing each trial for outcome switching, by comparing the clinical trials registry and trial protocol with the trial report. For any trial where we find that outcomes have been switched, we are writing letters to the journal to correct the record. All of our results will also be posted here.

Fraude en recherche clinique mars 2017 29

http://compare-trials.org/

www.compare-trials.org

Fraude en recherche clinique mars 2017 30

Randomized trials Oct 2015 - Feb 2016

67 Trials checked

? Trials were

perfect

? Outcomes not

reported

? New outcomes silently added

? Letters sent

? Letters

published

? Letters

unpublished after 4 weeks

? Letters rejected

by editor

www.compare-trials.org

Fraude en recherche clinique mars 2017 31

Randomized trials Oct 2015 - Feb 2016

Lettres envoyées aux revues : exemple There was one pre-specified primary outcome, which was reported incorrectly as a secondary outcome in the main paper. In addition, the paper reports 5 “primary outcomes” that were not pre-specified, without flagging them as such. There was also 1 pre-specified secondary outcome, which is not reported anywhere in the publication. In addition, the paper reports 9 new secondary outcomes, which were not pre-specified, without flagging them as such.

Annals of Internal Medicine has endorsed the CONSORT guidelines [3] on best practice in trial reporting. In order to reduce the risk of selective outcome reporting, CONSORT includes a commitment that all pre-specified primary and secondary outcomes should be reported; and that, where new outcomes are reported, it should be made clear that these were added at a later date, with an explanation of when and for what reason.

Fraude en recherche clinique mars 2017 32

https://docs.google.com/document/d/13rfaG2bfiOftob9XfnsT2SNycMGP1KonOqWslmfibRA/edit

Fraude en recherche clinique mars 2017 33

http://www.theatlantic.com/health/archive/2012/04/oops-wrong-cancer-how-contaminated-cell-lines-produce-bad-research/256246/

The Atlantic 23 avril 2012

2010;127:1-8

Fraude en recherche clinique mars 2017 34 http://retractionwatch.com/2015/12/08/hela-is-the-tip-of-the-contamination-iceberg-guest-post-from-cell-culture-scientist/

Gross manipulation of blots.

Rossner M, Yamada K. JCB 2004;166:11-15

© 2004 Rockefeller University Press Fraude en recherche clinique mars 2017 35

Publications trompeuses

Perrin S. Make mouse studies work. Nature 2014;507:423-425. Fraude en recherche clinique mars 2017 36

Fraude en recherche clinique mars 2017 37

2008, 12 numéros de 3 revues, 3627 p

Fraude en recherche clinique mars 2017 38

Larry Wasserman https://normaldeviate.wordpress.com/2012/08/16/p-values-gone-wild-and-multiscale-madness/

Nature, 20 May 2016

Fraude en recherche clinique mars 2017 39

Reproductibilité

Un autre chercheur utilisant les mêmes

méthodes obtient des résultats similaires

et peut en tirer les mêmes conclusions

1576 answers

Have you failed to reproduce an experiment?

Fraude en recherche clinique mars 2017 40 http://www.nature.com/polopoly_fs/1.19970!/menu/main/topColumns/topLeftColumn/pdf/533452a.pdf

What factors contribute to irreproducible research?

Fraude en recherche clinique mars 2017 41 http://www.nature.com/polopoly_fs/1.19970!/menu/main/topColumns/topLeftColumn/pdf/533452a.pdf

Fraude en recherche clinique mars 2017 42

http://www.larevuedu

praticien.fr/node/36544

Une science lente !

• http://www.nature.com/news/the-pressure-to-publish-pushes-down-quality-1.19887

Fraude en recherche clinique mars 2017 43

JAMA Intern Med online February 9, 2015

Fraude en recherche clinique mars 2017 44

FDA : inspection des essais

• Nombreuses inspections : 644 en 2013

• 2 % étaient de OAI « Official Action Indicated »

• Autres agences font des inspections

• Pas de mécanismes pour communiquer les résultats

• JAMA Intern Med : analyse des violations sévères

Fraude en recherche clinique mars 2017 45

FDA : 101 essais OAI, 57 inclus dans l’étude • 1 janvier 1998 au 30 septembre 2013

• Accès aux documents publiés, inclusion de 57 essais avec problèmes sévères

Fraude en recherche clinique mars 2017 46

Nb d’essais

Raison OAI Official Action Indicated

22 Falsification ou soumission d’informations fausses

14 Problèmes d’effets indésirables non rapportés

42 Violation de protocole

35 Archivage inadéquat

30 Défaut de protection des patients ou problèmes de consentement

20 Autres violations

Pas de corrections de la littérature

• 3 (4 %) des 78 publications mentionnaient les constatations des inspections

• La correction de la littérature est possible • Ni corrections

• Ni rétractations

• Ni ‘expression of concern’

• 59 des 78 articles : l’inspection était terminée 6 mois avant la publication

Fraude en recherche clinique mars 2017 47

Exemples de non-corrections

• 1 amputation de jambe dans un essais de cellules souches avec 26 patients

• Rivaroxabon (essai RECORD) : 8 des 16 inspections de sites ont été classées OAI, sans mention dans l’article (ou correction)

• Falsification des données concernant un décès dans un essai de chimiothérapies ; procès et condamnation de l’investigateur : aucune mention dans l’article

• Apixaban : un site en Chine a altéré des données de patients…. Si on enlève ce site, les résultats ne sont plus significatifs sur la mortalité.. Discussions FDA/firme non mentionnées dans l’article

Fraude en recherche clinique mars 2017 48

Comment faire ?

• Accuser les ‘plagieurs’ ? Difficile car nous avons tous plagié !

• Aller au tribunal ? Non, car le code civil ne définit pas le plagiat comme un délit, ou la fabrication de données comme un crime !

• Dénoncer ? Protéger les délateurs ? Oui, mais comment ?

Anonymat de PubPeer (l’affaire Voinnet / CNRS est complexe.. Et l’Académie des Sciences ne peut rien faire)

Fraude en recherche clinique mars 2017 49

8 ans d’efforts pour cette charte !!!!

Fraude en recherche clinique mars 2017 50

Utiliser ce qui existe

Fraude en recherche clinique mars 2017 51

Déclaration de Singapour, préambule La valeur et les bénéfices de la recherche pour la société sont totalement dépendants de l'intégrité en recherche. Quelle que soit la manière dont la recherche est menée et organisée selon les disciplines et les pays, il existe des principes communs et des obligations professionnelles simailaires qui constituent le fondement de l'intégrité en recherche où qu'elle soit menée :

• Honnêteté dans tous les aspects de la recherche.

• Conduite responsable de la recherche.

• Courtoisie et loyauté dans les relations de travail.

• Bonne gestion de la recherche pour le compte d’un tiers.

Fraude en recherche clinique mars 2017 52

78 organisations signataires

Fraude en recherche clinique mars 2017 53

DORA 17 recos

Fraude en recherche clinique mars 2017 54

www.redactionmedicale.fr

Questions ?

55 Fraude en recherche clinique mars 2017