Santé et alimentation : attention aux faux- semblants...

20
Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture (N3AF) Note de recherche Résumé Ces derniers mois, plusieurs études épidémiologiques très médiatisées déclarent avoir observé des liens statistiques forts entre le risque de cancer et la consommation d’aliments bio ou ultra-transformés. Toutefois ces résultats reposent sur des traitements statistiques complexes, dont un examen attentif montre la fragilité : prise individuellement, chacune de ces publications semble minimiser fortement l’effet des facteurs de risque de cancer bien établis. En outre, quand on les compare entre elles, on constate qu’elles se contredisent mutuellement, alors qu’elles ont été réalisées sur la même population. Bien que parus dans des revues prestigieuses, ces travaux confortent donc les inquiétudes d’épidémiologistes éminents, qui appellent à refonder les méthodes employées en épidémiologie nutritionnelle. Abstract Several recent highly publicized epidemiological studies report having observed strong statistical correlations between cancer incidence and the consumption of organic or ultra-processed foods. However, these results rely on complex statistical treatments, whose validity is questionable: each individual publication seems to underestimate the effect of well-established cancer risk factors. Moreover, when we compare them, we find that they contradict each other, although they were made on the same population. Although published in prestigious journals, these studies reinforce the concerns of eminent epidemiologists, who call for a re-founding of the methods used in nutritional epidemiology. Mots clés nutrition, cancer, aliments biologiques, aliments ultra-transformés, statistiques Keywords nutrition, cancer, organic food, ultraprocessed food, statistics Introduction Les rapports entre santé et alimentation sont un sujet qui passionne les Français. A juste titre, car des études épidémiologiques solides ont montré que le régime alimentaire a une influence forte Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 1 Santé et alimentation : attention aux faux- semblants statistiques ! Philippe Stoop 1 1 ITK, Cap Alpha, avenue de l’Europe, 34830 Clapiers, France. Correspondance : [email protected]

Transcript of Santé et alimentation : attention aux faux- semblants...

Page 1: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

Résumé Ces derniers mois, plusieurs étudesépidémiologiques très médiatisées déclarent avoirobservé des liens statistiques forts entre le risquede cancer et la consommation d’aliments bio ouultra-transformés. Toutefois ces résultats reposentsur des traitements statistiques complexes, dontun examen attentif montre la fragilité : priseindividuellement, chacune de ces publicationssemble minimiser fortement l’effet des facteurs derisque de cancer bien établis. En outre, quand onles compare entre elles, on constate qu’elles secontredisent mutuellement, alors qu’elles ont étéréalisées sur la même population. Bien que parusdans des revues prestigieuses, ces travauxconfortent donc les inquiétudesd’épidémiologistes éminents, qui appellent àrefonder les méthodes employées enépidémiologie nutritionnelle.

Abstract Several recent highly publicizedepidemiological studies report having observedstrong statistical correlations between cancerincidence and the consumption of organic orultra-processed foods. However, these resultsrely on complex statistical treatments, whosevalidity is questionable: each individual

publication seems to underestimate the effectof well-established cancer risk factors.Moreover, when we compare them, we findthat they contradict each other, although theywere made on the same population. Althoughpublished in prestigious journals, thesestudies reinforce the concerns of eminentepidemiologists, who call for a re-founding ofthe methods used in nutritional epidemiology.

Mots clésnutrition, cancer, aliments biologiques, alimentsultra-transformés, statistiques

Keywordsnutrition, cancer, organic food, ultraprocessed food,statistics

Introduction

Les rapports entre santé et alimentation sont unsujet qui passionne les Français. A juste titre, cardes études épidémiologiques solides ont montréque le régime alimentaire a une influence forte

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 1

Santé et alimentation : attention aux faux-semblants statistiques !

Philippe Stoop 1

1 ITK, Cap Alpha, avenue de l’Europe, 34830 Clapiers, France.

Correspondance :[email protected]

Page 2: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

sur la santé et la mortalité. Ce sont elles qui ontpermis de formuler les recommandationsdésormais bien connues du Programme nationalnutrition santé : manger au moins cinq fruits etlégumes par jour, limiter sa consommation deviande et de lipides, en particulier saturés,préférer l’eau aux boissons sucrées… (INPES,2012). Ces recommandations, qui portent sur lacomposition du régime alimentaire, et non sur lemode de production des aliments, font l’objet d’unconsensus scientifique fondé sur des résultatsrobustes, observés dans de nombreusesenquêtes épidémiologiques indépendantes etsouvent confirmés par des expérimentations invivo sur des animaux de laboratoire ou chez lesujet humain. C’est le cas, par exemple, de l’effetcancérogène de la viande rouge et de la viandetransformée, classées respectivement cancé-rogène probable et cancérogène par le CentreInternational de Recherche sur le Cancer (CIRC)(CIRC, 2015). Toutefois les consommateurs s’interrogent aussisur les risques potentiels d’autres facteurs, auxeffets beaucoup plus hypothétiques pourl’instant : c’est le cas des résidus de pesticideset, depuis peu, des aliments que certains disent« ultra-transformés ». Ces deux thèmesd’inquiétude ont récemment connu un regaind’intérêt médiatique, suite à trois publicationsscientifiques, toutes fondées sur le suivi d'unecohorte française (c’est-à-dire une populationsuivie sur une longue période) nommée NutriNetSanté : - sur l’alimentation bio, un article paru finnovembre 2018, largement relayé dans lapresse, a déclaré avoir identifié un lienstatistique entre la consommation de nourriturebio et une diminution du risque de cancer(Baudry et al., 2018) ;- sur les aliments ultra-transformés, un premierarticle, publié en février 2018, avait signalé uneliaison statistiquement significative entre uneforte consommation de ces aliments et un risqueaccru de cancer (Fiolet et al., 2018) ;- toujours à ce propos, une deuxième publicationde février 2019, toujours par la même équipe etsur la même cohorte, fait également état d’une

augmentation de la mortalité qui seraitsignificative chez les forts consommateurs deces produits (Schnabel et al., 2019). En ce qui concerne la première publication surl’alimentation bio, l’Académie d’agriculture deFrance a déjà publié un « Point de vued’académiciens », qui explique de façondétaillée pourquoi, contrairement à cequ'évoquent les auteurs, cette étude ne permeten réalité pas d’affirmer que les aliments bioprotègent contre le cancer (Gueguen et Pascal,2018). Nous ne reviendrons pas ici sur lesproblèmes méthodologiques concernant lacohorte NutriNet Santé (en particulier, samauvaise représentativité de la populationfrançaise). De même, le manque de fondementscientifique du concept d’aliments ultra-transformés, et de la classification NOVA quiest censée les catégoriser, sont traités dans unautre “Point de vue d’académiciens” (Braescoet al., 2019). Nous nous concentrerons ici surune question commune aux deux thèmes :l’examen des méthodes statistiques employéesdans ces publications. En effet, toutes ces études ont en commun dereposer sur des traitements statistiquescomplexes, en vue d’isoler l’effet sanitaireéventuel des aliments étudiés. Or lacomparaison avec les publications sur lesaliments ultra-transformés renforce encore lesréserves que l’on pouvait éprouver sur lapublication concernant les aliments bio. Tous cestravaux ont été réalisés par la même équipe, surla même cohorte de consommateurs, et avec lamême méthode statistique. La comparaison deleurs analyses statistiques respectives montrebien les limites de cette méthode, que l’on nepouvait que soupçonner à la lecture de chaquepublication isolée.

Un thème difficile sur le plan statistique

Il est vrai que ces questions sont difficiles àtraiter sur le plan statistique. En effet, toutes lesétudes sur le lien entre alimentation et santémontrent des corrélations très fortes entre tousles comportements alimentaires identifiés

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 2

Page 3: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

comme favorables à la santé. Ainsi les amateursd’aliments bio sont, de façon générale, plussoucieux de leur hygiène de vie que la moyennede la population : ils fument moins et consommentmoins d’alcool, consomment plus de fruits etlégumes, moins de viande, de graisses et deglucides rapides que la population générale. On levoit d’ailleurs bien dans la Figure supplémentaire1, tirée de Baudry et al. (2018). Si l'on observe chez eux un meilleur état desanté, il est donc difficile de savoir s’il y a un effetbénéfique propre à l’alimentation bio, ou si c’estsimplement la résultante de leur meilleurehygiène de vie. Pour affirmer que les aliments bioont un effet favorable sur le cancer, les auteursont donc procédé à des ajustements statistiques,en vue d’éliminer l’effet de tous les autres facteursfavorables associés à une forte consommationd’aliments bio (ce que l’on nomme des facteursde confusion). De même, l’étude des effets éventuels desaliments parfois dits « ultra-transformés » posedes problèmes méthodologiques complexes. Ceterme désigne les aliments généralementd’origine industrielle, intégrant des ingrédientsayant subi de fortes transformations physiques ouchimiques lors de leur fabrication. C’est le cas,par exemple, des plats préparés vendus prêts àl’emploi. Comme ces produits sont en généralriches en sel, graisses et sucres, et pauvres enfibres, il n’y aurait rien d’étonnant à leur trouver uneffet néfaste sur la santé. Toutefois certainsnutritionnistes ou épidémiologistes vont plus loin :ils font l’hypothèse que la texture de ces aliments,très modifiée physiquement par rapport auxaliments traditionnels, aggraverait les effetsdirects de leur composants nutritionnels, et queles additifs contenus dans ces aliments pourraientaussi avoir des effets néfastes (Prud'homme,2018). Là encore, il ne suffit donc pas d’observerque les consommateurs d’aliments transformésont une mauvaise santé : il faut corriger cet effetapparent des aliments ultra-transformés, enéliminant les effets liés simplement à leurcomposition non conforme aux règles diététiquesles plus basiques. Bien entendu, dans les deux cas, les auteurs deces études sont parfaitement conscients de ce

problème, et ils déclarent avoir « ajusté leursrésultats », c’est-à-dire éliminé l’effet desfacteurs de confusion. Toute la crédibilitéscientifique de leurs travaux repose donc sur laqualité de ces ajustements statistiques (dans cequi suit, nous emploierons les termes « ajusté »et « ajustement » comme traduction littérale destermes adjusted et adjustment des publicationsoriginales en anglais, les traductions françaisespossibles, corriger ou redresser, n’étant pasparfaitement synonymes). Toutefois une lecture attentive de chaque articlesuscite déjà des interrogations à ce sujet. Cesinterrogations deviennent des doutes majeursquand on compare la cohérence de l’ensemblede ces publications. De surcroît, deux autrespublications de la même équipe (Lavalette et al.,2018 ; Diallo et al., 2018), beaucoup moinsmédiatisées, bien qu’importantes sur le plansanitaire, apportent un éclairage utile sur deuxdes articles déjà cités : d’une part en montrantque l’indicateur synthétique retenu dans cespublications pour qualifier le respect desrecommandations nutritionnelles classique n’estpas optimal ; d’autre part, en soulignant lemanque de représentativité de la cohorte suivie,par rapport au comportement alimentaire de lapopulation générale.

La méthode suivie : classique, maismanifestement inadaptée à ce contexte

Rappelons d’abord le vocabulaire habituel à cetype d’études épidémiologiques : chaque fois,l’objectif est d’étudier la relation entre unevariable dite « à expliquer » (par exemple, lenombre de nouveaux cas de cancers dansBaudry et al.) et des variables dites« explicatives » (par exemple, la consommationde tabac, l’activité physique ou la consommationd’aliments bio). Dans tous les articles évoqués, les auteurs ontutilisé une méthode statistique classique. Ils ontcommencé par créer un indicateur synthétiquecontinu permettant de quantifier le niveau deconsommation des aliments étudiés. Ils ontensuite stratifié (c’est-à-dire segmenté) la

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 3

Page 4: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

population étudiée en quartiles (le quartile 1correspond aux 25 % de personnes ayant laconsommation la plus faible du facteur étudié, le

quartile 4 aux 25 % de ceux ayant la plus forteconsommation). Ils calculent alors le HR (hazardratio, ou rapport de risques) de chaque quartile,

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 4

Table 1. Variables à expliquer, variables explicatives, et facteurs de confusion ajustés despublications citées.

Page 5: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

c’est-à-dire le rapport entre la variable à expliquer(par exemple, le nombre de cancers survenus)dans ce quartile et dans le 1er quartile, etprocèdent à une analyse statistique pour vérifiers’il y a une relation significative entre laconsommation de ces aliments et l’incidence decancers ou la mortalité. En pratique, les hazard ratios ne sont jamaiscalculés directement à partir du nombre de cas decancers observés dans chaque quartile. En effet,il y a le plus souvent des facteurs de confusion,dont le niveau présente des différencessignificatives entre quartiles, et dont l’effet doitêtre ajusté. Par exemple, les fortsconsommateurs de bio sont en moyenne plusâgés que les faibles consommateurs. Comme lerisque de cancer augmente avec l’âge, il fautdonc corriger son effet, afin de ne pas attribueraux aliments bio un risque de cancer qui serait enfait dû à l’âge supérieur de leurs consommateurs.Dans tous ces calculs, la variable à expliquer estconsidérée comme une fonction de l’ensembledes variables explicatives, prises en compte selonle modèle dit de Cox (Timsit et al., 2005). Vu lenombre élevé de variables explicativessupposées, les auteurs ont testé, dans chaquepublication, plusieurs modèles de Cox différents,intégrant plus ou moins de variables explicatives,en vue de repérer les plus influentes. On voit que, dans cette méthode, toutes lesvariables explicatives n’ont pas le même statut :chaque fois, on s’intéresse à une variableexplicative isolée (la variable étudiée), et onconsidère les autres (les variables explicativesajustées) comme des facteurs de confusion donton va chercher à éliminer l’effet sur la variable àexpliquer. Dans les quatre publications que nousavons citées, nous avons les situations indiquéesdans la Table 1. A l’issue des ajustements statistiques observés,l’effet observé est censé être propre à la variableexplicative étudiée, et débarrassé de toutes lesinteractions avec l’effet des variables explicativesajustées. La comparaison entre les résultatsavant et après ajustements est donc un élémentimportant pour juger de la plausibilité desrésultats obtenus. Elle permet de vérifier si lesajustements ont bien un effet cohérent avec les

connaissances dans l’état de l’art : si unevariable ajustée est connue pour avoir un forteffet sur la variable à expliquer, et présente unniveau très différent selon les quartilesd’exposition à la variable explicative étudiée, lesrésultats avant et après ajustement de cettevariable doivent être très différents. Pour prendre un exemple concret, imaginonsque l’on étudie les effets sanitaires d’un produitchimique, et que les données brutes montrentque les personnes exposées à ce produit ont unrisque de cancer du poumon plus fort que lespersonnes non exposées, mais ont aussi uneconsommation de tabac bien supérieure : dansce cas, le risque attribué à ce produit chimiquesera nettement plus faible après ajustement del’effet du tabac. En pratique, les épidémiologistes ne pratiquentdes ajustements statistiques que sur les facteursde confusion clairement identifiés, et dont leniveau présente des variations statistiquementsignificatives entre les quartiles comparés. Sices ajustements ne modifient pas, ou modifientpeu les résultats bruts, il faut s’interroger sur lacause de ce manque d’effet : - cela peut être dû au fait que, bien quesignificatives, les différences d’exposition à cefacteur de confusion sont faibles par rapport àcelles qui sont observées dans la populationgénérale. Dans ce cas, la méthode statistiqueemployée n'est pas remise en cause, mais ondoit reconnaître que la population étudiée n’estpas représentative de la population généralepour ce facteur de risque. Les résultats del’étude ne sont alors pas généralisables àl’ensemble de la population, et peuvent mettreun accent exagéré sur un phénomène marginalpropre à la cohorte étudiée. - si les différences d’exposition à ce facteur deconfusion sont importantes et que, malgré tout,l’effet de l’ajustement est négligeable, celadevrait interroger sur la pertinence statistique decet ajustement… ou conduire à considérer quel’effet sanitaire classiquement attribué esterroné ! Qu’en est-il dans les publications sur la cohorteNutriNet Santé ? Cette discussion sur la validitédes méthodes statistiques n’est malheureu-

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 5

Page 6: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

sement pas abordée par les auteurs. Il fautdonc l’examiner en recoupant lesinformations disponibles entre les différentsarticles publiés. C’est d’autant plus difficile que,dans chaque étude, les variables ajustées étaientsi nombreuses que les auteurs n’ont pas pudétailler l’effet de chacune d’entre elle : ils nedonnent les résultats que de 3 ou 4 niveauxd’ajustement, chaque niveau regroupant plusieursvariables ajustées. Cela ne permet d’examinerque l’effet de ce groupe de variable ajustées, cequi peut créer une difficulté supplémentaire : si unmodèle de Cox calculé par les auteurs regroupedes variables d’ajustement ayant des effetsopposés, l’ajustement modifiera peu les résultatsbruts, car les effets des deux facteurs deconfusion se compensent mutuellement. Pourreprendre l’exemple précédent, si les personnesexposées au produit chimique étudié fument plusque les personnes non exposées (ce qui aggravele risque de cancer), mais sont aussi plus jeunes(ce qui réduit le risque), il est possible quel’ajustement simultané de ces deux variables n’aitque peu d’effet. Pour examiner les résultats de ces ajustements,

prenons l’exemple de l’article Baudry et al. surla relation entre aliments bio et cancer. On voitdans la Table supplémentaire 1 qu’il y a unebonne vingtaine de facteurs de confusion àcorriger. Les auteurs ont calculé les résultats detrois modèles statistiques, correspondant àtrois niveaux successifs d’ajustements (Table 2). Dans le modèle 1, où ne sont corrigés que leseffets de l’âge et du sexe, le groupe des plusforts consommateurs de bio (le quartile 4, Q4) aun risque de cancer réduit de 30 % (HR = 0,7,soit 70 %). En soi, ce résultat n’a rien desurprenant, puisque ce Q4 regroupe les « bonsélèves » de l’hygiène de vie, qui, en plus deconsommer bio, veillent à réduire presque tousles facteurs de risque : ils fument et boiventmoins que la moyenne, consomment moins deviande et plus de fibres, etc. Dans le modèle 2, les auteurs ajustent ensuitepas moins de 16 facteurs de confusionsupplémentaires pour les hommes, et même 20pour les femmes. Dans ce modèle, ils corrigentl’effet de tous les facteurs de risqueenvironnementaux et comportementauxidentifiés comme majeurs : consommation de

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 6

Table 2. Association entre cancer (toutes localisations confondues) et consommation bio (extrait duTableau 2 de Baudry et al.). Exemple de lecture : dans le modèle 1, le risque de cancer des grandsconsommateurs de bio (Q4 pour 4ème quartile, c’est-à-dire les plus forts consommateurs de bio)n’est que de 70 % (HR = 0,70) de celui des faibles consommateurs de bio (Q1). De plus, on observeun « effet dose » hautement significatif de l’alimentation bio (P Value for Trend <0,001).

Page 7: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

tabac et d’alcool, ration calorique, consommationde fibres et de viande rouge ou transformée. On note aussi qu’ils ont corrigé l’effet du mPNNS-GS (modified Programme National NutritionSanté – Guidelines Score), un indicateursynthétique qui mesure la conformité du régimealimentaire aux recommandations du Programmenational nutrition santé. Si les ajustementsstatistiques réalisés dans ce modèle fonctionnentcorrectement, le résultat doit donc être l’effetpropre de l’alimentation bio, après élimination del’effet de tous les facteurs de risque déjàclairement identifiés. Or on constate que l’effetprotecteur résiduel attribué à l’alimentation bioreste très élevé : il passe de - 30 % à - 25 %. Ce résultat est surprenant. En effet, à l’exceptiondes antécédents familiaux de cancer, qui sontplus fréquents chez les forts consommateurs debio, tous les facteurs ajustés ajoutés dans cesecond modèle jouent dans le sens d’uneréduction des risques chez les fortsconsommateurs de bio. Si la rafale d’ajustementsajoutés dans le modèle 2 modifie si peu lesrésultats, ce n’est donc pas parce que certainsfacteurs négatifs compenseraient l’effet desfacteurs positifs : c’est parce que le modèlestatistique ne leur trouve qu’un faible rôle dans lerisque de cancer, en tout cas dans la populationétudiée. Si l’ajustement de tous ces facteurs de risqueclairement identifiés ne produit que si peu d’effets,cela ne peut avoir que deux explicationspossibles : - leur effet cancérigène n’apparaît pas dans lacohorte étudiée, parce que le niveau de cesfacteurs de risque y est trop homogène. Dans cecas, l’honneur statistique est sauf, mais celasignifie que la cohorte n’est absolument pasreprésentative de la population générale ;- ou bien les ajustements statistiques n’ont pasfonctionné correctement. Qu’en est-il dans le modèle 2 de Baudry et al. ?En ce qui concerne le tabac et l’alcool, il est vraique leur consommation varie en fait assez peuentre le 1er et le 4ème quartile de consommationde bio (Table supplémentaire 2) : on peut doncbien admettre que leur ajustement modifie peu lesrésultats. Cependant, c’est plus surprenant pour

les viandes rouges et transformées, dont laconsommation est beaucoup plus fortementcorrélée à l’alimentation bio : - 35 % et – 36 %respectivement chez les plus fortsconsommateurs de bio, par rapport aux faiblesconsommateurs. Est-il normal que laconsommation de viande rouge et de viandetransformée ait si peu influé sur les résultats desajustements ? Les auteurs n’abordant pas cettequestion dans la discussion des résultats, il fautque le lecteur fasse par lui-même lesrecoupements avec la publication Diallo et al.(2018) pour vérifier si les résultats de ces deuxpublications sont cohérents. En ce qui concerne la viande transformée, lesrésultats sont logiques : Diallo et al. montrentque même le quintile des plus fortsconsommateurs de viande transformée dansNutriNet Santé n’a qu’une consommationmoyenne de 38,6 g/jour, pour laquelle on peutconsidérer que l’accroissement de risque decancer est négligeable. Il est donc normal quel’on ne trouve pas d’effet de la viandetransformée dans Diallo et al., et quel’ajustement par la consommation de viandetransformée ne change rien aux résultats deBaudry et al. Mais cela confirme une fois de plusle manque de représentativité de NutriNet Santépar rapport aux risques nutritionnels de lapopulation générale, puisque le facteur de risquenutritionnel le mieux avéré d’après le CIRC n’y aaucun effet. Les résultats sur la viande rouge sont encoreplus problématiques. En effet, Diallo et al.démontrent, avec la même méthode statistique,et toujours dans la même cohorte, qu’une forteconsommation de viande rouge augmente lerisque de cancer de 31 %, entre le quintile desplus forts consommateurs de viande rouge (93,9g/jour), et le quintile des plus faiblesconsommateurs (3,6 g/jour). Les résultats sontencore plus spectaculaires pour le cancer dusein : + 83 % chez les grandes consommatricesde viande ! Ce dernier point devrait d’autant pluspeser que le cancer du sein est le cancer le plusfréquent chez les femmes, qui sonttrèsmajoritaires dans la cohorte NutriNet Santé.Certes, ces résultats spectaculaires de Diallo et

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 7

Page 8: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

al. sur l’effet cancérogène de la viande rouge nesont pas nécessairement incompatibles avec lefait que l’ajustement de la consommation deviande rouge modifie peu les résultats dansBaudry et al. En effet, entre le 1er et le 4èmequartile de consommation bio dans Baudry et al.,la consommation de viande rouge ne varie que de48,72 g/jour (chez les plus faibles consommateursde bio) à 31,44 g/jour (chez les plus fortsconsommateurs de bio). Cet écart ne représenteque 19 % de l’amplitude de consommationobservé entre le premier et le dernier quintile deDiallo et al. Cela aurait un effet non négligeable sil’effet de la quantité de viande rouge consomméeétait linéaire, mais il ne semble pas que ce soit lecas. D’après le tableau 2 de Diallo et al., il est

normal qu’une telle variation de consommationde viande rouge n’ait pas d’effet très marquésur le cancer, même pour le cancer du sein.Mais, d’après la même source, même les plusforts consommateurs de bio (4ème quartile deBaudry et al.) ont une consommation moyennede viande rouge qui les situe dans le 2e quintilede Diallo et al., ce qui provoquerait chez euxun accroissement du risque général de cancerde + 24 %, de + 68 % pour le cancer du sein,et + 70 % pour le cancer de la prostate. Si l'onaccorde foi aux traitements statistiques de cesdeux publications, les forts consommateurs debio, qu’ils soient hommes ou femmes,gagneraient autant à supprimer la viande rougede leur alimentation qu’à consommer bio (pour le

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 8

Table 3. Association entre cancer (toutes localisations confondues) et consommation d’aliments« ultra-transformés » (extrait du tableau 2 de Fiolet et al.). Exemple de lecture : le risque decancer des grands consommateurs d’aliments « ultra-transformés » (Quarter 4) est augmenté de21 % dans le modèle 1 (HR = 1,21) par rapport à celui des faibles consommateurs (Q1).

Page 9: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

risque général de cancer), voire plus (pour lecancer du sein ou de la prostate). Cela montrebien que l’enjeu sanitaire d’une réduction de laconsommation de viande rouge (confirmé par denombreuses études indépendantes) est beaucoupplus important, que celui d’une augmentation dela consommation bio (suggéré à ce jouruniquement par Baudry et al.). Il est donc possible de concilier les résultatsrespectifs de Baudry et al. et Diallo et al. sur laviande rouge sans remettre en cause la méthodestatistique employée. Toutefois cela nécessited’admettre que la viande rouge a un effetbeaucoup plus important que l’alimentation bio, ceque ces auteurs n’ont pas rappelé. Le même problème de compatibilité despublications se pose à propos des aliments ultra-transformés. En effet, la publication consacrée àce thème, par Fiolet et al., annonce un effetimportant de ces aliments sur le risque decancer : le risque général de cancer seraitaugmenté de 21 à 23 % dans le quartile des plusforts consommateurs de bio, par rapport aux plusfaibles consommateurs (Table 3). En revanche,Baudry et al. ont ajusté l’effet de laconsommation d’aliments ultra-transformés dansleur modèle 3, et cela ne change pas les résultatspar rapport au modèle 2 où ce facteur de risquen’est pas pris en compte. Certes, comme pour la viande rouge, cela pourraits’expliquer par le fait que la différence deconsommation d’aliments ultra-transformés étaitfaible entre les non-consommateurs et fortsconsommateurs de bio, mais ce serait cette foisassez surprenant. Il est logique que laconsommation de viande rouge soit peu corréléeavec la consommation bio : les amateurs de bione sont pas nécessairement végétariens, commel’atteste l’importance du marché de la viande bio.En revanche, il serait surprenant que Fiolet et al.aient classé comme ultra-transformés beaucoupd’aliments bio. En conséquence, il est donc trèsprobable que les plus forts consommateurs de bio(quartile 4 de Baudry et al.) soient trèsmajoritairement dans les plus faiblesconsommateurs d’aliments ultra-transformés(quartile 1 de Fiolet et al.), et que l’inverse soitvrai. Dans cette hypothèse, il est difficilement

compréhensible que le modèle 3 de Baudry etal. ne détecte aucun effet de ces aliments.Malheureusement, Baudry et al. n’indiquent pasla consommation moyenne d’aliments ultra-transformés de ses différents quartiles, ce quiempêche toute vérification. On peut aussisupposer que l’absence d’effet des alimentsultra-transformés dans Baudry et al. s’expliquepar l’ordre tardif d’introduction de cette variableajustée, qui n’intervient que dans le derniermodèle testé. Toutefois cela revient alorsreconnaître que les interactions entre facteursde confusion ne sont pas correctementcontrôlées par la méthode statistique employée.En attendant, le résultat est là : avec le mêmemodèle statistique, et sur la même cohorte, lesaliments ultra-transformés ont un effet majeursur le risque de cancer quand ils sont le facteurétudié (Fiolet et al.), et plus aucun effet quand ilssont un facteur ajusté (Baudry et al.) ! La seuleexplication possible pour concilier ces deuxrésultats serait que les forts consommateurs debio consomment presque autant d’aliments ultra-transformés que les non-consommateurs debio : une hypothèse bien peu vraisemblable. Ilsemble donc bien que, quel que soit le facteurnutritionnel étudié par cette méthode, il aittoujours un effet significatif sur le cancer… quirésiste à tous les ajustements. Au bout du compte, on voit que les résultats deBaudry et al., Fiolet et al., et Diallo et al., ne sontconciliables que si les consommationsd’alimentation bio, ultra-transformée, et deviande rouge, sont faiblement dépendantes lesunes des autres (soit trois paires de variables). Ilest donc regrettable que les données publiéesne permettent pas de faire cette vérification quepour la dépendance entre consommation deviande rouge et d’aliments bio. De surcroît, si l'on admet avec les auteurs queles résultats présentés sont valables, et que leseffets attribués respectivement au bio, à l’ultra-transformé, et à la viande rouge sont bienséparés, il devrait en résulter que les résultatsde ces trois facteurs de risque sont plus oumoins cumulatifs. Vue la forte corrélation entrele respect des différentes recommandationsnutritionnelles, il devrait y avoir une proportion

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 9

Page 10: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

non négligeable de personnes qui sont membresà la fois du meilleur quartile ou quintile des troispublications. Pour le risque de cancer, ellesdevraient donc bénéficier à la fois de l’effetprotecteur d’une forte consommation bio (- 25 %de risque de cancer), et d’une faibleconsommation de viande rouge (-45 %) etd’aliments ultra-transformés (- 26 %), par rapportaux personnes mal classées pour ces troiscritères.Y a-t-il vraiment une différence si spectaculaire durisque de cancer entre ces deux sous-populations ? Il serait grand temps de le vérifier,avant d’ajouter de nouvelles publications oùchaque facteur de risque continuerait à être traitéindividuellement.

Un contexte trop complexe pour la méthodestatistique utilisée

Comment se fait-il qu’une méthode aussiclassique donne des résultats aussi surprenants ?Il faudrait disposer des données de base del’enquête, et en faire des analyses statistiquesplus poussées, pour savoir en toute rigueurpourquoi, mais cela n’a rien de surprenant quandon voit le nombre de variables qui ont étéajustées simultanément, et leur caractèreredondant. En effet, les auteurs ont redressésimultanément des variables dont : - certaines ont un effet mécaniste clairementidentifié sur le cancer (comme la consommationde tabac, et de viande rouge ou transformée) ;- d’autres sont des indicateurs agrégés ouindirects d’une mauvaise nutrition (le mPNNS-GS,ou l’indice de masse corporelle), et sont donc desconséquences de l’effet des variablesprécédentes ;- et d’autres enfin sont des facteurs sociologiques(niveau d’éducation ou de revenu), qui de touteévidence ne sont pas des facteurs de causalité,mais des facteurs associés aux vraies causes decancer précédemment citées. Dans une telle accumulation de facteurs, touscorrélés entre eux, il n’y a rien d’étonnant à ceque les ajustements statistiques n’arrivent pas àhiérarchiser et corriger leurs effets… et finissent

par laisser croire que le facteur étudié est celuiqui a le plus d’influence ! Notons enfin que la méthode employée privilégieinévitablement la variable étudiée par rapportaux variables ajustées : les effets de cesvariables ajustées ne sont pris en compte quedans la mesure où ils influent sur le gradient dela variable à expliquer, selon la stratificationinitiale, qui est fondée sur l’exposition à lavariable étudiée. Dans un modèle multivariécomme le modèle de Cox, si on a une variableexplicative étudiée et n variables explicativesajustées, la population étudiée est un nuage depoints dans une espace à n+1 dimensions. Laméthode employée ici revient à étudier non pasle nuage de points, mais sa projection sur l’axede la variable étudiée. Ce « privilège » n’est pastrès gênant si cette variable étudiée est undéterminant majeur de la variable à expliquer, etsi n n’est pas trop grand. Mais nous sommes icidans la situation inverse : il y a une foule devariables explicatives ajustées, et les deuxvariables étudiées ont probablement un rôlemineur par rapport à la plupart d’entre elles.

Des indicateurs nutritionnels sous-employés,et peu pertinents

Dans une situation comme celle-ci, où l’effet desfacteurs étudiés (aliments bio et ultra-transformés) doit être dissocié de celui denombreux facteurs de confusion nutritionnelsfortement associés entre eux, il serait préférablede réduire le nombre de variables ajustées, enutilisant un indicateur synthétique de la qualitédu régime alimentaire, plutôt que de chercher àajuster individuellement l’effet de chacun de cesfacteurs. C’est une approche que les auteurs quitravaillent sur NutriNet Santé ont bien employée,mais de façon paradoxale. Ainsi Fiolet et al. (aliments ultra-transformés etcancer) ont calculé un indicateur WesternDietary Pattern, qui mesure le degré d’adoptiondu régime occidental riche en viande, en graisseet en sucres… et donc défavorable à la santé.Toutefois, curieusement, ils n’introduisent cettevariable que dans le modèle 3, après avoir déjà

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 10

Page 11: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

ajusté dans le modèle 1 des indicateurs qui lecomposent, comme la ration calorique et laconsommation d’alcool. Du coup, cet indicateurWestern Dietary Pattern ne joue pas le rôled’indicateur synthétique qui permettrait peut-êtred’améliorer les ajustements statistiques, et n’amême plus aucun rôle (puisque le modèle 3donne des résultats quasiment identiques aumodèle 1). Baudry et al. (bio et cancer) ont utilisé l’indicateurmPNNS-GS, qui mesure la conformité du régimealimentaire aux recommandations du Programmenational nutrition santé. Cette fois, ils l’ont introduitdès leur modèle 2, mais, là encore, ils l’ont ajoutéaux variables individuelles qui composent cetindicateur (consommation d’alcool, de graisses, deviande..), au lieu de les y substituer. Enconséquence, le mPNNS-GS a encore augmentéles redondances entre variables d’ajustement dansce modèle, au lieu de le réduire. De plus, le choix du mPNNS-GS commeindicateur de la qualité du régime est surprenant,compte tenu du thème de la publication et destravaux précédents des auteurs. En effet, cetarticle porte sur le lien entre alimentation etcancer. Or les mêmes auteurs ont montré dansLavalette et al., toujours sur la cohorte NutriNetSanté, que le mPNNS-GS est un médiocreindicateur de la liaison entre alimentation etcancer : il n’est en liaison significative qu’avec lecancer colorectal. D’après cette étude, l’indicateuraméricain WCRF/AICR (World Cancer ResearchFund-American Institute for Cancer Research),mis au point spécifiquement pour ce but, estbeaucoup mieux corrélé aux incidences de canceren général (Figure supplémentaire 1). C’est doncen comparant les effets du bio et des alimentsultra-transformés à celui de cet indicateur, et nondu mPNNS-GS, que l’on pourrait vérifier si cesaliments ont réellement un effet spécifique sur lecancer, indépendant de leur compositionnutritionnelle. Dans les deux études sur le cancer, les auteursont donc utilisé des indicateurs synthétiques dontils ont démontré eux-mêmes qu’ils étaientinadéquats, et ne les ont introduits dans leursmodèles qu’après avoir déjà ajusté certaines desvariables qui les composent. Cette méthode

minimise donc très fortement l’effet sanitairepositif du respect des règles nutritionnelles, etpeut donc donner l’impression erronée que l’effetpositif observé est dû presque entièrement à lavariable étudiée, et non aux variablesexplicatives ajustées. De surcroît, le fait qu’ilsaient employé deux indicateurs différents dansBaudry et al. et dans Fiolet et al. empêche devérifier si les résultats de ces deux publicationssont conciliables. Il aurait été plus conforme à l’état actuel desconnaissances en nutrition de stratifier lapopulation en fonction d’un indicateursynthétique (de préférence le même dans Fioletet al. et Baudry et al., et le WCRF/AICR plutôtque le mPNNS-GS ou le Western Diet Pattern),puis de vérifier si le niveau de consommationd’aliments ultra-transformés ou bio avait un effetsignificatif sur l’incidence des cancers danschacun des quartiles ainsi définis.

Une discussion orientée des résultats

Normalement la partie de « Discussion »d’une publication scientifique doit êtrel’occasion de questionner la validité desrésultats obtenus. Cela suppose en particulierde vérifier s’ils sont cohérents avec lesréférences bibliographiques déjà existantes etsi les hypothèses formulées par les auteurssont les seules qui puissent expliquer lesrésultats observés. Or les discussions desdeux articles sur l’incidence des cancersprésentent des lacunes surprenantes. Fiolet et al. rappellent que les effets supposésdes aliments ultra-transformés pourraientavoir deux causes : leur compositionnutritionnelle médiocre, et les additifscontenus dans ces aliments ou dans leursemballages. Curieusement ils n’arbitrent pasentre ces deux causes, alors que leursajustements statistiques devraient permettred’éliminer la première : en effet, l’effet néfastequ’ils observent persiste même aprèsajustement de la consommation de lipides, deglucides, de sel, et du Western Diet Pattern.Si les auteurs avaient une confiance totale

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 11

Page 12: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

dans leur méthode statistique, ils devraientdonc conclure que l’effet de ces aliments est dûuniquement aux additifs qu’ils contiennent ou àleur texture dégradée…mais ils ne semblentpas prêts à faire ce pas quelque peuaudacieux, en tout cas dans une revue àcomité de lecture ! Baudry et al. citent de façon très sélective la seuleétude comparable à la leur, sur la cohortebritannique One Million Women Cohort (Bradburyet al., 2014). Ils affirment que, dans cette cohortecomme dans la leur, le seul résultat significatifserait un risque réduit de lymphome non-hodgkinien associé à la consommation de bio. Ilsévoquent aussi le fait que, dans la cohorteanglaise, on avait observé un excès de cancer dusein chez les consommatrices de bio, mais ilsoublient de souligner les contradictions majeuresentre les deux cohortes : dans la One MillionWomen Cohort, les cancers de l’utérus et ducerveau étaient également en excès significatif…chez les consommatrices de bio ! Et l’incidenceglobale des cancers, tous sites confondus,présentait chez celles-ci un excès global faible (3%), mais tout près d’être significatif (intervalle deconfiance à 95 % : 1,00 – 1,06) (Figuresupplémentaire 2). En fait, la véritable conclusion de cette étude estque l’on observe un léger excès de cancers, trèsproche de la significativité à 5 %, chez lesfemmes britanniques consommatrices de bio.Bien entendu, personne n’en conclura queconsommer bio aggrave le risque de cancer. Celamontre simplement que la méthode statistiqueemployée (la même que dans les publicationsNutriNet Santé) est décidément totalementinadaptée à la complexité des interactions entrefacteurs nutritionnels. Il existe sans doute desfacteurs de confusion sociologiques oucomportementaux, non identifiés actuellement,qui brouillent les résultats et devraient êtreéclaircis, au lieu d’accumuler, avec les méthodesstatistiques actuelles, des résultats qui deviennentde plus en plus contradictoires, à mesure qu’onles approfondit. Il est donc compréhensible queBradbury et al., ainsi que les chercheurs françaisqui suivent NutriNet Santé, n’aient pas retenu cesrésultats apparemment défavorables au bio. Mais

cela implique qu’ils reconnaissent eux-mêmesque la méthode statistique employée estdéficiente, et donc que, sans autre confirmation,ils ne devraient pas accepter ses résultatsquand ils vont dans le sens de leurs hypothèses.Normalement, la discussion des résultats d’unepublication scientifique devrait porter nonseulement sur leur cohérence avec l’ensembledes travaux comparables publiés par d’autreséquipes, mais aussi sur la méthode statistiqueutilisée. Nous avons vu en introduction que cedeuxième point devrait être particulièrementcrucial pour les sujets traités ici, puisque leseffets étudiés ne peuvent être mis en évidencequ’après ajustement d’autres facteursnutritionnels qui leur sont indissociables. Orl’ensemble des publications citées ici se borneà la comparaison avec les publicationscomparables. C’est particulièrement gênantpour l’article Baudry et al. sur le bio, pour lequelil n’existe qu’une publication comparable, ce quiconstitue une bien maigre confirmation. Celad’autant plus que cette seule référence, fondéesur la même méthode statistique que Baudry etal., la contredit en fait nécessairement : - soit on considère que la méthode statistiqueemployée (commune aux deux publications) estvalide, et, dans ce cas, il faut admettre queBradbury et al. observent un excès pour plusieursformes de cancer chez les consommatrices debio, contrairement à Baudry et al. ;- soit on considère que les résultatsdéfavorables au bio dans Bradbury et al. sontdus à un biais statistique (ce qui esteffectivement le plus probable), et, dans ce cas,cela remet de même en cause les résultats deBaudry et al. Quoi qu’il en soit, on ne peut pas accepter lesrésultats de cette méthode statistique, quand ilsvont dans le sens de l’hypothèse des auteurs, etles rejeter ou les passer sous silence quand ilsvont dans le sens inverse.

Vers une « presse scientifique d’opinion » ?

Les auteurs de ces publications rappellent avecinsistance que les corrélations significatives

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 12

Page 13: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

qu’ils ont observées ne prouvent pas un lien decausalité. C’est une sage précaution oratoire,mais le problème majeur n’est pas là. C’est plutôtque la procédure statistique, qui devait garantirqu’ils ont bien éliminé les facteurs de confusion, ade toute évidence très mal fonctionné. Enconséquence, ils ont bien observé une corrélationsignificative conforme à leurs hypothèses dedépart (que l’alimentation bio est favorable à lasanté, et que les aliments ultra-transformés sontnéfastes), mais ils n’ont pas démontré que lesfacteurs de risque déjà bien connus pour lecancer ne suffisent pas pour expliquer cescorrélations. Cette pratique est habituelle dans les scienceshumaines ou politiques, où il est considérécomme normal que les mêmes faits puissentdonner lieu à des interprétations différentes, avecla même légitimité. Elle est plus inhabituelle dansles sciences de la nature : dans ces disciplines,on s’attend habituellement à ce que le protocoleexpérimental et le traitement statistique desdonnées permettent d’éliminer toutes leshypothèses alternatives à celles des auteurs.Certes la médecine est un peu à la limite de cesdeux mondes : dans le cas des maladiesmentales, où la frontière entre comportementspathologiques et normaux, ou simplementoriginaux, n’est pas tranchée, et où les causalitéssont difficiles à établir, on peut admettre que lesavis diffèrent selon le point de vue des auteurs.En revanche, dans le cas d’une maladiesomatique clairement identifiée comme le cancer,on s’attend plutôt à ce que les causesétiologiques de la maladie soient objectives, et nedépendent pas des hypothèses de travail deschercheurs. Notre objectif n’est pas de pointer ici laresponsabilité des auteurs. Les articles quenous avons cités ont été publiés dans desrevues parmi les plus prestigieuses dans lemonde médical : le British Medical Journal, etle Journal of the American Medical Association(JAMA). Ces travaux peuvent donc êtreconsidérés comme conformes aux critèresactuels des revues les plus exigeantes.D’ailleurs, ce sujet des publications desciences de la nature gardant une

interprétation ouverte n’a été évoqué nullepart dans le récent rapport de Corvol et al.(2016), qui a posé les bases des dispositifsde contrôle de l’intégrité scientifique mis enplace dans les instituts de recherche français.Il s’agit donc d’une évolution non explicite,mais assez généralisée, du niveau de preuveattendu des publications scientifiques. Outrele fait que cette évolution remet en cause leprincipe de réfutabilité, qui est censé faire lepartage entre les sciences de la nature et lespseudosciences, elle cause des malentendusavec le grand public, qui continue àconsidérer qu’une publication scientifique n’aqu’une interprétation et une seule, et énoncedes faits objectifs indépendants de l’opiniondes auteurs. Même dans les milieux scientifiques, cettedérive commence à susciter des inquiétudes,comme en témoigne un article récent del’épidémiologiste J. Ioannidis, très actif dans laréflexion sur l’évaluation des publicationsscientifiques : « Le défi de la réforme de larecherche sur l’épidémiologie nutritionnelle »(Ioannidis, 2018). Il y donne de nombreuxexemples de résultats contradictoires entredes publications portant sur des sujets voisins,parfois à l’intérieur de la même cohorte, etmontre le caractère général des problèmesque nous avons observés dans la cohorteNutriNet Santé. Il souligne notamment le faitque le découpage des publications (un articlepar variable d’intérêt) conduit souvent àpublier des résultats qui semblent plausiblesconsidérés isolément, mais deviennentincohérents quand on les regarde dans leurensemble. C’est typiquement ce que nous avons observéici, et un regard plus attentif sur les analysesstatistiques permet de comprendre lemécanisme à l’œuvre. En effet, ce sont bienles ajustements statistiques, censés garantirque les résultats de chaque publication nesont pas influencés par les facteurs deconfusion étudiés dans d’autres publications,qui ont échoué dans cette tâche. Le JAMA, qui a publié à quelques semainesd’intervalle l’article de Ioannidis et celui de

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 13

Page 14: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

Baudry et al., semble bien conscient de ceproblème, mais l’a traité d’une façon inattenduepour une revue scientifique : il a accompagnél'article de Baudry et al. d’un Editorial Comment(Hemler et al., 2018), qui relativise très fortementles résultats de la publication de Baudry et al., et,surtout, rappelle l’essentiel : dans l’état actuel desconnaissances, il est beaucoup plus importantd’avoir une alimentation équilibrée et modérée,que de consommer des aliments bio. Cetteattitude rappelle plutôt celle de la presse politique,qui, sur les sujets controversés, donne souvent laparole à deux experts défendant des positionsopposées. Toutefois il y a deux différencesimportantes : - dans ce cas, la presse « d’opinion » veille aumoins à ce que les deux points de vue bénéficientde la même visibilité. Ce n’est pas le cas dans leJAMA, où l’Editorial Comment est accessibledans un onglet à part dans la page d’accueil de lapublication principale, avec une conséquencefacilement prévisible : à la date où nous finalisonscette note (4 février 2020), l’article Baudry et al. aété vu 173 973 fois, et l’Editorial Comment 22 575fois ! - les lecteurs de quotidiens nationaux tels que LeFigaro ou Libération n’attendent pas une visionparfaitement neutre et objective des informationsqu’ils traitent : ils recherchent plutôt une vision del’actualité qui soit conforme à leur propreorientation politique. Ce n’est pas (encore ?) lecas des lecteurs de revues scientifiques. Sur des sujets ayant des impacts sanitaires aussiimportants que ceux évoqués ici, il serait doncnécessaire que les revues scientifiques fassentpreuve de plus d’exigence dans la discussion desrésultats, et, notamment, dans l’étude de lacohérence des traitements statistiques réalisés.Cela ne signifie pas que les articles dont nousvenons de parler n’ont pas de place dans desrevues de qualité, mais simplement qu’il faudraitveiller à rappeler plus clairement, et de façon pluséquilibrée -ce fut le cas dans le JAMA pourBaudry et al.- que des publications commecelles-ci ne sont que des étapes préliminaires deformulations d’hypothèse, dont la confirmationreste à venir… si elle arrive un jour ! Encore faut-ils’entendre sur ce qu’est une confirmation :

appliquer les mêmes méthodes statistiquesinadaptées, sur une autre cohorte que NutriNetSanté, aurait toutes les chances de donner lesmêmes résultats, les mêmes causes produisantles mêmes effets. Une vraie confirmation ne peutvenir que de l’obtention de résultats similairesavec des traitements statistiques différents, neprivilégiant aucune variable parmi les « variablessuspectes » potentielles. C’est pourquoi J.Ioannidis appelle à une véritable réforme del’épidémiologie nutritionnelle, plutôt que de secontenter d’une vigilance renforcée sur lespublications discutables.

Remerciements L’auteur remercie les membres de la section 8de l’Académie d’agriculture de France, pourleurs conseils avisés sur les questionsnutritionnelles abordées dans cette Note.

Déclaration d’intérêtsL’auteur est salarié de la société iTK, quicollabore avec de nombreux acteurs de l’agro-fourniture (agrochimie et semences,coopératives agricoles).

Références

Baudry J, Assmann KE, Touvier M, Allès B,Seconda L, Latino-Martel P, Ezzedine K, GalanP, Hercberg S, Lairon D, Kesse-Guyot E. 2018.Association of frequency of organic foodconsumption with cancer risk: findings from theNutriNet-santé prospective cohort study. JAMAIntern Medicine,178 (12),1597–1606.

Bradbury KE, Balkwill A, Spencer EA, RoddamAW, Reeves GK, Green J, Key TJ, Beral V, PirieK, The Million Women Study Collaborators.2014. Organic food consumption and theincidence of cancer in a large prospective studyof women in the United Kingdom, British Journalof Cancer, 110, 2321–2326.

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 14

Page 15: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

Braesco V, Corrieu G, Feillet P, Giachetti I,Pascal G, Risse J, Serpelloni M, This H,Trystram G. 2019. Aliments dits "ultra-transformés" et santé : que faut-il en penser ?,https://www.academie-agriculture.fr/publications/publications-academie/ points-de-vue/aliments-dits-ultra-transformes-et-sante-que-faut, dernier accès2020-02-05.

CIRC. 2015. Cancérogénicité de laconsommation de viande rouge et de viandetransformée, Monographies du CIRC, V114.https://www.cancer-environnement.fr/513-Vol-114--Cancerogenicite-de-la-consommation-de-viande-rouge-et-de-viande-transformee.ce.aspx ,dernier accès 2020-02-05.

Corvol P (ed.). 2016. Bilan et propositions demise en œuvre de la charte nationale d’intégritéscientifique.http://cache.media.enseignementsup-recherche .gouv.fr/file/Actus/84/2/Rapport_Corvol_29-06-2016_601842.pdf, dernier accès 2020-02-05.

Diallo A, Deschasaux M, Latino-Martel P,Hercberg S, Galan P, Fassler P, Allès B,Guéraud F, Pierre FH, Touvier M. 2018. Redand processed meat intake and cancer risk:results from the prospective NutriNet-Santécohort study, International Journal of Cancer,142 (2), 230-237.

Fiolet T, Srour B, Sellem L, Kesse-Guyot E,Allès B, Méjean C, Deschasaux M, Dassier P,Latino-Martel P, Beslay M, Hercberg S,Lavalette C, Monteiro CA, Julia C, Touvier M.2018. Consumption of ultra-processed foodsand cancer risk: results from NutriNet-Santéprospective cohort. British Medical Journal,360, k322.

Gueguen L, Pascal G. 2018. Non, il n'est pasétabli que les aliments bio protègent du cancer.https://www.academie-agriculture.fr/publications/publications-academie/points-de-vue/non-il-nest-pas-etabli-que-les-aliments-bio, dernier accès2020-02-05.

Hemler EC, Chavarro JE, Hu FB. 2018. OrganicFoods for Cancer Prevention—Worth theInvestment?, JAMA Intern Medicine, 178 (12),1606–1607.

INPES. 2012. Recommandations relatives àl'alimentation, à l'activité physique et à lasédentarité pour les adultes, http:/inpes.santepubliquefrance.fr/CFESBases/catalogue/p df/581.pdf, dernier accès 2020-02-05.

Ioannidis JPA. 2018. The Challenge ofReforming Nutritional Epidemiologic Research,JAMA Intern Medicine, 320 (10), 969–970 .

Lavalette C, Adjibade M, Srour B, Sellem L,Fiolet T, Hercberg S, Latino-Martel P, Fassier P,Deschasaux M, Kesse-Guyot E, Touvier M.2018. Cancer-Specific and General NutritionalScores and Cancer Risk: Results from theProspective NutriNet-Santé Cohort. CancerResearch, 78 (15), 4427-4435.

Prud'homme L (ed.). 2018. Compte rendu de laCommission d’enquête sur l’alimentationindustrielle : qualité nutritionnelle, rôle dansl’émergence de pathologies chroniques, impactsocial et environnemental de sa provenance.http://www.assemblee-nationale.fr/15/pdf/cr-cealimindu/17-18/c1718009.pdf, dernier accès2020-02-05.

Schnabel L, Kesse-Guyot E, Allès B, et al., 2019.Association Between Ultraprocessed FoodConsumption and Risk of Mortality AmongMiddle-aged Adults in France. JAMA InternMedicine, 179 (4), 490–498.

Stoop P. 2019. Consommer bio : quel effet sur lecancer ? (attention, il y a un piège...),http://www.forumphyto.fr/2017/10/30/consommer-bio-quel-effet-sur-le-cancer-attention-il-y-a-un-piege/, dernier accès 2020-02-05.

Timsit J-F, Alberti C, Chevret S. 2005. Le modèlede Cox – Cox proportional hazards regressionanalysis. Revue des maladies respiratoires, 22(6), 1058-1064.

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 15

Page 16: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

Edité parAlain Pavé, biométricien, professeur émérite àl’Université Claude Bernard Lyon 1, membre del’Académie des technologies et membrecorrespondant de l’Académie d'agriculture deFrance.

Rapporteurs

Sandrine Charles est professeur des universités,à l’Université Claude Bernard (Lyon 1) et dirigel’équipe « Modélisation et ÉcotoxicologiePrédictive » du Laboratoire de Biométrie etBiologie Évolutive (UMR 5558, UCBL, ÉcoleVétérinaire de Lyon, CNRS, INRIA et HospicesCivils de Lyon), membre junior de l’iUF (2011-2016).

Muriel Rabilloud, Maître de conférence desuniversités à l’Université Claude Bernard (Lyon 1)et praticien hospitalier, Service de Biostatistiqueet Bioinformatique des Hospices Civils de Lyon etLaboratoire Biostatistique Santé, LBBE UMR5558.

RubriqueCet article a été publié dans la rubrique « Notesde recherche » des Notes Académiques del'Académie d'agriculture de France.

Reçu24 avril 2019

Accepté 5 février 2020

Publié17 février 2020

CitationStoop P. 2020. Santé et alimentation : attentionaux faux-semblants statistiques, NotesAcadémiques de l'Académie d'agriculture deFrance / Academic Notes from the FrenchAcademy of Agriculture, 2020, 1, 1-20.

Philippe Stoop est Directeur Recherche etInnovation de la société iTK (développementd’outils d’aide à la décision et d’objets connectéspour l’agriculture et l’élevage), et membrecorrespondant de l’Académie d’agriculture deFrance (section 9 : Agrofournitures).

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 16

Page 17: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

Table supplémentaire 1. On donne pagesuivante le tableau 1 de Baudry et al. (2018),qui montre la liaison entre la consommationd’aliments bio et les principaux facteursenregistrés dans la cohorte NutriNet Santé.Exemple de lecture : il y a une liaisonhautement significative (p < 0,01) entre l’âge etla consommation d’aliments bio. En effet, les25 % de personnes ayant la plus forteconsommation de bio (Q4) ont un âge moyen de45,89 ans, alors que les personnes ayant laconsommation la plus faible (Q1) sont âgées enmoyenne de 42,99 ans. En conséquence, il est légitime de corriger lesincidences de cancer observées dans le Q4 del’effet de cette différence d’âge, pour ne pasattribuer aux aliments bio une augmentation durisque de cancer qui serait en fait due à ladifférence d’âge entre le Q1 et le Q4. Le problème

est ici qu’il y a une vingtaine de facteurs corrélésà la consommation de bio, ce qui rend lesredressements statistiques très difficiles. De surcroît, on note qu’à l’exception del’âge, du sexe, et des antécédents familiauxde cancer (family history of cancer), tousces facteurs jouent dans le sens d’uneréduction du risque de cancer chez les fortsconsommateurs de bio. Si les ajustementsstatistiques multiples réalisés dans lesmodèles 2 et 3 de cette publication n’ontque très peu d’effet, ce n’est donc pas parceque les effets de facteurs négatifscompenseraient les effets d’autres facteurspositifs : c’est bien que le modèle statistiqueutilisé ne trouve pour ces variables qu’uneffet faible à nul sur le risque de cancer,même pour la consommation de tabac oud’alcool, et de viande rouge ou transformée.

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 17

Page 18: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 18

Page 19: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

Figure supplémentaire 1. Figure 1 de Lavalette etal. (2018) : dans cet article, qui porte égalementsur la cohorte NutriNet Santé, les auteurs ontcomparé le degré de liaison de l’incidence descancers avec plusieurs indicateurs de qualiténutritionnelle des régimes alimentaires. Ils ontobservé que l’indicateur américain WCRF/AICRest le mieux corrélé avec le risque de cancer :les personnes dont le régime est bien classéselon cet indice ont un risque significativementréduit pour la plupart des cancers majeurs. Cerésultat est logique, car cet indicateur a été créépour ce but. En revanche, le PNNS-GS, quimesure la conformité du régime alimentaire auxrecommandations du PNNS, est un indicateurbeaucoup moins net du risque de cancer : sonrespect n’est pas corrélé à une baissestatistiquement significative du risque de cancer,sauf pour les cancers colorectaux. Ce résultat estlogique, car le PNNS-GS a des objectifs plusgénéralistes que le WCRF/AICR. Compte tenu de

ce résultat, on ne comprend pas bien pourquoila même équipe a redressé les résultats deBaudry et al. (qui portaient sur la liaison entrecancer et alimentation bio) par le mPNNS-GS(variante du PNNS-GS qui ne prend pas encompte l’activité physique) : d’après Lavalette etal., c’est le WCRF/AICR qu’il faudrait prendrecomme référence pour l’effet protecteur durégime alimentaire (hors effet du bio), et non lemPNNS-GS. Il en de même dans Fiolet et al.,sur les aliments « ultratransformés », ou c’estencore un troisième indicateur, le Western DietPattern, qui a été retenu, à la place duWCRF/AICR. De surcroît, pour être pluscohérent avec le consensus scientifique actuel,il eut été préférable de stratifier la cohorteNutriNet Santé selon son WCRF/AICR et devérifier ensuite si le niveau de consommationd’aliments bio (ou « ultra-transformés ») a uneffet significatif dans chaque quartile deWCRF/AICR.

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 19

Page 20: Santé et alimentation : attention aux faux- semblants ...©_et_alimentation_Statistiques_(PS-A… · statistics Introduction Les rapports entre santé et alimentation sont un sujet

Notes Académiques de l'Académie d'agriculture de France Academic Notes from the French Academy of Agriculture

(N3AF)Note de recherche

Figure supplémentaire 2. Figure 2 deBradbury et al. (2014), sur l’incidence descancers chez les consommatrices de biodans la cohorte britannique One MillionWomen. Contrairement à la présentationtronquée qui en est le plus souventpropagée en France, cette étude (qui aemployé la même méthode statistique quecelle qui a été appliquée à la cohorteNutriNet Santé) est très loin de confirmerles résultats de Baudry et al. sur uneliaison négative entre alimentation bio etcancer. Le seul point commun est que l’ontrouve dans les deux cohortes uneincidence réduite de lymphome nonhodgkinien chez les fortes consommatricesde bio. En revanche, on trouve chez lesconsommatrices britanniques de bio uneincidence significativement augmentée descancers du sein, de l’utérus et du cerveau(pour les deux derniers cancers, l’excèsn’est significatif que pour lesconsommatrices occasionnelles, mais onobserve aussi un excès non significatifaussi fort, voire plus, chez lesconsommatrices les plus fortes). Et, pourl’ensemble des cancers, l’excès chez lesfortes consommatrices de bio était toutproche de la significativité à 5 % (hazardratio de 1,03, avec un intervalle deconfiance à 95 % de [1.00-1.06]. Bien sûr, personne de sérieux n’enconclurait que l’alimentation bio provoquedes cancers : il s’agit sans doute de l’effetde facteurs de confusion associés à laconsommation d’aliments bio chez lesfemmes britanniques. Toutefois cettepublication montre bien que la méthodestatistique employée est incapable decorriger correctement l’effet des facteursde confusion associés au bio. Et saréception médiatique est révélatrice de lapartialité avec laquelle les étudesscientifiques sur ces sujets sont examinées.

Notes Académiques de l'Académie d'agriculture de France (N3AF) 2020, 1, 1-20 20