Analyse critique d’article

P VignonRéanimation polyvalente

CHU Limoges

Analyse « critique »• Déterminer objectivement les points forts et faibles d’un

article scientifique• Pouvoir le situer dans la littérature existante pour

déterminer son apport éventuel à l’état des connaissances• Définir son champ d’application potentiel• Choisir s’il doit être mis en pratique dans son service, le

cas échéant en modifiant des procédures de soins écrites• Evaluer l’impact d’éventuelles modification dans les

procédures de soins et suivre la littérature à ce sujet.

Analyse de la qualité d’un article1. Objectif de l’étude (hypothèse testée)2. Type d’étude (adaptée à l’hypothèse)3. Facteur étudié (critère principal de jugement)4. Population source (critères d’inclusion et exclusion)5. Facteurs de confusion et biais (liés à la méthodologie)6. Analyse statistique (adaptée au type d’étude / objectif)7. Aspect éthique (accord CPP, loi de bioéthique)8. Présentation des résultats (exhaustivité, détails)9. Discussion et conclusion des auteurs (rapport avec les résultats)

Objectif principal de l’étude• Une étude = un objectif principal• Un objectif principal = un critère principal de jugement• Le critère principal de jugement doit permettre d’évaluer l’objectif

principal de l’étude• Il doit être aisément utilisable et reproductible par toute équipe

qui prend en charge le même type de malades• Fondamental : conditionne le succès de l’étude ! (ex, midazolam)

L’hypothèse de l’étude est-elle clairement énoncée dans l’introduction ?

A-t-elle été posée a priori ?

Objectif(s) secondaire(s) de l’étude• Une étude peut avoir un ou plusieurs objectifs secondaires• Evaluent des questions complémentaires (ex, tolérance

d’un traitement, facteurs de risque d’une complication…)• Souvent en rapport avec la littérature existante (ex,

mortalité à 28 jours ; UTSTEIN et arrêt cardiaque)• Evitent la multiplication d’études « ancillaires »…

Les objectifs secondaires sont-ils pertinents et en nombre raisonnable ?

S’agit-il d’une étude ancillaire ou d’une duplication de publication ?

Type d’étude

• Identifier le type d’étude :– Expérimentale (animaux, volontaires sains)

– Essais cliniques (thérapeutiques ou diagnostiques)

– Enquêtes (population ou échantillon de population)

– Autre (synthèse, mise au point, méta-analyse, recommandation d’experts etc…)

• Déterminer si le type d’étude est adapté à l’hypothèse testée (ex, Swan-Ganz et mortalité)

Le type d’étude permet-il de répondre à l’objectif principal ?

ProspectiveRétrospectiveRandomiséeContrôlée non randomiséeCas-témoin…

Critère principal de jugement

• Le critère principal de jugement doit être idéalement :– Unique (non composite)

– Objectif (mesurable)

– Reproductible (inter- et intra-observateur)

– Utilisable en pratique (faisabilité)

• Il doit découler directement de l’objectif principal

Le critère de jugement a-t-il tous les critères de qualité ?

Est-il adapté pour répondre à l’objectif principal de l’étude ?

Population source• Doit être adaptée pour tester l’hypothèse de l’étude (ex,

trachéotomie en réanimation)• Doit être représentative (échantillon) de la population de

patients intéressés par l’hypothèse testée (ex, choc septique et nb défaillances d’organes ; ATIII et héparine)

• Doit être détaillée (caractéristiques) en terme de critères d’inclusion et d’exclusion (ex, choc septique et fenêtre d’inclusion)

Existe-t-il un « flow chart » type CONSORT ?

Randomisation• Centralisée ou non• Stratification ou non :

– Par centre ?– Selon le patient (ex, ATIII et héparine, TVP et âge)

• Taille des blocs variable ou non

Le type de randomisation a-t-il permis de limiter le biais de sélection ?

Biais• Dépendent directement de la qualité de la méthodologie• Biais de sélection :

– Précision des critères d’inclusion / exclusion– Exhaustivité (« screen failure log) +++

• Biais d’exécution :– En rapport avec les soins / explorations réalisés– Faisabilité et logistique (24h/24 ou diurne ou jours ouvrables)

• Biais d’exclusion :– Perte de vue (suivi)

• Biais de détection :– Exclusion de l’analyse finale– Honnêteté scientifique…

Les biais de l’étude remettent-ils en cause les résultats ?

Biais de sélection

Biais d’exécution

Biais d’exclusion

Biais de détection

Taille de l’échantillon• Doit être adaptée à l’objectif principal :

– Calcul d’effectif a priori ?– Base : littérature, résultats préliminaires (observationnel)?

• Etude de supériorité ou d’équivalence (non infériorité) ?• Ampleur de la différence pertinente ?

– Relation ampleur de différence et taille des groupes– Balance : faisabilité / pertinence (ex, 2% mortalité sur 50%)

• Analyse intermédiaire prise en compte dans le calcul d’effectif• Durée du suivi adapté à l’objectif principal (ex, mortalité J28

dans le choc septique)

Bases pour les règles de calculs• Supériorité ou équivalence• Risque ALPHA : en règle 5%

risque consenti de mettre en évidence une différence qui n’existe pas

• Risque BETA : en règle 20% mais parfois inférieurrisque consenti de ne pas mettre en évidence une différence qui existe)Puissance de l’étude = 1 – BETA (en règle 80%, ou plus)

• Tests uni- / bilatéraux : différence détectée dans un seul / deux sens

La puissance de l’étude est-elle adaptée / suffisante pour en tirer les conclusions ?

Analyse statistique : validité ?• Description (moyenne / médiane ; déviation standard / erreur

standard, intervalles de confiance) : dispersion des valeurs• Paramétrique et non paramétrique (distribution normale / non) :

n < ou > 30 ou distribution a-normale (durée hospitalisation…)• Distinguer comparaisons ponctuelles et mesures répétées• Comparaison de deux méthodes de mesures : Blant et Altman

et non corrélation (linéaire) & dispersion (2 SD)• Comparaison de deux interprétations qualitatives : Kappa &

dispersion (intervalles de confiance 90%)• Identification d’une valeur seuil : courbe ROC

Analyse statistique : validité ?• Temps de survie d’un événement : modèles de survie

(Kaplan-Meier, Cox…)• Influence de co-variables sur le critère principal de jugement :

analyse multivariée et ajustement sur les différencesPAS DE COMPARAISONS UNIVARIEES MULTIPLES +++ (test de Bonferroni : 5% / nb de tests réalisés)

• Valeur de P < 0,05 : à relativiser !!!– Pas de rapport de cause à effet– 5% de risque d’erreur à conclure à une différence statistiquement

significative alors qu’elle n’existe pas réellement)

Attention au culte du P !!• Significatif ne veut pas dire relation de cause à effet +++• Seuil de 5% : 1 chance sur 20 de mettre en évidence une

différence qui n’existe pas dans une comparaison au hasard !!Donner la valeur du P (0,04 ou 0,000000001 ?)

• P > 0,05 :– Pas de différence entre les deux groupes comparés– Puissance insuffisante +++ (pb calcul d’effectif)

• Juger selon les intervalles de confiance du paramètre comparé entre les groupes (pertinence augmente si IC étroits)

Analyses en sous-groupes

• Doivent avoir été prévues a priori pour être exploitable• Sinon : hypothèses nouvelles à explorer par d’autres

études prospectives mais pas de conclusions possibles (risque de conclusion faussement positive)

• Problème : manque de puissance +++

Les analyse en sous-groupes ne prévalent-elle pas sur l’analyse principale dans la présentation ?Les conclusions des auteurs ne sont-elles pas excessives ?

Aspects éthiques

• Interventionnelle : CPP, consentement éclairé signé (dérogation consentement d’urgence, prolongement de consentement)

• Observationnelle : avis d’un comité d’éthique, information au patient traçabilitié)

Présentation des résultats

• Caractéristiques de la population d’étude (« flow chart »)• Tableau : population globale et groupes comparés

Comparabilité des groupes ?• Critère principal de jugement• Critères secondaires de jugement• Analyses post-hoc éventuelles

Présentation des résultats en accord avec les objectifs et la méthodologie choisie ?

Discussion et conclusion

• Discussion de la validité interne et externe des résultats• Limites de l’étude• Conclusion à tirer des résultats présentés

La discussion est-elle directement en rapport avec les résultats de l’étude ?La conclusion des auteurs est-elle supportée réellement par les résultats obtenus ?

Analyse « critique »• Déterminer objectivement les points forts et faibles d’un article

scientifique• Pouvoir le situer dans la littérature existante pour déterminer son

apport éventuel à l’état des connaissances• Définir son champ d’application potentiel• Choisir s’il doit être mis en pratique dans son service, le cas

échéant en modifiant des procédures de soins écrites• Evaluer l’impact d’éventuelles modification dans les procédures

de soins et suivre la littérature à ce sujet.

Cohérence externe• Intérêt / pertinence de l’étude :

– Originalité (ex, pas de réponse dans la littérature) ?– Intérêt de dupliquer les résultats (ex, données rares ou parcellaires,

publication thématique d’une même équipe) ?– Hypothèse née d’une étude en sous-groupe d’une étude précédente ?– Extension à une population plus large / représentative ?

• Comparaison à des études antérieures :– Validité de la confirmation de résultats antérieurs– Raison pour des résultats différents (comparabilité des populations ?)

Intérêt scientifique / pratique de l’étude ?

Analyse « critique »• Déterminer objectivement les points forts et faibles d’un article

scientifique• Pouvoir le situer dans la littérature existante pour déterminer son

apport éventuel à l’état des connaissances• Définir son champ d’application potentiel• Choisir s’il doit être mis en pratique dans son service, le cas

échéant en modifiant des procédures de soins écrites• Evaluer l’impact d’éventuelles modification dans les procédures de

soins et suivre la littérature à ce sujet.

Champ d’application potentiel• Dépend des caractéristiques de la population d’étude• Dépend de l’exhaustivité des inclusions des patients éligibles et de la

qualité méthodologique (biais réduits)• Pièges à éviter :

– Ne pas appliquer aveuglément un nouveau traitement / procédure sans discernement : population étudiée comparable au recrutement du service ?

– Ne pas appliquer systématiquement les résultats concernant une analyse post-hoc même s’ils confirment une conviction personnelle

– Appliquer le même traitement à la même population et ne pas « personnaliser » les résultats d’une étude +++

• Résister aux effets modes !!! (ex, NO inhalé et SDRA ; HSCH et choc septique ; insuline et normoglycémie stricte…)

Conclusions• Article « critique » d’article = garder son indépendance !!• Règles simples et générales :

– Lecture d’articles scientifiques– Préparation et rédaction du mémoire de DESC– Publication dans des revues à comité de lecture– Règles utilisés par les « lecteurs » de revues à comité de lecture

(« reviewers »)

• Professionalisation de la recherche « académique » sur les traces de la recherche « industrielle » : exigences accrues !

• Gagnant : malade car recherche indivisible des soins !