Méthodes pour faire la synthèse d’études sans groupes témoins
Transcript of Méthodes pour faire la synthèse d’études sans groupes témoins
Juin 2009
Méthodes pour faire la synthèse d’études sans groupes témoins
Donna Fitzpatrick-Lewis • Donna Ciliska • Helen Thomas
2
3
Méthodes pour faire la synthèse d’études sans groupes témoins
Preparé pour le Centre de collaboration nationale des méthodes et outils par
Donna Fitzpatrick-Lewis • Donna Ciliska • Helen Thomas
Juin 2009
Centre de collaboration nationale des méthodes et outils (CCNMO)
Université McMaster
1685, rue Main Ouest, bureau 302
Hamilton, Ontario L8S 1G5
Téléphone : 905.525.9140, poste 20455
Télécopieur : 905.529.4184
Web: www.ccnmo.ca
Financé par l’Agence de la santé publique du CanadaAffilié à l’Université McMasterLa production de ce document a été rendue possible grâce à l’aide financière de l’Agence de la santé publique du Canada.Les opinions exprimées ici ne représentent pas nécessaire-ment celles de l’Agence de la santé publique du Canada.
4
5
Table des matiéres
Principales recommandations : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Sommaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12Méthodes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13Pertinence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13Synthèse des données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Constatations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15Outils d’évaluation critique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15Examens systématiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21Méthodes pour faire la synthèse d’études quantitatives sans groupes témoins 28Combiner des études qualitatives et quantitatives . . . . . . . . . . . . . . . . . . . . . . 31Études comparant les résultats selon des méthodes différentes . . . . . . . . . . . 32
Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Recommandations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Tableau résumant les résultats des documents pertinents. . . . . . . . . . . . . . . . . . . . 38
Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6
Principales recommandations :1. Intégrer des études sans groupes témoins dans les examens systématiques, en
particulier quand il n’y a aucune autre étude à prendre en compte. Les études sans groupes témoins peuvent aussi renseigner sur l’efficacité à long terme, les cas rares et les effets néfastes.
2. Éviter de généraliser l’orientation des écarts de revenu entre les études sur échan-tillon aléatoire et celles sur échantillon non contrôlé. Bien que les effets soient plus souvent de moindre envergure dans les essais sur échantillon aléatoire et contrôlé (EEAC), certains donnent des résultats inverses ou identiques quel que soit le modèle d’étude.
3. Adopter l’approche de Whittemore et Knafl (2005) selon laquelle il faut inclure les résultats d’essais sur échantillon non aléatoire. Whittemore et Knafl proposent une méthode d’examen par intégration en cinq étapes qui englobe la définition des problèmes, le dépouillement documentaire ainsi que l’évaluation, l’analyse et la présentation des données.
4. Recommandations concernant les méthodes d’examen systématique, incluant les études sans groupes témoins :
a) utiliser un outil d’évaluation critique dont l’uniformité interne, la fiabilité de test-retest, le coefficient d’objectivité et, à tout le moins, la validité appar-ente et de critère ont été éprouvés (Downs et Black, 1998; Slim, Nini, For-estier et coll., 2003; Steuten, Vrijhoef, van-Merode et coll., 2004; Thomas, Ciliska, Dobbins et coll., 2004a; Zaza, Wright-De Aguero, Briss et coll., 2000);
b) éviter de méta-analyser les résultats d’études par observation.5. Suggestions aux auteurs d’études primaires :
a) assurer un modèle d’étude solide et transparent dans tous les essais sur échantillon non aléatoire;
b) confirmer que la question de recherche détermine le modèle d’étude;c) inclure des renseignements détaillés sur l’étude; s’il manque de
l’information, les lecteurs ne pourront déterminer ce qui a été fait ou non dans le modèle d’étude;
d) garantir l’uniformité de la terminologie et des descriptions dans toutes les études sur échantillon non aléatoire afin de faciliter les comparaisons.
6. Répercussions sur les recherches ultérieures :a) effectuer des essais de fiabilité et de validité sur les outils d’évaluation
critique; b) mener d’autres études pour évaluer les divers résultats obtenus par des
essais sur échantillon aléatoire ou non. 7. Il est difficile d’inclure des données provenant d’essais sur échantillon non aléa-
toire; cependant, cela peut offrir plusieurs avantages :a) un ensemble de documentation plus large peut être inclus dans les straté-
7
gies de recherche (Thomas, Harden, Oakley et coll., 2004);b) la portée des questions auxquelles on peut répondre peut être élargie; c) l’étude permet d’établir pourquoi, comment et pour qui les interventions ou
les programmes réussissent ou échouent (Oliver, Harden, Rees et coll., 2005).
8
Sommaire
Actuellement, il n’existe aucun modèle standard pour faire la synthèse des études sans groupes témoins. Le présent document a pour objet d’examiner les méthodes de synthèse, les outils d’évaluation critique et les études portant sur l’évaluation et la synthèse des études sans groupes témoins. Les EEAC sont réalisables en situation clinique, mais les interven-tions en santé publique peuvent rarement reproduire l’environnement contrôlé de la clinique. Les chercheurs, les responsables de l’élaboration des politiques et les décideurs en matière de pratique doivent souvent se fier à d’autres genres de modèles d’étude comme source de données probantes. Le présent document exposera dans leurs grandes lignes les pré-cautions à prendre quand il s’agit d’inclure des études sur échantillon non contrôlé comme données probantes, et il recommande des outils efficaces pour analyser les résultats de ces genres d’études.
Méthodes
Avec l’aide d’un bibliothécaire, cinq bases de données électroniques ont été interrogées par mots clés. De plus, les références bibliographiques de tous les articles pertinents et de toute la littérature grise ont été dépouillées.
Un article répondait au critère de pertinence : s’il s’agissait d’une étude primaire comparant les résultats de la même intervention • effectuée à l’aide d’EEAC ou d’études sans groupes témoins; s’il s’agissait d’une synthèse de méthodes employées pour examiner des études • sans groupes témoins; si au moins il incluait l’une des méthodes suivantes : cohorte de groupes (avant-• après ou juste après), modèle transversal, séries chronologiques interrompues (SCI) ou méthodes mélangées; s’il avait été publié entre 1995 et novembre 2007.•
Un document était exclu : si l’accent était mis sur les EEAC, les essais cliniques sur échantillon contrôlé ou • les études sur échantillon quasi-aléatoire; si l’accent était mis sur une étude analytique de cohortes (avant-après sur au • moins deux groupes); si l’étude était seulement qualitative;• s’il avait été publié avant 1995.•
La mise à l’épreuve de la pertinence a été concluante dans le cas de trente-six documents, et ceux-ci ont fait l’objet d’une extraction de données complète. Bon nombre des études in-cluses étaient fondées sur l’observation. Il est important de noter que même si ces dernières études sont définies de bien des façons, seules celles qui avaient été menées sans groupes témoins ont été incluses dans le présent document.
9
Constatations
Quatorze articles fournissaient des outils d’évaluation critique pouvant aider à juger de la ri-gueur méthodologique des études primaires. Dans le cas d’un examen systématique, celles-ci devraient inclure une évaluation de leur qualité. Un outil d’évaluation critique est essentiel quand il s’agit de passer au crible les données probantes provenant d’études primaires sans groupes témoins. Ces outils peuvent renseigner sur les forces et les faiblesses de l’information. Ils aident le lecteur à évaluer la qualité méthodologique, à gérer les variables confusionnelles, à déterminer les biais possibles et à effectuer une analyse des données. Ils sont particulièrement utiles lorsque les critères d’évaluation des EEAC ne sont pas applica-bles. Dans bon nombre des cas, leur validité et leur fiabilité n’ont pas été mises à l’épreuve, ce qu’il serait sage de faire comme prochaine étape.
Onze examens systématiques comprenaient des études primaires sans groupes témoins, ou visaient à vérifier si les outils d’évaluation critique permettaient d’évaluer la qualité des études sans groupes témoins. Les examens destinés à vérifier s’il était possible de com-biner les résultats d’EEAC et d’essais sur échantillon non aléatoire et contrôlé portent à croire que les études bien conçues peuvent donner des résultats semblables, peu importe leur genre. Bon nombre de ces examens portent à croire qu’une mauvaise réalisation de la méthode des études primaires nuit à la qualité plutôt qu’à la méthode elle-même. Lorsque l’on a tenté de comparer les données d’une étude à l’autre, il s’est avéré que la sous-com-munication des méthodes employées, la mauvaise gestion des variables confusionnelles et l’absence de terminologie analytique uniforme pouvaient être problématiques.
Six documents portaient sur diverses manières de faire la synthèse des données quantita-tives découlant d’études sans groupes témoins et de les intégrer. Les auteurs ont conv-enu qu’il est avantageux d’intégrer des données probantes provenant de divers modèles d’étude, mais l’évaluation de la qualité est primordiale lorsqu’il s’agit de fournir des don-nées probantes dignes de confiance. Les études primaires où le biais possible et l’impact ou l’effet probable sont clairs peuvent être intégrées dans les examens systématiques de manière utile.
Trois articles décrivaient les méthodes employées pour faire la synthèse de données prov-enant à la fois d’études qualitatives et quantitatives. Intégrer des données qualitatives et quantitatives dans un rapport peut contribuer à faire comprendre la réussite ou l’échec des interventions. Évaluer la qualité des études sans groupes témoins peut être problématique, surtout si la qualité est évaluée selon des critères traditionnels utilisés pour des examens systématiques ou des méta-analyses. Les résultats de l’évaluation de la qualité n’ont pas servi de critère d’exclusion, mais il pourra en être question lorsqu’il s’agira d’aborder les constatations. Il a été proposé de regrouper les constatations suivant une méthode thé-matique et globale comme autre approche appropriée à la méta-analyse. Les chercheurs pouvaient aussi intégrer certains des processus utilisés dans les examens systématiques, comme le fait de demander à deux personnes d’examiner et d’extraire les données. La plu-part des auteurs ont suggéré une approche narrative à la présentation des résultats, quand la méta-analyse ne convenait pas.
Deux documents visaient à comparer les résultats de différentes méthodes appliquées à la même intervention. Ces articles soulignaient qu’il est utile de tenir compte de différents
10
modèles dans les examens. Non seulement il peut s’agir des meilleurs renseignements qui existent, mais ils permettent aussi de répondre aux questions concernant l’efficacité à long terme, les situations négatives et les cas rares. Les forces de l’inclusion de différents modèles dans les examens l’emportent sur les limites.
Recommandations
1. Intégrer des études sans groupes témoins dans les examens systématiques, en particulier quand il n’y a aucune autre étude à prendre en compte. Les études sans groupes témoins peuvent aussi renseigner sur l’efficacité à long terme, les cas rares et les effets néfastes.
2. Éviter de généraliser l’orientation des écarts de revenu entre les études sur échan-tillon aléatoire et celles sur échantillon non contrôlé. Bien que les effets soient plus souvent de moindre envergure dans les essais sur échantillon aléatoire et contrôlé (EEAC), certains donnent des résultats inverses ou identiques quel que soit le modèle d’étude.
3. Adopter l’approche de Whittemore et Knafl (2005) selon laquelle il faut inclure les résultats d’essais sur échantillon non aléatoire. Whittemore et Knafl proposent une méthode d’examen par intégration en cinq étapes qui englobe la définition des problèmes, le dépouillement documentaire ainsi que l’évaluation, l’analyse et la présentation des données.
4. Recommandations concernant les méthodes d’examen systématique, incluant les études sans groupes témoins :
a) utiliser un outil d’évaluation critique dont l’uniformité interne, la fiabilité de test-retest, le coefficient d’objectivité et, à tout le moins, la validité appar-ente et de critère ont été éprouvés (Downs et Black, 1998; Slim, Nini, For-estier et coll., 2003; Steuten, Vrijhoef, van-Merode et coll., 2004; Thomas, Ciliska, Dobbins et coll., 2004a; Zaza, Wright-De Aguero, Briss et coll., 2000);
b) éviter de méta-analyser les résultats d’études par observation.5. Suggestions aux auteurs d’études primaires :
a) assurer un modèle d’étude solide et transparent dans tous les essais sur échantillon non aléatoire;
b) confirmer que la question de recherche détermine le modèle d’étude;c) inclure des renseignements détaillés sur l’étude; s’il manque de
l’information, les lecteurs ne pourront déterminer ce qui a été fait ou non dans le modèle d’étude;
d) garantir l’uniformité de la terminologie et des descriptions dans toutes les études sur échantillon non aléatoire afin de faciliter les comparaisons.
6. Répercussions sur les recherches ultérieures :a) effectuer des essais de fiabilité et de validité sur les outils d’évaluation
critique;
11
b) mener d’autres études pour évaluer les divers résultats obtenus par des essais sur échantillon aléatoire ou non.
7. Il est difficile d’inclure des données provenant d’essais sur échantillon non aléa-toire; cependant, cela peut offrir plusieurs avantages :
a) un ensemble de documentation plus large peut être inclus dans les straté-gies de recherche (Thomas, Harden, Oakley et coll., 2004);
b) la portée des questions auxquelles on peut répondre peut être élargie; c) l’étude permet d’établir pourquoi, comment et pour qui les interventions ou
les programmes réussissent ou échouent (Oliver, Harden, Rees et coll., 2005).
12
Introduction
Les politiques et la pratique en santé publique ont surtout pour but de protéger la santé des gens. Afin d’atteindre ce but, les professionnels de la santé publique tiennent compte des données probantes quand ils prennent des décisions. Lorsqu’il s’agissait d’analyser l’efficacité d’interventions, les scientifiques ont toujours préféré le modèle d’étude fondé sur des essais sur échantillon aléatoire et contrôlé (EEAC) pour obtenir les résultats les moins biaisés. Un EEAC peut procurer des résultats d’étude rigoureux du point de vue de l’efficacité. Cependant, ce ne serait peut-être pas le meilleur modèle d’étude à employer pour d’autres genres de questions de recherche (DiCenso, Prevost, Benefield et coll., 2004). En promotion de la santé publique et de la santé en général, il pourrait s’avérer difficile d’utiliser des essais sur échantillon aléatoire pour une question précise. Cela signifie-t-il que nous devrions laisser de côté les données probantes découlant d’autres méthodes? Cer-tains chercheurs estiment que seuls les EEAC ont la rigueur scientifique nécessaire pour produire des données probantes valables.
En situation clinique, il est possible d’effectuer des EEAC. Mais les interventions en santé publique permettent rarement de reproduire l’environnement contrôlé de la clinique. Ces interventions sont souvent communautaires, et le recrutement peut s’avérer difficile, ce qui crée un biais de sélection. Par conséquent, il peut s’avérer impossible d’assurer la pureté des groupes témoins sans qu’ils soient intercontaminés. Les chercheurs en santé publique doivent souvent se fier à d’autres genres de modèles d’étude, qui occupent souvent un rang inférieur dans la « hiérarchie des données probantes » (Ogilvie, Egan, Hamilton et coll., 2005). Toutefois, les études par observation, par exemple, peuvent fournir des renseigne-ments précieux lorsqu’il s’agit de prendre des décisions de santé publique. Les données qualitatives peuvent compléter les données statistiques en nous aidant à comprendre pour-quoi et comment une intervention a réussi ou échoué et qui était en cause. Il existe toute une documentation sur les méthodes de synthèse des études qualitatives (méta-synthèses), mais ces méthodes dépassent la portée du présent document.
Étant donné que le risque de biais est plus grand dans les études par observation, celles-ci sont souvent exclues des examens systématiques de traitements. Toutefois, elles offrent plusieurs avantages par rapport aux EEAC : elles sont moins coûteuses, elles permettent un échantillonnage plus large, et elles procurent des mesures de résultats à plus long terme (Benson et Hartz, 2000). De plus, les études par observation peuvent fournir les « meil-leures données probantes qui soient » dans certaines situations (Ogilvie et coll., 2005).
À l’heure actuelle, il n’existe aucun modèle standard pour faire la synthèse des résultats d’études sans groupes témoins. Le présent document a pour objet d’examiner les méth-odes de synthèse, les outils d’évaluation critique et les études visant à évaluer les résultats d’études quantitatives sans groupes témoins et à en faire la synthèse. Il exposera aussi dans leurs grandes lignes certaines précautions à prendre lorsqu’il s’agit d’utiliser des études sur échantillon non contrôlé comme données probantes, et il présentera des recom-mandations de processus et d’outils.
13
Méthodes
Voici les méthodes qui ont été employées pour recueillir la documentation aux fins du présent document :
un dépouillement exhaustif de la documentation publiée de janvier 1995 à octobre • 2007; l’examen et la récupération de références bibliographiques tirées d’articles perti-• nents; le dépouillement et la récupération de littérature grise pouvant être pertinente.•
La recherche initiale a été effectuée par un bibliothécaire qualifié, à l’aide des mots clés suivants : review (examen), systematic review (examen systématique), literature review (examen documentaire), meta-analysis (méta-analyse), not random (non aléatoire) et not randomized clinical trials (essais cliniques sur échantillon non aléatoire). Ces recherches par mots clés ont été effectuées dans plusieurs bases de données : PsycINFO, OVID MED-LINE, EMBASE, CINAHL et Scholars Portal. La recherche initiale a permis de trouver 9324 articles potentiellement pertinents. Les titres et les résumés ont été lus indépendamment par deux examinateurs, qui ont passé en revue 182 articles pour mettre pleinement leur perti-nence à l’épreuve.
Pertinence
Un article faisait l’objet d’une mise à l’épreuve complète de sa pertinence : s’il s’agissait d’une étude primaire comparant les résultats de la même intervention • effectuée à l’aide d’EEAC ou d’études sans groupes témoins; s’il s’agissait d’une synthèse de méthodes employées pour examiner des études • sans groupes témoins; si au moins il incluait l’une des méthodes suivantes : cohorte de groupes (avant-• après ou juste après), modèle transversal, séries chronologiques interrompues (SCI) ou méthodes mélangées; s’il avait été publié entre 1995 et novembre 2007.•
Un document était exclu : si l’accent était mis sur les EEAC, les essais cliniques sur échantillon contrôlé ou • les études sur échantillon quasi-aléatoire; si l’accent était mis sur une étude analytique de cohortes (avant-après sur au • moins deux groupes); si l’étude était seulement qualitative;• s’il avait été publié avant 1995.•
La mise à l’épreuve de la pertinence a été concluante dans le cas de trente-six documents, et ceux-ci ont fait l’objet d’une extraction de données complète. Bon nombre des études in-cluses étaient fondées sur l’observation. Il est important de noter que même si ces dernières études sont définies de bien des façons, seules celles qui avaient été menées sans groupes
14
témoins ont été jugées pertinentes.
Synthèse des données
Les chercheurs ont fait la synthèse de 36 documents sous une forme narrative, par sujet : outils d’évaluation critique• examens systématiques• méthodes de synthèse des études quantitatives sans groupes témoins• études qualitatives et quantitatives combinées• comparaison de résultats suivant des méthodes différentes•
Certains documents auraient pu être inclus dans plusieurs sections. Toutefois, nous avons classé les documents dans les groupes qui semblaient leur convenir le mieux.
Le document donne un résumé narratif des documents pertinents. Les résultats sont aussi exposés en détail sous forme de tableaux (reportez-vous à l’annexe 1).
15
Constatations
Outils d’évaluation critique
En tout, 14 documents décrivaient des outils d’évaluation critique.
Rangel, Kelsey, Colby et coll. (2003) se sont penchés sur l’absence d’un outil de mesure standard pour déterminer la qualité des études par observation. Ils ont mis au point un instrument d’évaluation de la qualité pour les études sur échantillon non aléatoire qui en-globaient 30 éléments dans trois sous-échelles. Les sous-échelles servaient à évaluer la pertinence clinique, la méthode de communication et la force des conclusions. Les cotes globales ont été établies par combinaison de chaque sous-échelle, et les études étaient ainsi cotées comme étant « bonnes », assez bonnes » ou « mauvaises ». Le coefficient d’objectivité était élevé quand les degrés d’entente atteignaient une concordance de résul-tats de 84,6 % (n = 1573 éléments). Pour l’ensemble des sous-échelles, il allait de 73,3 % à 85,8 % (n = 60 à 1258). Voici les applications possibles de cet outil :
favoriser la mise au point d’une méthode standard pour les examens systéma-• tiques de données rétrospectives; aider à créer une stratégie de méta-analyse des essais sur échantillon non aléa-• toire; élaborer des lignes directrices standard de communication pour les revues exami-• nées par les pairs.
Margetts et coll. (1995) ont mis au point un système de notation pour juger de la qual-ité scientifique des études épidémiologiques par observation établissant un lien entre l’alimentation et le risque de cancer. Les études cas-témoin et de cohortes ont été exami-nées séparément, car certains des repères de fiabilité s’appliquaient seulement à l’un de ces genres d’études. Les études cas-témoin ont été notées dans trois grands domaines : la qualité de l’évaluation alimentaire, le recrutement des sujets et l’analyse des résultats. Les études de cohortes ont été notées dans quatre domaines : l’évaluation alimentaire, la défi-nition des cohortes, la confirmation des cas de maladie et l’analyse des résultats. Le coef-ficient d’objectivité a été évalué et a donné lieu à un degré d’accord élevé entre les exami-nateurs, les examinateurs de cohortes s’étant entendus légèrement mieux que les autres. Ce prototype de système de notation a permis aux auteurs de décrire les données épidémi-ologiques sur l’alimentation et le cancer. Cependant, il se peut qu’il ne puisse être appliqué à d’autres sujets.
Downs et Black (1998) ont dressé et mis à l’épreuve une liste de contrôle pour évaluer les études sur échantillon aléatoire ou non aléatoire. Pour la créer, ils se sont servis de princi-pes d’épidémiologie, d’examens de modèles d’étude et de listes de contrôle existantes. La liste est composée de 26 éléments répartis en cinq sous-échelles :
communication• validité externe• biais•
16
confusion • puissance•
La note maximum a été de 31. Vingt-trois des questions auraient pu être posées pour n’importe quelle étude sur n’importe quelle intervention de soins de santé. Les trois autres étaient propres à un sujet et destinées à fournir aux évaluateurs des renseignements sur les variables confusionnelles, les résultats principaux et la taille d’échantillon requise pour qu’elle revête une importance clinique et statistique (p<0,05). L’indice de qualité était très uniforme à l’interne, avait une bonne fiabilité de test-retest et un bon coefficient d’objectivité et était très valable tant en apparence que suivant les critères. La liste était aussi efficace que les autres listes de contrôle établies pour les essais sur échantillon aléatoire, et il y avait peu de différence quant à son efficacité avec les études sur échantillon aléatoire ou non.
Afin de s’attacher au manque d’instruments validés pour mesurer la qualité des essais par observation ou sur échantillon non aléatoire, Slim et coll. (2003) ont mis à l’essai un indice méthodologique pour les études sur échantillon non aléatoire (MINORS). Cet outil comprend 12 points (les huit premiers concernent spécifiquement les essais non comparatifs) :
un objectif clairement énoncé• l’inclusion de patients consécutifs• une collecte prospective des données• des critères convenant à l’objectif de l’étude• une évaluation impartiale des critères de l’étude• une période de suivi appropriée à l’objectif de l’étude• un suivi impossible dans moins de 5 % des cas• un calcul prospectif de la taille de l’étude• un groupe témoin adéquat• des groupes contemporains• une équivalence de base des groupes• une analyse statistique adéquate•
Cet outil offrait une bonne fiabilité, une bonne uniformité interne et une bonne validité.
Zaza et coll. (2000) ont créé un format pour classifier et fournir des éléments descriptifs d’inventions en santé publique et pour évaluer la qualité d’exécution de l’étude. Les auteurs ont reconnu que tous les modèles d’étude présentent des difficultés propres. Par con-séquent, les questions de qualité ont été élaborées en fonction de celles-ci. Par exemple, les auteurs ont laissé entendre que même si le traitement à l’aveugle est un élément im-portant à considérer dans le cas des essais sur échantillon aléatoire, il n’est pas approprié d’évaluer la validité suivant un modèle à séries chronologiques. Zaza et coll. ont donné des catégories de questions pour évaluer les menaces possibles à la validité des résultats dans les études primaires, y compris :
la description de l’invention• l’échantillonnage•
17
la fiabilité et la validité des mesures de résultat• l’opportunité de l’analyse statistique• l’interprétation des résultats•
Leur approche avait notamment pour objectif de concevoir un outil assez flexible pour pou-voir servir à évaluer des modèles d’étude et des interventions divergents. Le formulaire et la procédure standard de résumé ont amélioré la validité et la fiabilité du Guide to Community Prevention Services: Systematic Reviews and Evidence-Based Recommendations (guide des services communautaires de prévention : examens systématiques et recommandations fondées sur des données probantes).
Greer et coll. (2000) ont présenté et abordé un système de notation des données probantes qui a été mis au point par l’Institute for Clinical Systems Improvement (ICSI). Cette approche a été créée à la suite d’une rétroaction selon laquelle un système existant ne fonctionnait pas. Le système a pour but d’aider les professionnels occupés qui doivent juger de la qualité de données probantes. Après avoir examiné bien d’autres systèmes de notation, le groupe de travail de l’ICSI a convenu qu’il importait de séparer l’évaluation des rapports de recher-che et de celle de l’ensemble des données probantes appuyant la conclusion. La feuille de calcul subséquente pour la notation des données probantes (l’outil primaire) comprenait un énoncé de conclusion, un résumé des rapports de recherche qui appuient ou mettent en doute la conclusion, l’attribution des catégories et des indicateurs de qualité aux rapports de recherche et l’attribution d’une note à la conclusion. Les rapports primaires de nouvelle collecte de données se sont vus attribuer une note à lettre de A à D, selon le genre d’étude : EEAC, étude de cohortes, essai sur échantillon non aléatoire avec groupes témoins con-currents ou historiques, étude cas-témoin, étude de sensibilité et de spécificité d’un essai diagnostic, étude descriptive fondée sur la population, étude transversale, séries de cas ou rapport de cas. Le rapport comprenait aussi un système de qualité en cinq points pour coter les attributs positifs et négatifs des modèles d’étude, où les cotes étaient positives, néga-tives ou neutres. Voici quelles étaient les questions :
critère d’inclusion ou d’exclusion a priori • biais• résultats statistiquement ou cliniquement significatifs• applicabilité des résultats à d’autres populations• modèle d’étude clairement établi•
Le système a été appliqué à plus de 40 lignes directrices et rapports d’évaluation tech-nologique de l’ICSI. Les auteurs ont signalé qu’il semble réussir à réduire la complexité d’autres systèmes de notation, bien qu’il produise une classification défendable des conclu-sions fondée sur la force des données probantes sous-jacentes.
Steuten et coll. (2004) ont critiqué les outils utilisés pour évaluer la qualité méthodologique de l’évaluation des technologies de la santé (ÉTS) pour la gestion des maladies. Les au-teurs ont dressé une liste de problèmes qui surviennent lorsqu’il s’agit d’évaluer des études d’ÉTS, y compris : le modèle d’étude (EEAC ou essai par observation), les critères de sélection et de limitation des patients, les mesures de base et de résultat, le traitement à l’aveugle des patients et des fournisseurs, la description des interventions complexes à fac-
18
ettes multiples, et l’évitement des co-interventions. Ils ont créé, proposé et validé un nouvel instrument pour évaluer la qualité méthodologique de l’ÉTS pour la gestion des maladies qui comprend quatre éléments :
population à l’étude• description de l’intervention• mesure des résultats• analyse ou présentation des données•
L’instrument compte 15 éléments qui englobent la validité interne, la validité externe et les considérations statistiques. Il est fiable du point de vue du classement hiérarchique, de la fiabilité de test-retest et du coefficient d’objectivité lorsqu’il est question des ÉTS pour la gestion des maladies.
Deux rapports (Chou et Helfand, 2005; McIntosh, Woolacott et Bagnall, 2004) ont laissé en-tendre que les preuves de préjudice sont aussi importantes que celles d’effet. Cependant, les examens systématiques standard axés sur l’efficacité et les essais sur échantillon aléatoire peuvent ne pas représenter un modèle efficace d’évaluation des préjudices. La documenta-tion sur les préjudices se trouve dans des essais non publiés, des études par observation et de la littérature grise. Appliquer des listes de contrôle de la qualité actuelles à cet ensemble de données s’est avéré problématique et ne permettait pas volontiers de rendre les genres d’information qui concernaient les effets nocifs. McIntosh et coll. ont adapté des listes de con-trôle publiées pour traduire l’information sur les effets nocifs qui se trouvait dans les études de cohortes par observation. Cette nouvelle liste de contrôle comprenait aussi des éléments comme comment et quand les événements ont été signalés, et si le moment où ils ont eu lieu pendant l’étude a été enregistré. Toutefois, le pire obstacle à l’application de toute liste de contrôle a été le manque de détails méthodologiques fournis par les auteurs des études primaires. Les chercheurs ont aussi inclus des états narratifs des résultats. Chou et Helfand (2005) ont examiné des comptes rendus de cas et des études par observation sur les effets nocifs de traitements. Ils ont aussi éprouvé des difficultés à évaluer la qualité, car les instru-ments qui auraient pu servir à évaluer ces genres d’études étaient rares ou incohérents. La rigueur d’élaboration, la portée et le nombre et le genre d’éléments utilisés étaient tous des questions litigieuses. Ils ont procédé à des essais pilotes sur un outil d’évaluation de la qualité pour les EEAC, les essais cliniques sur échantillon contrôlé et les études de cohortes dans le cas d’une série d’interventions chirurgicales non contrôlées où l’on signalait des complications découlant de l’endartériectomie de la carotide. Cet outil en huit points indi-quait bon, assez bon ou mauvais. L’outil était mis à l’épreuve sur des études concernant une intervention. Les auteurs ont prévenu les chercheurs d’éviter le regroupement inapproprié de résultats statistiques provenant d’études par observation, étant donné le risque de biais dû au mauvais contrôle des variables confusionnelles et de biais de sélection.
Le GRADE Working Group (Atkins, Briss, Eccles et coll., 2005) a fait état de la mise au point et de l’essai pilote de l’approche GRADE à l’évaluation des données probantes et des recommandations. Douze profils de données probantes ont été cotés indépendamment par 17 juges qui étaient tous versés en utilisation d’autres approches à l’évaluation de don-nées probantes et de recommandations. Chaque profil de données probantes reposait sur les renseignements fournis dans un examen systématique et comprenait deux tableaux,
19
un pour l’évaluation de la qualité et un pour le résumé des constatations. Le processus d’évaluation de la qualité était conçu pour que chaque résultat soit évalué séparément. Le tableau des résultats présentait le nombre d’études où figurait le résultat en question, le modèle d’étude (EEAC ou par observation) et la qualité des études. L’évaluation de la qualité des résultats a révélé que le jugement de l’examinateur sur la qualité était influencé par d’autres facteurs que le modèle d’étude, la qualité, l’uniformité et la franchise. Ces au-tres facteurs étaient les données éparses, les solides associations, les biais de publication, la réaction aux doses et les situations où toutes les variables confusionnelles plausibles ren-forçaient la confiance envers l’orientation de l’effet. Les juges devaient indiquer la facilité de compréhension et la sensibilité de l’approche; ils ont généralement convenu que l’approche GRADE était claire, compréhensible et sensée.
Khan et coll. (2001) ont fourni des renseignements sur ce qu’il faut inclure dans toute liste de contrôle pour l’évaluation de la qualité. Dans le cas d’essais sur l’efficacité, il faudrait d’abord songer à des EEAC quand ils existent et sont bien conçus. En l’absence de bons EEAC, il y aurait lieu d’envisager des études quasi-expérimentales et par observation (QEO) bien conçues. Khan et coll. ont fourni plusieurs questions à étudier lorsqu’il s’agit d’évaluer la qualité d’études par observation. Ils ont souligné que même s’il est possible de tirer des conclusions de ces études, on ignore peut-être au juste si les groupes étudiés sont com-parables. Les auteurs ont laissé entendre qu’il faut rapporter les résultats avec précaution, souvent en recommandant des recherches plus approfondies.
Thomas, Ciliska, Dobbins et Micucci (2004) se sont servis d’un instrument d’évaluation de la qualité qui permettait de coter du point de vue méthodologique des études qui n’étaient pas des EEAC, en vue de leur inclusion dans un examen systématique. Cette méthode était précisément destinée à évaluer la qualité des recherches en santé publique. Voici quels étaient les éléments d’évaluation :
biais de sélection • modèle d’étude• variables confusionnelles• traitement à l’aveugle• méthodes de collecte des données• retraits ou abandons•
Les études cotées par ce système obtenaient une cote méthodologique forte, moyenne ou faible. L’instrument avait un bon coefficient d’objectivité et une bonne fiabilité de test-retest. Il avait aussi prouvé la validité du contenu et des critères; les EEAC et les ECEC étaient jugés solides, et les essais sur échantillon non aléatoire et contrôlé (EENC), comme les études de cohortes et par observation, ont été jugés moyens. Cependant, les études sur échantillon non aléatoire pouvaient atteindre une cote globale moyenne si les autres élé-ments de l’étude étaient solides. Les données sont extraites à même les études et sont rap-portées sous forme narrative. La méta-analyse était rarement effectuée, car il s’était avéré que les populations et les interventions visées par les études en santé publique sont sou-vent trop hétérogènes pour ce genre d’analyse. L’extraction des données a permis de rap-porter des effets (ou un manque d’effets) d’une grande portée statistique de chaque étude, et les chercheurs ont émis des commentaires sur l’importance de tout effet statistiquement
20
significatif.
Ramsay et coll. (2003) ont examiné la qualité des séries chronologiques interrompues (SCI) à l’aide d’études incluses dans deux examens systématiques. Ils ont mis au point un outil d’évaluation de la qualité suivant les critères suivants :
l’intervention se déroulait indépendamment d’autres changements qui se produi-• saient au fil du temps; l’intervention était peu susceptible de toucher la collecte des données; • le résultat était évalué à l’aveugle ou mesuré objectivement;• le résultat était fiable ou mesuré objectivement;• la composition de l’ensemble de données à chaque point abordé englobait au • moins 80 % de tous les participants à l’étude; la forme de l’effet d’intervention était précisée au préalable;• le raisonnement sous-tendant le nombre et l’espacement des points de données • était décrit; l’étude était analysée convenablement selon des techniques par séries • chronologiques.
Ils ont constaté que 37 des 58 études avaient été mal analysées, et que 33 d’entre elles devaient être analysées à nouveau. De mauvais modèles d’étude, une puissance insuf-fisante et une analyse inappropriée des études par SCI ont donné lieu à la présentation de conclusions trompeuses dans la documentation publiée. Les auteurs ont recommandé que toutes les données provenant d’études par SCI soient analysées à nouveau avant d’être incluses dans les examens.
Conn et Rantz (2003) ont examiné des moyens par lesquels les chercheurs peuvent gérer la qualité lorsqu’ils envisagent des études primaires dans le cadre d’une méta-analyse. Bien qu’il existe plus de 100 échelles pour mesurer la qualité de ces études, elles peuvent varier selon la taille, la composition, la complexité et l’étendue. Établir la validité des échelles est compliqué et difficile. Les échelles ne sont pas fiables et précises dans tous les domaines scientifiques, et leur application peut s’avérer problématique et inégale. Conn et Rantz ont exposé dans leurs grandes lignes trois méthodes qui permettraient de gérer la qualité :
fixer un seuil de qualité;• pondérer par la cotation de la qualité;• considérer la qualité comme question empirique.•
Cependant, comme méthode autonome, chacune a ses limites. Par exemple, fixer un seuil de qualité peut donner lieu à l’exclusion de travaux de recherche moins rigoureux (où des données peuvent renfermer des renseignements importants). La pondération par la qualité d’étude peut être limitée par les outils d’échelonnage utilisés et certains problèmes poten-tiellement inhérents, comme le coefficient d’objectivité. Enfin, considérer la qualité comme une question empirique peut mener à des mesures globales masquant des effets intéres-sants d’éléments individuels de qualité sur des estimations d’ampleur de l’effet. Afin de tenir compte de ces limites, les chercheurs pourront devoir combiner des stratégies dans le but d’inclure des études jugées méthodologiquement faibles, mais contenant quand même des
21
renseignements importants.
Résumé de la section
Examiner la documentation à inclure dans un examen systématique devrait inclure une éval-uation de la qualité. Un outil d’évaluation critique est essentiel lorsqu’il s’agit de passer en revue les données probantes dans des études primaires sans groupes témoins. Ces outils peuvent fournir des renseignements sur les forces et les faiblesses des renseignements. Les outils d’évaluation critique aident le lecteur à évaluer les données probantes fournies d’après la qualité méthodologique, la gestion des variables confusionnelles, les biais pos-sibles et l’analyse des données. Ces outils sont particulièrement utiles quand les systèmes d’évaluation employés pour les EEAC ne sont pas applicables. La validité et la fiabilité de bon nombre des outils indiqués dans les présentes n’ont pas été éprouvées. Ce serait rai-sonnable de le faire comme prochaine étape.
Examens systématiques
Onze examens systématiques portaient sur la synthèse de données provenant d’études sans groupes témoins.
Linde, Scholz, Melchart et Willich (2002) ont cherché à déterminer si les examens systé-matiques devaient inclure à la fois des études sur échantillon aléatoire et non aléatoire. Les chercheurs ont examiné les données sur le recours à l’acupuncture pour les maux de tête chroniques afin d’étudier les questions suivantes :
1. Les études sur échantillon aléatoire et non aléatoire sur l’acupuncture pour les maux de tête chroniques diffèrent-elles du point de vue des patients, des interven-tions, des aspects qualité indépendants de la conception et des taux de réponse?
2. Les études sur échantillon non aléatoire fournissent-elles d’autres renseignements pertinents (résultats à long terme, facteurs prévisionnels, effets néfastes ou complica-tions et taux de réponse chez les groupes représentatifs et bien définis de patients)?
3. Si les taux de réponse chez les patients choisis de manière aléatoire ou non dif-fèrent, quelles sont les explications possibles?
Cinquante-neuf études répondaient aux critères d’inclusion, et 24 d’entre elles étaient des essais sur échantillon aléatoire et 35, des essais sur échantillon non aléatoire (cinq essais sur échantillon non aléatoire et contrôlé, 10 essais prospectifs sur échantillon non contrôlé, 10 séries de cas et 10 enquêtes transversales). En tout, 535 patients ont reçu un traite-ment à l’acupuncture dans les 24 EEAC, comparativement à 2695 dans les 35 études sur échantillon non aléatoire. En moyenne, les essais sur échantillon aléatoire étaient faits sur un échantillon de moindre taille, respectaient davantage les critères de qualité et offraient des taux de réponse plus faibles que le traitement (0,59; 0,40 – 0,69) c. (0,78; 0,72 – 0,83). Peu importe l’état de randomisation, dans les études qui répondaient davantage aux critères de qualité, les taux de réponse étaient plus faibles que les taux de traitement. La période de suivi n’était pas nettement plus longue dans les études sur échantillon non aléatoire. Dans le cas de l’acupuncture appliquée aux maux de tête chroniques, les études sur échantillon non aléatoire confirmaient les constatations tirées d’une étude antérieure (Greenhalgh, Robert,
22
Macfarlane et coll., 2005) selon lesquelles le traitement était susceptible d’être efficace. Cependant, les études sur échantillon non aléatoire procuraient peu de renseignements sup-plémentaires pertinents sur les effets à long terme, les facteurs prévisionnels ou les effets négatifs. En général, les auteurs concluaient que les études sur échantillon non aléatoire de bonne qualité donnaient des résultats semblables à ceux des EEAC. Cela porte à croire que leur inclusion dans les examens systématiques, bien qu’elle augmentait la charge de travail des auteurs desdits examens, permet un élargissement utile aux fins de généralisabilité.
MacLehose et coll. (2000) ont enquêté sur le lien entre la qualité méthodologique et les esti-mations d’efficacité en comparant les EEAC aux études quasi-expérimentales et par obser-vation (QEO). Pour examiner la documentation, les auteurs ont employé deux stratégies :
1. comparer les estimations quant à l’efficacité de toute intervention qui ont été obten-ues par des EEAC et des études QEO, où les deux estimations figuraient dans un seul document;
2. comparer les estimations quant à l’efficacité d’interventions précises qui ont été ob-tenues par des EEAC et des études QEO, où les deux estimations figuraient dans des documents différents.
Dans le cas de la 1re stratégie, les auteurs ont relevé 14 documents qui contenaient 38 comparaisons, dont 13 étaient jugées de qualité supérieure et 25, de faible qualité. Les critères d’évaluation de la qualité étaient les suivants :
les estimations provenaient de la même population;• le traitement à l’aveugle des évaluateurs de résultat;• la mesure dans laquelle l’estimation obtenue par l’étude QEO a été établie compte • tenu du risque de variables confusionnelles.
Selon les constatations, les écarts entre les estimations d’ampleur de l’effet et de la fréquence de résultat qui ont été obtenues par des EEAC et des études QEO pour les groupes ayant fait l’objet d’une intervention et les groupes témoins étaient plus faibles pour les comparaisons de qualité supérieure que pour celles de faible qualité. Par ailleurs, les estimations de taille d’ampleur obtenues par des études QEO n’avaient pas tendance à être extrêmes pour les comparaisons de qualité supérieure que pour les EEAC de faible qualité. Dans le cas de la 2e stratégie, les interventions spécifiques comprenaient le dépistage par mammographie destiné à réduire la mortalité due au cancer du sein et les suppléments d’acide folique servant à réduire les anomalies du tube neural. Les auteurs ont relevé 34 documents, dont 12 étaient des EEAC, 11, des essais sur échantillon non aléatoire ou des études de cohortes et neuf, des études cas-témoin appariées ou non. Ces études ont été évaluées d’après :
la qualité des rapports;• la généralisabilité des résultats;• la mesure dans laquelle les estimations d‘efficacité auraient pu être influencées par • un biais ou une variable confusionnelle.
Les notes de qualité étaient plus élevées pour les études de cohortes et cas-témoin que pour les EEAC, et elles étaient moins élevées pour les études de cohortes que pour les
23
études cas-témoin. La méta-régression des attributs d’étude par rapport aux estimations du risque relatif n’a révélé aucun lien entre l’ampleur de l’effet et la qualité de l’étude. Les estimations tirées des EEAC et des études de cohortes n’étaient pas nettement différentes. Toutefois, les études cas-témoin ont donné des estimations bien différentes lorsqu’il était question de mammographie (avantage supérieur) et d’acide folique (avantage inférieur).
Britton et coll. (1998) ont étudié des questions touchant le processus de randomisation qui peuvent influer sur la validité des conclusions tirées des résultats d’EEAC et d’études sur échantillon non aléatoire (y compris des études sans groupes témoins). Les auteurs ont posé quatre questions de recherche pour examiner la randomisation et la validité :
1. Les études sur échantillon non aléatoire diffèrent-elles systématiquement des EEAC du point de vue de l’effet du traitement?
2. Existe-t-il des différences systématiques entre les personnes incluses et exclues, et influencent-elles l’effet mesuré du traitement?
3. Dans quelle mesure est-il possible d’adapter en fonction des différences de base entre les groupes à l’étude?
4. En quoi la préférence des patients est-elle importante sur le plan des résultats?
Leur étude englobait 18 documents où l’on comparait directement les résultats d’EEAC et d’études sur échantillon non aléatoire. Les résultats n’ont révélé aucun compte rendu uni-forme d’estimations importantes ou moindres de l’effet du traitement, fondées sur le modèle d’étude. Les auteurs ont aussi rapporté que le genre d’intervention ne semblait pas exercer d’influence; cependant, ils ont lancé un avertissement selon lequel il faudrait étudier da-vantage afin de valider cette conclusion. Dans les EEAC, les exclusions globales étaient courantes, et la proportion de sujets admissibles inclus allait de 1 % à 100 %. Les grandes bases de données cliniques renfermant des renseignements détaillés sur la gravité des cas et le pronostic ont remplacé les EEAC. Lorsque les sujets tirés des bases de données étaient choisis selon les mêmes critères d’inclusion que pour les EEAC, les effets du traite-ment des deux modèles étaient semblables. La documentation des caractéristiques des per-sonnes admissibles qui n’ont pas participé aux essais était mal inscrite dans la plupart des EEAC. Dans les EEAC, il se peut que les mesures d’effets de traitement soient exagérées en raison de la participation plus large des universités et des centres d’enseignement, com-parativement aux études sur échantillon non aléatoire. Dans celles-ci, le redressement en fonction des différences a souvent modifié l’ampleur de l’effet du traitement, mais pas net-tement. Mais surtout, l’orientation du changement était constante. Seulement quatre docu-ments s’attachaient au rôle de la préférence du patient dans les résultats. Dans ces docu-ments, la préférence représentait une partie des différences observées entre les modèles d’étude. Britton et coll. ont conclu ce qui suit :
une étude sur échantillon non aléatoire bien conçue est préférable à une petite • EEAC mal conçue et exclusive; les EEAC devraient inclure une foule de cadres d’exercice; • les populations étudiées devraient être représentatives de tous les patients qui font • l’objet de l’intervention; les exclusions pour des raisons de commodité administrative devraient être rejetées; •
24
il faudrait réduire les différences au minimum pour s’assurer que les sujets des • deux genres d’étude sont comparables.
Lemmer, Grellier et Stevens (1999) ont modifié le Cochrane Collaboration Protocol for Sys-tematic Reviews pour un rapport qui portait sur les données probantes concernant la prise de décisions et les visites médicales (fourniture de soins de santé à domicile) en Grande-Bretagne. Les visites médicales et la prise de décisions sont influencées par des facteurs comme les forces sociales et environnementales, qui tendent à ne pas être saisies dans les données probantes provenant d’EEAC. Dans le Cochrane Protocol adapté, on a omis les sections jugées inappropriées pour des documents de recherche fondés sur des EENC. La rigueur méthodologique et la pertinence de chaque article ont été établies suivant une échelle de notation numérique allant de 8 (maximum) à 1 (minimum). Les auteurs n’ont pas fourni les variables utilisées pour mesurer la rigueur méthodologique. Deux membres de l’équipe de recherche ont examiné chaque article, et des réunions de concertation hebdo-madaires ont été tenues pour s’entendre sur les différences de notation. Les notes devaient donner un aperçu de la méthodologie et de la pertinence de chaque article. Cependant, la note globale n’indiquait nullement la répartition des notes. Les examinateurs se sont pronon-cés sur l’opportunité et l’importance de chaque article, mais leurs commentaires ne faisaient pas partie de la notation. Les auteurs ont constaté que le système de notation constituait un moyen utile d’orienter la discussion aux réunions de concertation. La notation a été influ-encée par l’interprétation qu’ont faite les examinateurs des méthodologies qualitatives et la pertinence des articles. Ils ont aussi laissé entendre que cette approche plus ouverte a permis d’examiner des articles qui renfermaient des sections ou des renseignements impor-tants malgré les faibles notes accordées. Certains documents contenaient de très brèves sections sur les méthodes, ce qui a rendu la notation difficile et a donné de faibles notes.
Reconnaissant qu’il est difficile de faire la synthèse des diverses données fournies dans les examens, Goldsmith, Bankhead et Austoker (2007) ont mis au point une nouvelle méthode d’examen. Ils l’ont appliquée à un examen de données probantes pour influencer des lignes directrices concernant le contenu des renseignements sur les patientes relativement au dépistage du cancer du col de l’utérus. Ils ont suivi des procédures standard afin de mener un examen systématique, y compris :
la conception d’études a priori • un dépouillement documentaire exhaustif• l’examen des titres et des résumés par deux personnes indépendantes• l’évaluation de la qualité• l’extraction des données•
Les chercheurs se sont servis de listes de contrôle pour évaluer la qualité des études quan-titatives et qualitatives. Des listes de contrôle établies ont été utilisées dans le cas d’études quantitatives (Critical Appraisals Skills Program (CASP), Scottish Intercollegiate Guidelines Network (SIGN), New Zealand Guidelines Group (NZGG) et UK Government Chief Social Researcher’s Office (UKGCSRO)) (CASP, 2005; Khan et coll., 2001; Lethaby, Wells et Fur-ness, 2001; Spencer, Ritchie et Lewis, 2004). Les chercheurs ont dressé une liste de con-trôle pour les études qualitatives qui comprenait l’objet, la population, le taux de réponse, la définition des résultats et l’évaluation. Toutes les listes de contrôle comprenaient une sec-
25
tion commentaires. La qualité méthodologique des études était cotée ++ (tous les critères ou presque ont été remplis), + (certains critères ont été remplis) ou – (aucun critère n’a été rempli ou peu d’entre eux l’ont été). L’évaluation de la qualité a donné une idée des forces et des faiblesses de chaque étude. Cependant, les failles méthodologiques n’ont pas entraîné l’exclusion d’études. Les notes de qualité ont été intégrées pendant la phase de synthèse des données de l’examen. Goldsmith et coll. (2005) ont intégré les directives de synthèse établies dans le système GRADING (Atkins et coll., 2005) abordé dans la section Outils d’évaluation critique du présent document.
DeWalt et coll. (2004) a mené un examen systématique des études qui a permis de mesurer l’alphabétisation et un ou plusieurs résultats pour la santé. Les modèles d’étude admissibles étaient par observation : études de cohortes prospectives et rétrospectives, études cas-té-moin et études transversales. Leur examen s’est fait selon un processus standard d’examen systématique, y compris :
le dépouillement documentaire exhaustif de plusieurs bases de données électron-• iques, des questions de recherche bien définies,• des critères d’inclusion et d’exclusion,• l’examen d’articles complets par deux auteurs,• l’évaluation de la qualité et le compte rendu des constatations. •
Les chercheurs ont adapté l’outil d’évaluation de la qualité d’après West et coll. (2002). Chaque étude a été cotée selon les critères suivants :
la population à l’étude• la comparabilité des sujets• la validité et la fiabilité de la mesure d’alphabétisation• le maintien de groupes comparables• la mesure des résultats• l’analyse statistique• le contrôle des variables confusionnelles•
D’après ces critères, les études ont été cotées comme étant bonnes, assez bonnes ou mauvaises. L’outil n’a pas été validé. Bien que les auteurs de l’examen aient pu fournir une analyse statistique des résultats pour l’alphabétisation et la santé, ils ont précisé que les données d’études primaires comportaient bien des défis en raison des diverses mesures de lecture utilisées et des points de coupure aux fins d’analyse. De plus, le manque de mesures statistiques, le contrôle inadéquat des variables confusionnelles et le manque d’adaptation aux fins de comparaisons multiples ont rendu difficiles les comparaisons entre études.
Thomson et coll. (2006) ont examiné la communication des données sur les déterminants socio-économiques de la santé au Royaume-Uni, afin d’établir si les investissements de l’État dans le domaine avaient amélioré la santé de la population. Les données de 10 évalu-ations ont été synthétisées suivant des méthodes d’examen systématique, y compris :
26
une stratégie de recherche,• des critères d’inclusion ou d’exclusion a priori, • l’examen d’articles par deux personnes indépendantes,• l’extraction des données,• la synthèse des données.•
Huit des évaluations d’impact reposaient sur des études de cas où les données prove-naient de quelques sites pour que le programme national soit représenté. Les questions méthodologiques relatives aux rapports d’évaluation englobaient les mauvaises méthodes d’évaluation et sources de données et les échantillons de faible taille. Les auteurs ont recou-ru à une synthèse narrative pour fait état des constatations. Ils ont signalé que cette ap-proche constituait un nouveau moyen d’établir des données probantes, le message adapté pour qu’il influe sur l’élaboration des politiques publiques en santé. La synthèse était mise en question par les lacunes méthodologiques des études incluses.
Deux études (Stein, Dalziel, Garside et coll., 2005; Dalziel, Round, Stein et coll., 2005) portaient sur la qualité des données probantes sur l’efficacité utilisées dans les ÉTS. Les séries de cas, communément employées dans les ÉTS, constituent une forme faible dans la hiérarchie des données probantes. Idéalement, les données de séries de cas ne serviraient pas à des examens systématiques; cependant, il arrive qu’elles soient les seules données probantes qui existent. Ne trouvant aucune étude semblable dans leur dépouillement docu-mentaire, Stein et coll. ont examiné un échantillon d’examens systématiques de séries de cas portant sur le lien entre les caractéristiques des séries de cas et le résultat. Ils n’ont pas comparé les résultats de séries de cas avec ceux d’EEAC. Dans leur analyse, ils ont dé-couvert peu de données probantes sur le lien entre les caractéristiques méthodologiques, la taille de l’échantillon ou l’approche prospective et le résultat. Ils ont fourni un rapport narratif de leurs constatations et ont inclus un tableau de résultats individuels des variables analy-sées. Ils ont précisé que toutes les interventions étudiées étaient chirurgicales, ce qui pouvait limiter la généralisabilité de leurs constatations. Dans une deuxième étude, Dalziel et coll. ont comparé les résultats d’EEAC et d’études de séries de cas pour des interventions chiru-rgicales. Ils ont examiné des rapports qui incluaient des données provenant d’EEAC et de séries de cas. Ils ont comparé ces études à l’aide de la partie intervention des EEAC comme élément de comparaison : la méta-analyse d’EEAC a été comparée à de solides régressions pondérées en utilisant l’intervention comme facteur confusionnel et en évaluant la grandeur de coefficient. Leur analyse a révélé que les EEAC ne montraient aucune différence de résul-tat entre les types de traitement, alors que les séries de cas montraient une augmentation de la mortalité de 1 à 2 % d’un traitement à l’autre. Voici les limites de l’examen :
l’analyse était limitée par des lacunes méthodologiques dans les études de séries • de cas, comme le mauvais compte rendu des données; le recours à des interventions chirurgicales précises risque de limiter la généralis-• abilité des constatations; les constatations reposaient sur un faible nombre d’études. •
Dans un rapport portant sur les données probantes concernant l’évaluation des essais sur échantillon non aléatoire et les méthodes employées à cette fin, Deeks et coll. (2003) ont
27
relevé 194 outils utilisés pour évaluer la qualité de ces essais. Soixante d’entre eux en-globaient au moins cinq domaines de validité interne précisés au préalable sur six et ont été jugés supérieurs. Quatorze ont été classés comme étant les « meilleurs » et englobaient trois éléments centraux sur quatre qui revêtaient une importance particulière pour les études sur échantillon non aléatoire (répartition, groupes comparables, facteurs prévisionnels définis et recours à l’adaptation à la clientèle). Les auteurs ont établi que six des 14 outils convenaient aux examens systématiques. La force de ces outils était la formulation des élé-ments qui canalisaient les réponses des examinateurs de manière systématique pour que les évaluations soient aussi objectives que possible.
Katrak et coll. (2004) ont réalisé l’examen systématique de 121 outils d’évaluation critique publiés à partir de 108 documents retrouvés grâce à l’interrogation de bases de données électroniques et d’Internet. La plupart des outils (87 %) étaient propres au modèle de recherche, et bon nombre d’entre eux (45 %) avaient été créés pour des études expéri-mentales (EEAC et essais cliniques sur échantillon contrôlé). Sur 16 outils génériques d’évaluation critique, six ont été mis au point pour des études expérimentales et par obser-vation. Onze se sont avérés utiles pour tout modèle d’étude qualitative ou quantitative. Les auteurs ont extrait 74 éléments à partir de 19 outils d’évaluation critique pour des études par observation. Ces éléments étaient axés sur :
les analyses de données,• la prise en compte des variables confusionnelles,• la taille de l’échantillon ou le calcul de la puissance,• l’entreprise ou non d’une analyse statistique appropriée.•
Ils ont extrait 36 éléments à partir de sept outils d’évaluation critique pour les études qualitatives. La plupart d’entre eux étaient axés sur l’évaluation de la validité externe, les méthodes d’analyse des données et la justification de l’étude. Ces outils ne renfer-maient aucun élément sur la sélection des échantillons, la randomisation, le traitement à l’aveugle, l’intervention ou le biais. Les outils génériques, supposément utilisables dans le cas des études expérimentales ou par observation, contenaient des éléments axés sur l’échantillonnage et l’analyse des données, comme l’opportunité des analyses statistiques, la taille de l’échantillon et le calcul de la puissance. Cet examen n’a révélé aucun exemple idéal d’outil d’évaluation pour un type d’étude ou l’autre.
Résumé de la section
Ces examens systématiques ont intégré avec succès des études primaires où les données ne correspondaient pas à des groupes témoins, ou ils ne portaient pas sur des études avec outils d’évaluation critique pour l’évaluation de la qualité des études sans groupes témoins. Les examens touchant la possibilité de combiner les résultats d’EEAC et d’EENC portent à croire que les études bien conçues peuvent donner des résultats semblables, peu importe le genre d’étude. Bon nombre de ces examens portent à croire que c’est plutôt la mauvaise conception des études primaires, et non le modèle d’étude en soi, qui donne une note de qualité inférieure. Ils signalent que la sous-communication de la méthodologie, la mauvaise gestion des variables confusionnelles et le manque de terminologie analytique uniforme sont problématiques lorsqu’il s’agit de comparer les données d’une étude à l’autre.
28
Méthodes pour faire la synthèse d’études quantitatives sans groupes témoins
La présente section englobe cinq documents qui décrivaient des méthodes pour faire la synthèse d’études quantitatives sans groupes témoins.
Dans un document de 2005, Greenhalgh et coll. décrivaient leur processus d’examen méta-narratif, mis au point comme méthodologie pour faire la synthèse de données probantes d’une discipline à l’autre. Ils ont recouru à un processus en six étapes qui comprenait la planifica-tion, le dépouillement documentaire, la structuration, l’évaluation, la synthèse et la formulation de recommandations. Selon les auteurs, leur approche à la production de comptes rendus « graduels » des principales traditions de recherche a permis de comprendre la documentation complexe. Cinq grands principes sous-tendaient cette technique méta-narrative :
le pragmatisme• le pluralisme• l’historicité• la contestation• l’examen par les pairs•
Cette approche peut s’avérer utile lorsque la portée de l’étude est large et que la documen-tation est variée, et quand les chercheurs ont abordé un problème commun suivant divers modèles d’étude.
Whittemore et Knafl (2005) ont souligné que la méthode d’examen par intégration était une bonne solution pour intégrer des données provenant d’études menées suivant diverses mé-thodologies. Les auteurs ont exposé dans leurs grandes lignes des stratégies pour rehauss-er la rigueur des examens par intégration. Ils ont proposé cinq étapes pour mieux garantir la rigueur méthodologique de ce genre d’examen :
1. définition du problème : permet à la question d’étude d’être clairement définie; 2. dépouillement documentaire : intègre une stratégie de recherche exhaustive;3. évaluation des données : devient un peu complexe en raison des études méthod-
ologiquement diverses qui sont incluses dans l’examen; évaluer la qualité ne peut se faire suivant le processus standard d’examen systématique, mais il se peut qu’il faille se concentrer sur des exemples d’authenticité, la qualité méthodologique, la valeur informationnelle et la représentativité des études primaires disponibles;
4. analyse des données : comprend la réduction des données, la présentation, la comparaison et les conclusions; la réduction des données se fait par un système de classement global où les études primaires sont divisées en sous-groupes qui procurent un ordre logique pour l’analyse; ce classement en sous-groupes peut être fondé sur les genres de données probantes, la chronologie, le cadre, les car-actéristiques de l’échantillon, ou peut se faire par un classement conceptuel prédé-terminé; l’étape suivante du processus de réduction des données consiste à coder et à extraire les données dans un cadre réalisable; la présentation des données exige de convertir les données extraites au moyen de variables et de sous-groupes
29
précis; ces présentations englobent des matrices, des graphiques et des tableaux qui permettent de comparer les études entre elles; la comparaison des données permet de définir des modèles, des thèmes et des relations entre et parmi les vari-ables; la dernière étape consiste à tirer les conclusions;
5. présentation : comprend l’exposition des constatations dans un examen par inté-gration qui peut être sous forme de tableaux ou de schémas et devrait inclure les conséquences sur la pratique, les politiques et la recherche.
Norris et Atkins (2005) ont étudié 49 examens publiés sur une période de cinq ans par les centres de pratique fondée sur des données probantes et qui incluaient des données probantes provenant d’études conçues autrement que comme des EEAC. Ces modèles englobaient des études de cohortes et des séries chronologiques, des études de séries de cas avant-après et des études transversales. Les auteurs ont laissé entendre qu’intégrer des études de cohortes et de séries de cas dans les examens offrait un avantage, soit celui que ces types de modèles sont plus à même de rendre les résultats à long terme que les EEAC. Ils ont observé que même si la plupart des 49 examens englobaient des études sur échantillon non aléatoire, les données probantes tendaient à provenir des EEAC. Évaluer la qualité d’essais sur échantillon non aléatoire constituait un défi. Sur les 49 examens, 25 % n’évaluaient pas la qualité, 16 % reposaient sur des listes de contrôle ou des barèmes de notation publiés, 10 % adaptaient des instruments de notation publiés et 49 % étaient fondés sur des listes de contrôle dressées par les examinateurs. Peu d’outils avaient fait l’objet d’un essai de validité. Afin de garantir le respect des principes des meilleures don-nées probantes et de réduire le biais, Norris et Atkins ont suggéré que les examens com-mencent par un protocole détaillé qui serait alors respecté scrupuleusement du début à la fin. De plus, la stratégie de recherche pourrait devoir être plus fluide et reprise pour que le manque de stratégies de recherche adaptées et spécifiques dans les EEAC soit compensé. Les auteurs ont formulé les recommandations suivantes :
1. les examinateurs devraient évaluer la disponibilité des EEAC s’attachant à leur question d’examen avant de déterminer les critères d’inclusion finals;
2. lorsqu’ils envisagent d’inclure des essais sur échantillon non aléatoire, les exami-nateurs doivent songer aux biais possibles et se demander si ces biais peuvent être réduits au minimum dans des essais sur échantillon non aléatoire bien menés;
3. le processus d’examen doit être transparent afin que les motifs d’inclusion et d’exclusion des modèles d’étude soient clairs;
4. les examinateurs devraient songer à évaluer la qualité de chaque étude; 5. les examinateurs devraient prendre conscience de l’effet de leurs critères
d’inclusion sur les constatations, et aborder les effets possibles du biais sur leurs conclusions;
6. la qualité méthodologique des études incluses doit faire partie de la discussion et des conclusions, peu importe le modèle d’étude.
Jackson et Waters (2005) ont examiné précisément les défis que représentait la rédaction d’examens systématiques pour le secteur de la santé publique. Les difficultés inhérentes comprenaient les interventions à composantes multiples, les mesures multiples de résul-tats, les populations variées et les mélanges de modèles d’étude. Ils ont convenu comme
30
d’autres qu’en santé publique, ce doit être l’intervention et la population qui dictent le modèle d’étude, et non l’inverse. Les chercheurs ont reconnu la controverse qui entoure l’opportunité du processus d’examen systématique dans le cas des études sur les interventions en santé publique. Ils ont aussi fait des suggestions pour améliorer le processus et en faire un moyen de modérer la critique. Chercher de la documentation est complexe et requiert beaucoup de temps. Par conséquent, il est essentiel de prévoir assez de temps pour une recherche adé-quate, et d’interroger de nombreuses bases de données électroniques et sources de littéra-ture grise. Il faut absolument évaluer la qualité de tous les articles inclus, et ils ont recomman-dé d’utiliser l’outil mis au point par le Projet de pratique efficace en santé publique, à Hamilton (Ontario) (Thomas et coll., 2004a), soit le « Quality Assessment Tool for Quantitative Studies ». Ce solide instrument (Deeks et coll., 2003) peut servir à des EEAC et des études quasi-expérimentales sur échantillon non contrôlé. Porter attention aux cadres théoriques dans les études primaires et les examens systématiques permet d’expliquer les différences entre la planification et les résultats des interventions. Mesurer l’intégrité des interventions peut aider à déterminer si une intervention a été inefficace en raison d’une mauvaise planification ou parce que la prestation de l’intervention était incomplète. Étant donné les diverses populations qui font l’objet d’interventions en santé publique, les chercheurs devraient s’attendre à de l’hétérogénéité. Les chercheurs et les examinateurs ne trouveront pas déjà tous ces éléments dans toutes les études primaires, mais en prendre conscience pourra aider à renforcer les examens systématiques découlant de la recherche sur les interventions en santé publique.
Le document de 1998 d’Atkins et DiGuiseppi portait sur la nécessité d’effectuer des re-cherches sur l’utilisation des services de santé préventifs. Il n’était pas toujours possible d’obtenir des données probantes issues d’EEAC dans le domaine de la promotion de la san-té et des services de santé préventifs. Les chercheurs ont mentionné les problèmes connus qui sont associés aux études par observation comme motif de prudence. Cependant, ils ont reconnu que ces études peuvent augmenter les connaissances. Les forces des études par observation comprennent :
l’établissement de liens dans l’enchaînement de causalité;• la compréhension de l’histoire naturelle de la maladie;• la définition des facteurs de risque;• la mesure du respect des traitements et des effets négatifs de ceux-ci;• l’établissement de l’exactitude des tests de diagnostic;• l’évaluation de l’efficacité des interventions. •
Le risque de biais peut être modifié grâce à des échantillons représentatifs fondés sur la population et à l’idée de bien tenir compte des variables confusionnelles. Les chercheurs doivent aussi reconnaître que les études par observation tendent à exagérer les effets bé-néfiques du traitement. Les auteurs recommandent d’inclure un grand nombre d’études bien conçues où les effets sont constants et importants de préférence quand il s’agit d’utiliser des études par observation pour formuler des recommandations de traitement.
Résumé de la section
Il est difficile de faire la synthèse de données quantitatives issues d’études sans groupes
31
témoins et de les intégrer. Les six documents faisaient état de diverses méthodes pour in-tégrer ce genre de données de manière utile. Les auteurs ont convenu qu’il est avantageux d’intégrer des données probantes provenant de divers modèles d’étude, mais il est primor-dial d’évaluer la qualité afin d’obtenir des données probantes dignes de confiance. Il serait peut-être utile d’intégrer dans les examens systématiques les études primaires qui définis-sent clairement les biais possibles et les effets probables.
Combiner des études qualitatives et quantitatives
La présente section vise à examiner trois articles qui décrivent des méthodes pour faire la synthèse des données provenant d’études qualitatives et quantitatives.
Déterminer la qualité d’études non expérimentales est difficile et controversé. Cependant, ces genres d’études renferment souvent des renseignements importants pour la santé pub-lique. Évaluer la qualité à l’aide d’outils standard n’est pas particulièrement utile quand peu de ces études obtiendraient une note élevée ou moyenne. Harden et coll. (2004) ont utilisé une approche standard à l’évaluation de la qualité méthodologique dans des examens systématiques portant sur 35 études primaires sur les non-interventions. Seulement quatre d’entre elles ont répondu à tous les critères utilisés pour évaluer la qualité. Ils ont mis au point un outil de récupération de données pour mieux déconstruire chaque étude (quantita-tive ou qualitative). De là, ils ont reconstruit les résultats et les ont présentés sous forme de résumés structurés et de tableaux de données probantes. Le processus de synthèse était non linéaire et faisait intervenir deux examinateurs faisant l’aller-retour entre les documents, l’extraction des données et les tableaux de données probantes. Il n’était pas approprié de regrouper les résultats, comme dans une méta-analyse. Ces chercheurs ont plutôt employé des méthodes combinées suivant des thèmes définis pour faire la synthèse des constata-tions. Afin de répondre à la principale question de recherche, les examinateurs ont intégré les constatations issues des études sur les non-interventions dans 36 études sur les inter-ventions, et comparé les résultats afin d’établir les ressemblances et les différences (Oliver et coll., 2005). Recourir à ces deux genres de résultats a permis un plus grand éventail de points de vue et de mieux comprendre les enjeux de santé publique du point de vue des gens qui font l’objet des interventions ciblées.
Les méta-examens, comme les décrivent Wong et Raabe (1996), intègrent des données qualitatives et quantitatives. Les auteurs ont suggéré de recourir à un méta-examen pour s’attaquer à certaines des limites associées aux examens qualitatifs traditionnels, comme la subjectivité de la sélection des articles et le poids attribué à chaque étude ainsi que l’absence d’analyse quantitative. On y est arrivé en incluant un examen narratif dans la méta-analyse des données quantitatives. Le premier facteur pour déterminer si une étude devrait être incluse est le modèle de l’étude; les études de modèle différent ne devraient pas être groupées aux fins de méta-analyse. Celle-ci peut augmenter la puissance statistique, mais elle ne peut compenser les questions méthodologiques reliées aux modèles d’étude. Il y a des étapes de base à suivre pour effectuer un méta-examen :
1. définir la question de recherche;2. procéder à un examen documentaire exhaustif;3. créer des critères d’inclusion a priori;
32
4. effectuer un examen qualitatif traditionnel;5. effectuer une méta-analyse quantitative;6. intégrer un examen qualitatif traditionnel avec une méta-analyse quantitative;7. appliquer les critères de causalité à l’interprétation.
Les auteurs laissent entendre qu’intégrer un examen narratif traditionnel dans une méta-analyse peut réduire la subjectivité.
Un document de 2007 publié par Sandelowski, Barroso et Voils portait sur la nécessité pour les disciplines de la santé d’inclure des constatations d’études qualitatives et quantitatives dans les examens, surtout en raison du nombre croissant d’études fondées sur les méthodes mélan-gées. Les auteurs ont examiné 42 rapports, y compris des articles de revue, des dissertations ou des thèses non publiées et des rapports techniques. Afin de différencier leur approche d’un examen systématique standard, aucun rapport n’a été exclu d’après la qualité méthodologique. Pour faire la synthèse de leurs constatations, ils ont mis au point un modèle de méta-synthèse qualitative où les constatations provenant d’études primaires sont groupées par sujet et par thème. Le méta-résumé comprenait l’extraction, le groupage et le formatage des constatations, ainsi que le calcul de l’ampleur de la fréquence et de l’effet pour les données quantitatives. Cette approche peut servir à faire la synthèse des enquêtes fondées sur des méthodes mélan-gées où la collecte des données et les procédures d’analyse sont semblables.
Résumé de la section
Intégrer des données qualitatives et quantitatives dans un rapport peut s’avérer utile lorsqu’il s’agit de comprendre le succès ou l’échec d’interventions. Toutefois, évaluer la qualité d’études sans groupes témoins peut être problématique, surtout si la qualité est évaluée par des méthodes traditionnelles employées dans les examens systématiques ou les méta-anal-yses. Les résultats de l’évaluation de la qualité n’ont pas servi de critères d’exclusion. Ils ont plutôt été intégrés dans le débat sur les constatations. Grouper les constatations selon une méthode thématique et globale est une autre approche appropriée à la méta-analyse. Les chercheurs pourraient intégrer certains processus d’examen systématique, comme de-mander à deux personnes d’examiner et d’extraire les données, mais la plupart des auteurs suggèrent d’utiliser une approche narrative à la présentation des résultats lorsque la méta-analyse ne convient pas.
Études comparant les résultats selon des méthodes différentes
La recherche comprenait deux études qui visaient à examiner les problèmes qui se présen-tent quand il s’agit de comparer les résultats d’études sur échantillon aléatoire ou non aléa-toire concernant la même intervention.
Jefferson et Demicheli (1999) ont évalué la capacité de différents modèles d’étude à vérifier quatre aspects du rendement des vaccins (l’immunogénicité, la durée de l’immunité ap-portée, l’incidence et la gravité des effets secondaires et le nombre d’infections prévenues par la vaccination). Leurs constatations révèlent qu’en vaccinologie, les modèles d’étude expérimentaux et non expérimentaux sont souvent complémentaires. Cependant, dans
33
certains cas, la qualité du vaccin pourrait seulement être mesurée par un genre d’étude. Par exemple, une EEAC est préférable pour mesurer les effets secondaires. Les modèles non expérimentaux conviennent quand :
une expérience est impossible, inutile ou inappropriée;• l’efficace individuelle doit être mesurée d’après des événements négatifs et peu • fréquents; les interventions préviennent de rares cas ou l’efficacité d’une intervention au sein • d’une population doit être mesurée à long terme.
En recourant à des données d’entrevue recueillies auprès de 17 auteurs et utilisateurs d’ÉTS, Rotstein et Laupacis (2004) ont jeté de la lumière sur les différences entre les ÉTS et les examens systématiques. Voici quelles sont ces différences :
1. les normes méthodologiques — les ÉTS peuvent inclure de la documentation de mauvaise qualité méthodologique si un sujet est important pour les décideurs;
2. la reprise d’études antérieures — les examens systématiques n’ont pas à être re-pris si les études antérieures étaient de grande qualité ou quand il n’existe aucune nouvelle donnée probante de grande qualité; dans le cas des ÉTS, il faut souvent reprendre des études pour défendre les conclusions du rapport;
3. le choix des sujets — les sujets sont plus axés sur les politiques avec les ÉTS, alors que les examens systématiques tendent à être orientés par des questions d’efficacité;
4. l’inclusion de spécialistes du contenu (dans les examens systématiques) et de responsables de l’élaboration des politiques (dans les ÉTS) comme auteurs;
5. l’inclusion d’évaluations économiques, dans les ÉTS;6. la formulation de recommandations d’orientation, dans les ÉTS;7. la diffusion du rapport, réalisée plus souvent activement dans le cas des ÉTS.
Les ÉTS ne sont pas précisément conçues pour évaluer des données probantes scienti-fiques, alors que les examens systématiques sont destinés à cette fin. Cependant, la nature impartiale de l’enquête scientifique aiderait à renforcer les décisions stratégiques découlant de données probantes issues d’ÉTS. Les niveaux différents de données probantes (sous les EEAC dans la hiérarchie) sont plus acceptables dans les ÉTS.
Résumé de la section
Ces deux comparaisons de résultats de la même intervention obtenus par des modèles différents font ressortir qu’il est utile d’envisager des modèles différents dans les examens, non seulement parce qu’il pourrait s’agir des meilleurs renseignements qui soient, mais aussi parce qu’ils sont plus susceptibles de répondre aux questions relatives à l’efficacité à long terme, aux événements négatifs et aux cas rares. Les forces que représente le fait d’inclure d’autres modèles l’emportent sur les limites.
34
Discussion
Le principal point de mire du présent document sur le plan de la recherche était les méth-odes d’inclusion des résultats provenant d’essais sur échantillon non aléatoire, ainsi que la qualité et la synthèse de ces données. Il s’agit d’une importante question de recherche, car dans bien des domaines de la santé et de la santé publique, les données probantes provenant d’EEAC n’existent pas. Les données probantes issues d’essais sur échantillon non aléatoire ont toujours été critiquées comme étant peu fiables, en raison du risque de biais accru. Il est couramment entendu que le biais de sélection, de répartition ou d’attrition a tendance à être plus grand dans les essais sur échantillon non aléatoire. Les lecteurs de données issues d’essais sur échantillon non aléatoire doivent être conscients que ces biais peuvent exister, et les chercheurs devraient tenir compte de biais possibles dans leurs études. Voici quelques suggestions découlant des études examinées dans le présent docu-ment :
dans tous les essais sur échantillon non aléatoire, un modèle d’étude solide et • transparent s’impose; la question de recherche devrait déterminer le modèle d’étude;• les auteurs d’étude doivent intégrer des renseignements détaillés sur leur étude; un • manque d’information signifie que les lecteurs ne peuvent déterminer ce qui a été fait ou non dans le modèle d’étude; il faut que la terminologie et les descriptions soient uniformes d’une étude sur • échantillon non aléatoire à l’autre pour que les comparaisons se fassent facilement.
Il existe plusieurs approches méthodologiques à l’inclusion de données provenant d’études sur échantillon non aléatoire. Nous avons découvert que c’est le travail de Whittemore et Knafl (2005) qui est le plus systématique. Whittemore et Knafl proposent une méthode d’examen par intégration en cinq étapes qui intègre la définition du problème, le dépouille-ment documentaire ainsi que l’évaluation, l’analyse et la présentation des données.
Bon nombre de chercheurs utilisent divers outils d’évaluation pour déterminer la qualité des études incluses. Norris et Atkins (2005) fournissent une liste exhaustive de recommanda-tions pour évaluer la qualité d’étude qui est ressortie des 49 examens sur lesquels ils se sont penchés. Ces recommandations étaient exposées dans leurs grandes lignes dans le présent document. D’autres auteurs ont utilisé des listes de contrôle ou des instruments de notation existants, comme MINORS ou GRADING. Certains ont adapté des outils pour qu’ils soient conformes aux modèles d’étude découverts dans les études primaires, alors que d’autres ont créé de nouveaux outils qui correspondaient aux renseignements à extraire des études incluses. La validité ou la fiabilité de bon nombre de ces outils n’a pas été éprouvée. Nous recommandons que d’autres études soient effectuées pour que soient établies la va-lidité et la fiabilité de ces outils d’évaluation de la qualité dans le cas des essais sur échan-tillon non aléatoire. Autant que possible, les examinateurs devraient recourir à des outils éprouvés et jugés valides et fiables en ce qui touche les essais sur échantillon non aléatoire, comme le Quality Assessment Instrument for Primary Studies (outil d’évaluation de la qualité pour les études primaires) mis au point par le Projet de pratique efficace en santé publique, à Hamilton (Ontario).
35
Inclure des données provenant d’essais sur échantillon non aléatoire s’avère difficile. Cependant, leur inclusion peut apporter plusieurs avantages. S’inspirer d’études sur échan-tillon non aléatoire signifie que les chercheurs peuvent ajouter un éventail plus large de documentation à leurs stratégies de recherche (Thomas et coll., 2004). Intégrer ces études peut élargir la portée des questions auxquelles il est possible de répondre. Cette recherche permet d’établir pourquoi, comment et pour qui les interventions ou les programmes sont fructueux ou non (Oliver et coll., 2005).
36
Recommandations
Actuellement, il n’existe aucun modèle standard pour faire la synthèse des études sans groupes témoins. Le présent document a pour objet d’examiner les méthodes de synthèse, les outils d’évaluation critique et les études portant sur l’évaluation et la synthèse des études sans groupes témoins.
Le présent document exposait dans leurs grandes lignes certaines précautions à prendre quand il s’agit d’utiliser des études sur échantillon non contrôlé comme données probantes, et il recommandait des outils et des processus.
1. Intégrer des études sans groupes témoins dans les examens systématiques, en particulier quand il n’y a aucune autre étude à prendre en compte. Les études sans groupes témoins peuvent aussi renseigner sur l’efficacité à long terme, les cas rares et les effets néfastes.
2. Éviter de généraliser l’orientation des écarts de revenu entre les études sur échan-tillon aléatoire et celles sur échantillon non contrôlé. Bien que les effets soient plus souvent de moindre envergure dans les essais sur échantillon aléatoire et contrôlé (EEAC), certains donnent des résultats inverses ou identiques quelle que soit le modèle d’étude.
3. Adopter l’approche de Whittemore et Knafl (2005) selon laquelle il faut inclure les résultats d’essais sur échantillon non aléatoire. Whittemore et Knafl proposent une méthode d’examen par intégration en cinq étapes qui englobe la définition des problèmes, le dépouillement documentaire ainsi que l’évaluation, l’analyse et la présentation des données.
4. Recommandations concernant les méthodes d’examen systématique, incluant les études sans groupes témoins :
a) utiliser un outil d’évaluation critique dont l’uniformité interne, la fiabilité de test-retest, le coefficient d’objectivité et, à tout le moins, la validité apparente et de critère ont été éprouvés (Downs et Black, 1998; Slim, Nini, Forestier et coll., 2003; Steuten, Vrijhoef, van-Merode et coll., 2004; Thomas, Ciliska, Dobbins et coll., 2004a; Zaza, Wright-De Aguero, Briss et coll., 2000);
b) éviter de méta-analyser les résultats d’études par observation.5. Suggestions aux auteurs d’études primaires :
a) assurer un modèle d’étude solide et transparent dans tous les essais sur échantillon non aléatoire;
b) confirmer que la question de recherche détermine le modèle d’étude;c) inclure des renseignements détaillés sur l’étude; s’il manque de
l’information, les lecteurs ne pourront déterminer ce qui a été fait ou non dans le modèle d’étude;
d) garantir l’uniformité de la terminologie et des descriptions dans toutes les études sur échantillon non aléatoire afin de faciliter les comparaisons.
6. Répercussions sur les recherches ultérieures :
37
a) effectuer des essais de fiabilité et de validité sur les outils d’évaluation critique;
b) mener d’autres études pour évaluer les divers résultats obtenus par des essais sur échantillon aléatoire ou non.
7. Il est difficile d’inclure des données provenant d’essais sur échantillon non aléa-toire; cependant, cela peut offrir plusieurs avantages :
a) un ensemble de documentation plus large peut être inclus dans les straté-gies de recherche (Thomas, Harden, Oakley et coll., 2004);
b) la portée des questions auxquelles on peut répondre peut être élargie; c) l’étude permet d’établir pourquoi, comment et pour qui les interventions ou
les programmes réussissent ou échouent (Oliver, Harden, Rees et coll., 2005).
38
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Ran
gel e
t col
l.
2003
Éta
ts-U
nis
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
Déc
rire
la m
ise
au
poin
t et l
es a
pplic
a-tio
ns p
ossi
bles
d’u
ne
éche
lle n
orm
alis
ée
d’év
alua
tion
de la
qu
alité
des
tinée
aux
ét
udes
rétro
spec
tives
en
chi
rurg
ie p
édia
-tri
que.
Ils o
nt m
is a
u po
int u
n in
stru
men
t d’é
valu
atio
n ex
haus
tive
de la
qua
lité
inté
gran
t 30
élém
ents
à
l’int
érie
ur d
e tro
is s
ous-
éche
lles.
Les
sous
-éch
elle
s on
t été
con
çues
pou
r éva
luer
la p
ertin
ence
clin
ique
, la
mét
hodo
logi
e de
com
-m
unic
atio
n et
la fo
rce
des
conc
lusi
ons.
Les
cote
s de
qua
lité
glob
ale
(mau
vais
e, a
ssez
bon
ne o
u bo
nne)
ont
été
dér
ivée
s de
la c
ombi
-na
ison
des
not
es o
bten
ues
dans
cha
que
sous
-éch
elle
.
Six
exa
min
ateu
rs in
dépe
ndan
ts o
nt e
xam
iné
le c
oeffi
cien
t d’o
bjec
tivité
en
éval
uant
l’in
stru
men
t da
ns 1
0 ét
udes
rétro
spec
tives
tiré
es d
e do
cum
enta
tion
sur l
a ch
irurg
ie p
édia
triqu
e.
Con
stat
atio
ns
L’in
stru
men
t ava
it un
exc
elle
nt c
oeffi
cien
t d’o
bjec
tivité
.•
Les
degr
és d
’ent
ente
éta
ient
très
éle
vés
pour
tous
les
élém
ents
de
l’ins
trum
ent (
84,6
% d
e •
conc
orda
nce,
n =
157
3 él
émen
ts) e
t tou
tes
les
sous
-éch
elle
s (é
chel
le d
e 73
,3 %
à 8
5,8
%,
n =
60 à
125
8)
Con
clus
ions
Les
aute
urs
ont m
is a
u po
int u
ne é
chel
le
• d’
éval
uatio
n de
la q
ualit
é no
rmal
isée
et fi
able
po
ur l’
anal
yse
de d
onné
es ré
trosp
ectiv
es e
n ch
irurg
ie p
édia
triqu
e.
Les
résu
ltats
peu
vent
ne
pas
être
app
licab
les
à •
d’au
tres
inte
rven
tions
.
App
licat
ions
pos
sibl
es
Four
nir a
ux c
hiru
rgie
ns p
ratic
iens
une
bas
e de
•
conn
aiss
ance
s po
ur é
valu
er d
e m
aniè
re c
ritiq
ue
les
donn
ées
rétro
spec
tives
pub
liées
.
Pro
cure
r une
mét
hodo
logi
e no
rmal
isée
pou
r •
l’exa
men
sys
tém
atiq
ue d
es d
onné
es ré
trosp
ec-
tives
exi
stan
tes.
Éla
bore
r des
lign
es d
irect
rices
de
com
mun
ica-
• tio
n no
rmal
isée
s po
ur le
s re
vues
exa
min
ées
par
les
pairs
.
Mar
getts
et c
oll.
1995
Roy
aum
e-U
ni
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
Cré
er u
n sy
stèm
e de
no
tatio
n po
ur m
ieux
ju
ger d
e la
qua
lité
scie
ntifi
que
des
étud
es
épid
émio
logi
ques
par
ob
serv
atio
n re
liant
le
régi
me
alim
enta
ire a
u ris
que
de c
ance
r.
Le s
ystè
me
de n
otat
ion
a ét
é cr
éé d
’apr
ès d
es ru
briq
ues
clés
util
isée
s po
ur é
labo
rer d
es p
roto
-co
les
de re
cher
che
et c
ompr
enai
t des
que
stio
ns s
ous
les
rubr
ique
s :
trois
pou
r les
étu
des
cas-
tém
oin
(éva
luat
ion
de l’
alim
enta
tion,
recr
utem
ent d
e su
jets
et
• an
alys
e) –
sys
tèm
e de
not
atio
n à
l’ann
exe
A;
quat
re p
our l
es é
tude
s de
coh
orte
s (é
valu
atio
n de
l’al
imen
tatio
n, d
éfini
tion
de c
ohor
te,
• vé
rifica
tion
et a
naly
se) –
sys
tèm
e de
not
atio
n à
l’ann
exe
B.
La v
aria
tion
d’un
obs
erva
teur
à l’
autre
a é
té é
valu
ée.
Les
obse
rvat
eurs
s’e
nten
daie
nt b
ien
sur l
e cl
asse
men
t des
étu
des.
Le s
ystè
me
de n
otat
ion
a ét
é ap
pliq
ué à
un
exam
en d
u ra
ppor
t ent
re la
via
nde
et le
risq
ue d
e ca
ncer
:
D’a
près
ce
qui s
embl
ait u
n va
ste
écha
ntill
on d
e do
cum
enta
tion,
rela
tivem
ent p
eu d
’étu
des
ont
obte
nu u
ne b
onne
not
e (s
upér
ieur
e à
65 %
). C
epen
dant
, ces
étu
des
tend
aien
t à fo
urni
r des
re
nsei
gnem
ents
plu
s un
iform
es.
Dan
s le
cas
des
étu
des
cas-
tém
oin,
34
des
106
étud
es o
nt o
bten
u un
e no
te s
upér
ieur
e à
65 %
.
Dan
s ce
lui d
es é
tude
s de
coh
orte
s, 1
0 de
s 41
étu
des
ont o
bten
u un
e no
te s
upér
ieur
e à
65 %
.
Le p
roto
type
de
syst
ème
de n
otat
ion
dont
il e
st q
ues-
tion
ici a
per
mis
aux
aut
eurs
de
décr
ire le
s do
nnée
s ép
idém
iolo
giqu
es s
ur le
régi
me
alim
enta
ire e
t le
canc
er, m
ais
il n’
est p
as a
pplic
able
à d
’aut
res
cadr
es
ou in
terv
entio
ns
Tableau résumant les résultats des documents pertinents
39
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Dow
ns e
t Bla
ck
1998
Roy
aum
e-U
ni
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
Vér
ifier
la fa
isab
ilité
de
crée
r une
list
e de
con
-trô
le v
alid
e et
fiab
le
ayan
t les
car
acté
ris-
tique
s su
ivan
tes
:
qui c
onvi
ent à
l’é
valu
atio
n de
s ét
udes
su
r éch
antil
lon
aléa
-to
ire o
u no
n al
éato
ire;
qui d
onne
à la
fois
un
e no
te g
loba
le p
our
la q
ualit
é de
l’ét
ude
et u
n pr
ofil d
e no
tes,
no
n se
ulem
ent p
our l
a qu
alité
de
la c
omm
u-ni
catio
n, la
val
idité
in-
tern
e et
la p
uiss
ance
, m
ais
auss
i pou
r la
valid
ité e
xter
ne.
L’ét
ude
a co
mm
encé
par
une
ver
sion
pilo
te d
e l’o
util.
Les
che
rche
urs
ont d
eman
dé à
troi
s ex
perts
d’é
valu
er la
val
idité
app
aren
te e
t cel
le d
u co
nten
u. E
nsui
te, d
eux
éval
uate
urs
ont u
tilis
é l’o
util
pour
éva
luer
10
étud
es s
ur é
chan
tillo
n al
éato
ire e
t 10
étud
es s
ur é
chan
tillo
n no
n al
éato
ire
afin
de m
esur
er la
fiab
ilité
.
Con
stat
atio
ns
À l’
aide
d’é
valu
ateu
rs d
iffér
ents
, on
a ré
visé
la li
ste
de c
ontrô
le e
t vér
ifié
sa c
ohér
ence
•
inte
rne
(Kud
er-R
icha
rdso
n 20
), sa
fiab
ilité
de
test
-ret
est e
t son
coe
ffici
ent d
’obj
ectiv
ité, l
a va
lidité
des
crit
ères
et l
e fa
rdea
u du
répo
ndan
t.
Les
cher
cheu
rs o
nt c
onst
até
une
forte
coh
éren
ce in
tern
e du
poi
nt d
e vu
e de
l’in
dice
de
• qu
alité
.
La fi
abili
té d
e te
st-r
etes
t et l
e co
effic
ient
d’o
bjec
tivité
de
l’ind
ice
de q
ualit
é ét
aien
t bon
s• •
Con
clus
ions
Il es
t pos
sibl
e de
pro
duire
une
list
e de
con
trôle
•
qui é
valu
e le
s ét
udes
sur
éch
antil
lon
aléa
toire
ou
non
aléa
toire
.
La p
rinci
pale
pré
occu
patio
n co
ncer
ne la
val
idité
•
exte
rne
de la
list
e et
son
app
licat
ion
au-d
elà
de
l’obj
et d
’étu
de.
Slim
et c
oll.
2003
Fran
ce
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
Met
tre a
u po
int e
t va
lider
un
indi
ce
mét
hodo
logi
que
pour
le
s ét
udes
sur
éch
an-
tillo
n no
n al
éato
ire
(MIN
OR
S) q
ue le
s le
cteu
rs, l
es e
xam
ina-
teur
s de
man
uscr
its o
u le
s ré
dact
eurs
en
chef
de
revu
e po
urra
ient
ut
ilise
r pou
r éva
luer
la
qua
lité
de c
e ge
nre
d’ét
udes
.
L’in
dice
com
ptai
t 12
élém
ents
.
Dan
s le
cas
des
étu
des
non
com
para
tives
, voi
ci q
uels
éta
ient
les
élém
ents
:
un o
bjec
tif c
laire
men
t éno
ncé,
•
l’inc
lusi
on d
e pa
tient
s co
nséc
utifs
,•
une
colle
cte
pros
pect
ive
des
donn
ées,
•
des
critè
res
conv
enan
t à l’
obje
ctif
de l’
étud
e,•
une
éval
uatio
n im
parti
ale
des
critè
res
de l’
étud
e,•
une
pério
de d
e su
ivi a
ppro
prié
e à
l’obj
ectif
de
l’étu
de,
•
un s
uivi
impo
ssib
le d
ans
moi
ns d
e 5
% d
es c
as.
•
Dan
s le
cas
des
étu
des
com
para
tives
, voi
ci q
uels
éta
ient
les
élém
ents
:
un g
roup
e té
moi
n ay
ant f
ait l
’obj
et d
’un
exem
ple
idéa
l d’in
terv
entio
n,•
des
grou
pes
cont
empo
rain
s,•
une
équi
vale
nce
de b
ase
des
grou
pes,
•
un c
alcu
l pro
spec
tif d
e la
taill
e de
l’ét
ude,
•
des
anal
yses
sta
tistiq
ues
adap
tées
au
mod
èle
d’ét
ude.
•
Les
exam
inat
eurs
s’e
nten
daie
nt b
ien
sur l
’indi
ce; l
a fia
bilit
é de
test
-ret
est é
tait
élev
ée, d
’apr
ès
le c
oeffi
cien
t Kap
pa; e
t la
cohé
renc
e in
tern
e ét
ait b
onne
, sel
on le
coe
ffici
ent a
lpha
de
Cro
n-ba
ch.
MIN
OR
S e
st u
n in
stru
men
t val
ide
dest
iné
à év
alue
r la
qua
lité
mét
hodo
logi
que
des
étud
es d
’inte
rven
tions
ch
irurg
ical
es s
ur é
chan
tillo
n no
n al
éato
ire, q
u’el
les
soie
nt c
ompa
rativ
es o
u no
n.
Il se
pou
rrai
t que
les
cher
cheu
rs d
oive
nt fa
ire p
reuv
e de
pru
denc
e en
app
liqua
nt l’
inst
rum
ent à
des
inte
r-ve
ntio
ns n
on c
hiru
rgic
ales
.
40
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Zaza
et c
oll.
2000
Éta
ts-U
nis
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
1. C
ontri
buer
à la
co
hére
nce,
rédu
ire le
bi
ais
et a
mél
iore
r la
valid
ité p
our l
es c
her-
cheu
rs q
ui u
tilis
ent l
e G
uide
to C
omm
unity
P
reve
ntio
n S
ervi
ces:
S
yste
mat
ic R
evie
ws
and
Evi
denc
e-B
ased
R
ecom
men
datio
ns
(gui
de d
es s
ervi
ces
com
mun
auta
ires
de
prév
entio
n : e
xam
ens
syst
émat
ique
s et
re
com
man
datio
ns fo
n-dé
es s
ur d
es d
onné
es
prob
ante
s) (l
e gu
ide)
.
2. É
labo
rer u
n fo
rmul
aire
nor
mal
isé
d’ex
tract
ion
des
don-
nées
à u
tilis
er a
vec
le
guid
e.
Le fo
rmul
aire
a é
té é
labo
ré p
ar :
exam
en d
es m
étho
dolo
gies
em
ploy
ées
dans
d’a
utre
s ex
amen
s sy
stém
atiq
ues;
•
com
mun
icat
ion
des
norm
es é
tabl
ies
par l
es re
vues
de
sant
é et
de
scie
nces
soc
iale
s;•
exam
en d
e la
doc
umen
tatio
n su
r les
éva
luat
ions
, les
sta
tistiq
ues
et le
s m
éta-
anal
yses
;•
solli
cita
tion
d’op
inio
ns d
’exp
erts
.•
Le fo
rmul
aire
a s
ervi
à é
valu
er la
qua
lité
mét
hodo
logi
que
d’ét
udes
prim
aire
s (2
3 qu
estio
ns)
et à
cla
sser
et d
écrir
e le
s pr
inci
pale
s ca
ract
éris
tique
s de
l’in
terv
entio
n et
de
l’éva
luat
ion
(26
ques
tions
).
Les
cher
cheu
rs o
nt e
xam
iné
des
proc
édur
es e
t des
résu
ltats
d’é
tude
; et i
ls o
nt é
valu
é le
s m
en-
aces
à la
val
idité
dan
s si
x ca
tégo
ries
:
desc
riptio
ns d
’inte
rven
tion
et d
’étu
de
•
écha
ntill
onna
ge•
mes
ure
•
anal
yse
•
inte
rpré
tatio
n de
s ré
sulta
ts•
autre
s qu
estio
ns d
’exé
cutio
n•
Le p
roce
ssus
a p
erm
is d
’am
élio
rer l
a va
lidité
et l
a fia
bilit
é du
gui
de.
Le fo
rmul
aire
nor
mal
isé
d’ex
tract
ion
de d
onné
es
peut
aid
er le
s ch
erch
eurs
et l
es le
cteu
rs d
’étu
des
prim
aire
s à
exam
iner
le c
onte
nu e
t la
qual
ité d
es
étud
es. I
l peu
t aus
si a
ider
à é
labo
rer d
es m
anus
crits
à
soum
ettre
à d
es re
vues
exa
min
ées
par l
es p
airs
.
Gre
er e
t col
l.
2000
US
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
(Sys
tèm
es d
e no
tatio
n de
s do
n-né
es p
roba
ntes
)
Déc
rire
en d
étai
l le
syst
ème
de n
otat
ion
des
donn
ées
prob
an-
tes
et d
es c
oncl
u-si
ons
qui a
été
mis
au
poi
nt p
ar l’
Inst
itute
fo
r Clin
ical
Sys
tem
s Im
prov
emen
t (IC
SI)
à l’i
nten
tion
des
clin
icie
ns p
ratic
iens
qu
i réd
igen
t les
do
cum
ents
et s
’en
serv
ent p
our p
rend
re
des
déci
sion
s su
r les
so
ins
à pr
odig
uer a
ux
patie
nts.
Le s
ystè
me
de n
otat
ion
com
pren
ait u
ne é
valu
atio
n de
cha
que
com
pte
rend
u de
rech
erch
e et
un
e év
alua
tion
de la
forc
e gl
obal
e de
s do
nnée
s pr
oban
tes
appu
yant
une
con
clus
ion
ou u
ne
reco
mm
anda
tion
en p
artic
ulie
r.
Le s
ystè
me
de n
otat
ion
serv
ant à
éva
luer
la q
ualit
é de
s co
mpt
es re
ndus
de
rech
erch
e se
com
-pr
end
faci
lem
ent e
t est
plu
s fa
cile
à u
tilis
er p
our l
es m
édec
ins
prat
icie
ns.
Le s
ystè
me
de n
otat
ion
a po
ur o
bjec
tif d
e fa
ire re
ssor
tir u
n co
mpt
e re
ndu
qui e
st a
norm
alem
ent
fort
ou re
mar
quab
lem
ent d
éfec
tueu
x.
Le s
ystè
me
de n
otat
ion
des
donn
ées
prob
ante
s :
com
pren
d le
tabl
eur d
e no
tatio
n de
s co
nclu
sion
s, ta
bleu
r qui
exi
ge l’
énon
cé d
’une
con
clu-
• si
on, u
n ré
sum
é de
s co
mpt
es re
ndus
de
rech
erch
e qu
i son
t à l’
appu
i de
la c
oncl
usio
n ou
la
réfu
tent
, l’a
ttrib
utio
n de
cat
égor
ies
et d
’indi
ces
de q
ualit
é au
x co
mpt
es re
ndus
de
rech
er-
che,
et l
’attr
ibut
ion
d’un
e no
te à
la c
oncl
usio
n;
a se
rvi à
rédi
ger p
lus
de 4
0 lig
nes
dire
ctric
es e
t de
nom
breu
x ra
ppor
ts d
’éva
luat
ion
tech
-•
nolo
giqu
e.
Con
clus
ions
Le s
ystè
me
sem
ble
perm
ettre
de
surm
onte
r la
• co
mpl
exité
de
certa
ins
syst
èmes
pub
liés
de n
ota-
tion
des
donn
ées
prob
ante
s, b
ien
qu’il
don
ne to
u-jo
urs
un c
lass
emen
t déf
enda
ble
des
conc
lusi
ons
fond
ées
sur l
a fo
rce
des
donn
ées
prob
ante
s so
us-ja
cent
es.
La fi
abili
té d
u sy
stèm
e do
it êt
re ri
gour
euse
men
t •
mis
e à
l’épr
euve
.
41
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Ste
uten
et c
oll.
2004
Pay
s-B
as
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
Déc
rire
dans
que
lle
mes
ure
les
inst
ru-
men
ts a
ctue
ls s
ont
utile
s lo
rsqu
’il s
’agi
t d’
éval
uer l
a qu
alité
m
étho
dolo
giqu
e de
l’év
alua
tion
de
l’éva
luat
ion
des
tech
-no
logi
es d
e la
san
té
(ÉTS
) pou
r la
gest
ion
des
mal
adie
s.
Des
pro
blèm
es o
nt é
té re
levé
s da
ns l’
éval
uatio
n de
la q
ualit
é m
étho
dolo
giqu
e de
six
ÉTS
pou
r la
ges
tion
des
mal
adie
s da
ns le
cas
de
trois
inst
rum
ents
diff
éren
ts. I
ls c
once
rnai
ent s
urto
ut :
le m
odèl
e d’
étud
e (E
EA
C o
u ét
udes
par
obs
erva
tion)
; •
les
critè
res
de s
élec
tion
et la
lim
itatio
n de
s pa
tient
s;•
les
mes
ures
de
base
et d
e ré
sulta
ts (p
lusi
eurs
par
amèt
res
s’im
pose
nt);
•
le tr
aite
men
t à l’
aveu
gle
des
patie
nts
et d
es fo
urni
sseu
rs (c
e qu
i est
impo
ssib
le e
n ge
stio
n •
des
mal
adie
s);
la d
escr
iptio
n de
s in
terv
entio
ns c
ompl
exes
à fa
cette
s m
ultip
les
et l’
évite
men
t des
co-
• in
terv
entio
ns.
Les
cher
cheu
rs o
nt p
ropo
sé e
t val
idé
un n
ouve
l ins
trum
ent,
HTA
-DM
(ÉTS
-GM
), qu
i :
com
pte
quat
re c
ompo
sant
es (p
opul
atio
n à
l’étu
de, d
escr
iptio
n de
l’in
terv
entio
n, m
esur
e de
s •
résu
ltats
et a
naly
se e
t pré
sent
atio
n de
s do
nnée
s);
renf
erm
e 15
élé
men
ts (s
ur la
val
idité
inte
rne,
la v
alid
ité e
xter
ne e
t les
con
sidé
ratio
ns
• st
atis
tique
s).
•
Cho
u et
Hel
fand
2005
Éta
ts-U
nis
MÉT
HO
DES
(Exa
men
s sy
sté-
mat
ique
s (E
S) s
ur
les
préj
udic
es)
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
Exa
min
er le
s dé
fis
mét
hodo
logi
ques
de
l’ex
écut
ion
d’E
S
sur l
es p
réju
dice
s et
sou
ligne
r des
ex
empl
es d
’app
roch
es
à le
ur é
gard
pro
vena
nt
de 9
6 co
mpt
es re
ndus
de
don
nées
pro
bant
es
sur l
es c
entre
s de
pra
-tiq
ue fo
ndée
sur
des
do
nnée
s pr
oban
tes.
Cer
tain
es é
tude
s on
t per
mis
de
cons
tate
r que
les
étud
es p
ar o
bser
vatio
n et
les
EE
AC
indi
quen
t de
s es
timat
ions
d’e
ffets
sem
blab
les.
D’a
utre
s on
t per
mis
de
cons
tate
r que
les
essa
is c
liniq
ues
indi
quen
t des
risq
ues
accr
us
d’év
énem
ents
nég
atifs
que
les
étud
es p
ar o
bser
vatio
n (p
eut-ê
tre e
n ra
ison
de
l’éva
luat
ion
des
préj
udic
es q
ui e
st p
lus
mau
vais
e da
ns le
s ét
udes
par
obs
erva
tion,
ou
parc
e qu
’elle
s so
nt p
lus
susc
eptib
les
d’êt
re p
ublié
es s
i elle
s in
diqu
ent d
e bo
nnes
mét
hode
s ou
de
bons
résu
ltats
).
Incl
ure
de g
rand
es b
ases
de
donn
ées
pour
rait
four
nir d
es re
nsei
gnem
ents
util
es s
ur le
s pr
éju-
dice
s.
Les
rése
aux
fond
és s
ur la
pra
tique
four
niss
ent s
ouve
nt d
es d
étai
ls p
lus
riche
s qu
e le
s ba
ses
de
donn
ées
adm
inis
trativ
es —
il e
st p
ossi
ble
de d
éfini
r et d
e m
esur
er le
s va
riabl
es c
onfu
sion
nelle
s pr
obab
les
avec
plu
s de
con
fianc
e, m
ais
elle
s so
nt p
lus
diffi
cile
s à
trouv
er p
ar d
épou
illem
ent
élec
troni
que
parc
e qu
e bo
n no
mbr
e de
s an
alys
es d
u ge
nre
sont
à p
ropr
iété
exc
lusi
ve.
Incl
ure
des
rapp
orts
de
cas
peut
aid
er à
défi
nir l
es e
ffets
indé
sira
bles
peu
cou
rant
s, in
atte
ndus
ou
à lo
ng te
rme
des
méd
icam
ents
qui
son
t sou
vent
diff
éren
ts d
e ce
ux d
écel
és p
enda
nt le
s es
sais
clin
ique
s.
Éva
luer
la q
ualit
é de
s ra
ppor
ts d
e pr
éjud
ices
:
Plu
sieu
rs E
S o
nt p
erm
is d
e dé
couv
rir q
ue le
fait
d’op
ter p
our d
es é
tude
s ca
s-té
moi
n pr
o-•
spec
tives
ou
rétro
spec
tives
ou
des
étud
es d
e co
horte
s, o
u en
core
des
étu
des
de s
érie
s de
ca
s de
pet
ite
Il fa
ut d
ispo
ser d
e m
eille
ures
don
nées
sur
les
préj
u-di
ces
pour
effe
ctue
r des
ES
équ
ilibr
és.
Il y
a lie
u de
men
er d
’aut
res
rech
erch
es a
fin d
’éta
blir
de m
aniè
re e
mpi
rique
l’ef
fet d
’incl
ure
des
donn
ées
issu
es d
e di
vers
es s
ourc
es s
ur le
s év
alua
tions
de
préj
udic
es, m
ais
auss
i d’a
mél
iore
r et d
e vé
rifier
les
critè
res
de n
otat
ion
de la
qua
lité
des
rapp
orts
de
préj
udic
es.
II im
porte
:
d’év
iter l
es c
ombi
nais
ons
stat
istiq
ues
de d
on-
• né
es q
ui s
ont i
napp
ropr
iées
;
de d
écrir
e av
ec s
oin
les
cara
ctér
istiq
ues
et la
•
qual
ité d
es é
tude
s in
clus
es;
d’ex
amin
er à
fond
les
sour
ces
poss
ible
s •
d’hé
téro
géné
ité.
42
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
McI
ntos
h et
col
l.
2004
Roy
aum
e-U
ni
MÉT
HO
DES
(ES)
Pré
sent
er l’
expé
rienc
e qu
i con
sist
e à
effe
c-tu
er d
es e
xam
ens
sys-
tém
atiq
ues
(ES
) sur
le
s ef
fets
noc
ifs e
t à
faire
des
sug
gest
ions
de
pra
tique
et d
’étu
des
pour
l’av
enir.
Les
aute
urs
ont é
valu
é le
s m
étho
des
empl
oyée
s da
ns tr
ois
ES
, en
se c
once
ntra
nt s
ur la
que
s-tio
n d’
exam
en, l
es m
odèl
es d
’étu
de e
t l’é
valu
atio
n de
la q
ualit
é.
Que
stio
n d’
exam
en
Dan
s un
exa
men
, on
posa
it un
e qu
estio
n pr
écis
e ax
ée s
ur la
pre
stat
ion
de re
nsei
gnem
ents
•
sur d
es e
ffets
noc
ifs s
péci
fique
s da
ns le
but
de
prod
uire
un
mod
èle
écon
omiq
ue; d
ans
les
deux
aut
res
exam
ens,
les
ques
tions
éta
ient
plu
s la
rges
.
Mod
èles
d’é
tude
Les
trois
incl
uaie
nt d
es d
onné
es d
’étu
des
sur é
chan
tillo
n al
éato
ire e
t par
obs
erva
tion,
mai
s •
chac
un d
éfini
ssai
t les
crit
ères
d’in
clus
ion
diffé
rem
men
t.
Éva
luat
ion
de la
qua
lité
:
liste
s de
con
trôle
pub
liées
et a
ppliq
uées
— p
robl
èmes
sur
venu
s;•
com
mun
icat
ion
inad
équa
te d
es c
arac
téris
tique
s fo
ndam
enta
les
de c
once
ptio
n de
s ét
udes
•
prim
aire
s —
list
es d
e co
ntrô
le o
met
tant
des
car
acté
ristiq
ues
clés
, com
me
la m
aniè
re d
ont
les
effe
ts n
ocifs
éta
ient
enr
egis
trés.
Prin
cipa
ux d
omai
nes
mér
itant
des
am
élio
ratio
ns :
conc
entre
r la
ques
tion
d’ex
amen
sur
des
poi
nts
• pr
écis
, car
les
ques
tions
larg
es e
t im
préc
ises
n’
aide
nt p
as a
u pr
oces
sus
d’ex
amen
;
élab
orer
des
mét
hode
s no
rmal
isée
s po
ur é
valu
er
• la
qua
lité
des
étud
es s
ur le
s ef
fets
noc
ifs.
Atk
ins
et c
oll.
2005
Éta
ts-U
nis
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
(Sys
tèm
e de
no
tatio
n)
Men
er u
n es
sai p
ilote
et
am
élio
rer l
’app
roch
e G
RA
DE
à la
not
atio
n de
s do
nnée
s pr
oban
-te
s et
des
reco
mm
an-
datio
ns.
L’ap
proc
he G
RA
DE
a é
té c
réée
par
le G
RA
DE
Wor
king
Gro
up p
our é
valu
er la
qua
lité
des
don-
nées
pro
bant
es e
t la
forc
e de
s re
com
man
datio
ns.
Les
cher
cheu
rs o
nt u
tilis
é 12
pro
fils
de d
onné
es p
roba
ntes
dan
s ce
tte é
tude
pilo
te.
Cha
que
profi
l a é
té c
réé
d’ap
rès
les
rens
eign
emen
ts fo
urni
s pa
r un
exam
en s
ysté
mat
ique
.
Dix
-sep
t per
sonn
es o
nt é
valu
é in
dépe
ndam
men
t la
qual
ité d
es d
onné
es p
roba
ntes
et l
a fo
rce
des
reco
mm
anda
tions
pou
r cha
cun
des
12 p
rofil
s.
Qua
lité
des
donn
ées
pour
cha
que
résu
ltat
Les
cher
cheu
rs o
nt d
écou
vert
qu’e
n pl
us d
u m
odèl
e d’
étud
e, d
e la
qua
lité,
de
la c
ohér
ence
•
et d
e la
fran
chis
e, d
’aut
res
critè
res
de q
ualit
é on
t aus
si in
fluen
cé le
juge
men
t sur
les
don-
nées
pro
bant
es; l
es d
onné
es é
pars
es, l
es s
olid
es a
ssoc
iatio
ns, l
es b
iais
de
publ
icat
ion,
la
rela
tion
dose
-effe
t et l
es s
ituat
ions
où
tout
es le
s va
riabl
es c
onfu
sion
nelle
s pl
ausi
bles
ont
re
nfor
cé p
lutô
t qu’
affa
ibli
la c
onfia
nce
à l’é
gard
de
l’orie
ntat
ion
de l’
effe
t.
Fiab
ilité
Sur
la q
ualit
é de
s do
nnée
s pr
oban
tes
pour
les
résu
ltats
touc
hant
cha
cune
des
dou
ze q
ues-
• tio
ns (l
e co
effic
ient
de
Kap
pa p
our l
a co
ncor
danc
e au
tre q
ue fo
rtuite
alla
it de
0 à
0,8
2), o
n s’
ente
ndai
t dan
s di
vers
es m
esur
es.
Sur
l’im
porta
nce
rela
tive
de c
haqu
e ré
sulta
t, on
s’e
nten
dait
asse
z bi
en.
•
Sur
l’éq
uilib
re e
ntre
les
avan
tage
s, le
s pr
éjud
ices
et l
es re
com
man
datio
ns, o
n s’
ente
ndai
t •
peu
(ce
qui p
ourr
ait s
’exp
lique
r en
parti
e pa
r l’a
ccum
ulat
ion
de to
us le
s éc
arts
ant
érie
urs
dans
la n
otat
ion
de la
qua
lité
et d
e l’i
mpo
rtanc
e de
s do
nnée
s pr
oban
tes)
.
La p
lupa
rt de
s éc
arts
ont
été
faci
lem
ent r
ésol
us p
ar la
dis
cuss
ion.
•
.
43
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Kha
n et
col
l.
2001
Roy
aum
e-U
ni
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
Four
nir d
es re
nsei
gne-
men
ts g
énér
aux
sur
la q
ualit
é de
s ét
udes
et
déc
rire
com
men
t dr
esse
r des
list
es
de c
ontrô
le p
our
l’éva
luat
ion
de la
qu
alité
.
Les
cher
cheu
rs o
nt d
écrit
des
rais
ons
d’in
clur
e l’é
valu
atio
n de
la q
ualit
é de
s ét
udes
dan
s le
s ex
amen
s, le
s ty
pes
de b
iais
, cer
tain
es m
étho
des
pour
se
prot
éger
con
tre le
bia
is d
ans
les
étud
es d
’effi
caci
té p
rimai
res
et c
omm
ent l
es in
stru
men
ts d
’éva
luat
ion
de la
qua
lité
devr
aien
t êt
re m
is a
u po
int.
Les
critè
res
de q
ualit
é po
ur l’
éval
uatio
n de
s ét
udes
par
obs
erva
tion
com
pren
nent
le fa
it de
ré
pond
re à
une
sér
ie d
e qu
estio
ns s
ur le
s ét
udes
de
coho
rtes,
les
étud
es c
as-té
moi
n et
les
série
s de
cas
.
Étu
des
de c
ohor
tes
Les
grou
pes
et la
répa
rtitio
n de
s fa
cteu
rs p
révi
sion
nels
son
t-ils
suf
fisam
men
t déc
rits?
•
Les
grou
pes
sont
-ils
réun
is e
n un
mêm
e en
droi
t pen
dant
la p
rogr
essi
on d
e la
mal
adie
?•
L’in
terv
entio
n ou
le tr
aite
men
t est
-il d
éter
min
é av
ec fi
abili
té?
•
Les
grou
pes
étai
ent-i
ls c
ompa
rabl
es d
u po
int d
e vu
e de
tous
les
fact
eurs
con
fusi
onne
ls
• im
porta
nts?
Les
effe
ts d
e ce
s va
riabl
es c
onfu
sion
nelle
s on
t-ils
été
ada
ptés
adé
quat
emen
t?•
Y av
ait-i
l une
rela
tion
dose
-effe
t ent
re l’
inte
rven
tion
et le
résu
ltat d
émon
tré?
•
Le ré
sulta
t a-t-
il ét
é év
alué
san
s qu
e l’é
tat d
’exp
ositi
on s
oit p
ris e
n co
mpt
e?•
Le s
uivi
a-t-
il ét
é su
ffisa
mm
ent l
ong
pour
que
les
résu
ltats
soi
ent o
bten
us?
•
La p
ropo
rtion
de
la c
ohor
te a
-t-el
le fa
it l’o
bjet
d’u
n su
ivi?
•
Les
taux
et l
es m
otifs
d’a
band
on é
taie
nt-il
s se
mbl
able
s d’
un g
roup
e vi
sé p
ar l’
inte
rven
tion
• et
d’u
n gr
oupe
non
exp
osé
à l’a
utre
?
Étu
des
cas-
tém
oin
La d
éfini
tion
des
cas
est-e
lle c
laire
?•
Le p
robl
ème
de s
anté
des
cas
a-t-
il ét
é év
alué
et v
alid
é av
ec fi
abili
té?
•
Les
tém
oins
ont
été
cho
isis
au
hasa
rd à
mêm
e le
s ca
s?•
En
quoi
les
cas
et le
s té
moi
ns s
ont-i
ls c
ompa
rabl
es e
n ce
qui
touc
he le
s fa
cteu
rs c
onfu
-•
sion
nels
pos
sibl
es?
Les
inte
rven
tions
et l
es a
utre
s ex
posi
tions
ont
-elle
s ét
é év
alué
es d
e la
mêm
e m
aniè
re
• au
tant
pou
r les
cas
que
pou
r les
tém
oins
?
Con
clus
ions
Dan
s un
exa
men
où
ces
mod
èles
d’é
tude
son
t •
inté
grés
, il p
eut ê
tre d
iffici
le d
e dé
term
iner
si
les
diffé
renc
es d
écou
lent
de
l’int
erve
ntio
n ou
de
l’inc
ompa
tibili
té d
es g
roup
es.
Les
résu
ltats
dev
raie
nt ê
tre c
onsi
déré
s av
ec
• pr
uden
ce.
44
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Thom
as e
t col
l.
2004
Can
ada
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
MÉT
HO
DES
(ES)
Déc
rire
quat
re e
njeu
x re
latif
s au
x ex
am-
ens
docu
men
taire
s sy
stém
atiq
ues
sur
l’effi
caci
té d
es in
ter-
vent
ions
en
mat
ière
de
serv
ices
infir
mie
rs d
e sa
nté
publ
ique
:
1. p
roce
ssus
d’
exam
en s
ysté
ma-
tique
de
la d
ocum
en-
tatio
n;
2. m
ise
au p
oint
d’
un in
stru
men
t d’
éval
uatio
n de
la
qual
ité;
3. le
s m
étho
des
et le
s ré
sulta
ts d
u P
PE
SP
jusq
u’à
prés
ent;
4. q
uelq
ues
mét
hode
s et
résu
ltats
de
la d
iffu-
sion
em
ploy
ée.
Dom
aine
s d’
éval
uatio
n de
s ét
udes
par
obs
erva
tion
Que
stio
n d’
étud
e•
Pop
ulat
ion
à l’é
tude
•
Com
para
bilit
é de
s su
jets
•
Exp
ositi
on o
u in
terv
entio
n•
Mes
ure
à l’a
veug
le d
es ré
sulta
ts•
Ana
lyse
sta
tistiq
ue•
Rés
ulta
ts•
Dis
cuss
ion
•
Fond
emen
t•
Com
posa
nts
de l’
outil
d’é
valu
atio
n de
la q
ualit
é du
PP
ES
P
Bia
is d
e sé
lect
ion
•
Con
cept
ion
•
Varia
bles
con
fusi
onne
lles
•
Trai
tem
ent à
l’av
eugl
e•
Mét
hode
s de
col
lect
e de
s do
nnée
s•
Ret
raits
et a
band
ons
•
Ce
mod
èle
de n
otat
ion
a ét
é vé
rifié
et s
’avè
re u
n ou
til
fiabl
e et
val
ide.
Ce
syst
ème
de n
otat
ion
indi
que
une
préf
éren
ce
pour
les
EE
AC
et l
es e
ssai
s cl
iniq
ues
sur é
chan
tillo
n co
ntrô
lé, o
ù le
s no
tes
auro
nt te
ndan
ce à
être
plu
s él
evée
s qu
e po
ur d
es é
tude
s su
r éch
antil
lon
non
aléa
toire
.
La m
eille
ure
note
qui
peu
t être
obt
enue
ave
c de
s ét
udes
par
obs
erva
tion
est m
oyen
ne, e
t cel
a se
pr
odui
t seu
lem
ent q
uand
tous
les
élém
ents
de
l’étu
de
sont
très
bie
n co
nçus
.
45
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Ram
say
et c
oll.
2003
Éta
ts-U
nis
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
MÉT
HO
DES
(Mod
èles
à s
érie
s ch
rono
logi
ques
in
terr
ompu
es
(SC
I))
Exa
min
er d
e m
aniè
re
criti
que
la q
ualit
é m
étho
dolo
giqu
e de
s m
odèl
es d
e S
CI
(sér
ies
chro
nolo
giqu
es
inte
rrom
pues
) à l’
aide
d’
étud
es in
clus
es
dans
deu
x ex
amen
s sy
stém
atiq
ues
(un
sur l
es in
terv
en-
tions
méd
ical
es d
e m
asse
et u
n su
r les
st
raté
gies
de
diffu
sion
et
d’a
pplic
atio
n de
s lig
nes
dire
ctric
es).
Crit
ères
de
qual
ité d
es m
odèl
es d
e S
CI :
l’int
erve
ntio
n se
dér
oula
it in
dépe
ndam
men
t d’a
utre
s ch
ange
men
ts q
ui s
e pr
odui
saie
nt a
u fil
•
du te
mps
;
l’int
erve
ntio
n ét
ait p
eu s
usce
ptib
le d
e to
uche
r la
colle
cte
des
donn
ées;
•
le ré
sulta
t éta
it év
alué
à l’
aveu
gle
ou m
esur
é ob
ject
ivem
ent;
•
le ré
sulta
t éta
it fia
ble
ou m
esur
é ob
ject
ivem
ent;
•
la c
ompo
sitio
n de
l’en
sem
ble
de d
onné
es à
cha
que
poin
t abo
rdé
engl
obai
t au
moi
ns 8
0 %
•
de to
us le
s pa
rtici
pant
s à
l’étu
de;
la fo
rme
de l’
effe
t d’in
terv
entio
n ét
ait p
réci
sée
au p
réal
able
;•
le ra
ison
nem
ent s
ous-
tend
ant l
e no
mbr
e et
l’es
pace
men
t des
poi
nts
de d
onné
es é
tait
• dé
crit;
l’étu
de é
tait
anal
ysée
con
vena
blem
ent s
elon
des
tech
niqu
es p
ar s
érie
s ch
rono
logi
ques
. •
Con
stat
atio
ns
En
tout
, 66
% (n
= 3
8) d
es é
tude
s à
SC
I n’o
nt p
as p
erm
is d
’em
pêch
er q
u’un
aut
re é
véne
-•
men
t se
soit
prod
uit a
u m
omen
t de
l’int
erve
ntio
n.
En
géné
ral,
dans
les
deux
exa
men
s, o
n a
com
mun
iqué
les
fact
eurs
touc
hant
la c
olle
cte
• de
s do
nnée
s, le
résu
ltat p
rinci
pal e
t l’in
tégr
alité
de
l’ens
embl
e de
don
nées
.
Tout
es le
s ét
udes
éta
ient
jugé
es e
ffica
ces
dans
le ra
ppor
t orig
inal
, mai
s en
viro
n la
moi
tié
• de
s ét
udes
ana
lysé
es d
e no
uvea
u n’
ont r
évél
é au
cun
écar
t sta
tistiq
ue s
igni
ficat
if.
•
Sou
vent
, les
mod
èles
à S
CI s
ont s
ouve
nt a
naly
sés
inad
équa
tem
ent,
man
quen
t de
puis
sanc
e et
son
t mal
co
mm
uniq
ués
dans
les
étud
es s
ur la
mis
e en
œuv
re.
46
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Con
n et
Ran
tz
2003
Éta
ts-U
nis
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
MÉT
HO
DES
(Qua
lité
et
résu
ltats
d’é
tude
)
1. D
iscu
ter d
es
man
ière
s do
nt le
s ch
erch
eurs
con
çoiv
ent
la q
ualit
é et
l’év
alue
nt.
2. D
éter
min
er le
s lie
ns
qui e
xist
ent e
ntre
la
qual
ité e
t les
résu
ltats
de
s ét
udes
.
3. É
tabl
ir de
s st
raté
-gi
es p
our g
érer
la
qual
ité v
aria
ble
des
étud
es p
rimai
res
dans
un
e m
éta-
anal
yse.
Éva
luer
la q
ualit
é m
étho
dolo
giqu
e
Il n’
exis
te a
ucun
e no
rme
rela
tive
aux
varia
tions
de
qual
ité d
ans
les
étud
es p
rimai
res.
•
Tabl
eau
1 –
résu
mé
des
com
posa
nts
cour
ants
de
la q
ualit
é de
s ét
udes
sur
les
inte
rven
-•
tions
.
Inst
rum
ents
de
mes
ure
de la
qua
lité
– il
exis
te p
lus
de 1
00 é
chel
les
de q
ualit
é po
ur le
s •
étud
es p
rimai
res,
mai
s le
ur ta
ille,
leur
com
posi
tion,
leur
com
plex
ité e
t leu
r por
tée
varie
nt
radi
cale
men
t.
Les
éche
lles
de m
esur
e de
la q
ualit
é pr
ésen
tent
des
pro
blèm
es d
e m
ise
au p
oint
et
• d’
appl
icat
ion.
La p
lupa
rt de
s éc
helle
s do
nnen
t une
not
e un
ique
et g
loba
le d
e qu
alité
. Seu
lem
ent
• qu
elqu
es-u
nes
renf
erm
ent d
es s
ous-
éche
lles
qui i
ndiq
uent
les
forc
es e
t les
faib
less
es.
Il es
t pro
uvé
qu’il
est
diffi
cile
d’a
ppliq
uer l
es in
stru
men
ts u
nifo
rmém
ent,
mêm
e da
ns le
s •
EE
AC
.
Rap
port
entre
la q
ualit
é et
les
résu
ltats
d’é
tude
:
les
cons
tata
tions
son
t sou
vent
con
tradi
ctoi
res;
•
les
cons
tata
tions
son
t iné
gale
s qu
ant a
u fa
it qu
e le
s ét
udes
de
faib
le q
ualit
é so
us-e
stim
ent
• ou
sur
estim
ent l
’am
pleu
r de
l’effe
t com
para
tivem
ent a
ux é
tude
s de
hau
te q
ualit
é;
les
diffé
rent
es é
chel
les
donn
ent d
iffér
ente
s év
alua
tions
de
la q
ualit
é de
s ét
udes
, ce
qui
• en
traîn
e un
man
que
d’un
iform
ité d
ans
les
effo
rts v
isan
t à é
tabl
ir un
lien
ent
re la
qua
lité
des
étud
es e
t leu
rs ré
sulta
ts.
Stra
tégi
es p
our g
érer
la q
ualit
é
Éta
blir
des
nive
aux
min
imum
s d’
incl
usio
n ou
exi
ger q
ue c
erta
ins
attri
buts
de
qual
ité s
oien
t •
prés
ents
— c
e qu
i peu
t sig
nifie
d’é
tabl
ir de
s cr
itère
s d’
incl
usio
n, d
e ch
oisi
r de
certa
ines
no
tes
limite
s de
qua
lité
a pr
iori;
de
fixer
des
lim
ites
: exc
lure
les
étud
es q
ui s
erai
ent m
oins
rig
oure
uses
est
con
traire
à l’
habi
tude
sci
entifi
que
selo
n la
quel
le le
s do
nnée
s so
nt e
xam
i-né
es e
t on
les
lais
se p
arle
r.
Pon
dére
r l’a
mpl
eur d
e l’e
ffet p
ar le
s no
tes
de q
ualit
é —
per
met
d’in
clur
e di
vers
es é
tude
s,
• m
ais
repo
se s
ur d
es m
esur
es d
e qu
alité
dou
teus
es.
Con
sidé
rer l
a qu
alité
com
me
une
ques
tion
empi
rique
— p
erm
et d
’exa
min
er le
s ra
ppor
ts
• en
tre la
qua
lité
et la
taill
e de
l’ef
fet e
t ain
si d
e pr
éser
ver l
’obj
et d
e la
mét
a-an
alys
e, s
oit e
x-am
iner
les
donn
ées
syst
émat
ique
men
t; lim
ites
: les
pro
blèm
es q
ue p
rése
nten
t les
éch
elle
s de
mes
ure
de la
qua
lité
glob
ale
risqu
ent d
e lim
ite la
con
fianc
e ac
cord
ée a
ux c
onst
atat
ions
re
lativ
es a
ux m
esur
es d
e qu
alité
glo
bale
.
Con
clus
ions
Les
cher
cheu
rs c
ombi
nent
de
plus
en
plus
•
les
stra
tégi
es p
our s
urm
onte
r les
lim
ites
que
prés
ente
l’ut
ilisa
tion
d’un
e se
ule
appr
oche
.
S’e
fforc
er d
avan
tage
de
crée
r des
mes
ures
•
valid
es d
e la
qua
lité
des
étud
es p
rimai
res
amé-
liore
ra la
cap
acité
des
mét
a-an
alys
es d
’influ
ence
r la
rech
erch
e et
la p
ratiq
ue in
firm
ière
.
47
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Lind
e et
col
l.
2002
Alle
mag
ne
ÉTU
DES
(sur
éch
antil
lon
aléa
toire
ou
non
aléa
toire
)
Dét
erm
iner
:
1. le
s di
ffére
nces
po
ssib
les
sur l
e pl
an
des
patie
nts,
des
in
terv
entio
ns, d
es
aspe
cts
de la
qua
lité
indé
pend
ants
de
la
conc
eptio
n et
des
ta
ux d
e ré
pons
e en
tre le
s ét
udes
sur
éc
hant
illon
alé
atoi
re
et n
on a
léat
oire
con
-ce
rnan
t l’a
cupu
nctu
re
pour
le tr
aite
men
t de
s m
aux
de tê
te
chro
niqu
es;
2. s
i les
étu
des
sur
écha
ntill
on n
on
aléa
toire
pro
cure
nt
d’au
tres
rens
eign
e-m
ents
per
tinen
ts
(soi
t, le
s m
étho
des
et le
s ré
sulta
ts à
long
te
rme,
les
fact
eurs
pr
évis
ionn
els,
les
ef-
fets
nég
atifs
, les
taux
de
répo
nse)
.
3. le
s ex
plic
atio
ns
poss
ible
s en
cas
d’
écar
t ent
re le
s ta
ux
de ré
pons
e po
ur le
s pa
tient
s sé
lect
ionn
és
au h
asar
d ou
non
.
Crit
ères
de
qual
ité
La m
étho
de d
’éch
antil
lonn
age
est-e
lle c
laire
et c
laire
men
t déc
rite?
•
Le d
iagn
ostic
de
mau
x de
tête
est
-il c
laire
men
t éta
bli?
•
Les
patie
nts
sont
-ils
cara
ctér
isés
(au
moi
ns s
elon
l’âg
e, le
sex
e, la
dur
ée e
t la
grav
ité d
es
• sy
mpt
ômes
)?
La p
ério
de d
e ba
se d
ure-
t-elle
au
moi
ns q
uatre
sem
aine
s?•
Obt
ient
-on
au m
oins
deu
x ré
sulta
ts c
liniq
ues
en c
e qu
i tou
che
les
mau
x de
tête
?•
Util
ise-
t-on
un re
levé
quo
tidie
n de
s m
aux
de tê
te?
•
Les
co-in
terv
entio
ns s
ont-e
lles
décr
ites?
•
Est
-ce
qu’a
u m
oins
90
% d
es p
atie
nts
incl
us o
nt fa
it l’o
bjet
d’u
ne a
naly
se a
près
trai
tem
ent?
•
Est
-ce
qu’a
u m
oins
80
% d
es p
atie
nts
traits
ont
fait
l’obj
et d
’une
ana
lyse
lors
du
suiv
i pré
-•
coce
(moi
ns d
e si
x m
ois
aprè
s)?
Est
-ce
qu’a
u m
oins
80
% d
es p
atie
nts
traité
s on
t fai
t l’o
bjet
d’u
ne a
naly
se lo
rs d
u su
ivi t
ardi
f •
(au
moi
ns s
ix m
ois
aprè
s)?
Mét
hode
s et
résu
ltats
Cin
quan
te-n
euf é
tude
s on
t été
incl
uses
: 24
ess
ais
sur é
chan
tillo
n al
éato
ire e
t 35
étud
es
• su
r éch
antil
lon
non
aléa
toire
(cin
q ét
udes
de
coho
rtes
sur é
chan
tillo
n no
n al
éato
ire e
t con
-trô
lé, 1
0 ét
udes
pro
spec
tives
sur
éch
antil
lon
non
cont
rôlé
, 10
série
s de
cas
et 1
0 en
quêt
es
trans
vers
ales
).
Dix
des
24
EE
AC
et 2
6 de
s 35
étu
des
sur é
chan
tillo
n no
n al
éato
ire ré
pond
aien
t à m
oins
de
• ci
nq c
ritèr
es d
e qu
alité
.
En
tout
, 535
pat
ient
s on
t reç
u un
trai
tem
ent d
’acu
punc
ture
dan
s le
s 24
EE
AC
, com
para
tive-
• m
ent à
269
5 da
ns le
s 35
étu
des
sur é
chan
tillo
n no
n al
éato
ire.
En
moy
enne
, les
ess
ais
sur é
chan
tillo
n al
éato
ire s
e so
nt fa
its s
ur u
n éc
hant
illon
plu
s fa
ible
, •
ont r
épon
du à
plu
s de
crit
ères
de
qual
ité e
t ont
enr
egis
tré d
es ta
ux d
e ré
pons
e m
oins
él
evés
(0,5
9; 0
,48
- 0,6
9) c
. 0,7
8 (0
,72
- 0,8
3).
Sur
éch
antil
lon
aléa
toire
ou
non,
les
étud
es q
ui ré
pond
aien
t à p
lus
de c
ritèr
es d
e qu
alité
•
enre
gist
raie
nt u
n ta
ux d
e ré
pons
e m
oins
éle
vé.
La p
ério
de d
e su
ivi p
our l
es é
tude
s su
r éch
antil
lon
non
aléa
toire
n’é
tait
pas
nette
men
t plu
s •
long
ue. S
ur le
s tro
is q
ui in
clua
ient
une
ana
lyse
des
var
iabl
es p
révi
sion
nelle
s, s
eule
men
t un
e fa
isai
t éta
t des
effe
ts n
égat
ifs, e
t les
deg
rés
de g
énér
alis
abili
té n
’éta
ient
pas
cla
irs.
48
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Mac
Leho
se e
t co
ll.
2000
Roy
aum
e-U
ni
ÉTU
DES
(EEA
C c
. ét
udes
qua
si-
expé
rimen
tale
s et
pa
r obs
erva
tion
(QEO
))
Com
pare
r les
est
ima-
tions
d’e
ffica
cité
ob
tenu
es p
ar d
es
EE
AC
et d
es Q
EO
et
exa
min
er le
rap-
port
entre
la q
ualit
é m
étho
dolo
giqu
e et
l’a
mpl
eur d
es e
stim
a-tio
ns d
’effi
caci
té.
1re
stra
tégi
e : c
ompa
rer l
es e
stim
atio
ns q
uant
à l’
effic
acité
de
tout
e in
terv
en-
tion
qui o
nt é
té o
bten
ues
par d
es E
EAC
et d
es é
tude
s Q
EO, o
ù le
s de
ux
estim
atio
ns fi
gura
ient
dan
s un
seu
l.
Qua
torz
e do
cum
ents
qui
con
tena
ient
38
com
para
ison
s, d
ont 1
3 ét
aien
t jug
ées
de q
ualit
é su
périe
ure
et 2
5, d
e fa
ible
qua
lité.
Les
écar
ts e
ntre
les
estim
atio
ns o
bten
ues
par d
es E
EA
C e
t des
étu
des
QE
O c
once
rnan
t l’a
mpl
eur d
e l’e
ffet e
t la
fréqu
ence
des
résu
ltats
pou
r les
gro
upes
aya
nt fa
it l’o
bjet
d’u
ne in
ter-
vent
ion
et le
s gr
oupe
s té
moi
ns é
taie
nt p
lus
faib
les
dans
le c
as d
es c
ompa
rais
ons
de g
rand
e qu
alité
que
dan
s ce
ux d
e fa
ible
qua
lité.
Con
clus
ion
Les
estim
atio
ns d
’effi
caci
té o
bten
ue p
ar d
es é
tude
s Q
EO
peu
vent
être
val
ides
si l
es fa
c-•
teur
s co
nfus
ionn
els
impo
rtant
s so
nt c
ontrô
lés.
Les
com
para
ison
s de
faib
le q
ualit
é on
t ten
danc
e à
donn
er d
es e
stim
atio
ns d
’effe
t ext
rêm
es
• da
ns le
cas
des
étu
des
QE
O.
Les
mét
hode
s et
les
résu
ltats
son
t lim
ités
par l
e no
mbr
e de
doc
umen
ts e
xam
inés
(fai
ble)
et
• la
nat
ure
pote
ntie
llem
ent n
on re
prés
enta
tive
des
donn
ées
prob
ante
s ex
amin
ées.
2e s
trat
égie
: co
mpa
rer l
es e
stim
atio
ns q
uant
à l’
effic
acité
d’in
terv
entio
ns
préc
ises
qui
ont
été
obt
enue
s pa
r des
EEA
C e
t des
étu
des
QEO
, où
les
deux
es
timat
ions
figu
raie
nt d
ans
des
docu
men
ts d
iffér
ents
.
Inte
rven
tions
: dé
pist
age
par m
amm
ogra
phie
des
tiné
à ré
duire
la m
orta
lité
due
au c
ance
r du
sein
et l
es s
uppl
émen
ts d
’aci
de fo
lique
ser
vant
à ré
duire
les
anom
alie
s du
tube
neu
ral c
hez
les
fem
mes
tent
ant d
e to
mbe
r enc
eint
es.
Tren
te-q
uatre
doc
umen
ts o
nt é
té e
xam
inés
(17
sur l
e dé
pist
age
par m
amm
ogra
phie
, 17
sur l
es
supp
lém
ents
d’a
cide
foliq
ue).
Hui
t et q
uatre
doc
umen
ts, r
espe
ctiv
emen
t, ét
aien
t des
EE
AC
attr
ibué
s in
divi
duel
lem
ent o
u pa
r gra
ppe,
cin
q et
six
éta
ient
des
ess
ais
sur é
chan
tillo
n no
n al
éato
ire o
u de
s ét
udes
de
coho
rtes,
et t
rois
et s
ix é
taie
nt d
es é
tude
s ca
s-té
moi
n ap
parié
es o
u no
n. D
eux
étud
es, u
ne s
ur
le d
épis
tage
par
mam
mog
raph
ie e
t une
sur
les
supp
lém
ents
d’a
cide
foliq
ue, r
epos
aien
t sur
un
autre
mod
èle.
Les
note
s de
qua
lité
tota
les
étai
ent p
lus
bass
es p
our l
es é
tude
s de
coh
orte
s et
cas
-tém
oin
que
pour
les
EE
AC
; et l
es n
otes
pou
r les
étu
des
de c
ohor
tes
étai
ent n
ette
men
t plu
s ba
sses
que
po
ur le
s ét
udes
cas
-tém
oin.
La m
éta-
régr
essi
on d
es a
ttrib
uts
d’ét
ude
par r
appo
rt au
x es
timat
ions
de
risqu
e re
latif
n’a
révé
lé
aucu
n lie
n en
tre l’
ampl
eur d
e l’e
ffet e
t la
qual
ité d
e l’é
tude
, peu
impo
rte l’
inte
rven
tion.
Les
estim
atio
ns o
bten
ues
par l
es E
EA
C e
t les
étu
des
de c
ohor
tes
n’ét
aien
t pas
net
tem
ent
diffé
rent
es, m
ais
les
étud
es c
as-té
moi
n on
t don
né d
es e
stim
atio
ns b
ien
diffé
rent
es lo
rsqu
’il é
tait
ques
tion
de m
amm
ogra
phie
(ava
ntag
e su
périe
ur) e
t d’a
cide
foliq
ue (a
vant
age
infé
rieur
).
Rec
omm
anda
tions
Il y
aura
it lie
u d’
étab
lir d
es n
orm
es d
e co
mm
uni-
• ca
tion
pour
les
étud
es Q
EO
.
Il fa
udra
it ex
amin
er la
pos
sibi
lité
de c
réer
des
•
stra
tégi
es d
e re
cher
che
nouv
elle
s.
Il fa
ut é
labo
rer d
es m
étho
des
d’ét
ablis
sem
ent
• de
s ét
udes
qui
four
niss
ent u
ne c
ompa
rais
on
dire
cte
des
estim
atio
ns d
écou
lant
de
donn
ées
aléa
toire
s et
non
alé
atoi
res.
49
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Brit
ton
1998
Roy
aum
e-U
ni
ÉTU
DES
(EEA
C c
. étu
des
sur é
chan
tillo
n no
n al
éato
ire)
Exa
min
er le
s qu
es-
tions
touc
hant
le
proc
essu
s de
rand
omi-
satio
n qu
i peu
vent
in
fluer
sur
la v
alid
ité
des
conc
lusi
ons
tirée
s de
s m
étho
des
et d
es
résu
ltats
des
EE
AC
et
des
étud
es s
ur é
chan
-til
lon
non
aléa
toire
Com
para
ison
s an
térie
ures
ent
re d
es E
EA
C e
t des
étu
des
sur é
chan
tillo
n no
n al
éato
ire :
Dix
-hui
t doc
umen
ts o
ù l’o
n co
mpa
rait
dire
ctem
ent l
es ré
sulta
ts d
’EE
AC
et d
’étu
des
pro-
• sp
ectiv
es s
ur é
chan
tillo
n no
n al
éato
ire e
t les
mét
hode
s em
ploy
ées
dans
les
deux
cas
ont
ét
é dé
couv
erts
et a
naly
sés.
Les
estim
atio
ns d
e l’e
ffet d
u tra
item
ent n
’ont
été
inva
riabl
emen
t plu
s él
evée
s ou
plu
s fa
ible
s •
ni p
our l
es E
EA
C, n
i pou
r les
étu
des
sur é
chan
tillo
n no
n al
éato
ire.
Le g
enre
d’in
terv
entio
n n’
a pa
s se
mbl
é ex
erce
r d’in
fluen
ce.
•
Exc
lusi
ons
Dan
s le
s E
EA
C, l
a pr
opor
tion
de s
ujet
s ad
mis
sibl
es a
llait
de 1
% à
100
%.
•
Les
mot
ifs d
’exc
lusi
on p
ouva
ient
être
méd
icau
x (p
. ex.
, ris
que
élev
é de
situ
atio
ns n
égat
ives
•
dans
cer
tain
s gr
oupe
s) o
u sc
ient
ifiqu
es (s
élec
tion
axée
sur
de
petit
s gr
oupe
s ho
mog
ènes
po
ur a
ugm
ente
r la
préc
isio
n de
s ef
fets
de
traite
men
t est
imat
ifs);
de p
lus,
les
excl
usio
ns
glob
ales
son
t cou
rant
es d
ans
les
EE
AC
.
Par
ticip
atio
n
Dan
s la
plu
part
des
EE
AC
, les
car
acté
ristiq
ues
des
pers
onne
s ad
mis
sibl
es q
ui n
’ont
pas
•
parti
cipé
aux
ess
ais
sont
mal
doc
umen
tées
.
Ada
pter
en
fonc
tion
des
diffé
renc
es d
e ba
se
Dan
s le
s ét
udes
sur
éch
antil
lon
non
aléa
toire
, l’a
dapt
atio
n en
fonc
tion
des
diffé
renc
es a
•
souv
ent c
hang
é l’a
mpl
eur d
e l’e
ffet d
u tra
item
ent,
mai
s pa
s de
man
ière
sig
nific
ativ
e; c
e qu
i im
porte
, c’e
st q
ue l’
orie
ntat
ion
du c
hang
emen
t n’é
tait
pas
cons
tant
e.
Con
clus
ions
:
Les
résu
ltats
des
EE
AC
et d
es é
tude
s su
r éch
an-
• til
lon
non
aléa
toire
et l
es m
étho
des
empl
oyée
s da
ns le
s de
ux c
as n
e di
fféra
ient
pas
inév
itabl
e-m
ent
Les
donn
ées
prob
ante
s qu
i exi
sten
t son
t lim
itées
•
à bi
en d
es é
gard
s, m
ais
on la
isse
ent
endr
e qu
’il
est p
ossi
ble
de ré
duire
les
diffé
renc
es a
u m
ini-
mum
en
s’as
sura
nt q
ue le
s su
jets
incl
us d
ans
chaq
ue g
enre
d’é
tude
son
t com
para
bles
.
Lem
mer
et c
oll.
1999
Roy
aum
e-U
ni
MÉT
HO
DES
(ES)
Faire
éta
t des
gra
nds
prob
lèm
es q
u’a
prés
enté
s un
exa
men
sy
stém
atiq
ue d
e la
do
cum
enta
tion
qui,
en l’
abse
nce
d’E
EA
C,
s’es
t ins
piré
d’é
tude
s th
éoriq
ues
de tr
avau
x de
rech
erch
e fo
ndés
su
r la
pris
e de
déc
i-si
ons
et la
pra
tique
.
En
tout
, 164
exa
men
s de
82
publ
icat
ions
ont
été
effe
ctué
s.
Une
ver
sion
mod
ifiée
du
Coc
hran
e C
olla
bora
tion
Pro
toco
l a é
té u
tilis
ée :
Les
base
s de
don
nées
et l
es m
ots
clés
em
ploy
és p
our l
es s
traté
gies
de
rech
erch
e on
t été
•
choi
sis
en c
onsu
ltatio
n av
ec u
n bi
blio
théc
aire
spé
cial
isé
en s
anté
et d
ans
des
mat
ière
s co
nnex
es.
Les
parti
es o
mis
es o
nt é
té ju
gées
inap
prop
riées
aux
fins
de
com
ptes
rend
us q
ui n
e co
n-•
cern
aien
t pas
des
EE
AC
, et e
lles
ont é
té re
mpl
acée
s pa
r des
rubr
ique
s re
lativ
es à
une
plu
s va
ste
gam
me
de m
étho
dolo
gies
.
À la
fin
du p
roto
cole
, il y
ava
it au
ssi u
ne p
artie
pou
r les
com
men
taire
s de
s ex
amin
ateu
rs s
ur
l’opp
ortu
nité
et l
’impo
rtanc
e de
cha
que
exam
en.
Une
not
e nu
mér
ique
a é
té a
ttrib
uée
à ch
aque
arti
cle;
8 e
st la
not
e m
axim
um e
t 1, l
a no
te
min
imum
.
Ce
barè
me
a se
rvi à
indi
quer
la ri
gueu
r mét
hodo
logi
que
et la
per
tinen
ce d
e ch
aque
arti
cle.
Les
étud
es q
ualit
ativ
es fo
urni
ssen
t peu
de
rens
eign
e-m
ents
sur
la m
étho
dolo
gie,
ce
qui r
end
l’éva
luat
ion
de la
qua
lité
diffi
cile
. • C
epen
dant
, tou
s le
s ex
amin
a-te
urs
ont c
onve
nu q
ue c
erta
ins
des
artic
les
non
coté
s co
mm
e ét
ant m
auva
is re
nfer
mai
ent d
es q
uest
ions
ou
des
par
ties
impo
rtant
es d
ont l
’om
issi
on a
urai
t nui
à
l’étu
de.
Il a
été
diffi
cile
de
s’en
tend
re s
ur u
ne n
ote,
car
ch
aque
exa
min
ateu
r int
erpr
étai
t les
arti
cles
et l
es
mod
èles
d’é
tude
diff
érem
men
t.
50
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Gol
dsm
ith e
t col
l.
2007
Roy
aum
e-U
ni
MÉT
HO
DES
Déc
rire
les
mét
hode
s d’
exam
en é
labo
rées
et
les
diffi
culté
s re
ncon
trées
pen
dant
le
pro
cess
us q
ui c
on-
sist
ait à
met
tre à
jour
l’e
xam
en s
ysté
mat
ique
de
don
nées
pro
bant
es
pour
influ
ence
r les
lig
nes
dire
ctric
es
conc
erna
nt le
con
tenu
de
s do
nnée
s su
r les
pa
tient
es re
latif
au
dépi
stag
e du
can
cer
du c
ol d
e l’u
téru
s.
Les
étud
es d
e fe
mm
es d
ans
un p
rogr
amm
e or
gani
sé d
e dé
pist
age
syst
émat
ique
du
canc
er d
u co
l de
l’uté
rus
ont é
té in
clus
es; t
ous
les
mod
èles
d’é
tude
, à l’
exce
ptio
n de
s ar
ticle
s d’
opin
ion,
on
t été
incl
us.
Deu
x ce
nt tr
ente
-troi
s ét
udes
ont
été
récu
péré
es a
ux fi
ns d
’éva
luat
ion
plus
app
rofo
ndie
.
Les
donn
ées
ont é
té e
xtra
ites
de 7
9 ét
udes
(52
quan
titat
ives
et 2
7 qu
alita
tives
).
Tren
te-d
eux
étud
es o
nt é
té in
diqu
ées
com
me
étan
t per
tinen
tes.
Trei
ze é
tude
s qu
alita
tives
, sep
t étu
des
desc
riptiv
es n
on c
ompa
rativ
es, t
rois
EE
AC
, tro
is q
uasi
-E
EA
C, t
rois
étu
des
trans
vers
ales
, un
EE
AC
par
gra
ppe,
une
étu
de c
as-té
moi
n ré
trosp
ectiv
e et
un
e ét
ude
de s
érie
s ch
rono
logi
ques
non
com
para
tive
ont é
té in
clus
dan
s le
com
pte
rend
u.
La q
ualit
é de
cha
que
étud
e a
été
éval
uée
par d
es li
stes
de
cont
rôle
éta
blie
s : S
IGN
, CA
SP,
N
ZGG
, UK
GC
SR
O e
t une
dre
ssée
par
l’ex
amin
ateu
r.
Les
prin
cipe
s fo
ndam
enta
ux d
e l’a
ppro
che
GR
AD
E o
nt é
té a
ppliq
ués
à la
syn
thès
e de
s do
n-né
es p
roba
ntes
qua
ntita
tives
.
Con
clus
ions
Ce
sont
des
don
nées
qui
pro
vena
ient
de
dive
rs-
• es
sou
rces
qui
ont
le m
ieux
per
mis
de
répo
ndre
au
x qu
estio
ns d
’exa
men
.
La re
cher
che
qual
itativ
e ét
ait s
ouve
nt tr
ès p
erti-
• ne
nte
et s
péci
fique
à b
ien
des
com
posa
nts
des
docu
men
ts d
’info
rmat
ion
sur l
e dé
pist
age.
DeW
alt e
t col
l.
2004
Éta
ts-U
nis
MÉT
HO
DES
Exa
min
er le
rapp
ort
entre
les
résu
ltats
pou
r l’a
lpha
bétis
atio
n et
la
sant
é.
Exa
men
d’é
tude
s –
perm
et d
’exa
min
er
des
étud
es p
ar
obse
rvat
ion
qui i
ndi-
quai
ent d
es d
onné
es
orig
inal
es m
esur
ant
l’alp
habé
tisat
ion
par
un in
stru
men
t val
ide
quel
conq
ue e
t un
ou
plus
ieur
s ré
sulta
ts
pour
la s
anté
.
Ils o
nt in
clus
des
étu
des
où le
s ré
sulta
ts to
ucha
ient
la s
anté
et l
es s
ervi
ces
de s
anté
ain
si q
ue
la m
esur
e de
s ca
paci
tés
à lir
e et
à é
crire
par
un
inst
rum
ent v
alid
e (W
est e
t col
l., 2
002)
.
Cha
que
étud
e a
été
coté
e se
lon
:
la p
ertin
ence
de
la p
opul
atio
n à
l’étu
de,
•
la c
ompa
rabi
lité
des
suje
ts,
•
la v
alid
ité e
t la
fiabi
lité
de la
mes
ure
d’al
phab
étis
atio
n,•
le m
aint
ien
de g
roup
es c
ompa
rabl
es,
•
l’opp
ortu
nité
de
la m
esur
e de
s ré
sulta
ts,
•
l’opp
ortu
nité
de
l’ana
lyse
sta
tistiq
ue,
•
la p
ertin
ence
du
cont
rôle
des
var
iabl
es c
onfu
sion
nelle
s.•
En
moy
enne
, la
qual
ité d
es é
tude
s in
clus
es a
llait
d’as
sez
bonn
e à
bonn
e.
Les
aute
urs
ont c
onst
até
que
la p
lupa
rt de
s ét
udes
se
son
t mal
atta
chée
s au
con
trôle
des
var
iabl
es
conf
usio
nnel
les
et a
u re
cour
s à
des
com
para
ison
s m
ultip
les.
51
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Thom
son
et c
oll.
2006
Roy
aum
e-U
ni
MÉT
HO
DES
Faire
la s
ynth
èse
de d
onné
es s
ur le
s gr
ands
dét
erm
inan
ts
soci
o-éc
onom
ique
s de
la s
anté
et l
es
inég
alité
s en
mat
ière
de
san
té q
ui fi
gure
nt
dans
les
éval
ua-
tions
men
ées
sur l
e pr
ogra
mm
e na
tiona
l de
régé
néra
tion
au
Roy
aum
e-U
ni..
Ils o
nt in
clus
des
éva
luat
ions
qui
fais
aien
t éta
t de
réal
isat
ions
en
s’in
spira
nt d
e do
nnée
s pr
ov-
enan
t de
deux
sec
teur
s ci
bles
d’u
n pr
ogra
mm
e na
tiona
l de
régé
néra
tion,
ou
d’in
itiat
ives
loca
les,
au
Roy
aum
e-U
ni.
Dix
-neu
f éva
luat
ions
indi
quai
ent l
es e
ffets
sur
la s
anté
ou
les
déte
rmin
ants
soc
io-é
cono
miq
ues
de la
san
té. L
es d
onné
es o
nt é
té s
ynth
étis
ées
à pa
rtir d
e 10
éva
luat
ions
.
Des
pro
cédu
res
stan
dard
d’e
xam
en s
ysté
mat
ique
ont
été
app
liqué
es, y
com
pris
:
une
stra
tégi
e de
rech
erch
e ex
haus
tive,
•
des
critè
res
d’in
clus
ion
ou d
’exc
lusi
on a
prio
ri,
•
l’exa
men
d’a
rticl
es p
ar d
eux
pers
onne
s in
dépe
ndan
tes,
•
l’ext
ract
ion
des
donn
ées,
•
la s
ynth
èse
des
donn
ées.
• •
Les
lacu
nes
mét
hodo
logi
ques
des
étu
des
prim
aire
s on
t mis
en
péril
le p
roce
ssus
de
synt
hèse
des
don
-né
es.
Les
aute
urs
ont l
aiss
é en
tend
re q
ue le
s in
terv
entio
ns
et le
s pr
ogra
mm
es a
ttach
és à
un
cadr
e th
éoriq
ue (p
. ex
., la
théo
rie d
u ch
ange
men
t) ai
dero
nt à
con
stitu
er
les
donn
ées
prob
ante
s.
Ste
in e
t col
l.
2005
Éta
ts-U
nis
MÉT
HO
DES
(Éva
luat
ions
des
te
chno
logi
es d
e la
sa
nté
(ÉTS
))
Enq
uête
r sur
le li
en
entre
la fr
éque
nce
et
les
cara
ctér
istiq
ues
mét
hodo
logi
ques
dan
s un
éch
antil
lon
d’É
TS.
Les
cher
cheu
rs o
nt in
clus
les
exam
ens
de q
uatre
inte
rven
tions
pub
liées
dan
s tro
is ra
ppor
ts.
Les
donn
ées
ont é
té e
xtra
ites
de ra
ppor
ts p
ublié
s ou
non
par
un
exam
inat
eur e
t vér
ifiée
s pa
r un
aut
re.
Div
ers
essa
is d
’ana
lyse
de
régr
essi
on o
nt é
té e
ntre
pris
sur
les
donn
ées.
Les
mes
ures
de
résu
ltats
d’é
tude
ont
été
com
mun
iqué
es à
diff
éren
ts m
omen
ts, s
elon
la d
urée
de
sui
vi d
e to
ute
l’étu
de.
L’ex
amen
por
tait
sur :
la ta
ille
de l’
écha
ntill
on,
•
l’app
roch
e pr
ospe
ctiv
e ou
rétro
spec
tive,
•
les
orga
nism
es à
cen
tres
mul
tiple
s ou
uni
ques
,•
le re
crut
emen
t con
sécu
tif,
•
l’ind
épen
danc
e de
la m
esur
e de
s ré
sulta
ts,
•
la d
urée
du
suiv
i,•
la d
ate
de p
ublic
atio
n.
•
Con
stat
atio
ns
Peu
de
donn
ées
prob
ante
s on
t été
trou
vées
qua
nt à
l’ex
iste
nce
d’un
lien
ent
re le
s ca
ract
é-•
ristiq
ues
mét
hodo
logi
ques
et l
e ré
sulta
t.
Il n’
a pa
s ét
é ré
vélé
que
la ta
ille
de l’
écha
ntill
on e
t l’a
ppro
che
pros
pect
ive
étai
ent r
elié
es a
u •
résu
ltat.
Tous
les
résu
ltats
con
cern
aien
t des
inte
rven
tions
ch
irurg
ical
es, c
e qu
i pou
vait
influ
er s
ur la
gén
éral
is-
abili
té.
Le fa
ible
nom
bre
de c
as e
t le
nom
bre
limité
d’é
tude
s da
ns c
haqu
e en
sem
ble
de s
érie
s de
cas
pou
rrai
ent
limite
r la
préc
isio
n et
la g
énér
alis
abili
té.
Il se
peu
t que
les
série
s de
cas
soi
ent p
artic
uliè
re-
men
t pro
pice
s au
x bi
ais
de p
ublic
atio
n.
52
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Dal
ziel
et c
oll.
2005
Roy
aum
e-U
ni
MÉT
HO
DES
(Sér
ies
de c
as
dans
les
ÉTS)
ÉTU
DES
(Sér
ies
de c
as c
. EE
AC
)
1. E
xam
iner
le re
cour
s à
des
série
s de
cas
(S
C) d
ans
les
com
ptes
re
ndus
d’É
TS d
u N
atio
nal I
nstit
ute
for
Clin
ical
Exc
elle
nce
(NIC
E).
2. E
xam
iner
sys
tém
a-tiq
uem
ent l
a do
cum
en-
tatio
n m
étho
dolo
giqu
e po
ur tr
ouve
r des
doc
u-m
ents
sur
la v
alid
ité
d’as
pect
s du
mod
èle
des
série
s de
cas
.
3. E
nquê
ter s
ur le
s ca
ract
éris
tique
s et
le
s co
nsta
tatio
ns
de s
érie
s de
cas
à
l’aid
e d’
exem
ples
du
prog
ram
me
d’É
TS d
u R
oyau
me-
Uni
Exa
men
du
reco
urs
à de
s sé
ries
de c
as d
ans
les
ÉTS
du
NIC
E :
sur l
es 4
7 É
TS ré
alis
ées,
14
com
pren
aien
t des
rens
eign
emen
ts p
rove
nant
de
SC
;•
les
critè
res
d’in
clus
ion
des
SC
incl
uaie
nt la
taill
e de
l’ét
ude
et la
dur
ée d
u su
ivi;
•
les
SC
à in
clur
e da
ns le
s É
TS, l
a m
aniè
re d
e le
s ut
ilise
r ou
celle
d’é
valu
er le
ur q
ualit
é ne
•
fais
aien
t pas
con
sens
us.
Exa
men
sys
tém
atiq
ue d
e la
doc
umen
tatio
n m
étho
dolo
giqu
e :
une
rech
erch
e a
été
men
ée d
ans
le b
ut d
e tro
uver
des
sér
ies
qui é
valu
aien
t les
asp
ects
•
mod
èle,
ana
lyse
ou
qual
ité d
es s
érie
s de
cas
par
rapp
ort à
la v
alid
ité d
es é
tude
s;
aucu
ne é
tude
em
piriq
ue n
’a é
té tr
ouvé
e.•
Enq
uête
sur
les
cara
ctér
istiq
ues
et le
s co
nsta
tatio
ns d
es m
odèl
es d
e sé
ries
de c
as :
aucu
n lie
n n’
a ét
é co
nsta
té e
ntre
la ta
ille
de l’
écha
ntill
on e
t la
fréqu
ence
des
résu
ltats
ou
• en
tre la
col
lect
e de
don
nées
pro
spec
tives
et l
a fré
quen
ce d
es ré
sulta
ts;
une
anal
yse
par d
omai
ne (d
ans
dive
rs d
omai
nes)
a p
erm
is d
e co
nsta
ter u
n lie
n si
gnifi
catif
•
entre
les
étud
es à
cen
tres
mul
tiple
s et
le ré
sulta
t, en
tre la
mes
ure
indé
pend
ante
et l
a fré
quen
ce d
es ré
sulta
ts e
t ent
re la
pub
licat
ion
préc
oce
et la
fréq
uenc
e de
s ré
sulta
ts;
la d
urée
du
suiv
i s’e
st ré
vélé
e ne
ttem
ent r
elié
e à
la fr
éque
nce
des
résu
ltats
dan
s tro
is
• an
alys
es.
Com
para
ison
ent
re le
s sé
ries
de c
as e
t les
EE
AC
:
com
para
tivem
ent a
ux d
onné
es p
roba
ntes
pro
vena
nt d
’EE
AC
, qui
ne
révé
laie
nt a
ucun
e •
diffé
renc
e en
tre l’
angi
opla
stie
cor
onai
re e
t le
pont
age
aorto
coro
narie
n, le
s es
timat
ions
de
mor
talit
é de
s sé
ries
de c
as m
ontra
ient
une
aug
men
tatio
n de
1 à
2 %
de
la m
orta
lité
dans
le
cas
du p
onta
ge;
dans
les
cas
d’an
gine
récu
rren
te, n
i les
don
nées
pro
vena
nt d
es s
érie
s de
cas
, ni c
elle
s •
prov
enan
t des
EE
AC
n’o
nt ré
vélé
de
diffé
renc
es e
ntre
les
deux
inte
rven
tions
.
Les
étud
es in
clus
es c
once
rnai
ent t
oute
s de
s in
ter-
vent
ions
chi
rurg
ical
es, c
e qu
i pou
rrai
t lim
iter l
eur
appl
icab
ilité
à d
’aut
res
inte
rven
tions
ou
cadr
es.
L’ét
ude
porta
it su
r un
faib
le n
ombr
e de
cas
. Par
co
nséq
uent
, les
résu
ltats
dev
raie
nt ê
tre c
onsi
déré
s av
ec p
rude
nce.
53
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Dee
ks e
t col
l.
2003
Roy
aum
e-U
ni
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
(Éva
luer
la
capa
cité
d’
adap
tatio
n à
la
clie
ntèl
e po
ur
cont
rôle
r le
biai
s)
Son
ger a
ux m
étho
des
et a
ux d
onné
es
prob
ante
s co
nnex
es
en v
ue d
’éva
luer
le
bia
is d
ans
les
étud
es d
’inte
rven
tion
sur é
chan
tillo
n no
n al
éato
ire.
Hui
t étu
des
visa
ient
à c
ompa
rer l
es ré
sulta
ts d
’étu
des
sur é
chan
tillo
n al
éato
ire e
t non
alé
atoi
re
sur d
e m
ultip
les
inte
rven
tions
.
En
tout
, on
a re
levé
194
out
ils s
erva
nt à
éva
luer
les
étud
es s
ur é
chan
tillo
n no
n al
éato
ire.
Con
stat
atio
ns
Les
résu
ltats
des
étu
des
sur é
chan
tillo
n no
n al
éato
ire d
iffèr
ent p
arfo
is d
e ce
ux d
es é
tude
s •
sur é
chan
tillo
n al
éato
ire s
ur la
mêm
e in
terv
entio
n.
Il ex
iste
bie
n de
s ou
tils
d’év
alua
tion
de la
qua
lité,
mai
s en
éva
luan
t les
étu
des,
on
oubl
ie
• de
s do
mai
nes
de q
ualit
é cl
és.
Les
étud
es s
ur é
chan
tillo
n no
n al
éato
ire d
evra
ient
seu
lem
ent ê
tre e
ntre
pris
es q
uand
il e
st
• im
poss
ible
d’e
ffect
uer d
es E
EA
C.
Kat
rak
et c
oll.
2004
Aus
tralie
OU
TILS
D
’ÉVA
LUAT
ION
C
RIT
IQU
E
Rés
umer
le c
onte
nu,
l’int
entio
n, la
con
stru
c-tio
n et
les
prop
riété
s ps
ycho
mét
rique
s de
s ou
tils
d’év
alua
tion
criti
que
publ
iés
qui
exis
tent
à l’
heur
e ac
tu-
elle
, afin
de
rele
ver l
es
élém
ents
com
mun
s et
de
défin
ir le
ur
perti
nenc
e à
l’éga
rd
de la
rech
erch
e su
r la
sant
é.
En
tout
, 121
out
ils d
’éva
luat
ion
criti
que
publ
iés
ont é
té in
clus
dan
s l’E
S, e
t ils
pro
vena
ient
de
108
docu
men
ts.
Con
stat
atio
ns
Les
outil
s ét
aien
t spé
cifiq
ues
au m
odèl
e d’
étud
e da
ns u
ne p
ropo
rtion
de
87 %
, et l
a pl
upar
t •
d’en
tre e
ux a
vaie
nt é
té c
réés
pou
r des
étu
des
expé
rimen
tale
s (3
8 %
de
tous
les
outil
s dé
couv
erts
).
Les
élém
ents
con
tenu
s da
ns le
s ou
tils
varia
ient
éno
rmém
ent.
•
Les
outil
s di
spon
ible
s av
aien
t été
cré
és à
l’ai
de d
e tra
vaux
de
rech
erch
e em
piriq
ue p
réci
s •
dans
une
pro
porti
on d
e 12
% (n
= 1
4 in
stru
men
ts).
Les
outil
s ré
sum
aien
t l’é
valu
atio
n de
la q
ualit
é en
une
not
e gl
obal
e nu
mér
ique
dan
s un
e •
prop
ortio
n de
49
%.
Que
lque
s ou
tils
avai
ent d
ocum
enté
des
don
nées
pro
bant
es q
uant
à la
val
idité
de
leur
s él
é-•
men
ts o
u à
la fi
abili
té d
’util
isat
ion.
Des
lign
es d
irect
rices
sur
l’ad
min
istra
tion
des
outil
s ét
aien
t fou
rnie
s da
ns 4
3 %
(n =
52)
des
•
cas.
Con
clus
ions
Il n’
exis
te p
as d
’exe
mpl
e id
éal d
’out
il d’
éval
uatio
n •
criti
que
pour
un
mod
èle
d’ét
ude
ou l’
autre
, pa
s pl
us q
u’il
n’y
a d’
outil
gén
ériq
ue la
rgem
ent
reco
nnu
qui p
uiss
e êt
re a
ppliq
ué a
ussi
bie
n à
un
type
d’é
tude
qu’
à un
aut
re.
Les
cons
omm
ateu
rs d
’étu
des
devr
aien
t cho
isir
• le
s ou
tils
avec
soi
n.
Les
outil
s ch
oisi
s de
vrai
ent ê
tre a
ppuy
és p
ar
• de
s do
nnée
s pr
oban
tes
publ
iées
à fo
ndem
ent
empi
rique
sur
le p
lan
de la
con
stru
ctio
n, d
e la
va-
lidité
des
élé
men
ts e
t la
fiabi
lité
d’in
terp
réta
tion;
et
ils
devr
aien
t être
acc
ompa
gnés
de
ligne
s di
rect
rices
d’u
tilis
atio
n.
54
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Gre
enha
lgh
et
coll.
2005
Roy
aum
e-U
ni
MÉT
HO
DES
(Exa
men
mét
a-na
rrat
if)
Intro
duire
ou
décr
ire
la m
ise
au p
oint
d’u
ne
nouv
elle
mét
hode
et
en fa
ire é
tat :
exa
men
m
éta-
narr
atif.
L’ex
amen
mét
a-na
rrat
if a
été
mis
au
poin
t com
me
base
mét
hodo
logi
que
pour
la s
ynth
èse
de
donn
ées
prob
ante
s is
sues
de
dive
rses
dis
cipl
ines
. Il e
st p
artic
uliè
rem
ent s
olid
e co
mm
e m
éth-
ode
de s
ynth
èse
quan
d :
la p
orté
e d’
un p
roje
t est
larg
e et
la d
ocum
enta
tion,
var
iée;
•
diffé
rent
s gr
oupe
s de
sci
entifi
ques
ont
pos
é di
ffére
ntes
que
stio
ns e
t util
isé
dive
rs m
odèl
es
• d’
étud
e po
ur s
’atta
quer
à u
n pr
oblè
me
com
mun
;
les
docu
men
ts d
e «
qual
ité »
son
t défi
nis
par d
iffér
ente
s ca
ract
éris
tique
s da
ns d
iver
ses
• do
cum
enta
tions
;
il n’
exis
te a
ucun
pro
cess
us u
nive
rsel
lem
ent r
econ
nu p
our r
asse
mbl
er le
s di
ffére
nts
trava
ux.
•
L’ét
ude
com
pren
ait u
ne é
tape
de
stru
ctur
atio
n sy
stém
atiq
ue v
isan
t à re
cuei
llir e
t à c
ompa
rer l
es
diffé
rent
es tr
ames
gén
éral
es c
once
rnan
t l’e
ssor
et l
e dé
clin
de
l’étu
de d
e la
diff
usio
n, c
e qu
i est
ju
gé p
ertin
ent à
l’ég
ard
de la
que
stio
n de
rech
erch
e gl
obal
e.
Pha
ses
de l’
exam
en m
éta-
narr
atif
:
plan
ifica
tion
•
dépo
uille
men
t•
stru
ctur
atio
n•
éval
uatio
n•
synt
hèse
•
reco
mm
anda
tions
•
Cin
q gr
ands
prin
cipe
s so
us-te
ndai
ent c
ette
tech
niqu
e m
éta-
narr
ativ
e : l
e pr
agm
atis
me,
le p
lura
l-is
me,
l’hi
stor
icité
, la
cont
esta
tion
et l’
exam
en p
ar le
s pa
irs.
La m
étho
de d
evra
it êt
re m
ise
à l’e
ssai
de
man
ière
pr
ospe
ctiv
e.
Il y
aura
it lie
u d’
étud
ier p
lus
à fo
nd s
on a
ppor
t à
l’éco
nom
ie m
ixte
de
mét
hode
s po
ur l’
exam
en s
ysté
-m
atiq
ue d
es d
onné
es p
roba
ntes
com
plex
es.
Whi
ttem
ore
et
Kna
fl
2005
Éta
ts-U
nis
MÉT
HO
DES
(Exa
men
par
in
tégr
atio
n)
Faire
la d
istin
ctio
n en
tre la
mét
hode
d’
exam
en p
ar in
tégr
a-tio
n et
les
autre
s m
étho
des
d’ex
amen
et
pro
pose
r des
st
raté
giqu
es m
étho
d-ol
ogiq
ues
stra
tégi
es
prop
res
à la
mét
hode
pa
r int
égra
tion
pour
au
gmen
ter l
e de
gré
de
rigue
ur.
Enj
eux
décr
its e
t stra
tégi
es e
mpl
oyée
s po
ur a
ugm
ente
r le
degr
é de
rigu
eur d
e la
mét
hode
d’
exam
en p
ar in
tégr
atio
n en
soi
ns in
firm
iers
:
obje
t d’e
xam
en e
t var
iabl
es d
’inté
rêt b
ien
spéc
ifiés
— a
ider
à o
péra
tionn
alis
er a
vec
préc
i-•
sion
les
varia
bles
et à
ext
raire
les
donn
ées
appr
oprié
es d
es s
ourc
es p
rimai
res;
stra
tégi
es d
e dé
poui
llem
ent d
ocum
enta
ire b
ien
défin
ies
— é
tabl
ir le
nom
bre
max
imum
de
• so
urce
s pr
imai
res
adm
issi
bles
à l’
aide
d’a
u m
oins
deu
x ou
troi
s st
raté
gies
;
étap
e d’
éval
uatio
n de
s do
nnée
s —
com
me
la m
étho
de d
’exa
men
par
inté
grat
ion
com
-•
pren
d di
vers
es s
ourc
es p
rimai
res,
éva
luer
la q
ualit
é de
vien
t de
plus
en
plus
com
plex
e; le
m
ode
d’év
alua
tion
varie
ra s
elon
le c
adre
d’é
chan
tillo
nnag
e; d
ans
un e
xam
en o
ù le
cad
re
d’éc
hant
illon
nage
est
var
ié e
t eng
lobe
des
sou
rces
em
piriq
ues
et th
éoriq
ues,
il s
e pe
ut q
u’il
conv
ienn
e d’
adop
ter u
ne a
ppro
che
sem
blab
le à
la re
cher
che
hist
oriq
ue p
our é
valu
er la
qu
alité
;
rédu
ctio
n de
s do
nnée
s —
div
iser
les
sour
ces
prim
aire
s en
sou
s-gr
oupe
s su
ivan
t une
cer
-•
tain
e lo
giqu
e po
ur fa
cilit
er l’
anal
yse;
prés
enta
tion
et c
ompa
rais
on d
es d
onné
es, é
tabl
isse
men
t de
conc
lusi
ons
et v
érifi
catio
n, e
t •
expo
sé.
La m
étho
de d
’exa
men
par
inté
grat
ion
perm
et d
e co
mbi
ner d
iver
ses
mét
hodo
logi
es (p
. ex.
, les
étu
des
expé
rimen
tale
s et
non
exp
érim
enta
les)
et p
eut j
ouer
un
plu
s gr
and
rôle
dan
s la
pra
tique
fond
ée s
ur d
es
donn
ées
prob
ante
s.
55
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Nor
ris e
t Atk
ins
2005
Éta
ts-U
nis
MÉT
HO
DES
(ES)
Exa
min
er le
reco
urs
à de
s ét
udes
sur
éch
an-
tillo
n no
n al
éato
ire
dans
les
com
ptes
re
ndus
de
cent
res
de
prat
ique
fond
ée s
ur
des
donn
ées
prob
an-
tes,
touc
hant
des
qu
estio
ns d
’effi
caci
té
des
inte
rven
tions
de
traite
men
t.
Sur
les
107
com
ptes
rend
us d
e ce
ntre
s de
pra
tique
fond
ée s
ur d
es d
onné
es p
roba
ntes
qui
ont
ét
é pu
blié
s de
févr
ier 1
999
à se
ptem
bre
2004
, 78
visa
ient
à e
xam
iner
au
moi
ns u
ne q
uest
ion
d’ef
ficac
ité d
’une
inte
rven
tion
clin
ique
.
Qua
rant
e-ne
uf d
es c
ompt
es re
ndus
incl
uaie
nt d
es d
onné
es p
roba
ntes
pro
vena
nt d
e m
odèl
es
d’ét
ude
autre
s qu
e le
s E
EA
C; c
es c
ompt
es re
ndus
por
taie
nt s
ur la
pha
rmac
othé
rapi
e, le
s ap
-pa
reils
méd
icau
x, la
chi
rurg
ie e
t les
inte
rven
tions
com
plém
enta
ires,
de
rech
ange
ou
com
porte
-m
enta
les.
Défi
s qu
e re
prés
ente
le re
cour
s à
des
étud
es s
ur é
chan
tillo
n no
n al
éato
ire d
ans
les
exam
ens
syst
émat
ique
s :
la te
rmin
olog
ie e
mpl
oyée
pou
r déc
rire
diffé
rent
s m
odèl
es d
’étu
de s
ur é
chan
tillo
n no
n al
éato
ire
dans
la d
ocum
enta
tion
sur l
es tr
avau
x cl
iniq
ues
et le
s co
mpt
es re
ndus
des
cen
tres
de p
ratiq
ue
fond
ée s
ur d
es d
onné
es p
roba
ntes
n’e
st p
as u
nifo
rme;
il n’
exis
te a
ucun
e lig
ne d
irect
rice
étab
lie q
uant
au
mom
ent o
ù l’i
nclu
sion
d’é
tude
s su
r éch
antil
-lo
n no
n al
éato
ire d
ans
les
exam
ens
syst
émat
ique
s pe
ut o
u de
vrai
t être
env
isag
ée, e
t aux
m
odèl
es d
’étu
de à
con
sidé
rer;
il es
t diffi
cile
d’é
valu
er la
qua
lité
des
étud
es s
ur é
chan
tillo
n no
n al
éato
ire;
sur l
es 4
9 co
mpt
es re
ndus
qui
incl
uaie
nt d
es m
odèl
es d
’étu
de s
ur é
chan
tillo
n no
n al
éato
ire :
12 (2
5 %
) n’é
valu
aien
t pas
la q
ualit
é de
l’ét
ude;
•
16 %
repo
saie
nt s
ur u
ne li
ste
de c
ontrô
le o
u un
sys
tèm
e de
not
atio
n;•
10 %
éta
ient
ada
ptés
à p
artir
d’u
n te
xte
déjà
pub
lié;
•
le re
ste
(49
%) r
epos
ait s
ur d
es te
xtes
que
les
exam
inat
eurs
ava
ient
rédi
gés
eux-
mêm
es.
•
Rec
omm
anda
tions
pou
r les
aut
eurs
d’e
xam
en
syst
émat
ique
:
éval
uer l
a di
spon
ibili
té d
’EE
AC
ava
nt d
e dé
ter-
• m
iner
les
critè
res
d’in
clus
ion
final
s;
pese
r le
pour
et l
e co
ntre
des
mod
èles
par
•
EE
NC
;
four
nir u
n ra
ison
nem
ent p
our l
es d
écis
ions
•
d’in
clur
e ou
non
des
mod
èles
d’é
tude
en
par-
ticul
ier;
éval
uer l
es d
omai
nes
impo
rtant
s de
qua
lité
• d’
étud
e;
se d
eman
der e
n qu
oi in
clur
e di
vers
mod
èles
•
d’ét
ude
pour
rait
influ
er s
ur le
s co
nclu
sion
s;
se d
eman
der e
n qu
oi la
qua
lité
des
étud
es e
t •
l’ens
embl
e de
s do
nnée
s pr
oban
tes
pour
raie
nt
influ
er s
ur le
s co
nclu
sion
s.
Rec
omm
anda
tions
pou
r les
che
rche
urs
:
rédu
ire a
u m
inim
um le
s so
urce
s de
bia
is, p
eu
• im
porte
le m
odèl
e d’
étud
e;
exam
ine
les
effe
ts d
e di
vers
es s
ourc
es d
e bi
ais
• su
r les
résu
ltats
mes
urés
;
empl
oyer
à u
ne te
rmin
olog
ie u
nifo
rme
pour
le
• m
odèl
e d’
étud
e;
prév
oir d
es s
traté
gies
de
rech
erch
e ex
haus
tives
•
pour
les
mod
èles
d’é
tude
sur
éch
antil
lon
non
aléa
toire
.
56
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Jack
son
et W
a-te
rs
2005
Aus
tralie
MÉT
HO
DES
(ES)
Four
nir d
es re
com
-m
anda
tions
aux
ex
amin
ateu
rs s
ur le
s qu
estio
ns à
régl
er
dans
un
exam
en
syst
émat
ique
en
sant
é pu
bliq
ue e
t don
ner
indi
rect
emen
t des
con
-se
ils a
ux c
herc
heur
s su
r les
exi
genc
es d
e co
mm
unic
atio
n ra
tta-
chée
s au
x ét
udes
pri-
mai
res
conc
erna
nt la
pr
oduc
tion
d’ex
amen
s sy
stém
atiq
ues
de
gran
de q
ualit
é.
Afin
de
s’as
sure
r que
les
exam
ens
répo
nden
t aux
bes
oins
des
util
isat
eurs
, for
mer
un
grou
pe
cons
ulta
tif (d
ont l
es m
embr
es d
evra
ient
bie
n co
nnaî
tre le
suj
et, l
’util
ité d
’incl
ure
le p
oint
de
vue
de re
spon
sabl
es d
e l’é
labo
ratio
n de
pol
itiqu
es, d
e ba
illeu
rs d
e fo
nds,
de
prat
icie
ns e
t d’
utili
sate
urs
pote
ntie
ls).
Enj
eux
auxq
uels
s’a
ttach
er q
uand
il s
’agi
t d’e
xam
iner
des
inte
rven
tions
de
sant
é pu
bliq
ue :
incl
usio
n de
mod
èles
d’é
tude
•
rech
erch
e de
doc
umen
tatio
n en
san
té p
ubliq
ue•
éval
uatio
n de
la q
ualit
é•
cadr
es th
éoriq
ues
d’in
terv
entio
n•
inté
grité
des
inte
rven
tions
•
hété
rogé
néité
•
inté
grat
ion
d’ét
udes
qua
litat
ives
et q
uant
itativ
es•
éthi
que
et in
égal
ités
– in
terv
entio
ns d
e sa
nté
perm
etta
nt d
e ré
duire
les
inég
alité
s et
•
d’am
élio
rer l
es p
erso
nnes
mar
gina
lisée
s ou
déf
avor
isée
s
Rec
omm
anda
tion
•
Util
iser
le
• Q
ualit
y A
sses
smen
t Too
l for
Qua
ntita
-tiv
e S
tudi
es m
is a
u po
int p
ar T
hom
as e
t col
l.,
2004
.
Atk
ins
et D
i-G
uise
ppi
1998
Éta
ts-U
nis
MÉT
HO
DES
(Rec
herc
he s
ur
les
soin
s de
san
té
prév
entif
s)
En
s’in
spira
nt d
es
expé
rienc
es v
écue
s pa
r le
US
Pre
vent
ive
Ser
vice
s Ta
sk F
orce
, ex
pose
r dan
s le
urs
gran
des
ligne
s ce
r-ta
ins
gran
ds d
omai
nes
où il
faut
effe
ctue
r des
re
cher
ches
afin
de
défin
ir la
man
ière
ap-
prop
riée
d’ut
ilise
r des
se
rvic
es d
e pr
éven
tion
préc
is (p
. ex.
, les
exa
-m
ens
de d
épis
tage
, le
s in
terv
entio
ns d
e co
nsul
tatio
n, le
s va
cci-
natio
ns, l
a ch
imio
pro-
phyl
axie
).
Étu
des
par o
bser
vatio
n :
aide
nt à
éta
blir
des
liens
dan
s l’e
ncha
înem
ent d
e ca
usal
ité;
•
aide
nt à
la c
ompr
endr
e l’h
isto
ire n
atur
elle
de
la m
alad
ie e
t à d
éfini
r les
fact
eurs
de
risqu
e,
• ai
nsi q
u’à
mes
urer
le re
spec
t des
trai
tem
ents
et l
es e
ffets
nég
atifs
de
ceux
-ci;
aide
nt à
éta
blir
l’exa
ctitu
de d
es te
sts
de d
iagn
ostic
;•
aide
nt à
éva
luer
l’ef
ficac
ité d
es in
terv
entio
ns;
•
poss
èden
t un
biai
s in
hére
nt.
•
Les
reco
mm
anda
tions
fond
ées
seul
emen
t sur
les
donn
ées
prob
ante
s ob
tenu
es p
ar o
bser
vatio
n ex
igen
t de
s ét
udes
de
gran
de q
ualit
é qu
i rév
èlen
t des
effe
ts
cons
tant
s et
impo
rtant
s, d
e pr
éfér
ence
.
Qua
nd o
n di
spos
e un
ique
men
t de
quel
ques
étu
des
par o
bser
vatio
n de
qua
lité
adéq
uate
ou
l’am
pleu
r des
ef
fets
est
mod
este
ou
inco
hére
nte,
d’a
utre
s ét
udes
su
r pop
ulat
ions
diff
éren
tes
s’av
érer
aien
t un
ajou
t pr
écie
ux à
la d
ocum
enta
tion.
57
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Har
den
et c
oll.
2004
Roy
aum
e-U
ni
MÉT
HO
DES
(Étu
des
de «
po
ints
de
vue
»)
Déc
rire
les
mét
hode
s m
ises
au
poin
t pou
r ex
amin
er le
s ét
udes
su
r les
poi
nts
de v
ue
et le
s ex
périe
nces
de
s ge
ns (é
tude
s de
«
poin
ts d
e vu
e »)
, en
plu
s d’
effe
ctue
r de
s es
sais
, dan
s un
e sé
rie d
’exa
men
s su
r la
san
té m
enta
le,
l’act
ivité
phy
siqu
e et
la
sain
e al
imen
tatio
n de
s je
unes
.
Deu
x ty
pes
d’ét
udes
ont
été
exa
min
és :
1. le
s ét
udes
sur
les
inte
rven
tions
– d
éfini
r les
inte
rven
tions
effi
cace
s, in
effic
aces
et n
ociv
es;
2. le
s ét
udes
sur
les
non-
inte
rven
tions
– d
écrir
e le
s fa
cteu
rs a
ssoc
iés
à la
san
té m
enta
le, à
l’a
ctiv
ité p
hysi
que
et à
la s
aine
alim
enta
tion.
Étu
des
de «
poi
nts
de v
ue »
:
trent
e-ci
nq ré
pond
aien
t aux
crit
ères
d’in
clus
ion.
•
Les
étud
es v
aria
ient
sel
on le
s m
étho
des
empl
oyée
s —
bon
nom
bre
d’en
tre e
lles
ne p
ouva
ient
êt
re c
lass
ées
faci
lem
ent c
omm
e ét
ant «
qua
litat
ives
» o
u «
quan
titat
ives
».
La p
lupa
rt d’
entre
elle
s ne
répo
ndai
ent p
as a
ux s
ept n
orm
es fo
ndam
enta
les
de c
omm
unic
atio
n de
la m
étho
dolo
gie
qui s
ont u
tilis
ées
dans
un
outil
d’é
valu
atio
n de
la q
ualit
é no
uvel
lem
ent m
is
au p
oint
.
Voic
i les
ava
ntag
es q
ue p
eut a
ppor
ter l
e fa
it de
réun
ir de
s ét
udes
de
poin
ts d
e vu
e de
man
ière
sy
stém
atiq
ue :
obte
nir u
n pl
us la
rge
éven
tail
de p
oint
s de
vue
et u
ne m
eille
ure
com
préh
ensi
on d
es q
ues-
• tio
ns d
e sa
nté
publ
ique
d’a
près
le p
oint
de
vue
de c
eux
qui s
ont v
isés
par
les
inte
rven
tions
;
mie
ux ré
fléch
ir au
x m
étho
des
d’ét
ude
qui p
euve
nt d
éfor
mer
ou
omet
tre le
poi
nt d
e vu
e de
s •
gens
;
crée
r de
mei
lleur
es o
ccas
ions
pou
r que
les
poin
ts d
e vu
e et
les
expé
rienc
es d
es g
ens
• in
fluen
cent
les
polit
ique
s vi
sant
à p
rom
ouvo
ir le
ur s
anté
.
Nou
veau
cad
re in
diqu
é da
ns u
ne p
ublic
atio
n su
b-sé
quen
te (O
liver
et c
oll.,
200
5)
58
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Won
g et
Raa
be
1996
Éta
ts-U
nis
MÉT
HO
DES
(Mét
a-ex
amen
)
Four
nir q
uelq
ues
ligne
s di
rect
rices
de
base
pou
r que
les
non-
épid
émio
logi
stes
év
alue
nt le
s m
éta-
anal
yses
dan
s le
s ét
udes
de
coho
rtes
prof
essi
onne
lles.
Cer
tain
s pr
oblè
mes
et l
imite
s qu
e pr
ésen
tent
les
exam
ens
qual
itatif
s tra
ditio
nnel
s :
la s
élec
tion
des
étud
es n
’éta
it no
rmal
emen
t pas
ass
ujet
tie à
des
crit
ères
pré
étab
lis;
•
les
fact
eurs
de
pond
érat
ion
attri
bués
à c
haqu
e ét
ude
étai
ent h
abitu
elle
men
t sub
ject
ifs;
•
aucu
n ré
sum
é qu
antit
atif
des
estim
atio
ns d
e ris
ques
n’é
tait
réal
isé.
•
Con
stat
atio
ns
Au
lieu
de re
mpl
acer
les
exam
ens
qual
itatif
s, la
mét
a-an
alys
e qu
antit
ativ
e de
vrai
t fai
re
• pa
rtie
de l’
éval
uatio
n gl
obal
e.
Le te
rme
« m
éta-
exam
en »
est
pro
posé
pou
r que
l’ac
cent
soi
t mis
sur
l’im
porta
nce
des
• co
mpo
sant
s qu
alita
tifs
et q
uant
itatif
s d’
un p
roce
ssus
d’e
xam
en e
xhau
stif,
ce
qui s
igni
fie
qu’il
eng
lobe
une
mét
a-an
alys
e.
Éta
pes
fond
amen
tale
s à
suiv
re p
our p
rocé
der u
n m
éta-
exam
en :
1. d
éfini
r la
ques
tion
de re
cher
che;
2. p
rocé
der à
un
exam
en d
ocum
enta
ire e
xhau
stif;
3. c
réer
des
crit
ères
d’in
clus
ion
a pr
iori;
4. e
ffect
uer u
n ex
amen
qua
litat
if tra
ditio
nnel
;
5. e
ffect
uer u
ne m
éta-
anal
yse
quan
titat
ive;
6. in
tégr
er u
n ex
amen
qua
litat
if tra
ditio
nnel
ave
c un
e m
éta-
anal
yse
quan
titat
ive;
7. a
ppliq
uer l
es c
ritèr
es d
e ca
usal
ité à
l’in
terp
réta
tion.
Avan
tage
s du
mét
a-ex
amen
:
utile
lors
qu’il
s’a
git d
e ch
oisi
r les
étu
des,
•
d’or
gani
ser,
de p
rése
nter
et d
e ré
sum
er d
es
mét
hode
s ou
des
résu
ltats
pro
vena
nt d
’étu
des
indi
vidu
elle
s;
peut
aus
si s
ervi
r à d
écel
er d
e l’h
étér
ogén
éité
•
parm
i les
étu
des.
Prin
cipa
ux a
vant
ages
à e
ffect
uer u
ne m
éta-
anal
yse
:
augm
ente
r la
puis
sanc
e st
atis
tique
(en
parti
culie
r •
quan
d le
s ét
udes
initi
ales
son
t de
faib
le e
nver
-gu
re);
four
nir u
ne e
stim
atio
n bi
en p
ondé
rée
du ri
sque
•
asso
cié
aux
résu
més
;
pren
dre
en c
ompt
e l’u
nifo
rmité
de
l’étu
de e
t des
•
mét
hode
s ou
résu
ltats
;
rédu
ire a
u m
inim
um le
pro
blèm
e de
s co
mpa
rai-
• so
ns m
ultip
les;
perm
ettre
d’e
xam
iner
les
donn
ées
pour
dét
erm
in-
• er
le d
egré
d’h
étér
ogén
éité
.
San
delo
wsk
i et
coll.
2007
Éta
ts-U
nis
MÉT
HO
DES
(Mét
a-ré
sum
é)
S’a
ttaqu
er a
u pr
oblè
me
asso
cié
à la
ges
tion
des
diffé
renc
es q
ui
exis
tera
ient
ent
re le
s ét
udes
qua
litat
ives
et
quan
titat
ives
, et p
ro-
mou
voir
le re
cour
s au
m
éta-
résu
mé
qual
itatif
co
mm
e te
chni
que
utile
po
ur fa
ire la
syn
thès
e de
s co
nsta
tatio
ns
desc
riptiv
es d
e na
ture
qu
alita
tive
et q
uant
ita-
tive.
Qua
rant
e-de
ux c
ompt
es re
ndus
(35
artic
les
de re
vue,
six
thès
es o
u di
sser
tatio
ns n
on p
ublié
es
et u
n ra
ppor
t tec
hniq
ue) o
nt é
té in
clus
.
Sur
les
quar
ante
-deu
x co
mpt
es re
ndus
, 12
étai
ent d
es é
tude
s qu
alita
tives
, tro
is, d
es é
tude
s su
r le
s in
terv
entio
ns, u
n, u
ne é
tude
sur
les
mét
hode
s m
élan
gées
et 2
6, d
iver
ses
étud
es q
uant
ita-
tives
par
obs
erva
tion.
Car
acté
ristiq
ues
des
mét
a-ré
sum
és q
ualit
atifs
:
stra
tégi
e de
regr
oupe
men
t à o
rient
atio
n qu
antit
ativ
e à
l’éga
rd d
e la
syn
thès
e de
s tra
vaux
de
rech
erch
e;
l’ext
ract
ion,
le g
roup
age
et le
form
atag
e de
s co
nsta
tatio
ns, a
insi
que
le c
alcu
l de
l’am
pleu
r •
de la
fréq
uenc
e et
de
l’effe
t;
perm
ette
nt d
e fa
ire la
syn
thès
e de
s m
étho
des
et ré
sulta
ts d
’enq
uête
s qu
alita
tives
et
• qu
antit
ativ
es s
ur le
s ré
pons
es o
bten
ues
à pa
rtir d
e pr
océd
ures
de
colle
cte
et d
’ana
lyse
de
donn
ées
sem
blab
les;
perm
ette
nt d
’effe
ctue
r des
ana
lyse
s a
post
erio
ri du
lien
qui
exi
ste
entre
les
com
ptes
rend
us
• et
les
cons
tata
tions
.
Con
traire
men
t à la
plu
part
des
mét
hode
s d’
exam
en
syst
émat
ique
, cet
te é
tude
a te
ndan
ce à
per
met
tre
l’inc
lusi
on p
lutô
t que
de
l’exc
lusi
on d
es é
tude
s.
59
Étud
eO
bjet
Mét
hode
s ou
résu
ltats
Com
men
taire
s ou
enj
eux
Jeffe
rson
et D
e-m
iche
lli
1999
Roy
aum
e-U
ni
ÉTU
DES
(exp
érim
enta
les
c. n
on e
xpér
imen
-ta
les)
Exa
min
er le
rapp
ort
qui e
xist
e en
tre le
s m
odèl
es d
’étu
de
expé
rimen
taux
et n
on
expé
rimen
taux
en
vac-
cino
logi
e.
Les
aute
urs
ont d
écrit
des
étu
des
expé
rimen
tale
s et
non
exp
érim
enta
les
et le
s ap
proc
hes
rela
-tiv
es à
cha
que
type
.
Ils o
nt é
valu
é la
cap
acité
de
chaq
ue m
odèl
e d’
étud
e à
perm
ettre
l’an
alys
e de
qua
tre a
spec
ts d
u re
ndem
ent d
es v
acci
ns, s
oit l
’imm
unog
énic
ité, l
a du
rée
de l’
imm
unité
acc
ordé
e, l’
inci
denc
e et
la
grav
ité d
es e
ffets
sec
onda
ires
et le
nom
bre
d’in
fect
ions
pré
venu
es p
ar v
acci
natio
n.
Il y
a lie
u d’
appl
ique
r les
mod
èles
non
exp
érim
enta
ux
quan
d :
une
expé
rienc
e es
t im
poss
ible
par
ce q
ue
• l’é
valu
atio
n co
ncer
ne l’
effic
acité
du
vacc
in;
une
expé
rienc
e es
t inu
tile
(p. e
x., d
ans
le c
as d
e •
l’éva
luat
ion
du v
acci
n co
ntre
la v
ario
le);
une
expé
rienc
e es
t ina
ppro
prié
e (la
pop
ulat
ion
• vi
sée
par l
’ess
ai n
’est
pas
ass
ez v
aste
pou
r pe
rmet
tre d
e dé
cele
r un
cas
ou u
n ré
sulta
t, un
e hé
sita
tion
à pa
rtici
per o
u un
refu
s de
le fa
ire, l
es
obst
acle
s ét
hiqu
es, j
urid
ique
s ou
pol
itiqu
es);
l’effi
caci
té in
divi
duel
le e
st m
esur
ée d
u po
int d
e •
vue
de la
faib
le fr
éque
nce
des
situ
atio
ns n
éga-
tives
;
les
inte
rven
tions
pré
vien
nent
de
rare
s ca
s;•
l’effi
caci
té d
u va
ccin
pou
r la
popu
latio
n do
it êt
re
• m
esur
ée d
u po
int d
e vu
e de
s in
cide
nces
à lo
ng
term
e, ra
res
et g
rave
s de
mal
adie
.
Rot
stei
n et
Lau
-pa
cis
2004
Can
ada
ÉTU
DES
(ÉTS
c. E
S)
Éta
blir
clai
rem
ent l
es
gran
des
diffé
renc
es
entre
les
éval
uatio
ns
des
tech
nolo
gies
de
la s
anté
(ÉTS
) et l
es
exam
ens
syst
éma-
tique
s (E
S).
Les
cher
cheu
rs o
nt in
terr
ogé
17 a
uteu
rs o
u ut
ilisa
teur
s d’
ÉTS
.
Ils o
nt d
éfini
sep
t dom
aine
s de
diff
éren
ces
entre
les
ÉTS
et l
es E
S :
1. le
s no
rmes
mét
hodo
logi
ques
— le
s É
TS p
euve
nt in
clur
e de
la d
ocum
enta
tion
de m
au-
vais
e qu
alité
mét
hodo
logi
que
si u
n su
jet e
st im
porta
nt p
our l
es d
écid
eurs
;
2. la
repr
ise
d’ét
udes
ant
érie
ures
— le
s ex
amen
s sy
stém
atiq
ues
n’on
t pas
à ê
tre re
pris
si l
es
étud
es a
ntér
ieur
es é
taie
nt d
e gr
ande
qua
lité
ou q
uand
il n
’exi
stai
t auc
une
nouv
elle
don
née
prob
ante
de
gran
de q
ualit
é; d
ans
le c
as d
es É
TS, i
l fau
t sou
vent
repr
endr
e de
s ét
udes
pou
r dé
fend
re le
s co
nclu
sion
s du
rapp
ort;
3. le
cho
ix d
es s
ujet
s —
les
suje
ts s
ont p
lus
axés
sur
les
polit
ique
s av
ec le
s É
TS, a
lors
que
le
s ex
amen
s sy
stém
atiq
ues
tend
ent à
être
orie
ntés
par
des
que
stio
ns d
’effi
caci
té;
4. l’
incl
usio
n de
spé
cial
iste
s du
con
tenu
(dan
s le
s ex
amen
s sy
stém
atiq
ues)
et d
e re
spon
s-ab
les
de l’
élab
orat
ion
des
polit
ique
s (d
ans
les
ÉTS
) com
me
aute
urs;
5. l’
incl
usio
n d’
éval
uatio
ns é
cono
miq
ues,
dan
s le
s É
TS;
6. la
form
ulat
ion
de re
com
man
datio
ns d
’orie
ntat
ion,
dan
s le
s É
TS;
7. la
diff
usio
n du
rapp
ort,
réal
isée
plu
s so
uven
t act
ivem
ent d
ans
le c
as d
es É
TS
Les
ÉTS
ne
conc
erne
nt p
as s
eule
men
t l’é
valu
atio
n de
s do
nnée
s pr
oban
tes
scie
ntifi
ques
.
60
61
Références bibliographiques Scottish Intercollegiate Guidelines Network 2001–2005. (2001). SIGN 50: A guideline developers’
handbook, récupéré le 1er février 2009 à partir du site http://www.sign.ac.uk/guidelines/full-text/50/index.html
Critical Appraisal Skills Programme (CASP) and evidence-based practice. (2005). Critical Appraisal Skills Programme: Making sense of evidence - CASP appraisal tools, Oxford, Public Health Resource Unit, Milton Keynes Primary Care NHS Trust, récupéré le 1er février 2009 à partir du site http://www.phru.nhs.uk/Pages/PHD/resources.htm
Atkins, D., Briss, P. A., Eccles, M., Flottorp, S., Guyatt, G. H., Harbour, R. T. et coll. (2005). Systems for grading the quality of evidence and the strength of recommendations II: Pilot study of a new system, BMC Health Services Research, 5, 25
Atkins, D. et DiGuiseppi, C. G. (1998). Broadening the evidence base for evidence-based guidelines. A research agenda based on the work of the U.S. Preventive Services Task Force, American Journal of Preventive Medicine, 14, 335-344
Benson, K. et Hartz, A. J. (2000). A comparison of observational studies and randomized, controlled trials, The New England Journal of Medicine, 342, 1878-1886
Britton, A., McKee, M., Black, N., McPherson, K., Sanderson, C. et Bain, C. (1998). Choosing be-tween randomized and non-randomized studies: A systematic review, Health Technology Assessment, 2, 1-124
Chou, R. et Helfand, M. (2005). Challenges in systematic reviews that assess treatment harms, An-nals of Internal Medicine, 142, 1090-1099
Conn, V. S. et Rantz, M. J. (2003). Focus on research methods. Research methods: Managing pri-mary study quality in meta-analysis, Research in Nursing & Health, 26, 322-333
Dalziel, K., Round, A., Stein, K., Garside, R., Castelnuovo, E. et Payne, L. (2005). Do the findings of case series studies vary significantly according to methodological characteristics? Health Technology Assessment, 9, iii-iv, 1
Deeks, J. J., Dinnes, J., D’Amico, R., Sowden, A. J., Sakarovitch, C., Song, F. et coll. (2003). Evaluat-ing non-randomized intervention studies. Health Technology Assessment, 7, 1-173.
DeWalt, D. A., Berkman, N. D., Sheridan, S., Lohr, K. N. et Pignone, M. P. (2004). Literacy and health outcomes: A systematic review of the literature, Journal of General Internal Medicine, 19, 1228-1239
DiCenso, A., Prevost, S., Benefield, L., Bingle, J., Ciliska, D., Driever, M. et coll. (2004). Evidence-based nursing: Rationale and resources, Worldviews on Evidence-Based Nursing, 1, 69-75
Downs, S. H. et Black, N. (1998). The feasibility of creating a checklist for the assessment of the methodological quality both of randomized and non-randomized studies of health care inter-ventions, Journal of Epidemiology and Community Health, 52, 377-384
Goldsmith, M. R., Bankhead, C. R. et Austoker, J. (2007). Synthesising quantitative and qualitative
62
research in evidence-based patient information, Journal of Epidemiology and Community Health, 61, 262-270
Greenhalgh, T., Robert, G., Macfarlane, F., Bate, P., Kyriakidou, O. et Peacock, R. (2005). Storylines of research in diffusion of innovation: A meta-narrative approach to systematic review, Social Science & Medicine, 61, 417-430
Greer, N., Mosser, G., Logan, G. et Halaas, G. W. (2000). A practical approach to evidence grading, Joint Commission Journal on Quality Improvement, 26, 700-712
Harden, A., Garcia, J., Oliver, S., Rees, R., Shepherd, J., Brunton, G. et coll. (2004). Applying sys-tematic review methods to studies of people’s views: An example from public health research, Journal of Epidemiology and Community Health, 58, 794-800
Jackson, N. et Waters, E. (2005). Criteria for the systematic review of health promotion and public health interventions, Health Promotion International, 20, 367-374
Jefferson, T. et Demicheli, V. (1999). Relation between experimental and non-experimental study de-signs. HB vaccines: A case study, Journal of Epidemiology and Community Health, 53, 51-54
Katrak, P., Bialocerkowski, A. E., Massy-Westropp, N., Kumar, S. et Grimmer, K. A. (2004). A system-atic review of the content of critical appraisal tools, BMC Medical Research Methodology, 4, 22
Khan, K., ter Riet, G., Popay, J., Nixon, J. et Kleijnen, J. (2001). Stage II: Conducting the review. Phase 5: Study quality assessment, dans : K. S. Khan, G. ter Riet, J. Glanville et coll. Under-taking systematic reviews of research on effectiveness. CRD’s guidance for carrying out or commissioning reviews 2nd Edition (pp. 1-20), York : NHS Centre for Reviews and Dissemi-nation, University of York
Lemmer, B., Grellier, R. et Steven, J. (1999). Systematic review of non-random and qualitative re-search literature: Exploring and uncovering an evidence base for health visiting and decision making, Qualitative Health Research, 9, 315-328
Lethaby, A., Wells, S. et Furness, S. (2001). Handbook for the preparation of explicit evidence-based clinical practice guidelines. Auckland, Nouvelle-Zélande : New Zealand Guidelines Group, Effective Practice Institute of the University of Auckland
Linde, K., Scholz, M., Melchart, D. et Willich, S. N. (2002). Should systematic reviews include non-randomized and uncontrolled studies? The case of acupuncture for chronic headache, Jour-nal of Clinical Epidemiology, 55, 77-85
MacLehose, R. R., Reeves, B. C., Harvey, I. M., Sheldon, T. A., Russell, I. T. et Black, A. M. (2000). A systematic review of comparisons of effect sizes derived from randomized and non-random-ized studies. Health Technology Assessment, 4, 1-154
Margetts, B. M., Thompson, R. L., Key, T., Duffy, S., Nelson, M., Bingham, S. et coll. (1995). Develop-ment of a scoring system to judge the scientific quality of information from case-control and cohort studies of nutrition and disease, Nutrition and Cancer, 24, 231-239
McIntosh, H. M., Woolacott, N. F. et Bagnall, A. M. (2004). Assessing harmful effects in systematic
63
reviews, BMC Medical Research Methodology, 4, 19
Norris, S. et Atkins, D. (2005). Challenges in using nonrandomized studies in systematic review of treatment interventions, Annals of Internal Medicine, 142, 1112-1119
Ogilvie, D., Egan, M., Hamilton, V. et Petticrew, M. (2005). Systematic reviews of health effects of social interventions: 2. Best available evidence: How low should you go? Journal of Epidemi-ology and Community Health, 59, 886-892
Oliver, S., Harden, A., Rees, R., Shepherd, J., Brunton, G., Garcia, J. et coll. (2005). An emerging framework for including different types of evidence in systematic reviews for public policy, Evaluation, 11, 428-446
Ramsay, C. R., Matowe, L., Grilli, R., Grimshaw, J. M. et Thomas, R. E. (2003). Interrupted time series designs in health technology assessment: Lessons from two systematic review of behavior change strategies, International Journal of Technology Assessment in Health Care, 19, 613-623
Rangel, S. J., Kelsey, J., Colby, C. E., Anderson, J. et Moss, R. L. (2003). Development of a quality assessment scale for retrospective clinical studies in pediatric surgery, Journal of Pediatric Surgery, 38, 390-396
Rotstein, D. et Laupacis, A. (2004). Differences between systematic reviews and health technology assessments: A trade-off between the ideals of scientific rigor and the realities of policy mak-ing, International Journal of Technology Assessment in Health Care, 20, 177-183
Sandelowski, M., Barroso, J. et Voils, C. I. (2007). Using qualitative meta-summary to synthesize qualitative and quantitative descriptive findings, Research in Nursing & Health, 30, 99-111
Slim, K., Nini, E., Forestier, D., Kwiatkowski, F., Panis, Y. et Chipponi, J. (2003). Methodological index for non-randomized studies (minors): Development and validation of a new instrument, ANZ Journal of Surgery, 73, 712-716
Spencer, L., Ritchie, J. et Lewis, J. (2004). Quality in qualitative evidence: A framework for assessing research evidence, (2e éd.) Londres : Government Chief Social Researcher’s Office
Stein, K., Dalziel, K., Garside, R., Castelnuovo, E. et Round, A. (2005). Association between method-ological characteristics and outcome in health technology assessments which included case series, International Journal of Technology Assessment in Health Care, 21, 277-287
Steuten, L. M., Vrijhoef, H. J., van-Merode, G. G., Severens, J. L. et Spreeuwenberg, C. (2004). The health technology assessment – Disease management instrument reliably measured method-ologic quality of health technology assessments of disease management, Journal of Clinical Epidemiology, 57, 881-888
Thomas, B. H., Ciliska, D., Dobbins, M. et Micucci, S. (2004a). A process for systematically reviewing the literature: Providing the research evidence for public health nursing interventions, World-views on Evidence-Based Nursing, 1, 176-184
Thomas, J., Harden, A., Oakley, A., Oliver, S., Sutcliffe, K., Rees, R. et coll. (2004b). Integrating quali-tative research with trials in systematic reviews, British Medical Journal, 328, 1010-1012
64
Thomson, H., Atkinson, R., Petticrew, M. et Kearns, A. (2006). Do urban regeneration programmes improve public health and reduce health inequalities? A synthesis of the evidence from UK policy and practice (1980–2004), Journal of Epidemiology and Community Health, 60, 108-115
West, S., King, V., Carey, T. S., Lohr, K. N., McKoy, N., Sutton, S. F. et coll. (2002). Systems to rate the strength of scientific evidence, Evidence Report – Technology Assessment (Summary), 1-11
Whittemore, R. et Knafl, K. (2005). The integrative review: Updated methodology, Journal of Ad-vanced Nursing, 52, 546-553
Wong, O. et Raabe, G. K. (1996). Application of meta-analysis in reviewing occupational cohort stud-ies, Occupational and Environmental Medicine, 53, 793-800
Zaza, S., Wright-De Aguero, L. K., Briss, P. A., Truman, B. I., Hopkins, D. P., Hennessy, M. H. et coll. (2000). Data collection instrument and procedure for systematic reviews in the Guide to Com-munity Preventive Services, American Journal of Preventive Medicine, 18, 44-74