CaDEA Atelier 3 Input

Brad CousinsUniversity of Ottawa

October 2010

• Options de conception d’évaluation• Assurance de qualité de donné

– validité/crédibilité– fiabilité

• développement et validation des instruments• Stratégies pour le collection de donné

Sommaire

Choisis de conception d’évaluation

• Groupes de comparaison?– Oui, non, hybride– Boîte noir, boîte gris, boîte verre

• Donné longitudinal collecté?– Oui, non, hybride

• Méthodes mélangé • Quant., qual., simultanées, séquentiel

Conceptions d’évaluation alternatives

• One shot, post only– X O1

• Comparative post only– X O1– O2

• Randomized control trial– R X O1– R O2

Conceptions d’évaluation alternatives

• Time series design– O1 O2 O3 O4 X O5 O6 O7 O8

• Pre-post comparative group design– O1 X O3– O2 O4

• Delayed treatment group design– O1 X O3 O5– O2 O4 X O6

Concepts majeurVALIDITÉ/CREDIBILITÉ• Pointes clés

– Dégrées sur un continuum; – Décrive les résultats ou inférences; PAS l’instrument;– Dépendent sur l’instrument et le processus;– Implique évidence et jugement;

• Validité interne /crédibilité– Attribution: On est confiant que les résultats observé sont

attribuable au intervention?

Menaces au validité interne• Changements chez participants actuel mais pas

relaté à la programme– Maturation– Historie

• Changements apparent dépendent ce qui était observé– Sélection– Attrition– Régression

• Changements relaté au méthodes d’obtenir les observations– Testing– Instrumentation

To what degree are the results stable, and not due to chance or error?

RELIABILITY and Surveys/QuestionnairesRELIABILITY and Surveys/Questionnaires

• Standardize data collection

Instructions, time, environment

• Repeated measure (aka test-retest)

Eyeball, proportion of agreement, Pearson’s correlation

• Equivalent forms (aka parallel forms)

• Internal Consistency

Item-correlation, split-half, Cronbach’s alpha

Colton & Covert (2007), Fraenkel & Wallen (2003), Gravetter & Wallnau (2002)

Développement des Instruments

• Principes générale – Commence avec instruments existant– Assure validité: face, contenu, construit (construct) – Assure fiabilité (éliminât ambigüité)– Considère exigences des taches – Mesures extrusive contra intrusive– Soit guidé par un cadre conceptuel– Demande information démographique au bout de

l’instrument– Fasse un teste pilot

Développement de Questionnaire• Échelles: Nominal, ordinal, intervalle• Réponse sélecté

– Choisis multiple (tests)– Option Fixé :

• Coche tout qui s’applique• Coche UNE seule option

– Type Likert échelles indice (rating)• Fréquence (observation): N R S F A• Accordement (opinion): SD D A SA

Développement de Questionnaire• Réponse sélecté (cont.)

– Préférences à classer en ordre (éviter)– Comparaison de pares

• Réponse construit – Commentaires ouverte

• Structuré• Pas structuré

– Si ‘autre’ (spécifié)

Développement de Questionnaire• Formats de collection de donné

– Hardcopy – data entry format– Hardcopy – scan-able format– Internet format

• Sur spécifie (over specify) des instructions• Utilisation judicieuse de gras / italiques et variation

des caractères• Options de réponse au côté droit• Agrafant : brochure > en haute gauche > margine

gauche• Détermination judicieuse de longueur (8 p. max)

Interview / Focus Group Instrument Development

• Considération des buts/ les attentes• Fasse l’espace pour les questions à permettre

réponse écrivant• Questions vs ‘prompts’ • Utilisation de quantification

Collection de Donné Considérations déontologiques

– Conseil de révisions déontologiques procédures et normes

– Lettres de consent informé• But de recherche • Comment. Pourquoi sélecté• Demandes / Droits de refuser• Confidentiel vs. anonyme• Information de contact chez évaluateur

– Questions et tensions

Data collection

• Tuyau d’entrevue – ‘Small talk’ – déterminer le tonalité– Enregistrement audio – permission– ‘Field notes’: Développe les habilités ‘short-

hand’ ou utilisation de symbolisme – Permette quelque déviation mais garde le piste.– Minimise redondance

L’échantillon

• Quantitative pour le représentation– proportionnâtes au population– Au hasard

• Qualitative à maximiser variation– L’échantillon ‘purposive’: bas sue le connaissance

disponible de cas

Useful References

Colton, D. & Covert, R. W. (2007). Designing and constructing instruments for social research and evaluation. San Fransisco: John Wiley and Sons, Inc.

Cresswell, J. W. & Miller, D. L. (2000). Determining validity in qualtitative inquiry. Theory into practice, 39(3), 124-130.

Fraekel, J.R. & Wallen, N.E. (2003). How to Design and Evaluate Research in Education. New York: McGraw-Hill.

McMillan, J. H. (2004). 4th Ed. Educational Research. Toronto: Pearson, Bacon and Allen, pp. 172-174.

Shultz, K.S. & Whitney, D.J. (2005). Measurement Theory in Action: Case Studies and Exercises. Thousand Oaks, CA: SAGE Publications.