Validité et fiabilité des échelles à multiples items0. Définitions1. Test-retest2. Études similaires3. Coefficient alpha4. Méthode des deux moitiés5. La validité de contenu6. La validité de critère (prédictive)

7. La validité de critère (concomitante, concurrente)

8. La validité de construit (nomologique)

9. La validité de construit (concurrente)

10. La validité de construit (discriminante)

The measurement process consists of two distinctly different development processes and can be labeled :

• Construct development and

• Scale measurement

To achieve the overall goal of obtaining high-quality data, researchers must understand what they are attempting to measure before developing the appropriate scale measurement.

• The goal of the construct development process is to precisely identify and define what is to be measured.

• The goal of the scale measurement process is to determine how to precisely measure each construct.

Source : Schmidt (2006) slides ch. 06

0. DefinitionsConstruct development and scale measurement

Researchers must determine measurement error, which is the difference between the information sought and the information actually obtained in the measurement process. Every measurement includes true, accurate information plus some degree of error.

Measurement results = True measurement + Measurement error

Two potential sources of error exist in the measurement process: systematic error and random error.

Measurement results = True measurement + (Systematic error + Random error)

Source : Schmidt (2006) slides ch. 06

Reliability and validity in measurement

ReliabilityValidity … !

• Systematic error is caused by a constant bias in the design or implementation of the measurement situation. (Bias = error in samples where the findings are either consistently higher or consistently lower than the actual value of the population parameter being measured)

• Systematic error is also referred to as non-sampling error, because it encompasses all types of errors except those brought about by random sampling.

Source : Schmidt (2006) slides ch. 06

Reliability and validity in measurement (Continued)

Source: Hollensen: Global Marketing – A Decision-oriented Approach, © Pearson Education Limited Source : Schmidt (2006) slides ch. 06

Illustration of reliability and validity

Reliability and validity in measurement (Continued)

Scale evaluation

ValidityReliability

1. Test-retest

2. Alternative

Forms

Internal Consistency 5. Content

ConstructCriterion

10. Discriminant

9. Convergent

8. Nomological3. Coefficient

4. Split-Half7. Concurrent

6. Predictive

Stability

Les notions de fiabilité et de validité

La fiabilité

est la capacité de la mesure à éviter les erreurs aléatoires (mais éventuellement pas les erreurs constantes)

ex : un chronomètre à retard systématique

c/ex : un chronomètre déclenché par un humain

La validité

est la capacité de la mesure à évaluer correctement ce que l’on se propose d’évaluer (sans erreur constante)

ex : une balance pour mesurer une masse

c/ex : un mètre pour mesurer une masse

1. Le test- retest

• Une questionnaire est administré deux fois au même répondant en

laissant s’écouler un certain laps de temps entre les deux collectes.

Si l’on obtient les mêmes réponses (mesurées par de fortes

corrélations) on conclura à la stabilité du test.

• Cette méthode risque cependant de faire naître plusieurs effets

pervers liés aux enquêtes en deux temps (effet d’interaction,

d’histoire, de maturation, de mortalité …)

2. Les études similaires

• Lorsque la chance offre l’opportunité de retrouver une étude

similaire dans des mêmes conditions, il est intéressant de comparer

les résultats. Les réplications d’études offrent cet avantage.

3. Coefficient (Cronbach)

= k / (k-1) (1 - ( 2i / ( 2

i + 2 i j))

où k = le nombre d’énoncés

2i = la variance de l’énoncé i

2i + 2 i j = la variance totale de l’échelle

Pour la création d’un construit (recherche fondamentale), on recherchera un coefficient de 0.80

Pour l’utilisation d’un construit antérieur (recherche appliquée), il faudra au moins 0.90

Bohrenstedt (1977) p.89

3. Coefficient (Cronbach) An exemple of « Competitiveness Desirability » scale

1. Salary increases would be strictly a matter of how much you accomplished for the company

2. The company is know to be involved in heavy competition

3. Persons are supposed to « get the boot » if they don’t make good and keep making good

4. There are opportunities to earn bonus

5. Competition would be opened and encouraged

6. The supervisor might be highly critical

7. There is emphasis on the actual production record

8. Salary increases would be a matter of how much effort you put in

9. The reward could be great, but many people are known to fail or quit

Bohrenstedt (1977) p.89

3. Coefficient (Cronbach)

2i = somme de la diagonale = 4.680

2i + 2 i j = la diagonale + les deux triangles

= 4.680 + 2 x 3.914 = 12.508

= k / (k-1) (1 - ( 2i / 2

i + 2 i j )

= 9/8 (1 – 4.68012.508) = 0.70

1 2 3 4 5 6 7 8 91 0,534 0,115 0,168 0,085 0,118 0,09 0,167 0,144 0,1292 0,411 0,114 0,062 0,14 0,08 0,104 0,065 0,1483 0,814 0,061 0,118 0,116 0,177 0,093 0,2724 0,348 0,087 0,012 0,103 0,084 0,0545 0,401 0,072 0,14 0,123 0,1256 0,465 0,093 0,052 0,1057 0,645 0,078 0,1278 0,383 0,0939 0,679

Bohrenstedt (1977) p.89

4. La méthode des deux moitiés

• Diviser l’échantillon en deux parties et procéder de manière

identique au « test-retest »

• Si cette méthode élimine le problèmes du retest, il reste cependant

qu’elle peut nous donner des résultats différents selon le découpage

choisi. Le chercheur se trouvera alors confronté au choix du « vrai »

coefficient de fiabilité (en fait, l’ en est la moyenne).

5. La validité de contenu

• Le contenu de cette mesure représente-t-il l’univers que l’on est en

train de représenter ?

• Outils

Ex-ante : Revue de littérature, jugement d’expert, avis de managers

Ex-post : un taux élevé (>10%) de « sans réponse » ou « non

applicable » serait mauvais signe

6. La validité de critère (prédictive)

• L’instrument de mesure est-il capable de prédire un critère futur

attendu ?

(Par exemple, test prédictifs de résultats scolaires)

• Ce critère est peu adapté aux études descriptives

• L’instrument de mesure est-il en corrélation avec autre instrument

adéquat ?

7. La validité de critère (concomitante, concurrente)

8. La validité de construit (nomologique)

• L’instrument de mesure est-il théoriquement solide ? Se comporte-t-il comme la théorie aurait tendance à l’affirmer ?

• Plusieurs instruments de mesures différents du même concept arrivent–ils bien aux mêmes résultats (forte corrélation) ? (Par exemple, proposer une nouvelle échelle, remplaçant une précédente déjà bien validée : Radar et double fil au sol)

• Deux mesures conçues pour des construits différents ne peuvent pas avoir de forte corrélation entre elles. (ex : amour/amitié)

9. La validité de construit (convergente)

10. La validité de construit (discriminante)

Source : Malhotra (2003) slides ch. 12

Development of a multi-item scale