Recherches méthodologiques dans le cadre de l’ESS

regard sur les expérimentations nationales et internationales réalisées par l’équipe Suisse

Journée d’études ESS, organisée par PROGEDO et ISH, Lyon, 29.11.2016par Dr. Michèle Ernst Stähli, ESS NC pour la Suisse, FORS, Lausanne

2

Mandats de FORS (Centre de compétence suisse en sciences sociales)

§  produire des données de haute qualité dans le cadre d’enquêtes nationales et internationales

§  distribuer des données destinées à l’analyse secondaire (https://forsbase.unil.ch/);

§  développer la recherche empirique, en particulier les méthodologies d’enquête;

§  conseiller les scientifiques et les milieux intéressés en Suisse et à l’étranger.

è FORS a pour ambition de mettre à disposition de la communauté scientifique suisse et étrangère des données et un savoir méthodologique de première ordre en comparaison internationale. C’est la raison pour laquelle, parallèlement à son souci du service, FORS mène ses propres recherches et entretient des liens étroits avec la recherche académique et la statistique publique.

3

Améliorer la qualité de nos donnéesDomaines d’intervention possibles§ Le questionnaire § L’échantillonnage§ Les procédures de terrain, enquêteurs§ Le mode d’interview

è Principaux domaines de recherche§ Traductions§ Non-réponse§ Mode, mixed-mode

è Source des données: § Données produites dans le cadre de l’enquête§ Récolte de données supplémentaires à l’enquête principale

4

Expériences dans le cadre de l’ESS en Suisse§  Traductions, formulations, échelles et labels de réponse (test,

retests, MTMM) → données en cours d’archivage (https://forsbase.unil.ch/)

§  Techniques d’amélioration du taux de réponse :- lettres de contact (style, ciblage, legitimité de l’institution)- incentives (conditionnel/inconditionnel, montant, forme) → données archivées

§  Non-réponse (analyser et corriger les biais de non-réponse) : - données de contact et environnement- données du cadre d’échantillonnage - enquêtes auprès des non-répondants → données archivées

§  Le mode d’interview: mixed-mode avec web comme alternative au face à face, effets sur la qualité des données et la comparabilité → données en cours d’archivage

5

Autres thèmes de recherche abordés§  Adaptions au dialecte suisse-allemand en cours d’interview

Renschler, I., & Kleiner, B. (2013). Considering Dialect in Survey Research. Bulletin of Sociological Methodology/Bulletin de Méthodologie Sociologique, 118(1), 51–59.

§  Enquêtes auprès des enquêteurs sur leurs stratégies§  Perception des enquêtes par les enquêtés, climat d’enquête Sage HB

§  Non-réponse et biaisRoberts, C., Vandenplas, C., & Ernst Stähli, M. (2014). Using register data to assess the impact of response enhancement methods on the risk of nonresponse bias. Survey Research Methods, 8(2), 67–80.

§  Contexte médiatique de l’enquête§  Analyse des séquences de contact

Pollien, A., & Joye, D. (2014). Patterns of contact attempts in surveys. In Advances in sequence analysis: Theory, methods, applications (Springer, pp. 285–304). Amsterdam: Blanchard Philippe, Felix Bühlmann and Jacques‐Antoine Gauthier.

§  Minorités (nationales, linguistiques etc.) Laganà

§  Echantillonnage et couverture: du registre téléphonique au registre des habitants, en passant par un registre des bâtiments

§  Pondérations, ajustementsVandenplas, C., Ernst Stähli, M., Joye D. & Pollien, A. (à paraître). « Adjustment for nonresponse with variables from different sources: bias correction and precision loss, with application to the Swiss European Social Survey 2012 ». In : Mathematical Population Study, Special Issue “Dealing with nonresponse: strategies to increase participation and methods for post-survey adjustments”.

6

Défis du taux de réponse et de la représentativité

7

ESS 2012 Taux de réponse en Suisse

Exemples de résultat: incentives (1)

8

§  Les incentives inconditionnelles (prepaid) sont systématiquement plus efficaces en termes de taux de réponse que les conditionnelles (postpaid)

Exemples de résultat: incentives (2)

9

§  Le cash est plus efficace que le cadeau

Exemples de résultat: incentives (3)

10

§  Le chèque est moins efficace que le cash pour les étrangers

§  L’efficacité n’augmente pas avec le montant§  Un montant inconditionnel plus élevé semble attirer

plus de répondants à haut niveau de confiance

Ernst Stähli, M., Joye, D., Pollien, A., Sapin, M. & Ochsner, M. (à paraître). Over 10 years of incentive experiments within international surveys in Switzerland: an overview. FORS Working Paper Series. Lausanne: FORS

Ernst Stähli, M. & Joye, D. (2016). “Incentives as a possible measure to increase response rates”. In C. Wolf, D. Joye, T. Smith, and Y-C. Fu (Eds.) The SAGE handbook of survey methodology. [S.l.]: Sage Publications Ltd

Expérience Mixed-Mode dans ESS 2012: TxR

11

CAPI RR: 52.7%

12

Mixed-Mode et représentativité l’exemple de l’âge

13

Mixed-Mode et représentativité l’exemple de l’âge

14

Mixed-Mode et représentativité l’exemple de l’âge

15

Mixed-Mode et représentativité l’exemple de l’âge

16data: ESS MM 2012

Mixed-Mode et qualité des données: l’exemple de l’item non-response

17

Mixed-Mode et qualité des données: l’exemple de la non réponse au revenu

Petit bilan du mixed modeAvantages § Possible d’atteindre de bons taux de réponse § Efficace en termes de coûts (jusqu’à 5 fois moins cher que 1h FàF) § Quelques erreurs de couverture et biais de NR sont diminués par la combinaison de modes d’interview

Défis § Probablement difficile à réaliser pour enquêtes longues § Filtres complexes sont source d’erreurs, surtout pour papier § Echelles de réponse longues difficiles par telephone et web mobile § Differences en termes de qualité des données § Quelques differences non systématiques dans les résultats substantiels Roberts, C., Joye, D. & Ernst Stähli, M. 2016. Mixing modes of data collection in Swiss social surveys: Methodological report of the LIVES-FORS mixed mode experiment. Research Report. LIVES Working Paper 2016/48

è DIFFICULT OVERALL TRADEOFF

19

Pour plus d’informations

§  Contact:Michèle Ernst Stähli FORS, c/o University of Lausanne Tél. +41 21 692 37 36 Michele.ErnstStaehli@fors.unil.ch http://www.forscenter.ch

§  Accès aux données suisses:https://fors-getdata.unil.ch https://forsbase.unil.ch/

Quelques publications de notre équipeWolf, C., Joye, D., Smith, T. E. C., & Fu, Y.-C. (Eds.). (2016). The SAGE handbook of survey methodology. [S.l.]: Sage Publications.

Non-réponse et enquête auprès des non-répondants§ Ernst Stähli, Michèle and Dominique Joye. 2013. « New and emerging methods. Non-respondent surveys: pertinence and feasibility ». In The Survey Statistician. 68, 16-22. § Vandenplas, Caroline, Dominique Joye, Michèle Ernst Stähli and Alexandre Pollien. 2015. « Identifying pertinent variables for nonresponse follow-up surveys. Lessons learned from 4 cases in Switzerland ». In : Survey Methods Research, 9(3), 141-158. DOI: 10.18148/srm/2015.v9i3.6138; https://ojs.ub.uni-konstanz.de/srm/article/view/6138

§ Incentives

20