L’enquête, les grandes oreilles de l’évaluation ?

ContactPLURICITÉ

1 cours Verdun69002 Lyon

Tél. 04 78 28 15 00Fax. 04 78 28 17 56

[email protected]

L’ENQUÊTE : LES GRANDES OREILLES DE L'ÉVALUATION ?

Approches, techniques, pièges et intérêts de l'enquête pour l'évaluation

Nov. 2009

CLUB SFE D'ILE-DE-FRANCE – 25 NOVEMBRE 2009

Thibaut Desjonquères, Alix de Saint-Albin

2

Sommaire

1 - L’enquête : le futur de l’évaluation ?

2 - Vigilance pour l’enquête dans l’évaluation

3 -Aspects pratiques de l’enquête dans l’évaluation

4 - Conclusion

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09

3

Thèmes traités lors de la présentation


4

► Une utilisation croissante des enquêtes: Dans l’évaluation :

une extension naturelle des outils de collecte

En dehors de l’évaluation : via les diagnostics, les tableaux de bord (qualité, satisfaction, etc.)

Au-delà de l’évaluation ? : pour l’aide directe à la décision (enquête d’image, de notoriété, sondages,

diagnostics, etc.)

Les pratiques d’enquêtes pour l’évaluation


5

L’enquête : le futur de l’évaluation ?


6

Une enquête suffit-elle à éclairer la décision publique ?

Champ de l’évaluation

Champ de l’enquête


Enseignements Expériences

L’évaluation impossible de la politique de la ville Vs l’enquête

« avec l’enquête, on fait de la participation des habitants ».Très forte appropriation de l’enquête par le politique (Pays viennois, Thonon)

Des enquêtes à forte valeur ajoutée analytique

Estimation des effets aubaine (Fastt), Matrice importance-performance (Fastt)Régressions multiples (écoute habitant)Analyse du non-recours (CRAM)

Quantifier l’inquantifiable Enquête sur la récidive, le no man’s land de la statistique judiciaire…une première base pour penser les causalités (DIV citoyenneté)

Une enquête porte-voix Auprès des opérateurs de politique publique (PLIE)

Une enquête « grandes oreilles » Repérage de signaux faibles, opinions originales et phénomènes émergents (CRRA)

Retour sur expérience

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 7

8

Sommaire




4 - Conclusion


Avantages et inconvénients des formes d’enquêtes

Courrier Internet TéléphoneFace à face lieu public/domicile

Impact pour le questionnaire

Longueur possible ** *** * **Contrôle de l’échantillon * * *** *Taux de réponse * ** *** **

Impact sur la qualité de l’interview

Capacité à recueillir des données sensibles *** ** * *Contrôle de la compréhension par le sujet

* * ** ***

Réduction du biais de désirabilité sociale *** *** ** *

Impacts économiques

Facilité d’organisation ** **** *** **Coût *** **** ** *Délais de réalisation * **** *** **

D’après : S. Gnassali, « les enquêtes par quesionnaire »

10

Les enquêtes dans les études marketing, media et opinion


2007 : Source Syntec études

► Exemple d’enquêtes en ligne : Sollicitation par email ciblé Encart sur site Internet Pop-up sur site Internet Sollicitation sur access panels d’internautes Et bientôt sur les réseaus sociaux : Linkedln, viadeo, facebook ?

0%

5%

10%

15%

20%

25%

30%

2003 2004 2005 2006

Titr

e de

l'ax

e

Poids relatif des modes de collecte

Web

Face à face

Dépôt

Envoi postal

Appel tel

Source : ESOMAR

► 3 modes d’échantillonnages : aléatoire, par quotas, de convenance

► Echantillon et représentativité Pour un échantillon aléatoire : les

intervalles de confiance Pour un échantillon par quotas : comparaisons

à la population mère et redressements Les notions de représentativité et de

significativité

11

Principes de l’échantillonnage


12

► Les sources de données Les fichiers « maison » Les panels L’annuaire et les fichiers à l’achat

► En pratique, dans l’évaluation: L’enquête ciblée (bénéficiaires, partenaires) L’enquête territorialisée (quartier, ville) L’enquête globale (bénéficiaires potentiels, population générale)

Les fichiers de contact


13

Articulation de l’enquête dans les outils de l’éval (quanti/quali)


Entretiens exploratoires

Enquête confirmatoire

Enquête confirmatoireL’enchaînement

« classique »

Approche typologique

Le quali pour préciser les questions, l’enquête pour

quantifier les résultats

Etudes de cas confirmatoires

Enquête de « profilage »Enquête de « profilage »

Enquête pour cibler les publics, le quali pour

approfondir certains effets

Enquête exploratoire

Enquête exploratoire



Etudes de cas confirmatoires

D’autres approches…

Pour identifier des impacts non attendus, puis les

approfondir

14

Sommaire




4 - Conclusion


► Cadrage budgétaire

► Calendrier de l’enquête en évaluation Lancement à l’issue de la phase de cadrage

15

Prix au questionnaire Volume « classique » Nbr jours

Enquête en ligne ~5-10 € 50-5000 2-5 j consultant + frais techniques

Enquête par téléphone ~20-40 € 100-1000 2-5 j consultant + 5 jours enquêteur pour 100 réponses

Enquête postale ~15 € 50-300 2-5 j consultant + saisie

Conditions pratiques de mise en oeuvre


1 à 3 semaines 1 à 2 semaines 2 à 8 semaines 1 à 2 semaines

16

► L’enquête d’évaluation : une fausse bonne idée ? Un outil « spectateur » plutôt qu’une démarche

active Une fuite du politique par l’imposition d’un

référentiel unique… Et par la simplification du débat

► Mais toujours une forte pertinence de l’enquête pour l’évaluation ! Une formidable extension des capacités de

collecte… …dans des conditions pratiques de plus en plus

accessibles Une force de persuasion inégalée (qui a déjà lu une

monographie d’étude de cas?)

► Une faisabilité technique éprouvée, avec quelques points de vigilance: À condition de s’intéresser aussi aux non-

répondants! Des résultats à croiser pour « faire sens », sinon,

attention à la noyade!

Conclusions et hypothèses


Not everything thats counts can be counted, and not

everything that can be counted counts

Albert (1879 – 1955)

17

Merci de votre attention !


Fin de la présentation

18

Population accessible selon les modes de passation


Source : ARCEP, 2009

L’enquête, les grandes oreilles de l’évaluation ?

Education

Transcript of L’enquête, les grandes oreilles de l’évaluation ?