MÉTHODE EXPERIMENTALE POUR LA RECHERCHE...
Transcript of MÉTHODE EXPERIMENTALE POUR LA RECHERCHE...
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
MÉTHODE EXPERIMENTALE POUR LA RECHERCHE EN INFORMATIQUE
Nadine Mandran CNRS/LIG HAITI SITERE 2016
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
Environnement et contexte
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
Environnement et contexte
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
Objectif : Développer une application pour construire de manière collaborative des procédures
Cas d’étude : un procédure administrative de départ en mission Acteurs : Assistante, responsable, employé, agence de voyage, agent
comptable … Actions : commander, téléphoner, remplir un formulaire, … Document := devis, demande d’ordre de mission, billets , ….. Etat des documents : OM Validé, signé, ….
Utilisateurs Action interne
Action externe
Document et état
Marco Santorum, 2014, LIG/SIGMA
Système d’information et Utilisateurs
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la recherche
Méthode de développement
Méthode de production et d’analyse
Méthode de conduite des études
User Centered Design
Qualitatif / Quantitatif
Protocole / Outils/ Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
CONNAISSANCE SCIENTIFIQUE ?
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
S’intéresser à la méthodologie de la recherche interroge la manière d’élaborer la connaissance scientifique, autrement dit la question de la posture épistémologique.
L‘épistémologie est définie par [Piaget 1967] comme « l’étude de la constitution des connaissances valables ». Pour [Le Moigne 1995], cette définition pose trois questions :
1. Qu’est ce que la connaissance et quel est son mode d'investigation ?
2. Comment la connaissance est-elle constituée ou engendrée ?
3. Comment apprécier sa valeur ou sa validité ?
EPISTEMOLOGIE
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
CONNAISSANCE DANS CES SCIENCES ?
Sociologie expérimentale
Informatique « performance des algorithmes »
Informatique centrée humain
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
CONNAISSANCE SOCIO.
BIOLOGIE EXPERIMENTA
LEI. « ALGO » I.CENTREE HUMAIN
NATURE réel réel « artificiel » « artificiel » et réel
OBJET Humain Vivant Technique Technique et humain
PRISE EN COMPTE Holistique Réductionniste x Holistique
STATUT Evoluée « immuable » « immuable » Evoluée
MESURES Comprendre Valider Valider Comprendre et Valider
A chaque domaine, une posture pour créer et valider de la connaissance => Posture épistémologique
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
CONSTRUCTIVISME PRAGMATIQUE
En RICH => positionnement- observer l’humain dans son contexte pour connaitre ses pratiques,
ses comportements, ses attentes - observer le réel : coté technique du domaine, le réel de l’humain, la
perception du réel et des observables par l’humain
En RICH => la connaissance prend la forme de modèle intelligible qui sont instanciée sous forme d’applications utilisables
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
CONSTRUCTIVISME PRAGMATIQUE But de la connaissance : Construire des modèles intelligibles de l’expérience humaine, offrant des repères adaptés et viables pour organiser le monde de l’expérience humaine. Statut de la connaissance : Interprétations plausibles adaptées à l’expérience et viables pour agir intentionnellement.
Forme de la connaissance : Modèles génériques et propositions activables
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
L‘épistémologie est définie par [Piaget 1967] comme « l’étude de la constitution des connaissances valables ». Pour [Le Moigne 1995], cette définition pose trois questions :
1. Qu’est ce que la connaissance et quel est son mode d'investigation ?
2. Comment la connaissance est-elle constituée ou engendrée ? => Méthodes pour construire la connaissance
3. Comment apprécier sa valeur ou sa validité ? = > Méthodes pour évaluer la connaissance
LES 3 QUESTIONS
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la recherche
Méthode de développement
Méthode de production et d’analyse
Méthode de conduite des études
User Centered Design
Qualitatif / Quantitatif
Protocole / Outils/ Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
MÉTHODE DE RECHERCHE
=> MÉTHODE DE CONDUITE DE LA RECHERCHE
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DEFINITION La méthode de recherche :
- processus, propriété du processus pour conduire la recherche
- Méthodes : - Design Based Research (Wang et Hannafin), - Dialogical Model (Avenier), - Design science (Hevner), - THEDRE (Mandran)
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
MODELE : THEDRE N.Mandran 2016 à publier
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la recherche
Méthode de développement
Méthode de production et d’analyse
Méthode de conduite des études
User Centered Design
Qualitatif / Quantitatif
Protocole / Outils/ Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
USER CENTERED DESIGN ISO 9241-210:2010,
3 phases : Analyse, Conception, EvaluationElle concerne la méthodologie de conception et l'intégration de l’humain dans la conception et le développement.
Recommandations
• Une préoccupation amont des utilisateurs, de leurs tâches et de leur environnement,
• La participation active de ces utilisateurs, ainsi que la compréhension claire de leurs besoins et des exigences liées à leurs tâches,
• Une répartition appropriée des fonctions entre les utilisateurs et la technologie,
• L'itération des solutions de conception : on peut s'imaginer le cycle comme une spirale, une démarche qui boucle et reboucle jusqu'à ce que le système satisfasse aux exigences définies au départ,
• L'intervention d'une équipe de conception multi-disciplinaire.
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
USER CENTERED DESIGN Avantages :- Intégration de l’utilisateur et du contexte dans la conception d’un outil- De procéder par phases successives- Pas de contraintes sur les méthodes à employer
Proposition Mandran et al 2013Analyser ou explorer ? :
• TLFI : « explorer » : parcourir et/ou examiner de fond en comble pour découvrir quelque chose, « analyser » : décomposer un tout en ses éléments de manière à le définir, le classer, le comprendre
Conception ou co-construction ?• Conception, un terme utilisé dans de nombreux cycles d’ingéniérie, le coté collaboratif absent du terme
conception . • La co-construction introduit la collaboration et le pluridisciplinaire.
Evaluation ?
• Evaluer l’artefact et non pas valider • Valider => finalité• Evaluer un continum
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DCU : LES 3 PHASES
EXPLORER, CO-CONSTRUIRE, EVALUER
Pourquoi faire ?
A quel moment du développement de l’application ? `
Avec qui ?
Comment faire ?
Avec quoi ?
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DCU : LES 3 PHASES
ETAPES UCDPOURQUOI
FAIRE ?
DÉVELOPPEMENT DE
L’APPLICATIONAVEC QUI ? COMMENT ?
EXPLORER
Comprendre et faire l’analyse des
besoins, des attentes
Utilisateurs finaux observer sur le terrain, discuter
CO-CONSTRUIRE
Faire un travail de co-conception
Maquette ou prototype interactif
Utilisateurs et concepteursss
faire des réunions de groupes
EVALUER Tester l’applicationPrototype
interactif ou une application
Utilisateurs faire des tests utilisateurs
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la recherche
Méthode de développement
Méthode de production et d’analyse
Méthode de conduite des études
User Centered Design
Qualitatif / Quantitatif
Protocole / Outils/ Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
METHODE DE PRODUCTION
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
QUALI / QUANTI / MIXED
Le Design based Reseaech et le User Centred Design ne focalisent pas sur une seule méthode de production des données. Il faut saisir et comprendre un maximum d’éléments provenant de l’utilisateurs et de son contexte d’évolution. Nécessaire de mixer les méthodes qualitatives et quantitatives.
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUALITATIVES
Portrait chinois
Si les vacances étaient un animal ?
Si les vacances étaient une couleur ?
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUALITATIVES
Quand ? Peu de notions sur ce qui se passe , sur ce que l’on veut observerPose une question
Pourquoi ?Attester de l’existence d’un phénomène Laisser libre cours au discours, au vécu, aux habitudesRecenser un maximum d’usages, de comportements, d’opinions Recueillir une diversité de situationsAvoir différents points de vue … Faire échanger des utilisateurs lors de travaux de groupe
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUALITATIVESComment ?
Mode de recueil ouvert, qui privilégie le spontané
Outils ? Entretiens individuels , de groupes, Des tests de maquettes, des portraits chinois, De l’observation, de l’analyse de tâches, …
Quoi ?Audio, VidéoDes dessins, Des photos,Des carnets de bordsPost-it
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUALITATIVES
Les critiques • Le nombre de sujets restreint • Un matériel lourd à exploiter • Des critères d’analyses « subjectifs » • Pas de données quantitatives ca ne prouve rien
Les réponses • Le qualitatif permet d’accéder au sens (Duyck, 2003) et/ou aux représentations. • Permet de comprendre • La manière d’appréhender des notions inconnues • La durée des entretiens permet de connaître en profondeur et avec précision un
phénomène • Effectif restreint mais des sujets connus : préconisation de 20 individus • Des outils d’analyses systématiques (caqdas et analyse de discours, de contenu) • Pour les étapes d ’évaluation, permet de comprendre les résultats du quantitatif
P.Paille et A.Muchielli, L'analyse qualitative en sciences humaines et sociales, 2012.
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUALITATIVESLes outils de production de données
Entretien semi- directif Entretien en face à face Guidé par une grille d’entretien élaborée au préalable Environ 1h à 1h30 Enregistrement audio 20 sujets
Focus-group ou réunion d’utilisateurs Séances de travail en groupes Guidé par une grille d’animation Organisation d’activités Environ 2h à 2h30 3 focus de 8 personnes
Autoconfontation Filmer le sujet pendant une tâche Après la réalisation de la tâche, faire visionner le film au sujet et le faire verbaliser
sur ce qu’il a fait Annotations des vidéos
Journal de bord et « Social probes » Cerner les habitudes par le quotidien Capturer ce qui forme le quotidien (maison, entreprise,…. )
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUANTITATIVES
Source : TNS Sofres, EPIQ 2009.
Sondage d’opinion sur les vacances
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUANTITATIVES
Quand ? Poser une hypothèseUne information à contrôler
Pourquoi ? QuantifierEvaluer, valider de manière statistique
Comment ? Prise de Mesures Capture des traces lors de l’utilisation d’un logicielCapture de mouvements (gestuels, visuels, émotionnels, physiologique…. )Une enquête par sondage Un questionnaire fermé lors d’un test
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUANTITATIVES
CritiquesNe permet pas de comprendreLe plus souvent pas de méthode d’échantillonnage décrite Des plans d’expérience Le choix des sujets expérience
RéponseLa seule manière de quantifier La manière d’évaluer, quand on se place dans une posture hypothético-déductive
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
DONNEES QUANTITATIVES
Les outils de production de données
Questionnaire Auprès d’un échantillon correctement échantillonné (en socio minimum 500 personnes) Peut-être administré en face-à-face ou en ligne
Capture de traces d’activités Avoir une application qui permet de tracer les interactions des utilisateurs
Tests utilisateurs Avoir une application sur laquelle on va faire des tests précis Souvent utilisés en IHM, mesure de performance, de précision, erreurs, …
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
MIXER LES METHODES DE PRODUCTION
ETAPES UCD METHODE PRINCIPALE OUTILS DONNÉES
EXPLORER Qualitatives Entretien audio-video
CO-CONSTRUIRE Qualitatives Focus groups audio-video
EVALUER Quantitatives Tests utilisateurs
Mesures et traces
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la recherche
Méthode de développement
Méthode de production et d’analyse
Méthode de conduite des études
User Centered Design
Qualitatif / Quantitatif
Protocole / Outils/ Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
METHODE DE CONDUITE DES ETUDES
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
EXEMPLE : TEST D’UNE INTERFACE SUR TÉLÉPHONE MOBILE
Connaitre les habitudes sur les habitudes d’utilisation du téléphone mobileEntretien
Réaliser une première tache avec le téléphone mobileMesure de rapidité , de nombre d’erreurs, …
Mesurer l’utilisabilité de l’application Questionnaire d’utilisabilité
Réaliser une seconde tâche avec le téléphone mobileMesure de rapidité , de nombre d’erreurs, …
Mesurer l’utilisabilité de l’application avec la seconde tâcheQuestionnaire d’utilisabilité
DebriefingGrille d’entretien
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
EXEMPLE : APPRENTISSAGE DES ÉLÈVES AVEC UN EIAH
Pré test : mesurer les connaissances avant un exercice Questionnaire sur les connaissances
Analyser les comportement des élèves avec l’EIAHCapture des traces d’interaction
Debriefing avec les élèvesFocus-group Questionnaire d’utilisabilité
Post-test : mesurer les connaissances après un exercice Questionnaire sur les connaissances
Post-test lointain : mesurer les connaissances mémoriséesQuestionnaire sur les connaissances
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PROTOCOLE D’ETUDE=> SCENARIO à REDIGER
=> Protocole expérimental ou protocole de production et d’analyse des données ou protocole d’étude
=> Recenser l’ensemble des étapes qui vont être conduites pour construire et évaluer la proposition de recherche avec des
utilisateurs
=> Garantir la répétabilité des différentes étapes de l’étude menée
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PROTOCOLE D’ETUDE
Quelles questions se poser pour rédiger un protocole ?
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PROTOCOLE D’ETUDE
Quel est l’objet qui est concerné par l’étude ?
Peut on le découper en sous-objet ?
Dans quel état de développement se trouve cet objet, ces sous-objets ?
Quels sont les utilisateurs concernés ?
Qu’est ce que je peux leur faire tester ?
Quelles informations j’attends de leur part ?
Quelles mesures je peux prendre ?
Quels outils je dois construire pour les interroger ?
Quels sont les objectifs de l’étude ?
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PROTOCOLE D’ETUDE
Quel est l’objet qui est concerné par l’étude ?
Peut on le découper en sous-objet ?
Dans quel état de développement se trouve cet objet, ces sous-objets ?
Quels sont les utilisateurs concernés ?
Qu’est ce que je peux leur faire tester ?
Quelles informations j’attends de leur part ?
Quelles mesures je peux prendre ?
Quels outils je dois construire pour les interroger ?
Quels sont les objectifs de l’étude ?
Choisir les méthodes de production
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PROTOCOLE D’ETUDE
A partir de vos travaux, répondez à ces questions et identifiez ensuite les méthodes de production les plus adéquates
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PROTOCOLE D’ETUDE
DEBRIEFING
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PROTOCOLE D’ETUDE Les rubriques 1/2
• Date, auteurs• Décrire le projet global• Décrire l’instrument produit par la recherche qui doit être construit et/ou évalué • Si besoin essayer d’identifier des composants de cet instrument • Décrire les objectifs de l’étude, autrement dit quelles sont les finalités de l’étude par
rapport à l’instrument et à ses composants • Rédiger les questions et hypothèses auxquelles l’étude doit répondre • Pour chaque question, identifier les mesures à prendre • Lister les phases de l'étude :
• Une phase correspond à une étape pendant laquelle un ou plusieurs composants sont soumis à une étude pour prendre une ou plusieurs mesures et ainsi répondre à des questions ou des hypothèses.
• Un seul des états d’un composant peut être étudié par phase. • Déclaration à la CNIL ?
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PROTOCOLE D’ETUDE Les rubriques 2/2
• Pour chaque phase• Objectifs de la phase,• Questions ou hypothèses qui seront abordées,• Composants concernés,• Etat des composants avant l’étude (à explorer, à co-construire, à évaluer),• Etat attendu des composants après l’étude (exploré, co-construit, évalué),• Matériel informatique qui pourra être utilisé (prototype, application, … ),• Autre matériel relatif à la proposition de recherche (maquette,dictionnaire, schéma, …),• Méthode de production de données (entretien, captures de traces, … ),• Matériel expérimental à créer (guide d’entretien, questionnaire, … ),• Matériel technique pour collecter les données (caméra, enregistreur, oculomètre, …)• Lieu de passation (labo, in situ … ),• Type et nombre de participants,• Données collectées (traces, audio, video, … ),• Pré-traitement des données (grille de codage, … ) • Méthodes d’analyse des données
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la recherche
Méthode de développement
Méthode de production et d’analyse
Méthode de conduite des études
Epistémologie
Design Based research et Design science
User Centered Design
Qualitatif / Quantitatif
Protocole / Outils/ Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
CONSTRUIRE DES OUTILS DE MESURE
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
GUIDE D’ENTRETIEN
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ENTRETIEN
Exemple : Etudier les pratiques des ménages par rapport à leur usage de la télévision et de l’usage des télécommandes.
Instrument : une nouvelle télécommande sous forme de prototype => co-construire les fonctionnalités proposées.
Mesures à prendre :
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ENTRETIEN
Lister les mesures à prendre
• Pratiques par rapport à la télévision • Fréquence d’utilisation de la télévision• Types de programmes regardés• Usage des télécommandes• Avantages de celles déjà utilisées• Inconvénients de celles déjà utilisées• Améliorations souhaitées• Avis sur la nouvelle télécommande
Organiser les mesures par grands thèmes Perception de la nouvelle télécommande, avantages et inconvénients Usage de la télécommande pour la tv, Opinions sur les télécommandes actuelles , attentes Usage de la télévision et satisfaction
Ordonner les questions Le contexte et l’environnement : Fréquence d’utilisation de la télévision Les points connexes : Utilisation des télécommande de manière générale Les points précis de l’étude : avis sur la nouvelle télécommande
Comment faire ?
Contexte
Eléments connexes
Points précis
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ENTRETIENFaire une introduction, sur la raison de l’entretien et comment il va se dérouler
• Il faut présenter au sujet pourquoi nous lui avons demander de participer à cet entretien • En faisant attention à ne pas lui donner trop d’informations qu’il cherchera à valider pour vous faire plaisir pendant l’entretien • lui indiquer les étapes de l’entretien • Lui dire que c’est votre proposition qui est évaluer et pas lui • Lui dire d’exprimer tout ce qu’il a envie de dire par rapport à la proposition
Les questions s’enchainent, pour arriver au point essentiel de l’entretien
• Lors de la passation de l’entretien, l’interviewé peut parfois aborder les différents éléments prévus par la grille sans forcément respecter l’ordre que vous avez prévu
• Peu importe : l’entretien est semi-directif ce sera l’enquêteur de conduire l’entretien sans pour autant être dirigiste. • Laisser le sujet exprimer ses idées même si elles ne sont pas dans l’ordre de la grille. L’enquêteur doit veiller à ce que tous les points soient
abordés.
Lors de la rédaction de la grille : envisager tous les cas de figures. • Si le sujet a parlé la télécommande • Si elle n’en a pas parlé
La grille doit contenir les remarques pour l’enquêteur • ENQUETEUR : Noter tous les objets cités par le sujet • ENQUETEUR : Faire faire un schéma à la personne pour représenter sa télécommande idéale
La grille se termine en demandant les caractéristiques des participants Année de naissance, vous êtes un homme/ une femme, votre profession, niveau d’étude, domaine d’activités, votre type d’habitat, nombre
d’enfants … et toutes informations utiles pour répondre à vos questions.
Comment faire ?
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ENTRETIENComment faire ?
Les domaines qui sont abordés sont parfois complexes pour cela deux possibilités non exclusives :
Proposer des constats pour lancer l’entretien
Exemple : pour expliquer ce que l’on définit comme un système d’information parallèle
Dans les systèmes d’informations des grandes organisations, une majorité des acteurs n'est pas satisfaite du fonctionnement de ces applications. En effet, les utilisateurs directs qui constatent souvent un décalage entre leur travail au quotidien et les applications qu'ils manipulent. Souvent, les évolutions successives de ces applications ne permettent pas de répondre à leur demande. Evolutions qui sont rarement cohérentes et très changeantes. Du coup, certains installent (ou même développent) des applications à usage privé (ou équipe), qui finissent par former un système d’information parallèle qui contient un pourcentage considérable des informations vitales pour l’organisation.
Proposer des définitions sur des termes qui ne doivent pas être ambigus
Aujourd’hui, on entend beaucoup parler de réseaux sociaux. Dans notre étude, il s’agit des réseaux de type facebook où chacun est libre de déposer des informations qui le concerne et de les partager avec d’autres personnes. L’utilisateur de facebook peut également créer des groupes de personnes auxquels il réservera certains types d’informations .
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ENTRETIENRédiger les questions
Les questions doivent permettre des réponses larges et ouvertes : Vous avez un agenda électronique ? (non) Comment ? Pourquoi ? Qui le fait ? Dans quelles circonstances ? (oui)
Ne jamais suggérer de réponses dans les questions Vous pensez que ce dispositif peut-être utile ? (non) Que pensez vous de ce dispositif ? (oui)
Poser vous les questions à vous-mêmes Que répondriez vous ?
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ENTRETIEN VS QUESTIONNAIREGénéralités Doit comporter une introduction, La structuration reste la même du plus global au plus précis, Les modalités des réponses sont définies, à l’exception des questions ouvertes, Les variables sociodémographiques se situent à la fin.
Types de questions Les questions fermées (close-ended question) : les réponses aux questions sont fixées, il n’est pas possible de rajouter des modalités de réponses
Questions numériques Combien de voitures possédez vous ?
Les question semi-ouvertes (semi-open question): questions pré codées, avec l’option autre qui permet d’ajouter des items de réponse. Quels sont vos sports favoris :
Course à pied Ski Natation Vélo Autres précisez
Les questions ouvertes (open-ended question) : l’enquêté répond librement, pas de propositions de réponses a priori.
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ENTRETIEN VS QUESTIONNAIRE
Types de questions
Réponse unique sur une échelle de réponse (scale) :
Echelle de Likert (Likert scale)La personne interrogée exprime son degré d'accord ou de désaccord vis-à-vis d'une affirmation. L'échelle contient en général cinq ou sept choix de réponse qui permettent de nuancer le degré d'accord. Pas du tout d'accord, Pas d'accord, Ni en désaccord ni d'accord, D'accord, Tout à fait d'accord. Pour les échelles impaires, le niveau central permet de n'exprimer aucun avis, tandis que les échelles paires (par exemple à quatre modalités) sont dites « à choix forcé ». (5)
Réponse à choix multiples (multiple-choice questions) :
Choix de plusieurs modalités de réponse : (exemple j’utilise mon portable pour 1- Téléphoner 2 - Envoyer des SMS 3- Pour tenir mon agenda, 4-Pour me réveiller, 5- Autres )
À opposer aux questions à choix unique, pas de possibilité de rajouter une modalité de réponse
Réponse avec une demande de classement :
les réponses sont ordonnées selon une préférence ou un ordre d’importance. : Pour le produit XYZ vous classerez les 3 caractéristiques suivantes en partant de ce vous considérez comme son point le plus fort vers son point le plus faible :
Facilité d’utilisation Fiabilité d’utilisation Son prix
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ENTRETIEN VS QUESTIONNAIREObjectif : Etude sur la connaissance et l’utilisation des portables.
Deux téléphones doivent être étudiés : ALLO et JECOUTE.
Comparaison des fonctionnalités entre les deux téléphones, au niveau des services offerts en version initiale. Connaître l’utilisation de leur portable Connaître la connaissance de ces deux matériels Mesurer les avantages et les inconvénients, Connaître les perspectives d’utilisations
Entretien auprès de 20 personnes (10 possédant ALLO et 10 possédant JECOUTE), avec un test de matériel les ALLO testeront JECOUTE et les JECOUTE testeront ALLO Une grille d’entretien : Privilégier le spontané, si besoin suggérer des éléments
Rédiger une dizaine de questions Ordonner les questions Comment passer l’idée d’un nouveau téléphone ? Rédiger l’introduction pour le questionnaire
Une enquête en ligne 50% possède ALLO et 50% possède JECOUTE Un questionnaire :
Rédiger une dizaine de questions Quelles questions socio-démo ? Ordonner les questions Comment passer l’idée d’un nouveau téléphone ? Rédiger l’introduction pour le questionnaire
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la recherche
Méthode de développement
Méthode de production et d’analyse
Méthode de conduite des études
Epistémologie
Design Based research et Design science
User Centered Design
Qualitatif / Quantitatif
Protocole / Outils/ Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
GRILLE DE PASSATION
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
GRILLE DE PASSATIONObjectif : Organiser les différentes étapes d’une phase=> proposition
Lister les hypothèses ou questions : Q1 : le dictionnaire proposé est-il compréhensible par tous ? Q2 :est-il complet ? H1 : la représentation graphique est correcte
OBJECTIF DE L’ÉTAPEHYPOTHÈSE OU
QUESTION CONCERNÉE
ANIMATEUR ACTIVITÉDOCUMENTS ET
MATÉRIELS ASSOCIÉS DONNÉES PRODUITES DURÉE HEURE DÉBUT
HEURE FIN
INTRODUCTION
Paul introduction et tour de table powerpoint de présentation 00:10:00 14:00 14:10
Paul questionnaire sur les pratiques des experts en GL questionnaire n°1 réponse aux
questions 00:10:00 14:10 14:20
Paul Portrait chinois sur la conception en GL
enregistrement audio 00:10:00 14:20 14:30
Jacques présentation d’un outil de conception
powerpoint de présentation
enregistrement audio 00:10:00 14:30 14:40
VALIDER LA TERMINIOLOGUE
UTILISÉE
Q1,Q2 Paullecture du dictionnaire de la terminologie en silence, proposition d’un nouveau mot ou d’une nouvelle définition
dictionnaire et définitions
leurs propositions écrites 00:15:00 14:40 14:55
Q1,Q2 Paul confrontation des propositions enregistrements audio des échanges 00:30:00 15:00 15:30
VALIDER LA REPRÉSENTATION
GRAPHIQUE DES OBJETS
H1 Jacques Montrer les outils graphiques que l’on souhaite utiliser
powerpoint de présentation 00:10:00 15:30 15:40
H1 Jacques Faire jouer un scénario avec ces objets graphiques
les représentations graphiques en papier/stylos/ciseaux colles
les schémas produits et les vidéos 00:30:00 15:40 15:10
H1 Jacques et Paul Debriefing grille d’entretien enregistrements
audio des échanges 00:20:00 15:10 15:30
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PASSATION Quelques règles pour passer des entretiens ou des focus groups
• Introduire pourquoi on est là et comment cela va se dérouler
• Ne jamais suggérer les réponses • Prendre des notes • Noter d’autres questions en cours d’entretien sur lesquelles vous pourrez revenir pour relancer l’entretien • Faire des questions ouvertes • Laisser s’installer des silences • Ne reformuler pas • Utiliser le vocabulaire de la personne
• Vous êtes là pour écouter pas pour vous justifier
• vous vous justifierez à la fin, mais laissez la personne dire ce qu’elle veut dire
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
SYNTHÈSE A CHAUDUne synthèse même rapidement écrite après un entretien ou une séance de focus group est essentielle, elle permet de gagner du temps lors de l’analyse des données.
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PASSATION
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la recherche
Méthode de développement
Méthode de production et d’analyse
Méthode de conduite des études
Epistémologie
Design Based research et Design science
User Centered Design
Qualitatif / Quantitatif
Protocole / Outils/ Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVEEntretien : Analyse thématique simplifiée
Méthode en Sociologie :
Retranscrire les entretiens (1h => 6h)
A partir de la problématique et de la grille d’entretien, créer une grille thématique, A partir de la retranscription des entretiens, identifier les thèmes qui correspondent à la problématique et aussi les thèmes qui émergent
Les thèmes sont larges, il convient de créer des sous-thèmes
Chacun des sous-thèmes est illustré par des verbatims (extraits du discours associé au code du sujet ayant prononcé de discours)
Synthèse pour chaque thème
Synthèse globale
Exemple
Thème « Utilisation de la télévision »
Sous- thèmes de « utilisation de la télévision »« utilisation classique »« utilisation pour télécharger des films »« utilisation pour voir des photos avec des amis »
Thème nouveau « Utilisation que de l’ordinateur »
Verbatim du sous- thème «utilisation pour voir des photos avec des amis »
« c’est pour voir les photos que l’on en fait entre potes (S1) »
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVEEntretien : Analyse thématique simplifiée
Méthode en Sociologie :
Retranscrire les entretiens (1h => 6h)
A partir de la problématique et de la grille d’entretien, créer une grille thématique, En écoutant les entretiens, identifier les thèmes qui correspondent à la problématique et aussi les thèmes qui émergent
Les thèmes sont larges, il convient de créer des sous-thèmes
Chacun des sous-thèmes est illustré par des verbatims (extraits du discours associé au code du sujet ayant prononcé de discours)
Synthèse pour chaque thème
Synthèse globale
Exemple
Thème « Utilisation de la télévision »
Sous- thèmes de « utilisation de la télévision »« utilisation classique »« utilisation pour télécharger des films »« utilisation pour voir des photos avec des amis »
Thème nouveau « Utilisation que de l’ordinateur »
Verbatim du sous- thème «utilisation pour voir des photos avec des amis »
« c’est pour voir les photos que l’on en fait entre potes (S1) »
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVEEntretien : Analyse thématique simplifiée
Thèmes Catégorie ExempleSuividutravail suividutravaildel'élève "làcaclaque"
"ouhlà,monbonhommeledipoleestpasiden;que"
suividutravaild'unsousgroupe(aumoinsdeux) «Yaquandmêmeuntauximportant…yaquandmêmedéjàtrois
élèvesqui…quilarefontfaitgrillerunedeuxièmefoisquoi»
suividutravaildelaclasse "ilsfonttouslamêmechose""laclasseafini"
Commentaire commentaire,reculsurletravaildel'élève «OuaisdoncAndré,celuiquiavaitdumalquimeLaitlemauvaissens
desrésistances»
commentaire,reculsurletravaild'unsousgroupe(aumoinsdeux) «ilsontpresquetousfermél'interrupteurenpremierpourvoir
commentellefonc;onnaitdéjààlabase»
commentaire,reculsurletravaildelaclasse
Diagnos;c Diagnos;cconnaissancedel'élève "Ouaisluiilacompristoutdesuitequec'étaitlemême"
Diagnos;cconnaissanced'unsousgroupe(aumoinsdeux) "Donconpeutquepourceuxlàçanousdonnevraimentuneindica;on
sur...ouaissurleurconnaissancedesloisetleuru;lisa;onquoi"
Diagnos;cconnaissancedelaclasse
Compréhensionde
l'énoncéetdesconsignes
Compréhensiondel'énoncé c'estlàque,ouaisçapermetdevoirnotammentaussiceuxquiontdes…
desdifficultésdansleslecturesdeconsigne
Respectdesconsignes
caractéris;quesnominalesdelalampe Touteslescaractéris;quesphysiquessontbonnes,yajustelenomqui
est…quiestpasbonquoi
Nomdelalampeindiquéounonparl'élève Touteslescaractéris;quesphysiquessontbonnes,yajustelenomqui
est…quiestpasbonquoi
remarquesduprofsurle
contenudel'exercice
reculduprofsurl'exerciceproposéàl'élève "Cetexerciceesttropdur,finalementlaconsigneestmalposée"
remémora;onsurl'exercice «Alorslerésultatdu3c'estcombien?70?Jesaisplus….95.»,«Les
dipôlesnesontpasiden;ques»
Tâchedesuivifaiteparle
prof
Commentairesurlesuivi «Alorsonvaallervoirlaséancenonl'étape»
logicieletihm Incompréhensionsurcequisepasse "jenecomprendspascequelelogicielm'affiche"jenecomprendspas
cequejevois,lelogicielmeditque"
Commentairessurlelogiciel «Doncçaveutdirequeceuxquiontmisrougeilsontvalidéetonleura
ditquec'étaitfaux.»
u;lisabilité "lac'estpaspra;que","commentjerevienssurlapaged'avant","je
voispasl'ensembledelaclasse"
Autres Autres "ohilfaitchaudici"
Autre Exemple :
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVESchéma Créer une grille d’analyse pour savoir ce qui doit être repérer par rapport à la problématique
Photographier chacune des productions
Repérer les ressemblances/les différences entre les représentations
Repérer ce qui confirme les objectifs de l’étude
Repérer les apports de la représentation des sujets par rapport à la proposition
Visionner et écouter les films
Conduire une « analyse thématique simplifiée »
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVEVideo
Créer une grille d’analyse pour savoir ce qui doit être repérer par rapport à la problématique.
Utiliser des logiciels d’annotations de video
Analyser les annotations Statistiques descriptivesExtraction de verbatims
Faire une synthèse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVE Points forts et Points faibles
Outil : Grille qui liste les éléments relatifs à une proposition et qui à deux colonnes une pour noter les points forts et l’autre les points faibles
Remarque : Outil de production pour une situation expérimentale où le nombre de personnes est réduit.
Table Number : First and last name :
List the strengths and weaknesses on the following Strengths Weaknesses
the work performed with the method + -the collaborative work enabled with the method + -The creativity enabled with the method + -the serious gaming of the method + -The software compared to card game + -
Exemple :
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVE Points forts et Points faibles
Méthode : Saisir l’ensemble des réponses : Ligne=participants, Colonnes = réponse aux questions, 2 colonnes par éléments
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVE Points forts et Points faibles
Méthode : Faire une « analyse thématique simplifiée » et une synthèse
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUALITATIVE Points forts et Points faibles
Faire l’exercice par groupe avec la grille points forts // points faibles du focus group d’Autrans Jean Philippe Pernin, Christelle Mariais, Florence Michaud et Nadine Mandran
Donner l’article avec la problématique, les études et les résultats et lien aussi sur la thèse de Christelle
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUANTITATIVE
Cycle de vie des données => importance du pré-traitement
Echantillon
Type de variables => quali/quanti/ordinales
Rôles des variables => explicatives et à expliquer
Règles de décision sur le choix de la méthode
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUANTITATIVE
c
Cycle de vie des données
Préparer l’étude
Préparer la collecte
Collecter les données
Valider les données
Enrichir les données
Analyser les données
Interpréter les résultats
Communiquer les résultats
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
ANALYSE QUANTITATIVE
c
Cycle de vie des données
Préparer l’étude
Préparer la collecte
Collecter les données
Valider les données
Enrichir les données
Analyser les données
Interpréter les résultats
Communiquer les résultats