MÉTHODE EXPERIMENTALE POUR LA RECHERCHE...

82
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE POUR LA RECHERCHE EN INFORMATIQUE Nadine Mandran CNRS/LIG HAITI SITERE 2016

Transcript of MÉTHODE EXPERIMENTALE POUR LA RECHERCHE...

Page 1: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

MÉTHODE EXPERIMENTALE POUR LA RECHERCHE EN INFORMATIQUE

Nadine Mandran CNRS/LIG HAITI SITERE 2016

Page 2: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Page 3: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Environnement et contexte

Page 4: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Environnement et contexte

Page 5: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Objectif : Développer une application pour construire de manière collaborative des procédures

Cas d’étude : un procédure administrative de départ en mission Acteurs : Assistante, responsable, employé, agence de voyage, agent

comptable … Actions : commander, téléphoner, remplir un formulaire, … Document := devis, demande d’ordre de mission, billets , ….. Etat des documents : OM Validé, signé, ….

Utilisateurs Action interne

Action externe

Document et état

Marco Santorum, 2014, LIG/SIGMA

Système d’information et Utilisateurs

Page 6: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Page 7: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Page 8: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Page 9: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Page 10: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PLAN

Connaissance scientifique ?

Méthode de conduite de la recherche

Méthode de développement

Méthode de production et d’analyse

Méthode de conduite des études

User Centered Design

Qualitatif / Quantitatif

Protocole / Outils/ Passation / Analyse

Page 11: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

CONNAISSANCE SCIENTIFIQUE ?

Page 12: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

S’intéresser à la méthodologie de la recherche interroge la manière d’élaborer la connaissance scientifique, autrement dit la question de la posture épistémologique.

L‘épistémologie est définie par [Piaget 1967] comme « l’étude de la constitution des connaissances valables ». Pour [Le Moigne 1995], cette définition pose trois questions :

1. Qu’est ce que la connaissance et quel est son mode d'investigation ?

2. Comment la connaissance est-elle constituée ou engendrée ?

3. Comment apprécier sa valeur ou sa validité ?

EPISTEMOLOGIE

Page 13: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

CONNAISSANCE DANS CES SCIENCES ?

Sociologie expérimentale

Informatique « performance des algorithmes »

Informatique centrée humain

Page 14: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

CONNAISSANCE SOCIO.

BIOLOGIE EXPERIMENTA

LEI. « ALGO » I.CENTREE HUMAIN

NATURE réel réel « artificiel » « artificiel » et réel

OBJET Humain Vivant Technique Technique et humain

PRISE EN COMPTE Holistique Réductionniste x Holistique

STATUT Evoluée « immuable » « immuable » Evoluée

MESURES Comprendre Valider Valider Comprendre et Valider

A chaque domaine, une posture pour créer et valider de la connaissance => Posture épistémologique

Page 15: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

CONSTRUCTIVISME PRAGMATIQUE

En RICH => positionnement- observer l’humain dans son contexte pour connaitre ses pratiques,

ses comportements, ses attentes - observer le réel : coté technique du domaine, le réel de l’humain, la

perception du réel et des observables par l’humain

En RICH => la connaissance prend la forme de modèle intelligible qui sont instanciée sous forme d’applications utilisables

Page 16: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

CONSTRUCTIVISME PRAGMATIQUE But de la connaissance : Construire des modèles intelligibles de l’expérience humaine, offrant des repères adaptés et viables pour organiser le monde de l’expérience humaine. Statut de la connaissance : Interprétations plausibles adaptées à l’expérience et viables pour agir intentionnellement.

Forme de la connaissance : Modèles génériques et propositions activables

Page 17: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

L‘épistémologie est définie par [Piaget 1967] comme « l’étude de la constitution des connaissances valables ». Pour [Le Moigne 1995], cette définition pose trois questions :

1. Qu’est ce que la connaissance et quel est son mode d'investigation ?

2. Comment la connaissance est-elle constituée ou engendrée  ? => Méthodes pour construire la connaissance

3. Comment apprécier sa valeur ou sa validité ? = > Méthodes pour évaluer la connaissance

LES 3 QUESTIONS

Page 18: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PLAN

Connaissance scientifique ?

Méthode de conduite de la recherche

Méthode de développement

Méthode de production et d’analyse

Méthode de conduite des études

User Centered Design

Qualitatif / Quantitatif

Protocole / Outils/ Passation / Analyse

Page 19: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

MÉTHODE DE RECHERCHE

=> MÉTHODE DE CONDUITE DE LA RECHERCHE

Page 20: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DEFINITION La méthode de recherche :

- processus, propriété du processus pour conduire la recherche

- Méthodes : - Design Based Research (Wang et Hannafin), - Dialogical Model (Avenier), - Design science (Hevner), - THEDRE (Mandran)

Page 21: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

MODELE : THEDRE N.Mandran 2016 à publier

Page 22: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PLAN

Connaissance scientifique ?

Méthode de conduite de la recherche

Méthode de développement

Méthode de production et d’analyse

Méthode de conduite des études

User Centered Design

Qualitatif / Quantitatif

Protocole / Outils/ Passation / Analyse

Page 23: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

USER CENTERED DESIGN ISO 9241-210:2010,

3 phases : Analyse, Conception, EvaluationElle concerne la méthodologie de conception et l'intégration de l’humain dans la conception et le développement.

Recommandations

• Une préoccupation amont des utilisateurs, de leurs tâches et de leur environnement,

• La participation active de ces utilisateurs, ainsi que la compréhension claire de leurs besoins et des exigences liées à leurs tâches,

• Une répartition appropriée des fonctions entre les utilisateurs et la technologie,

• L'itération des solutions de conception : on peut s'imaginer le cycle comme une spirale, une démarche qui boucle et reboucle jusqu'à ce que le système satisfasse aux exigences définies au départ,

• L'intervention d'une équipe de conception multi-disciplinaire.

Page 24: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

USER CENTERED DESIGN Avantages :- Intégration de l’utilisateur et du contexte dans la conception d’un outil- De procéder par phases successives- Pas de contraintes sur les méthodes à employer

Proposition Mandran et al 2013Analyser ou explorer ? :

• TLFI : « explorer » : parcourir et/ou examiner de fond en comble pour découvrir quelque chose, « analyser » : décomposer un tout en ses éléments de manière à le définir, le classer, le comprendre

Conception ou co-construction ?• Conception, un terme utilisé dans de nombreux cycles d’ingéniérie, le coté collaboratif absent du terme

conception . • La co-construction introduit la collaboration et le pluridisciplinaire.

Evaluation ?

• Evaluer l’artefact et non pas valider • Valider => finalité• Evaluer un continum

Page 25: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DCU : LES 3 PHASES

EXPLORER, CO-CONSTRUIRE, EVALUER

Pourquoi faire ?

A quel moment du développement de l’application ? `

Avec qui ?

Comment faire ?

Avec quoi ?

Page 26: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DCU : LES 3 PHASES

ETAPES UCDPOURQUOI

FAIRE ?

DÉVELOPPEMENT DE

L’APPLICATIONAVEC QUI ? COMMENT ?

EXPLORER

Comprendre et faire l’analyse des

besoins, des attentes

Utilisateurs finaux observer sur le terrain, discuter

CO-CONSTRUIRE

Faire un travail de co-conception

Maquette ou prototype interactif

Utilisateurs et concepteursss

faire des réunions de groupes

EVALUER Tester l’applicationPrototype

interactif ou une application

Utilisateurs faire des tests utilisateurs

Page 27: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PLAN

Connaissance scientifique ?

Méthode de conduite de la recherche

Méthode de développement

Méthode de production et d’analyse

Méthode de conduite des études

User Centered Design

Qualitatif / Quantitatif

Protocole / Outils/ Passation / Analyse

Page 28: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

METHODE DE PRODUCTION

Page 29: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

QUALI / QUANTI / MIXED

Le Design based Reseaech et le User Centred Design ne focalisent pas sur une seule méthode de production des données. Il faut saisir et comprendre un maximum d’éléments provenant de l’utilisateurs et de son contexte d’évolution. Nécessaire de mixer les méthodes qualitatives et quantitatives.

Page 30: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUALITATIVES

Portrait chinois

Si les vacances étaient un animal ?

Si les vacances étaient une couleur ?

Page 31: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUALITATIVES

Quand ? Peu de notions sur ce qui se passe , sur ce que l’on veut observerPose une question

Pourquoi ?Attester de l’existence d’un phénomène Laisser libre cours au discours, au vécu, aux habitudesRecenser un maximum d’usages, de comportements, d’opinions Recueillir une diversité de situationsAvoir différents points de vue … Faire échanger des utilisateurs lors de travaux de groupe

Page 32: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUALITATIVESComment ?

Mode de recueil ouvert, qui privilégie le spontané

Outils ? Entretiens individuels , de groupes, Des tests de maquettes, des portraits chinois, De l’observation, de l’analyse de tâches, …

Quoi ?Audio, VidéoDes dessins, Des photos,Des carnets de bordsPost-it

Page 33: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUALITATIVES

Les critiques • Le nombre de sujets restreint • Un matériel lourd à exploiter • Des critères d’analyses « subjectifs » • Pas de données quantitatives ca ne prouve rien

Les réponses • Le qualitatif permet d’accéder au sens (Duyck, 2003) et/ou aux représentations. • Permet de comprendre • La manière d’appréhender des notions inconnues • La durée des entretiens permet de connaître en profondeur et avec précision un

phénomène • Effectif restreint mais des sujets connus : préconisation de 20 individus • Des outils d’analyses systématiques (caqdas et analyse de discours, de contenu) • Pour les étapes d ’évaluation, permet de comprendre les résultats du quantitatif

P.Paille et A.Muchielli, L'analyse qualitative en sciences humaines et sociales, 2012.

Page 34: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUALITATIVESLes outils de production de données

Entretien semi- directif Entretien en face à face Guidé par une grille d’entretien élaborée au préalable Environ 1h à 1h30 Enregistrement audio 20 sujets

Focus-group ou réunion d’utilisateurs Séances de travail en groupes Guidé par une grille d’animation Organisation d’activités Environ 2h à 2h30 3 focus de 8 personnes

Autoconfontation Filmer le sujet pendant une tâche Après la réalisation de la tâche, faire visionner le film au sujet et le faire verbaliser

sur ce qu’il a fait Annotations des vidéos

Journal de bord et « Social probes » Cerner les habitudes par le quotidien Capturer ce qui forme le quotidien (maison, entreprise,…. )

Page 35: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUANTITATIVES

Source : TNS Sofres, EPIQ 2009.

Sondage d’opinion sur les vacances

Page 36: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUANTITATIVES

Quand ? Poser une hypothèseUne information à contrôler

Pourquoi ? QuantifierEvaluer, valider de manière statistique

Comment ? Prise de Mesures Capture des traces lors de l’utilisation d’un logicielCapture de mouvements (gestuels, visuels, émotionnels, physiologique…. )Une enquête par sondage Un questionnaire fermé lors d’un test

Page 37: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUANTITATIVES

CritiquesNe permet pas de comprendreLe plus souvent pas de méthode d’échantillonnage décrite Des plans d’expérience Le choix des sujets expérience

RéponseLa seule manière de quantifier La manière d’évaluer, quand on se place dans une posture hypothético-déductive

Page 38: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

DONNEES QUANTITATIVES

Les outils de production de données

Questionnaire Auprès d’un échantillon correctement échantillonné (en socio minimum 500 personnes) Peut-être administré en face-à-face ou en ligne

Capture de traces d’activités Avoir une application qui permet de tracer les interactions des utilisateurs

Tests utilisateurs Avoir une application sur laquelle on va faire des tests précis Souvent utilisés en IHM, mesure de performance, de précision, erreurs, …

Page 39: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

Page 40: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

MIXER LES METHODES DE PRODUCTION

ETAPES UCD METHODE PRINCIPALE OUTILS DONNÉES

EXPLORER Qualitatives Entretien audio-video

CO-CONSTRUIRE Qualitatives Focus groups audio-video

EVALUER Quantitatives Tests utilisateurs

Mesures et traces

Page 41: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PLAN

Connaissance scientifique ?

Méthode de conduite de la recherche

Méthode de développement

Méthode de production et d’analyse

Méthode de conduite des études

User Centered Design

Qualitatif / Quantitatif

Protocole / Outils/ Passation / Analyse

Page 42: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

METHODE DE CONDUITE DES ETUDES

Page 43: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

EXEMPLE : TEST D’UNE INTERFACE SUR TÉLÉPHONE MOBILE

Connaitre les habitudes sur les habitudes d’utilisation du téléphone mobileEntretien

Réaliser une première tache avec le téléphone mobileMesure de rapidité , de nombre d’erreurs, …

Mesurer l’utilisabilité de l’application Questionnaire d’utilisabilité

Réaliser une seconde tâche avec le téléphone mobileMesure de rapidité , de nombre d’erreurs, …

Mesurer l’utilisabilité de l’application avec la seconde tâcheQuestionnaire d’utilisabilité

DebriefingGrille d’entretien

Page 44: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

EXEMPLE : APPRENTISSAGE DES ÉLÈVES AVEC UN EIAH

Pré test : mesurer les connaissances avant un exercice Questionnaire sur les connaissances

Analyser les comportement des élèves avec l’EIAHCapture des traces d’interaction

Debriefing avec les élèvesFocus-group Questionnaire d’utilisabilité

Post-test : mesurer les connaissances après un exercice Questionnaire sur les connaissances

Post-test lointain : mesurer les connaissances mémoriséesQuestionnaire sur les connaissances

Page 45: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PROTOCOLE D’ETUDE=> SCENARIO à REDIGER

=> Protocole expérimental ou protocole de production et d’analyse des données ou protocole d’étude

=> Recenser l’ensemble des étapes qui vont être conduites pour construire et évaluer la proposition de recherche avec des

utilisateurs

=> Garantir la répétabilité des différentes étapes de l’étude menée

Page 46: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PROTOCOLE D’ETUDE

Quelles questions se poser pour rédiger un protocole ?

Page 47: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PROTOCOLE D’ETUDE

Quel est l’objet qui est concerné par l’étude ?

Peut on le découper en sous-objet ?

Dans quel état de développement se trouve cet objet, ces sous-objets ?

Quels sont les utilisateurs concernés ?

Qu’est ce que je peux leur faire tester ?

Quelles informations j’attends de leur part ?

Quelles mesures je peux prendre ?

Quels outils je dois construire pour les interroger ?

Quels sont les objectifs de l’étude ?

Page 48: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PROTOCOLE D’ETUDE

Quel est l’objet qui est concerné par l’étude ?

Peut on le découper en sous-objet ?

Dans quel état de développement se trouve cet objet, ces sous-objets ?

Quels sont les utilisateurs concernés ?

Qu’est ce que je peux leur faire tester ?

Quelles informations j’attends de leur part ?

Quelles mesures je peux prendre ?

Quels outils je dois construire pour les interroger ?

Quels sont les objectifs de l’étude ?

Choisir les méthodes de production

Page 49: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PROTOCOLE D’ETUDE

A partir de vos travaux, répondez à ces questions et identifiez ensuite les méthodes de production les plus adéquates

Page 50: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PROTOCOLE D’ETUDE

DEBRIEFING

Page 51: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PROTOCOLE D’ETUDE Les rubriques 1/2

• Date, auteurs• Décrire le projet global• Décrire l’instrument produit par la recherche qui doit être construit et/ou évalué • Si besoin essayer d’identifier des composants de cet instrument • Décrire les objectifs de l’étude, autrement dit quelles sont les finalités de l’étude par

rapport à l’instrument et à ses composants • Rédiger les questions et hypothèses auxquelles l’étude doit répondre • Pour chaque question, identifier les mesures à prendre • Lister les phases de l'étude :

• Une phase correspond à une étape pendant laquelle un ou plusieurs composants sont soumis à une étude pour prendre une ou plusieurs mesures et ainsi répondre à des questions ou des hypothèses.

• Un seul des états d’un composant peut être étudié par phase. • Déclaration à la CNIL ?

Page 52: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PROTOCOLE D’ETUDE Les rubriques 2/2

• Pour chaque phase• Objectifs de la phase,• Questions ou hypothèses qui seront abordées,• Composants concernés,• Etat des composants avant l’étude (à explorer, à co-construire, à évaluer),• Etat attendu des composants après l’étude (exploré, co-construit, évalué),• Matériel informatique qui pourra être utilisé (prototype, application, … ),• Autre matériel relatif à la proposition de recherche (maquette,dictionnaire, schéma, …),• Méthode de production de données (entretien, captures de traces, … ),• Matériel expérimental à créer (guide d’entretien, questionnaire, … ),• Matériel technique pour collecter les données (caméra, enregistreur, oculomètre, …)• Lieu de passation (labo, in situ … ),• Type et nombre de participants,• Données collectées (traces, audio, video, … ),• Pré-traitement des données (grille de codage, … ) • Méthodes d’analyse des données

Page 53: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PLAN

Connaissance scientifique ?

Méthode de conduite de la recherche

Méthode de développement

Méthode de production et d’analyse

Méthode de conduite des études

Epistémologie

Design Based research et Design science

User Centered Design

Qualitatif / Quantitatif

Protocole / Outils/ Passation / Analyse

Page 54: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

CONSTRUIRE DES OUTILS DE MESURE

Page 55: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

GUIDE D’ENTRETIEN

Page 56: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ENTRETIEN

Exemple : Etudier les pratiques des ménages par rapport à leur usage de la télévision et de l’usage des télécommandes.

Instrument : une nouvelle télécommande sous forme de prototype => co-construire les fonctionnalités proposées.

Mesures à prendre :

Page 57: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ENTRETIEN

Lister les mesures à prendre

• Pratiques par rapport à la télévision • Fréquence d’utilisation de la télévision• Types de programmes regardés• Usage des télécommandes• Avantages de celles déjà utilisées• Inconvénients de celles déjà utilisées• Améliorations souhaitées• Avis sur la nouvelle télécommande

Organiser les mesures par grands thèmes Perception de la nouvelle télécommande, avantages et inconvénients Usage de la télécommande pour la tv, Opinions sur les télécommandes actuelles , attentes Usage de la télévision et satisfaction

Ordonner les questions Le contexte et l’environnement : Fréquence d’utilisation de la télévision Les points connexes : Utilisation des télécommande de manière générale Les points précis de l’étude : avis sur la nouvelle télécommande

Comment faire ?

Contexte

Eléments connexes

Points précis

Page 58: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ENTRETIENFaire une introduction, sur la raison de l’entretien et comment il va se dérouler

• Il faut présenter au sujet pourquoi nous lui avons demander de participer à cet entretien • En faisant attention à ne pas lui donner trop d’informations qu’il cherchera à valider pour vous faire plaisir pendant l’entretien • lui indiquer les étapes de l’entretien • Lui dire que c’est votre proposition qui est évaluer et pas lui • Lui dire d’exprimer tout ce qu’il a envie de dire par rapport à la proposition

Les questions s’enchainent, pour arriver au point essentiel de l’entretien

• Lors de la passation de l’entretien, l’interviewé peut parfois aborder les différents éléments prévus par la grille sans forcément respecter l’ordre que vous avez prévu

• Peu importe : l’entretien est semi-directif ce sera l’enquêteur de conduire l’entretien sans pour autant être dirigiste. • Laisser le sujet exprimer ses idées même si elles ne sont pas dans l’ordre de la grille. L’enquêteur doit veiller à ce que tous les points soient

abordés.

Lors de la rédaction de la grille : envisager tous les cas de figures. • Si le sujet a parlé la télécommande • Si elle n’en a pas parlé

La grille doit contenir les remarques pour l’enquêteur • ENQUETEUR : Noter tous les objets cités par le sujet • ENQUETEUR : Faire faire un schéma à la personne pour représenter sa télécommande idéale

La grille se termine en demandant les caractéristiques des participants Année de naissance, vous êtes un homme/ une femme, votre profession, niveau d’étude, domaine d’activités, votre type d’habitat, nombre

d’enfants … et toutes informations utiles pour répondre à vos questions.

Comment faire ?

Page 59: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ENTRETIENComment faire ?

Les domaines qui sont abordés sont parfois complexes pour cela deux possibilités non exclusives :

Proposer des constats pour lancer l’entretien

Exemple : pour expliquer ce que l’on définit comme un système d’information parallèle

Dans les systèmes d’informations des grandes organisations, une majorité des acteurs n'est pas satisfaite du fonctionnement de ces applications. En effet, les utilisateurs directs qui constatent souvent un décalage entre leur travail au quotidien et les applications qu'ils manipulent. Souvent, les évolutions successives de ces applications ne permettent pas de répondre à leur demande. Evolutions qui sont rarement cohérentes et très changeantes. Du coup, certains installent (ou même développent) des applications à usage privé (ou équipe), qui finissent par former un système d’information parallèle qui contient un pourcentage considérable des informations vitales pour l’organisation.

Proposer des définitions sur des termes qui ne doivent pas être ambigus

Aujourd’hui, on entend beaucoup parler de réseaux sociaux. Dans notre étude, il s’agit des réseaux de type facebook où chacun est libre de déposer des informations qui le concerne et de les partager avec d’autres personnes. L’utilisateur de facebook peut également créer des groupes de personnes auxquels il réservera certains types d’informations .

Page 60: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ENTRETIENRédiger les questions

Les questions doivent permettre des réponses larges et ouvertes : Vous avez un agenda électronique ? (non) Comment ? Pourquoi ? Qui le fait ? Dans quelles circonstances ? (oui)

Ne jamais suggérer de réponses dans les questions Vous pensez que ce dispositif peut-être utile ? (non) Que pensez vous de ce dispositif ? (oui)

Poser vous les questions à vous-mêmes Que répondriez vous ?

Page 61: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ENTRETIEN VS QUESTIONNAIREGénéralités Doit comporter une introduction, La structuration reste la même du plus global au plus précis, Les modalités des réponses sont définies, à l’exception des questions ouvertes, Les variables sociodémographiques se situent à la fin.

Types de questions Les questions fermées (close-ended question) : les réponses aux questions sont fixées, il n’est pas possible de rajouter des modalités de réponses

Questions numériques Combien de voitures possédez vous ?

Les question semi-ouvertes  (semi-open question): questions pré codées, avec l’option autre qui permet d’ajouter des items de réponse. Quels sont vos sports favoris :

Course à pied Ski Natation Vélo Autres précisez

Les questions ouvertes  (open-ended question) : l’enquêté  répond librement, pas de propositions de réponses a priori.

Page 62: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ENTRETIEN VS QUESTIONNAIRE

Types de questions

Réponse unique sur une échelle de réponse (scale) :

Echelle de Likert (Likert scale)La personne interrogée exprime son degré d'accord ou de désaccord vis-à-vis d'une affirmation. L'échelle contient en général cinq ou sept choix de réponse qui permettent de nuancer le degré d'accord. Pas du tout d'accord, Pas d'accord, Ni en désaccord ni d'accord, D'accord, Tout à fait d'accord. Pour les échelles impaires, le niveau central permet de n'exprimer aucun avis, tandis que les échelles paires (par exemple à quatre modalités) sont dites « à choix forcé ». (5)

Réponse à choix multiples (multiple-choice questions) :

Choix de plusieurs modalités de réponse : (exemple j’utilise mon portable pour 1- Téléphoner 2 - Envoyer des SMS 3- Pour tenir mon agenda, 4-Pour me réveiller, 5- Autres )

À opposer aux questions à choix unique, pas de possibilité de rajouter une modalité de réponse

Réponse avec une demande de classement :

les réponses sont ordonnées selon une préférence ou un ordre d’importance. : Pour le produit XYZ vous classerez les 3 caractéristiques suivantes en partant de ce vous considérez comme son point le plus fort vers son point le plus faible :

Facilité d’utilisation Fiabilité d’utilisation Son prix

Page 63: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ENTRETIEN VS QUESTIONNAIREObjectif : Etude sur la connaissance et l’utilisation des portables.

Deux téléphones doivent être étudiés : ALLO et JECOUTE.

Comparaison des fonctionnalités entre les deux téléphones, au niveau des services offerts en version initiale. Connaître l’utilisation de leur portable Connaître la connaissance de ces deux matériels Mesurer les avantages et les inconvénients, Connaître les perspectives d’utilisations

Entretien auprès de 20 personnes (10 possédant ALLO et 10 possédant JECOUTE), avec un test de matériel les ALLO testeront JECOUTE et les JECOUTE testeront ALLO Une grille d’entretien : Privilégier le spontané, si besoin suggérer des éléments

Rédiger une dizaine de questions Ordonner les questions Comment passer l’idée d’un nouveau téléphone ? Rédiger l’introduction pour le questionnaire

Une enquête en ligne 50% possède ALLO et 50% possède JECOUTE Un questionnaire :

Rédiger une dizaine de questions Quelles questions socio-démo ? Ordonner les questions Comment passer l’idée d’un nouveau téléphone ? Rédiger l’introduction pour le questionnaire

Page 64: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PLAN

Connaissance scientifique ?

Méthode de conduite de la recherche

Méthode de développement

Méthode de production et d’analyse

Méthode de conduite des études

Epistémologie

Design Based research et Design science

User Centered Design

Qualitatif / Quantitatif

Protocole / Outils/ Passation / Analyse

Page 65: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

GRILLE DE PASSATION

Page 66: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

GRILLE DE PASSATIONObjectif : Organiser les différentes étapes d’une phase=> proposition

Lister les hypothèses ou questions : Q1 : le dictionnaire proposé est-il compréhensible par tous ? Q2 :est-il complet ? H1 : la représentation graphique est correcte

OBJECTIF DE L’ÉTAPEHYPOTHÈSE OU

QUESTION CONCERNÉE

ANIMATEUR ACTIVITÉDOCUMENTS ET

MATÉRIELS ASSOCIÉS DONNÉES PRODUITES DURÉE HEURE DÉBUT

HEURE FIN

INTRODUCTION

Paul introduction et tour de table powerpoint de présentation 00:10:00 14:00 14:10

Paul questionnaire sur les pratiques des experts en GL questionnaire n°1 réponse aux

questions 00:10:00 14:10 14:20

Paul Portrait chinois sur la conception en GL

enregistrement audio 00:10:00 14:20 14:30

Jacques présentation d’un outil de conception

powerpoint de présentation

enregistrement audio 00:10:00 14:30 14:40

VALIDER LA TERMINIOLOGUE

UTILISÉE

Q1,Q2 Paullecture du dictionnaire de la terminologie en silence, proposition d’un nouveau mot ou d’une nouvelle définition

dictionnaire et définitions

leurs propositions écrites 00:15:00 14:40 14:55

Q1,Q2 Paul confrontation des propositions enregistrements audio des échanges 00:30:00 15:00 15:30

VALIDER LA REPRÉSENTATION

GRAPHIQUE DES OBJETS

H1 Jacques Montrer les outils graphiques que l’on souhaite utiliser

powerpoint de présentation 00:10:00 15:30 15:40

H1 Jacques Faire jouer un scénario avec ces objets graphiques

les représentations graphiques en papier/stylos/ciseaux colles

les schémas produits et les vidéos 00:30:00 15:40 15:10

H1 Jacques et Paul Debriefing grille d’entretien enregistrements

audio des échanges 00:20:00 15:10 15:30

Page 67: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PASSATION Quelques règles pour passer des entretiens ou des focus groups

• Introduire pourquoi on est là et comment cela va se dérouler

• Ne jamais suggérer les réponses • Prendre des notes • Noter d’autres questions en cours d’entretien sur lesquelles vous pourrez revenir pour relancer l’entretien • Faire des questions ouvertes • Laisser s’installer des silences • Ne reformuler pas • Utiliser le vocabulaire de la personne

• Vous êtes là pour écouter pas pour vous justifier

• vous vous justifierez à la fin, mais laissez la personne dire ce qu’elle veut dire

Page 68: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

SYNTHÈSE A CHAUDUne synthèse même rapidement écrite après un entretien ou une séance de focus group est essentielle, elle permet de gagner du temps lors de l’analyse des données.

Page 69: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PASSATION

Page 70: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

PLAN

Connaissance scientifique ?

Méthode de conduite de la recherche

Méthode de développement

Méthode de production et d’analyse

Méthode de conduite des études

Epistémologie

Design Based research et Design science

User Centered Design

Qualitatif / Quantitatif

Protocole / Outils/ Passation / Analyse

Page 71: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVEEntretien : Analyse thématique simplifiée

Méthode en Sociologie :

Retranscrire les entretiens (1h => 6h)

A partir de la problématique et de la grille d’entretien, créer une grille thématique, A partir de la retranscription des entretiens, identifier les thèmes qui correspondent à la problématique et aussi les thèmes qui émergent

Les thèmes sont larges, il convient de créer des sous-thèmes

Chacun des sous-thèmes est illustré par des verbatims (extraits du discours associé au code du sujet ayant prononcé de discours)

Synthèse pour chaque thème

Synthèse globale

Exemple

Thème « Utilisation de la télévision »

Sous- thèmes de « utilisation de la télévision »« utilisation classique »« utilisation pour télécharger des films »« utilisation pour voir des photos avec des amis »

Thème nouveau « Utilisation que de l’ordinateur »

Verbatim du sous- thème «utilisation pour voir des photos avec des amis »

« c’est pour voir les photos que l’on en fait entre potes (S1) »

Page 72: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVEEntretien : Analyse thématique simplifiée

Méthode en Sociologie :

Retranscrire les entretiens (1h => 6h)

A partir de la problématique et de la grille d’entretien, créer une grille thématique, En écoutant les entretiens, identifier les thèmes qui correspondent à la problématique et aussi les thèmes qui émergent

Les thèmes sont larges, il convient de créer des sous-thèmes

Chacun des sous-thèmes est illustré par des verbatims (extraits du discours associé au code du sujet ayant prononcé de discours)

Synthèse pour chaque thème

Synthèse globale

Exemple

Thème « Utilisation de la télévision »

Sous- thèmes de « utilisation de la télévision »« utilisation classique »« utilisation pour télécharger des films »« utilisation pour voir des photos avec des amis »

Thème nouveau « Utilisation que de l’ordinateur »

Verbatim du sous- thème «utilisation pour voir des photos avec des amis »

« c’est pour voir les photos que l’on en fait entre potes (S1) »

Page 73: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVEEntretien : Analyse thématique simplifiée

Thèmes Catégorie ExempleSuividutravail suividutravaildel'élève "làcaclaque"

"ouhlà,monbonhommeledipoleestpasiden;que"

suividutravaild'unsousgroupe(aumoinsdeux) «Yaquandmêmeuntauximportant…yaquandmêmedéjàtrois

élèvesqui…quilarefontfaitgrillerunedeuxièmefoisquoi»

suividutravaildelaclasse "ilsfonttouslamêmechose""laclasseafini"

Commentaire commentaire,reculsurletravaildel'élève «OuaisdoncAndré,celuiquiavaitdumalquimeLaitlemauvaissens

desrésistances»

commentaire,reculsurletravaild'unsousgroupe(aumoinsdeux) «ilsontpresquetousfermél'interrupteurenpremierpourvoir

commentellefonc;onnaitdéjààlabase»

commentaire,reculsurletravaildelaclasse

Diagnos;c Diagnos;cconnaissancedel'élève "Ouaisluiilacompristoutdesuitequec'étaitlemême"

Diagnos;cconnaissanced'unsousgroupe(aumoinsdeux) "Donconpeutquepourceuxlàçanousdonnevraimentuneindica;on

sur...ouaissurleurconnaissancedesloisetleuru;lisa;onquoi"

Diagnos;cconnaissancedelaclasse

Compréhensionde

l'énoncéetdesconsignes

Compréhensiondel'énoncé c'estlàque,ouaisçapermetdevoirnotammentaussiceuxquiontdes…

desdifficultésdansleslecturesdeconsigne

Respectdesconsignes

caractéris;quesnominalesdelalampe Touteslescaractéris;quesphysiquessontbonnes,yajustelenomqui

est…quiestpasbonquoi

Nomdelalampeindiquéounonparl'élève Touteslescaractéris;quesphysiquessontbonnes,yajustelenomqui

est…quiestpasbonquoi

remarquesduprofsurle

contenudel'exercice

reculduprofsurl'exerciceproposéàl'élève "Cetexerciceesttropdur,finalementlaconsigneestmalposée"

remémora;onsurl'exercice «Alorslerésultatdu3c'estcombien?70?Jesaisplus….95.»,«Les

dipôlesnesontpasiden;ques»

Tâchedesuivifaiteparle

prof

Commentairesurlesuivi «Alorsonvaallervoirlaséancenonl'étape»

logicieletihm Incompréhensionsurcequisepasse "jenecomprendspascequelelogicielm'affiche"jenecomprendspas

cequejevois,lelogicielmeditque"

Commentairessurlelogiciel «Doncçaveutdirequeceuxquiontmisrougeilsontvalidéetonleura

ditquec'étaitfaux.»

u;lisabilité "lac'estpaspra;que","commentjerevienssurlapaged'avant","je

voispasl'ensembledelaclasse"

Autres Autres "ohilfaitchaudici"

Autre Exemple :

Page 74: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVESchéma Créer une grille d’analyse pour savoir ce qui doit être repérer par rapport à la problématique

Photographier chacune des productions

Repérer les ressemblances/les différences entre les représentations

Repérer ce qui confirme les objectifs de l’étude

Repérer les apports de la représentation des sujets par rapport à la proposition

Visionner et écouter les films

Conduire une « analyse thématique simplifiée »

Page 75: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVEVideo

Créer une grille d’analyse pour savoir ce qui doit être repérer par rapport à la problématique.

Utiliser des logiciels d’annotations de video

Analyser les annotations Statistiques descriptivesExtraction de verbatims

Faire une synthèse

Page 76: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVE Points forts et Points faibles

Outil : Grille qui liste les éléments relatifs à une proposition et qui à deux colonnes une pour noter les points forts et l’autre les points faibles

Remarque : Outil de production pour une situation expérimentale où le nombre de personnes est réduit.

Table Number : First and last name :

List the strengths and weaknesses on the following Strengths Weaknesses

the work performed with the method + -the collaborative work enabled with the method + -The creativity enabled with the method + -the serious gaming of the method + -The software compared to card game + -

Exemple :

Page 77: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVE Points forts et Points faibles

Méthode : Saisir l’ensemble des réponses : Ligne=participants, Colonnes = réponse aux questions, 2 colonnes par éléments

Page 78: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVE Points forts et Points faibles

Méthode : Faire une « analyse thématique simplifiée » et une synthèse

Page 79: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUALITATIVE Points forts et Points faibles

Faire l’exercice par groupe avec la grille points forts // points faibles du focus group d’Autrans Jean Philippe Pernin, Christelle Mariais, Florence Michaud et Nadine Mandran

Donner l’article avec la problématique, les études et les résultats et lien aussi sur la thèse de Christelle

Page 80: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUANTITATIVE

Cycle de vie des données => importance du pré-traitement

Echantillon

Type de variables => quali/quanti/ordinales

Rôles des variables => explicatives et à expliquer

Règles de décision sur le choix de la méthode

Page 81: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUANTITATIVE

c

Cycle de vie des données

Préparer l’étude

Préparer la collecte

Collecter les données

Valider les données

Enrichir les données

Analyser les données

Interpréter les résultats

Communiquer les résultats

Page 82: MÉTHODE EXPERIMENTALE POUR LA RECHERCHE …sitere.science/jsesih/2016/presentations/NadineMandran... · 2016-11-09 · N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti MÉTHODE EXPERIMENTALE

N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti

ANALYSE QUANTITATIVE

c

Cycle de vie des données

Préparer l’étude

Préparer la collecte

Collecter les données

Valider les données

Enrichir les données

Analyser les données

Interpréter les résultats

Communiquer les résultats