Nadine Mandran PIMLIG, Mars 2012. Les expérimentations / études ◦ Système d’information ◦...

Nadine MandranPIMLIG, Mars 2012

Les expérimentations / études ◦ Système d’information◦ Ingénierie dirigée par les modèles◦ Interface Homme-Machine◦ Environnement informatique pour l’apprentissage humain◦ Les systèmes agents et les avatars ◦ L’apprentissage par renforcement ◦ La géomatique

Les méthodes des SHS et les statistiques supportent la recherche en informatique

Nécessité de créer nos propres méthodes d’investigations

PIMLIG, N.MANDRAN Mars 2012

Expérimenter en informatique ? Le cycle VVV


Claude Bernard, 1813-1878

« un savant complet est celui qui embrasse la théorie et la pratique expérimentale »

1- Il constate un fait2- A propos de ce fait une idée nait dans son esprit3- En vue de cette idée, il raisonne, institue une expérience, en imagine et en réalise les conditions matérielles 4- de ce résultat, résultent de nouveaux phénomènes, qu’il faut observer et ainsi de suite


NUMERIQUE

Expérience

VERBAL

Percevoir l’existence d’un pb

Dégager le pb prioritaire

Déterminer la solution prioritaire

Enregistrer les données et les faits

Formuler

Explorer

Analyser le pb

Analyser les causes

Programmer la solution

Evaluer la solution et ses effets

Capitaliser le « progrès »

Réflexion


Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche »

NUMERIQUE

Expérience

VERBAL





Formuler

Explorer

Analyser le pb

Analyser les causes



Améliorer par le traitement des non conformités

Réflexion



NUMERIQUE

Expérience

VERBAL

Percevoir l’existence d’un pb Dégager le pb

prioritaireDéterminer la solution prioritaire


Formuler

Explorer

Analyser le pb

Analyser les causes



Améliorer par le traitement des problèmes

Réflexion



NUMERIQUE

Expérience

VERBAL





Formuler

Explorer

Analyser le pb

Analyser les causes



Capitaliser le « progrès »

Réflexion



Exprimer



Déterminer la solution « prioritaire »


Formuler le problème

Explorer coté recherche:

Explorer auprès des utilisateurs

Analyser les « idées du terrain »

Co-concevoir et Programmer la solution


Proposer des perspectives

Etat de l’art : recherche, sociétal, industriel

Etude qualitative : entretien focus-group

Séance de co-conception, focus-group

Expérimentation « instrumentée »

Exprimer et Mesurer


A partir des questions ou des hypothèses de recherche

Exploration préalable : Etat de l’art, base brevet, études sociologiques, recensement

Explorer : qualitatif Co-concevoir : qualitatif Evaluer : Quantitatif et qualitatif


Le « Grand public » ◦ pour connaitre l’utilisation qu’ils font d’un logiciel◦ Pour connaitre leurs habitudes et leurs opinions◦ Pour connaitre leur vocabulaire, leurs représentations

Des professeurs, des élèves◦ pour comprendre leur pratiques d’enseignants◦ Pour leur faire évaluer des copies ◦ Pour connaitre leur vocabulaire

Des chirurgiens ◦ pour connaitre les connaissances qu’ils mobilisent pour réaliser une

opération◦ Pour connaitre leur vocabulaire

Des élèves ◦ Pour connaitre l’utilisation qu’ils font d’un logiciel

Des experts en informatiques◦ Pour connaitre leur vocabulaire ◦ Pour leur faire valider des dictionnaires et des représentations


Quoi ? Objectifs ◦ Explorer un domaine ◦ Co concevoir ◦ Evaluation

Sur quoi ? Les enjeux◦ Applications logicielles◦ Des modes d’interactions◦ Des concepts◦ Des méthodes◦ Des langages◦ Des formalismes

Où ? ◦ In vitro ou in situ ◦ (écologique)


Comment ? ◦ Méthodes qualitatives

Entretien individuel Focus group Observation Magicien d’oz, … Des photos, des vidéos , Des schémas

Données produites : Audio, photo, schémas, des carnets de bord, …..

Analyse thématique, carte heuristique, Etude de schéma, …

◦ Méthodes quantitatives Questionnaire quantitatif Tests de produits Captures d’activités, …

Données produites : traces d’activités, réponse à un questionnaire, ….

Analyse de stat classique, analyse séquentielle.

PIMLIG, N.MANDRAN Mars 2012Le plus souvent, mettre en place des méthodes complémentaires

Usages, Utilisation, Pratiques Fréquences, Satisfaction, Besoins, Attentes, Efficacité, utilisabilité, Appropriation, Durée Stratégies d’utilisation, Traces d’activités , …


Problème posé : L’homme a toujours aimé façonné son habitat, en est il de même avec les outils techniques issus des nouvelles technologies

◦ Connaitre l’utilisation des objets du quotidien ?

◦ Connaitre l’aptitude, l’envie des personnes à composer ces outils ?

◦ Imaginer un moyen d’interaction pour composer ces services ?

LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

Qui ? Quelles méthodes ? Où ? Quel matériel ? Quelles données produites ? Données de cadrage ? Combien de personnes ?


Qui ? 18 ménages Comment ?

◦ Une étude des données existantes◦ Rencontre avec les professionnels du secteur◦ Une étude des méthodes d’investigations présentes

dans le domaine : Cultural probes◦ Création d’une méthode appropriée


Une méthode qualitative basée sur une prise de photo et des entretiens ◦ Un questionnaire sur l’utilisation de l’informatique et de la notion du

bricoleur en informatique ◦ Une prise de photo 2 objets dans 5 pièces par les deux personnes du

ménage : Un utile et indispensable Un inutile dont ils ne peuvent se passer

◦ Une discussion sur la raison du choix de ces objets◦ Une application qui choisit au hasard deux objets et les personnes doivent

imaginer qui peut être rendu par cette association

◦


Résultats ◦ 360 idées de services rendus par le couplage d’objets

Analyse statistique sur le lien entre les fonctionnalités intrinsèque des objets et le service rendu

◦ 8 classes de besoins et l’organisation de ces classes Analyse thématique pour faire émerger et synthétiser les types

d’applications à prévoir. Les manques

◦ Pas de vision claire du bricoleur de l’informatique ◦ La composition des services notion de transitivité

◦


Carnet de bord

Cultural Probes

Le magicien d’Oz


Méthodes issues de l’Anthropologie, la Sociologie, la Psychologie, des Sciences cognitives, de la Gestion, du Marketing, ……

IMAGINEZ

Problème SI : Comment faire élaborer de manière collaborative une procédure de travail

Avant : rencontrer les acteurs du processus les uns après les autres => long et fastidieux pour les acteurs et celui qui rédige, de nombreux aller-retour

Après : méthode Isea

PIMLIG, N.MANDRAN Mars 2012 LIG/équipe Sigma

Elaboration, conception et tests par les chercheurs

Tests avec les utilisateurs :

première phase Modification par les

chercheurs

Tests avec les utilisateurs : deuxième

phase

Tests avec les utilisateurs :

troisième phase

Modification par les

chercheurs

Modification par les

chercheursMéthode (T1) et Application

(T2)


Comment : un entretien pour connaitre les acteurs, des focus group pour tester et améliorer la méthode.

LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

Analyses produites

◦ Le premier entretien donne le nom des acteurs et éventuellement des premières pistes

◦ A partir de l’observation du comportement des utilisateurs dans les focus group, recueillir la compréhension de la méthode. (mise à plat de la procédure)

◦ Lors des phases deux et trois, analyser par observation leur niveau de compréhension du graphe BPMN produit et la compréhension de la suite de la méthode. (difficultés sur la procédure, améliorations)


LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

Problème IHM : Une application avec des nouveaux modes d’interaction sur iPhone

Comment : protocole « classique » Un groupe contrôle avec l’application iPhone classique

et un groupe par mode. Environ 10 personnes par mode soit 30 personnes Capture des gestes sur l’interface : temps de

réalisation d’un geste et précision de ce geste Analyse statistique « classique » avec comme

hypothèse : les nouveaux modes d’interactions sont meilleurs en terme de précision et rapidité

Questionnaire sur les habitudes et les usages de l'iPhone avant l’expé

Questionnaire de débriefing sur les perceptions de ces nouveaux modes : utilisabilité Brookes 93 (SUS) , …

LIG/équipe IIHMPIMLIG, N.MANDRAN Mars 2012

Variables de contrôles◦ Genre, signe, âge, spécialité

Facteur expérimental◦ Mode d’interaction : time over, touch over, apple touch

Variables mesurées◦ Les actions : temps de réalisation d’un geste et

précision de ce geste ◦La succession des clics : traces d’activités


Variable dépendantes (à expliquer)◦ En général les variables mesurées

Le type d’actions Le nombres d’actions La précision, …..

◦ Mais aussi de nouvelles variables créées à partir des variables mesurées La durée entre chaque actions

Variable indépendantes (explicatives) ◦ En général, le facteur expérimental

Le type de mode d’interaction

◦ Mais aussi les variables de contrôle Genre, signe, âge, spécialité

◦ Ou de nouvelles variables créées à partir des variables mesurées ou de combinaisons des facteurs expérimentaux ou des variables de contrôles Combinaison genre et Spécialité : « Femme âge < 25 ans », « Femme âge > 25

ans » «Homme âge <25 ans » « Homme âge > 25 ans »


Variable quantitative◦ Mesurable ◦ Ayant une unité, un étalon◦ Le nombre de cette mesure à du sens ◦ Possibilité de faire des opérations mathématiques ou des mises en classes

Exemple : le nombre d’actions, la durée des actions, ◦ Un cas particulier les variables ordinales, les séries chronologiques

Variable qualitative ◦ ne relèvent pas d’un processus comptable ou numérique◦ n’ont pas d’unité de mesures◦ ne sont pas des nombres, si c’est le cas ce nombre n’a pas de sens quantitatif◦ Les valeurs de la variable sont des modalités

Exemple : Genre : 2 modalités Homme et Femme, Diplôme : 3 modalités : inf au bac, bac, bac et plus, Spécialité : informatique, didactique, autre ◦ Possibilité de faire des regroupement de modalités◦ De mettre en classes une quantitative => la rendre qualitative

Variable séquentielle◦ le contenu s’inscrit en séquence : le cas des traces d’activités sur une interface ◦ « time-codée », ou « ordonnés » (ordre des actions, temporalité , fréquence) ◦ associée ou non à des paramètres qui viennent préciser l’action


Datamining …. ?


Production de données

Validation des données

Analyse des données

Interprétation des résultats

Pourquoi ? ◦ Pour étudier sur le long terme des pratiques afin de

concevoir des applications et les évaluer Objet d’étude : Une application pour le suivi des

élèves dans une classe de TP d’électricité, Qui ? Des profs de physiques

Autre objet : Une application pour l’apprentissage de la chirurgie orthopédique ? Qui ? Des chirurgiens, des étudiants en médecine


Explorer : 4 Profs « experts » ◦ Recenser les pratiques des enseignants de Physique◦ Repérer les scénarios pédagogiques utilisés◦ Connaitre les pratiques en termes de suivi d’une classe

Co concevoir une application : 4 Profs « experts » ◦ Faire une maquette, La faire évaluer◦ Proposer un prototype, Le faire évaluer

Evaluer l’application : 15 profs « autres », 15 étudiants ◦ Mesure des pratiques◦ Formation au scénario pédagogique◦ Formation au logiciel◦ Test du logiciel◦ Utilisation => traces d’activités ◦ Questionnaire sur l’utilisabilité

LIG/équipe METAHPIMLIG, N.MANDRAN Mars 2012

Un besoin d’explorer important pour innover dans les recherches en intelligence ambiante

De disposer de méthodes d’investigations Un « coût » différent selon les types d’études

◦ Evaluation : rapide à réaliser, permet des mesures quantifiées plus prisées dans les publications

◦ Exploration et co-conception sont « chronophages »


Problématique de recherche

Etat de l’art

Proposition de recherche Concept – méthode – logiciel

Phase expérimentaleSHS

Analyse des résultats

Publication des résultats

Conception et réalisation d’un prototype

Déploiement, finalisation du prototype

Communication, valorisation

Ecole doctorale . N.Mandran 2011

Nadine Mandran PIMLIG, Mars 2012. Les expérimentations / études ◦ Système d’information ◦...

Documents

Transcript of Nadine Mandran PIMLIG, Mars 2012. Les expérimentations / études ◦ Système d’information ◦...