Soutenance mémoire d'ingénieur CNAM de Gaël Duperrey sur la BCI

CONSERVATOIRE NATIONAL DES ARTS ET METIERSCENTRE REGIONAL DE RHONE-ALPES

---Mémoire présenté par

Gaël DUPERREY---

Brain Computer Interaction (BCI)étude des dispositifs, choix, installation et mise en

œuvre d’un ensemble de cas d’étude et leur évaluation

Soutenu le 10 juin 2015---

JURY

PRESIDENT M Christophe PICOULEAU Professeur des Universités CNAM ParisMEMBRES M Bertrand DAVID Professeur des Universités EC Lyon

M René CHALON Maître de conférences EC LyonM Claude GENIER Enseignant CNAM LyonM Franck TARPIN-BERNARD Professeur des Universités Grenoble

Plan• Contexte• Hypothèses• Choix d’un matériel• Expérimentations• Usages• Conclusion

2 / 31

Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

3 / 31

Contexte

• LIRIS (Laboratoire d’InfoRmatique en Image et Systèmes d’information)

• SICAL (Situated Interaction, Collaboration, Adaptation and Learning)• Trois thématiques de recherche :

• EAIH (Environnements Informatiques pour l’Apprentissage Humain)

• IHM (Interfaces Homme-Machine)

• Systèmes interactifs adaptatifs

• Volonté explorer / évaluer nouvelle interaction


4 / 31

Principe de fonctionnement

Source : brainpainting.net


5 / 31

Cartes cognitives

Source : Impact Epilepsy

Source : pinterest.com


6 / 31

Histoire• 1875 : Richard Caton 1er enregistrement

cortex à nu• 1929 : Hans Berger 1er enregistrement sur

cuir chevelu• 1969 : Fetz, Schmidt & Baker : singes

peuvent apprendre à contrôler entraînement par punition / récompenses

• 1980 : Apostolos Gorgopoulos • loi mathématique traduisant direction

déplacement du bras en fonction de l’activité cérébrale

• Mouvement commandé par plusieurs zones du cerveau

• 1990 : Phillip Kennedy : 1ère ICO intracorticale sur un singe

• 1999 : décodage activité cérébrale des chats (Berkeley) : reproduire images vues

Richard CatonSource : svs.kz

Hans BergerSource : archee.qc.ca

Source : Wikipedia


7 / 31

Histoire• 2000 : William H Dobelle : IND semi-

invasive couplée caméra / ordinateur rend la vu à la un aveugle

• 2005 : Matt Nagle : tétraplégique. Commander main artificielle

• 2007/2008 : Kyoto : reconstruire images captées dans le cerveau

• 2014 premier message télépathique entre deux humains

Jens NaumannSource : Wikipedia

Matt NagleSource : quotesays.com

Source : nouvelobs.com


8 / 31

Objectifs / Hypothèses• Universalité

• La BCI fonctionne t-elle avec tout le monde ?• Activons-nous les mêmes zones cérébrales pour les mêmes

activités ?• Pouvons-nous identifier les zones cognitives ?

• Utilisabilité• Reproductibilité

• Peut-on reproduire le fonctionnement dans le temps ?


9 / 31

Types d’Interfaces Neuronales Directes

• Invasives

• Semi-invasives

• Non-invasivesSource : Graimann et al - 2011


10 / 31

Choix du matériel• Investissement initial peu élevé• Contraintes

• Le moins contraignant possible (simple d’utilisation)• Rapidement disponible• Compatible OpenVibe

• Solutions• OpenVibe propose 16 constructeurs

• Choix• Solution sans gel• Amplificateur intégré• Grand public : Neurosky / Emotiv


11 / 31

Emotiv EPOC• EPOC / EPOC + / Insight• Choix : EPOC

• 14 électrodes• Solution saline• WIFI• 2 semaines• 700 $• Applications

• Panneau de contrôle• Kit de développement• Ludiques

Source : Emotiv


12 / 31

Expérimentations• Contraintes

• Début rapide• Projet d’Etude 50 (PE50)• Découverte de la technologie• Ne pas abuser du temps des testeurs

• Choix• Utilisation applications d’Emotiv

• Panneau de contrôle• Démonstration (Montagne aux esprits)

• OpenVibe : Visualisation topographique


13 / 31

Protocole expérimental : 1• Première session

• Premier contact (suite expressive)• Mouvements du cube (suite cognitive)

• Choix des mouvements• Entraînement par paliers

• Démonstration (montagne aux esprits)• Suite cognitive• Questionnaires

• Deuxième session• Reproduire mouvements du cube• Re-entraînement / Re-initialisation• Démonstration• Suite Cognitive• Questionnaires


14/ 31

Extrait d’une expérimentationContexte Choix du MatérielHypothèses Expérimentations ConclusionUsages

Vidéo sur Youtube : https://youtu.be/LJ6iCIroE2c

https://youtu.be/LJ6iCIroE2c

https://youtu.be/LJ6iCIroE2c

Panel utilisateur

• 17 personnes• 14 hommes / 3 femmes

• Membres du PE50• Membres du laboratoire• Des volontaires (Ecole Centrale, EM)

• Origines diverses (France, Chine, Togo)• Classes d’âges variées de 18 à plus de 50 ans)

15 / 31


SUS (System Usability Scale)

• Système normalisé• Comparer des systèmes/interfaces• Evaluation quantitative• 10 questions issues de 50• Echelle de Likert (5 points)

• « pas du tout d’accord (1) » à « Tout à fait d’accord (5) »

• Si on ne sait pas, on répond « 3 »• Méthode de calcul définie• Score sur 100

16 / 31


SUS : Résultats• Score : 62,35

• Minima 35• Maxima 80

• Moyenne générale : 68• Equivalent à un D : ok ou bien

• Echantillon succinct• Plus adapter pour comparer

• Interfaces entres elles• IHM

• Pas pour évaluer une technologie seule

17 / 31


Résultats Impressions• Casque peu confortable• Demande beaucoup de concentration• Frustration facile• Technologie « amusante »• Difficile à appréhender initialement• Applications ludiques plus simples, plus

appréciées• Perspectives :

• Aide au handicap• Jeux vidéo• Contrôle d’appareils

• Remarque : questionnaire trop immature

18 / 31


Résultatsdonnées brutes SUS

• Le score SUS n’étant pas probant, analyse des données brutes

• Répartition des notes

• Problème pour la note 3 suite instructions SUS

• Un autre questionnaire plus adapté serait plus pertinent

19 / 31

• Q2 : Je trouve ce système inutilement complexe.• Q3 : Je pense que ce système est facile

d’utilisation.• Q4 : Je pense que j’aurais besoin d’une assistance

technique pour utiliser ce système.


20 / 31

Protocole expérimental : 2• Suite cognitive

• Pousser / gauche

• Visualisation d’images (16)• Imagination / Visualisation

• Images• Serrer la mâchoire• Mouvements du cube (pousser/gauche)

• Yeux ouverts/fermés

• Panel réduit : 5 personnes• 2 séances : comparaison

des observations


RésultatsNombre d’action / utilisateur

• Maximum de 2 à 4• 4 : association d’expressions faciales

• Optimal de 2• 2/3 des testeurs ont du ré-entrainer• 1/3 a du réinitialiser et entrainer

• Problème sans stimulus• Très peu de réussite dans l’application « Suite

cognitive » d’affichée.21 / 31


Usages actuels et à venir

• Médicaux• Sondages / marketing• Récréatifs• Artistiques• Autres

22 / 31


Médicaux• Imagerie cérébrale

• EEG peut réaliser un premier diagnostic (Brainscope)

• Aide au handicap• Accompagnement santé

• Gestion du stress par détection et diffusion de musique. Neuroplasticité. (myBrain)

23 / 31

Source : BrainScope

Source : myBrain


Récréatif / Artistiques

• Mindflex (Mattel)

• Stillalive : Son of Nor• Supplément d’âme

24 / 31

Source : Mattel

Source : Studio Stillalive


Récréatif / Artistiques• Humain augmenté

• Necomimi

• Shippo

• Lisa Park « Eunoia »

25 / 31Source : Lisa Park

Source : braincorner.com.tw


Evolutions• Domotique

• Commander des appareils• Allumer/Eteindre une machine,• Programmer des cycles…

• Big Data• Stocker profils

• Usage médical• Sondages / Marketing

• Smartcities• Adapter la ville en fonction

des ressentis usagers• Complément d’interaction

avec des mobiliers urbains (Abribus interactif…)

26 / 31

Abribus Interactif de la ville de ParisSource : cio-online.com


Exemple d’application lampe• Actions

• Pousser• Gauche• Serrer la mâchoire

• Limiter à une lampe

• Pour plus, penser menus déroulants offrant des choix• Validation suivant un délai

27 / 31


Limitations de notre projection

• On se limite et on conçoit l’interface en fonction des possibilités• Menus déroulants avec validation de choix• Multimodalité

• Géolocalisation

• Adaptation de notre besoin à la technologie et non l’inverse

28 / 31


Conclusion• Universalité

• Oui, mais…• Degrés de réussite très variés

• Utilisabilité• Oui, mais…

• Pas assez d’actions (vocabulaire)• Latence• faux positifs

• Reproductibilité• Oui, mais…

• Aléatoire suivant publics• Beaucoup d’entrainements nécessaires (manque de naturalité)

19 / 31


Conclusion• Hors handicap, technologie trop immature• Côté ludique plait, mais encore beaucoup de travail• Approches :

• multimodale• Supplément d’âme

• Fonctions cognitives : résolution trop faible (appareil et EEG)• Guide apprentissage / Méthodologie utilisation• OpenEEG / OpenBCI

• Electrodes manquantes pour utiliser plus pleinement OpenVibe et ses démo• Cibler fonction cognitive pour limiter usage à quelques électrodes, à un

signal précis• On perçoit les utilités, possibilités.

30 / 31


Merci de votre attention.

31 / 31

Annexes

Neurosky

Source : Neurosky

Emotiv Insight

Source : Emotiv

ECoGélectrocorticographie

• Électrodes entre la dure-mère et le cortex

Sources : Wikimedia - Wikipedia

Système 10/20

Electrodes Emotiv EPOC

SUS : 10 questions• Q1 : Je pense que je vais utiliser ce système fréquemment• Q2 : Je trouve ce système inutilement complexe• Q3 : Je pense que ce système est facile d’utilisation• Q4 : Je pense que j’aurais besoin d’une assistance technique pour utiliser ce système.• Q5 : Je trouve que les nombreuses fonctions de ce système ont été bien intégrées• Q6 : Je trouve qu’il y a trop d’incohérences dans ce système• Q7 : J’imagine que la plupart des personnes pourrait apprendre à utiliser ce système rapidement• Q8 : J’ai trouvé ce système très lourd à utiliser• Q9 : Je suis très confiant(e) dans l’utilisation de ce système• Q10 : J’ai dû apprendre beaucoup de choses avant de pouvoir faire fonctionner ce système.

SUS : Méthode de calcul• Pour les questions 1, 3, 5, 7 et 9, le score est la

valeur moins 1• Pour les items 2, 4, 6, 8 et 10, le score est 5

moins la valeur• Faire ensuite le total des scores et multiplier

par 2,5 pour obtenir le score SUS qui varie de 0 à 100

SUS : Résultats

SUS : Score / Mercantile / Adjective

Source : uxpajournal.org

Scénario OpenVibe• Temporal filter : 12 Hz à 24 Hz (Bêta)• Simple DSP : x²

Application Puzzle

Soutenance mémoire d'ingénieur CNAM de Gaël Duperrey sur la BCI

Technology

Transcript of Soutenance mémoire d'ingénieur CNAM de Gaël Duperrey sur la BCI