Diseño y Evaluación de Estímulos Bimodales para Interfaz ...Los registros se realizaron con 8...

Diseño y Evaluación de Estímulos Bimodales para Interfaz

Cerebro Computadora

XVIII Congreso Argentino De Bioingeniería

A A Bonardi1 , J G Gebhart

1, R C Acevedo

1, G G Gentiletti

1,2

1 LIRINS, Facultad de Ingeniería - UNER, Ruta 11 km 10.5, Oro Verde, Argentina

E-mail: [email protected]

Resumen. —En este trabajo se evalúa una nueva modalidad de estímulos para interfaz cerebro

computadoras basadas en el paradigma P300. Se probaron dos configuraciones de estímulos

auditivos, mono-tonales y multi-tonales, que se presentan simultáneamente con estímulos

visuales generando una estimulación bimodal. El efecto de las diversas modalidades de

estimulación sobre el P300 fue evaluada a través del desempeño de máquinas de soporte

vectorial. Las pruebas se realizaron sobre siete sujetos y no se encontraron diferencias

significativas entre los distintos modos de estimulación. No obstante, estos resultados

preliminares permitieron explorar y encontrar una estrategia de aplicación de las máquinas de

soporte vectorial más eficiente.

1. Introducción

El área de las interfaces cerebro computadoras (ICC) constituye hoy día un importante y activo campo

de investigación [1]. En particular, en nuestro laboratorio, se inició desde hace aproximadamente 6

años una línea de investigación sobre el paradigma “oddball” o “P300” para ICC [2]. Dicho paradigma

ha sido ampliamente estudiado y recientemente aceptado como uno de los paradigmas más viables

para el desarrollo de ICC [3]. En trabajos recientes, las ICC basadas en P300, están siendo aplicadas al

control de dispositivos robóticos y sofisticadas sillas de ruedas con la intención de dar autonomía a las

personas que pudieran beneficiarse con esta tecnología [4] [5]. Sin embargo, y a pesar de todo lo

avanzado en estas aplicaciones, todavía es necesario mejorar la eficiencia de las mismas optimizando

diferentes parámetros, tales como la dimensión de la matriz de estimulación [6] y parámetros de la

estimulación.

En el presente trabajo se aborda el desafío de intentar mejorar la tasa de transferencia de información

en nuestra plataforma de ICC y en el caso particular de su aplicación para el comando de una silla de

ruedas autopropulsada e inteligente (SRAI) [4]. Para tal fin se proponen modificaciones sobre la

configuración de la matriz de estimulación y del tipo de estímulos visuales (o incluso auditivos [7]),

hasta ahora utilizados en forma individual (estímulos uni-modales). Se estudia el impacto directo sobre

el desempeño de un clasificador binario del estado del arte, en su capacidad de distinguir entre épocas

de señales de electroencefalografía (EEG) conteniendo respuestas de potenciales relacionados a

eventos (PRE) (clase 1), respecto de señales de EEG sin PRE (clase -1). La modificación que se

propone, no conoce precedentes en aplicaciones de ICC, y consiste en la utilización de estímulos

2 A quien la correspondencia debe ser dirigida.

XVIII Congreso Argentino de Bioingeniería SABI 2011 - VII Jornadas de Ingeniería Clínica Mar del Plata, 28 al 30 de septiembre de 2011

bimodales, estímulos que se presentan al sujeto en forma visual y auditiva simultáneamente. Se

prueban dos configuraciones de estímulos auditivos que combinados con los visuales, generan dos

modalidades de estímulos bimodales. El empleo de estos, en el paradigma P300, se compara contra el

uso convencional de estímulos visuales, uni-modal.

El objetivo que se persigue, es evaluar si el uso de estímulos bimodales, es capaz de generar cambios

en las respuestas P300, o cualquier otro PRE, de manera que éstas sean más fácilmente de detectadas

por los módulos de extracción de características y clasificación, en nuestra plataforma de ICC.

2. Materiales

Los registros se realizaron con 8 electrodos tipo copa bañados en oro con el uso de gel conductor

Ten20. Para el registro se utilizó un electroencefalógrafo GRASS Model 8-18-36, un módulo de

conversión analógico/digital Data Translation ECON Series DT9816, una computadora portátil con

pantalla de 14” y sistema de sonido integrado, dos juegos de auriculares (Philips: SHP1900 y

SHS8000), sistema operativo Microsoft Windows XP SP3, y los software BCI2000 v2.0 [8],

MATLAB 7 y la toolbox EEGLAB [9].

El software BCI2000 es un sistema de propósito general para la investigación en ICC que se ha

convertido en un estándar a nivel mundial. El mismo se obtuvo con licencia de uso libre para fines

académicos, previa firma de un acuerdo de materiales con el Wadsworth Center del New York State

Department of Health. EEGLAB es una toolbox para MATLAB, para el procesamiento de señales de

EEG disponible gratuitamente.

3. Métodos

3.1. Sujetos de experimentación y criterio de inclusión

El estudio se realizó sobre una población de 7 adultos jóvenes (1 mujer y 6 hombres), entre 25 y 29

años de edad.

Los sujetos contaban con sus capacidades cognitivas, auditivas y visuales funcionales.

Se excluyeron los registros que durante su captura sufrieron problemas técnicos como interrupción del

software, desconexión de electrodos, etc.

3.2. Preparación de los sujetos

Con el sujeto sentado en una silla a 50cm de la pantalla de la computadora se procedió a la colocación

de los 8 electrodos en posiciones: Fz, Cz, C3, C4, Oz, Pz, M1 (referencia) y M2 (tierra) según el

sistema internacional 10-20.

Para la colocación se limpió la zona correspondiente del cuero cabelludo con algodón humedecido en

alcohol (para retirar cebo, capas sueltas de piel u otros residuos presentes). Luego se aplicó gel

electrolítico sobre la copa del electrodo y se aplicó el mismo.

Cada 3 electrodos colocados se verificaron las impedancias (con el fin de acotar los tiempos evitando

el cansancio y desgano del sujeto), comprobando que se mantengan por debajo de los 10KΩ.

Se conectaron los terminales de los electrodos al electroencefalógrafo usando la siguiente

configuración: tierra = M1, referencia = M2, canales 1 al 6, respectivamente, Pz, Cz, Oz, Fz, C4 y C3,

todos en configuración unipolar.

Los 6 canales analógicos de salida del electroencefalógrafo se digitalizaron con el conversor DT9816

conectado por puerto USB a la computadora.

Los datos del puerto fueron adquiridos por una aplicación desarrollada por nuestro grupo de

investigación, que se usó como Módulo de Adquisición del BCI2000.

Utilizando el BCI2000, previo a la adquisición, se verificó la presencia del ritmo alfa, artefactos del

pestañeo y artefactos generados por el movimiento ocular rápido, como evidencia de tener una buena

señal de EEG en cada sujeto.

Los sujetos escogieron el tipo de auriculares a utilizar en la prueba y el nivel de volumen del estímulo

auditivo, de manera de garantizar su confortabilidad. Cada sujeto fue entrenado previamente a la


realización del estudio en el uso de la interfaz propuesta, familiarizándolo con los tipos de estímulos.

El proceso de entrenamiento duró alrededor de 5 minutos en todos los sujetos.

3.3. Estimulación

Para la obtención del P300 se utilizaron estímulos visuales y bimodales (visuales y auditivos). Cada

estímulo tuvo una duración de 125ms con un tiempo inter-estímulo variable en forma pseudo-aleatoria

entre valores discretos de 125ms, 250ms y 375ms. El retardo entre el inicio del estímulo auditivo,

respecto del visual, fue medido y pudo ser minimizado a aproximadamente 14ms.

El paradigma presentado consta de tres clases de estímulos: estímulos visuales (SP), bimodales con

estímulos auditivos simples (SPB) (un único tono con orientación espacial) y bimodal con estímulos

auditivos compuestos (SPBM) (múltiples tonos con orientación espacial).

3.3.1. Estímulos Visuales

Los estímulos visuales se presentaron sobre la pantalla de la computadora por el Módulo de

Aplicación del BCI2000, “StimulusPresentation.exe”. Estos estímulos fueron diseñados como una

matriz, de 3x3 elementos, dispuesta en perspectiva donde se animaban aleatoriamente los elementos

de a uno por vez. La matriz utilizada se muestra en la Fig. 1. La animación consistió en el cambio de

color y deformación esférica del elemento. Los elementos están numerados de izquierda a derecha y

de arriba hacia abajo del 1 al 9.

Figura 1. Matriz de decisión utilizada para generar los estímulos visuales, se puede observar la

animación del elemento 4.

3.3.2. Estímulos Auditivos

Los estímulos auditivos fueron presentados con los auriculares por el mismo Módulo de Aplicación

del BCI2000. Estos estímulos consistieron en la reproducción de tonos puros en modo estéreo, canal

derecho e izquierdo. A estos tonos se los sintetizó aplicando una función de transferencia de cabeza

(HRTF) [10] [11], de manera que tuvieran cierta orientación espacial en cuanto a su percepción como

fuente sonora (Sonido 3D).

Para producir estímulos de orientación lateral, ángulo azimut, se asignó menor amplitud al canal

izquierdo, en el caso de los elementos sobre la derecha, y viceversa. Además se aplicó al canal contra-


lateral un retardo de 0,66ms. Este tiempo representa el retardo del sonido para recorrer 20cm, valor

que se adoptó como diámetro de la cabeza del sujeto.

A su vez, para conseguir la sensación auditiva de profundidad, que representa la perspectiva de la

matriz del estímulo visual, se atenuó la amplitud a los tonos que se corresponden a los elementos de la

fila superior, aplicando menor atenuación a los de las filas inferiores. Todos los tonos fueron

modulados con una ventana de Tukey a fin de darle naturalidad al sonido.

Para la configuración de estímulo bimodal con un único tono, se usó una frecuencia de 659HZ. Para el

caso de estímulo bimodal multi-tono se asociaron los siguientes tonos a los elementos de la matriz de

decisión (Código estímulo: Frecuencia): 1:2093Hz; 2:2637Hz; 3:3520Hz; 4:523Hz; 5:659Hz;

6:880Hz; 7:131Hz; 8:165Hz; 9:220Hz, Fig. 2.

Los tonos fueron separados de a dos octavas entre cada fila y se situaron los tonos graves en la fila

inferior ya que suelen relacionárselos con percepción sonora a nivel de suelo.

Figura 2. Tonos asociados a la matriz de decisión en la estimulación bimodal multi-tono.

3.4. Parámetros de acondicionamiento y registro

Los filtros del amplificador se configuraron para una banda de paso entre 0,3 Hz (Pasa-altos) y 35 Hz

(Pasa-bajos). La frecuencia de muestreo fue fijada en 2048Hz.

3.5. Procesamiento de los registros

Se tomaron por cada experimento, los cuatro registros adquiridos en forma continua, se los concatenó

y sub-muestreó a 256Hz, para su posterior almacenamiento. Sobre el registro continuo y concatenado,

se realizó la extracción de épocas, diferenciándolas en épocas con PRE y sin PRE. Así se obtuvieron

180 épocas, por cada canal, con PRE y 1440 épocas sin PRE, para cada sujeto y por cada modalidad

de estimulación.

3.5.1. Extracción de características y generación de patrones

Para esta etapa, se probaron diferentes configuraciones variando los siguientes parámetros: el sub-

muestreo de las épocas en el rango de 3 a 37Hz, tomando 9 valores de frecuencias equi-espaciadas

logarítmicamente y el número de promediaciones, involucrando desde 1 hasta 10 épocas.


Para todas las combinaciones de estos parámetros, se tomaron ventanas temporales entre 0 y 875ms,

luego se concatenaron las características obtenidas por cada uno de los 6 canales, generándose un

único vector de características que define el patrón a utilizar. Finalmente se balancearon los conjuntos

de patrones de cada clase, seleccionando al azar los patrones correspondientes a las épocas sin PRE

(clase -1) para igualar a la cantidad de patrones con PRE (clase 1).

Figura 3. Promedios de épocas con PRE y sin PRE de un canal de cada sujeto. En color azul los

promedios de la experiencia unimodal visual, en color rojo los promedios de la experiencia bimodal

mono-tonal y en verde los promedios de la experiencia bimodal multi-tonal. La flecha indica el inicio

de la estimulación.

3.5.2. Método de validación

Se realizó una validación cruzada de 8 vías, para el conjunto de época única. El número de vías se

extendió hasta transformarse en un esquema de “leave one out” para los patrones obtenidos por

promediaciones de 10 épocas. Notar que debido a la promediación disminuye inversamente la

disponibilidad de patrones en el conjunto de entrenamiento.


Figura 4. Gráfica del porcentaje de aciertos contra tres variabes: frecuencia de sub-muestreo,

promediación de épocas y G del kernel SVM. Se observa una superficie de nivel para un porcentaje

de acierto de 99%.

3.5.3. Clasificación

La clasificación se realizó mediante el uso de máquinas de soporte vectorial (SVM, de su nombre en

inglés). Se utilizó la librería LIBSVM, (modelo C-SVM) con: valores de C (costo de SVM) en el

rango de 16 a 1024, tomando siete valores equi-espaciados logarítmicamente; un kernel de funciones

de base radial, usando valores de G (gama de la función kernel) en el rango 10-4

a 10-1

, tomando ocho

valores equi-espaciados logarítmicamente. Se armó una matriz de 7 dimensiones (7-D) con los

porcentajes de aciertos para todas las combinaciones. Los índices de la matriz 7-D correspondieron

ordenadamente a: 'Sujeto', 'Experimento', 'Frecuencia', 'Promediación', 'SVM cost', 'SVM gama',

'Kfold'.

Por medio de gráficas tridimensionales como las de la Fig. 4 y 5, generadas usando la función slice de

MATLAB, se fue cruzando de a tres variables independientes el porcentaje de aciertos de

clasificación, variable dependiente, expresado en escala de colores. Además, se usaron superficies de

nivel para evidenciar los porcentajes de aciertos de interés. Con este procedimiento se seleccionaron

las combinaciones de parámetros que mostraron mejor desempeño.

Por inspección visual se buscó la frecuencia de sub-muestreo que presentó mejor desempeño para

menor promediación de épocas, sobre los 3 modos de estimulación en todos los sujetos, la cual fue


cercana a los 20Hz, Fig. 4. Con esta frecuencia, se buscaron los valores de G y C de la SVM que

consiguieron la mayor tasa media de aciertos con el menor desvío estándar, por cada sujeto, utilizando

una única época. Los valores encontrados fueron iguales para todos los sujetos, siendo aproximados a

0,002 para G y a 64 para C. Con estos tres parámetros definidos se volvió a realizar la validación para

los distintos promedios de épocas.

Figura 5. Sujeto 6, cubo y superficie de nivel al percentil 95 de las medianas de los porcentajes de

aciertos de la validación cruzada de SVM para época única de estimulación Bimodal Multitonal.

Vistas de los distintos planos del cubo de aciertos.

4. Resultados

En la Fig. 3 se muestran los promedios de épocas con PRE y sin PRE obtenido de uno de los canales

de los 7 sujetos. En todos los casos se observa la presencia de un pico alrededor de los 300ms, lo que

indica la presencia de respuestas P300.


Figura 6. Fila superior: Boxplots de los porcentajes de aciertos (eje de abscisa) de SVM entrenada

con promedios de épocas de 1 a 10 (eje de ordenada). Fila inferior: Boxplots de los porcentajes de

aciertos (eje de abscisa) de SVM entrenada con época única y decisión sobre 1 a 10 épocas (eje de

ordenada). Frecuencia de sub-muestreo de 20Hz, C de SVM de 64, G del núcleo de 2*10-3

y conjuntos

balanceados de épocas. De izquierda a derecha los sujetos del 1 al 6.

Figura 7. Boxplots de los porcentajes de aciertos (eje de abscisa) de SVM entrenada con época única

y decisión sobre 1 a 10 épocas (eje de ordenada) para frecuencia de sub-muestreo de 20Hz, C de SVM

de 64, G del núcleo de 2*10-3

y conjuntos balanceados de épocas. De izquierda a derecha y de arriba

abajo los sujetos del 1 al 7 y en azul SP, en rojo SPB y en verde SPBM.


Se evaluaron dos esquemas de clasificación usando SVM:

En el primer esquema, se entrenaron y probaron los clasificadores usando las SVM con patrones

obtenidos por “n” promediaciones de época única.

En el segundo, se utilizó un comité de “n” SVMs, entrenadas con época única, para decidir

sobre las “n” épocas a clasificar. Los resultados de la validación cruzada para ambas estrategias se

observa en las Fig. 6, que muestra que la segunda estrategia presenta un mejor desempeño.

Esta estrategia de entrenamiento fue probada sobre las tres modalidades de estimulación, esto es,

estímulo visual uni-modal (SP), estímulo bimodal visual-auditivo mono-tonal (SPB) y estímulo

bimodal visual-auditivo multi-tonal (SPB).

En la Fig. 7 se observa el resumen estadístico del desempeño del esquema comité de SVM con los

parámetros elegidos para los distintos modos de estimulación.

5. Conclusiones

No se observan diferencias notables en las gráficas temporales resultantes de los promedios de épocas

de los distintos modos de estimulación Fig. 3.

El método de usar un comité de “n” SVM entrenadas con época única para decidir sobre “n” épocas,

presentó significativos mejores desempeños respecto de la estrategia de entrenar las SVM con

patrones obtenidos por “n” promediaciones de época única, Fig. 6.

Al menos, para los parámetros y las condiciones experimentales planteadas en el presente trabajo, los

resultados preliminares no muestran diferencias significativas en el desempeño de los clasificadores

con respecto a la modalidad de estímulos.

No obstante, estas pruebas nos permitieron explorar y encontrar una estrategia de entrenamiento de las

máquinas de soporte vectorial más eficiente.

Una limitación de este trabajo es el hecho de no haber realizado estímulos uni-modales auditivos, este

modo podría ser una alternativa a los estímulos uni-modales visuales.

Por otra parte, se utilizaron en estas pruebas preliminares, métodos de extracción de características

muy simples, probablemente, usando técnicas complejas se evidenciarían de manera concluyente

posibles diferencias entre las distintas modalidades de estimulación.

6. Referencias

[1] Wolpaw J R et al. 2000 Brain–computer interface technology: a review of the first international

meeting IEEE Trans. Rehab. Eng. 8 164-173

[2] Farwell L A y Donchin E 1988 Talking off the top of your head: toward a mental prosthesis

utilizing event-related brain potencials Electroencephalogr. Clin. Neurophysiol 70 510-523

[3] Guger C et al. 2009 How many people are able to control a P300-based brain–computer

interface (BCI)? Neurosci. Lett. 462 94-98

[4] Gentiletti Faenze G G et al. 2008 Command of a simulated wheelchair on a virtual environment

using a brain-computer interface IRBM 30 218-225

[5] Iturrate I, Antelis J, Kübler A, y Minguez J 2009, A noninvasive brain-actuated wheelchair

based on a P300 neurophysiological protocol and automated navigation IEEE Trans. Robot.

25 614-627

[6] García Cossio E y Gentiletti G G 2008 Interfaz cerebro computadora (ICC) basada en el

potencial relacionado con eventos P300: análisis del efecto de la dimensión de la matriz de

estimulación sobre su desempeño Revista Ingeniería Biomédica 2 26-33

[7] Schreuder E M, Tangermann M and Blankertz B 2009 Initial results of a high-speed spatial

auditory BCI Int J Bioelectromagnetism 11 105-109


[8] Schalk G, McFarland D J, Hinterberger T, Birbaumer N y Wolpaw J R 2004 BCI2000: A

general purpose brain-computer interface (BCI) system IEEE Trans. Biomed. Eng. 51 1034-

1043

[9] Delorme A y Makeig S 2004 EEGLAB: an open source toolbox for analysis of single-trial EEG

dynamics including independent component analysis J. Neurosci. Methods 134 9-21

[10] Phillip Brown C y Duda R O 1998 A structural model for binaural sound synthesis IEEE Trans.

Speech Audio Process 6 476-488

[11] Ralph Algazi V, Duda R O, Duraiswami R, Gumerov N A y Tang Z 2002 Approximating the

head-related transfer function using simple geometric models of the head and torso J. Acoust.

Soc. Am. 112


Diseño y Evaluación de Estímulos Bimodales para Interfaz ...Los registros se realizaron con 8...

Documents

Transcript of Diseño y Evaluación de Estímulos Bimodales para Interfaz ...Los registros se realizaron con 8...