뇌전도 기반 뇌-컴퓨터 인터페이스 기술icserv.gist.ac.kr/mis/publications/data/2012/정보와_통신_7월_특집07_1.pdf · Center의 BCI 연구팀에서는 전신마비환자를

UI/UX 편집위원 : 이기혁 (KAIST)

조호현, 전성찬

광주과학기술원

뇌전도 기반 뇌-컴퓨터 인터페이스 기술

요 약

본고에서는 뇌전도 기반 뇌-컴퓨터 인터페이스 기술 (BCI:

brain computer interface)에 대해 소개를 한다. BCI기술에 대

한 전반적인 동작 원리 및 방법들에 대해 소개하고, BCI기술의

상용화를 위해 해결해야 할 기술적 문제들을 바탕으로 국내외

기술 동향과 전망을 알아본다.

Ⅰ. 서 론

BCI(brain computer interface)는 사람과 컴퓨터의 의사소

통 수단으로 뇌의 활동을 직접적으로 반영하는 사용자 인터페

이스(UI: User Interface)이다. 사용자의 뇌 활동에 담겨있는

의도나 상태를 컴퓨터에 전달해서, 사용자가 물리적인 움직임

없이도 컴퓨터에 명령할 수 있게 하거나 컴퓨터가 사용자의 상

태를 파악하고 그에 맞는 정보를 제공 해주는 것이 가능하게 된

다. BCI는 1973년 UCLA 연구팀의Vidal[1]이 처음으로 개념을

언급한 이후, 중증 신체 장애인(루게릭, 척수 손상, 뇌성마비 등

의 환자)을 대상으로 중점적인 연구가 시작되었고[2-4], 영화

‘Matrix’, ‘Avatar’등에 핵심 소재로 소개되기까지 하면서 일반

인에 대한 연구에서 상용화까지 굉장한 관심을 받고 있다. 또한

그 명칭과 정의는 BMI(brain machine interface), BRI(brain

robot interface)로 불리기도 하며 계속해서 더 많은 분야를 포

함하는 개념으로 확장되고 있다[2,5].

최근 뇌과학 기술을 이용해 뇌 세포 활동이나 자율신경계 변

화를 측정하여 소비 심리를 이해하는 뉴로 마케팅이 주목을 받

으며 실제 사용되고 있는 사례들이 나오고 있다[6]. 또한 2008

년 미국 공학한림원에서는 BCI를‘온 인류의 삶의 질 향상을 위

해 해결되어야 할 21세기의 14가지 공학적 도전과제로 선정하

였고, 2000년대 초반 MIT Technology Review와 New York

Times, Business 2.0 등에서도 BCI를 21세기 8대 신기술 중의

하나로 선정하였다[7].

BCI연구분야에서 사용자 뇌 활동을 측정하는 방법으로는 침

습적인 방법과 비침습적인 방법이 있다. 침습적인 방법으로는

두개골을 열고 뇌신경계 활동을 측정하는 spike array방식과

ECoG(electrocorticography) 방식의 연구 결과가 미국을 중심

으로 상당히 진행 되어있다[8]. Spike array 방식은 주로 동물을

대상으로 뇌 피질에 Spike array를 삽입하여 뇌신경계 활동을

측정하며, 일부 연구에서는 사람을 대상으로 시행된 연구 결과

를 선보이기도 했다[9]. ECoG방식은 두개골을 열어 대뇌피질에

전극을 부착해서 뇌신경계 활동을 측정하는 방식으로 이미 미국

에서는 신체 장애인 환자를 대상으로 휠체어/로봇을 제어하거나

컴퓨터 게임을 하는 결과를 선보였다[10]. 비침습적인 방법은 사

용자의 두개골 및 두피 외부에서 뇌신경계 활동을 측정하는 방

식으로, 1900년대 들어 발달된 의료 영상 기법들(X-ray, MRI,

fMRI, PET, SPECT, fNIRS등)로 인해 여러 가지가 있는데, 주

로 뇌전도로 뇌신경계활동을 측정하여 구현된 BCI가 주를 이

루고 있다. 그 이유는 뇌전도(EEG: electroencephalography)

가 뇌 영상화 기술 중에서 공간 해상도는 상대적으로 다른 기술

에 비해 낮지만 가장 저렴하고 인체에 부담도 없으면서 높은 시

간 해상도를 가지기 때문이다. 실시간으로 변화하는 뇌의 활동

을 측정하기에는 인체부담이나 시간 해상도 성능 면, 그리고 상

용화 측면에서 뇌전도가 알맞다[11]. 따라서, 통상의 BCI 연구는

뇌전도 기반 BCI 연구를 주로 이야기한다.

최근 독일에서 개최된 BCI 관련 학회인 TOBI Workshop

2012 (Tools for Brain-Computer Interaction, 2012년 3월

20-22일)에서는 유럽의 핵심 BCI 연구팀(독일의 BBCI, 오스

트리아의 GRAZ, 등), 신체마비 환자 대표, 기업 CEO, 윤리학

자, 들이 모였다. 그들은 실제 사용자를 위한 BCI를 주제로 장

애인들이 연구자들에게 바라는 BCI 시스템, 기업에게 바라는

점과 BCI 기술의 현재 어디까지 왔는지 앞으로 전망에 대해 깊

게 논의하고, 언론 기자들 앞에서 신체마비환자의 BCI기술 데

모를 보여주기도 하였다. 본고에서는 이처럼 BCI가 현재 시점

에서 당면한 기술적인 난제들을 나열하고, 이런 문제들을 바탕

으로 국내외 BCI 기술 동향을 조사하여 정리하였고, 앞으로의

BCI 연구 방향 및 전망을 이야기하고자 한다.

JULY·2012 | 47

Ⅱ. 본 론

1. 뇌전도 기반 BCI시스템 개요

뇌전도는 1929년 독일의 Hans Berger에 의해 처음으로 사람

을 대상으로 측정되었다[12]. 두부내에 같은 방향으로 뻗어있는

수천/수만 뉴런들이 동시에 활성화되어 이온 전류를 발생시키

면, 전자기파가 발생하여 두부밖에서 측정 가능하다. <그림 1>

과 같이 뇌전도 전극(EEG electrode)에는 뉴런군들에서 발생한

전류에 의한 전위차가 연뇌막 (Pia mater) 부터 뇌경막(Dura

mater)과 두개골, 그리고 피부를 거쳐 도달하게 되어 측정되

며, <그림 2>와 같이 국제 규격인 10-20 시스템에 따라 배치된

여러 전극으로부터 뇌전도 데이터를 얻게 된다[13].

이렇게 얻어진 뇌전도 데이터는 <그림 3>과 같이 BCI 시

스템의 입력으로 들어가게 되는데, BCI 시스템은 기계 학습

법(machine learning)의 단계와 비슷하게 크게 훈련 단계

(Calibration Phase)와 시험 단계(Feedback Phase)로 나뉜다

[15].

훈련 단계에서는 사용자로부터 반복된 뇌 신호를 대량으로

측정해서 전처리(Preprocessing)를 통해 불필요한 데이터를

제거하고, 뇌 신호 데이터에 두드러진 특징을 추출(Feature

Extraction)한 다음, 특징적인 뇌 신호를 구별하는 분류기

(Classifier)를 생성한다. 이렇게 생성된 분류기는 시험 단계에

서 실시간으로 들어오는 사용자의 뇌 신호를 분류하고, 분류된

결과는 로봇 팔, 단말기, 휠체어와 같은 어플리케이션의 명령으

로 입력될 수 있으며, 어플리케이션의 피드백을 통해서 사용자

는 자신의 의도가 전달되었음을 확인한다. 대부분의 뇌전도 기

반 BCI 시스템은 이러한 과정을 거치며, 뇌전도로 측정되는 뇌

신호의 종류에 따라 조금씩 다르다. 뇌전도 데이터는 행렬(전

극 수 ×시간 샘플수)형태로 단순하지만 다양한 뇌신경계 활동

이 반영되어 있다. 최근 뇌전도 기반 BCI 연구에서 가장 많이

사용되고 있는 뇌 신호로는 <표 1>과 같이 뇌파(brain wave),

ERP(event related potential), SSEP(steady-state evoked

potential)가 있다[7]. 대표적인 뇌파로는 SMR(sensorimotor

rhythm, 혹은 mu rhythm으로 불림)가 있고, ERP에서는

P300(자극 제시 이후 300ms에서 나타나는 양의 피크)와 Error

Potential, 그리고 SSEP에서는 SSVEP(steady-state visual

evoked potential), SSSEP(steady-state sensory evoked

potential)등이 있다. 이들 이외에도 사용자의 상태, 예를 들면,

집중, 휴식, 놀람, 피로 등의 상태에 따라 나타나는 뇌 신호가

있고, 최근 들어 사용자의 상태를 모니터링하고 실시간으로 해

석해 주는 이른바 ‘passive BCI’연구 가 주목 받고 있다[5].

그림 1. 뇌전도의 측정

(출처: Principles of Cognitive Neuroscience, Figure 3.6)

그림 2. The international 10-20 system

(출처: Bioelectromagnetism[14], Figure 13.2)

그림 3. 뇌전도 기반 BCI 시스템의 개요

48 | 정보와 통신

주제 | 뇌전도 기반 뇌-컴퓨터 인터페이스 기술

1.1 SMR BCI (or Motor Imagery BCI)

SMR BCI혹은 동작 상상 BCI(Motor Imagery BCI)는 주

로 오른손, 왼손, 양발, 혀 동작 상상에 의해 SMR이 감쇄하는

ERD 패턴을 기계 학습적으로 인식하여 신체 어느 동작을 상

상하였는지 구분한다[16]. SMR BCI는 다른 BCI와 달리, 사용

자가 임의로 원하는 조합을 생성할 수 있으며, 움직임을 제어

하는데 직관적이다. 전신마비 환자가 느끼길 마우스 커서가 마

치 자신 몸의 일부인 것처럼 제어가 되었다고 보고한 바가 있

다[23]. 그림 4는 동작 상상 뇌파 특징 추출에서 일반적으로 가

장 많이 쓰이는 CSP(Common Spatial Patterns) 라는 공간 필

터로, 오른손 움직임을 상상할 때 좌반구에서 SMR이 감쇄되는

ERD 패턴이 나타나는 것을 확인 할 수 있다. 실제로 움직임 상

상을 피험자에게 지시하기가 쉽지 않은데, 신경생리학자들의

최근 연구 보고에 따르면 역학적 동작 상상(kinesthetic motor

imagery)을 하는 것이 SMR을 유도하는데 효과적이다[16].

SMR BCI의 한가지 적용 사례를 들면, 미국의 Wadsworth

Center의 BCI 연구팀에서는 전신마비환자를 대상으로 개발한

컴퓨터 마우스 커서 제어가 있겠다[3]. 1991년도에 1차원 적인

움직임을 구현하였고[24], 2008년도에는 2차원 마우스 커서 움

직임[23], 그리고 2010년에는 전신마비 환자의 동작 상상만으

로 3차원 마우스 커서 움직임을 선보였다[25].

1.2 P300 BCI

P300 BCI는 1999년 Nature에 Bribaumer가 ‘A spelling

device for the paralyzed’라는 제목으로 최초로 소개하였다

[4]. 그 원리는 사용자가 주목하는 자극과 주목하지 않는 자극

간에 P300의 차이가 있다는 것에 기초한다[18]. 시각, 청각, 촉

표 1. 뇌전도 기반 뇌-컴퓨터 인터페이스에 사용되는 대표적인 뇌전도 신호의 종류

뇌전도 신호의 종류 설명

뇌파

(brainwave)

SMR

(sensorimotorrhythm)

[16]

-대표적인뇌파로는SMR(sensorimotorrhythm,혹은murhythm으로불림)

-신체의일부를움직일때와움직임을상상할때,해당감각운동피질

(sensorimotorcortex)에서8-12Hz(알파파대역)와18-22Hz(베타파대역)

의뇌신호가감쇄되는현상이일어남

-신호감쇄현상을ERD(Eventrelateddesynchronization)이라고부르고,

감쇄되었다가다시회복되는현상을ERS(Eventrelatedsynchronization)

이라고부름

알파파

(alphawave:8-13Hz)

-눈을감았을때눈에띄게나타남

-휴식상태에나타남

-활동하지않는뉴런의억제제어와관련이있음

베타파

(betawave:13-30Hz)

-기민한상태혹은작업시나타남

-활동적일때,분주할때,불안할때,집중할때나타남

감마파

(gammawave:30-100Hz)

[17]

-서로다른지각정보를통합할때나타남(예를들어,시각적인정보와

청각정보의통합)

-인지했던물체,소리,감각과관련된단기기억의회상시짧게나타남

ERP

(eventrelatedpotential)

P300[18]

-자극제시이후300ms에서측정됨

-의사결정의처리도유도됨

-일반적으로oddballparadigm에의해유도됨

ErrorPotential[19]-사용자가오류를저질렀을때나타나는ERP

-예로들면,사용자가BCI시스템에명령을잘못내린경우관찰됨

SSEP

(steady-stateevokedpotential)

SSVEP

(steady-statevisualevokedpotential)

[20]

-일정한특정주파수를가진섬광자극으로인한자연적인반응으로후

두엽시각피질의뉴런들이그자극과동일한주파수로반응

-모니터화면이나LED를통해자극제시

SSSEP

(steady-statesensoryevoked

potential)[21]

-감각피질의뉴런들이일정한특정주파수의촉각자극과동일한주파수

로반응

-일반적으로진동모터로손가락에자극제시

ASSR

(Auditorysteady-stateresponses)[22]

-청각피질의뉴런들이일정한특정주파수의청각자극과동일한주파수

로반응

그림 4. 오른손 동작 상상에 대한 CSP 필터

JULY·2012 | 49


각 자극에 대해 P300 신호가 모두 발생할 수 있다. SMR BCI는

훈련 단계(Calibration Phase)에서 반복적으로 서로 다른 동

작 상상 뇌전도를 측정하지만, P300 BCI의 경우, 빈번한 자극

속에 특이한 자극을 섞어서 제시하는 oddball paradigm에 따

라 실험을 해야 한다[18]. 그림 5는 P300 BCI에서 가장 많이 쓰

이는 어플리케이션인 P300 타자기(speller)이다. 문자 행렬이

번갈아 가며 번쩍일 때 사용자가 주목한 행과 열에서 발생하는

P300을 감지하여 원하는 문자를 입력할 수 있게 된다.

1.3 SSVEP BCI

SSVEP는 사람의 안구에 일정한 주파수의 섬광 자극을 주게

되면, 후두엽 시각피질의 뉴런들도 그와 동일한 주파수로 반응

하게 되며, 이러한 뇌 활동이 뇌전도를 통해서 측정되게 되는

데, 측정된 뇌전도를 주파수 도메인에서 확인해보면 안구에 제

시한 주파수 값에 피크가 있음을 확인할 수 있다[20]. <그림 6>

과 같이 4가지 심볼을 서로 다른 주파수로 깜빡이며 안구에 자

극을 주게 되면, 4개의 피크가 뇌전도의 주파수 도메인에서 측

정되는데, 원하는 명령을 내리고자 하는 심볼에 집중하게 되

면, 현재 집중하고 있는 심볼의 주파수 피크가 다른 주파수 피

크에 비해 상대적으로 높아지게 된다[20]. 이것은 우리가 시끄

러운 시장 바닥에서 내가 대화하고 있는 가게 주인의 말만 듣

는 것과 마찬가지로, 사용자가 주시하고 있는 심볼의 주파수를

구별하는 것이 가능하다는 것이다. SSVEP BCI는 2000년에

Middendorf 등에 의해 처음으로 소개 되었다[20].

2. BCI 연구가 당면해 있는 문제 및 동향

2.1 BCI 문맹 (BCI illiteracy)

컴퓨터를 못 다루는 사람을 소위 ‘컴맹’이라 부르듯이 BCI 시

스템을 도무지 제어를 못하는 사람이 있다. 이런 부류의 사용자

를 ‘BCI 문맹’이라고 부르는데, 2003년도에 Graz BCI 연구팀

에서 99명을 대상으로 SMR BCI실험을 한 결과, 93%의 피험

자가 30분 가량의 훈련 시간을 가진 이후, 60%가 넘는 정확도

(Classification accuracy)를 보였다[26]. 2008년도에는 독일

의 BBCI(Berlin BCI) 연구팀에서 80명을 대상으로 실험한 결과

15-30%의 사용자가 구분 가능한 뇌파의 특징이 나타나지 않는

다고 한다[14]. 또한 2009년도에 g.tec이라는 오스트리아의 의

료장비업체에서 얼마나 많은 사람이 P300 BCI를 제어 할 수 있

는지 81명의 피험자를 대상으로 조사하였는데, 89%의 피험자

가 80-100%의 정확도를 보였다[27]. 이것은 SMR BCI의 19%

의 피험자가 80-100%의 정확도를 보이는 것과 상당히 비교되

는 결과이다. 본 연구팀에서도 70명으로 대상으로 SMR BCI 실

험을 한 결과, 위의 연구 결과와 같이 23%의 피험자만이 80%

를 넘기는 정확도를 확인하였다[28]. 한편, B. Allison팀이 수

행한 106명의 피험자를 대상으로 SSVEP 실험 결과에 따르면,

SSVEP BCI 문맹은 10% 미만에 해당하는 것으로 보고되었다

[29].

BCI 문맹을 해결할 방법은 2000년 초반부터 지금까지 여전

히 도전과제로 남아있다. 이 문제를 해결하는 방법으로는 대표

적으로 Hybrid BCI[30]와 Co-adaptive BCI[31] 연구가 진행

되고 있다. 또한, 본격적으로 실험에 들어가지 않고 BCI 문맹

을 신경생리학적인 지식을 바탕으로 미리 예측할 수 있는 방법

들이 제안되고 있는데, 대표적으로 독일의 BBCI연구팀에서 제

안한 SMR 예측법(predictor)이 있고[32], 최근에 본 GIST 연

구팀에서 제안한 성능 예측법(performance predictor)이 있다

[33].

Hybrid BCI는 SMR BCI와 SSVEP BCI같이 둘 이상의 명령

패러다임을 동시에 사용하는 BCI로, SMR과 SSVEP의 하이브

리드 형, 본 연구팀에서 연구 중인SMR과 SSSEP의 하이브리드

그림 5. P300 Speller (출처: www.bci2000.org/wiki)

그림 6. SSVEP BCI시연

(출처: TOBI 3rd workshop 2012, 독일 뷔르츠부르크)



형[21], 그리고 SMR과 Error Potential의 하이브리드 형, 등

이 있다[34]. 두 명령 패러다임을 동시에 사용함으로써, 주로

SMR BCI의 부족한 정확도나 신뢰도(reliability)를 SSVEP와

SSSEP신호로 보완하는 방법으로 최근BCI 관련 학회에서 많이

발표 되고 있다. SMR BCI와 ERP BCI를 하이브리드한 방법

은 SMR BCI로 특정 어플리케이션을 제어할 때, 사용자가 실수

를 자각함으로 인해 나타나는 Error Potential을 측정하여, 명

령을 다시 내릴 수 있게 도와, 제어 관점에서의 신뢰도를 높이

는 방법이다[19]. Co-adaptive BCI는 측정된 사용자의 데이터

를 가지고 컴퓨터만 훈련시키는 것이 아니라, BCI 문맹인 사용

자도 자신의 뇌 신호를 훈련하여 제어 정확도를 높이는 방법이

다[31]. 뉴로 피드백(Neurofeedback)과 동일한 방법으로 볼 수

있으며, BCI 문맹을 치료하는 방법으로 주목을 받고 있다[35].

2.2 뇌전도의 비정류성(Non-stationarity)

뇌전도는 일반적으로 다른 뇌영상 장치들에 비해 잡음에 매우

취약하다[36]. 사용자가 뇌전도 측정 시 움직여도 잡음이 발생

하며, 동공 움직임, 눈 깜빡임, 턱 움직임, 뒷목근육 움직임 등이

모두 뇌전도에 영향을 미쳐 잡음으로 나타날 수 있다. 또한 사용

자의 상태에 따라 동일한 사용자 임에도 불구하고, 어제 측정한

데이터와 오늘 측정한 데이터가 서로 다른 패턴을 보이기도 한

다. 이러한 문제를 통틀어 뇌전도의 비정류성 이라고 부른다.

이 문제의 해결책으로는 신호원 국소화 기법[37]과 기계 학

습 기법을 활용한 방법이 제시된 바가 있다[36]. 신호원 국소화

기술은 전극에서 측정된 뇌 신호 데이터의 신호원을 전자기파

의 물리적인 모델을 사용하여 역추적해 냄으로써, 잡음에 자유

로운 정보를 추출하는 것이다[37]. 기계 학습 기법을 이용하는

사례로는 SMR BCI에서 관찰된 사용자의 뇌 신호 데이터로부

터 최적의 공간적인 특징 추출 필터를 학습시킬 때에 잡음에 대

한 정보도 함께 고려하여, 실시간 신호 처리에서 잡음이 발생해

도 강건하게 특징을 추출하는 공간 필터를 만드는 것이다[36].

GIST연구팀에서도 동일한 원리를 활용하여 주파수 적인 정보

와 공간적인 정보, 그리고 잡음에 대한 정보를 동시에 최적화하

여 뇌 신호의 특징을 추출하는 필터를 제안한 사례가 있다[28].

2.3 긴 준비 시간과 훈련 시간

일반적으로 뇌전도 기반 BCI시스템을 사용하려면 뇌전도 모

자를 쓰고, 각 전극을 붙일 장소에 전도성 액체(Gel)를 주입하

고, 전극을 부착한다. 이러한 준비 과정에만 20-30분을 사용

하게 된다. 또한 장시간 뇌전도를 사용하게 되면 전도성 액체

가 말라버려 다시 재정비를 해야 하는 상황도 발생한다. 최근에

는 전도성 액체를 사용하지 않고 측정할 수 있는 뇌전도 전극이

나오는가 하면[38], 사용자 움직임을 자유롭게 할 수 있는 무선

뇌전도 측정 장비가 등장하여 시판되고 있다[39, 40].

뇌전도 측정 준비가 끝났다고 해서, 곧바로 뇌 신호를 이용한

어플리케이션(그림 3의 feedback phase)으로 가지는 못한다.

사용자 마다 조금씩 다른 뇌 신호를 가지고 있기 때문에, 컴퓨

터 혹은 사용자와 컴퓨터 모두 상호 훈련하는 시간이 필요하다.

보통 SMR BCI를 하기 위해서 30분 정도의 훈련 시간이 요구

된다[26]. 이러한 훈련 시간을 줄이기 위한 노력들이 있었는데,

대표적인 방법들 중에는 기계학습 기법을 사용해서 사용자 독

립적인 분류기를 생성하는 방법[31]이 있고, 신호원 국소화 기

법을 이용해서 훈련 시간을 줄이는 방법 [41] 등이 제안된 바 있

으며, 앞에서 언급한 Co-adaptive BCI도 훈련 시간을 줄이는

방법으로 15분 만에 정확도를 80%가 넘는 성능을 낼 수 있다고

보고되었다[31].

2.4 정보 전달률(ITR: Information Transfer Rate)

BCI 시스템의 정보 전달률은 짧은 시간 안에 사용자가 얼마나

많은 명령을 내릴 수 있는가를 정량화한 것이다[3]. 2010년 D.

Plass-Oude Bos, 등이 BCI에 따라 정보 전달률을 수치적으로

비교한 결과를 보고 했다[42]. 그 결과에 따르면, SMR BCI는

28.8(bits/min), P300 BCI는 28.23 (bits/min), SSVEP BCI

는 26.4(bits/min)로 SMR BCI가 가장 높다. 그러나, 근전도의

정보 전달률은 99.6(bits/min)으로 BCI의 정보 전달률은 근전

도에 비해 매우 낮다.

BCI의 정보 전달률을 높이기 위한 방안으로는 Multimodal

BCI가 있다. Multimodal BCI는 사람도 어떤 정보를 기억 할

때, 냄새, 소리 등 여러 가지 감각기관을 통해 들어온 정보를

종합하는 것처럼, 뇌전도 신호 이외에 다른 생체신호를 동시

에 사용하여, 정보 전달률을 높이는 방법이다. BCI와 근전도

를 동시에 사용하는 경우가 일반적이며, 서론에서 이야기한

TOBI workshop에서는 신체마비 환자의 Multimodal BCI 데

모를 시연하였다. 본 GIST 연구팀에서는 앞에서 언급한 SMR

과 SSSEP를 하이브리드 하여 정보 전달률을 높이는 방안과 뇌

전도와 뇌자도(Magnetoencephalography)를 동시에 측정하

여 정보 전달률을 높이는 방안을 연구하고 있다[21, 43]. 또한

fNIRS (근적외선으로 뇌의 혈류 변화를 계측)와 EEG를 동시에

측정하여, 정보 전달률과 정확도, 신뢰도를 높이려는 시도도 있

다[44].

2.5 UI/UX

실제 장애인이나 일반 사용자들이 BCI를 시용하기 위해

서는 그에 맞는 UI/UX 디자인 또한 필수적이다. TOBI 3rd

JULY·2012 | 51


Workshop 2012에서 M. Donegan 교수는 다음과 같은 사항들

을 BCI가 상용화로 가기 위한 인터페이스로써의 중요한 항목으

로 꼽았다:

1) 예측성(prediction)

2) 축약과 확장성(Abbreviation, Expansion)

3) 명확성(Disambiguation)

4) 자판 레이아웃의 사용빈도(Frequency of use keyboard

layout)

5) 심볼이나 문자의 선택(Choice of symbols or text)

이러한 사용자 입장에서 필요한 BCI 시스템 디자인에 따라,

디자인과 공학 기술의 합의점을 찾는 사례가 나타나고 있다. 그

한 예로, 그림6과 같은 UI를 보면 명령 심볼과 게임 화면이 떨

어져 있어, 어색한 느낌을 줄 뿐만 아니라, 명령을 내릴 때 마

다 게임 바깥 화면의 심볼을 주시해야만 한다. 게임 화면 안에

조절 심볼이 들어가 있다면, 명령을 내리는 동안에 게임 화면도

놓치지 않을 수 있을 것이다[45].

3. 뇌전도 기반 BCI의 전망

실시간으로 뇌 신호 해석을 통해서 뇌의 인지적인 활동을 모

니터링 하여 사용자의 인지 상태에 대한 정보를 얻는 접근이 굉

장히 주목 받고 있다. 그러 한 실례로, 3D TV를 볼 때 느끼는

사람의 시각 피로도를 수치적으로 정량화하여 측정하기 위한

도구로 뇌전도를 사용하고 있다. 최근 광운대학교의 이형철 교

수 연구팀이 ERP를 이용하여 P300과 P700의 신호의 지연이

3차원 비디오를 시청할 때 크게 나타난 연구 결과를 발표 하였

으며[46], 독일의 BBCI 그룹에서도 비디오 해상도에 따른 시각

피로도를 정량화 하기 위해, 뇌전도 ERP를 측정하고 기계 학습

기법을 응용하여 뇌 속에서 일어나는 인지적인 요소를 정량화

한 사례가 있다[47]. 이렇게 뇌전도는 뇌의 인지적인 요소를 실

시간으로 관찰해낼 수 있기 때문에, 휴먼 펙터(Human Factor)

로서 새로운 모달리티로 인정받고 있으며, 최근‘passive BCI’

라는 개념이 등장하면서, BCI가 포용하는 스펙트럼이 넓어지

고 있다. ‘passive BCI’는 인지적인 모니터링, 사용자의 의도 정

보 제공, 상황 별 해석, 그리고 최종적으로 감정 상태를 판단하

고 전달하는 좀 더 확장된 BCI 개념을 말한다[5]. HCI 관점에

서 바라본 BCI 조사 자료에 따르면, BCI는 HCI의 다중 모달리

티 상호작용 관점에서 다음과 같은 이유 때문에 무시할 수 없는

하나의 모달리티로 인정 받고 있다고 한다[48]:

1) Error potential을 통해서, 사용자의 실수를 감지하여, 향

상된 사용자 오류 처리(Error Handling)가 가능하게 한다.

2) 주어진 과제 수행 능력(task performance)을 향상 시켜

준다.

3) 사용자 경험을 향상 시켜 준다.

4) 사용자의 스펙트럼을 넓힌다.

Ⅲ. 결 론

본고에서는 뇌전도 기반 BCI의 개요와 대표적인 뇌 신호를 사

용하는 SMR, ERP, SSEP BCI를 대략적으로 살펴보았고, 세계

적으로 BCI가 당면해 있는 큰 문제들을 살펴보면서 연구 동향

을 소개하였다. 미래적으로 BCI기술은 BCI의 확장된 개념과 독

보적인 모달리티로 인정받음으로써 심리학, 경제, 의학, 기계

공학 등의 분야에서 더 많은 관심을 받게 될 것으로 기대된다.

국내 BCI 연구는 아직 초기 단계에 있는 수준이지만, 신호 처리

방법론이나 명령 패러다임에 있어서는 뒤쳐지지 않는다. 앞에

서 이야기 했던 뇌 인지와 관련된 새로운 실험 패러다임을 제시

하거나, 3D TV 시청 시 발생 가능한 시각 피로도 정량화와 같

은 새로운 응용 분야는 충분히 도전할 만하다. 본고를 통해 국

내 연구자들이 세계적인 BCI 연구 현황과 전망을 이해하는데

도움이 되고, 국내 BCI 연구자들의 저변 확대가 이루지기를 기

대한다.

참 고 문 헌

[1] Vidal J. J., “Towards direct brain-computer

communication”, Annual review of Biophysics and

Bioengineering, vol. 2, pp. 157-180, 1973.

[2] Wolpaw J. R., D.J. McFarland, and T.M.

Vaughan, “Brain-computer interface research at

the Wadsworth Center,” IEEE Transactions on

Rehabilitation Engineering, vol. 8, no. 2, pp. 222-

226, 2000.

[3] Wolpaw J.R., Birbaumer N., McFarland D.J.,

Pfurtscheller G., and Vaughan T.M., “Brain-

computer interfaces for communication and control,”

Clinical Neurophysiology, vol. 113, no. 6, pp. 767-

791, 2002.

[4] Birbaumer N., Ghanayim N., Hinterberger T.,

Iversen I., Kotchoubey B., Kübler A., Perelmouter

J., Taub E., Flor H., “A spelling device for the



paralyzed”, Nature, 398, pp. 297-298, 1999.

[5] Zander T. O. and Kothe C., “Towards passive BCI:

applying BCI technology for human–machine

systems in general”, Journal of Neural Engineering,

vol. 8, no. 2, 025005, pp.1-5, 2011.

[6] “지름신 확 깨우는 뉴로 마케팅”, 과학동아 724호 pp. 38-

42, 2010.

[7] 안민규, 전성찬, “뇌-컴퓨터 인터페이스 시스템의 작동 원

리 및 국내외 기술 동향”, 정보과학회지 29권 04호, pp.

42-53, 2011.

[8] Loeb G.E., Allison B.Z., Donchin E., Nascimento

O.F., Heetderks W.J., Nijboer F., Shain W.G.,

Turner J.N., “BCI meeting 2005-workshop on

signals and recording methods”, Neural Systems and

Rehabilitation Engineering, IEEE Transactions on,

vol. 14(2), pp. 138-141, 2006.

[9] MA Nicolelis, “Actions from thoughts”, Nature, vol.

409 no. 6818, pp. 403-407, 2001.

[10] Leuthardt E. C., Schalk G., Wolpaw J. R., Ojemann

J. G., and Moran D. W “A brain–computer interface

using electrocorticographic signals in humans”,

Journal of Neural Engineering, vol. 1, no.2, pp. 63-

71, 2004.

[11] Blankertz B., Dornhege G., Krauledat M., Curio G.,

and Müller K.-R., “The noninvasive Berlin Brain-

Computer Interface: Fast acquisition of effective

performance in untrained subjects,” NeuroImage,

vol. 37, no. 2, pp. 539-550, 2007.

[12] Berger H., “Über das Elektroenkephalogramm des

Menschen”, Arch Psychiatry, vol. 99, no. 6, pp. 555-

574, 1933.

[13] Jasper H. and Penfield W., “Electrocorticograms

in man: Effect of voluntary movement upon the

electrical activity of the precentral gyrus,” Arch.

Psychiatrie Zeitschrift Neurol., vol. 183, pp. 163-174,

1949.

[14] Malmivuo J., Plonsey R., “Bioelectromagnetism:

Principles and Applications of Bioelectric and

Biomagnetic Fields”. Oxford University Press. New

York, Oxford. 1995.

[15] Blankertz B., Tomioka R., Lemm S., Kawanabe M.,

and Müller K.-R., “Optimizing Spatial Filters for

Robust EEG Single-Trial Analysis”, IEEE Signal

Processing Magazine, pp. 41-56, 2008.

[16] Pfurtscheller G., Brunner C., Schlögl A., and Lopes

da Silva F.H., “Mu rhythm (de)synchronization and

EEG single-trial classification of different motor

imagery tasks,” NeuroImage, vol. 31, no. 1, pp. 153-

159, 2006.

[17] Kanayama N., Sato A., Ohira H., "Crossmodal effect

with rubber hand illusion and gamma-band activity".

Psychophysiology, vol. 44, Issue 3, pp. 392-402,

2007.

[18] Donchin E., and Coles M. G. H., “Is the P300

component a manifestation of context updating? “,

Behavioral and Brain Sciences, vol. 11(3), pp. 357-

427, 1988.

[19] Ferrez P. W., and Millan J. del R., “Error-related

EEG potentials generated during simulated brain-

computer interaction”, IEEE Transactions on

Biomedical Engineering, vol. 55, Issue 3, pp. 923929,

2008.

[20] Middendorf M., McMilan G.. Calhoun G., and

Jones K.S., “Brain-Computer Interfaces Based on

the Steady-state Visual-Evoked Response”, IEEE

Transactions on Rehabilitation Engineering., vol. 8,

pp. 211-214, 2000.

[21] Sangtae A., Minkyu A., Hohyun C., and Sung

Chan J., "Comparison between ERD based BCI and

SSSEP based BCI - Feasibility study for hybrid BCI",

Decoder workshop 2012, pp 42. 2012.

[22] Petitot C., Collet L., and Durrant J.D., “Auditory

steady-state responses (ASSR): effects of modulation

and carrier frequencies”, International Journal of

Auiology, vol. 44, no. 10, pp. 567-573, 2005.

[23] Wolpaw J. R., and McFarland D. J., “Control of a

two-dimensional movement signal by a noninvasive

brain–computer interface in humans”, Proceedings

of the National Academy of Sciences of the United

States of America, vol. 101, no. 5, 17849-17854,

2004.

[24] Wolpaw J. R., McFarlanda D. J., Neatb G. W.,

Fornerisa C. A., “An EEG-based brain-computer

interface for cursor control”, Electroencephalography

JULY·2012 | 53


and Clinical Neurophysiology, vol. 78, Issue 3, pp.

252-259, March 1991.

[25] McFarland D. J, Sarnacki W. A., and Wolpaw

J. R, “Electroencephalographic (EEG) control of

three-dimensional movement", Journal of Neural

Engineering, vol. 7, No. 3, 036007, pp. 1-9, 2010.

[26] Guger C., Edlinger G., Harkam W., Niedermayer I.,

and Pfurtscheller G., “How Many People are Able to

Operate an EEG-Based Brain-Computer Interface

(BCI)?”, IEEE transactions on neural systems and

rehabilitation engineering, vol. 11, no. 2, pp. 145-

147, 2003.

[27] Guger C., Daban S., Sellers E., Holzner C., Krausz

G., Carabalona R., Gramatica F., and Edlinger G.,

“How many people are able to control a P300-based

brain–computer interface (BCI)?”, Neuroscience

Letters, vol. 462, pp. 94–98, 2009.

[28] Hohyun C . , M inkyu A . , Sung Chan J . ,

"Electroencephalogram (EEG) Based Brain-Computer

Interface: Invariant Spatio-Spectral Feature

Extraction Algorithm, In Submission

[29] Allison B. Z., Lüth T., Valbuena D., Teymourian A.,

Volosyak I., and Gräser A., “BCI Demographics: How

Many (and What Kinds of) People Can Use an SSVEP

BCI?”, IEEE transactions on neural systems and

rehabilitation engineering, vol. 18, no. 2, pp. 107-

116, 2010.

[30] Pfurtscheller G., Allison B. Z., Brunner C.,

Bauernfeind G., Solis-Escalante T., Scherer R.,

Zander T. O., Mueller-Putz G., Neuper C., and

Birbaumer N., “The Hybrid BCI”, Front Neuroscience.

vol. 4(42), pp. 1-10, 2010.

[31] Vidaurre C., Sannelli C., Müller K.-R. and Blankertz

B., “Co-adaptive calibration to improve BCI

efficiency”, Journal of Neural Engineering, vol. 8,

no. 2, 025009, 2011.

[32] Blankertz B., Sannelli C., Halder S., Eva Hammer M.,

Kübler A., Müller Kl.-R., Curio G., and Dickhaus

T., “Neurophysilogical predictor of SMR-based BCI

performance”, NeuroImage, vol. 51(4), pp. 1303-

1309, 2010.

[33] Minkyu A., Hohyun C., Sangtae A., Sung Chan

J., "Performance Predictor Using the Neuro-

Physiological Factors of an ERD-Based Brain

Computer Interface", In Submission

[34] Mayea A., Zhangb D., Wangc Y., Gaob S., and

Engela A. K., “Multimodal Brain-Computer

Interfaces”, vol. 16(2), pp. 133-139, 2011.

[35] Vidaurre C. and Blankertz B., “Towards a Cure for

BCI Illiteracy”, Brain Topography, vol. 23, pp. 194-

198, 2010.

[36] Blankertz B., Kawanabe M., Tomioka R., Hohlefeld

F., Nikulin V. and Müller K.-R., “Invariant common

spatial patterns: Alleviating nonstationarities in

brain-computer interfacing”, Advances in Neural

Information Processing Systems, vol. 20, 2008.

[37] Minkyu A., Jun Hee H., Sung Chan J., "Feasibility

of Approaches Combining Sensor and Source

Features in Brain Computer Interface", Journal of

Neuroscience Methods, vol. 204, pp. 168-178, 2011.

[38] Babak A. Taheri, Robert T. K., Rosemary

L. S., “A dryelectrode for EEG recording”,

E l e c t r o e n c e p h a l o g r a p h y a n d C l i n i c a l

Neurophysiology, vol. 90(5), pp. 376-383, May 1994.

[39] Gargiulo G., Bifulco P., Calvo R. A., Cesarelli M.,

Jin C., and Schaik A., “A mobile EEG system with

dry electrodes”, Biomedical Circuits and Systems

Conference, BioCAS 2008. IEEE, pp. 273-276, 2008.

[40] http://www.emotiv.com/

[41] Minkyu A., Hohyun C., Sung Chan J., "Calibration

Time Reduction through Source Imaging in Brain

Computer Interface (BCI)", HCI International 2011,

pp. 269-273, 2011.

[42] Plass-Oude Bos D., Reuderink B., Laar B. , Gürkök

H., Mühl C., Poel M., Nijholt A., and Heylen D.,

“Brain-Computer Interfacing and Games”, BRAIN-

COMPUTER INTERFACES Human–Computer

Interaction Series, Part 2, pp. 149-178, 2010.

[43] Minkyu A., Hohyun C., Santae A., Sung Chan

J., "Single Imaging Modalities and Multimodality

in Brain Computer Interface - MEG, EEG, and

Simultaneous MEG/EEG", TOBI 3rd workshop 2012,

pp. 49-50, 2012.

[44] Leamy D. J., Collins R., and Ward T. E., “Combining



fNIRS and EEG to Improve Motor Cortex Activity

Classification during an Imagined Movement-

Based Task”, Foundations of augmented cognition,

directing the future of adaptive systems, Lecture

Notes in Computer Science, vol. 6780/2011, pp. 177-

185, 2011.

[45] Kapeller C., Hinterműller C., Holzner C., Purz V.,

Prűckl R., Guger C., Peer A., Jenke R., Martens

N., Abu-Alqumsam M., and Schauss T., “Usability

of video-overlaying SSVEP based BCIs”, TOBI 3rd

workshop 2012, pp.35-36, 2012.

[46] Hyung-Chul O. L., Junho S., Keetaek K. and

Seunghyun L., “Measurement of 3D Visual Fatigue

using Event-Related Potential (ERP): 3d oddball

paradigm”, 3DTV-CON'08, pp.213-216, 2008.

[47] Scholler S., Bosse S., Treder M. S., Blankertz

B., “Towards a Direct Measure of Video Quality

Perception using EEG”, submitted to IEEE

transactions on image processing, In Submission.

[48] Gürkök H. and Nijholt A., “Brain–Computer

Interfaces for Multimodal Interaction: A Survey

and Principles”, International Journal of Human-

Computer Interaction, vol. 28(5), pp. 292-307, 2012.

약 력

2010년 부경대학교 공학학사

2012년 GIST 공학석사

2012년~ 현재 광주과학기술원 정보통신공학부 박

사과정

관심분야: 뇌-컴퓨터 인터페이스, 기계 학습,

수치 최적화

1991년 KAIST 이학사

1993년 KAIST 이학석사

1998년 KAIST 이학박사

1998년~1999년 KAIST 물리학과 연수연구원

1999년~ 2000년 한국표준과학연구원 초전도그룹

연수연구원

2000년~ 2002년 Post-doc, Dept. of Computer

Science, University of New Mexico,

USA

2002년~ 2004년 Post-doc, Biological &

Quantum Physics Group, Los Alamos

National Lab, USA

2004년~ 2007년 Technical Staff Member,

Applied Modern Physics Group, Los

Alamos National Lab, USA

2007년~ 현재 광주과학기술원 정보통신공학부

조교수

관심분야: 뇌생체신호 처리 및 응용, 뇌파/뇌자도

뇌신호원 국소화, 뇌 피질자극,

다중뇌영상 융합, 의료영상,

대용량/실시간 신호처리

조�호�현

전�성�찬

JULY·2012 | 55


뇌전도 기반 뇌-컴퓨터 인터페이스 기술icserv.gist.ac.kr/mis/publications/data/2012/정보와_통신_7월_특집07_1.pdf · Center의 BCI 연구팀에서는 전신마비환자를

Documents