[논문]뇌신호 주파수 특성을 이용한 CNN 기반 BCI 성능 예측

강재환; 김성희; 윤주상; 김준석

doi:10.3745/ktccs.2020.9.11.265

뇌신호 주파수 특성을 이용한 CNN 기반 BCI 성능 예측
Prediction of the Following BCI Performance by Means of Spectral EEG Characteristics in the Prior Resting State 원문보기

정보처리학회논문지. KIPS transactions on computer and communication systems 컴퓨터 및 통신 시스템, v.9 no.11, 2020년, pp.265 - 272

강재환 (동의대학교 인공지능 그랜드ICT 연구센터) , 김성희 (동의대학교 산업ICT기술공학과) , 윤주상 (동의대학교 산업ICT기술공학과) , 김준석 (동의대학교 산업ICT기술공학과)

초록
AI-Helper

뇌파를 이용한 Brain-computer interface (BCI) 연구에서는 다른 그룹보다 그 성능을 발휘하지 못하는 소위 BCI-illiteracy 그룹이라고 알려진 사용자 집단에 대한 이해와 처리가 중요하다. 본 연구는 사용자로부터 사전 휴지 상태의 뇌파 신호를 미리 측정하고 그 신호로부터 주파수 기반의 특징 변수를 생성하여 이를 피험자 개인의 특성 변수로 사용하고, 추정된 개인 특성 변수를 이용하여 이후 움직임 상상 패러다임이 적용된 BCI 시행의 성능과 어느 정도의 정량적 연관성을 가지며 이를 정확하게 예측할 수 있는지를 밝히고자 하였다. 결과에 대한 신뢰성을 높이기 위해서 검증된 공개 뇌파 데이터베이스를 활용하고 Convolution neural network 기반의 딥러닝 기법을 활용하여 이진 BCI 성능 계산을 실시하였으며 Lasso 정규화가 적용된 선형 회귀 분석을 통해서 각 특징 변수와의 예측 관련성을 조사하였다. 첫 번째로 휴지 상태 뇌파 모든 특징 변수들과 BCI 성능 간의 연관성을 파악하기 위해서 전통적인 통계 방법들을 적용하였고 이를 통해서 전두엽에서 측정된 뇌파 신호들의 13 Hz를 기준으로 이보다 낮은 주파수와 높은 주파수 파워 간의 비율이 BCI 성능 사이와 통계적 유의미한 높은 상관성이 가지고 있다는 사실을 확인할 수 있었다. 이를 근거로 상대 주파수 비율 값이 BCI 성능을 예측해볼 수 있는 좋은 지표 후보군으로 지정하였다. 두 번째로 Lasso를 이용한 회귀 분석을 통해서 휴식 상태의 상대 주파수 비율 변수를 이용하여 BCI 성능 사이에 최대 선형 계수 0.544 수준의 선형 관계를 찾을 수 있었으며, BCI 과제를 잘 시행할 수 있는 그룹과 못할 그룹을 AUC 0.817 수준으로 예측할 수 있었다. 본 연구에서는 각 사용자마다 측정된 휴지 상태의 뇌파로부터 앞으로 있을 BCI 성능을 예측할 수 있는 방법론 제시함으로써 일반인을 대상으로 좀 더 신뢰성 있고 응용 가능한 BCI 시스템 개발에 기여하고자 한다.

Abstract ▼ AI-Helper

In the research of brain computer interface (BCI) technology, one of the big problems encountered is how to deal with some people as called the BCI-illiteracy group who could not control the BCI system. To approach this problem efficiently, we investigated a kind of spectral EEG characteristics in the prior resting state in association with BCI performance in the following BCI tasks. First, spectral powers of EEG signals in the resting state with both eyes-open and eyes-closed conditions were respectively extracted. Second, a convolution neural network (CNN) based binary classifier discriminated the binary motor imagery intention in the BCI task. Both the linear correlation and binary prediction methods confirmed that the spectral EEG characteristics in the prior resting state were highly related to the BCI performance in the following BCI task. Linear regression analysis demonstrated that the relative ratio of the 13 Hz below and above the spectral power in the resting state with only eyes-open, not eyes-closed condition, were significantly correlated with the quantified metrics of the BCI performance (r=0.544). A binary classifier based on the linear regression with L1 regularization method was able to discriminate the high-performance group and low-performance group in the following BCI task by using the spectral-based EEG features in the precedent resting state (AUC=0.817). These results strongly support that the spectral EEG characteristics in the frontal regions during the resting state with eyes-open condition should be used as a good predictor of the following BCI task performance.

주제어

표/그림 (7)

그림 Fig. 1. Timeline of a BCI Paradigm in the EEG Motor/Imagery Database
그림 Fig. 2. An Example of Power Spectral Density of a 2-sec EEG Epoch during the Resting State with Eyes-closed Condition
표 Table 1. Layout of EEGNet Network
그림 Fig. 3. Eight Topographies for the Individual Spectral EEG Characteristics with Significant Statistical Results (P < 0.05 and |r| < 0.3) during the REO Condition
그림 Fig. 4. Mean Square Errors in the Training Set (A) and Test Set (B)
그림 Fig. 5. Mean Square Errors in the Training Set
그림 Fig. 6. (A) An Example of AUC in ROC at the 'All' Condition, (B) Four AUC Values Corresponding to all Individual Conditions, Respectively

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이를 통해 좀 더 새롭고, 높은 BCI 성능을 추정해 그 결과를 다양한 특징 변수들과의 비교, 분석하였다. 두 번째로 자체 데이터베이스 활용이 아니라 100명 이상의 사용자가 참여하고 기존의 여러 연구에서도 활용된 공개된 데이터베이스를 활용해서 결과의 신뢰도를 높이고자 하였다.
본 연구에서는 사전 휴지 상태 동안 측정한 뇌파 신호로부터 주파수 기반의 특징 변수를 생성하고 이를 CNN 이진 분류 기반의 BCI 시행 성능과 비교를 통해 BCI 성능 예측 정도를 정량적으로 조사하였다. 주요 결과로는 단일 절대 주파수 대역 파워 값들 자체로는 좋은 예측 지표를 제시하지는 못하였지만 이들 사이의 각 상대 밴드 파워의 비율 값으로는 차후 BCI 성능을 잘 예측함을 확인하였다.
사전 휴식 상태의 뇌파 특성과 본 BCI 패러다임 성능 간의 연관성을 파악해보기 위해서 우선 REC, REO 조건에서의 모든 뇌파 특징 변수들과 BCI 성능 간의 관련성을 확인해보았다. 즉, 종속 변수는 계산된 각 피험자의 BCI 성능을 나타내는 κ이며 독립 변수는 REO 혹은 REC 상태에서 추출한 56채널의 각 17개 특징 변수들의 총 30개 에폭 평균 혹은 표준편차 값이 이에 해당된다.

제안 방법

첫 번째로 총 17 가지 개별 특징 변수들과 BCI 성능 값 간의 선형 분석을 실시하였고, BCI 성능에 따른 3가지 피험자 그룹 (상/중/하)간 통계적으로 유의미한 차이가 있는지를 비모수 one-way analysis of variance(ANOVA) 방법인 Kruskal-Wallis H-test를 실시하였다. 두번째로, REO, REC 조건의 각 특징 변수를 그 특성에 따라 다음과 같이 4개의 조합으로 묶어서, 이러한 그룹 특징 변수들이 각각 어느 정도 실질적인 BCI 성능을 예측할 수 있는지를 Lasso 정규화가 적용된 선형 회귀 방법을 통해서 확인하였다. 4가지 그룹 특징 변수는 1) 5개 밴드 파워 (θ, α, lβ, hβ, γ), 2) 10개 상대 밴드 파워 비율 (eg, θ/α, lβ/γ, .
성능 평가는 실제로 EEGNet이 계산한 정확률과 선형 분석의 출력값인 각 특징 변수 조건에 따른 예측치 간의 오차인 mean square error (MSE)를 이용하였다. 마지막으로, 최적화된 Lasso 계수들이 실질적으로 얼마나 정확히 BCI 성능그룹을 구분할 수 있는지를 성능 예측 값에 대해 단순 임계치를 적용하여 ‘상’그룹과 ‘하’그룹 간의 이진 분류를 실시하였다. 사용되는 독립 변수 조합은 두 번째 방법에 기술된 4가지 그룹 특징 변수 조건을 따르며 이들에 대한 정량적 결과는 receiver operating characteristic (ROC) 커브의 areaunder curve (AUC)값으로 최종 확인하였다.
분류에 대한 성능은 5-fold 교차 검증방식으로 학습 데이터와 테스트 데이터를 나누어 5번의 테스트 데이터 시행 결과로 얻은 전체 데이터의 정확률을 생성 후 두 가지 BCI 시행성능의 평균값 중에 더 높은 값을 해당 참가자의 최종 BCI 정확률로 설정하였다. 이러한 이유는 본 연구 목적이 개별 참가자들이 내재적으로 가지고 있는 최대 유효 정보가 어느 정도인지 즉, 개인별 최대 정량화에 초점을 맞추었기 때문이다.
마지막으로, 최적화된 Lasso 계수들이 실질적으로 얼마나 정확히 BCI 성능그룹을 구분할 수 있는지를 성능 예측 값에 대해 단순 임계치를 적용하여 ‘상’그룹과 ‘하’그룹 간의 이진 분류를 실시하였다. 사용되는 독립 변수 조합은 두 번째 방법에 기술된 4가지 그룹 특징 변수 조건을 따르며 이들에 대한 정량적 결과는 receiver operating characteristic (ROC) 커브의 areaunder curve (AUC)값으로 최종 확인하였다. 참고로 전반적인 확인을 위한 첫 번째 선형 분석에서는 전체 데이터를 모두 사용하였고, 두 번째 Lasso 회귀분석과 마지막 이진 분류 테스트는 5-fold 교차 검증 방식으로 학습 데이터와 테스트 데이터를 분리하여 학습 데이터를 이용해 Lasso 계수를 선정한 이후 이에 대한 결과는 테스트 데이터 실험으로 검증하였다.
사전 휴지 상태에 해당하는 REO, REC 시행에서 각각 1분간 측정된 뇌파 데이터는 다음과 같이 주파수 분석을 적용하여 주파수 파워 관련한 특징 변수를 추출하였다. 방법으로는 분석의 기본 구간을 2초로 설정하여 하나의 고정된 에폭으로 설정하고 이를 무작위로 30개의 에폭으로 분할한 후, 각 에폭별로 Hamming 윈도우가 적용된 FFT(Fast Fourier transform)방법으로 채널별 주파수 분석을 실시하였다.
예를 들어, Blankertz 등은 REO 상태에서 2분간 좌우측 두정엽 두 지점(C3, C4)에서 측정된 뇌파를 활용하여 차후 BCI 성능의 정도를 정량적으로 추정하고자 한 연구를 시도하였다. 우선 측정 뇌파 신호로부터 아래에 기술된 Equation(1)과 같은 주파수 파워 밀도 (PSD, power spectral density)함수를 추정하고 이후, 움직임 상상을 통한 좌우 이진 BCI 시행을 실시하여 이에 해당하는 BCI 성능을 정량적으로 측정하였다. 추정된 PSD 함수는 Equation (1)과 같이 두 가지요소로 구성되는데, 첫 번째는 뇌파의 1/f 잡음을 모델링 한 g1과 두 번째는 sensorimotor rhythm에 해당하는 두 개의 파워 진폭 피크를 표현하기 위해 정규 함수를 이용하여 모델화 한 g2 함수가 이에 해당된다.
첫 번째로 BCI 성능 측정을 위해서 단순한 선형 기반 분류기가 아닌 convolution neural network (CNN) 기반의 딥러닝 기술을 적용하였다. 이를 통해 좀 더 새롭고, 높은 BCI 성능을 추정해 그 결과를 다양한 특징 변수들과의 비교, 분석하였다. 두 번째로 자체 데이터베이스 활용이 아니라 100명 이상의 사용자가 참여하고 기존의 여러 연구에서도 활용된 공개된 데이터베이스를 활용해서 결과의 신뢰도를 높이고자 하였다.
이후 본 연구에서 관심이 있는 5개의 주요 뇌파 주파수 대역, 즉 쎄타 (θ, 4~8 Hz), 알파 (α, 8~13 Hz), 낮은 베타 (lβ, 13~20 Hz), 높은 베타 (hβ, 20~30 Hz), 감마 (γ, 30~50 Hz) 대역에 해당하는 파워를 각 구간의 주파수 진폭을 평균하여 대푯값으로 정하고 5개의 전체 파워에 각 파워를 나눈 정량화된 파워 값들을 특징 변수로 사용한다. 다음으로, 얻어진 개별 5개의 파워 값들로부터 10개의 가능한 쌍으로 묶어서 이들의 상대 파워 비율 계산 후 특징 변수로 사용한다.
이러한 기존 연구의 한계점을 고려하여 본 연구에서는 다음과 같은 두 가지 목표를 가지고 연구를 진행하였다. 첫 번째로 BCI 성능 측정을 위해서 단순한 선형 기반 분류기가 아닌 convolution neural network (CNN) 기반의 딥러닝 기술을 적용하였다. 이를 통해 좀 더 새롭고, 높은 BCI 성능을 추정해 그 결과를 다양한 특징 변수들과의 비교, 분석하였다.
계산된 BCI 정확률은 다음과 같이 독립된 두 가지 방법으로 가공되어 활용하였다. 첫 번째로 계산된 정확률은 이진 분류에 대한 결과 값이기 때문에 이 값이 통계적으로 어느 정도 정량적 의미를 가지는지 확인하여 전체 참가자를 BCI 성능에 따라 상/중/하 그룹으로 나누었다. 이를 위해서 전체 참가자 수와 몇 개의 클래스로 분류되는지가 정해지면 이에 맞는 유의미한 통계 신뢰 구간을 계산해주는 Muller-Putz 연구의 주장을 따랐다[13].
이번 연구를 통해서 눈을 뜬 상태 휴지 상태의 시험 전 뇌파로 차후의 BCI 시행 성능을 예측해볼 수 있었다. 특히 단순한 선형 분류기 임의 시행 데이터베이스를 벗어나 CNN 기반의 딥러닝 분류 기법과 공개 데이터베이스를 사용하고 교차 검증 방법을 택하여 결과에 대한 신뢰성을 높였다. 그럼에도 불구하고, 기존의 주파수 대역 파워 기반의 특징 변수를 벗어나 SMR-BCI가 아닌 보편적인 뇌파 실험에 대한 성능예측을 위해서도 비선형 지수 활용 등 다양한 특징 변수 연구가 필요할 것으로 보인다.

대상 데이터

본 연구에서는 REO, REC 시행 조건과 움직임 상상에 해당되는 2), 4)번 BCI 패러다임이 적용된 데이터만을 사용하였다. 또한 109명의 피험자 뇌파 데이터 중에 과도한 잡음이 포함된 5명의 데이터를 뺀 104명의 뇌파데이터를 사용하였으며 64채널 중에서 다음과 같은 8개의 채널 (AF7/8, FT7/8, T9/10, Oz, Iz)는 제외하고 56개 채널뇌파만을 사용하였다.
이 데이터베이스는 109명의 사용자가 참가하여 움직임 상상을 기본 BCI 패러다임으로 한 실험을 수행하였는데, 이때 동시에 10-10 international 시스템을 따르는 64채널 뇌파 신호가 160 Hz 샘플링레이트로 수집된 데이터로 구성되어 있다. 모든 참여자의 뇌파 신호는 동일하게 총 14개의 시행에 맞춰 수집되었고, 처음 두 개 시행은 REO, REC 상태에 각각 1분간 측정된 데이터이며 나머지 12개 시행은 4개의 서로 다른 BCI 패러다임이 3번씩 반복된 상태이다. 4개의 BCI 패러다임은 다음과 같다.
1은 움직임과 상상 시행을 할 때 진행되는 시간순서를 보여주고 있다. 본 연구에서는 REO, REC 시행 조건과 움직임 상상에 해당되는 2), 4)번 BCI 패러다임이 적용된 데이터만을 사용하였다. 또한 109명의 피험자 뇌파 데이터 중에 과도한 잡음이 포함된 5명의 데이터를 뺀 104명의 뇌파데이터를 사용하였으며 64채널 중에서 다음과 같은 8개의 채널 (AF7/8, FT7/8, T9/10, Oz, Iz)는 제외하고 56개 채널뇌파만을 사용하였다.
본 연구에서는 2009년에 Physionet에서 공개되어 그동안 수많은 뇌파 신호 분석 및 BCI 알고리즘 연구에 활용되어 온 EEG Motor Movement/Imagery Dataset을 이용하였다[11]. 이 데이터베이스는 109명의 사용자가 참가하여 움직임 상상을 기본 BCI 패러다임으로 한 실험을 수행하였는데, 이때 동시에 10-10 international 시스템을 따르는 64채널 뇌파 신호가 160 Hz 샘플링레이트로 수집된 데이터로 구성되어 있다. 모든 참여자의 뇌파 신호는 동일하게 총 14개의 시행에 맞춰 수집되었고, 처음 두 개 시행은 REO, REC 상태에 각각 1분간 측정된 데이터이며 나머지 12개 시행은 4개의 서로 다른 BCI 패러다임이 3번씩 반복된 상태이다.

데이터처리

2와 같이 각 에폭별로 FFT로 얻은 전체 주파수 분포에 대해서 이 분포에 대한 Shannon 앤트로피와 중간값(Median)에 해당되는 주파수를 구해 역시 특징 변수로 활용한다. 결국, 우리는 각 채널당 총 17가지 특징 벡터를 계산할 수 있었고 최종적으로 REO, REC 상태를 표현하는 특징 변수로 이렇게 계산된 17가지 특징 벡터들의 30개 에폭에 대한 평균값 혹은 표준편차값을 활용하였다.
성능 평가는 실제로 EEGNet이 계산한 정확률과 선형 분석의 출력값인 각 특징 변수 조건에 따른 예측치 간의 오차인 mean square error (MSE)를 이용하였다. 마지막으로, 최적화된 Lasso 계수들이 실질적으로 얼마나 정확히 BCI 성능그룹을 구분할 수 있는지를 성능 예측 값에 대해 단순 임계치를 적용하여 ‘상’그룹과 ‘하’그룹 간의 이진 분류를 실시하였다.
사용되는 독립 변수 조합은 두 번째 방법에 기술된 4가지 그룹 특징 변수 조건을 따르며 이들에 대한 정량적 결과는 receiver operating characteristic (ROC) 커브의 areaunder curve (AUC)값으로 최종 확인하였다. 참고로 전반적인 확인을 위한 첫 번째 선형 분석에서는 전체 데이터를 모두 사용하였고, 두 번째 Lasso 회귀분석과 마지막 이진 분류 테스트는 5-fold 교차 검증 방식으로 학습 데이터와 테스트 데이터를 분리하여 학습 데이터를 이용해 Lasso 계수를 선정한 이후 이에 대한 결과는 테스트 데이터 실험으로 검증하였다.
즉, 종속 변수는 계산된 각 피험자의 BCI 성능을 나타내는 κ이며 독립 변수는 REO 혹은 REC 상태에서 추출한 56채널의 각 17개 특징 변수들의 총 30개 에폭 평균 혹은 표준편차 값이 이에 해당된다. 첫 번째로 총 17 가지 개별 특징 변수들과 BCI 성능 값 간의 선형 분석을 실시하였고, BCI 성능에 따른 3가지 피험자 그룹 (상/중/하)간 통계적으로 유의미한 차이가 있는지를 비모수 one-way analysis of variance(ANOVA) 방법인 Kruskal-Wallis H-test를 실시하였다. 두번째로, REO, REC 조건의 각 특징 변수를 그 특성에 따라 다음과 같이 4개의 조합으로 묶어서, 이러한 그룹 특징 변수들이 각각 어느 정도 실질적인 BCI 성능을 예측할 수 있는지를 Lasso 정규화가 적용된 선형 회귀 방법을 통해서 확인하였다.

이론/모형

EEG Motor Movement/Imagery Dataset의 두 가지 BCI 패러다임 시행에 대한 뇌파 해독은 CNN 기반의 EEGNet 모델을 이용한 이진 분류 방식으로 실시하였다[12]. 우선, EEGNet에 입력값으로 들어온 다중 뇌파 신호는 다음과 같이 각기 다른 기능을 담당하는 세 단계 모듈을 거치면서 최종적인 이진분류를 출력한다.
5를 의미한다. 계산된 κ를 최종 BCI 성능값으로 지정하고 이를 Lasso 회귀 분석에서의 종속 변수로 사용하였다.
사전 휴지 상태에 해당하는 REO, REC 시행에서 각각 1분간 측정된 뇌파 데이터는 다음과 같이 주파수 분석을 적용하여 주파수 파워 관련한 특징 변수를 추출하였다. 방법으로는 분석의 기본 구간을 2초로 설정하여 하나의 고정된 에폭으로 설정하고 이를 무작위로 30개의 에폭으로 분할한 후, 각 에폭별로 Hamming 윈도우가 적용된 FFT(Fast Fourier transform)방법으로 채널별 주파수 분석을 실시하였다.
본 연구에서는 2009년에 Physionet에서 공개되어 그동안 수많은 뇌파 신호 분석 및 BCI 알고리즘 연구에 활용되어 온 EEG Motor Movement/Imagery Dataset을 이용하였다[11]. 이 데이터베이스는 109명의 사용자가 참가하여 움직임 상상을 기본 BCI 패러다임으로 한 실험을 수행하였는데, 이때 동시에 10-10 international 시스템을 따르는 64채널 뇌파 신호가 160 Hz 샘플링레이트로 수집된 데이터로 구성되어 있다.
저자는 개발된 EEGNet 알고리즘의 성능을 잘 알려진 네가지 대표 BCI 데이터베이스에 적용하여 FBCSP를 포함한 기존의 여러 알고리즘 결과들과 비교 분석한 후, 이 모델이 해석가능한 특징 변수 추출과 뇌파 해독 작업에 뛰어난 성능을 보여주고 있다고 발표하였다[12]. 본 연구에서의 BCI 이진 분류는 각 사용자마다 독립적으로 실시하였으며, 이때 EEGNet 각 모듈의 CNN 연산은 배치크기가 15인 배치정규화 방식, 드랍아웃비는 0.2, 활성화 함수는 exponential linear units (ELU)함수를 사용하였다. 손실 함수는 이진 크로스 앤트로피 함수를 사용하였으며 최적화는 adaptive movement estimation(ADAM) 방식을 사용하였다.
2, 활성화 함수는 exponential linear units (ELU)함수를 사용하였다. 손실 함수는 이진 크로스 앤트로피 함수를 사용하였으며 최적화는 adaptive movement estimation(ADAM) 방식을 사용하였다. Table 1은 본 연구에서 사용한 EEGNet 모델 구성과 사용된 파라메터를 보여준다.
첫 번째로 계산된 정확률은 이진 분류에 대한 결과 값이기 때문에 이 값이 통계적으로 어느 정도 정량적 의미를 가지는지 확인하여 전체 참가자를 BCI 성능에 따라 상/중/하 그룹으로 나누었다. 이를 위해서 전체 참가자 수와 몇 개의 클래스로 분류되는지가 정해지면 이에 맞는 유의미한 통계 신뢰 구간을 계산해주는 Muller-Putz 연구의 주장을 따랐다[13]. 본 연구에서는 총 104명의 참가자에 이진 균형 분류이기에 무작위 정확률은 0.
주파수 밴드 파워를 이용한 예측 지수 이외에 Zhang 등은 REO, REC 상태의 뇌파로부터 Welch 방법을 이용한 PSD함수를 구해 0.5~14 Hz 대역 파워 분포에 대한 앤트로피를 계산하여 이를 예측 지수로 활용하였다. 그 결과 REO 상태에서 C3 지점에서의 앤트로피가 선형 계수 0.

성능/효과

4개의 BCI 패러다임은 다음과 같다. 1) 왼쪽 손 혹은 오른쪽 손 실제 움직임, 2) 왼쪽 손 혹은 오른쪽 손 상상 움직임, 3) 양손 혹은 양발 실제 움직임, 4) 양손 혹은 양발 상상 움직임, 이에 해당되는 약 4초간 구간의 뇌파가 시행 구간 사이는 2초간의 휴지 상태가 보장된 상태로 각 조건 별로 약 21회씩 기록되어있다. Fig.
추정된 PSD 함수는 Equation (1)과 같이 두 가지요소로 구성되는데, 첫 번째는 뇌파의 1/f 잡음을 모델링 한 g1과 두 번째는 sensorimotor rhythm에 해당하는 두 개의 파워 진폭 피크를 표현하기 위해 정규 함수를 이용하여 모델화 한 g2 함수가 이에 해당된다. PSD 함수의 하이퍼파라메터를 이용한 예측 지수와 이후 계산된 이진 분류 BCI 성능과의 선형 회귀 분석을 실시하여 이 둘 사이에 선형 계수 0.53 정도의 연관성이 있음을 밝혀, 이를 근거로 휴지 상태 뇌파의 PSD 함수의 계수가 본 BCI 시행의 성능을 추정할 수 있는 하나의 좋은 예측 계수로 활용될 수 있음을 보여주었다[3].
REO, REC 조건에서 추출한 17개의 각 특징 변수와 BCI 성능에 대한 선형 분석과 Kruskal-Wallis H-test를 실시해 본 결과 REC 조건의 평균값, 표준편차와 REO 조건의 표준편차 특징 변수에서는 3가지 BCI 성능 그룹간의 어떠한 통계적 유의미성이 발견되지 않았다 (p>0.05). 하지만 REO 조건의 평균값에서는 몇몇 조건에서 뚜렷한 통계적 유의미성 차이를 보이고 있었다.
사전에 실시한 눈 뜬 상태의 휴지 구간에 전두엽에서 측정된 뇌파의 4~13 Hz 대역 파워와 13~30 Hz 대역 파워의 비율을 얻어내면 CNN 기반의 분류 알고리즘으로 확인한 차후 움직임 상상 기반의 BCI 시행 성능과 높은 선형 상관성이 존재하고 있을 뿐 아니라 이를 이용하여 성능이 높을 그룹과 낮을 그룹을 성공적으로 이진 분류가 가능하였다.
Ahn 등은 Equation (3)과 같이 performance potential factor (PPfactor)라는 BCI 성능 예측 지수를 발표하였는데 이는 REO 상태의 뇌파에서 각각의 가중치가 적용된 알파(α, 8~13 Hz)와 베타 (β, 13~30 Hz) 대역 파워와 쎄타 (θ, 4~8 Hz)와 감마 (γ, 30~70 Hz) 대역 파워의 비로 구성되어있다. 이 PPfactor가 왼손과 오른손 움직임 상상을 구분하는 이진 BCI 시행 성능과 0.59 정도 수준의 선형 관계식을 가지고 있음을 밝혔고[8], 이 연구의 최근 후속 연구에서는 REO 상태뿐만 아니라 REC 상태의 뇌파 특징을 추가하여 선형 계수 0.71의 높은 수준의 선형적 관계를 보이는 BCI 성능 예측지수를 개발하였다는 주장을 발표하였다[9].
왼쪽은 모든 특징 변수를 사용한 조건에서 임계치 변화에 따른 true positive rate (TPR)과 false positive rate (FPR)의 관계를 보여주는 ROC 커브의 예시를 보여준 것이고 오른쪽 바 그래프는 각 특징 변수 조합에 따른 이 ROC 커브의 AUC 값을 나타내고 있다. 이 결과로 확인 가능하듯이 모든 변수를 사용하였을 때가 AUC 값이 0.817로 가장 높았고 그 다음으로 상대 밴드 파워 비율(0.747), Shannon 엔트로피와 중간 주파수 (0.670), 밴드파워 (0.520) 순으로 확인되었다.
이를 확인해보면 전두엽 부위에서 쎄타, 알파와 같은 저주파수 대역과 베타, 감마와 같은 고주파 대역 간 상대 비율에서는 BCI 성능과의 선형 연관성과 BCI 세 가지 성능 그룹 간 차이에 뚜렷한 통계적 의미가 있음을 확인할 수 있었다. 이러한 근거는 Shannon 앤트로피, 중간 주파수 경우에도 역의 관계로 동일하게 표현되는데 결국 BCI를 상대적으로 잘하는 그룹에서는 높은 쎄타, 알파 파워 증가가 일어나 Shannon 앤트로피와 중간 주파수 값이 낮아짐을 확인할 수 있다.
3은 REO 조건에서 유의미한 통계적 차이를 보이고 있는 8개의 특징 변수의 결과를 보여주고 있다. 이를 확인해보면 전두엽 부위에서 쎄타, 알파와 같은 저주파수 대역과 베타, 감마와 같은 고주파 대역 간 상대 비율에서는 BCI 성능과의 선형 연관성과 BCI 세 가지 성능 그룹 간 차이에 뚜렷한 통계적 의미가 있음을 확인할 수 있었다. 이러한 근거는 Shannon 앤트로피, 중간 주파수 경우에도 역의 관계로 동일하게 표현되는데 결국 BCI를 상대적으로 잘하는 그룹에서는 높은 쎄타, 알파 파워 증가가 일어나 Shannon 앤트로피와 중간 주파수 값이 낮아짐을 확인할 수 있다.
이번 연구를 통해서 눈을 뜬 상태 휴지 상태의 시험 전 뇌파로 차후의 BCI 시행 성능을 예측해볼 수 있었다. 특히 단순한 선형 분류기 임의 시행 데이터베이스를 벗어나 CNN 기반의 딥러닝 분류 기법과 공개 데이터베이스를 사용하고 교차 검증 방법을 택하여 결과에 대한 신뢰성을 높였다.
본 연구에서는 사전 휴지 상태 동안 측정한 뇌파 신호로부터 주파수 기반의 특징 변수를 생성하고 이를 CNN 이진 분류 기반의 BCI 시행 성능과 비교를 통해 BCI 성능 예측 정도를 정량적으로 조사하였다. 주요 결과로는 단일 절대 주파수 대역 파워 값들 자체로는 좋은 예측 지표를 제시하지는 못하였지만 이들 사이의 각 상대 밴드 파워의 비율 값으로는 차후 BCI 성능을 잘 예측함을 확인하였다. 특히, 4~13 Hz 범위에 속한 쎄타와 알파 대역과 13~30 Hz 범위에 속한 베타파워 간의 상대 비율은 앞으로 진행될 해당 피험자의 BCI 성능을 예측할 수 있는 매우 중요한 인자로 밝혀졌다.
사용되는 수가 늘어나면 날수록 MSE가 낮아지다가 과적합 발생으로 인한 테스트 데이터에서 MSE 값이 증가하는 전형적인 패턴을 보인다. 특징 변수 간의 성능을 보면 모든 계수를 사용했을 때가 MSE 값이 최소가 되는 가장 좋은 성능을 보이고 있으며 개별 특징 변수로는 상대 파워 비율과 Shannon 앤트로피 중간값 조합이 단순한 절대 밴드 파워 보다 더 좋은 성능을 보이고 있다. 이는 앞서 기술한 선형 분석을 통해 알게 된 전두엽 영역의 낮은 주파수 상대 파워 값 증가가 BCI 성능과 비례관계를 보인다는 동일한 결과를 보인다.
주요 결과로는 단일 절대 주파수 대역 파워 값들 자체로는 좋은 예측 지표를 제시하지는 못하였지만 이들 사이의 각 상대 밴드 파워의 비율 값으로는 차후 BCI 성능을 잘 예측함을 확인하였다. 특히, 4~13 Hz 범위에 속한 쎄타와 알파 대역과 13~30 Hz 범위에 속한 베타파워 간의 상대 비율은 앞으로 진행될 해당 피험자의 BCI 성능을 예측할 수 있는 매우 중요한 인자로 밝혀졌다. 이러한 결과는 과거 연구 결과들과 상당한 부분 일치한다.

후속연구

특히 단순한 선형 분류기 임의 시행 데이터베이스를 벗어나 CNN 기반의 딥러닝 분류 기법과 공개 데이터베이스를 사용하고 교차 검증 방법을 택하여 결과에 대한 신뢰성을 높였다. 그럼에도 불구하고, 기존의 주파수 대역 파워 기반의 특징 변수를 벗어나 SMR-BCI가 아닌 보편적인 뇌파 실험에 대한 성능예측을 위해서도 비선형 지수 활용 등 다양한 특징 변수 연구가 필요할 것으로 보인다.
이러한 선형 기반의 방법론은 효율적이고 실용적이라는 장점이 있지만 사전 예측 지표 발굴이라는 관점에서 보면, 이보다는 더 고차원적인 기법을 통해 사전 뇌파 신호특성과 BCI 성능과의 관계가 더 객관적으로 명확하게 밝혀질 필요가 있다. 두 번째로, 이 역시 자체 목적에 맞는 BCI 응용시스템 개발에는 장점이 있지만, 범용성을 가진 일반적인 BCI 예측 계수 개발에 있어서는 수십 명의 피험자 수는 그 수가 적을 뿐 아니라 수집된 뇌파 데이터가 다른 연구 그룹이나 방법으로 검증되지 못했다는 문제점이 있을 수 있다.

참고문헌 (14)

P. Stegman, C. S. Crawford, M. Andujar, A. Nijholt, and J. E. Gilbert, "Brain-Computer Interface Software: A Review and Discussion," IEEE Transactions on Human-Machine Systems, Vol.50, No.2, pp.101-115, Feb. 2020.

상세보기
C. Vidaurre and B. Blankertz, "Towards a Cure for BCI Illiteracy," Brain Topography, Vol.23, No.2, pp.194-198, Nov. 2009.
B. Blankertz, C. Sannelli, S. Halder, E. M. Hammer, A. Kubler, K.-R. Muller, G. Curio, and T. Dickhaus, "Neurophysiological Predictor of SMR-based BCI Performance," NeuroImage, Vol.51, No.4, pp.1303-1309, Jul. 2010.

상세보기
M. C. Thompson, "Critiquing the Concept of BCI Illiteracy," Science and Engineering Ethics, Vol.25, No.4, pp.1217-1233, Aug. 2018.
C. Jeunet, E. Jahanpour and F. Lotte, "Why Standard Braincomputer Interface (BCI) Training Protocols Should be Changed: an Experimental Study," Journal of Neural Engineering, Vol. 13, No.3, pp.036024, Jun. 2016.

상세보기
A. Bamdadian, C. Guan, K. K. Ang and J. Xu, "The Predictive Role of Pre-cue EEG Rhythms on MI-based BCI Classification Performance," Journal of Neuroscience Methods, Vol.235, pp.138-144, Sep. 2014.

상세보기
E. M. Hammer, S. Halder, B. Blankertz, C. Sannelli, T. Dickhaus, S. Kleih, K.-R. Muller, and A. Kubler, "Psychological Predictors of SMR-BCI Performance," Biological Psychology, Vol.89, No.1, pp.80-86, Jan. 2012.
M. Ahn, H. Cho, S. Ahn, and S. C. Jun, "High Theta and Low Alpha Powers May Be Indicative of BCI-Illiteracy in Motor Imagery," PLoS ONE, Vol.8, No.11, pp.e80886-11, Nov. 2013.

상세보기
M. Kwon, H. Cho, K. Won, M. Ahn, and S. C. Jun, "Use of Both Eyes-Open and Eyes-Closed Resting States May Yield a More Robust Predictor of Motor Imagery BCI Performance," Electronics, Vol.9, No.4, pp.690-14, Apr. 2020.
R. Zhang, P. Xu, R. Chen, F. Li, L. Guo, P. Li, T. Zhang, and D. Yao, "Predicting Inter-session Performance of SMR-Based Brain- Computer Interface Using the Spectral Entropy of Resting-State EEG," Brain Topography, Vol.28, No.5, pp.1-11, Apr. 2015.
G. Schalk, D. J. McFarland, T. Hinterberger, N. Birbaumer, and J. R. Wolpaw, "BCI2000: A General-Purpose BrainComputer Interface (BCI) System," IEEE Transactions on Biomedical Engineering, Vol.51, No.6, pp.1034-1043, Jun. 2004.

상세보기
V. J. Lawhern, A. J. Solon, N. R. Waytowich, S. M. Gordon, C. P. Hung, and B. J. Lance, "EEGNet: A Compact Convolutional Neural Network for EEG-based Brain-computer Interfaces," Journal of Neural Engineering, Vol.15, No.5, pp.056013, Oct. 2018.

상세보기
G. Muller-Putz, R. Scherer, and C. B. I. Journal, 2008, "Better than Random: A Closer Look on BCI Results," International Journal of Bioelectromagnetism, Vol.10, No.1, pp.52-55, Jan. 2008.
J. L. Reichert, S. E. Kober, C. Neuper, and G. Wood, "Resting-state Sensorimotor Rhythm (SMR) Power Predicts the Ability to Up-regulate SMR in an EEG-instrumental Conditioning Paradigm," Clinical Neurophysiology, Vol. 126, No.11, pp.2068-2077, Nov. 2015

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증