선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 기존의 연구들은 영문 혹은 자국의 언어에 기반을 두어 연구가 진행돼, 전 세계 언어에 대해 일반화하기 힘들다는 단점이 존재한다. 따라서 본 논문에서는 연구 결과를 한글을 비롯한 다양한 언어에서 사용이 가능하도록 국제음성 기호 (International Phonetic Alphabet)을 기준으로 발음을 제시하고, 이에 의해 발생하는 뇌파를 분류하였다. 4 종류의 단일 모음을 분류하는 실험과 함께, 더 긴 단어 및 어휘의 분류 가능성을 확인하고자 두 글자로 된 모음을 피험자에게 제시하여 한 글자로 된 모음을 제시했을 경우와 어떤 점이 달라지는지 확인하는 실험을 수행하였다.
- 그러나 다른 신체 부위와 달리, 얼굴이나 목의 경우 말 뿐만 아니라, 표정을 짓는 등의 행동을 하므로 노이즈가 발생하기 쉽다. 또 말을 하는 행동에 대한 연구가 아닌 근육 움직임에 의해 발생되는 신호를 연구하게 됨으로써, 본질적으로 언어와 관련된 신호를 습득한다고 보기에 힘들다. 따라서 언어 인식 시스템을 구현하기 위해서는 후자와 같이, 사용자가 언어를 상상할 때 발생하는 신호를 습득하여 분석하는 과정이 필요하다.
- 본 논문에서는 이러한 단점들을 극복한 EEG 기반의 언어인식 시스템을 개발하기 위한 그 기초 단계로서, 국제 음성기호에 기반을 둔 모음 구분 방법에 대한 연구를 진행 하였다. 기존의 연구들은 영문 혹은 자국의 언어에 기반을 두어 연구가 진행돼, 전 세계 언어에 대해 일반화하기 힘들다는 단점이 존재한다.
- 본 논문은 EEG를 이용한 언어인식 시스템을 구현하고자, 그 첫 단계로서, 모음을 인식하는 방법에 대한 연구를 수행하였다. 보다 다양한 언어에 적용하기 위하여 특정한 언어에 종속적으로 연구가 진행되었던 기존 방식과 달리, 국제음성기호에 기반을 두어 뇌파 신호를 추출하였으므로, 다양한 언어에 적용할 수 있다.
제안 방법
- 따라서 본 논문에서는 연구 결과를 한글을 비롯한 다양한 언어에서 사용이 가능하도록 국제음성 기호 (International Phonetic Alphabet)을 기준으로 발음을 제시하고, 이에 의해 발생하는 뇌파를 분류하였다. 4 종류의 단일 모음을 분류하는 실험과 함께, 더 긴 단어 및 어휘의 분류 가능성을 확인하고자 두 글자로 된 모음을 피험자에게 제시하여 한 글자로 된 모음을 제시했을 경우와 어떤 점이 달라지는지 확인하는 실험을 수행하였다.
- 두 번째 실험단계에서는 두 개의 연속된 모음을 하나의 단일 모음에서 습득한 특징 벡터를 이용해 분류 가능한가에 대한 실험이었다. 가능성을 확인하기 위해서 두 개의 단일 모음 벡터들을 이용하여 SVM을 학습시키고, 연속된 두 개의 모음 데이터를 0.1초 단위로 나누어 학습된 SVM을 이용해 분류를 한다. 이러한 과정을 통해서, 특정 시간과 특징 벡터가 유의미하게 관계가 있음을 확인할 수 있으면, 연속된 언어상상이라도 시간별로 나누어 분석하는 것을 통해 단일 모음의 집합으로 바꾸어 볼 수 있을 것이다.
- 데이터 특징 추출 과정에서 특징 벡터가 너무 커지거나 작아지지 않도록 특징 벡터를 normalize하는 과정을 거치도록 하였다. 각각의 차원에서 가장 큰 값으로 나눈 후, 가장 작은 값과 가장 큰 값이 –30부터 30까지의 값 사이에 매핑될 수 잇도록 하였다.
- 두 번째 실험단계에서는 두 개의 연속된 모음을 하나의 단일 모음에서 습득한 특징 벡터를 이용해 분류 가능한가에 대한 실험이었다. 가능성을 확인하기 위해서 두 개의 단일 모음 벡터들을 이용하여 SVM을 학습시키고, 연속된 두 개의 모음 데이터를 0.
- 따라서 분류는 /a/, /i/, /u/, /o/ 중 두 개씩 선택하여 수행되었으므로, 총 6개의 분류 결과를 얻을 수 있었다. 또한 SVM 알고리즘이 학습에 의해 진행되고 최적화 문제를 푸는 과정이 포함되어 있어 항상 같은 결과를 얻을 수 없고 지역 최적해에 수렴하는 경우가 발생하므로, SVM알고리즘을 10회 반복하여 평균 분류 결과를 이용하였다.
- 또 cross validation을 이용하면 작은 크기의 데이터에서도 높은 분류 결과를 얻을 수 있다. 본 논문에서는 주어진 데이터를 5-fold하여 SVM 알고리즘을 수행하였다.
- 모든 피험자들은 오른손잡이이며, 이전에 운동심상과 관련된 BCI 실험에 참여한 적이 있다. 실험 중에 피험자들은 의자에 편안한 자세로 앉아, LCD 모니터 화면을 응시하도록 하였으며, 발음을 할 때 얼굴의 움직임을 제외한 기타 움직임들은 최소화 하도록 하였다. 실험 진행 중에 피험자는 피드백을 받지 않도록 하였고, 신호의 분석은 모든 습득과정이 끝난 후, 오프라인에서 이루어 졌다.
- 두 번째 단계의 실험에서는 연속된 두 개의 모음이 단일 모음에서 얻어진 특징을 이용해 표현이 가능한지에 대한 여부를 확인하는 것이었다. 실험을 수행한 네 종류의 모음/ao/, /ui/, /oa/, /iu/를 각각 /a/와 /o/, /u/와 /i/, /o/와 /a/, 그리고 /i/와 /u/에서 얻어진 특징 벡터로 학습한 SVM을 이용해 0.1초 단위로 분류를 수행하였다. 그림 4는 두 번째 단계의 실험 결과를 보여준다.
- 두 번째 과정에서는 그림 1의 아래와 같이, 첫번째 실험 과정의 패러다임을 그대로 사용하되, 제시하는 두 개의 모음을 피험자에게 제시하였다. 이때 사용한 모음은 /ao/, /ui/, /oa/, /iu/의 네 종류로, 피험자가 제시된 모음에서 특별한 심상을 떠올리지 않도록 한국어에서 의미를 갖지 않는 모음 조합을 사용하여 실험을 진행하였다. 이번 과정 역시, 임의 순서대로 자극이 제시되었으며, 각 자극은 6번 등장하였다.
- 모음이 화면에 표시되는 동안 피험자는 화면에 나타난 문자를 말하는 상상을 수행한다. 첫 번째 제시된 모음은 사용자의 학습과 집중력 향상을 위해 제시되었으며, 피험자들이 통일된 발음을 상상하는 것을 유도하기 위하여 표준음성과 같이 제시되도록 하였다. 한 번의 실험동안 모음은 4종류의 모음중 임의의 순서대로 각 9번씩 등장하게 되며, 총 5번의 실험을 수행해 뇌파를 습득하였다.
- 특징 추출된 데이터의 차원이 32이므로, 최적화된 EEG 신호 분류를 하기위하여, 몇 차원의 고유벡터를 사용해야되는지 찾기 위해 1부터 32까지 특징 벡터의 차원을 변화시켜가며, 그 분류 정확도를 확인하였다. 결과는 그림 3에서 보이는 바와 같다.
- 뇌파신호를 습득하기 위해 사용한 장비는 NeuroScan사의 Stim2와 Synamps2이고, 신호 처리 및 분석에는 같은 회사의 Curry7과 MathWorks의 Matlab을 사용하였다. 피험자의 두피에 접촉하는 전극은 international 10-20 system을 따르는 64채널 cap을 사용하여 측정되었으며, 추가로 5개의 전극을 배치해 눈의 깜빡임 등에서 발생하는 잡음을 제거하였다.
- 첫 번째 제시된 모음은 사용자의 학습과 집중력 향상을 위해 제시되었으며, 피험자들이 통일된 발음을 상상하는 것을 유도하기 위하여 표준음성과 같이 제시되도록 하였다. 한 번의 실험동안 모음은 4종류의 모음중 임의의 순서대로 각 9번씩 등장하게 되며, 총 5번의 실험을 수행해 뇌파를 습득하였다. 결과적으로 각 모음별로 145개의 데이터를 사용하게 되고, 전체 실험 데이터는 580개가 된다.
- 또, 실험의 첫 번째 단계에서 분류를 수행할 때 SVM 알고리즘이 사용되었다. 현재 multi class 데이터에 적용하기 위한 SVM 알고리즘 연구가 진행되고 있으나, 선도적인 방법이 없기 때문에 두 개의 클래스에 대해서 분류가 가능한 일반적인 SVM을 선택하여 분류를 수행하였다. 따라서 분류는 /a/, /i/, /u/, /o/ 중 두 개씩 선택하여 수행되었으므로, 총 6개의 분류 결과를 얻을 수 있었다.
대상 데이터
- 한 번의 실험동안 모음은 4종류의 모음중 임의의 순서대로 각 9번씩 등장하게 되며, 총 5번의 실험을 수행해 뇌파를 습득하였다. 결과적으로 각 모음별로 145개의 데이터를 사용하게 되고, 전체 실험 데이터는 580개가 된다. 두 번째 과정에서는 그림 1의 아래와 같이, 첫번째 실험 과정의 패러다임을 그대로 사용하되, 제시하는 두 개의 모음을 피험자에게 제시하였다.
- 총 실험을 4회 반복하여 데이터를 습득하였다. 따라서 모음 자극별 72개의 데이터를 얻었으며, 총 실험 데이터의 개수는 288개이다. 실험에 사용된 전극은 64채널 cap을 사용하여 피험자의 모든 영역에서 뇌파를 습득하였고, Curry7을 이용해 언어 및 사고와 관련된 브로카 영역 및 전두엽을 포함한 32개의 전극만을 선택, 사용하였다.
- /u/, /o/ 네 개의 모음을 사용하였다. 만 25세에서 27세 연령대의 세 명의 건장한 남성 피험자를 대상으로 뇌파를 수집하는 실험이 진행되었다. 모든 피험자들은 오른손잡이이며, 이전에 운동심상과 관련된 BCI 실험에 참여한 적이 있다.
- 특징 벡터의 차원이 높을수록, 계산량이 증가하여 시스템 구현에 어려움이 있기에, 적당한 범위 내에서 특징 공간의 차원을 결정해야할 것이다. 본 논문에서는 80 % 이상의 분류 성공률을 보인 11차원의 데이터를 사용했다. 이때의 분류 성공률을 표 1에서 확인 할 수 있다.
- 따라서 모음 자극별 72개의 데이터를 얻었으며, 총 실험 데이터의 개수는 288개이다. 실험에 사용된 전극은 64채널 cap을 사용하여 피험자의 모든 영역에서 뇌파를 습득하였고, Curry7을 이용해 언어 및 사고와 관련된 브로카 영역 및 전두엽을 포함한 32개의 전극만을 선택, 사용하였다. 분석에는 자극이 주어지고 난 후 첫 1초 동안의 데이터를 이용하였다.
이론/모형
- EEG 신호에서 특징 추출을 하기 위해서 본 논문에서는 covariance matrix의 eigen value를 사용하였다. t 시간동안 n개의 전극에서 데이터를 얻을 경우, 데이터 행렬 X는 t × n 행렬으로 표현된다.
- 실험 진행 중에 피험자는 피드백을 받지 않도록 하였고, 신호의 분석은 모든 습득과정이 끝난 후, 오프라인에서 이루어 졌다. 뇌파신호를 습득하기 위해 사용한 장비는 NeuroScan사의 Stim2와 Synamps2이고, 신호 처리 및 분석에는 같은 회사의 Curry7과 MathWorks의 Matlab을 사용하였다. 피험자의 두피에 접촉하는 전극은 international 10-20 system을 따르는 64채널 cap을 사용하여 측정되었으며, 추가로 5개의 전극을 배치해 눈의 깜빡임 등에서 발생하는 잡음을 제거하였다.
- 각각의 차원에서 가장 큰 값으로 나눈 후, 가장 작은 값과 가장 큰 값이 –30부터 30까지의 값 사이에 매핑될 수 잇도록 하였다. 또, 실험의 첫 번째 단계에서 분류를 수행할 때 SVM 알고리즘이 사용되었다. 현재 multi class 데이터에 적용하기 위한 SVM 알고리즘 연구가 진행되고 있으나, 선도적인 방법이 없기 때문에 두 개의 클래스에 대해서 분류가 가능한 일반적인 SVM을 선택하여 분류를 수행하였다.
- 특징 추출 과정을 통해서 얻어낸 벡터들의 클래스를 분류하기 위한 알고리즘으로 support vector machine (SVM)을 사용하였다. SVM은 교사 학습을 기반으로 하는 분류기법이다.
성능/효과
- 두 번째 실험을 통하여 시간에 따라 모음의 특징을 분류해 내는 것이 쉽지 않음을 확인할 수 있었다. 그러나 SVM을 이용한 분류율의 변화를 보았을 때, 자극이 주어지고 난 후 뇌가 언어에 대해 활성화되는 시간 동안, 4 종류의 모음 자극에서 발생하는 결과의 증감 양상이 비슷하게 나타나는 것을 볼 수 있었다. 이 부분에 대해서는 추가적인 연구와 구체적인 실험 패러다임을 구성하여 개선된 결과를 얻을 수 있도록 해야겠다.
- 두 번째 실험을 통하여 시간에 따라 모음의 특징을 분류해 내는 것이 쉽지 않음을 확인할 수 있었다. 그러나 SVM을 이용한 분류율의 변화를 보았을 때, 자극이 주어지고 난 후 뇌가 언어에 대해 활성화되는 시간 동안, 4 종류의 모음 자극에서 발생하는 결과의 증감 양상이 비슷하게 나타나는 것을 볼 수 있었다.
- 본 논문에서는 국제음성기호의 네 가지 모음인 /a/, /i/, /o/, /u/를 오프라인 방식을 이용해 서로 간에 분류를 수행하였으며, 이 때 해당 분류율이 특징 벡터의 차원에 영향을 받는다는 것을 확인하였다. 모든 분류 결과가 처음으로 80 % 이상의 정확도를 보이는 특징 벡터의 차원은 11 차원이었으며, 이때의 최대 분류율은 약 /a/와 /o/의 약 95.63 %였으며, 최소 분류율은 /a/와 /u/의 약 86.85 %였다.
- 본 논문에서 수행한 모음 구분을 통해 언어인식의 가능성이 있고, 둘 이상의 언어인식 또한 지속적인 연구를 통해 가능성이 있음을 확인하였다. 그러나 선행된 연구[5]에서 언급하고 있는 것처럼, 모든 발음을 뇌파 패턴을 이용해 표현할 경우, 패턴의 종류가 많아져 분류에 어려움이 발생되는 문제점은 여전히 남아있으며, 본 논문에서 얻은 결과에서 볼 수 있듯이, 기존의 특징 추출 방법을 사용하게 되면 10차원 이상의 특징 벡터를 사용해야 하므로, 시스템의 구현에 어려움이 발생할 것은 자명하다.
- 보다 다양한 언어에 적용하기 위하여 특정한 언어에 종속적으로 연구가 진행되었던 기존 방식과 달리, 국제음성기호에 기반을 두어 뇌파 신호를 추출하였으므로, 다양한 언어에 적용할 수 있다. 본 논문에서는 국제음성기호의 네 가지 모음인 /a/, /i/, /o/, /u/를 오프라인 방식을 이용해 서로 간에 분류를 수행하였으며, 이 때 해당 분류율이 특징 벡터의 차원에 영향을 받는다는 것을 확인하였다. 모든 분류 결과가 처음으로 80 % 이상의 정확도를 보이는 특징 벡터의 차원은 11 차원이었으며, 이때의 최대 분류율은 약 /a/와 /o/의 약 95.
- 이는 낮은 차원을 선택할수록 데이터가 갖고 있는 정보량이 손실되기 때문으로 보인다. 점차로 특징 벡터의 차원이 커지면서 분류 성공률도 같이 증가하는 경향을 보이고 있으나, 특정 구간에서 극적으로 분류율이 증가하는 모습을 보이고 있어 이 구간 이후에는 특징 벡터의 차원을 증가시켜도 분류율의 향상이 미미한 것을 확인 할 수 있다. 특징 벡터의 차원이 높을수록, 계산량이 증가하여 시스템 구현에 어려움이 있기에, 적당한 범위 내에서 특징 공간의 차원을 결정해야할 것이다.
후속연구
- 최근에는 움직임 상상을 이용한 장치뿐만 아니라, 음성인식분야에서도 BCI의 활용 영역이 점차 확대되고 있다. BCI 시스템을 이용하여 특정 음성을 말하고자 할 때 발생하는 뇌파를 구분할 수 있다면 기존에 많은 연구가 진행된 음성 인식 기술과 결합해 기계 제어 및 더 진보된 인간-기계간 상호작용을 구현할 수 있을뿐더러, 발성에 장애가 있는 사람들을 위한 의료용 재활기구로도 사용할 수 있는 길이 열릴 것이다. 특히 미국 국방고등연구계획국(DARPA)에서는 Irvine의 University of California (UCI) 연구팀과 함께 뇌파를 이용하여 소리 없이 병사들 사이에 통신을 할 수 있도록 하는 연구를 진행하였다[2].
- 뿐만 아니라, 실제 사용에서는 off-line 방식이 아닌 on-line방식의 시스템 구현이 필요하다. 간소화 된 장치를 이용하여 무선으로 실시간 처리를 할 수 있도록 연구를 진행할 예정이다.
- 5초 사이에 언어를 상상할 때 뇌가 가장 활성화되는 것을 알 수 있다. 따라서 이 시간동안 증가와 감소의 경향성은 언어활동과 관련이 있음을 알 수 있고, 이러한 경향성을 이용한다면 추가적인 연구에서 시간에 따른 모음을 구분해 낼 수 있는 단서로 사용 가능할 것이다. 재미있는 것은 모음이 어떤 순서로 발음되었는가에 따라 모음의 분류율이 높아지는 것이 아니라, 어떤 모음인가에 따라 그 분류율이 결정된다는 것이다.
- 그러나 선행된 연구[5]에서 언급하고 있는 것처럼, 모든 발음을 뇌파 패턴을 이용해 표현할 경우, 패턴의 종류가 많아져 분류에 어려움이 발생되는 문제점은 여전히 남아있으며, 본 논문에서 얻은 결과에서 볼 수 있듯이, 기존의 특징 추출 방법을 사용하게 되면 10차원 이상의 특징 벡터를 사용해야 하므로, 시스템의 구현에 어려움이 발생할 것은 자명하다. 따라서 추후 연구 과제로 많은 언어를 인식하기 위한 특징 추출 방법과 multi class 분류 알고리즘을 구현하는 방안에 대해서 추가적인 연구가 필요하다. 뿐만 아니라, 실제 사용에서는 off-line 방식이 아닌 on-line방식의 시스템 구현이 필요하다.
- 그러나 SVM을 이용한 분류율의 변화를 보았을 때, 자극이 주어지고 난 후 뇌가 언어에 대해 활성화되는 시간 동안, 4 종류의 모음 자극에서 발생하는 결과의 증감 양상이 비슷하게 나타나는 것을 볼 수 있었다. 이 부분에 대해서는 추가적인 연구와 구체적인 실험 패러다임을 구성하여 개선된 결과를 얻을 수 있도록 해야겠다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.