본 연구에서는 P300 문자입력기의 물리적 특성에 해당하는 문자판의 시각도와 사용자의 개인적 특성에 해당하는 시선응시 방법이 P300 문자입력기의 정확도에 미치는 영향을 검증하였다. 문자판의 시각도는 사용자와 문자판 간의 거리로 조작하였으며, 60 cm 집단과 100 cm 집단, 150 cm 집단으로 구성하였다. 시선응시방법은 세 조건으로 반복측정하였다. 머리 조건은 머리를 움직여서 시선을 두는 조건이었으며, 눈동자 조건은 머리는 고정한 채 눈동자를 움직여서 시선을 두는 조건이었고, 시선고정 조건은 시선을 문자입력기의 중앙에 고정시킨 조건이었다. 이요인설계에 의한 실험결과, 문자입력의 정확도가 시선응시방법에 따라 유의한 차이가 있었다. 머리 조건의 정확도가 눈동자 조건의 정확도 보다 높았으며, 눈동자 조건의 정확도가 시선고정 조건의 정확도 보다 높았다. 그러나 문자판의 시각도와 상호작용효과는 모두 유의하지 않았다. 시선응시방법에 따라 목표문자의 P300 진폭을 측정한 결과, 머리조건의 P300이 눈동자 조건의 P300보다 더 컸다. 머리조건과 눈동자 조건 간에는 오류분포에서 큰 차이가 없었지만, 시선고정 조건은 나머지 두 조건과 큰 차이를 보였다. 머리조건과 눈동자 조건에서는 오류가 주로 목표문자와 인접한 문자에서 나타난 반면, 시선고정 조건은 오류가 상대적으로 넓게 분포하였으며, 문자판의 중심에서 멀리 떨어져 있는 문자들에서 오류가 많이 발생하였다.
본 연구에서는 P300 문자입력기의 물리적 특성에 해당하는 문자판의 시각도와 사용자의 개인적 특성에 해당하는 시선응시 방법이 P300 문자입력기의 정확도에 미치는 영향을 검증하였다. 문자판의 시각도는 사용자와 문자판 간의 거리로 조작하였으며, 60 cm 집단과 100 cm 집단, 150 cm 집단으로 구성하였다. 시선응시방법은 세 조건으로 반복측정하였다. 머리 조건은 머리를 움직여서 시선을 두는 조건이었으며, 눈동자 조건은 머리는 고정한 채 눈동자를 움직여서 시선을 두는 조건이었고, 시선고정 조건은 시선을 문자입력기의 중앙에 고정시킨 조건이었다. 이요인설계에 의한 실험결과, 문자입력의 정확도가 시선응시방법에 따라 유의한 차이가 있었다. 머리 조건의 정확도가 눈동자 조건의 정확도 보다 높았으며, 눈동자 조건의 정확도가 시선고정 조건의 정확도 보다 높았다. 그러나 문자판의 시각도와 상호작용효과는 모두 유의하지 않았다. 시선응시방법에 따라 목표문자의 P300 진폭을 측정한 결과, 머리조건의 P300이 눈동자 조건의 P300보다 더 컸다. 머리조건과 눈동자 조건 간에는 오류분포에서 큰 차이가 없었지만, 시선고정 조건은 나머지 두 조건과 큰 차이를 보였다. 머리조건과 눈동자 조건에서는 오류가 주로 목표문자와 인접한 문자에서 나타난 반면, 시선고정 조건은 오류가 상대적으로 넓게 분포하였으며, 문자판의 중심에서 멀리 떨어져 있는 문자들에서 오류가 많이 발생하였다.
This study was to examine how visual angle of matrix corresponding to the physical properties of P300 speller and eye gaze corresponding to the user's personal characteristics influence on the accuracy of P300. Visual angle of the matrix was operated as the distance between the user and the matrix a...
This study was to examine how visual angle of matrix corresponding to the physical properties of P300 speller and eye gaze corresponding to the user's personal characteristics influence on the accuracy of P300. Visual angle of the matrix was operated as the distance between the user and the matrix and three groups were composed: 60 cm group, 100 cm groups, and 150 cm group. Eye gaze methods was consisted three conditions. Head moving condition was putting eye gaze using head, pupil moving condition was moving pupil with the head fixed, while the eye fixed condition is to fix the eye gaze at the center of the matrix. The results showed that there was significant difference in the accuracy of P300 speller according to the eye gaze method. The accuracy of the head moving condition was higher than the accuracy of pupil moving conditions, accuracy of pupil moving conditions was higher than the accuracy of the eye fixed conditions. However, the effect of visual angle of matrix and interaction effect were not significant. When P300 amplitude of target character was measured depending on how you stare at the target character, P300 amplitude of the head moving condition was greater than P300 amplitude of the pupil moving condition. There was no significant difference in the error distribution in head moving condition and pupil moving condition, while there was a significant difference between two eye gaze conditions and fixed gaze condition. The error was located at the neighboring characters of the target character in head moving condition and pupil moving condition, while the error was relatively distributed widely in fixed eye condition, error was occurred with high rate in characters far away from the center of matrix.
This study was to examine how visual angle of matrix corresponding to the physical properties of P300 speller and eye gaze corresponding to the user's personal characteristics influence on the accuracy of P300. Visual angle of the matrix was operated as the distance between the user and the matrix and three groups were composed: 60 cm group, 100 cm groups, and 150 cm group. Eye gaze methods was consisted three conditions. Head moving condition was putting eye gaze using head, pupil moving condition was moving pupil with the head fixed, while the eye fixed condition is to fix the eye gaze at the center of the matrix. The results showed that there was significant difference in the accuracy of P300 speller according to the eye gaze method. The accuracy of the head moving condition was higher than the accuracy of pupil moving conditions, accuracy of pupil moving conditions was higher than the accuracy of the eye fixed conditions. However, the effect of visual angle of matrix and interaction effect were not significant. When P300 amplitude of target character was measured depending on how you stare at the target character, P300 amplitude of the head moving condition was greater than P300 amplitude of the pupil moving condition. There was no significant difference in the error distribution in head moving condition and pupil moving condition, while there was a significant difference between two eye gaze conditions and fixed gaze condition. The error was located at the neighboring characters of the target character in head moving condition and pupil moving condition, while the error was relatively distributed widely in fixed eye condition, error was occurred with high rate in characters far away from the center of matrix.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구의 두 번째 목적은 시선을 움직이는 방법에 따라 P300 문자입력기의 정확도가 달라지는지 검증하는 것이다. 문자판의 크기가 작거나 사용자와 문자판 간의 거리가 멀다면, 시선을 움직이는 두 가지 방법 간에 정확도의 차이가 크지 않을 것이다.
본 연구의 첫 번째 목적은 문자판의 시각도가 문자 입력의 정확도에 미치는 영향을 검증하는 것이다. 동일한 문자판을 사용하는 경우, 사용자와 문자판 간의 거리가 멀수록(즉, 시각도가 작을수록) P300 문자입력기의 정확도가 감소할 것이며, 가까울수록(즉, 시각도가 클수록) 정확도가 높아질 것이라고 예측할 수 있다.
제안 방법
이 ERP들은 36×1200의 행렬을 구성한다. 36개의 행에 대하여 훈련단계에서 도출한 판별함수를 적용하여 각 행(즉, 각 문자가)이 목표문자일 확률을 산출한다. 36개의 문자 중 목표문자일 확률이 가장 높은 문자가 입력 문자로 선택된다.
6×6 문자판의 중심으로부터 멀어질수록 오류율이 증가하는지 검증하기 위하여, 중심에 인접해있는 4개의 문자(인접 수준)와 중심에서 한 칸 건너에 있는 12개 문자(한 칸 수준), 중심에서 두 칸 건너에 있는 20개 문자(두 칸 수준)들 간에 오류율이 다른지 검증하였다.
P300 문자입력기의 시각도와 문자판을 응시하는 방법이 문자입력의 정확도에 미치는 영향을 검증하였다. 문자판을 응시하는 방법에 따라서 문자입력의 정확도가 달라지는 것으로 나타났다.
Figure 3에 Pz와 Oz에서 측정한 목표자극에 대한 ERP가 제시되어 있다. Pz에서 측정한 P300 진폭이 목표자극에 대한 인지 반응을 가장 잘 나타내 주기 때문에, 머리 조건과 눈동자 조건 간에 P300 진폭의 평균이 서로 다른지 검증하였다. Oz에서 측정한 시각유발전위(visual evoked potential: VEP, 50~250 ms)는 시각 활동과 관련이 높기 때문에(Brunner et al.
거리 집단과 시선 조건에 따라 평균 입력문자수에 차이가 있는지 검증하기 위하여 3(피험자간)×3(피험자내) 혼합설계에 의한 반복측정변량분석을 실시하였다.
거리 집단과 시선 조건에 따라 평균정확도에 차이가 있는지 검증하기 위하여 3(피험자간)×3(피험자내) 혼합 설계에 의한 반복측정변량분석을 실시하였다.
거리 집단에 따라 P300 문자입력기의 정확도가 다르지 않으므로, 거리 집단을 합하여 사건관련전위 (eventrelated potential: ERP)를 산출하였다. 목표문자에 대한 P300 진폭은 Pz 영역에서 가장 두드러지므로(Polich, 2007), 시선 조건에 따라 Pz에서 측정한 ERP만을 Figure 2에 제시하였다.
거리 집단에 따라 평균 정확도가 다르지 않았으므로, 거리 집단을 모두 합한 후, 시선 조건에 따라서 오류유형을 분석하였다. Figure 4에 오류가 목표문자로부터 얼마나 떨어져 발생하였는지가 제시되어 있다.
입력오류가 있을 경우에는 수정하지 말고 계속해서 다음 문자를 입력하도록 지시하였다. 검사단계를 시작하기 전에 두 개의 단어에 대해 연습을 실시하였다.
, 2008), 이마에 접지전극을, 양쪽 귓불에 기준전극을 부착하였다. 뇌파는 Grass Model 12 Neurodata Acquisition System (Grass Instruments, Quincy, MA, USA)을 사용하여 0.3~30Hz 대역여과시킨 후 20000배 증폭시켰으며, MP150(BioPac Systems Inc., Santa Barbara, CA, USA)을 사용하여 200Hz의 표본율로 컴퓨터에 저장하였다. 자극의 제시와 뇌파의 저장 프로그램은 Visual C++ v6을 사용하여 제작하였다.
뇌파를 측정하기 위하여 Fz, Cz, Pz, Oz, P3, P4, PO7, PO8에 전극을 부착하였으며(Krusienski et al., 2008), 이마에 접지전극을, 양쪽 귓불에 기준전극을 부착하였다. 뇌파는 Grass Model 12 Neurodata Acquisition System (Grass Instruments, Quincy, MA, USA)을 사용하여 0.
눈동자의 움직임을 관찰하기 위하여, iView X RED (SensoMotoric Instruments GmbH, Teltow, Germany)시스템을 사용하였으며, 머리의 움직임은 웹캠으로 관찰하였다.
검사단계에서는 각각의 문자입력이 끝나면 곧바로 목표자극이 무엇이었는지를 판단한다. 먼저, 36개의 문자 각각에 대하여 각 문자가 반짝였을 때의 12개 뇌파분석단위들을 평균하여 36개 문자 각각에 대한 ERP를 산출하였다. 이 ERP들은 36×1200의 행렬을 구성한다.
시선고정 조건과 머리 조건에서는 안구운동추적기를 관찰하여 눈동자를 움직이지 못하도록 통제하였으며, 눈동자 조건에서는 웹캠을 관찰하여 머리를 움직이지 못하도록 통제하였다. 시선고정 조건과 눈동자 조건, 머리 조건의 실험순서는 실험참가자별로 균형화하였다.
응시방법은 피험자내 설계를 사용하였으며, 머리 조건과 눈동자 조건의 평균차이인 5%는 통계적으로 유의하였다. 그러나 거리 집단은 피험자간 설계를 사용 하였으며, 60 cm 집단과 150 cm 집단 간의 평균차이인 5%는 통계적으로 유의하지 않았다.
훈련단계에서 총 18개 문자를 입력하므로 1296×1200 행렬이 만들어진다. 이 행렬에 대해서 단계적 판별분석을 수행하여 목표자극과 비목표자극을 구별하는 판별함수를 산출하였다.
검사단계에서는 6개의 단어와 숫자열을 사용하였다. 입력해야할 단어를 참가자에게 알려주고 입력하도록 하였다. 입력오류가 있을 경우에는 수정하지 말고 계속해서 다음 문자를 입력하도록 지시하였다.
각 실험집단에서 총 세 번에 걸쳐서 실험을 진행하였다. 한 번은 모니터 중앙에 있는 문자인 O, P, U, V 의 가운데 지점에 시선을 고정한 채로 문자를 입력하였으며(시선고정 조건), 또 한 번은 머리는 고정한 채로 눈동자를 움직여서 입력할 문자에 시선을 두었으며(눈동자 조건), 마지막 한번은 눈동자는 고정한 채로 머리를 움직여서 입력할 문자에 시선을 두도록 하였다(머리 조건).
훈련단계에서는 36개의 문자들 중 공간적으로 고르게 분포하도록 선택한 18개의 문자를 목표 문자로 사용하였다. 훈련단계를 시작하기 전에 6개 문자에 대해 연습을 실시하였다.
훈련단계에서 기록한 뇌파에 대하여 단계적 선형판 별분석(SWLDA)를 실시하여 판별함수를 산출한 후, 이 판별함수를 이용하여 검사단계에서 실시간으로 목표문자를 파악하였다. 단계적 선형판별분석은 다음의 단계를 거쳐서 수행되었다.
대상 데이터
27명이 실험에 참여하였다. 남자는 14명이었으며, 평균연령은 25.
실험참가자가 해야 하는 일은 입력할 문자가 반짝이는 횟수를 마음속으로 세는 것이다. 훈련단계에서는 36개의 문자들 중 공간적으로 고르게 분포하도록 선택한 18개의 문자를 목표 문자로 사용하였다. 훈련단계를 시작하기 전에 6개 문자에 대해 연습을 실시하였다.
데이터처리
05). 실험조건들 간의 평균차이를 확인하기 위하여 Fisher의 LSD 방법을 사용한 사후검증을 실시하였다. 머리조건과 눈동자 조건의 평균차이가 유의하였으며(p<.
05). 어떤 시선 조건들 간에 차이가 있는지 확인하기 위하여 사후검증을 실시하였다. 사후검증 방법은 Fisher의 LSD 방법을 사용하였다.
이론/모형
반복측정이 포함된 효과는 Greenhouse-Geisser ε을 이용하여 교정한 확률로 평가하였다.
본 연구에서는 하위블럭패러다임(SBP, Eom et al., 2013)을 이용하여 문자를 입력하였다. SBP에서는 36개의 2×3 하위블록 중 하나를 100 ms동안 강한 강도로 제시하였으며, 매 125 ms마다 다른 2×3 하위블록을 강한 강도로 제시하였다.
어떤 시선 조건들 간에 차이가 있는지 확인하기 위하여 사후검증을 실시하였다. 사후검증 방법은 Fisher의 LSD 방법을 사용하였다. 이 방법은 실험조건이 세 수준일 때 1종 오류가 적절히 통제된다 (Kirk, 2013, pp, 164-165).
성능/효과
이것은 머리 조건과 눈동자 조건 모두 눈의 중심와에 목표자극이 위치하도록 움직이는 것이 가능했다는 것을 의미한다. 결과적으로, 머리 조건과 눈동자 조건 모두 시각 피질 수준에서는 동일한 정도로 정보가 전달되지만, 주의집중 수준에서 차이가 있는 것으로 생각된다.
눈동자 조건에서는 인접 수준의 평균이 23.04(±7.55)%, 한 칸 수준의 평균이 20.90 (±6.82)%, 두 칸 수준의 평균이 22.22(±6.14)%로 일원 변량분석 결과, 수준에 따른 오류율은 유의한 차이가 없었다(F(2,14) = 0.131, p>.05).
문자판을 응시하는 방법에 따라서 문자입력의 정확도가 달라지는 것으로 나타났다. 머리를 움직여 문자를 응시하는 방법의 정확도(82.67%)가 눈동자를 움직여 문자를 응시하는 방법의 정확도(77.62%)보다 약 5% 더 좋은 것으로 나타났으며, 시선을 문자판의 중앙에 고정한 방법의 정확도는 약 10%에 불과하였다. 분당 입력 문자수의 경우에도 머리조건의 평균이 눈동자 조건의 평균보다 더 많았으며, 시선고정 조건은 모든 사람이 0의 값을 보였다.
Brunner 등 (2010)은 눈동자를 움직일 수 있는 능력이 문자입력기의 정확도에 미치는 영향을 검증하였다. 문자를 입력할 때 시선을 움직일 수 있는 조건과 시선을 모니터 중앙에 고정한 조건을 비교한 결과, 시선을 움직일 수 있는 조건의 정확도가 더 높았다. 즉, 시선을 움직일 수 있는 능력이 P300 문자입력기의 정확도에 큰 영향을 미치는 것으로 나타났다.
일원변량분석 결과, 수준에 따른 오류율은 유의한 차이가 없었다 (F(2,14) = 0.854, p>.05).
문자를 입력할 때 시선을 움직일 수 있는 조건과 시선을 모니터 중앙에 고정한 조건을 비교한 결과, 시선을 움직일 수 있는 조건의 정확도가 더 높았다. 즉, 시선을 움직일 수 있는 능력이 P300 문자입력기의 정확도에 큰 영향을 미치는 것으로 나타났다.
후속연구
P300 문자입력기는 시선을 움직일 수 있는 마비환자들에게만 사용할 수 있으므로, 눈동자의 움직임과 뇌파를 함께 이용하여 문자를 입력한다면 훨씬 더 좋은 결과를 보일 수 있을 것이다. 몇몇 연구자들이 이러한 시도를 하였으며(Lee, Yu, & Kim, 2012; Usakli et al.
피험자내 설계가 피험자간 설계보다 검증력이 더 높아서(Kirk, 2013), 이러한 차이가 발생한 것으로 보인다. 추후 검증력이 더 높은 실험설계를 통하여 시각도의 효과를 다시 검증해볼 필요성이 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
P300 문자입력기의 특성 중 시행수에 따른 결과는 어떠한가?
시행수는 한 문자를 입력하기 위해 한 문자 당 깜빡인 횟수를 말한다. 깜빡인 횟수가 증가할수록 더 신뢰로운 P300이 추출되며, 사용자가 입력하려는 문자를 판별하기가 쉬워진다. 그러나 시행수가 많아지면, 한 문자 입력하는데 걸리는 시간이 증가 한다는 단점을 가진다.
P300 문자입력기는 무엇인가?
P300 문자입력기는 뇌파를 이용하여 컴퓨터 모니터에 문자를 입력하는 장치이며, 이 장치를 이용하여 전신마비 환자들이 외부 세상과 의사소통할 수 있다. Farwell과 Donchin(1988)이 P300 문자입력기를 개발한 이후 약 20년 동안은 큰 관심을 받지 못하였으나, 최근 컴퓨터의 급속한 발전과 인간-기계 상호작용에 대한 필요성이 증가하면서 P300 문자입력기에 대한 연구가 국내와 국외에서 활발히 진행되고 있다.
P300 문자입력기는 어떻게 동작하는가?
전형적인 P300 문자입력기는 Figure 1과 같은 6×6 문자판의 문자들이 행 또는 열 단위로 무선적인 순서로 깜빡이며, 각 문자가 6~30회 깜빡이면 한 문자가 입력된다. 사용자는 입력하고 싶은 문자가 깜빡인 횟수를 마음속으로 세면된다.
참고문헌 (24)
Eom, J.S., Yang, H. Y., Park, M. S., & Sohn, J. H. (2013). P300 speller using a new stimulus presentation paradigm, Korean Journal of the Science of Emotion & Sensibility, 16, 107-116.
Brunner, P., Joshi, S., Briskin, S., Wolpaw, J. R., Bischof, H., & Schalk, G. (2010). Does the 'P300' speller depend on eye gaze?. Journal of neural engineering, 7(5), 056013.
Donchin, E., Spencer, K, M., & Wijesinghe, R. (2000). The mental prosthesis: Assessing the speed of a P300-based brain-computer interface, IEEE Transactions on rehabilitation engineering, 8, 174-179.
Farwell, L. A., & Donchin, E. (1988). Talking off the top of your head: Toward a mental prosthesis utilizing event-related brain potentials, Electroencephalography and clinical Neurophysiology, 70, 510-523.
Fazel-Rezai, R. (2007). Human error in P300 speller paradigm for brain-computer interface, Conf Proc IEEE Eng Med Biol Soc, 2516-2519.
Fazel-Rezai, R., & Abhari, K. (2009). A region-based P300 speller for brain-computer interface. Electrical and Computer Engineering, Canadian Journal of, 34(3), 81-85.
Furdea, A., Halder, S., Krusienski, D. J., Bross, D., Nijboer, F., Birbaumer, N., & Kubler, A. (2009). An auditory oddball (P300) spelling system for brain-computer interfaces. Psychophysiology, 46, 617-625.
Hoffmann, U., Vesin, J. M., Ebrahimi, T., & Diserens, K. (2008). An efficient P300-based brain-computer interface for disabled subjects. Journal of Neuroscience methods, 167(1), 115-125.
Kirk, R. E. (2013). Experimental design 4th ed. SAGE publications, Inc.
Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., & Wolpaw, J. R. (2006). A comparison of classification techniques for the P300 Speller. Journal of neural engineering, 3(4), 299.
Krusienski, D. J., Sellers, E. W., McFarland, D. J., Vaughan, T. M., & Wolpaw, J. R. (2008). Toward enhanced P300 speller performance, Journal of Neuroscience Methods, 167, 15-21.
Lee, B., Yu, J., & Kim, D. (2012). P300 speller using matrix group based on multi-bio signals, Journal of KIISE : Software and Applications, 39, 812-817.
Lenhardt, A., Kaper, M., & Ritter, H. J. (2008). An adapted P300-based online brain-computer interface, IEEE Transactions on Neural System and Rehabilitation Engineering, 16, 121-130.
Lu, J., Speier, W., Hu, X., & Pouratian, N. (2013). The effects of stimulus timing features on P300 speller performance. Clinical Neurophysiology, 124(2), 306-314.
Manyakov, N. V., Chumerin, N., Combaz, A., & Van Hulle, M. M. (2011). Comparison of classification methods for P300 brain-computer interface on assification mets. Computational intelligence and neuroscience, 2011, 2.
McFarland, D. J., & Wolpaw, J. R. (2003). EEG-based communication and control: Speed-accuracy relationship, Applied Psychophysiology and Biofeedback, 28, 217-231.
Schreuder, M, Blankertz, B, & Tangermann, M. (2010) A new auditory multi-class brain-computer interface paradigm: spatial hearing as an informative cue. PLoS One 5.
Sellers, E. W., Krusienski, D. J., McFarland, D. J., Vaughan, T. M., & Wolpaw, J. R. (2006). A P300 event-related potential brain-computer interface (BCI): The effects of matrix size and inter stimulus interval on performance, Biological Psychology, 73, 242-252.
Townsend, G., LaPallo, B. K., Boulay, V.B., Krusienski, D.J., Frye, G.E., Hauser, C.K., Schwartz, N.E., Voughan, T.M., Wolpaw, J.R., & Sellers, E.W. (2010). A novel P300-based brain-computer interface stimulus presentation paradigm: Moving beyond rows and columns, Clinical Neurophysiology, 131, 1109-1120.
Usakli, A. B., Gurkan, S., Aloise, F., Vecchiato, G., & Babiloni, F. (2010). On the use of electrooculogram for efficient human computer interfaces. Computational intelligence and neuroscience, 2010, 1.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.