P300 문자입력기에 사용되는 대표적인 자극제시방법은 행-열 패러다임(RCP)이다. 그러나 RCP는 근접-혼동 오류와 이중-깜박임 문제를 가지고 있다. 본 연구에서는 RCP가 가지고 있는 두 가지 오류의 원천을 효과적으로 통제하는 하위블록 패러다임(SBP)을 제안하고 검증하였다. 15명의 실험참가자에게 RCP와 SBP를 모두 사용하여 문자를 입력하도록 하였다. 뇌파는 Fz와 Cz, Pz, P3, P4, PO7, PO8에서 측정하였다. 각 패러다임은 분류기를 학습시키기 위한 훈련단계와 문자입력기의 성능을 평가하기 위한 검사단계로 구성되어 있다. 훈련단계에서 18개의 문자를 입력하였으며, 검사단계에서 5명은 50개의 단어를 입력하였고 나머지 10명은 25개의 단어를 입력하였다. 정확도를 산출한 결과, SBP의 정확도는 83.73%로 RCP의 정확도 66.40%보다 통계적으로 유의하게 더 높았다. Pz에서 측정한 ERP를 분석하였을 때, 목표자극에 대한 정적 정점의 진폭이 RCP보다 SBP에서 더 크게 나타나 실험참가자들이 SBP에서 특정 문자에 더 많은 주의를 집중한 것으로 보인다. P300 문자입력기에 대한 사용용이성을 7점 척도로 측정하였을 때, SBP가 RCP보다 더 사용하기 쉬운 것으로 나타났다. 특히 RCP의 사용용이성은 대부분의 실험참가자들이 '힘들었다'는 범주에 응답한 반면, SBP의 사용용이성은 모든 피험자들이 '보통'과 '쉬웠다'의 범주에 응답하였다. 전반적으로 SBP가 RCP보다 우월한 것으로 평가되었으며, 논의에 SBP의 한계점에 대해서 기술하였다.
P300 문자입력기에 사용되는 대표적인 자극제시방법은 행-열 패러다임(RCP)이다. 그러나 RCP는 근접-혼동 오류와 이중-깜박임 문제를 가지고 있다. 본 연구에서는 RCP가 가지고 있는 두 가지 오류의 원천을 효과적으로 통제하는 하위블록 패러다임(SBP)을 제안하고 검증하였다. 15명의 실험참가자에게 RCP와 SBP를 모두 사용하여 문자를 입력하도록 하였다. 뇌파는 Fz와 Cz, Pz, P3, P4, PO7, PO8에서 측정하였다. 각 패러다임은 분류기를 학습시키기 위한 훈련단계와 문자입력기의 성능을 평가하기 위한 검사단계로 구성되어 있다. 훈련단계에서 18개의 문자를 입력하였으며, 검사단계에서 5명은 50개의 단어를 입력하였고 나머지 10명은 25개의 단어를 입력하였다. 정확도를 산출한 결과, SBP의 정확도는 83.73%로 RCP의 정확도 66.40%보다 통계적으로 유의하게 더 높았다. Pz에서 측정한 ERP를 분석하였을 때, 목표자극에 대한 정적 정점의 진폭이 RCP보다 SBP에서 더 크게 나타나 실험참가자들이 SBP에서 특정 문자에 더 많은 주의를 집중한 것으로 보인다. P300 문자입력기에 대한 사용용이성을 7점 척도로 측정하였을 때, SBP가 RCP보다 더 사용하기 쉬운 것으로 나타났다. 특히 RCP의 사용용이성은 대부분의 실험참가자들이 '힘들었다'는 범주에 응답한 반면, SBP의 사용용이성은 모든 피험자들이 '보통'과 '쉬웠다'의 범주에 응답하였다. 전반적으로 SBP가 RCP보다 우월한 것으로 평가되었으며, 논의에 SBP의 한계점에 대해서 기술하였다.
In the implementation of a P300 speller, rows and columns paradigm (RCP) is most commonly used. However, the RCP remains subject to adjacency-distraction error and double-flash problems. This study suggests a novel P300 speller stimuli presentation-the sub-block paradigm (SBP) that is likely to solv...
In the implementation of a P300 speller, rows and columns paradigm (RCP) is most commonly used. However, the RCP remains subject to adjacency-distraction error and double-flash problems. This study suggests a novel P300 speller stimuli presentation-the sub-block paradigm (SBP) that is likely to solve the problems effectively. Fifteen subjects participated in this experiment where both SBP and RCP were used to implement the P300 speller. Electroencephalography (EEG) activity was recorded from Fz, Cz, Pz, Oz, P3, P4, PO7, and PO8. Each paradigm consisted of a training phase to train a classifier and a testing phase to evaluate the speller. Eighteen characters were used for the target stimuli in the training phase. Additionally, 5 subjects were required to spell 50 characters and the rest of the subjects were to spell 25 characters in the testing phase. Classification accuracy results show that average accuracy was significantly higher in SBP as of 83.73% than that of RCP as of 66.40%. Grand mean event-related potentials (ERPs) at Pz show that positive peak amplitude for the target stimuli was greater in SBP compared to that of RCP. It was found that subjects tended to attend more to the characters in SBP. According to the participants' ratings on how comfortable they were with using each type of paradigm on 7-point Likert scale, most subjects responded 'very difficult' in RCP while responding 'medium' and 'easy' in SBP. The result showed that SBP was felt more comfortable than RCP by the subjects. In sum, the SBP was more correct in P300 speller performance as well as more convenient for users than the RCP. The actual limitations in the study were discussed in the last part of this paper.
In the implementation of a P300 speller, rows and columns paradigm (RCP) is most commonly used. However, the RCP remains subject to adjacency-distraction error and double-flash problems. This study suggests a novel P300 speller stimuli presentation-the sub-block paradigm (SBP) that is likely to solve the problems effectively. Fifteen subjects participated in this experiment where both SBP and RCP were used to implement the P300 speller. Electroencephalography (EEG) activity was recorded from Fz, Cz, Pz, Oz, P3, P4, PO7, and PO8. Each paradigm consisted of a training phase to train a classifier and a testing phase to evaluate the speller. Eighteen characters were used for the target stimuli in the training phase. Additionally, 5 subjects were required to spell 50 characters and the rest of the subjects were to spell 25 characters in the testing phase. Classification accuracy results show that average accuracy was significantly higher in SBP as of 83.73% than that of RCP as of 66.40%. Grand mean event-related potentials (ERPs) at Pz show that positive peak amplitude for the target stimuli was greater in SBP compared to that of RCP. It was found that subjects tended to attend more to the characters in SBP. According to the participants' ratings on how comfortable they were with using each type of paradigm on 7-point Likert scale, most subjects responded 'very difficult' in RCP while responding 'medium' and 'easy' in SBP. The result showed that SBP was felt more comfortable than RCP by the subjects. In sum, the SBP was more correct in P300 speller performance as well as more convenient for users than the RCP. The actual limitations in the study were discussed in the last part of this paper.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
RCP와 SBP를 사용하기가 어느 정도 쉬웠는지를 질문하였다. 모든 실험참가자가 RCP보다는 SBP가 쉬웠다고 응답하였다.
본 연구에서는 근접-혼란 효과를 목표문자 확인에 이용하고 이중-반짝임 문제가 발생하지 않도록 설계된 SBP가 RCP보다 더 높은 정확도를 보이는지 실험을 통하여 평가하였다.
행-열 패러다임을 이용한 P300 문자입력기는 근접-혼란 오류와 이중-반짝임 문제를 가지고 있다. 본 연구에서는 이를 극복하기 위하여 새로운 자극제시 패러다임인 SBP을 제안하고, 정확도를 산출하였다.
제안 방법
SBP에서는 36개의 2×3 하위블록 중 하나를 100ms 동안 강한 강도로 제시하였으며, 매 125ms 마다 다른 2×3 하위블록을 강한 강도로 제시하였다. 36개의 하위블록이 한 번씩 반짝이는 것을 1시행으로 하여 총 3시행을 반복하였다. 36개의 하위블록들이 반짝이는 순서는 미리 정해져 있는데, 한 블록이 반짝인 후 그 블록에 속한 어떤 문자가 다시 반짝이기 전에 적어도 두 개의 다른 블록이 반짝이도록 만들어진 순서이다.
이 ERP들은 36×1200의 행렬을 구성한다. 36개의 행에 대하여 훈련단계에서 도출한 판별함수를 적용하여 각 행(즉, 각 문자가)이 목표문자일 확률을 산출한다. 36개의 문자 중 목표문자일 확률이 가장 높은 문자가 최종적으로 선택된다.
RCP에서는 6개의 행과 6개의 열을 무선적인 순서로 한 번에 하나씩 100ms 동안 강한 강도(회색 정상 굵기의 문자에서 흰색 굵은 문자로)로 제시하고 25ms 동안은 보통의 강도로 제시하였다. 결과적으로 125ms 마다 행과 열 중 하나가 계속해서 반짝이는 것처럼 보인다.
RCP와 SBP에서 오류의 유형을 분석하였다. 그림 5에 오류들이 목표자극으로부터 얼마나 떨어져서 발생하였는지가 제시되어 있다.
사용자가 주의를 집중한 자극에서는 ERP의 한 성분인 P300의 진폭이 크게 산출된다. 각각의 문자가 반짝였을 때의 P300을 관찰하여, 사용자가 입력하기 위해 주의를 집중한 문자가 어떤 것이었는지를 파악한다.
뇌파를 측정하기 위하여 Fz, Cz, Pz, Oz, P3, P4, PO7, PO8에 전극을 부착하였으며(Krusienski, Sellers, McFarland, Vaughan, & Wolpaw, 2008), 이마에 접지전극을, 양쪽 귓불에 기준 전극을 부착하였다. 뇌파는 Grass Model 12 Neurodata Acquisition System(Grass Instruments, Quincy, MA, USA)을 사용하여 0.3~30Hz 대역여과시킨 후 20000배 증폭시켰으며, MP150(BioPac Systems Inc., Santa Barbara, CA, USA)을 사용하여 200Hz의 표본율로 컴퓨터에 저장하였다. 자극의 제시와 뇌파의 저장 프로그램은 Visual C++ v6를 이용하여 제작하였다.
뇌파를 측정하기 위하여 Fz, Cz, Pz, Oz, P3, P4, PO7, PO8에 전극을 부착하였으며(Krusienski, Sellers, McFarland, Vaughan, & Wolpaw, 2008), 이마에 접지전극을, 양쪽 귓불에 기준 전극을 부착하였다.
훈련단계에서, 일단 RCP와 동일한 방법을 사용하여 판별함수를 도출하고(이하 1차 판별함수라 부름), RCP의 검사단계와 동일한 방법을 사용하여 훈련단계의 뇌파에 대한 ERP를 산출하였다. 다음으로, 훈련단계에서 도출한 판별함수를 훈련단계에서 얻은 ERP에 적용하여, 36개의 각 문자가 목표문자일 확률을 계산하였다. 당연하게도, 그림 2의 (B)와 같이 목표문자에 대한 확률이 가장 높으며, 주변으로 멀어질수록 확률값은 낮아진다.
두 번째 단계는 검사단계로, 훈련 단계에서 산출한 분류함수를 사용하여 실험참가자가 입력하려고 한 문자를 판단하였다.
RCP의 검사단계에서는 각 회기별로 목표자극이 무엇이었는지를 판단한다. 먼저, 36개의 문자 각각에 대하여 각 문자가 반짝였을 때의 18개 뇌파분석단위들을 평균하여 36개 문자 각각에 대한 ERP를 산출하였다. 이 ERP들은 36×1200의 행렬을 구성한다.
각 패러다임을 익히기 위한 연습시행은 3분 이내였다. 모든 실험이 끝난 후에, 실험참가자에게 각 패러다임을 사용하기가 얼마나 편하였는지를 7점 척도 상에 평가하도록 하였다. 1점은 ‘매우 어려웠다’, 4점은 ‘보통’, 7 점은 ‘매우 쉬웠다’를 의미한다.
본 연구에서는 6×6 문자행렬을 사용하면서, 근접-혼란 오류와 이중-반짝임 문제를 해결할 수 있는 새로운 자극제시 패러다임인 하위블록 패러다임(sub-block paradigm: SBP)을 제시하였다.
두 번째는 연습량이 적었기 때문일 수 있다. 선행연구들에서 연습시행을 얼마나 했는지를 정확하게 제시하지 않고 있기는 하지만, 본 연구에서는 연습시행을 3분 이내로 하였다. 세 번째는 본 연구에서 RCP와 SBP를 반복해서 사용하였기 때문일 수 있다.
실험참가자로부터 60cm 앞에 놓인 19inch LCD 모니터에 6×6 문자행렬자극을 제시하였다.
18회기에 대해 동일한 작업을 수행하여 648×36 행렬을 구성한다. 이 행렬에 대해 단계적 선형판별분석을 실시하여 목표자극과 비목표자극을 구분하는 판별함수를 도출한다(이하 2차 판별함수라고 부름).
그러나 RCP의 정확도가 더 높았던 3명은 모두 SBP를 먼저 실험하고, RCP를 나중에 실험한 참가자들이었으므로, 이들 3명은 연습효과로 인하여 RCP의 정확도가 더 높았을 가능성이 있다. 이를 검증하기 위하여, 실험순서와 실험방법, 실험셋을 독립변인으로 하고 정확도를 종속변인으로 하는 라틴방형설계에 의한 변량분석을 실시하였다(Park, 2003). 분석결과 실험순서의 효과가 유의수준에 근접하였다(F(1,26)=3.
두 번째 단계는 검사단계로, 훈련 단계에서 산출한 분류함수를 사용하여 실험참가자가 입력하려고 한 문자를 판단하였다. 이를 통하여 실험참가자가 입력하려고 한 문자와 판별분석을 통하여 판별한 문자가 일치하는지를 파악하였다.
훈련단계에서 기록한 뇌파에 대하여 단계적 선형판별분석(SWLDA)를 실시하여 판별함수를 산출한 후, 이 판별함수를 이용하여 검사단계에서 목표문자를 파악하였다. RCP에서 단계적 선형판별분석은 다음의 단계를 거쳐서 수행되었다.
훈련단계에서 총 18개 문자를 입력하므로 1944×1200 행렬이 만들어지며, 이 행렬에 대해서 단계적 판별분석을 수행하여 목표자극과 비목표자극을 구별하는 판별함수를 산출하였다.
SBP에서는 RCP에서 사용한 절차에 한 가지 절차를 추가하였다. 훈련단계에서, 일단 RCP와 동일한 방법을 사용하여 판별함수를 도출하고(이하 1차 판별함수라 부름), RCP의 검사단계와 동일한 방법을 사용하여 훈련단계의 뇌파에 대한 ERP를 산출하였다. 다음으로, 훈련단계에서 도출한 판별함수를 훈련단계에서 얻은 ERP에 적용하여, 36개의 각 문자가 목표문자일 확률을 계산하였다.
대상 데이터
15명이 실험에 참여하였다. 남자는 8명이었으며, 평균연령은 25.
P300 문자입력기 실험은 상당한 주의집중이 필요하므로, P300 문자입력기 사용 경험에 따라서 실험길이를 달리하였다. RCP와 SBP를 경험한 적이 있는 5명의 실험참가자는 검사단계에서 총 50개의 문자(10개의 단어와 1개의 숫자열)를 입력하였으며, 실험 경험이 없는 10명의 실험참가자는 검사단계에서 총 25개의 문자(5개의 단어와 1개의 숫자열)를 입력하였다.
먼저 36개의 문자 각각에 대해서, 사용자의 뇌파를 이용하여 그림 2의 (B)와 같은 분포를 작성한다. 다음으로, 36개의 분포도 중에서 이상적인 분포도와 가장 비슷한 분포도를 보이는 문자를 입력 문자로 선택한다. RCP에서는 각 문자가 제시되었을 때의 뇌파만을 이용하여 목표문자를 판단하는 반면, SBP는 목표문자와 주변의 문자들에 대한 뇌파를 모두 이용하므로, 정확도가 더 높을 것이라 생각할 수 있다.
실험참가자가 해야 하는 일은 입력해야 하는 문자가 반짝이는 횟수를 마음 속으로 세는 것이었다. 훈련단계에서는 36개의 문자들 중 공간적으로 고르게 분포하도록 선택한 18개의 문자를 목표문자로 사용하였다. 검사단계에서는 단어와 숫자열을 사용하였다.
성능/효과
36개의 행에 대하여 훈련단계에서 도출한 판별함수를 적용하여 각 행(즉, 각 문자가)이 목표문자일 확률을 산출한다. 36개의 문자 중 목표문자일 확률이 가장 높은 문자가 최종적으로 선택된다. 이 과정을 각 회기마다 반복하여 목표문자를 파악하였다.
6×6 자극행렬을 사용하고, 20 시행을 거친 결과, 오프라인과 온라인에서 각각 82%와 62%의 정확도를 보였다.
RCP와 SBP의 정확도를 산출한 결과, SBP의 정확도가 RCP의 정확도보다 높은 것으로 나타났다. SBP의 정확도가 더 높은 이유는 근접-혼란 오류와 이중-반짝임 문제를 효과적으로 해결했기 때문일 것이다.
RCP의 사용용이성 평균은 2.60(SD=1.06)으로 ‘어려웠다’에 해당하는 값을 보였으며, SBP의 사용용이성 평균은 5.20(SD=0.86)으로 ‘조금 쉬웠다’에 해당하는 값을 보였다.
SBP에서 목표자극이 반짝인 시행 중 50%에서 함께 반짝인 자극에 대한 오류율을 분석한 결과, 전체 오류의 약 58%가 이 경우에 해당하였으며, 한 번이라도 목표자극과 함께 반짝인 경우가 있는 것을 포함하면, 약 92%로 증가하였다. SBP가 RCP보다 정확도가 높다는 점과 오류율 분석결과를 종합하면, SBP가 근접-혼란 오류를 효과적으로 통제하기는 하지만, 여전히 근접-혼란 오류가 이 패러다임의 주요 오류임을 보여주고 있다.
RCP에서 목표자극이 포함된 행 또는 열에 있는 문자들은 목표자극이 반짝인 횟수 중 50%에서 함께 반짝이게 된다. SBP에서 목표자극이 반짝인 시행 중 50%에서 함께 반짝인 자극에 대한 오류율을 분석한 결과, 전체 오류의 약 58%가 이 경우에 해당하였으며, 한 번이라도 목표자극과 함께 반짝인 경우가 있는 것을 포함하면, 약 92%로 증가하였다. SBP가 RCP보다 정확도가 높다는 점과 오류율 분석결과를 종합하면, SBP가 근접-혼란 오류를 효과적으로 통제하기는 하지만, 여전히 근접-혼란 오류가 이 패러다임의 주요 오류임을 보여주고 있다.
SBP의 정확도는 83.73%로 RCP의 정확도 66.40보다 통계적으로 유의하게 더 높았으며(t(14)=2.87, p<.05), 정확도의 함수인 분당비트율도 SBP는 16.95로 RCP의 12.08보다 더 높았고(t(14)=3.01, p<.01), 분당입력문자수도 SBP는 2.23으로 RCP의 1.24보다 더 많았다(t(14)=2.71, p<.05).
Guger 등(2009)은 81명의 정상 성인을 대상으로 실험하였다. 각 문자당 15 시행을 거친 후에, 오프라인으로 정확도를 산출한 결과, 91%의 정확도를 보였다. Townsend 등(2010)은 18명을 대상으로 3 내지 5 시행을 거친 후에 온라인 상에서 정확도를 산출하였다.
각 패러다임의 사용용이성에 대한 질문 결과에서 SBP가 RCP보다 더 높은 값을 보였다는 것은 목표자극에 주의를 집중하기가 쉬웠다는 것으로 해석할 수 있다.
두 패러다임 모두에서 목표자극에 대한 정적 정점 (positive peak) 진폭이 비목표자극에 대한 정적 정점 진폭보다 통계적으로 유의하게 더 크게 산출되었다(RCP, t(14)=5.58, p<.001; SBP, t(14)=7.33, p<.001).
두 패러다임에서 목표자극에 대한 ERP를 비교해 보았을 때, SBP의 정적 정점이 RCP의 정적 정점보다 진폭이 더 컸다. 진폭이 더 컸다는 것은 다른 조건이 동일할 때, 더 많은 주의를 기울였다는 의미가 된다(Johnson, 1986).
이를 검증하기 위하여, 실험순서와 실험방법, 실험셋을 독립변인으로 하고 정확도를 종속변인으로 하는 라틴방형설계에 의한 변량분석을 실시하였다(Park, 2003). 분석결과 실험순서의 효과가 유의수준에 근접하였다(F(1,26)=3.02, p=.094). 첫 번째로 실시한 실험의 추정된 정확도 평균은 68.
실험참가자별로 정확도를 살펴보았을 때, 15명중 11명은 RCP보다 SBP에서 정확도가 더 높았으며, 3명은 SBP보다 RCP에서 정확도가 더 높았고(4, 6, 12번), 1명은 두 패러다임에서 정확도가 동일하였다(5번). SBP의 정확도가 더 높았던 11명은 SBP를 먼저 실험한 참가자도 있고, RCP를 먼저 실험한 참가자도 있었다.
온라인 상에서 정확도를 산출한 결과, 6×6의 행렬크기와 자극간 제시간격이 175ms일 때의 정확도가 약 80%였다.
34%의 정확도가 산출되었다. 전체적으로 보았을 때, 행-열 패러다임에서 한 문자당 15시행 이상을 거쳤을 때, 80~90% 수준의 정확도가 있는 것으로 평가된다.
094). 첫 번째로 실시한 실험의 추정된 정확도 평균은 68.93%였으며, 두 번째로 실시한 실험의 추정된 정확도 평균은 81.43%로, 두 번째로 실시한 실험의 정확도가 더 높은 경향이 있었다.
후속연구
그러나 SBP의 경우에는 1 시행에 목표문자가 6번 깜빡이므로, 목표자극의 제시회수를 6, 12, 18 등으로만 조절가능하다. SBP의 원리를 기반으로 하여, 목표자극의 제시회수를 융통성 있게 조절할 수 있는 새로운 패러다임의 개발도 필요할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
신뢰로운 ERP를 얻기 위해 어떻게 해야 하는가?
ERP는 잡음 대비 신호의 비율이 낮기 때문에, 신뢰로운 ERP를 얻기 위해서는 자극을 여러 번 제시한 후에 뇌파들을 평균하여 산출한다. 선행연구들은 하나의 문자를 입력하는데 사용한 시행수와 입력의 정확도가 정적인 관계를 가진다는 것을 보여주고 있다(Donchin, Spencer, & Wijesinghe, 2000; Lenhardt, Kaper, & Ritter, 2008).
하나의 문자입력에 사용된 시행수가 적으면 어떤 문제가 발생하는가?
선행연구들은 하나의 문자를 입력하는데 사용한 시행수와 입력의 정확도가 정적인 관계를 가진다는 것을 보여주고 있다(Donchin, Spencer, & Wijesinghe, 2000; Lenhardt, Kaper, & Ritter, 2008). 하나의 문자입력에 사용된 시행수가 적으면 P300의 진폭이 덜 신뢰롭게 산출되며, 사용자가 입력하고자 한 문자와 P300의 진폭을 이용하여 파악한 문자가 서로 다를 가능성이 증가한다. 시행수가 많아질수록, 입력의 정확도는 높아진다.
하나의 문자입력에 사용된 시행수가 많은 경우 어떤 단점이 있는가?
시행수가 많아질수록, 입력의 정확도는 높아진다. 그러나 시행수가 많 아질수록 한 문자를 입력하는데 필요한 시간이 길어진다는 단점이 생긴다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.