[논문]청각 기반 뇌-컴퓨터 인터페이스 구현을 위한 골전도 이어폰의 활용 가능성

이주옥; 주경호; 김도원

doi:10.9718/jber.2020.41.1.22

청각 기반 뇌-컴퓨터 인터페이스 구현을 위한 골전도 이어폰의 활용 가능성
Feasibility of Bone Conduction Earphones for Auditory Brain-Computer Interface 원문보기

Journal of biomedical engineering research : the official journal of the Korean Society of Medical & Biological Engineering, v.41 no.1, 2020년, pp.22 - 27

이주옥 (전남대학교 의공학과) , 주경호 (전남대학교 의공학과) , 김도원 (전남대학교 의공학과)

Abstract ▼ AI-Helper

Auditory stimuli are commonly used in various electroencephalogram experiments, also in EEG-based brain-computer interface systems. However, using conventional earphones that blocks the ear canal attenuates or even blocks external environmental sound which might cause loss of crucial information from surroundings. Instead, bone-conductive earphones are able to deliver sound through vibration without blocking the ear canal. To investigate the feasibility of the bone-conductive earphones for auditory-stimuli based experiments, we compared N100 event-related potential features as well the event-related spectral perturbation and inter-trial coherence of auditory steady-state response between conventional and bone-conductive earphones. The results showed no significant differences between bone conduction and conventional earphones regardless of distinct sound pressures. This result shows that bone conductive earphones can be used for auditory experiments when the environmental sound is crucial to the user.

주제어

표/그림 (4)

그림 그림 1. 청각 전달 방식(검은 점선: 일반 이어폰, 붉은 실선: 골전도 이어폰)에 따른 자극의 음량 별 사건유발전위 평균 Fig. 1. Grand averaged event-related potentials of each sound pressure according to the delivery method of the auditory stimuli (black dotted line: conventional earphone, red solid line: bone conduction earphone)
표 표 1. 청각 자극의 전달 방식(일반 이어폰, 골전도 이어폰)에 따른 N100 전위값, 지연시간, ERSP, ITC의 비교 Table 1. Comparison of N100 amplitude, latency, ERSP, and ITC response according to the delivery method of the auditory stimulus
그림 그림 2. 청각 전달 방식(좌: 일반 이어폰, 우: 골전도 이어폰)에 따른 음량 별 시간-주파수 반응 Fig. 2. Time-frequency power of each sound pressure according to the delivery method of the auditory stimuli (left panel: conventional earphone, right panel: bone conduction)
그림 그림 3. 청각 전달 방식(좌: 일반 이어폰, 우: 골전도 이어폰)에 따른 음량 별 시행 간 위상 동기화 Fig. 3. Inter-trial coherence of each sound pressure according to the delivery method of the auditory stimuli (left panel: conventional earphone, right panel: bone conduction)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구에서는 청각 자극을 골전도 이어폰을 통해 전달하였을 때의 뇌파 반응을 일반 이어폰을 사용했을 때와 비교하여 골전도 이어폰이 BCI를 포함한 다양한 뇌파실험에서 사용될 수 있을지를 검증하고자 한다. 본 연구에서는 이전 연구[16]를 참조하여 청각 BCI의 일종인 청성 안정 유발 자극(auditory steady-state response, ASSR)을 제시하였을 때, N100 사건 유발 전위(event-related potential, ERP)의 전위값과 지연시간, 시간-주파수 분석 및 시행 간 동시성을 비교하고자 한다.
본 연구는 실생활에서 사용 가능한 청각 기반 BCI의 실용성 제고를 위하여 주변 환경음을 차폐하지 않으면서도 청각 자극을 전달 할 수 있는 골전도 이어폰의 활용 가능성을 확인하였다. 그 결과 골전도 이어폰을 사용하는 경우 발생하는 뇌의 반응이 일반 이어폰을 사용했을 때와 통계적으로 유의미하지 않은 것으로 나타난 것으로 보아 청각 기반 BCI에서 청각 자극 제시를 위하여 골전도 이어폰을 사용 할 수 있을 것으로 보인다.
따라서 본 연구에서는 청각 자극을 골전도 이어폰을 통해 전달하였을 때의 뇌파 반응을 일반 이어폰을 사용했을 때와 비교하여 골전도 이어폰이 BCI를 포함한 다양한 뇌파실험에서 사용될 수 있을지를 검증하고자 한다. 본 연구에서는 이전 연구[16]를 참조하여 청각 BCI의 일종인 청성 안정 유발 자극(auditory steady-state response, ASSR)을 제시하였을 때, N100 사건 유발 전위(event-related potential, ERP)의 전위값과 지연시간, 시간-주파수 분석 및 시행 간 동시성을 비교하고자 한다.

제안 방법

본 실험에서는 일반 이어폰 및 골전도 이어폰을 통하여 ASSR 반응을 유발하기 위해 1000 Hz의 순음을 40 Hz로 진폭 변조(amplitude modulation) 시킨 음성 자극을 사용하였다(wav format, 44.1 kHz sampling rate, 16-bit). 자극은 4개의 서로 다른 음량(50, 60, 70, 80 dB)으로 제시되었으며 각 음량당 150 회씩 총 600 회를 무작위 순서로 제시하였다.
일반 이어폰과 골전도 이어폰에서 유발된 반응의 차이를 확인하기 위하여 측정된 뇌전도 신호를 이용하여 1) ERP분석, 2) event-related spectral perturbation (ERSP)와3) 시행 간 동시성 (inter-trial coherence, ITC) 분석을 시행하였다. 모든 분석은 MATLAB 2018a (MathWorksInc.
피험자들은 책상에 비치된 모니터에서 1 m 떨어진 의자에 편안한 자세로 착석하고 일반 이어폰과 골전도 이어폰을 모두 착용한 채로 실험을 진행하였다. 실험에 앞서 일반 이어폰과 골전도 이어폰에서 제시되는 동일한 음성 자극이 서로 다른 음량으로 지각될 수 있는 점을 감안하여 일반 이어폰의 음량을 기준으로 골전도 이어폰의 음량을 교정하였다.

대상 데이터

본 연구에는 자발적으로 참여의사를 밝힌 10명의 피험자를 대상으로 진행되었다(나이평균: 23.7 ± 4.8, 여자참가자 4명). 대상자 중 뇌파 측정에 영향을 미칠 수 있는 신경정신과 관련 질환이나 청각 관련 질환이 있는 피험자들은 실험에서 모집에서 제외되었다.
자극은 일반 이어폰(HSS-F630; LG Electronics, Korea)과 유선 골전도 이어폰(Sportz Titanium; AfterShokz, NY, USA)을 통하여 피험자에게 제시되었다. 무선 골전도 이어폰의 경우, 블루투스 통신으로 인한 지연시간으로 인하여 자극 별 자극 제시 시점이 달라지거나 신호가 유실될 수 있는 점을 감안하여 유선 골전도 이어폰을 사용하였다.

데이터처리

ERSP는 신호의 시간에 따른 주파수 스펙트럼의 변화를 관찰하는 분석으로, 자극 시점 이전의 주파수 스펙트럼 대비 자극 시점 이후의 스펙트럼 변화를 관찰하는데 사용된다. 본 연구에서는 Cz 전극에서의 40 Hz ASSR의 반응을 확인하기 위하여 39-41 Hz 대역의 ERSP 값을 100-500 ms 구간에 대하여 음량 별로 평균을 계산하였다.
일반 이어폰과 골전도 이어폰으로 제시한 소리 자극으로 인한 N100 전위값, 지연시간, ERSP 및 ITC의 통계적인 비교를 위하여 제시된 음량 별로 비모수 통계 방법인 Wilcoxon signed rank-sum test를 수행하였다(SPSS 23.0; SPSS Inc., Chicago, IL, USA).

이론/모형

측정된 신호는 분석에 사용하기 위하여 먼저 기준 전극(reference electrode)을 공통 평균 기준 도출법(common average reference, CAR)을 적용하여 측정 시 유입된 공통 잡음 성분을 제거하였다. 또한 0.1-100 Hz 대역 통과 필터와 60 Hz 대역 저지 필터를 사용하여 기저선을 교정하고 전원선으로 인한 간섭을 제거하였으며, 전두엽 부위의 신호에서 눈 깜빡임으로 인한 잡음은 주성분분석법(principle component analysis, PCA)을 이용하여 제거 하였다. 단, 사건유발전위(event-related potential)를 확인하기 위한 데이터는 0.
본 실험에서 뇌전도 신호는 국제 10-20 전극 배치법 (International 10-20 system)에 의거하여 총 32개 위치(Fp1, Fp2, AF3, AF4, F7, F3, Fz, F4, F8, FC5, FC1, FC2, FC6, T7, C3, Cz, C4, T8, CP5, CP1, CP2, CP6, P7, P3, Pz, P4, P8, PO3, PO4, O1, Oz, O2)에 능동 전극을 부착하여 측정하였다. 신호의 측정에는 Active Two (BioSEMI, Netherlands) 증폭기를 이용하였으며, CMS-DRL 피드백 루프를 기반으로 공통 모드 전압에 상대적인 전압이 기록되었다.
측정된 신호는 분석에 사용하기 위하여 먼저 기준 전극(reference electrode)을 공통 평균 기준 도출법(common average reference, CAR)을 적용하여 측정 시 유입된 공통 잡음 성분을 제거하였다. 또한 0.

성능/효과

골전도 이어폰을 이용하여 80 dB로 청각 자극을 전달 하였을 때에 가장 큰 반응을 보였으며, 50 dB를 제외한 조건들에서 ASSR 반응을 관찰 할 수 있었다(그림 2). ITC의 경우에도 80 dB의 크기로 골전도 이어폰을 이용하는 경우 가장 큰 시행 간 위상 동기화를 보였으며, 전체적으로 ERSP에 비하여 더 뚜렷한 반응을 관찰할 수 있었다(그림 3).
본 연구는 실생활에서 사용 가능한 청각 기반 BCI의 실용성 제고를 위하여 주변 환경음을 차폐하지 않으면서도 청각 자극을 전달 할 수 있는 골전도 이어폰의 활용 가능성을 확인하였다. 그 결과 골전도 이어폰을 사용하는 경우 발생하는 뇌의 반응이 일반 이어폰을 사용했을 때와 통계적으로 유의미하지 않은 것으로 나타난 것으로 보아 청각 기반 BCI에서 청각 자극 제시를 위하여 골전도 이어폰을 사용 할 수 있을 것으로 보인다. 통계적인 차이는 없으나, 일부 조건에서는 골전도 이어폰을 사용할 때의 반응이 일반 이어폰을 사용하는 것에 비하여 작게 보이는데, 이는 골전도의 음량을 정확히 이어폰으로 제시하는 것과 정확하게 일치 시킨 것이 아닌, 사용자의 지각 수준에서 비슷하게 설정한 결과로 보이며, 이러한 단점을 극복하기 위해 더 많은 피험자들을 대상으로 실험할 필요가 있을 것으로 보인다.
본 연구에서는 청각 자극을 골전도 이어폰을 통하여 제시하였을 경우 일반 이어폰과 비슷한 뇌 반응을 보이는 것으로 관찰 되었다. 청각 기반 실험들 중 주변 환경음이 중요한 뇌파 실험에 골전도 이어폰을 사용될 수 있을 것으로 보이며, 특히 최근 다양하게 출시되고 있는 휴대용 뇌파 기기에 골전도이어폰을 접목하여 일상생활에 제약 없이 사용할 수 있는청각 기반 BCI를 구현할 수 있을 것으로 사료된다.
이후 청각 자극 시점을 기준으로-200~600 ms 구간을 추출(epoching)하여 -75~75 µV를 초과하는 전압이 포함된 시행(epoch)은 분석에서 제외하였다. 일반 이어폰을 이용하여 자극을 전달하였을 때 전처리를 통과하고 남은 epoch의 개수는 각각 119.78 ± 26.89 (80 dB), 116.56 ± 30.07 (70 dB), 119.78 ± 27.51 (60 dB), 114.13± 28.88 (50 dB) 였으며, 골전도 이어폰을 이용하는 경우에는120.00 ± 24.48 (80 dB), 119.00 ± 25.82 (70 dB), 122.11± 25.42 (60 dB), 119.50 ± 29.24 (50 dB)였으며, 이들 모두가 추후 분석에서 사용되었다. 전처리를 위한 모든 과정은 CURRY8 소프트웨어(Compumedics, TX, USA)를 사용하였다.

후속연구

본 연구에서는 청각 자극을 골전도 이어폰을 통하여 제시하였을 경우 일반 이어폰과 비슷한 뇌 반응을 보이는 것으로 관찰 되었다. 청각 기반 실험들 중 주변 환경음이 중요한 뇌파 실험에 골전도 이어폰을 사용될 수 있을 것으로 보이며, 특히 최근 다양하게 출시되고 있는 휴대용 뇌파 기기에 골전도이어폰을 접목하여 일상생활에 제약 없이 사용할 수 있는청각 기반 BCI를 구현할 수 있을 것으로 사료된다.
그 결과 골전도 이어폰을 사용하는 경우 발생하는 뇌의 반응이 일반 이어폰을 사용했을 때와 통계적으로 유의미하지 않은 것으로 나타난 것으로 보아 청각 기반 BCI에서 청각 자극 제시를 위하여 골전도 이어폰을 사용 할 수 있을 것으로 보인다. 통계적인 차이는 없으나, 일부 조건에서는 골전도 이어폰을 사용할 때의 반응이 일반 이어폰을 사용하는 것에 비하여 작게 보이는데, 이는 골전도의 음량을 정확히 이어폰으로 제시하는 것과 정확하게 일치 시킨 것이 아닌, 사용자의 지각 수준에서 비슷하게 설정한 결과로 보이며, 이러한 단점을 극복하기 위해 더 많은 피험자들을 대상으로 실험할 필요가 있을 것으로 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	BCI 기술은 어떻게 나눌 수 있나?	일반적으로 이러한 BCI 기술은 크게 자극 기반 BCI와 비자극 기반 BCI로 나눌 수 있으며, 대다수의 연구들은 자극 기반 BCI에 집중이 되어있다[13,14]. 자극 기반 BCI의 경우 주어진 시각 혹은 청각 등의 외부의 자극에 대해 선택적 집중을 하였을 때 발생하는 독특한 뇌파 패턴을 이용하는 방법이다.
	뇌전도란 무엇인가?	뇌전도(electroencephalogram, EEG)는 뇌의 뉴런에서 발생하는 전기생리학적인 신호를 간접적으로 측정할 수 있는 생체 신호로써 다양한 뇌의 기능을 비침습적으로 탐구할 수 있는 유용한 수단이다[1]. 특히 뇌에서 정보를 지각하고 처리하는데 걸리는 시간은 수백 ms 이내로 매우 빠르며 다양한 뇌 부위에서 동시다발적으로 이루어지므로 시간분해능이 우수한 뇌전도는 뇌에서 발생하는 다양한 지각, 인지 및 사고 과정을 유추하는데 많은 도움을 주고 있다[2-4].
	특정한 주파수로 점멸되는 시각 자극을 응시하였을 때 발생하는 반응을 이용하는 시각 기반 BCI의 단점은 무엇인가?	하지만 이러한 방법들은 사용자에게 지속적으로 자극을 제시해야 된다는 점에서 실생활에서 사용하기에 어려움이 있다. 시각 기반 BCI의 경우는 피험자에게 자극을 제공할 수 있는 디스플레이 혹은 빛이 점멸하는 디바이스가 시야 범위 안에 있어야 하기 때문에 일상 생활에서 계속 지니고 있기 어렵거나 이동성에 제약이 있고 시야 범위를 제한하는 단점들이 있다. 청각 BCI의 경우, 헤드폰이나 이어폰 사용은 주변 환경음을 감쇄하거나 차폐하게 되어 주변의 중요한 음성정보를 제대로 전달받지 못하며, 스피커를 사용하는 경우 이동성에 제약을 받을 수 있다.

참고문헌 (21)

Olejniczak P. Neurophysiologic basis of EEG. J Clin Neurophysiol. 2006;23(3):186-9.

상세보기
Basar E. Dynamics and Evoked Potentials in Sensory and Cognitive Processing by the Brain. Berlin: Springer-Verlag Berlin Heidelberg; 1988.
Elbert T, Rockstroh B. Threshold regulation: A key to the understanding of the combined dynamics of EEG and eventrelated potentials. J Psychophysiol. 1987;1(4):317-33.
Makeig S. Auditory event-related dynamics of the EEG spectrum and effects of exposure to tones. Electroencephalogr Clin Neurophysiol. 1993;86(4):283-93.

상세보기
Paulraj MP, Subramaniam K, Yaccob SB, Adom AHB, Hema CR. Auditory evoked potential response and hearing loss: a review. Open Biomed Eng J. 2015;9:17-24.

상세보기
Boutros NN, Arfken C, Galderisi S, Warrick J, Pratt G, Iacono W. The status of spectral EEG abnormality as a diagnostic test for schizophrenia. Schizophr Res. 2008;99(1):225-37.

상세보기
Kim D-W, Lee S-H, Shim M, Im C-H. Estimation of Symptom Severity Scores for Patients with Schizophrenia Using ERP Source Activations during a Facial Affect Discrimination Task. Front Neurosci. 2017;11(436):1-6.
Schraag S, Bothner U, Gajraj R, Kenny GNC, Georgieff M. The Performance of Electroencephalogram Bispectral Index and Auditory Evoked Potential Index to Predict Loss of Consciousness During Propofol Infusion. Anesth Analg. 1999;89(5):1311-5.

상세보기
Lotte F, Bougrain L, Cichocki A, Clerc M, Congedo M, Rakotomamonjy A, Yger F. A review of classification algorithms for EEG-based brain-computer interfaces: a 10 year update. J Neural Eng. 2018;15(3):1-28.
Lotte F, Congedo M, Lecuyer A, Lamarche F, Arnaldi B. A review of classification algorithms for EEG-based brain-computer interfaces. J Neural Eng. 2007;4(2):R1-R13.

상세보기
Wolpaw JR, McFarland DJ, Neat GW, Forneris CA. An EEGbased brain-computer interface for cursor control. Electroencephalogr Clin Neurophysiol. 1991;78(3):252-9.

상세보기
Wolpaw JR, Birbaumer N, Heetderks WJ, McFarland DJ, Peckham PH, Schalk G, Donchin E, Quatrano LA, Robinson CJ, Vaughan TM. Brain-computer interface technology: A review of the first international meeting. IEEE T Rehabil Eng. 2000;8(2):164-73.

상세보기
Hwang H-J, Kim S, Choi S, Im C-H. EEG-Based Brain-Computer Interfaces: A Thorough Literature Survey. Int J Hum Comput Interact. 2013;29(12):814-26.

상세보기
Ramadan RA, Vasilakos AV. Brain computer interface: control signals review. Neurocomputing. 2017;223:26-44.

상세보기
Xing X, Wang Y, Pei W, Guo X, Liu Z, Wang F, Ming G, Zhao H, Gui Q, Chen H. A High-Speed SSVEP-Based BCI Using Dry EEG Electrodes. Sci Rep. 2018;8(1):14708.

상세보기
Kim D-W, Hwang H-J, Lim J-H, Lee Y-H, Jung K-Y, Im CH. Classification of selective attention to auditory stimuli: Toward vision-free brain-computer interfacing. Journal of Neuroscience Methods. 2011;197(1):180-5.

상세보기
Schreuder M, Rost T, Tangermann M. Listen, You are Writing! Speeding up Online Spelling with a Dynamic Auditory BCI. Front Neurosci. 2011;5(112):1-12.
Reinfeldt S, Hakansson B, Taghavi H, Eeg-Olofsson M. New developments in bone-conduction hearing implants: a review. Med Devices (Auckl). 2015;8:79-93.
Vander Werff KR. Accuracy and Time Efficiency of Two ASSR Analysis Methods Using Clinical Test Protocols. J Am Acad Audiol. 2009;20(7):433-52.

상세보기
Delorme A, Makeig S. EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis. J Neurosci Meth. 2004;134(1):9-21.

상세보기
Jansen BH, Hegde A, Boutros NN. Contribution of different EEG frequencies to auditory evoked potential abnormalities in schizophrenia. Clin Neurophysiol. 2004;115(3):523-33.

상세보기

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증