[논문]EEG 신호 및 사물인터넷 기반 실내 환경 제어 시스템

정해성; 이상민; 권장우

doi:10.21288/resko.2017.11.1.45

EEG 신호 및 사물인터넷 기반 실내 환경 제어 시스템
Indoor Environment Control System based EEG Signal and Internet of Things 원문보기

재활복지공학회논문지 = Journal of rehabilitation welfare engineering & assistive technology, v.11 no.1, 2017년, pp.45 - 52

정해성 (인하대학교 컴퓨터정보공학과) , 이상민 (인하대학교 전자공학과) , 권장우 (인하대학교 컴퓨터정보공학과)

초록
AI-Helper

EEG 신호는 신체적으로 불편함을 가지고 있는 사용자에게서도 동일하게 발생되는 신호로써 차세대 인터페이스로 각광받고 있다. 본 논문에서는 사용자의 EEG 신호를 이용하여 감성적인 정보처리와 논리적인 정보처리를 보조하는 실내 환경을 제어하는 사물인터넷 시스템을 제안한다. 제안된 시스템은 EEG 측정 장치, EEG 시뮬레이션 소프트웨어, 실내 환경 제어 장치로 구성된다. 실험 데이터로는 편안한 상태에서 발생되는 감성적인 정보처리에 대한 EEG 신호 데이터와 집중 시에 발생되는 논리적인 정보처리에 대한 EEG 신호 데이터를 사용한다. 측정된 신호에서는 ICA 알고리즘이 적용하여 잡음이 제거되고 베타파만을 추출한다. 이후 SVM을 통한 학습 및 테스트 과정을 거치게 된다. 피험자는 EEG 시뮬레이션 소프트웨어를 통해 EEG 신호 정확도 향상 훈련을 거친 결과 평균 82.69%의 정확도를 보였다. EEG 측정 장치로부터 입력되는 EEG 신호는 Serial 통신을 통해 EEG 시뮬레이션 소프트웨어로 전송되며 감성적인 정보처리와 논리적인 정보처리를 분류하여 제어 명령이 생성된다. 이후 생성된 제어 명령은 Zigbee 통신을 통해 실내 환경 제어 장치로 전달되어 감성적인 정보처리일 경우 은은한 조명과 클래식 음악이 출력되고 논리적인 정보처리일 경우 밝은 조명과 함께 학습용 백색소음이 출력된다. 제안한 시스템은 BCI 기반 소프트웨어 및 디바이스 제어에 응용될 수 있어 몸이 불편한 사용자가 자신의 신체적인 한계를 극복하는 것을 가능하게 한다.

Abstract ▼ AI-Helper

EEG signals that are the same as those that have the same disabled people. So, the EEG signals are becoming the next generation. In this paper, we propose an internet of things system that controls the indoor environment using EEG signal. The proposed system consists EEG measurement device, EEG simulation software and indoor environment control device. We use data as EEG signal data on emotional imagination condition in a comfortable state and logical imagination condition in concentrated state. The noise of measured signal is removed by the ICA algorithm and beta waves are extracted from it. then, it goes through learning and test process using SVM. The subjects were trained to improve the EEG signal accuracy through the EEG simulation software and the average accuracy were 87.69%. The EEG signal from the EEG measurement device is transmitted to the EEG simulation software through the serial communication. then the control command is generated by classifying emotional imagination condition and logical imagination condition. The generated control command is transmitted to the indoor environment control device through the Zigbee communication. In case of the emotional imagination condition, the soft lighting and classical music are outputted. In the logical imagination condition, the learning white noise and bright lighting are outputted. The proposed system can be applied to software and device control based BCI.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 EEG 신호를 기반으로 하는 사물 인터넷 시스템을 제안하고 있다. 그와 관련된 연구로 사용자의 EEG 신호 활성도를 강화시키는 훈련을 제공하고 입력된 EEG 신호 데이터에 대한 정확도를 확인하며 제어 명령을 생성하는 소프트웨어를 소개한다. 또한 이러한 강화된 EEG 신호를 통하여 사물인터넷 장치를 제어하고자 하므로 사물인터넷에 대해 소개한다.
그와 관련된 연구로 사용자의 EEG 신호 활성도를 강화시키는 훈련을 제공하고 입력된 EEG 신호 데이터에 대한 정확도를 확인하며 제어 명령을 생성하는 소프트웨어를 소개한다. 또한 이러한 강화된 EEG 신호를 통하여 사물인터넷 장치를 제어하고자 하므로 사물인터넷에 대해 소개한다.
본 논문에서는 EEG 신호를 기반으로 하는 사물 인터넷 시스템을 제안하고 있다. 그와 관련된 연구로 사용자의 EEG 신호 활성도를 강화시키는 훈련을 제공하고 입력된 EEG 신호 데이터에 대한 정확도를 확인하며 제어 명령을 생성하는 소프트웨어를 소개한다.
본 논문에서는 EEG 신호를 이용하여 실내 환경을 제어하는 사물인터넷 시스템을 제안하였다. 제안한 시스템은 EEG 신호 측정 장치, EEG 시뮬레이션 소프트웨어, 실내 환경 제어 장치를 통합하여 구축 되었으며 감성적인 정보처리와 논리적인 정보처리에서의 EEG 신호 차이를 파악하여 조명 및 음향과 같은 실내 환경을 제어하는 기능을 가진다.
이에 본 논문에서는 사용자의 EEG 신호를 통하여 논리적인 정보처리와 감성적인 정보처리를 구분 하고 이에 따른 결과를 통해서 실내 환경을 조성하는 사물인터넷 시스템을 구현하였다. 본 논문에서 제안하는 시스템은 사용자가 각성, 집중, 인식과 같은 논리적인 정보처리 시에 증가되는 베타파를 감지하여 주의 집중력을 높일 수 있도록 백색소음과 밝은 조명을 출력한다.

제안 방법

3.1절과 3.2절에 기술된 실내 환경 제어 장치, 알고리즘과 함께 EEG 신호 측정 장치, EEG 신호 시뮬레이션 소프트웨어를 통합하여 하나의 실내 환경 제어 시스템을 구축하였다.
EEG 신호에서 잡음을 제거하기 위한 전처리 단계에서는 독립 성분 분석(Independent Component Analysis, ICA)을 적용하였으며 대역 통과 필터 (Band Pass Filter)를 통하여 EEG 신호로부터 베타 파만을 취득하였다. 이후 취득한 데이터에서 제곱평 균제곱근(Root Mean Square, RMS) 알고리즘을 적 용하여 특징 정보를 획득하였으며 이는 지지 벡터 머신(Support Vector Machine, SVM)에 적용하여 분류하고 결과를 확인하였다.
이에 본 논문에서는 사용자의 EEG 신호를 통하여 논리적인 정보처리와 감성적인 정보처리를 구분 하고 이에 따른 결과를 통해서 실내 환경을 조성하는 사물인터넷 시스템을 구현하였다. 본 논문에서 제안하는 시스템은 사용자가 각성, 집중, 인식과 같은 논리적인 정보처리 시에 증가되는 베타파를 감지하여 주의 집중력을 높일 수 있도록 백색소음과 밝은 조명을 출력한다. 또한 명상과 같은 감성적인 정보처리에는 클래식 음악과 은은한 조명을 출력하여 정서적인 안정을 유지할 수 있도록 한다.
본 논문에서 제안하는 실내 환경 제어 시스템에서 사물인터넷 장치에 해당하는 실내 환경 제어 장치는 사용자로부터 입력되는 EEG 신호 데이터의 분석된 결과를 이용하여 조명과 음향과 같은 실내 환경을 제어하는 기능을 한다.
본 논문에서는 분류 알고리즘으로 지지 벡터 머신을 이용하였으며 입력되는 EEG 신호에 대한 정확도를 확인한 결과는 표 1과 같다. 피험자로부터 측정된 EEG의 분류 정확도는 평균 75.
또한 256 ∼ 1024Hz의 샘플링 주파수로 기록이 가능하며, 250nVPP ~ 1uVpp의 저 노이즈를 지원한다. 본 실험에서는 단극법 측정 방법을 채택하였으며 2 채널로 각각 좌뇌와 우뇌를 측정하였다. 선정된 채널은 그림 8과 같이 10-20 국제 표준 전극 배치법을 기준으로 Fp1, Fp2에 위치 한다.
본 저자의 논문인 EEG 신호 정확도 향상을 위한 시뮬레이션 소프트웨어 개발[11]에서는 심리적 완화 상태에서 발생되는 감성적인 정보처리에 대한 EEG 신호와 집중 시에 발생되는 논리적인 정보처리에 대한 EEG 신호와의 차이를 찾아내어 EEG 신호를 강화시키고 정확도를 확인할 수 있으며 제어 명령을 생성하는 소프트웨어를 개발하였다.
사용자는 EEG 신호 측정 장치를 통해 감성적인 정보처리와 논리적인 정보처리로 구분하여 자신의 EEG 신호를 측정하고 Serial 통신을 통해 EEG 신호 시뮬레이션 소프트웨어에 전송하여 정확도를 확인한다. 확인한 정확도가 저조하다면 EEG 신호 향상 훈련을 연속적으로 수행한 후 정확도를 확인하는 과정을 거친다.
표 2는 입력된 제어 명령에 따른 실내 환경 제어 장치의 작동 결과를 나타낸 것이다. 입력되는 EEG 신호 데이터가 연속적으로 같은 정보처리에 해당하는 경우에만 실내 환경 제어 장치가 작동하도록 하였다. 이는 사용자의 지속적인 정보처리만을 감지하여 제어 장치의 오작동을 방지하기 위한 것이다.
향상된 정확도의 EEG 신호 데이터를 EEG 시뮬레이션 소프트웨어에 입력하여 실내 환경 제어 장치를 제어하였다. 표 2는 입력된 제어 명령에 따른 실내 환경 제어 장치의 작동 결과를 나타낸 것이다.

대상 데이터

피험자는 건강한 20대 남성을 대상으로 3명을 선정하여 진행하였으며 감성적인 정보처리와 논리적인 정보처리에 대한 EEG 신호를 3 회씩 측정하도록 하였다. 향후 사용자의 감성적인 정보처리에 대한 EEG 신호는 사용자의 감성 활동을 돕기 위해 은은한 조명과 클래식 음악을 출력하게 하고 논리적인 정보처리는 사용자의 집중 활동을 돕기 위한 밝은 조명과 백색 소음을 출력하게 한다.

데이터처리

69%의 정확도를 확인하였다. 이는 제안한 시스템을 사용하기에 적절한 정확도이며 이를 이용하여 사물인터넷 장치를 제어하는 결과를 함께 보여 검증하였다.
EEG 신호에서 잡음을 제거하기 위한 전처리 단계에서는 독립 성분 분석(Independent Component Analysis, ICA)을 적용하였으며 대역 통과 필터 (Band Pass Filter)를 통하여 EEG 신호로부터 베타 파만을 취득하였다. 이후 취득한 데이터에서 제곱평 균제곱근(Root Mean Square, RMS) 알고리즘을 적 용하여 특징 정보를 획득하였으며 이는 지지 벡터 머신(Support Vector Machine, SVM)에 적용하여 분류하고 결과를 확인하였다. 이러한 과정은 EEG 신호 강화 훈련 수행 전과 후로 나누어 4회 씩 측 정된 EEG 신호 데이터에 적용되었다.

이론/모형

본 논문에서는 EEG 신호 데이터 수집을 위해 BioAMP v5.5를 사용하였다. 이 기기는 쌍극법과 단극법 측정이 가능한 3채널 생체 신호 측정 장치 로써 Arduino Mega 2560 ADK 보드와 10Bit ADC를 내장하고 있다.

성능/효과

사용자는 이를 보며 정보처리 활동을 하게 되고 이 를 통해 각 정보처리에 해당하는 EEG 신호가 발생 하게 된다. EEG 신호강화 훈련 수행 전의 피험자 평균 정확도는 79.21%이었지만 연속적인 훈련을 수 행한 후에는 최고 91.67%라는 정확도를 보였다.
또한 피험자는 EEG 신호 정확도 향상 훈련을 거친 후 EEG 신호를 측정하였으며 이를 분석한 결과 평균 82.69%의 정확도를 확인하였다. 이는 제안한 시스템을 사용하기에 적절한 정확도이며 이를 이용하여 사물인터넷 장치를 제어하는 결과를 함께 보여 검증하였다.
21%로 나타 났다. 이후 각 피험자는 반복적인 EEG 신호 정확도 향상 훈련을 진행하였으며 훈련을 마친 후의 EEG 분류 정확도는 평균 82.69%로 나타났다. 이러한 분류 정확도는 실내 환경 제어 장치의 제어가 가능하다고 판단하여 다음 실험을 진행하였다.
제시된 실내 환경 제어 장치는 일상생활이 가능한 조건에서의 장소에 설치한 모습으로써 감성적인 정보처리와 논리적인 정보처리에 대한 동작을 원활하게 수행하고 있는 것을 볼 수 있다.
본 논문에서는 EEG 신호를 이용하여 실내 환경을 제어하는 사물인터넷 시스템을 제안하였다. 제안한 시스템은 EEG 신호 측정 장치, EEG 시뮬레이션 소프트웨어, 실내 환경 제어 장치를 통합하여 구축 되었으며 감성적인 정보처리와 논리적인 정보처리에서의 EEG 신호 차이를 파악하여 조명 및 음향과 같은 실내 환경을 제어하는 기능을 가진다.
본 논문에서는 분류 알고리즘으로 지지 벡터 머신을 이용하였으며 입력되는 EEG 신호에 대한 정확도를 확인한 결과는 표 1과 같다. 피험자로부터 측정된 EEG의 분류 정확도는 평균 75.21%로 나타 났다. 이후 각 피험자는 반복적인 EEG 신호 정확도 향상 훈련을 진행하였으며 훈련을 마친 후의 EEG 분류 정확도는 평균 82.

후속연구

EEG 신호는 신체적으로 장애가 있는 사람들에게서도 동일하게 발생되는 신호로써 이를 이용한 차세대 인터페이스의 발전은 더욱 활성화될 것으로 기대한다.
EEG 신호는 신체적으로 몸이 불편한 사람들에게서도 동일하게 발생하는 신호이다. 이는 향후 활발한 연구가 기대되는 차세대 인터페이스로써 신체적으로 몸이 불편한 사람들이 자신의 신체적 한계를 극복하는데 도움을 준다.
제안한 시스템은 BCI 기반의 디바이스 제어 등에 활용이 기대 되며 향후에는 본 연구를 통하여 얻은 결과를 바탕으로 시스템에서 제어하는 조명 및 음향 장치와 더불어 EEG 신호와 사물인터넷을 기반으로 다양한 환경을 제어하는 연구를 진행하고자 한다.
피험자는 건강한 20대 남성을 대상으로 3명을 선정하여 진행하였으며 감성적인 정보처리와 논리적인 정보처리에 대한 EEG 신호를 3 회씩 측정하도록 하였다. 향후 사용자의 감성적인 정보처리에 대한 EEG 신호는 사용자의 감성 활동을 돕기 위해 은은한 조명과 클래식 음악을 출력하게 하고 논리적인 정보처리는 사용자의 집중 활동을 돕기 위한 밝은 조명과 백색 소음을 출력하게 한다. 측정 시에는 각 정보처리를 유도할 수 있도록 풍경사진과 수학문제를 제시하여 그림 9와 같이 실험을 진행하였다.
사용자는 EEG 신호 측정 장치를 통해 감성적인 정보처리와 논리적인 정보처리로 구분하여 자신의 EEG 신호를 측정하고 Serial 통신을 통해 EEG 신호 시뮬레이션 소프트웨어에 전송하여 정확도를 확인한다. 확인한 정확도가 저조하다면 EEG 신호 향상 훈련을 연속적으로 수행한 후 정확도를 확인하는 과정을 거친다. 이후 입력되는 EEG 신호를 통해 EEG 시뮬레이션 소프트웨어는 제어 명령을 생성하 고 EEG 측정 장치로 전송한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	BCI란 무엇인가?	두뇌와 컴퓨터를 연결해서 서로간의 통신을 가능 하게 하는 것이 바로 BCI(Brain-Computer Interaction)이다. 이는 기존의 마우스와 키보드, 음성 등과 같은 입출력 장치를 거치지 않고 두뇌로부터 발생하는 EEG(뇌전도)를 분석하여 컴퓨터나 주변 기기를 직접 제어하는 것과 같이 사용자의 의도를 반영하여 임의의 장치를 움직일 수 있게 하는 기술을 말한다. 또한 신체적 어려움을 가지고 있는 사용자를 위해 자신의 생각만으로 장치를 조정할 수 있도록 활발하게 연구 중이며, 이는 새로운 의사 소통 수단을 제공할 수 있게 될 것으로 기대되고 있다[1, 2]
	BCI 시스템을 구축하기 위해 잡음을 제거해야 하는데 이를 위해 사용하는 알고리즘은?	BCI 시스템을 구축하기 위해서는 뚜렷한 EEG 신호가 필수적인데 이를 위해서는 잡음을 제거해야한다. 이를 위해 일반적으로 주 성분 분석(Principal Component Analysis, PCA), 독립 성분 분석 (Independent Component Analysis, ICA), CSP(Common Spatial Pattern) 등과 같은 알고리즘을 사용한다[5, 6]
	EEG 신호는 무엇과 관련되어 있는가?	EEG 신호는 주로 대역 별로 나뉠 수 있는데 베타파(β)는 14-30Hz 대역의 신호를 말하며 두뇌에서 가장 지배적으로 활동하는 신호이다. 특히 이 신호는 각성, 집중, 인식력 등과 같은 논리적인 정보처리와 관련되어 있고 평상시에는 떨어져 있다가 무언가에 집중할 때 베타파는 증가하게 된다[7].

참고문헌 (13)

Lebedev, M. A. "Brain-machine interfaces: past, present and future." Trends Neurosci, 29, pp. 536-546. 2006

상세보기
C. Guger, R. Leeb, D. Friedman, V. Vinayagamoorthy, G. Edlinger, and M. Slater, "Controlling virtual environ- ments by thoughts," Clinical Neurophysiology, vol. 118, no. 4, pp. e36, 2007.

상세보기
C. Guger, W. Harkam, C. Hertnaes, and G. Pfurtscheller, "Prosthetic Control by an EEG-based Brain-Computer Interface (BCI)," Proc. 5th European Conference for the Advancement of Assistive Technology, Dusseldorf, Germany, pp. 3-6, 1999.
J. Philips, J. Millan, G. Vanacker, E. Lew, F. Galan, P. Ferrez, H. Brussel, and M. Nuttin, "Adaptive Shared Control of a Brain-Actuated Simulated Wheelchair," Proc. IEEE 10th International Conference on Rehabilitation Robotics, Noordwijk, The Netherlands, pp. 408-414. 2007.
Stetson, P. F., "Independent component analysis of pulse- oximetry signals," Engineering in Medicine and Biology Society, IEMBS'04. 26th Annual International Conference of the IEEE. vol. 1, 2004.
Xue, Z., Li, J., Li, S. and Wan, B., "Using ICA to Remove Eye Blink and Power Line Artifacts in EEG," Proceedings of the First international Conference on Innovative Computing, Information and Control, 2006.
David Starling, "Temporal Analysis of EEG patterns in a biofeedback based Brain Computer Interface," Tech Report No. CYB/2003/UG/DJS/1.
Y, Choi and I-S, Eo, "LED sensitive light system development by brain-wave",The korea academia-industrial cooperation society, vol.11, no.1, pp. 61- 66, 2010.

원문보기 상세보기
Abikoff, H., Countney, M. E., Szeibel, P. J., & Koplewicz, H. S. The effect of auditory simulation on the arithmetic performance of children with A DHD and nondisabled children. Journal Of Learing Disabilites, vol. 29, no. 3, pp. 238-246, 1996.

상세보기
Petruzzello, S. J., Landers, D. M, Kubitz, K. A and Han, M. W. Brain wave biofeedbacks to improve archery performance, Unpublished manuscript, Arizona State University, Tempe, AZ. 1989.
H. S. Jeong, S. M. Lee and J. W. Kwon, "Development of Simulation Software for EEG Signal Accuracy Improvement," Journal of Rehabilitation Welfare Engineering & Assistive Technology, vol. 10, no. 3, pp. 221-228, 2016.

원문보기 상세보기
S. H. Lee, "Study for overseas expansion of the internet of things," DeltaTech International : Korea Communications Policy Research, vol. 14, no. 35, p. 39, 2014.
J. H. Yu and K. B. Sim, "Robot Control based on Steady-State Visual Evoked Potential using Arduino and Emotiv Epoc", Journal of Korean Institute of Intelligent Systems, vol. 25, no. 3, pp. 254-259, 2015.

원문보기 상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증