많은 연구자들은 인간의 사고를 functional Magnetic Resonance Imaging (fMRI), Time Resolved Spectroscopy(TRS), Electroencephalography(EEG)등을 이용해서 두뇌 활동 영역을 연구하고 있다. 주로 의학 분야와 심리학의 영역에서 두뇌의 활동을 연구하여 간질이나 발작을 알아내고 거짓말 탐지 분야에서도 사용된다. 본 논문에서는 사람의 두뇌활동을 측정하여 인간의 감정을 인식하는 연구에 중점을 두었다. 특히, fMRI와 TRS 그리고 EEG를 이용해서 사람의 두뇌 활동을 측정하는 연구를 하였다. 많은 연구자들이 한 가지 측정 장치만을 사용하여서 측정하거나 fMRI와 EEG를 동시에 측정하는 연구를 진행하고 있다. 현재에는 단순히 두뇌의 활동을 측정하거나 측정 시 발생하는 잡음들을 제거하는 연구들에 중점을 두고 진행되고 있다. 본 연구에서는 fMRI와 TRS를 동시에 측정하여 얻은 두뇌 활동 데이터를 가지고 감정에 따른 활동영역의 EEG 신호를 측정하였다. EEG 신호분석에 있어서 기존의 뇌파만을 가지고 특징을 찾아내는 것을 넘어서 각각의 채널에서 기록되는 뇌파의 파형을 주파수에 따라서 분류하고 정확한 측정을 위해 낮은 주파수를 제거하고 연구자가 필요한 부분의 뇌파를 분석하였다.
많은 연구자들은 인간의 사고를 functional Magnetic Resonance Imaging (fMRI), Time Resolved Spectroscopy(TRS), Electroencephalography(EEG)등을 이용해서 두뇌 활동 영역을 연구하고 있다. 주로 의학 분야와 심리학의 영역에서 두뇌의 활동을 연구하여 간질이나 발작을 알아내고 거짓말 탐지 분야에서도 사용된다. 본 논문에서는 사람의 두뇌활동을 측정하여 인간의 감정을 인식하는 연구에 중점을 두었다. 특히, fMRI와 TRS 그리고 EEG를 이용해서 사람의 두뇌 활동을 측정하는 연구를 하였다. 많은 연구자들이 한 가지 측정 장치만을 사용하여서 측정하거나 fMRI와 EEG를 동시에 측정하는 연구를 진행하고 있다. 현재에는 단순히 두뇌의 활동을 측정하거나 측정 시 발생하는 잡음들을 제거하는 연구들에 중점을 두고 진행되고 있다. 본 연구에서는 fMRI와 TRS를 동시에 측정하여 얻은 두뇌 활동 데이터를 가지고 감정에 따른 활동영역의 EEG 신호를 측정하였다. EEG 신호분석에 있어서 기존의 뇌파만을 가지고 특징을 찾아내는 것을 넘어서 각각의 채널에서 기록되는 뇌파의 파형을 주파수에 따라서 분류하고 정확한 측정을 위해 낮은 주파수를 제거하고 연구자가 필요한 부분의 뇌파를 분석하였다.
Many researchers are studying brain activity to using functional Magnetic Resonance Imaging (fMRI), Time Resolved Spectroscopy(TRS), Electroencephalography(EEG), and etc. They are used detection of seizures or epilepsy and deception detection in the main. In this paper, we focus on emotion recogniti...
Many researchers are studying brain activity to using functional Magnetic Resonance Imaging (fMRI), Time Resolved Spectroscopy(TRS), Electroencephalography(EEG), and etc. They are used detection of seizures or epilepsy and deception detection in the main. In this paper, we focus on emotion recognition by recording brain waves. We specially use fMRI, TRS, and EEG for measuring brain activity Researchers are experimenting brain waves to get only a measuring apparatus or to use both fMRI and EEG. This paper is measured that we take images of fMRI and TRS about brain activity as human emotions and then we take data of EEG signals. Especially, we focus on EEG signals analysis. We analyze not only original features in brain waves but also transferred features to classify into five sections as frequency. And we eliminate low frequency from 0.2 to 4Hz for EEG artifacts elimination.
Many researchers are studying brain activity to using functional Magnetic Resonance Imaging (fMRI), Time Resolved Spectroscopy(TRS), Electroencephalography(EEG), and etc. They are used detection of seizures or epilepsy and deception detection in the main. In this paper, we focus on emotion recognition by recording brain waves. We specially use fMRI, TRS, and EEG for measuring brain activity Researchers are experimenting brain waves to get only a measuring apparatus or to use both fMRI and EEG. This paper is measured that we take images of fMRI and TRS about brain activity as human emotions and then we take data of EEG signals. Especially, we focus on EEG signals analysis. We analyze not only original features in brain waves but also transferred features to classify into five sections as frequency. And we eliminate low frequency from 0.2 to 4Hz for EEG artifacts elimination.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존에 하던 연구에 약간의방향과 방법을 바꿔서 연구를 하였다. 기존의 뇌파 측정의이유는 발작이나 수면상태 등의 사람의 상태를 이용한 의학분야나 정신학적인 측면에서 연구 되었지만, 본 연구는 공학적인 측면에서 적용을 위해 사람의 감정을 인식하는 방향으로 연구를 하였다. 그리고 연구 방법에서는 fMRI와 TRS를동시에 측정한 후에 EEG를 측정하는 방법을 선택하였다.
3] 이와 같이 연구들이 한 가지의 측정 방법이 아닌 여러가지를 동시에 사용해서 측정하는 것이 근래에 연구 방향이라고 할 수 있다. 본 논문에서는 기존에 하던 연구에 약간의방향과 방법을 바꿔서 연구를 하였다. 기존의 뇌파 측정의이유는 발작이나 수면상태 등의 사람의 상태를 이용한 의학분야나 정신학적인 측면에서 연구 되었지만, 본 연구는 공학적인 측면에서 적용을 위해 사람의 감정을 인식하는 방향으로 연구를 하였다.
특히, 범주적 모형에 근거한 기본정서 이론을 주도해온 Ekmane 행복(happy), 놀람(surprise), 공포(fear), 분노(anger), 혐오(disgust), 슬픔 (sad)의 6가지의 정서가 기본정서라고 주장하였다[11]. 본 논문에서는 사람의 기본 감정을 Ekman의 정의에 기준으로 해서 6가지 감정을 정하고 그 6가지 감정들을 유발 시켜서 감정에 따른 뇌파를 분석하였다. 본 논문에 정한 감정은 기쁨, 두려움, 슬픔, 즐거움, 화남, 혐오의 6가지를 잡았다.
특히, 사람의 생체 신호 중에서도 뇌파에 관한 연구가 빠르게 진행되어져 가고 있다. 본 논문에서는 생체신호 중에서 뇌파에 관한 연구를 중점을 두고 뇌파를 분석해서 사람의 감정을 인식하는 방향으로 논문을 기술하였다. 뇌를 연구하는 분야에서 주로 사용하는 측정방법으로 fMRI와 EEG등을 이용해서 연구를 하고 있다.
그리고 연구 방법에서는 fMRI와 TRS를동시에 측정한 후에 EEG를 측정하는 방법을 선택하였다. 특히, 측정된 EEG 신호를 분석하는데 중점을 두고 연구를 하였다. Junya TANAKAS 실험에서의 EEG 측정 기술의 개발을 연구하면서 보다 더 정확한 신호추출에 중점을 두었다.
제안 방법
EEG 실험에서는 8개의 전극 센서를 피 실험자의 두피에부착하고 측정 실험을 하였다. 측정된 결과 값들은 RS-232 시리얼 포트를 이용해서 PC에 데이터로 전송되어 진다.
특히, 측정된 EEG 신호를 분석하는데 중점을 두고 연구를 하였다. Junya TANAKAS 실험에서의 EEG 측정 기술의 개발을 연구하면서 보다 더 정확한 신호추출에 중점을 두었다. 추출을 위해서 ICA를 사용하였다[5丄 EEG의 잡음을 제거하기 위한 것이 많은 연구의 중점으로 되고 있는 현실이다.
인지 및 정서실험을 통해서 실험하는 동안 혈류내의 oxyhemoglobin, doxy hemoglobin, total hemoglobin의 농도와 SO2를 측정하였다. TRS를 통해서 fMRI만을 사용했을 때보다 보다 더 세밀한변화를 알 수 있게 만들었다[9丄 그리고 fMRI의 사진을 통해서 활성화 되는 부분에 EEG 실험 장치를 하고 신호를 측정하는 방법을 선택하였다.
해결에도 해결방법을 제시하였다. 각각의 측정된 신호에서 눈의 움직임에 의한 안전도 혼입, 안면 근 수축에 의한근전도 혼합, 몸 움직임 또는 전극선 흔들림에 의한 diift에의한 잡음들은 낮은 주파수에서 일어나는 현상이므로 0~ 4Hz의 낮은 주파수의 6파를 제거하고 각각의 뇌파를 분석하였다.
상대 값을 계산하였다. 그리고 그 계산 값을 분석하는 방법으로 EEG 신호의 결과를 분석하였다. [그림 12]는 EEG 신호의 예를 보여준다.
전극 부착을 위한 좌표는 국제적으로 명명된 MCN 시스템을사용하지만, 본 논문에서는 채널이 8채널이라서 작은 채널에일반적으로 사용하고 있는 10/20전극시스템을 사용하였다. 그리고 실험에서 실험의 자극은 사진의 자극이 아닌 시청각자극을 사용하여 감정 유발을 하였다.
특히, 몸의 움직임, 심장박동, 눈꺼풀의 움직임 같은 1초에 4~5회도 되지 않는 낮은 주파수의 잡음들이 섞여있는 5 파를 제거하고 분석을 하였다. 그리고 얻은 데이터들은 각각의 특정 범위의 주파수로 나누고 주파수마다의 상대적인 값을 사용하여서 감정인식에 사용하였다. 실험결과를 보면 disgust(혐오) 감정은 다른 EEG 신호의 큰 차이를 보였지만, fear와 joy, anger감정과 sad감정은 비슷한 뇌 파신호를 결과로 얻을 수 있었다.
기존의 뇌파 측정의이유는 발작이나 수면상태 등의 사람의 상태를 이용한 의학분야나 정신학적인 측면에서 연구 되었지만, 본 연구는 공학적인 측면에서 적용을 위해 사람의 감정을 인식하는 방향으로 연구를 하였다. 그리고 연구 방법에서는 fMRI와 TRS를동시에 측정한 후에 EEG를 측정하는 방법을 선택하였다. 특히, 측정된 EEG 신호를 분석하는데 중점을 두고 연구를 하였다.
먼저, fMRI와 TRS를 감정에 따라 동시에 측정하여 두뇌의 활성영역을 살펴보았다. fMRI와 TRS의 동시 실험은 충남대 손진훈 교수에 의해서 세계최초로 실험되었다.
본 논문에서는 사람의 기본 감정을 Ekman의 정의에 기준으로 해서 6가지 감정을 정하고 그 6가지 감정들을 유발 시켜서 감정에 따른 뇌파를 분석하였다. 본 논문에 정한 감정은 기쁨, 두려움, 슬픔, 즐거움, 화남, 혐오의 6가지를 잡았다. 그리고감정 유발을 위해서 일반적인 사진을 보여주는 방법이 아닌시청각 자료를 사용하였다.
형태가 나오게 된다. 본 논문에서는 각각의 측정된 신호들을 Fast Fourier transform(FFT)에 의해서 주파수 별로 분석하는 Power Spectrum 분석을 사용하였다. [그림 5]는측정된 뇌파를 Power Spectrum분석을 통해서 나온 신호들을 나타낸 그림이다.
본 논문은 TRS와 fMRI의 사진을 통해서 감정에 따른 뇌활성 부분을 알고 그 부분에 EEG 신호 측정에 그 위치에 자극 센서를 가지고 측정하였다. 그리고 측정된 EEG 신호는 FFT를 이용한 Power Spectrum 분석을 통해서 분석을 한다.
또한 이런 EEG 신호들의 data Mining에 대한 연구도 있다[8]. 본 연구에도 EEG 신호를 측정하는데 Fast Fourier transform(FFT) 에 의한 Power Spectrum 분석을 하였다. 그리고 실험상에서 목의 움직임, 맥박, 눈의 깜박임과 같은 낮은 주파수에 발생하는 잡음들을 제거하기 위해서。~4Hz의 6파를 시뮬레이터 상에서 제거하고 분석을했다.
실험 후에 감정에 따라 5가지 주파수의 영역으로 나누고 1~4Hz의 영역은 주파수는 제거하고 4~50Hz에 대한 각각의 상대 값을 계산하였다. 그리고 그 계산 값을 분석하는 방법으로 EEG 신호의 결과를 분석하였다.
이 값들을 통해서 뇌파를 분석하였다. 이 분석을통해 보다 정밀한 뇌파를 분석하고 감정에 따른 뇌파의 측정결과를 확인할 수 있다.
여기서 TRS측정 근적외선(700T000 nm)을 뇌 조직으로 통과시켜그때 흡수되고 산란되는 광량을 측정하여 뇌 혈류속의 헤모글로빈의 변화를 측정하는 기술방식이다. 인지 및 정서실험을 통해서 실험하는 동안 혈류내의 oxyhemoglobin, doxy hemoglobin, total hemoglobin의 농도와 SO2를 측정하였다. TRS를 통해서 fMRI만을 사용했을 때보다 보다 더 세밀한변화를 알 수 있게 만들었다[9丄 그리고 fMRI의 사진을 통해서 활성화 되는 부분에 EEG 실험 장치를 하고 신호를 측정하는 방법을 선택하였다.
전극 부착을 위한 좌표는 국제적으로 명명된 MCN 시스템을사용하지만, 본 논문에서는 채널이 8채널이라서 작은 채널에일반적으로 사용하고 있는 10/20전극시스템을 사용하였다. 그리고 실험에서 실험의 자극은 사진의 자극이 아닌 시청각자극을 사용하여 감정 유발을 하였다.
특히, 뇌파의 분석에서 가장 주안점이 되고 있는 잡음 문제의 해결에도 해결방법을 제시하였다. 각각의 측정된 신호에서 눈의 움직임에 의한 안전도 혼입, 안면 근 수축에 의한근전도 혼합, 몸 움직임 또는 전극선 흔들림에 의한 diift에의한 잡음들은 낮은 주파수에서 일어나는 현상이므로 0~ 4Hz의 낮은 주파수의 6파를 제거하고 각각의 뇌파를 분석하였다.
그리고 측정된 EEG 신호는 FFT를 이용한 Power Spectrum 분석을 통해서 분석을 한다. 특히, 몸의 움직임, 심장박동, 눈꺼풀의 움직임 같은 1초에 4~5회도 되지 않는 낮은 주파수의 잡음들이 섞여있는 5 파를 제거하고 분석을 하였다. 그리고 얻은 데이터들은 각각의 특정 범위의 주파수로 나누고 주파수마다의 상대적인 값을 사용하여서 감정인식에 사용하였다.
대상 데이터
EEG 실험도 fMRI의 실험과 같이 6가지 감정을 유발하기위해서 시청각 자료를 사용하여 실험을 하였다. [그림 11]은 EEG 실험을 위해 전극을 부착하고 시청각 자료를 보면서실험을 하는 모습을 보여준다.
활성영역을 살펴보았다. fMRI와 TRS의 동시 실험은 충남대 손진훈 교수에 의해서 세계최초로 실험되었다.
본 논문에 정한 감정은 기쁨, 두려움, 슬픔, 즐거움, 화남, 혐오의 6가지를 잡았다. 그리고감정 유발을 위해서 일반적인 사진을 보여주는 방법이 아닌시청각 자료를 사용하였다. 시청각 자료는 한국인의 일반적인 정서에 맞춘 시청각 자료를 사용하였다.
그리고감정 유발을 위해서 일반적인 사진을 보여주는 방법이 아닌시청각 자료를 사용하였다. 시청각 자료는 한국인의 일반적인 정서에 맞춘 시청각 자료를 사용하였다. 대부분을 영화의한 부분이나 동영상들을 보여주면서 실험을 하였다.
측정된 결과 값들은 RS-232 시리얼 포트를 이용해서 PC에 데이터로 전송되어 진다. 이측정 장비는 8개의 채널을 가진 LAXTHA에서 제공되는 QEEG-8장비를 사용해서 실험 측정을 하였다.
데이터처리
센서를 가지고 측정하였다. 그리고 측정된 EEG 신호는 FFT를 이용한 Power Spectrum 분석을 통해서 분석을 한다. 특히, 몸의 움직임, 심장박동, 눈꺼풀의 움직임 같은 1초에 4~5회도 되지 않는 낮은 주파수의 잡음들이 섞여있는 5 파를 제거하고 분석을 하였다.
성능/효과
그리고 얻은 데이터들은 각각의 특정 범위의 주파수로 나누고 주파수마다의 상대적인 값을 사용하여서 감정인식에 사용하였다. 실험결과를 보면 disgust(혐오) 감정은 다른 EEG 신호의 큰 차이를 보였지만, fear와 joy, anger감정과 sad감정은 비슷한 뇌 파신호를 결과로 얻을 수 있었다.
후속연구
또한 공학적인 접근을 위해서 이런 감정값들을 이용해서 사람의 감정에 따른 다양한 서비스 제공도 필요하고 뇌파만이 아닌 다른 센서와 융합하는 기술 또한 필요할 것이다. 그리고 뇌파 측정에 있어서 보다 편리하고 강한측정방법의 개발도 필요할 것이다.
더 명확한 감정을 알 수 있는 연구가 필요하다. 그리고 이뇌파 분석에 있어서 Fuzzy System, Genetic Algorithm, Neural Network 같은 신경망을 이용한 연구도 같이 진행되어야 할 것이다. 또한 공학적인 접근을 위해서 이런 감정값들을 이용해서 사람의 감정에 따른 다양한 서비스 제공도 필요하고 뇌파만이 아닌 다른 센서와 융합하는 기술 또한 필요할 것이다.
그리고 이뇌파 분석에 있어서 Fuzzy System, Genetic Algorithm, Neural Network 같은 신경망을 이용한 연구도 같이 진행되어야 할 것이다. 또한 공학적인 접근을 위해서 이런 감정값들을 이용해서 사람의 감정에 따른 다양한 서비스 제공도 필요하고 뇌파만이 아닌 다른 센서와 융합하는 기술 또한 필요할 것이다. 그리고 뇌파 측정에 있어서 보다 편리하고 강한측정방법의 개발도 필요할 것이다.
차후에는 a 나 0의 영역만이 아니라 우리가 원하는 주파수의 영역을 분석해야하고 분석에 있어서도 감정에 따른 많은 변화를 보이는 주파수를 연구해서 보다 작은 주파수에서도 더 명확한 감정을 알 수 있는 연구가 필요하다. 그리고 이뇌파 분석에 있어서 Fuzzy System, Genetic Algorithm, Neural Network 같은 신경망을 이용한 연구도 같이 진행되어야 할 것이다.
참고문헌 (13)
Kazuhiko, Takahashi, 'Remarks on Emotion Recognition from Multi-Modal Bio-Potential Signal,' IEEE International Conference on Industrial Technology (ICIT), 2004
G.J. M Huiskamp, 'Reduction of the Ballistocardiogram Artifact in Simultaneous EEG-fMRI using ICA,' Proc. of the IEEE Engineering in Medicine and Biology 27th Annual Conference, September 2005
Zhongming Liu, Bin He, 'A New Multimodal Imaging Strategy for integrating fMRI with EEG,' Proc. of the 28th IEEE EMBS Annual International Conference, August 2006
J.C. de Munck, SI Goncalves, PWJ Pouwels, JPA Kuijer, RM Heethaar, FH Lopes da Silva, 'Signal Processing Aspects of Simultaneously Recorded EEG, Pulse and fMRI,' Proc. of the 3rd IEEE International Biomedical Imaging : Macro to Nano, April 2006
Mark D. Korhonen, David A. Clausi, M. Ed Jernigan, 'Modeling Emotional Content of Music Using System Identification,' IEEE Trans. on Systems, Man, and Cybernetics-Part B : Cybernetics, vol. 36, no. 3, June 2006
Junya Tanaka, Mitsuhiro Kimura, Naoya Hosaka, Hiroyuki Sawaji, Kenichi sakakura, Kazushige Magtani, 'Decelopment of the EEG measurement technique under exercising,' Proc. of the 2005 IEEE Engineering in Medicine and Biology 27th Annual Conference, Septerber 2005
Arnaud Delorme, Scott Makeig, 'EEG Changes Accompanying Learned Regulation of 12-Hz EEG Activity,' IEEE Trans. of Neural System and Rehabilitation Engineering, vol. 11, no. 2, June 2003
Tamn Madan, Rajeev Agarwal, M.N.S. Swamy, 'Compression of long-term EEG using Power Spectral Density,' Proc. of the 26th Annual Internatioal Conference of the IEEE EMBS, September 2004
Pari Jahankhani, Kenneth Revett, Vassilis Kodogiannis, 'Data Mining an EEG Dataset With an Emphasis on Dimensionality Reduction,' Proc. of the 2007 IEEE Symposium on Computational Intelligence and Data Mining, pp. 405-412, April 2007
이옥현, 석지아, 박미숙, 엄진섭, 권애란, 손진훈, '부정 정서와 관련된 뇌 활성화 영역', Proc. of KFIS Spring Conference, vol. 12, no. 1, 2006
Russell, J.A., 'Evidence of convergent validity on the dimensions of affect,' Journal of Personality and Social Psychology. 36. 1152-1168
Ekman, P, 'Universals and cultural differences in facial expressions of emotion,' In J. Cole (Ed.), Nebraska Symposium on Motivation 1971. 19. 207-283. Lincoln, NE: University of Nebraska Press
Wakako Nakamura, Kimitaka Anami, Takeyuki mori, Osamu Saitoh, Andrzej Cichocki, Shun-ichi Amari, 'Removal of Ballistcardiogram Artifacts From Simultaneously Recorded EEG and fMRI Data Using Independent Component Analysis,' IEEE Trans. Biomedical Engineering, Vol.53, No.7, July 2006
※ AI-Helper는 부적절한 답변을 할 수 있습니다.