[논문]생체 신호와 몸짓을 이용한 감정인식 방법

김호덕; 양현창; 심귀보

doi:10.5391/jkiis.2007.17.3.322

생체 신호와 몸짓을 이용한 감정인식 방법
Emotion Recognition Method using Physiological Signals and Gestures 원문보기

퍼지 및 지능시스템학회 논문지 = Journal of fuzzy logic and intelligent systems, v.17 no.3, 2007년, pp.322 - 327

김호덕 (중앙대학교 전자전기공학부) , 양현창 (중앙대학교 전자전기공학부) , 심귀보 (중앙대학교 전자전기공학부)

초록
AI-Helper

심리학 분야의 연구자들은 Electroencephalographic(EEG)을 오래전부터 인간 두뇌의 활동을 측정 기록하는데 사용하였다. 과학이 발달함에 따라 점차적으로 인간의 두뇌에서 감정을 조절하는 기본적인 영역들이 밝혀지고 있다. 그래서 인간의 감정을 조절하는 인간의 두뇌 활동 영역들을 EEG를 이용하여 측정하였다. 손짓이나 고개의 움직임은 사람들 사이에 대화를 위한 인간의 몸 언어로 사용된다. 그리고 그것들의 인식은 컴퓨터와 인간 사이에 유용한 회화수단으로 매우 중요하다. 몸짓에 관한 연구들은 주로 영상을 통한 인식 방법이 주를 이루고 있다. 많은 연구자들의 기존 연구에서는 생체신호나 몸짓중 한 가지만을 이용하여 감정인식 방법 연구를 하였다. 본 논문에서는 EEG 신호와 몸짓을 같이 사용해서 사람의 감정을 인식하였다. 그리고 인식의 대상자를 운전자라는 특정 대상자를 설정하고 실험을 하였다. 실험 결과 생체신호와 몸짓을 같이 사용한 실점의 인식률이 둘 중 한 가지만을 사용한 것보다 높은 인식률을 보였다. 생체신호와 몸짓들의 특징 신호들은 강화학습의 개념을 이용한 IFS(Interactive Feature Selection)를 이용하여 특징 선택을 하였다.

Abstract ▼ AI-Helper

Researchers in the field of psychology used Electroencephalographic (EEG) to record activities of human brain lot many years. As technology develope, neural basis of functional areas of emotion processing is revealed gradually. So we measure fundamental areas of human brain that controls emotion of human by using EEG. Hands gestures such as shaking and head gesture such as nodding are often used as human body languages for communication with each other, and their recognition is important that it is a useful communication medium between human and computers. Research methods about gesture recognition are used of computer vision. Many researchers study emotion recognition method which uses one of physiological signals and gestures in the existing research. In this paper, we use together physiological signals and gestures for emotion recognition of human. And we select the driver emotion as a specific target. The experimental result shows that using of both physiological signals and gestures gets high recognition rates better than using physiological signals or gestures. Both physiological signals and gestures use Interactive Feature Selection(IFS) for the feature selection whose method is based on a reinforcement learning.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그리고 소수의 연구자들은 얼굴 표정과 몸짓, 음성과 영상에 대한 신호등 여러 가지의 신호들을 같이 사용하는 연구들도 시도되었다. 본 논문에서는 기존에 사용하던 생체신호와 몸짓을 동시에 사용하여서 인간의 감정을 인식하는 방법을 제시하였다. 생체신호로는 EEG 신호를 가지고 생체신호를 감지하였고, 몸짓은 손의 움직임과 고개의 움직임 등을 감지하였다.
주장하였다[13]. 본 논문에서는 운전 시에 느끼는 감정을 주안점으로 잡았다. 위에서 구분한 기본정서 중에서 행복, 분노(흥분), 평상시와 졸림이라는 운전 시에 중요한 인식부분이 4가지로 정하고 같이 실험을 하였다.
본 논문은 음성, 영상, 생체신호, 그리고 몸짓 4가지 중에 한 가지만을 사용하여서 사람의 감정을 인식하던 방법에서 사람의 생체신호와 몸짓을 동시에 사용하여서 사람의 감정을 인식하는 방법을 제안하있다. 생체신호로는 EEG신호를 사용하였고, 몸짓으로는 운전자의 특수한 감정상황에 따른 행동으로 정의하였다.
[1] 현제 EEG 신호 실험은 초기단계에 머물러있는 실정이다. 본 실험에서는 EEG 신호와 제스처를 동시에 사용해서 피 실험자의 감정을 인식하는 실험을 하였다. 특히, 실험에서는 특정 상황을 부여하고 그 상황에서 따른 감정행동을 정의하고 실험을 하였다.

가설 설정

[4] 또한 EEG 신호를 이용한 사람의 감정인식도 시도되고 있다.[1] 현제 EEG 신호 실험은 초기단계에 머물러있는 실정이다. 본 실험에서는 EEG 신호와 제스처를 동시에 사용해서 피 실험자의 감정을 인식하는 실험을 하였다.

제안 방법

그리고 여러가지 감정을 상태를 만들기 위해서 플로리다대학 심리학과 Peter Lang 교수가 개발하여 국제적으로 통용되고 있는 표준화된 감성자극 체계인 국제 정서 사진 체계(International Affective Picture System, LAPS)의 그림 5의 사진들을 이용하고 동영상과 오디오 자극을 통해서 감성측정 실험을 하였다.
그리고 피 실험자에서 먼저 실험내용을 말해주고 안정을 취하게 하고 나서 감정 유발 사진과 영상을 피 실험자의 EEG 신호를 기록하면서 그때 피 실험자가 할 수 있는 행동도 측정하였다. 행동센서는 손목과 머리 부분에 장치를 부착시킨다.
생체신호로는 EEG신호를 사용하였고, 몸짓으로는 운전자의 특수한 감정상황에 따른 행동으로 정의하였다. 몸짓 인식에 있어서는 기존에 카메라로 주로 인식하는 방법에서 벗어나 자이로 센서와 가속도 센서를 사용하여서 피 실험자의 움직임을 측정하였다. 본 논문의 실험결과 특정 상황에서 한 가지만 가지고 감정 인식할 때 인식률이 떨어지는 것을 EEG 신호와 몸짓의 두 가지를 같이 사용해서 감정언식을 함으로서 사람의 감정 인식률을 더 높아짐을 알 수 있다.
몸짓 인식은 주로 카메라의 영상이나 몸의 센서를 부착해서 그것을 감지해서 몸짓을 인식하는 등의 방법으로 인식을 한다[8]. 본 논문에서는 몸짓을 카메라 영상이 아닌 자이로 센서와 가속도 센서를 이용한 생체 행동 인식 시스템을 이용하여서 감지하였다. 피 실험자들에게 여러가지 감정 상황에 따라 그 생체신호와 몸짓의 신호들을 측정하는 실험을 하였다.
방법을 제안하있다. 생체신호로는 EEG신호를 사용하였고, 몸짓으로는 운전자의 특수한 감정상황에 따른 행동으로 정의하였다. 몸짓 인식에 있어서는 기존에 카메라로 주로 인식하는 방법에서 벗어나 자이로 센서와 가속도 센서를 사용하여서 피 실험자의 움직임을 측정하였다.
피 실험자들에게 여러가지 감정 상황에 따라 그 생체신호와 몸짓의 신호들을 측정하는 실험을 하였다. 실험 결과를 각각의한 가지만을 사용한 감정 인식률과 두 가지 같이 사용했을 때의 감정 인식률을 비교 실험하였다.
실험 과정은 피 실험자가 PC와 인터렉션을 통해서 자신의 상태를 이야기하고 그때의 EEG 신호를 측정하였다. 그리고 피 실험자에서 먼저 실험내용을 말해주고 안정을 취하게 하고 나서 감정 유발 사진과 영상을 피 실험자의 EEG 신호를 기록하면서 그때 피 실험자가 할 수 있는 행동도 측정하였다.
이렇게 4가지 정서와 인지를 가지고 실험을 하였다. 실험에서 사진과 오디오의 자극을 통한 감정을 유발하였고 실험에는 EEG 측정과 행동인식 측정을 위한 두 개의 장비를 사용하여서 신체 신호들을 추출하였다. 실험 장소는 실험실의 작은 방에서 운전자 시뮬레이터에 앉은 상태에서 그림 4와 같이 운전을 하는 자세로 각각에 표시된 부분에 실험 장치를 꾸미고 실험을 하였다.
본 논문에서는 운전 시에 느끼는 감정을 주안점으로 잡았다. 위에서 구분한 기본정서 중에서 행복, 분노(흥분), 평상시와 졸림이라는 운전 시에 중요한 인식부분이 4가지로 정하고 같이 실험을 하였다. 졸림은 비 각성상태에서 평안한 상태인 피곤(Tired) 한 상태와 비슷하기도 하다.
있는 감정 중에 대표즈인 감정들을 선택했다. 이 감정에 따른 운전자 서비스를 제공하기 위해서 4가지를 선택해서 실험하였다. 행등은 각각의 감정에 따라 발생할 수 있는 행동으로 정의해서 그 행동들을 측정하였다.
본 실험에서는 EEG 신호와 제스처를 동시에 사용해서 피 실험자의 감정을 인식하는 실험을 하였다. 특히, 실험에서는 특정 상황을 부여하고 그 상황에서 따른 감정행동을 정의하고 실험을 하였다. 실험에서 피 실험자에게 사진과 영상을 통해서 감정을 유발하고 그때의 생체신호(EEG 신호)와 몸짓들의 센싱 값들을 PC상에서 특정 값으로 받게 된다.
본 논문에서는 몸짓을 카메라 영상이 아닌 자이로 센서와 가속도 센서를 이용한 생체 행동 인식 시스템을 이용하여서 감지하였다. 피 실험자들에게 여러가지 감정 상황에 따라 그 생체신호와 몸짓의 신호들을 측정하는 실험을 하였다. 실험 결과를 각각의한 가지만을 사용한 감정 인식률과 두 가지 같이 사용했을 때의 감정 인식률을 비교 실험하였다.
행동인식 측정을 실험을 위해서 그림 2와 같이 3개의 자이로 센서와 2개의 2축 가속도 센서 그리고 ATMEGA16을 컨트롤러로 사용하는 3축 자이로(각속도) 및 가속도 센싱 시스템을 개발하였다. 이 실험 장치는 피 실험자의 손목, 머리등의 여러 부위에 부착해서 피 실험자의 움직임을 인식해서 움직임에 대한 센싱 데이터 값들을 블루투스 통신을 통해 무선으로 실험 PC에 전송되어진다.

이론/모형

실험에서 피 실험자에게 사진과 영상을 통해서 감정을 유발하고 그때의 생체신호(EEG 신호)와 몸짓들의 센싱 값들을 PC상에서 특정 값으로 받게 된다. 그리고 그 특징 값들은 강화학습의 개념을 이용한 IFS(Interactive Feature Selection)를 이용하여 특징 선택을 통해 실험하였다.

성능/효과

떨어진다. 그래서 제스처의 데이터와 함께 사용함으로써 각각의 감정율의 인식률을 높이는 효과를 가져 올 수 있었다. 사람들의 감정에 따른 인식률은 감정에 따라 큰 차이가 있다.
보통 사람이 감정을 인식하는 인식률은 60%인데 EEG 신호와 제스처를 같이 사용함해서 사람의 감정을 인식한 것과 사람의 인식률은 거의 비슷한 수준의 인식률을 보이면서 사람의 감정을 인시하게 되었다[3]. 그러므로 EEG 신호와 몸짓을 같이 사용함으로써 감정인식의 인식률을 높일 수 있었다.
몸짓 인식에 있어서는 기존에 카메라로 주로 인식하는 방법에서 벗어나 자이로 센서와 가속도 센서를 사용하여서 피 실험자의 움직임을 측정하였다. 본 논문의 실험결과 특정 상황에서 한 가지만 가지고 감정 인식할 때 인식률이 떨어지는 것을 EEG 신호와 몸짓의 두 가지를 같이 사용해서 감정언식을 함으로서 사람의 감정 인식률을 더 높아짐을 알 수 있다. 차후에 이런 실험결과를 통해서 다양한 상황에 따라 에이전트들의 감성을 인식해서 서비스해주는 분야에 사용되고 여러가지 알고리즘을 이용해서 보다 더 높은 인식률을 가젤 수 있게 하는 일이 필요할 것이다.
본 논문에서는 기존에 사용하던 생체신호와 몸짓을 동시에 사용하여서 인간의 감정을 인식하는 방법을 제시하였다. 생체신호로는 EEG 신호를 가지고 생체신호를 감지하였고, 몸짓은 손의 움직임과 고개의 움직임 등을 감지하였다. EEG 신호는 심리학적 분야에서 인간의 두뇌의 활동을 기록 측정하기 위해서 오래전부터 사용해왔다.

후속연구

본 논문의 실험결과 특정 상황에서 한 가지만 가지고 감정 인식할 때 인식률이 떨어지는 것을 EEG 신호와 몸짓의 두 가지를 같이 사용해서 감정언식을 함으로서 사람의 감정 인식률을 더 높아짐을 알 수 있다. 차후에 이런 실험결과를 통해서 다양한 상황에 따라 에이전트들의 감성을 인식해서 서비스해주는 분야에 사용되고 여러가지 알고리즘을 이용해서 보다 더 높은 인식률을 가젤 수 있게 하는 일이 필요할 것이다.

참고문헌 (13)

Kazuhiko, Takahashi, 'Remarks on Emotion Recognition from Multi-Modal Bio-Potential Signal,' IEEE International Conference on Industrial Technology(ICIT), 2004
R. W. Picard. AFFECTIVE COMPUTING. The MIT PHESS, 1997
양현창, 김호덕, 박창현, 심귀보, '감정인식을 위한 Interactive Feature Selection(IFS) 알고리즘,' 퍼지 및 지능정보시스템학회 논문지, 제16권, 제6호, pp 647-652, 2006

원문보기 상세보기
Anna Caterina Merzagora, Scott Bunce, Meltem Izzetoglu, Banu Onaral, 'Wavelet analysis for EEG feature extraction in deception detection,' Proc. of the 28th IEEE EMBS Annual International Conference, USA, August 2006
Elif Dcrya Ubeyli, 'Fuzzy Similarity Index For Discrimination Of EEG Signals,' Proc. of the 28th IEEE EMBS Annual International Conference, USA, August 2006
Shusaxu shigemura, Toshihiro Nishimura, Masayoshi tsubai, Hirokazu yokoi, 'An Investigation of EEG Artifacts Elimination using a Neural Network with Non-recursive 2nd order Volterra filters,' Proc. of the 286th IEEE EMBS Annual International Conference, USA, September 2004
Hojjat Adeli, Samanwoy Ghosh-Dastidar, Nahid Dadmelr, 'A wavelet-Chaos Methodology for Analysis of EEGs and EEG Subbands to Detect Seizure and Epilepsy,' IEEE Transactions on Biomedical Engineering, Vol. 54, no. 2, February 2007
Masumi Ishikawa and Naohiro Sasaki, 'Gesture Recognition based on SOM using Multiple Sensors,' Proc. of the 9th International Conference on Neural Information Processing, Vol. 3, pp 1300-1304, November, 2002
R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, A bradford book, London, 1998
Mark D. Korhonen, and David A. Clausi, 'Modeling Emotional Content of Nusic Using System Identification,' IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybemetics, Vol. 36, No 3, June, 2002
Zhihong Zeng, Jilin Tu, Ming Liu, Thomas S. Huang, Brian Pianfetti, Dan Roth, and Stephen Levinson, 'Audio-Visual Affect Recognition,' IEEE Transactions on Multimedia, Vol. 9, No 2, February, 2007
Russell, J.A., 'Evidence of convergent validity on the dimensions of affect,' Journal of Personality and Social Psychology, 36, 1152-1168

상세보기
Ekman, P, 'Universals and cultural differences in facial expressions of emotion,' Int. J. Cole (Ed,), Nebraska Symposium on Motivation 1971. 19. 207-283. Lincoln, NE: University of Nebraska Press

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증