선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 또한 인간의 복잡한 감성을 인식하기 위하여 다각적인 측면에서 최적의 특성 모델을 고려하는 것이 중요하다. 따라서 본 연구에서는 선행 연구들을 확장하여 감성의 차원 모델(Russell, 1980) - 정서가(Valence)-각성(Arousal)의 2차원 공간에 감성의 정도를 표현한 모델- 의 각성 지표와 다중 생체신호를 동시에 반영한 신경망(Neural Network) 알고리즘을 적용하여 중립 및 부정 감성(슬픔, 공포, 놀람)을 인식할 수 있는 모델을 개발하고자 하였다.
제안 방법
- 제안하는 모델은 10개의 노드로 구성된 은닉층과 BPNN을 이용하여 학습시켰다. BPNN의 전달 함수는 입력과 출력 사이의 랜덤한 비선형 매핑을 얻을 수 있는 Sigmoid 활성 함수와 Softmax 출력층으로 구성하였다. 추출된 지표는 BPNN 분류기의 입력으로 사용되고 이를 기반으로 감성 자극을 위한 분류 인식기를 구현하였다.
- 이러한 과정은 각 감성 자극마다 반복되었고, 감성 상태와 자율신경계 반응이 안정 상태로 회복되도록 약 5분의 휴식시간을 가졌다. 감성 자극에 대한 순서 효과를 배제하기 위하여 실험 참가자마다 무선적으로 자극을 제시하였다(Fig. 1).
- 공포 자극으로 영화 ‘장화, 홍련(2002)’ 중 일부인 귀신이 여자 주인공에게 다가가는 장면이 선택되었다. 놀람 자극은 참가자들이 컴퓨터를 통해 게임 화면이 제시되는 동안 비명, 천둥, 유리 깨지는 소리 등의 청각 자극과 놀란 얼굴, 번개 등의 시각 사진 자극의 조합으로 구성하였다.
- 본 연구에서는 감성 분류 인식기의 입력으로 각 감성에서 추출한 생체지표 반응(안정 상태와 감성 상태) 을 사용하였다. 제안된 BPNN 알고리즘을 이용하여 각감성의 분류 인식기를 설계하고 평가하였다.
- 본 연구에서는 선행 연구들을 확장하여 각성 지표와 다중 생체신호를 기반으로 신경망(Neural Network) 알고리즘을 사용하여 중립 및 부정 감성(슬픔, 공포, 놀람)을 인식할 수 있는 분류기를 설계하였고 그에 대한 인식 평가를 수행하였다. 감성 자극으로부터 각성 평가 분포는 중립, 슬픔, 공포, 놀람 순서로 각성의 평균 반응이 높게 나타났으며 서론에 제시한 Russell(1980) 모델의 이론과 일치하였다(Fig.
- Jirayucharoensak(2014)는 EEG 신호로부터 감성을 추출하기 위해 심층 신뢰 신경망(Deep Belief Network, DBN)을 활용하여 SVM 및 Naive Bayes 분류기보다 더 나은 성능을 제공하였고 이를 통해 심층 신뢰 신경망이 EEG 기반의 감성 인식 분류기 로서 유망한 대안이라고 주장하였다. 본 연구에서는 역전파신경망 알고리즘을 사용하여 4개의 감성 자극을 분류하였다. 이를 통해 각성 평가 지표와 다중 생체신호의 지표를 기반으로 감성을 분류한 결과가 높은 성능을 나타난다는 것을 확인할 수 있었다.
- 부정 감성에 따른 생체지표 반응의 차이를 검증하기 위하여 2가지 상태(안정-감성)와 4가지 감성(중립, 슬픔, 공포, 놀람)에 따른 반복측정 이원변량분석(repeated measure analysis of variance)을 수행하였다(Table 1). 또한 Bonferroni 사후 검정을 통하여 부정 감성 간 차이를 확인하였다(Fig.
- 분석에 사용된 생체지표로써, 심박률(heart rate, HR), NN 간격의 표준편차(standard deviation of NN interval, SDNN), 피부전도수준(skin conductance level, SCL), 피부전도반응(skin conductance resp onse, SCR), 혈류량(blood volume pulse, BVP), 맥파전달시간(pulse transit time, PTT)을 추출하였다. HR은 중추신경계에 의해 제어되며 동방결절에서 종결되는 교감 신경 및 부교감 신경의 활성을 반영한다.
- 생체신호는 BIOPAC MP 150 및 AcqKnowledge 4.1(Biopac Systems, Goleta, CA)를 사용하여 250Hz 샘플링 속도로 측정되었다. 측정된 생체신호는 심전도(electrocardiogram, ECG), 광혈량도(pho toplethysmograpy, PPG), 피부전도도(electrodermal activity, EDA)이다.
- 생체신호를 분석하기 위하여 안정 상태 분석 구간은 감성 자극이 제시되기 직전 30초의 구간을 선택하였다. 감성 자극이 제시되는 감성 상태의 분석 구간은 실험 참가자의 자기-보고에 기초하여 실험 참가자가 가장 강한 감성을 경험했다고 보고한 감성 자극이 끝나기 전 30초를 선택하였다.
- 실험 참가자는 감성 자극을 보고 난 후, 자신이 경험한 감성에 대하여 감성 평가 설문지를 작성하였다. 설문지는 경험한 감성의 종류(예, 기쁨, 슬픔, 분노, 공포 등)와 그 강도를 보고하는 문항(1점: 매우 약함, 4점: 보통, 7점: 매우 강함), 자극으로부터 경험한 정서가와 각성 수준을 보고하는 문항(-4점: 불쾌 또는 안정, +4점: 쾌 또는 각성)과 감성을 가장 강하게 경험한 장면을 기술하는 주관식 문항으로 구성된다. 이러한 과정은 각 감성 자극마다 반복되었고, 감성 상태와 자율신경계 반응이 안정 상태로 회복되도록 약 5분의 휴식시간을 가졌다.
- 생체신호는 안정 상태(60초)와 감성 자극이 제시되는 감성 상태(60초~120초) 동안 기록되었다. 실험 참가자는 감성 자극을 보고 난 후, 자신이 경험한 감성에 대하여 감성 평가 설문지를 작성하였다. 설문지는 경험한 감성의 종류(예, 기쁨, 슬픔, 분노, 공포 등)와 그 강도를 보고하는 문항(1점: 매우 약함, 4점: 보통, 7점: 매우 강함), 자극으로부터 경험한 정서가와 각성 수준을 보고하는 문항(-4점: 불쾌 또는 안정, +4점: 쾌 또는 각성)과 감성을 가장 강하게 경험한 장면을 기술하는 주관식 문항으로 구성된다.
- 측정된 생체신호는 심전도(electrocardiogram, ECG), 광혈량도(pho toplethysmograpy, PPG), 피부전도도(electrodermal activity, EDA)이다. 심전도를 측정하기 위하여 양측 손목과 왼쪽 발목에 센서를 부착하였고, 피부전도도 측정을 위하여 왼손 중지와 검지의 가운데 마디에 전극을 부착하였다. 광혈량도 측정을 위하여 왼손 엄지의 끝 마디에 센서를 부착하였다.
- 본 연구에서는 감성 분류 인식기의 입력으로 각 감성에서 추출한 생체지표 반응(안정 상태와 감성 상태) 을 사용하였다. 제안된 BPNN 알고리즘을 이용하여 각감성의 분류 인식기를 설계하고 평가하였다. Fig.
- BPNN은 인공신경망(Artifitial neural network, ANN)을 학습시키기 위한 알고리즘으로 신경망에 결과값을 계산하여 기대값(target value)과 실제값(actual value)에 차이를 에러로 정의하고 에러의 최소치를 통해 원하는 결과값과 가장 근접한 가중치가 되도록 신경망을 역으로 학습시킨다. 제안하는 모델은 10개의 노드로 구성된 은닉층과 BPNN을 이용하여 학습시켰다. BPNN의 전달 함수는 입력과 출력 사이의 랜덤한 비선형 매핑을 얻을 수 있는 Sigmoid 활성 함수와 Softmax 출력층으로 구성하였다.
- 이들 자극은 중립, 슬픔, 공포와 놀람의 네 가지 감성을 유도하기 위한 자극으로 1~2분 동안 시청각 자극의 조합으로 구성되었다. 중립 자극은 12장의 의자 사진을 각 5초씩 반복으로 제작된 동영상으로, 정서적으로 중립을 유지하도록 유도하였다. 슬픔 자극은 한국 드라마 ‘네 멋대로 해라(2002)’에서 아버지의 죽음으로 아들이 슬퍼하는 모습의 일부 영상을 구성되었다.
- BPNN의 전달 함수는 입력과 출력 사이의 랜덤한 비선형 매핑을 얻을 수 있는 Sigmoid 활성 함수와 Softmax 출력층으로 구성하였다. 추출된 지표는 BPNN 분류기의 입력으로 사용되고 이를 기반으로 감성 자극을 위한 분류 인식기를 구현하였다. 학습데이터는 30-60%가 사용되었고 나머지는 분류 성능 평가에 사용되었다.
- 1(Biopac Systems, Goleta, CA)를 사용하여 250Hz 샘플링 속도로 측정되었다. 측정된 생체신호는 심전도(electrocardiogram, ECG), 광혈량도(pho toplethysmograpy, PPG), 피부전도도(electrodermal activity, EDA)이다. 심전도를 측정하기 위하여 양측 손목과 왼쪽 발목에 센서를 부착하였고, 피부전도도 측정을 위하여 왼손 중지와 검지의 가운데 마디에 전극을 부착하였다.
대상 데이터
- 슬픔 자극은 한국 드라마 ‘네 멋대로 해라(2002)’에서 아버지의 죽음으로 아들이 슬퍼하는 모습의 일부 영상을 구성되었다.
- 총 146명의 실험 참가자가 본 실험에 참여하였다. 이들의 성별은 남성 60명(41%), 여성 86명(59%)으로 평균 연령은 20.
- 추출된 지표는 BPNN 분류기의 입력으로 사용되고 이를 기반으로 감성 자극을 위한 분류 인식기를 구현하였다. 학습데이터는 30-60%가 사용되었고 나머지는 분류 성능 평가에 사용되었다.
데이터처리
- 감성 자극이 제시되는 감성 상태의 분석 구간은 실험 참가자의 자기-보고에 기초하여 실험 참가자가 가장 강한 감성을 경험했다고 보고한 감성 자극이 끝나기 전 30초를 선택하였다. SPSS ver.21.0(IBM, USA) 을 사용하여 감성 간 생체지표 반응의 차이를 검증하기 위한 통계 분석을 수행하였고, MATLAB(The MathWorks, Inc., MA, USA)을 활용하여 중립 및 부정 감성 인식 모델을 개발하기 위한 기계학습 및 분석을 수행하였다.
- 부정 감성에 따른 생체지표 반응의 차이를 검증하기 위하여 2가지 상태(안정-감성)와 4가지 감성(중립, 슬픔, 공포, 놀람)에 따른 반복측정 이원변량분석(repeated measure analysis of variance)을 수행하였다(Table 1). 또한 Bonferroni 사후 검정을 통하여 부정 감성 간 차이를 확인하였다(Fig. 3).
- 10)으로 중립에서 놀람 감성으로 갈수록 증가하였다. 또한 각성 평가 점수에 감성 간 차이를 확인하기 위하여 일원분산분석(one-way ANOVA)을 수행한 결과, 감성 간 유의한 차이를 보였다(F(3,580)= 464.83, p=.000). 또한 Bonferroni 사후 검정 결과, 공포와 놀람 감성은 통계적으로 유의한 차이를 보이지 않았고(p=.
이론/모형
- BPNN 모델의 성능을 평가하기 위한 지표로 Confusion Matrix(CM) 및 SN(Sensitivity), SP(Specificity), PPV(Positive Prediction Value), NPV(Negative Prediction Value) 성능 지표를 산출하여 성능 평가에 활용하였다.
- 본 연구에서는 감성 유발 자극으로, 타당도가 검증된 동영상 자극을 사용하였다(Park et al., 2011). 이들 자극은 중립, 슬픔, 공포와 놀람의 네 가지 감성을 유도하기 위한 자극으로 1~2분 동안 시청각 자극의 조합으로 구성되었다.
- 본 연구에서는 감성인식 분류기를 구현하기 위하여 역전파 신경망(Back Propagation Neural Network, BPNN)을 사용하였다. BPNN은 인공신경망(Artifitial neural network, ANN)을 학습시키기 위한 알고리즘으로 신경망에 결과값을 계산하여 기대값(target value)과 실제값(actual value)에 차이를 에러로 정의하고 에러의 최소치를 통해 원하는 결과값과 가장 근접한 가중치가 되도록 신경망을 역으로 학습시킨다.
성능/효과
- 9%로 높은 성능을 보여주었다. 60% 의 데이터를 학습했을 때 각 감성에 따른 분류 인식 결과는 중립 92.5%, 슬픔 82.3%, 공포 83.9%, 놀람 86.7%로 나타났다(Table 2). 또한 분류기의 성능 평가를 수행하였고 모든 자극에 대해서 SN는 82.
- 000)가 모두 유의함을 확인하였다. SCR에서는 모든 감성 간에 유의한 차이를 보였고(p=.000) 놀람 감성에서 SCR이 가장 높았다.
- p=.000), 그리고 상태와 감성 간의 상호작용효과(F(3,483)=70.928, ⧍η2=.306. p=.000)가 모두 유의함을 확인하였다.
- p=.000), 상태와 감성 간의 상호작용효과(F(3,483)=279.809, ⧍η2 =.635.p=.000)가 모두 유의함을 확인하였다.
- 감성에 따른 안정 상태와 감성 상태의 생체지표 반응을 살펴본 결과(Fig. 2), 중립 자극은 안정 상태와 감성 상태의 평균 생체지표가 크게 변하지 않았다. 그러나 슬픔, 공포, 놀람 감성으로 갈수록 HR, SDNN, SCL, SCR은 급격하게 증가하였고 BVP, PTT는 급격히 감소함을 보였다.
- 이러한 결과는 감성 평가가 다각적인 측면에서의 고려가 중요하다는 것을 확인할 수 있었다(Ebner & Fischer, 2014). 결과적으로 심리-생체지표를 활용하여 신경망 알고리즘을 통해 중립 및 부정 감성(슬픔, 공포, 놀람) 을 인식할 수 있는 모델을 개발하여 높은 분류 성능을 확인하였다.
- 2), 중립 자극은 안정 상태와 감성 상태의 평균 생체지표가 크게 변하지 않았다. 그러나 슬픔, 공포, 놀람 감성으로 갈수록 HR, SDNN, SCL, SCR은 급격하게 증가하였고 BVP, PTT는 급격히 감소함을 보였다. 모든 생체지표 반응에서 감성 자극 간 차이가 유의미하다는 것을 확인하였다(p<.
- 기술 통계 분석 결과, 각 각성 평가 점수의 평균은 중립(-1.96±1.21), 슬픔(1.43±1.58), 공포(3.37±0.74)와 놀람(3.21±1.10)으로 중립에서 놀람 감성으로 갈수록 증가하였다.
- 7%로 나타났다(Table 2). 또한 분류기의 성능 평가를 수행하였고 모든 자극에 대해서 SN는 82.3-95.2%, PN는 84.3-88.6%, PPV는 80.8-91.3%, NPV는 85.8-89.2%를 나타냈다(Table 3).
- 모든 생체지표 반응에서 감성 자극 간 차이가 유의미하다는 것을 확인하였다(p<.001).
- 2). 본 연구에서 공포와 놀람 감성에 대한 실험 참가자의 주관적 각성 정도가 통계적으로 유의하지 않았는데, 이는 두 감성은 주관적 각성 평가만으로는 감성을 분류하기 어렵다는 것을 의미한다.
- 001). 사후 검정 결과, 공포는 중립(p=.001)과 슬픔 감성(p=.000)에 비하여 유의하게 HR이 높았고, 놀람 감성 동안 HR은 슬픔에서보다 유의하게 높았다(p=.000).
- 설문지는 경험한 감성의 종류(예, 기쁨, 슬픔, 분노, 공포 등)와 그 강도를 보고하는 문항(1점: 매우 약함, 4점: 보통, 7점: 매우 강함), 자극으로부터 경험한 정서가와 각성 수준을 보고하는 문항(-4점: 불쾌 또는 안정, +4점: 쾌 또는 각성)과 감성을 가장 강하게 경험한 장면을 기술하는 주관식 문항으로 구성된다. 이러한 과정은 각 감성 자극마다 반복되었고, 감성 상태와 자율신경계 반응이 안정 상태로 회복되도록 약 5분의 휴식시간을 가졌다. 감성 자극에 대한 순서 효과를 배제하기 위하여 실험 참가자마다 무선적으로 자극을 제시하였다(Fig.
- 본 연구에서는 역전파신경망 알고리즘을 사용하여 4개의 감성 자극을 분류하였다. 이를 통해 각성 평가 지표와 다중 생체신호의 지표를 기반으로 감성을 분류한 결과가 높은 성능을 나타난다는 것을 확인할 수 있었다. 이러한 결과는 감성 평가가 다각적인 측면에서의 고려가 중요하다는 것을 확인할 수 있었다(Ebner & Fischer, 2014).
- X축(Training instances per class)은 학습 데이터 비율을 나타낸다. 학습 데이터의 비율에 따라 각성의 분류, 생체 지표의 분류, 각성과 생체지 표의 분류를 수행한 결과, 각성과 생체지표 분류를 통한 정확도가 가장 높았고, 60%의 데이터를 학습했을때 신경망은 86.9%로 높은 성능을 보여주었다. 60% 의 데이터를 학습했을 때 각 감성에 따른 분류 인식 결과는 중립 92.
후속연구
- 또한, 추후 연구는 보다 많은 인구 통계적 변수를 고려하여 다양한 감성 추출 방법을 포함한다면 다른 연구 결과보다 우수한 결과를 도출할 것으로 예상한다.
- 현재 사용자의 감성 인식을 위한 평가 기술은 설문지를 통해 수행하기 때문에 일상생활에서 각성 정도를 사용하기는 쉽지 않다. 그러나 이러한 한계는 모바일 기반의 온라인 각성 평가 기술 시스템을 개발하여 극복할 수 있고 온라인 기반 각성 평가 기술과 생체신호의 실시간 측정이 가능한 웨어러블 장치와 결합한다면 본 연구의 감성 인식 기술이 감성 HCI에 적용될수 있을 것이다. 여러 가지 한계에도 불구하고 본 연구 결과는 인간의 감성 상태 모델을 개발하고 확장하 는데 도움이 될 것으로 판단한다.
- 또한, 본 연구에서 사용한 놀람 자극은 부정 감성이기는 하지만 일반적인 놀람 감성은 정적 감성일 수도 있다. 그러므로 추후 연구에서는 놀람 자극에 대한 세부적인 감성 연구를 수행할 필요가 있다. 또한, 추후 연구는 보다 많은 인구 통계적 변수를 고려하여 다양한 감성 추출 방법을 포함한다면 다른 연구 결과보다 우수한 결과를 도출할 것으로 예상한다.
- 다양한 감성의 인식은 인간과 컴퓨터 또는 기계간의 감성적 상호 작용 시스템을 개발하는데 적용될 수 있다. 더 나아가 본 연구의 결과는 일상생활에서 일어나는 스트레스나, 불안함과 같은 부정 감성을 관리할 수 있는 부정 감성 평가 시스템 개발에 기여할 것으로 사료된다.
- 그러나 이러한 한계는 모바일 기반의 온라인 각성 평가 기술 시스템을 개발하여 극복할 수 있고 온라인 기반 각성 평가 기술과 생체신호의 실시간 측정이 가능한 웨어러블 장치와 결합한다면 본 연구의 감성 인식 기술이 감성 HCI에 적용될수 있을 것이다. 여러 가지 한계에도 불구하고 본 연구 결과는 인간의 감성 상태 모델을 개발하고 확장하 는데 도움이 될 것으로 판단한다. 다양한 감성의 인식은 인간과 컴퓨터 또는 기계간의 감성적 상호 작용 시스템을 개발하는데 적용될 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.