[논문]다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템

오병훈; 홍광석

다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템
Multidimensional Affective model-based Multimodal Complex Emotion Recognition System using Image, Voice and Brainwave 원문보기

오병훈 (성균관대학교 정보통신공학부) , 홍광석 (성균관대학교 정보통신공학부)

본 논문은 다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템을 제안한다. 사용자의 얼굴 영상, 목소리 및 뇌파를 기반으로 각각 추출된 특징을 심리학 및 인지과학 분야에서 인간의 감정을 구성하는 정서적 감응요소로 알려진 다차원 정서모델(Arousal, Valence, Dominance)에 대한 명시적 감응 정도 데이터로 대응하여 스코어링(Scoring)을 수행한다. 이후, 스코어링을 통해 나온 결과 값을 이용하여 다차원으로 구성되는 3차원 감정 모델에 매핑하여 인간의 감정(단일감정, 복합감정)뿐만 아니라 감정의 세기까지 인식한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에 따라 본 논문에서는 사용자의 얼굴 영상, 목소리 및 뇌파를 기반으로 특징을 추출하고, 추출된 특징을 바탕으로 어떤 감정의 성분이 어느 정도 내포되어 있는지를 파악하기 위해 Arousal, Valence 및 Dominance의 감응치를 추출하며, 추출된 감응치의 스코어링을 통해 다차원 정서 모델에 매핑하여 사용자의 감정을 인식하고자 한다.

제안 방법

제안된 알고리즘을 평가하기 위해 본 연구실에서 자연스러운 상태에 자체 제작한 감정 DB를 사용하였으며, 표 3과 같이 영상, 음성, 뇌파 각각의 유니모달과 2개 및 3개의 모달리티로 결합한 멀티모달 실험을 진행하였다. 멀티 모달 실험은 다양한 가중치로 실험을 진행하였으며, 가장 높은 인식률을 표에 적시하였다. 인식률을 살펴보면 영상, 음성, 및 뇌파의 멀티모달로 결합했을 때 1순위 65.
본 논문에서는 감정인식을 위해 감정에 영향을 미치는 얼굴 영역의 주요 특징점에 대한 거리를 구하였고, 표 2와 같이 10개의 얼굴 특징을 추출하였다.
본 논문에서는 감정인식을 위해 표 1과 같이 감정에 영향을 미치는 피치, 피치 미분, 에너지, 발화 속도, MFCC 등의 55개 음성 특징을 추출하였다.
본 논문에서는 사용자의 감정을 예측하기 위하여 사용자의 얼굴 영상, 목소리 및 뇌파 특징을 추출하여 정서적 감응치 측정 모델과 비교함으로써 감응치를 예측한 뒤, 스코어링 방법에 의해 감정 모델에 맵핑하여 3차원 상에서 감정 예측을 수행하였다.
본 논문은 얼굴 영상, 목소리 및 뇌파의 멀티모달리티를 통해 복합 감정을 감지해 낼 수 있으며, 각각의 모달리티에서 추출된 특징을 다차원 정서모델로 적용함으로써 감정의 세기까지 측정해 낼 수 있다.
사용자의 영굴 영상, 목소리 및 뇌파가 입력되면, 각각의 특징이 추출되어 감응치 예측 모듈의 파라미터로 입력되며, 패턴 인식 알고리즘을 통해 각 감정의 정서적 감응치 모델과 비교하여 감응치를 예측하게 된다. 정서적 감응치 모델은 6개(Angry, Disgust, Fear, Happy, Sad, Surprise) 감정에 대한 Arousal, Valence 및 Dominance 모델로 구성되어 있으며, 감응치를 예측하게 되면 각 감정에 대한 Arousal, Valence, Dominance 모델의 유사도 점수를 도출할 수 있고, 점수가 크면 클수록 해당하는 모델과 유사하다고 볼 수 있다.
사용자의 얼굴 영상, 목소리, 뇌파가 입력되면 감정에 영향을 미치는 각각의 특징이 추출된다. 이후 정서적 감응치 모델을 기반으로 하여 추출된 특징으로부터 각 감응요소에 대한 사용자의 감응치를 예측하고, 스코어링 방법을 통해 예측된 Arousal, Valence 및 Dominance 값을 재구성한다. 이후, 각각의 모달리티를 가중치 방법을 사용하여 결합한 뒤 예측된 감응치를 다차원 정서모델에 의해 맵핑함으로써 감정을 예측하게 된다.
이후 정서적 감응치 모델을 기반으로 하여 추출된 특징으로부터 각 감응요소에 대한 사용자의 감응치를 예측하고, 스코어링 방법을 통해 예측된 Arousal, Valence 및 Dominance 값을 재구성한다. 이후, 각각의 모달리티를 가중치 방법을 사용하여 결합한 뒤 예측된 감응치를 다차원 정서모델에 의해 맵핑함으로써 감정을 예측하게 된다.
제안된 알고리즘을 평가하기 위해 본 연구실에서 자연스러운 상태에 자체 제작한 감정 DB를 사용하였으며, 표 3과 같이 영상, 음성, 뇌파 각각의 유니모달과 2개 및 3개의 모달리티로 결합한 멀티모달 실험을 진행하였다. 멀티 모달 실험은 다양한 가중치로 실험을 진행하였으며, 가장 높은 인식률을 표에 적시하였다.

대상 데이터

본 논문에서는 감정인식을 위해 측정된 뇌파 부위는 그림 3과 같이 양쪽 귀 뒤 아래 부위를 기준 전극(Reference electrode)으로 국제 10-20 전극 법으로 배치한 F7, AF3, FC5, F3, T7, P7, O1, F8, AF4, FC6, F4, T8, P8, O2의 14 부위이며, 측정된 raw data를 특징으로 사용하였다.

이론/모형

본 논문에서는 복합 감정인식을 위하여 다차원 정서 모델을 적용하였다. 그림 2(a)는 AV 모델을 나타내며, Arousal과 Valence의 조합으로 인해 구성되는 2차원 정서 공간은 정서모델의 가장 기본적인 형태이다.
본 논문에서는 인식 알고리즘으로 랜덤 포레스트 알고리즘을 사용하였으며, 랜덤 포레스트 알고리즘의 인식 결과는 1순위 후보부터 마지막 순위 후보까지 투표수 비례에 따라 결정짓게 된다. 이때 사용되는 투표수에 대해 백분율을 적용하는 방법으로 스코어링을 할 수 있다.

성능/효과

멀티 모달 실험은 다양한 가중치로 실험을 진행하였으며, 가장 높은 인식률을 표에 적시하였다. 인식률을 살펴보면 영상, 음성, 및 뇌파의 멀티모달로 결합했을 때 1순위 65.98%로 가장 높은 성능이 나오는 것을 확인할 수 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템
Multidimensional Affective model-based Multimodal Complex Emotion Recognition System using Image, Voice and Brainwave 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템 Multidimensional Affective model-based Multimodal Complex Emotion Recognition System using Image, Voice and Brainwave 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템
Multidimensional Affective model-based Multimodal Complex Emotion Recognition System using Image, Voice and Brainwave 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper