[논문]감성적 인간 로봇 상호작용을 위한 음성감정 인식

장광동; 권오욱

감성적 인간 로봇 상호작용을 위한 음성감정 인식
Speech emotion recognition for affective human robot interaction 원문보기

장광동 (충북대학교 제어계측공학과) , 권오욱 (충북대학교 제어계측공학과)

감정을 포함하고 있는 음성은 청자로 하여금 화자의 심리상태를 파악할 수 있게 하는 요소 중에 하나이다. 음성신호에 포함되어 있는 감정을 인식하여 사람과 로봇과의 원활한 감성적 상호작용을 위하여 특징을 추출하고 감정을 분류한 방법을 제시한다. 음성신호로부터 음향정보 및 운율정보인 기본 특징들을 추출하고 이로부터 계산된 통계치를 갖는 특징벡터를 입력으로 support vector machine (SVM) 기반의 패턴분류기를 사용하여 6가지의 감정- 화남(angry), 지루함(bored), 기쁨(happy), 중립(neutral), 슬픔(sad) 그리고 놀람(surprised)으로 분류한다. SVM에 의한 인식실험을 한 경우 51.4%의 인식률을 보였고 사람의 판단에 의한 경우는 60.4%의 인식률을 보였다. 또한 화자가 판단한 감정 데이터베이스의 감정들을 다수의 청자가 판단한 감정 상태로 변경한 입력을 SVM에 의해서 감정을 분류한 결과가 51.2% 정확도로 감정인식하기 위해 사용한 기본 특징들이 유효함을 알 수 있다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

화자가 표현한 감정이라고 해도 청자가 화자의 감정상태를 파악하기는 어렵다. 따라서 화자가 표현한 감정을 사람에 의해 판단되는 감정상태의 결과를 알아 보기 위해서 남녀 12명인 청자들을 구성하여 판단하였다. 청자들에 의한 감정을 판단하기 위한 기준으로는 감정이 중립인 문장 ‘사용자 등록’과 ‘내 이름은 OOO입니다’를 들을 수 있도록 하였다.
본 연구의 목적은 한국인이 발화한 한국어 음성에 내포되어 있는 음향정보와 운율 정보들로부터 유효한 특징들을 추출하여 감정을 분류함에 있다. 또한, SVM을 사용한 감정인식 결과와 사람에 의해 판단된 결과를 비교 분석하였다.
이 논문은 지능로봇과 음성 인터페이스시 음성에 포함되어 있는 감정을 인식하는 시뮬레이션 결과를 기술하였다. 6가지(화남/지루함/기쁨/중립/슬픔/놀람)의 감정 상태를 표현하는 음성으로부터 음향 및 운율 정보를 추출하여 SVM을 사용하여 분류하였다.

제안 방법

이 논문은 지능로봇과 음성 인터페이스시 음성에 포함되어 있는 감정을 인식하는 시뮬레이션 결과를 기술하였다. 6가지(화남/지루함/기쁨/중립/슬픔/놀람)의 감정 상태를 표현하는 음성으로부터 음향 및 운율 정보를 추출하여 SVM을 사용하여 분류하였다. 화자가 정의한 감정 상태에 대하여 실험한 사용된 음성 데이터베이스에서 전체 화자의 감정 인식률과 비교해 보면 감정 표현이 비교적 쉬운 발화를 선별하여 사람이 테스트해본 결과 인식률이 60.
본 연구의 목적은 한국인이 발화한 한국어 음성에 내포되어 있는 음향정보와 운율 정보들로부터 유효한 특징들을 추출하여 감정을 분류함에 있다. 또한, SVM을 사용한 감정인식 결과와 사람에 의해 판단된 결과를 비교 분석하였다.
입력된 음성신호는 16kHz로 샘플링 되어 16비트 PCM(pulse code modulation) 방식으로 특징을 추출하기 위해서 사용된다. 샘플링 된 음성신호에 포함되어 있는 노이즈를 제거하기 위해서 위너 필터링(Wiener filtering)한 후, 음성신호에서 음성의 시작점과 끝점을 추출한다. 피치를 추출하는 경우에는 해닝 윈도우(Hanning window)를 사용하고, 이외에는 윈도우 크기가 25ms인 해밍 윈도우(Hamming window)를 10ms단위로 구간 이동하면서 기본 특징인 에너지, 주파수변이, 진폭변이와 발화율 등을 추출한다.
감정이라는 것은 화자와 청자에 따라 감정을 판단하는데 있어 화자가 정확한 감정을 했는지는 알 수가 없으므로 청자의 입장에서 볼 때, 감정이라는 것은 발화한 관점에 볼 수도 있지만 듣는 입장 즉, 청자가 관점에서 감정을 판단할 수 있다. 앞의 재구성한 음성 데이터베이스의 감정을 사람이 판단하는 결과들의 다수 결정에 따라 음성 데이터베이스를 구성하는 감정을 재정의하였다. 화자의 판단결과에 따라 재정의한 감정 인식률은 51.
데이터베이스의 화자는 나이는 20~30대이며 남 15명과 여 15명으로 총 30명의 성인으로 구성되어 있고 화남, 지루함, 기쁨, 중립, 슬픔 그리고 놀람 6가지의 감정상태의 명령어 또는 대화로 구성되어 있다. 음성 데이터는 6개의 항목-사용자 등록, 인사, 명령, 감정, 생활 정보, 날짜/시간으로 구성하였으며, ‘사용자 등록’을 제외한 5개의 항목(50 단어 및 문장)으로 6가지 감정을 발화하였다. 한 화자당 발화수는 302개이며 총 9,060개의 발화로 구성되어 있다.
음성 데이터베이스는 정서적 인터페이스를 위해서 감정이 있는 음성으로 구성하였다. 데이터베이스의 화자는 나이는 20~30대이며 남 15명과 여 15명으로 총 30명의 성인으로 구성되어 있고 화남, 지루함, 기쁨, 중립, 슬픔 그리고 놀람 6가지의 감정상태의 명령어 또는 대화로 구성되어 있다.
여러 특징들 중에 감정을 인식하는데 가장 큰 기여하는 특징은 피치와 에너지이다[2][4]. 추출된 특징들을 가지고 hidden Markov model (HMM)[5], support vector machine (SVM), neural network 등을 사용하여 감정을 분류한다.
샘플링 된 음성신호에 포함되어 있는 노이즈를 제거하기 위해서 위너 필터링(Wiener filtering)한 후, 음성신호에서 음성의 시작점과 끝점을 추출한다. 피치를 추출하는 경우에는 해닝 윈도우(Hanning window)를 사용하고, 이외에는 윈도우 크기가 25ms인 해밍 윈도우(Hamming window)를 10ms단위로 구간 이동하면서 기본 특징인 에너지, 주파수변이, 진폭변이와 발화율 등을 추출한다.
피치를 추출하는 방법은 크기가 60ms인 해닝 윈도우를 사용하여 한 프레임당 2~3개의 피치를 포함하게 하여 차단 주판수가 800Hz인 저대역 필터(low pass filter)를 통과한 후 AMDF(average magnitude difference function)을 사용하여 추출한 피치후보들 중에서 최소로 하는 값을 피치로 결정하는 방법을 사용하였다.
음성 데이터베이스를 구성하는 감정음성들은 제시한 5개의 항목의 단어들을 화자가 정의한 감정으로 표현한 음성들로 이루어져 있다. 화자가 감정상태에 따라서 적절한 발화를 했는지 알아보기 위해서 30명의 화자 중 29명은 훈련, 1명은 테스트로 하는 교차검증(cross validation)을 적용하여 SVM을 사용하여 감정을 분류하였다.

대상 데이터

음성 데이터베이스는 정서적 인터페이스를 위해서 감정이 있는 음성으로 구성하였다. 데이터베이스의 화자는 나이는 20~30대이며 남 15명과 여 15명으로 총 30명의 성인으로 구성되어 있고 화남, 지루함, 기쁨, 중립, 슬픔 그리고 놀람 6가지의 감정상태의 명령어 또는 대화로 구성되어 있다. 음성 데이터는 6개의 항목-사용자 등록, 인사, 명령, 감정, 생활 정보, 날짜/시간으로 구성하였으며, ‘사용자 등록’을 제외한 5개의 항목(50 단어 및 문장)으로 6가지 감정을 발화하였다.
재구성한 음성 데이터베이스는 화자 30명을 가지고 실험한 결과에서 얻은 인식률을 기준으로 인식률이 가장 높은 남녀 화자 각 2명, 중간 정도의 남녀 화자 각 2명, 가장 낮은 남녀 각 1명을 선택하였고, 비교적 발화길이가 긴 음성 25개를 선택하여 구성하였다. 재구성한 음성 데이터베이스는 화자당 150개의 음성으로 이루어져 ‘사용자 등록’ 항목의 두 개의 중립 음성을 포함하여 총 1,520개로 구성되어 있다.
재구성한 음성 데이터베이스는 화자 30명을 가지고 실험한 결과에서 얻은 인식률을 기준으로 인식률이 가장 높은 남녀 화자 각 2명, 중간 정도의 남녀 화자 각 2명, 가장 낮은 남녀 각 1명을 선택하였고, 비교적 발화길이가 긴 음성 25개를 선택하여 구성하였다. 재구성한 음성 데이터베이스는 화자당 150개의 음성으로 이루어져 ‘사용자 등록’ 항목의 두 개의 중립 음성을 포함하여 총 1,520개로 구성되어 있다. 이 음성 데이터 베이스를 가지고 사람이 판단한 결과 화자가 표현한 결과를 기준으로 정확도 60.

데이터처리

추출된 기본 특징들에서 통계 값인 평균, 퍼센타일, 표준편차, 최대, 최소, 범위, 선형회귀계수, 최대 기울기등로 이루어진 73차의 벡터를 입력으로 하는 SVM감정분류기를 사용하였다. SVM은 두 클래스 사이의 결정오류(decision error)의 개수를 최소화하게 하는 hyperplane을 찾을 뿐만 아니라 신경망과 비교하여 매우 간단한 구조이고 일반화의 장점을 가지고 있기 때문에 많은 응용 분야에 사용된다[9][10].

성능/효과

남자와 여자의 화자인 경우 같은 성별의 화자가 발화한 감정을 판단하는 결과는 같았으며, 남자와 비교하여 여자는 감정이 표현된 음성에서 화자가 의도한 감정을 더 잘 분류함을 알 수 있었다.
사람 판단에 의한 결과에서 남자청자와 여자청자는 같은 감정을 듣더라도 판단 기준에 차이가 있다는 것을 알 수 있었다. 여자 청자의 경우는 63.
재구성한 음성 데이터베이스는 화자당 150개의 음성으로 이루어져 ‘사용자 등록’ 항목의 두 개의 중립 음성을 포함하여 총 1,520개로 구성되어 있다. 이 음성 데이터 베이스를 가지고 사람이 판단한 결과 화자가 표현한 결과를 기준으로 정확도 60.4%였으며 30명의 화자를 SVM에 의한 판단 결과(58.6%)와 비교하여 볼 때 사람이 약 2%의 차이를 보였지만 신뢰구간(confidence interval)이 ±3.82로서 의미있는 차이는 아닌 것으로 판단된다.
4%였다. 청자가 판단한 감정들의 결과들을 다수결의 법칙에 따라 음성데이터베이스의 감정으로 다시 정한 후, SVM을 사용하여 테스트한 결과 51.2%였다. 기본 특징들과 SVM을 사용한 감정인식기는 효과적임을 알 수 있다.
SVM은 두 클래스 사이의 결정오류(decision error)의 개수를 최소화하게 하는 hyperplane을 찾을 뿐만 아니라 신경망과 비교하여 매우 간단한 구조이고 일반화의 장점을 가지고 있기 때문에 많은 응용 분야에 사용된다[9][10]. 커널 함수(kernel function)로는 가우시안(Gaussian), 다항식(polynomial) 등이 있는데, 이 논문에서 사용한 가우시안 커널 함수은 이전 실험에 의하면 다른 커널 함수 중에서 가장 높은 인식률을 보였다[2].
6가지(화남/지루함/기쁨/중립/슬픔/놀람)의 감정 상태를 표현하는 음성으로부터 음향 및 운율 정보를 추출하여 SVM을 사용하여 분류하였다. 화자가 정의한 감정 상태에 대하여 실험한 사용된 음성 데이터베이스에서 전체 화자의 감정 인식률과 비교해 보면 감정 표현이 비교적 쉬운 발화를 선별하여 사람이 테스트해본 결과 인식률이 60.4%였다. 청자가 판단한 감정들의 결과들을 다수결의 법칙에 따라 음성데이터베이스의 감정으로 다시 정한 후, SVM을 사용하여 테스트한 결과 51.

핵심어

질문

논문에서 추출한 답변

화자의 감정을 예측할 수 있도록 하는 요소는?

운율요소들은 청자로 하여금 화자의 감정을 예측할 수 있도록 하는 요소이다. 그러나 감정을 표현하는데 있어 일반적으로 감탄사를 말하는 경우가 있고, 일상적인 생활에서 사용되는 단어들에 감정이 표현된 경우가 있다.

사람의 감정은 어떻게 분류되는가?

사람의 감정을 분류하는데 있어 여러 가지 분류 기준이 있지만 대개 화남, 기쁨, 중립(감정이 없는 상태), 슬픔, 놀람, 지루함, 혐오등과 같이 분류하고 있다. 그러나, 감정은 한순간에 하나의 감정으로만 표현되는 경우만 있는 것이 아니라, 복합적으로 한 개 이상의 감정이 동시에 나타나기도 한다.

감정인식에 가장 큰 기여하는 특징은 무엇인가?

감정인식에 사용되는 특징들은 에너지, 포만트, 템포, 지속시간, 주파수변이(jitter), 진폭변이(shimmer), mel frequency cepstral coefficient (MFCC), linear predictive coding (LPC)계수, Teager에너지 등이 있다. 여러 특징들 중에 감정을 인식하는데 가장 큰 기여하는 특징은 피치와 에너지이다[2][4]. 추출된 특징들을 가지고 hidden Markov model (HMM)[5], support vector machine (SVM), neural network 등을 사용하여 감정을 분류한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

감성적 인간 로봇 상호작용을 위한 음성감정 인식
Speech emotion recognition for affective human robot interaction 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

감성적 인간 로봇 상호작용을 위한 음성감정 인식 Speech emotion recognition for affective human robot interaction 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

감성적 인간 로봇 상호작용을 위한 음성감정 인식
Speech emotion recognition for affective human robot interaction 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper