[논문]음성 감정인식에서의 톤 정보의 중요성 연구

이정인; 강홍구

doi:10.5909/JBE.2013.18.5.713

검색어에 아래의 연산자를 사용하시면 더 정확한 검색결과를 얻을 수 있습니다.
검색연산자

검색도움말
검색연산자	기능	검색시 예
()	우선순위가 가장 높은 연산자	예1) (나노 (기계 \| machine))
공백	두 개의 검색어(식)을 모두 포함하고 있는 문서 검색	예1) (나노 기계) 예2) 나노 장영실
\|	두 개의 검색어(식) 중 하나 이상 포함하고 있는 문서 검색	예1) (줄기세포 \| 면역) 예2) 줄기세포 \| 장영실
!	NOT 이후에 있는 검색어가 포함된 문서는 제외	예1) (황금 !백금) 예2) !image
*	검색어의 *란에 0개 이상의 임의의 문자가 포함된 문서 검색	예) semi*
""	따옴표 내의 구문과 완전히 일치하는 문서만 검색	예) "Transform and Quantization"

과학기술 지식인프라 ScienceON

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

논문 상세정보

MyON담기

내보내기 페이스북 공유 트위터 공유 카카오톡 공유

음성 감정인식에서의 톤 정보의 중요성 연구

On the Importance of Tonal Features for Speech Emotion Recognition

방송공학회논문지 = Journal of broadcast engineering v.18 no.5 , 2013년, pp.713 - 721

이정인 (연세대학교 전기전자공학과 ) ; 강홍구 ( 연세대학교 전기전자공학과)

초록

본 연구는 음성의 감정인식에 있어서 크로마 피쳐를 기반으로 한 음성 토널 특성에 대하여 기술하였다. 토널 정보가 갖는 장조와 단조와 같은 정보가 음악의 분위기에 미치는 영향과 유사하게 음성의 감정을 인지하는 데에도 토널 정보의 영향이 존재한다. 감정과 토널 정보의 관계를 분석하기 위해서, 본 연구에서는 크로마 피쳐로부터 재합성된 신호를 이용하여 청각 실험을 수행하였고, 인지실험결과 긍정과 부정적 감정에 대한 구분이 가능한 것으로 확인되었다. 인지 실험을 바탕으로 음성에 적합한 토널 피쳐를 적용하여 감정인식 실험을 진행하였고, 토널 피쳐를 사용하였을 경우 감정인식 성능이 향상되는 것을 확인 할 수 있다.

Abstract

This paper describes an efficiency of chroma based tonal features for speech emotion recognition. As the tonality caused by major or minor keys affects to the perception of musical mood, so the speech tonality affects the perception of the emotional states of spoken utterances. In order to justify this assertion with respect to tonality and emotion, subjective hearing tests are carried out by using synthesized signals generated from chroma features, and consequently show that the tonality contributes especially to the perception of the negative emotion such as anger and sad. In automatic emotion recognition tests, the modified chroma-based tonal features are shown to produce noticeable improvement of accuracy when they are supplemented to the conventional log-frequency power coefficient (LFPC)-based spectral features.

주제어

#Emotion recognition #tonality #tonal features #chroma feature

본문요약
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

In this study, we focus on the tonal feature that has drawn less attention than other types of features in speech emotion recognition.

In this study, we focus on the tonal feature that has drawn less attention than other types of features in speech emotion recognition. While listening music, human perceives the mood by the dominant music key; whether the dominant key of the music is major or minor.
This paper described the efficiency of tonal features in speech emotion.

This paper described the efficiency of tonal features in speech emotion. We were motivated by the concept of ton- ality used for perceiving mood or emotion in music applications.

제안 방법

By analyzing the feature characteristics of all the octave frequency range, an appropriate frequency range for the chroma feature is determined in this study.

A chroma feature is one of the widely used features for representing tonality [12], but it needs to be modified for speech signal applications, because the intensity of speech signal is mainly concentrated in low frequency region. By analyzing the feature characteristics of all the octave frequency range, an appropriate frequency range for the chroma feature is determined in this study. Interestingly, the effective frequency range is highly related to the fundamental frequency of human voice.
Experiment 2 shows the recog- nition accuracy of the revised system that the proposed to- nal features are combined with LFPC features.

Experiment 1 compares the modified chroma features and conventional features. Experiment 2 shows the recog- nition accuracy of the revised system that the proposed to- nal features are combined with LFPC features.
The proposed method is meaningful in the sense that human perception is involved in the feature set selection process and relationship between tonality and emotion is analyzed.

Recently, many studies in emotion recognition have a tendency to focus on increasing the type and size of features and finding out optimal features combinations. The proposed method is meaningful in the sense that human perception is involved in the feature set selection process and relationship between tonality and emotion is analyzed. From the analysis using mutual information, tonal features related to F0 frequency range contain reliable information about emotional states.

대상 데이터

Features used in combined features are 164 features which consist of LFPC (120), CHR4 (24), and F0 (20).

In order to overcome the drawback of tonal and F0 related feature, combination of tonal and F0 related features are applied with LFPC. Features used in combined features are 164 features which consist of LFPC (120), CHR4 (24), and F0 (20). Experimental results are tabulated in Table 4.
It includes four emotional states, which are joy, sad, angry, and neutral, recorded by 15 actresses and 15 actors.

The speech material used in this study is the Korean Emotion Corpus developed by Kang et al [16]. It includes four emotional states, which are joy, sad, angry, and neutral, recorded by 15 actresses and 15 actors. Forty five scripts for each emotion were recorded 3 times with the sampling rate of 16kHz.
Ten listeners participated in the test composed of 30 sentences.

Signals belonging to the neutral emotion class are used as references, and test materials are blinded and trials are randomly selected. Ten listeners participated in the test composed of 30 sentences.
The training data set contains 1000 utterances for each emotion, and the utterances are not duplicated with test materials.

The optimal cost parameter is obtained by using a 10-fold cross-validation technique with a parameter range from 2 to 1024. The training data set contains 1000 utterances for each emotion, and the utterances are not duplicated with test materials.

저자의 다른 논문

이정인(1) 강홍구(29)

참고문헌 (18)

1. R. Cowie, E. Douglas-Cowei, N. Tsapatsoulis, G. Votsis, S. Kollias, W. Fellenz, and J. G. Taylor, "Emotion Recognition in Human Computer Interaction," IEEE Signal Processing Magazine, pp. 32-80, 2001.
2. D. Ververidis and C. Kotropoulos, "Emotional speech recognition: Resources, features, and methods," Speech Communication, vol. 48(9), pp. 1162-1181, 2006.
3. M. E. Ayadi, M. S. Kamel, and F. Karray, "Survey on speech emotion recognition: Features, classification schemes, and databases", Pattern Recognition, vol. 44, pp. 572-587, 2011.
4. I. Murray, J. Arnott, "Toward the simulation of emotion in synthetic speech: A review of the literature of human vocal emotion," J. Acoust. Soc. Am, vol. 93 (2), pp. 1097-1108, 1993.
5. C. E. Williams and K. N. Stevens, "Emotion and speech: Some acoustical correlates", J. Acoust. Soc. Am, vol. 52(4), pp. 1238-1250, 1972.
6. C. Gobl and A. N. Chasaide, "The role of voice quality in communicating emotion, mood and attitude", Speech Communication, vol. 40, pp. 189-212, 2003.
7. M. Goudbeek and K. Scherer, "Beyond arousal: Valence and potency/ control cues in the vocal expression of emotion", J. Acoust. Soc. Am, vol. 128, pp. 1322-1336, 2010.
8. S. Yacoub, S. Simske, X. Lin, J. Burns, "Recognition of Emotionsin Interactive Voice Response System," Proceedings of the Eurospeech 2003, Geneva, 2003.
9. T. L. Nwe, S. W. Foo, and et al, "Speech emotion recognition using hidden markov models", Speech Communication, vol. 41(4), pp. 603-623, 2003.
10. M. A. Bartsch and G. H. Wakefield, "Audio thumbnailing of popular music using chroma-based representation," IEEE Transactions on Multimedia, vol. 7(1), pp. 96-104, 2005.
11. Y. E. Kim, E. M. Schmidt, R. Migneco, B. G. Morton, P. Richardson, J. Scott, J. A. Speck, and D. Turnbull, "Music emotion recognition: A state of the art review", Proc. 11th Int. Soc. Music Information Retrieval Conf.(ISMIR), pp. 255-266, 2010.
12. M. Muller, F. Kurth, and M. Clausen, "Audio matching via chroma- based statistical features", Proc. 5th Int. Soc. Music Information Retrieval Conf.(ISMIR), pp. 288-295, 2005.
13. T. F. Quatieri, Discrete-Time Speech Signal Processing, Prentice-Hall, NJ, 2002.
14. H. Purwins, "Profiles of Pitch Classes: Circularity of Relative Pitch and Key: Experiments, Models, Computational Music Analysis, and Perspectives," Ph. D. dissertation, Berlin Univ. of Technol., Berlin, Germany, 2005.
15. T. Lan, D. Erdogmus, U. Ozertem, and Y. Huang, "Estimating mutual information using Gaussian mixture model for feature ranking and selection", Proc. Int. Joint Conf. on Neural Networks, pp. 5034-5039, 2006.
16. B.-S. Kang, "Text-independent emotion recognition algorithm using speech signal," M. S. Thesis, Yonsei university, Electrical and Electronic Engineering Department, 2000.
17. C.-C. Chang and C.-J. Lin, "Libsvm: a library for support vector machines", ACM Transactions on Intelligent Systems and Technology, vol. 2, 27:1-26, 2011.
18. P. Shen, Z. Changjun, X. CHen, "Automatic Speech Emotion Recognition using Support Vector Machine," Int. Conf. on Electronic and Mechanical Engineering and Information Technology (EMEIT), vol. 2, pp. 621-625, 2011.

이 논문을 인용한 문헌

문의하기

궁금한 사항이나 기타 의견이 있으시면 남겨주세요.

Q&A 등록

원문보기

원문 PDF 다운로드

ScienceON :
AccessON :

원문 URL 링크

DOI : 10.5909/JBE.2013.18.5.713 [무료]
한국방송.미디어공학회 : 저널
Korea Open Access Journals : 저널
DBPia : 저널
AccessON : 저널

원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다. (원문복사서비스 안내 바로 가기)

오픈액세스(OA) 유형

: 출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

이 논문과 함께 이용한 콘텐츠

DOI 인용 스타일

"" 핵심어 질의응답

내보내기

상세정보
내보내기 구분	파일저장 인쇄 메일전송
구성항목	관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	> 총 건의 자료가 검색되었습니다. > 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) > 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. > 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) > 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오 > ~ > Text(ASCII format) Excel format

과학기술 지식인프라 ScienceON

ScienceON Chatbot