[논문]발화 내 감정의 정밀한 인식을 위한 한국어 문미억양의 활용

장인창; 이태승; 박미경; 김태수; 장동식

발화 내 감정의 정밀한 인식을 위한 한국어 문미억양의 활용
Utilizing Korean Ending Boundary Tones for Accurately Recognizing Emotions in Utterances 원문보기

한국통신학회논문지. The Journal of Korea Information and Communications Society. 통신이론 및 시스템, v.30 no.6C, 2005년, pp.505 - 511

장인창 (고려대학교 산업정보시스템공학과) , 이태승 (한국과학기술연구원 CAD) , 박미경 (한국과학기술연구원 CAD) , 김태수 (한국과학기술연구원 CAD) , 장동식 (고려대학교 산업정보시스템공학과)

초록
AI-Helper

인간을 상대하는 자율장치는 고객의 자발적인 협조를 얻기 위해 암시적인 신호에 포함된 감정과 태도를 인지할 수 있어야 한다. 인간에게 음성은 가장 쉽고 자연스럽게 정보를 교환할 수 있는 수단이다. 지금까지 감정과 태도를 이해할 수 있는 자동시스템은 발성문장의 피치와 에너지에 기반한 특징을 활용하였다. 이와 같은 기존의 감정인식 시스템의 성능은 문장의 특정한 억양구간이 감정과 태도와 관련을 갖는다는 언어학적 지식의 활용으로 보다 높은 향상이 가능하다. 본 논문에서는 한국어 문미억양에 대한 언어학적 지식을 피치기반 특징과 다층신경망을 활용하여 구현한 자동시스템에 적용하여 감정인식률을 향상시킨다. 한국어 감정음성 데이터베이스를 대상으로 실험을 실시한 결과 $4\%$의 인식률 향상을 확인하였다.

Abstract ▼ AI-Helper

Autonomic machines interacting with human should have capability to perceive the states of emotion and attitude through implicit messages for obtaining voluntary cooperation from their clients. Voice is the easiest and most natural way to exchange human messages. The automatic systems capable to understanding the states of emotion and attitude have utilized features based on pitch and energy of uttered sentences. Performance of the existing emotion recognition systems can be further improved withthe support of linguistic knowledge that specific tonal section in a sentence is related with the states of emotion and attitude. In this paper, we attempt to improve recognition rate of emotion by adopting such linguistic knowledge for Korean ending boundary tones into anautomatic system implemented using pitch-related features and multilayer perceptrons. From the results of an experiment over a Korean emotional speech database, the improvement of $4\%$ is confirmed.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러므로 영어의 경계 억양과 한국어의 문미 억양에 보다 큰 중요성을 부여한다면 보다 정확하게 화자의 감정을 인지할 수 있을 것이다. 다음 절에서는 한국어 문미 억양에 대한 억양 음운론적 지식을 도입하여 감정인식능력의 향상에 문미 억양이 미치는 영향을 실험을 통해 확인한다.
본 논문에서 사용된 감정 음성 데이터베이스는 화자 및 문장 독립적인 감정인식 시스템의 개발과 시험을 위해 설계되었다. 이 데이터베이스가 목표로 한 감정은 기쁨, 슬픔, 분노 중성의 네 감정이다.
본 논문에서는 한국어 문장의 문미 억양에서 추출한 통계치에 더 높은 가중치를 부여하여 정적인 방법에 기반한 기존의 자동감정인식 시스템의 성능을 향상시킨다 이 감정인식 시스템에서 각 한국어 문장은 앞부분의 본체와 뒷부분의 미 부로 분할된다. 본체는 미 부의 두 배길 이를 가지며 미 부는 문미 억 양을 포함한다.
어떤 감정의 내부 원인과 외부 표현이 언제나 합치되는 것은 아니지만 청자는 내재된 감정이 어떤 것인지 청취한 음성을 통해 추측하려고 시도한다. 억양은 감정상태를 음성으로 표현하는데 있어 중요한 수단이다 이 절에서는 영어와 한국어에 대해 문헌에서 보고된 억양과 감정 사이의 관계를 살펴본다.
지금까지 한국어 문미 억양에 대한 억양음 운론적 지식을 정적 특징에 기반한 자동감정 인식 시스템에 적용하여 감정인식의 신뢰성을 향상시키기 위한 방법을 연구하였다. 한국어 문미억양이 감정적 행동에 미치는 영향은 문미억양을 포함하는 미부의 더 높은 인식률을 통해 증명되었다.
지난 몇 년간 일단의 한국어 연구자가 화자의 감정과 태도에 문미 억양이 미치는 영향을 조사하였다. 전선아[9]는 몇 가지 한국어 문미 억양의 의미를 서술하였는데, 그중에서 감정이나 태도와 연관된 문미 억양의 패턴을 다음과 같이 정리하였다.
본체는 미 부의 두 배길 이를 가지며 미 부는 문미 억 양을 포함한다. 한국어 감정 음성 데이터베이스에 대해 최고의 감정인식률을 획득하기 위해 본체와 미 부에 부여되는 가중치의 최적 비율을 탐색한다. 기존의 감정인식 시스템에 이 최적 비율을 적용할 때 인식률의 향상을 확인한다.

제안 방법

2절에서 살펴본 언어학적 지식을 자동감정인식 시스템에 접목하기 위해 기존의 정적특징에 기반한 시스템을 구현하고, 이 시스템이 문미 억양을 포함하는 음성 구간에서 계산된 통계치에 다른 구간의 통계치보다 높은 중요성을 두도록 했다. 이 시스템의 성능을 한국어 감정 음성 데이터베이스에 대해 평가하고 문미 억양에 가해지는 최적의 가중치를 탐색하여 최고의 인식률을 달성하도록 한다.
정적방법에 기반한 많은 감정인식 시스템에서 피치와 더불어 음성에너지를 감정 특징의 원소로 사용한다. 그러나 음성에너지는 마이크 증폭이나 음원과 청원 간 거리의 영향으로 왜곡되기 쉽기 때문에 본 시스템에서는 피치 관련 특징만 사용한다. 구현시스템에 사용한 열두 개의 피치 파생 특징은[5]와 [7] 에서 사용된 특징 중에서 선택하였다.
문미 억양이 감정인식에 미치는 영향을 확인하기 위해 세 가지 실험조건을 설정하였다. 첫째, 감정음 성 데이터베이스에 대한 기준성능을 얻기 위해 일 반 평가가 수행된다.
본 논문에서 구현된 감정인식 시스템은 감정 파라미터로 피치 관련 특징을, 패턴인식 방법으로 다층 신경망을 사용한다. 이 시스템에서는 발화 검출, 발 화에서 피치 곡선 추출, 감정 특징 계산, 감정 학습 및 인식의 네 단계를 거친다.
여기서 LBody 는 본체의 특징벡터 FBody 에 대해 선택되는 감정이고 LTaile 미부의 특징벡터 FTail에 대해 선택되는 감정이다. 셋째, 최고의 감정인식률을 얻기 위해 본체와 미 부의 인식 결과에 부여되는 최적의 가중치 비율을 탐색한다. 이 조건에서 인식되는 감정은 다음의 식으로 결정된다.
본 논문에서 구현된 감정인식 시스템은 감정 파라미터로 피치 관련 특징을, 패턴인식 방법으로 다층 신경망을 사용한다. 이 시스템에서는 발화 검출, 발 화에서 피치 곡선 추출, 감정 특징 계산, 감정 학습 및 인식의 네 단계를 거친다.
2절에서 살펴본 언어학적 지식을 자동감정인식 시스템에 접목하기 위해 기존의 정적특징에 기반한 시스템을 구현하고, 이 시스템이 문미 억양을 포함하는 음성 구간에서 계산된 통계치에 다른 구간의 통계치보다 높은 중요성을 두도록 했다. 이 시스템의 성능을 한국어 감정 음성 데이터베이스에 대해 평가하고 문미 억양에 가해지는 최적의 가중치를 탐색하여 최고의 인식률을 달성하도록 한다.
이 실험에 사용된 다층신경망은 입력계층, 하나의 은닉계층, 출력계층으로 구성된다. 입력계층은 피치 파생 특징과 대응하는 12개의 입력지점을 갖고 은닉계층은 30개의 노드를 포함하며, 출력계층은 인식할 감정과 대응하는 4개의 노드를 포함한다.
7%가 겹치도록 구성되었다. 이 원형 알고리즘을 저주파수 대역과 고주파수대 역의 에너지 스펙트럼을 활용하여 신호의 유성음 여부를 결정하도록 수정하였다. 고 대역의 에너지가 저 대역보다 크다면 해당 음성 구간은 유성음이 아닌 것으로 판정할 수 있으므로 피치추출 처리를 생략한다

대상 데이터

각 문장과 감정에 대한 세 번의 발성 중 둘은 다층신경망의 학습에 사용되고 나머지 하나는 시험에 사용된다. 결과적으로 학습에는 360개(45문장 * 2회 * 4 감정) 문장이 사용되고 시험에는 180개(45 *1*4) 문장이 사용된다. 제시된 모든 결과는 다층신경망의 10번에 걸친 학습과 시험으로 얻어진 결과의 평균치이다.
이 데이터베이스가 목표로 한 감정은 기쁨, 슬픔, 분노 중성의 네 감정이다. 문장은 한국어로 발성된 31개의 서술문과 14개의 의문문이고 각 문장을 한국인 아마추어 배우인 세 명의 남성과 세 명의 여성이 세 번씩 발성하였다. 발성된 각 문장은 16 kHz 샘플링 속도와 16 bit 양자화 크기로 설정된 디지털 오디오 테이프레코더를 사용하여 조용한 사무실 환경에서 녹음되었다.

데이터처리

결과적으로 학습에는 360개(45문장 * 2회 * 4 감정) 문장이 사용되고 시험에는 180개(45 *1*4) 문장이 사용된다. 제시된 모든 결과는 다층신경망의 10번에 걸친 학습과 시험으로 얻어진 결과의 평균치이다.

이론/모형

감정을 인식하기 위한 특징이 발화에 대해 계산되어야 하기 때문에 제일 먼저 입력된 소리 신호에서 문장을 검출해야 한다. 이를 위해 Rabiner와 Sambur의 방법[12]을 바탕으로 한 끝점검출 알고리즘을 구현시스템에 도입하였다. 이 알고리즘은 음성 검출 파라미터로 신호의 에너지와 영 교차율을 사용 하고 실시간 처리 특성을 갖는다.

성능/효과

는 대 상감 정에 대한 출력 벡터를, SelMax는 최대출력을 갖는 감정 L을 선택하는 함수를 나타낸다. 둘째, 문장을 앞부분의 본체와 뒷부분의 미 부로 나누되 본 체가 미 부의 두 배길 이를 갖도록 하여 문미 억양을 포함하는 미 부가 본체보다 더 높은 중요성을 갖는 지 확인한다. 이 조건에서 인식되는 감정은 다음의 식으로 결정된다.
이 그림에서 첫 번째 줄은 일반 평 가에 대한 결과이고, 두 번째와 세 번째는 발화의 분리실험에서 본체와 미부 대한 것이며, 네 번째는 본체와 미 부에 대해 탐색한 최적의 가중치 비율에 대한 것이다. 여기서 최적 가중치 조건으로 얻은 전체 인식률이 일반조건으로 얻은 인식률보다 4% 높을 뿐 아니라 모든 감정에 대해 인식률이 향상되었음을 알 수 있다.
한국어 문미억양이 감정적 행동에 미치는 영향은 문미억양을 포함하는 미부의 더 높은 인식률을 통해 증명되었다. 이러한 결과를 바탕으로 미부에 더 높은 중요도를 부여했을 때 일반 조 건일 때보다 4%의 인식률 향상을 얻을 수 있었다. 이와 같은 결과는 억양음 운론을 실용적 감정인식 시스템에 도입하는 것에 대해 상당한 의의와 필요성을 제기한다.

후속연구

특히 한국어에서 억양에 의한 영향은 문미 억양 에 집중된다. 그러므로 영어의 경계 억양과 한국어의 문미 억양에 보다 큰 중요성을 부여한다면 보다 정확하게 화자의 감정을 인지할 수 있을 것이다. 다음 절에서는 한국어 문미 억양에 대한 억양 음운론적 지식을 도입하여 감정인식능력의 향상에 문미 억양이 미치는 영향을 실험을 통해 확인한다.
한국어에서 문미 억양은 한국어의 왼쪽 가지치기 특성으로 인해 감정 소통 시 효과적인 기능을 담당하는 것으로 보고되었다. 억양 음운론의 연구 결과가 실용 시스템에서도 실용적인 것으로 증명될 수 있다면 이 언어학적 지식을 기존의 감정인 식 시스템에 도입하여 더욱 신뢰성 높은 인식성능을 달성할 수 있을 것이다. 3절에서 제시된 실험결과는 이러한 논의를 위한 좋은 근거가 된다.
전선 이[9]와 이호영[10]은 한국어 문장에서 문미 억양의 의미가 감정 및 태도와 특별한 관계가 있다고 주장했다. 이들의 연구 결과에 입각할 때 영어의 핵 억양과 한국어의 문미 억양에 더 높은 중요도를 부여한다면 감정과 태도의 더욱 신뢰할만한 인식이 가능할 것이다.
이와 같은 결과는 억양음 운론을 실용적 감정인식 시스템에 도입하는 것에 대해 상당한 의의와 필요성을 제기한다. 향후 연구에서는 자동감정 인식에서 보편적인 경계 억양의 역할을 한국어뿐 아니라 영어의 발화에 대해서도 보다 심도 깊게 연구할 필요가 있다.

참고문헌 (14)

Cowie, R., Douglas-Cowie, E., Tsapatsoulis, N., Votsis, G., Kollias, S., Fellenz, W. and ？Taylor, J.G., 'Emotion Recognition in HumanComputer Interaction,' IEEE Signal Processing Magazine, Vol. 18, No.1, pp. 32-80, Jan 2001

상세보기
Gauvain, J. and Lamel, L., 'Large-Vocabulary Continuous Speech Recognition: Advances and Applications,' Proceedings of the IEEE, Vol. 88, No.8, pp. 1181-1200, Aug 2000
Yoshimura, T., Hayamizu, S., Ohmura, H., and Tanaka, K., 'Pitch Pattern Clustering of User Utterances in Human-Machine Dialogue,' Proceedings of the International Conference on Spoken Language, Vol. 2, pp. 837-840, Oct 1996
Dellaert, F., Polzin, T., and Waibel, A., 'Recognizing Emotion in Speech,' Proceedings of the International Conference on Spoken Language, Vol. 3, pp. 1970-1973, Oct 1996
Bhatti, M. W., Wang Y., and Guan. L., 'A Neural Network Approach for Human Emotion Recognition in Speech,' Proceedings of the 2004 International Symposium on Circuits and Systems, Vol. 2, pp. 181-184, May 2004
Schuller, B., Rigoll, G. and Lang, M., 'Hidden Markov Model-Based Speech Emotion Recognition,' Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol. 2, pp. 1-4, Apr 2003
Schuller, B., Rigoll, G. and Lang, M., 'Speech Emotion Recognition Combining Acoustic Features and Linguistic Information in a Hybrid Support Vector Machine-Belief Network Architecture,' Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 577-580, May 2004
O'Connor, J. D. and Arnold G. F., Intonation of Colloquial English, Longmans, 1961
Jun, S., K-ToBI Labelling Conventions, Ver. 3.1, http://www.linguistics.ucla.edu/people/jun/ktobi/K-tobi.html, 2000
Pierrehurnbert, J. and Hirschberg, J., 'The Meaning of Intonation Contours in the Interpretation of Discourse,' Intentions in Communication, MIT Press, pp. 271-323, 1990
이호영, '한국어의 억양체계,' 언어학, 제13호, pp. 129-151, 12월 1991년
Rabiner, L. and Sambur, M. 'An Algorithm for Determining the Endpoints of Isolated Utterances,' Bell System Technical Journal, Vol. 54, pp. 297-315, Feb 1975
Krubsack, D. A. and Niederjohn, R. J., 'An Autocorrelation Pitch Detector and Voicing Decision with Confidence Measures Developed for Noise-Corrupted Speech,' IEEE Transactions on Signal Processing, Vol. 39, No.2, pp. 319-329, Feb 1991

상세보기
Bengio, Y., Neural Networks for Speech and Sequence Recognition, International Thomson Computer Press, 1995.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증