[논문]음성 변환을 사용한 감정 변화에 강인한 음성 인식

김원구

doi:10.5391/jkiis.2010.20.5.683

음성 변환을 사용한 감정 변화에 강인한 음성 인식
Emotion Robust Speech Recognition using Speech Transformation 원문보기

한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, v.20 no.5, 2010년, pp.683 - 687

초록
AI-Helper

본 논문에서는 인간의 감정 변화에 강인한 음성 인식 시스템을 구현하기 위하여 음성 변환 방법 중의 한가지인 주파수 와핑 방법을 사용한 연구를 수행하였다. 이러한 목표를 위하여 다양한 감정이 포함된 음성 데이터베이스를 사용하여 감정의 변화에 따라 음성의 스펙트럼이 변화한다는 것과 이러한 변화는 음성 인식 시스템의 성능을 저하시키는 원인 중의 하나임을 관찰하였다. 본 논문에서는 이러한 음성의 변화를 감소시키는 방법으로 주파수 와핑을 학습 과정에 사용하는 방법을 제안하여 감정 변화에 강인한 음성 인식 시스템을 구현하였고 성도 길이 정규화 방법을 사용한 방법과 성능을 비교하였다. HMM을 사용한 단독음 인식 실험에서 제안된 학습 방법은 사용하면 감정이 포함된 데이터에 대한 인식 오차가 기존 방법보다 감소되었다.

Abstract ▼ AI-Helper

This paper studied some methods which use frequency warping method that is the one of the speech transformation method to develope the robust speech recognition system for the emotional variation. For this purpose, the effect of emotional variations on the speech signal were studied using speech database containing various emotions and it is observed that speech spectrum is affected by the emotional variation and this effect is one of the reasons that makes the performance of the speech recognition system worse. In this paper, new training method that uses frequency warping in training process is presented to reduce the effect of emotional variation and the speech recognition system based on vocal tract length normalization method is developed to be compared with proposed system. Experimental results from the isolated word recognition using HMM showed that new training method reduced the error rate of the conventional recognition system using speech signal containing various emotions.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이러한 음성의 변화를 감소시키는 방법으로 음성 변환 기법중의 하나인 주파수 와핑을 사용한 학습 방법을 개발하고 성도 길이 정규화 방법을 사용한 감정 변화에 강인한 음성 인식 시스템과 성능을 비교하였다.
본 논문에서는 인간의 감정 변화에 강인한 음성 인식 기술을 개발하기 위하여 감정 변화의 영향을 적게 받는 음성 인식 시스템에 관한 연구를 수행하였다. 이를 위하여 우선 다양한 감정이 포함된 음성 데이터베이스를 사용하여 감정 변화가 음성 신호와 음성 인식 시스템의 성능에 미치는 영향에 관한 연구를 수행하여 감정의 변화에 따라 화자의 음성 스펙트럼이 변화한다는 것을 분석하였다.
본 논문에서는 인간의 감정 변화에 강인한 음성 인식 시스템을 구현하기 위하여 주파수 와핑 방법을 사용한 방법에 관하여 연구하였다. 이러한 목표를 위하여 다양한 감정이 포함된 음성 데이터베이스를 사용하여 감정에 따른 음성 신호의 변화를 관찰하였고 감정의 변화에 따라 음성의 스펙트럼이 변화한다는 것과 이러한 변화는 음성 인식 시스템의 성능을 저하시키는 원인 중의 하나임을 관찰하였다.
이러한 것은 감정이 음성의 특성을 변화시켜 음성 인식 시스템의 성능을 저하시킨다는 것을 의미한다. 본 연구에서는 감정의 변화에 따라 화자의 음성 스펙트럼이 변화한다는 것을 실험을 통하여 관찰하였고 이러한 변화는 음성 인식 시스템의 성능을 저하시키는 원인 중의 하나임을 분석하였다[10].
본 연구에서는 우선 감정 변화에 강인한 음성 인식 시스템 개발을 위하여 우선 반연속 HMM을 기본으로 하는 화자 독립 단독음 인식 시스템을 구현하였다. 실험에 사용된 음성 인식 시스템은 감정 변화에 강인한 학습 방법을 사용한 시스템(그림 3)과 성도 길이 정규화 방법을 사용한 인식 시스템(그림 5)으로 구현하였다.
이러한 음성의 변화를 감정 인식 시스템에 포함하여 감정 인식 시스템의 성능을 향상하기 위하여 본 연구에서는 다음과 같은 학습 방법을 제안하여 감정 변화에 강인한 음성 인식 시스템을 개발하였다.

제안 방법

또한 입력 음성 j의 문자열 Wj는 알 수 없으므로 초기 문자열 Ŵj는 정규화되지 않은 입력 특징 벡터 Xj와 정규화되지 않은 모델 Λ를 사용하여 첫 단계로 인식을 수행하여 구한다.
평상시 발음한 음성을 대상으로 구축한 음성 인식 시스템에 감정이 포함된 음성이 사용되면 감정에 의한 음성 신호의 변형으로 인하여 인식 시스템의 성능이 크게 저하된다. 본 실험에서는 제안된 학습 방법의 성능을 평가하기 위하여 감정이 포함되지 않은 음성으로 학습한 인식 시스템, 주파수 와핑을 사용하여 학습한 인식 시스템과 성도 길이 정규화 방법을 사용한 인식 시스템을 대상으로 4가지 감정이 포함된 음성을 사용하여 각각의 감정 변화에 따른 시스템의 성능 변화를 관찰하였다.
검출된 음성 신호는 20ms(320샘플)의 길이로 10ms씩 이동하면서 특징 파라메터를 구한다. 본 연구에서는 음성의 특징 파라메터로 12차 멜 켑스트럼 계수를 사용하였다. 또한 음성에 포함된 편의를 제거하는 방법으로 CMS (Cepstrum Mean Subtraction) 방법이 사용되었다.
또한 이러한 변화는 음성 인식 시스템의 성능을 저하시키는 원인 중의 하나임을 관찰하였다[10]. 본 연구에서는 이러한 음성의 변화를 포함하는 음성 인식 시스템에 포함시키는 학습 방법을 제안하였고 성도 길이 정규화 방법을 사용한 음성 인식 시스템과 성능을 비교하였다.
이러한 데이터 베이스는 다음과 같은 과정으로 구성되었다[17]. 본 연구에서는 인간의 주요 감정인 기쁨, 슬픔, 화남의 3가지 감정과 이들의 기준이 되는 평상 감정을 포함한 4가지 감정을 인식 대상 감정으로 결정하였다. 녹음된 음성은 아마추어 연극단원 남/녀 각 15명을 대상으로 하였고, 모든 참여자에 대해서 표준어 사용여부 및 감정 표현능력을 심사하여 선별되었다.
본 연구에서는 우선 감정 변화에 강인한 음성 인식 시스템 개발을 위하여 우선 반연속 HMM을 기본으로 하는 화자 독립 단독음 인식 시스템을 구현하였다. 실험에 사용된 음성 인식 시스템은 감정 변화에 강인한 학습 방법을 사용한 시스템(그림 3)과 성도 길이 정규화 방법을 사용한 인식 시스템(그림 5)으로 구현하였다..
본 논문에서는 인간의 감정 변화에 강인한 음성 인식 시스템을 구현하기 위하여 주파수 와핑 방법을 사용한 방법에 관하여 연구하였다. 이러한 목표를 위하여 다양한 감정이 포함된 음성 데이터베이스를 사용하여 감정에 따른 음성 신호의 변화를 관찰하였고 감정의 변화에 따라 음성의 스펙트럼이 변화한다는 것과 이러한 변화는 음성 인식 시스템의 성능을 저하시키는 원인 중의 하나임을 관찰하였다.
본 논문에서는 인간의 감정 변화에 강인한 음성 인식 기술을 개발하기 위하여 감정 변화의 영향을 적게 받는 음성 인식 시스템에 관한 연구를 수행하였다. 이를 위하여 우선 다양한 감정이 포함된 음성 데이터베이스를 사용하여 감정 변화가 음성 신호와 음성 인식 시스템의 성능에 미치는 영향에 관한 연구를 수행하여 감정의 변화에 따라 화자의 음성 스펙트럼이 변화한다는 것을 분석하였다. 또한 이러한 변화는 음성 인식 시스템의 성능을 저하시키는 원인 중의 하나임을 관찰하였다[10].
인식 과정에서는 기존 방법과 동일하게 수행된다. 입력된 음성에 대하여 전처리 과정을 거쳐 특징 파라메터를 구한 후 기준 모델과 유사도를 비교한다. 결정 법칙은 비교된 결과를 각 단어 당 기준 모델 수를 고려하여 최종 인식을 결정하는 단계로서 최대 확률을 갖는 기준 모델을 입력 음성의 단어로 결정한다.

대상 데이터

이렇게 샘플링된 신호는 음성 구간과 묵음 구간을 구별하기 위하여 음성 구간 검출을 수행하고 특징 벡터를 구한다. 검출된 음성 신호는 20ms(320샘플)의 길이로 10ms씩 이동하면서 특징 파라메터를 구한다. 본 연구에서는 음성의 특징 파라메터로 12차 멜 켑스트럼 계수를 사용하였다.
본 연구에서는 인간의 주요 감정인 기쁨, 슬픔, 화남의 3가지 감정과 이들의 기준이 되는 평상 감정을 포함한 4가지 감정을 인식 대상 감정으로 결정하였다. 녹음된 음성은 아마추어 연극단원 남/녀 각 15명을 대상으로 하였고, 모든 참여자에 대해서 표준어 사용여부 및 감정 표현능력을 심사하여 선별되었다. 녹음작업은 조용한 사무실 환경에서 이루어졌고, DAT를 이용하여 녹음되었다.
또한 각 모델의 상태 수는 학습에 사용된 문장의 평균길이에 비례하게 할당하였다. 모델의 학습에는 20명(남성 10명과 여성 10명)이 각 문장을 3회 발음한 음성이 사용되었고 인식에는 학습에 참여하지 않은 10명(남성 5명과 여성 5명)이 각 문장을 3회 발음한 음성을 사용하였다.
본 연구를 위하여 사용된 데이터의 규모는 16,200(30명×4감정×45문장×3회)문장이다.
음성 인식 시스템의 구성에 사용된 반연속 HMM 모델은 256개의 코드를 갖는 코드북을 사용하였고 상태 당 4개의 가우시간 결합 분포를 사용하였다. 또한 각 모델의 상태 수는 학습에 사용된 문장의 평균길이에 비례하게 할당하였다.

이론/모형

본 연구에서는 음성의 특징 파라메터로 12차 멜 켑스트럼 계수를 사용하였다. 또한 음성에 포함된 편의를 제거하는 방법으로 CMS (Cepstrum Mean Subtraction) 방법이 사용되었다.

성능/효과

HMM을 사용한 단독음 인식 실험에 제안된 학습 알고리즘을 사용한 경우 감정이 포함된 음성에 대한 인식 성능이 향상되는 것을 볼 수 있었다. 그러나 제안된 학습 알고리즘은 성도 길이 정규화 방법보다는 인식 성능의 향상이 적었다.
HMM을 사용한 단독음 인식 실험에 제안된 학습 알고리즘을 사용한 경우 감정이 포함된 음성에 대한 인식 성능이 향상되는 것을 볼 수 있었다. 그러나 제안된 학습 알고리즘은 성도 길이 정규화 방법보다는 인식 성능의 향상이 적었다. 하지만 제안된 주파수 와핑을 사용한 방법은 학습 과정에만 적용되는 것이므로 인식 시스템의 형태가 변형되지 않고 인식 시간도 변경되지 않는 장점이 있다.
3%로 향상되었다. 그리고 성도 길이 정규화를 통하여 학습과 인식 과정에서 정규화된 인식 시스템(VTLN)의 경우에는 전체적인 평균 인식 성능은 98.0%로 향상되었다.
한편 학습과정에서 학습데이터에 와핑 함수를 사용하여 학습된 인식 시스템(warp training)인 경우에는 기존 음성 인식 시스템보다 인식 성능이 향상되는 것을 볼 수 있다. 기쁨 음성의 경우에는 94.4%에서 95.9%로 인식 성능이 향상되었고, 슬픔의 경우에는 96.0%에서 97.1%로 인식 성능이 향상되었다. 화남의 경우에는 96.
그림 7은 세 가지 학습 및 인식 방법을 사용한 인식 시스템에 대한 4가지 감정을 모두 포함한 음성에 대한 평균 인식률을 나타낸다. 기존 인식 시스템(no warping)의 평균 인식률은 96.6% 이고 학습과정에서 학습데이터에 와핑 함수를 사용하여 학습된 인식 시스템(warp training)인 경우에 전체적인 인식 성능은 96.6%에서 97.3%로 향상되었다. 그리고 성도 길이 정규화를 통하여 학습과 인식 과정에서 정규화된 인식 시스템(VTLN)의 경우에는 전체적인 평균 인식 성능은 98.
하지만 제안된 주파수 와핑을 사용한 방법은 학습 과정에만 적용되는 것이므로 인식 시스템의 형태가 변형되지 않고 인식 시간도 변경되지 않는 장점이 있다. 또한 성도 길이 정규화를 사용한 경우에 평상 감정의 인식성능 뿐만 아니라 기쁨, 슬픔과 화남의 인식 성능도 향상되는 것을 볼 수 있었다.
또한 성도 길이 정규화를 통하여 학습과 인식 과정에서 정규화된 인식 시스템(VTLN)의 경우에는 모든 감정의 데이터에서 인식 성능이 향상되는 것을 알 수 있다. 평상 감정음성의 경우에는 인식률이 99.6%에서 99.9%로, 기쁨 감정 음성의 경우에는 94.4%에서 97.0%로, 슬픔 감정 음성의 경우에는 96.0%에서 97.7%로, 화남 감정 음성의 경우에는 96.5%에서 97.4%로 인식 성능이 향상되었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음성 인식 기술의 발달로 증가하고 있는 것은?	음성 인식 기술이 발달함에 따라 인간과 기계사이의 보다 편리한 인터페이스로의 사용이 급격히 증가하고 있다. 최근에는 음성 인식 시스템의 실용화가 늘어나면서 실생활에 유용하게 사용될 수 있는 응용 제품들이 개발되고 있다.
	음성 인식 기술의 문제점은 무엇인가?	그러나 음성 인식 기술이 아직도 가지고 있는 문제점은 이러한 시스템의 성능이 주변 잡음 및 채널 특성 등의 환경 변화와 감정 상태와 같은 심리적 변화에 크게 좌우된다는 것이다. 이중에 환경 변화에 대한 연구는 음성 인식 시스템의 실용화를 위하여 오래 전부터 연구되어왔다[1-7].
	음성 인식 기술에서 음성 신호의 형태는 무엇에 따라 변화하여 어떤 차이점이 발생하는가?	이와 함께 음성 인식 시스템의 성능에 영향을 미치는 요인으로 인간의 심리적 변화가 있다. 음성 신호의 형태는 인간의 감정 상태에 따라서 변화하여 평상시 발음과 기쁨, 슬픔, 화남, 우울 등의 상태에서 발음한 것이 크게 다르다. 현재의 음성 인식 시스템들이 평상시 감정 상태에서 발음한 음성 데이터를 사용하여 만들어졌기 때문에 인간의 감정이 포함된 음성을 인식하는 경우에는 그 성능이 저하된다.

참고문헌 (17)

J. C. Junqua, and J. P. Haton, Robustness in Automatic Speech Recognition - Fundamental and Applications, Kluwer Academic Publishers, 1996.
A. Acero and R. M. Stern, "Environmental robustness in automatic speech recognition," Proc. of ICASSP, pp. 849-852, April 1990.
H. Hermansky, N. Morgan, H. G. Hirsch, "Recognition of speech in additive and convolutional noise based RASTA spectral processing", Proc. of ICASSP, pp. 83-86, 1993.
J. Koehler, N. Morgan, H. Hermansky, H. G. Hirsch, G. Tong, "Integrating RASTA-PLP into Speech Recognition", Proc. of ICASSP, pp. 421-424, 1994.
M. G. Rahim, B. H. Juang, "Signal bias removal by maximum likelihood estimation for robust telephone speech recognition", IEEE Trans. Speech & Audio Processing, vol. 4, No. 1, pp. 19-30, 1996.

상세보기
N. Amir, "Classifying emotions in speech: a comparison of methods", Proc. of Eurospeech '2001, Vol. 1, pp. 127-130, Aalborg, Denmark, 2001
A. Nogueiras, etc, "Speech emotion recognition using Hidden Markov Models", Proc. of Eurospeech '2001, Vol. 4, pp. 2679-2682, Aalborg, Denmark, 2001
R. W. Picard, Affective Computing, The MIT Press 1997.
I. R. Murray and J. L. Arnott, "Toward the simulation of emotion in synthetic speech: a review of the literature on human vocal emotion", Journal of Acoustical Society of America, pp. 1097-1108, Feb. 1993.
김원구, 방현진, “성도 정규화를 이용한 감정 변화에 강인한 음성 인식”, 한국 지능시스템학회 논문지, 19권 6호, pp. 773-338, 2009
M. Pitz, H. Ney, "Vocal tract normalization equals linear transformation in cepstral space", IEEE Trans. Speech & Audio Processing, vol. 13, No. 5, pp. 930-944, 2005.

상세보기
S. Wegmann, D. McAllaster, J. Orlofl and B. Peskin, "Speaker Normalization on Conversational Telephone Speech, Proc. of ICASSP, Atlanta, GA, pp. 339-342, May 1996.
L. Welling, R. Haeb-Umbach, X. Aubert and N. Haberland, "A study on speaker Normalization using vocal tract normalization and speaker adaptive training", Proc. of ICASSP, Seattle, WA, pp. 797-800, May 1998
A. Acero and R. M. Stern, "Robust speech recognition by normalization of the acoustic space", Proc. of ICASSP, Toronto, pp. 893-896, May 1991.
E. Eide and H. Gish, "A parametric approach to vocal tract length normalization", Proc. of ICASSP, Atlanta, GA, pp.346-349, May 1996.
Sirko Molau, Stephan Kanthak , Hermann Ney, "Efficient Vocal Tract Normalization in Automatic Speech Recognition", Proc. of the ESSV'00, Cottbus, Germany, pp. 209-216, 2000
강봉석, “음성 신호를 이용한 문장독립 감정 인식시스템”, 연세대학교 석사학위 논문, 2000.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증