$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

음성 명료도 향상을 위한 분류 모델의 잡음 환경 적응
Adaptation of Classification Model for Improving Speech Intelligibility in Noise 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.23 no.4, 2018년, pp.511 - 518  

정준영 (숭실대학교 전기공학부) ,  김기백 (숭실대학교 전기공학부)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 잡음 환경의 음성 신호를 시간-주파수 영역으로 분해한 후 0 또는 1로 표현되는 이진 마스크를 적용하여 음성의 명료도를 높이는 방법에 대해 다룬다. 시간-주파수 영역으로 분해된 신호에 대해 상대적으로 잡음이 많이 섞인 경우는 마스크 "0"을 할당하여 제거하고, 그렇지 않은 경우는 마스크 "1"을 할당하여 보존하는 방식을 채택한다. 이러한 이진 마스크의 추정은 가우시안 혼합 모델로 학습된 베이지안 분류기를 사용한다. 가우시안 혼합 모델 학습에 포함된 잡음 환경에 대해서는 학습된 모델을 이용하여 추정된 이진 마스크의 적용을 통해 잡음 환경에서 음성 명료도를 높일 수 있으나 학습에 포함되지 않은 잡음 환경에 대해서는 음성 명료도를 향상시키지 못하는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 학습 모델을 잡음 환경에 적응시키고자 한다. 새로운 잡음 환경에 대처하고자 음성 인식에서 사용되는 대표적인 화자 적응 방법을 적용하였으며 실험을 통해 새로운 잡음 환경에 적응함을 확인하였다.

Abstract AI-Helper 아이콘AI-Helper

This paper deals with improving speech intelligibility by applying binary mask to time-frequency units of speech in noise. The binary mask is set to "0" or "1" according to whether speech is dominant or noise is dominant by comparing signal-to-noise ratio with pre-defined threshold. Bayesian classif...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 따라서 음질 향상을 위한 잡음 제거 연구는 주로 5~15 dB SNR 수준의 잡음 환경을 대상으로 하고 있는 반면 명료도 향상은 이보다 낮은 수준 (–5~0 dB SNR)의 심한 잡음 환경에서의 청취자에 의한 음성 인식률을 높이는 것을 목표로 한다.
  • 해당 논문의 결과에서 보듯이 적은 양의 적응 데이터로 모델 적응이 가능하나 데이터 양이 늘어나더라도 성능 향상이 제한적임을 알 수 있다. 본 논문에서는 신호를 몇 개의 고유벡터 가중합으로 표현하여 적응시키는 eigenvoice와 달리 가우시안 모델을 직접 적응시키는 MAP (Maximum a posterior)과 가우시안 모델의 평균을 변환시키는 MLLR(Maximum Likelihood Linear Regression) 등의 보다 전통적인 화자 적응 방법을 이용하고자 한다[15,16]. 실험을 통하여 비대각 공분산행렬 (full covariance matrix) 가우시안 혼합 모델의 적응을 위한 반복적인 MLLR 적응방법이 MAP보다 우수하고, MLLR 적용 후 순차적으로 MAP을 적용하는 것이 가장 우수한 성능 나타냄을 확인하였다.
  • 두 가지 목적이 서로 깊은 관련이 있으나 기본적으로 다음과 같이 구분될 수 있다. 음질 향상은 잡음을 제거하여 청취자가 좀 더 편안하게 들을 수 있게 하는데 그 목적이 있다. 반면에 명료도 향상은 청취자가 음성에 담겨있는 내용을 얼마나 정확하게 의미를 파악할 수 있는가에 초점을 맞추고 있다.
  • 성능 평가를 위해서는 알고리즘 적용 전후의 음성 명료도를 평가해야 하는데, 가장 바람직한 방법은 기존의 논문에서와 같이 정상청력을 가진 영어 원어민들을 대상으로 하는 평가이다. 피험자들에게 음성 파일을 들려주고 들은 내용을 받아 적도록 하여 얼마나 많은 단어들이 제대로 인식되었는지 평가하는 것이다. 그러나 영어 원어민 피험자들을 모집하여 청취 실험하는 것은 시간과 비용 측면에서 부담이 될 뿐만 아니라 개인 간의 오차도 발생하므로 큰 성능 향상이 있는 경우를 제외하고는 의미있는 실험 결과를 도출하기 어려운 단점이 있다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
MAP 적응 방법의 역할은? ML 방법에서는 관찰 데이터를 랜덤 벡터로 가정하고 각 모델에 대한 likelihood가 최대가 되도록 하는 모델 파라미터를 찾는다. 이와 달리 MAP 적응 방법은 모델 파라미터를 랜덤 벡터로 가정하고, 데이터의 변화에 따른 확률 분포 함수의 변화에 따라 사후 확률 분포(posterior distribution)가 최대가 되는 모델 파라미터를 찾는다. 관찰 데이터가 적을 때는 사전 확률 분포가 최대가 되는 파라미터를 선택하고, 데이터가 늘어날수록 사전 확률 분포의 영향은 줄어들면서 ML의 결과에 수렴하게 된다.
Eigenvoice의 기본 아이디어는 사전에 구한 고유 벡터에 대한 의존도가 높은데 어떠한 이유로 그러한가? 이와 같은 eigenvoice 적응 방법은 고유 벡터의 가중치만 구하면 되므로 추정해야 할 파라미터의 수가 적고 그에 따라 음성 인식의 화자 적응에서는 적은 양의 데이터에 대해서도 높은 성능을 나타내는 것으로 알려져 있다[14]. Eigenvoice의 기본 아이디어는 신호의 특성을 몇 개의 주된 모델의 가중합으로 나타낼 수 있다는 사실을 전제로 하여 사전에 구한 고유 벡터에 대한 의존도가 높다. 이와 같은 아이디어는 음성 신호에는 효과적으로 적용되었으나, 잡음의 형태는 음성 신호보다 훨씬 다양하여 몇 개의 고유 벡터의 가중합으로 표현하는데 한계가 있다.
점증 학습 방법의 단점은 무엇인가? 이러한 점증 학습 방법으로 새로운 잡음 환경에 대해 이진 마스크 추정 성능이 점진적으로 향상됨을 확인하였다. 그러나 이러한 방법은 점진적으로 성능이 향상되기는 하지만 적은 양의 데이터를 이용한 초기학습 과정에서는 충분한 성능을 발휘하지 못하는 단점이 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (20)

  1. Y. Hu and P. Loizou, "Subjective comparison and evaluation of speech enhancement algorithms," Speech communication, vol. 49, no. 7, pp. 588-601, Jul. 2007. https://doi.org/10.1016/j.specom.2006.12.006 

  2. Y. Hu and P. Loizou, "Evaluation of objective quality measures for speech enhancement," IEEE Transactions on Speech and Audio Processing, vol. 16, no. 1, pp. 229-238, 2008. https://doi.org/10.1109/tasl.2007.911054 

  3. Y. Hu and P. Loizou, "A comparative intelligibility study of single-microphone noise reduction algorithms." The Journal of the Acoustical Society of America, vol. 122, no. 3, p. 1777, Sep. 2007. https://doi.org/10.1121/1.2766778 

  4. G. Brown and M. Cooke, "Computational auditory scene analysis," Computer speech and language, vol. 8, pp. 297-336, 1994 https://doi.org/10.1006/csla.1994.1016 

  5. G. Brown and M. Cooke, "Computational auditory scene analysis," Computer speech and language, vol. 8, pp. 297-336, 1994 https://doi.org/10.1109/9780470043387 

  6. D. Wang, "On ideal binary mask as the computational goal of auditory scene analysis," In Divenyi P. (ed.), Speech Separation by Humans and Machines, pp. 181-197, Kluwer Academic, Norwell MA, 2005. https://doi.org/10.1007/0-387-22794-6_12 

  7. G. Kim. Y. Lu, Y. Hu and P. Loizou, "An algorithm that improves speech intelligibility in noise for normal-hearing listeners," The Journal of the Acoustical Society of America, vol. 126, no. 3, pp 1486-1494, 2009. https://doi.org/10.1121/1.3184603 

  8. Y. Hu, P. Loizou, "Environment-specific noise suppression for improved speech intelligibility by cochlear implant users", The Journal of the Acoustical Society of America, vol. 127, no. 6, pp 3689-3695, 2010. https://doi.org/10.1121/1.3365256 

  9. K. Han, D. Wang, "A classification based approach to speech segregation", The Journal of the Acoustical Society of America, vol. 132, no. 5, pp 3475-3483, 2012. https://doi.org/10.1121/1.4754541 

  10. Y. Wang, K. Han, D. Wang, "Exploring monaural features for classification-based speech segregation", IEEE Transactions on Audio, Speech, and Language Processing, vol. 21, no. 2, pp 270-279, 2013. https://doi.org/10.1109/tasl.2012.2221459 

  11. G. Kim, "A Post-processing for Binary Mask Estimation Toward Improving Speech Intelligibility in Noise," Journal of Broadcast Engineering, Vol. 18, No.2, pp.311-318, March, 2013. https://doi.org/10.5909/jbe.2013.18.2.311 

  12. G. Kim, P. Loizou, "Improving speech intelligibility in noise using environment optimized algorithms", IEEE Transactions on Audio, Speech, and Language Processing, vol. 18, no. 8, pp 2080-2090, 2010. https://doi.org/10.1109/tasl.2010.2041116 

  13. G. Kim, "Eigenvoice Adaptation of Classification Model for Binary Mask Estimation," Journal of Broadcast Engineering, Vol.20, No.1, pp.164-170, 2015. https://doi.org/10.5909/jbe.2015.20.1.164 

  14. R. Kuhn, J. Junqua, P. Nguyen, N. Niedzielski, "Rapid Speaker Adaptation in Eigenvoice Space," IEEE Transactions on Speech and Audio Proceeding, vol. 8, no. 6, pp. 695-707, November 2000. https://doi.org/10.1109/89.876308 

  15. D. Povey and G. Saon, "Feature and model space speaker adaptation with full covariance Gaussians," Proceedings of Interspeech, USA, september 2006. 

  16. K. Shinoda, "Speaker Adaptation Techniques for Speech Recognition Using Probabilistic Models," Electronics and Communications in Japan, Part 3, Vol. 88, No. 12, pp.25-42, 2005. https://doi.org/10.1002/ecjc.20207 

  17. J. Tchorz and B. Kollmeier, "Estimation of the signal-to-noise ratio with amplitude modulation spectrograms," Speech Communication, vol. 38, no. 1-2, pp. 1-17, Sep. 2002. https://doi.org/10.1016/s0167-6393(01)00040-1 

  18. J. Tchorz and B. Kollmeier, "SNR estimation based on amplitude modulation analysis with applications to noise suppression," IEEE Transactions on Speech and Audio Processing, vol. 11, no. 3, pp. 184-192, May 2003. https://doi.org/10.1109/tsa.2003.811542 

  19. IEEE, "IEEE recommended practice for speech quality measurements," IEEE Trans. Audio Electroacoust., vol. 17, pp. 225-246, 1969. https://doi.org/10.1109/tau.1969.1162058 

  20. A. Varga and H. J. M. Steeneken, "Assessment for automatic speech recognition: II. NOISEX-92: A database and an experiment to study the effect of additive noise on speech recognition systems," Speech Communication, vol. 12, pp. 247-251, 1993. https://doi.org/10.1016/0167-6393(93)90095-3 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로