[논문]잡음 환경에 효과적인 음성 인식을 위한 Gaussian mixture model deep neural network 하이브리드 기반의 특징 보상

윤기무; 김우일

doi:10.7776/ask.2018.37.6.506

잡음 환경에 효과적인 음성 인식을 위한 Gaussian mixture model deep neural network 하이브리드 기반의 특징 보상
A study on Gaussian mixture model deep neural network hybrid-based feature compensation for robust speech recognition in noisy environments 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.37 no.6, 2018년, pp.506 - 511

초록
AI-Helper

본 논문에서는 잡음 환경에서 효과적인 음성인식을 위하여 GMM(Gaussian Mixture Model)-DNN(Deep Neural Network) 하이브리드 기반의 특징 보상 기법을 제안한다. 기존의 GMM 기반의 특징 보상에서 필요로 하는 사후 확률을 DNN을 통해 계산한다. Aurora 2.0 데이터를 이용한 음성 인식 성능 평가에서 본 논문에서 제안한 GMM-DNN 하이브리드 기법이 기존의 GMM 기반 기법에 비해 Known, Unknown 잡음 환경에서 모두 평균적으로 우수한 성능을 나타낸다. 특히 Unknown 잡음 환경에서 평균 오류율이 9.13 %의 상대 향상률을 나타내고, 낮은 SNR(Signal to Noise Ratio) 잡음 환경에서 상당히 우수한 성능을 보인다.

Abstract ▼ AI-Helper

This paper proposes an GMM(Gaussian Mixture Model)-DNN(Deep Neural Network) hybrid-based feature compensation method for effective speech recognition in noisy environments. In the proposed algorithm, the posterior probability for the conventional GMM-based feature compensation method is calculated using DNN. The experimental results using the Aurora 2.0 framework and database demonstrate that the proposed GMM-DNN hybrid-based feature compensation method shows more effective in Known and Unknown noisy environments compared to the GMM-based method. In particular, the experiments of the Unknown environments show 9.13 % of relative improvement in the average of WER (Word Error Rate) and considerable improvements in lower SNR (Signal to Noise Ratio) conditions such as 0 and 5 dB SNR.

주제어

표/그림 (4)

그림 Fig. 1. Recognition performance in “Known” noisy environments at different SNRs as average over all environments: Subway, Babble, Car and Exhibition (WER, %).
표 Table 1. Recognition performance in “Known” noisy environments as average over all SNRs: 0 dB, 5 dB, 10 dB, 15 dB, and 20 dB (WER, %).
그림 Fig. 2. Recognition performance in “Unknown” noisy environments at different SNRs as average over all environments: Factory, Babble2, Car2 and Music (WER, %).
표 Table 2, Recognition performance in “Unknown” noisy environments as average over all SNRs: 0 dB, 5 dB, 10 dB, 15 dB, and 20 dB (WER, %).

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 잡음 환경에서 효과적인 음성인식을 위하여 GMM-DNN 하이브리드 기반의 특징 보상 기법을 제안하였다. 기존의 GMM 기반의 특징 보상에서 필요로 하는 사후 확률을 DNN을 통해 계산하였다.
깨끗한 음성 GMM과 오염 음성 GMM의 통계적 차이를 이용하여 입력된 음성으로부터 깨끗한 음성을 복구하게 된다. 본 연구에서는 기존의 GMM 기반의 특징 보상 기법에서 보상 과정에서 필요한 사후확률 계산에 DNN을 사용함으로써 그 성능을 향상시키고자 한다. 성능 평가를 위해 Aurora 2.

가설 설정

(2)와 같은 GMM으로 가정하며, 깨끗한 음성 모델과 오염된 음성 모델의 각 가우시안 요소의 평균 벡터와 분산 행렬 사이에 Eqs.

제안 방법

본 논문에서는 Eq. (7)의 특징 보상 과정에서 사용되는 사후 확률을 DNN을 이용하여 계산하는 방법을 제안한다. L개의 층을 갖는 DNN에서 l번째 층은 다음과 같이 표현할 수 있다.
GMM 기반 특징 보상 기법에서는 128개의 가우시안 요소를 사용하여 깨끗한 음성 GMM을 생성하고 II장에서 설명한 EM 기반의 훈련 과정을 통하여 오염 음성 GMM을 생성하였다.
GMM 기반 특징 보상 기법에서는 128개의 가우시안 요소를 사용하여 깨끗한 음성 GMM을 생성하고 II장에서 설명한 EM 기반의 훈련 과정을 통하여 오염 음성 GMM을 생성하였다. GMM-DNN 하이브리드 기반 특징 보상 기법에서는 2개의 은닉층을 갖는 심층 신경망을 사용하였고 다양한 실험을 통해 각각 200개와 400개의 뉴런을 갖는 은닉층을 최종적으로 사용했다. 활성 함수로는 ReLU 함수를 사용하고, 출력 층에서는 사후 확률 형태의 값을 얻기 위하여 Softmax 함수를 사용하였다.
2는 특징 보상 기법 모델 훈련을 위해 사용한 훈련용 오염 음성 데이터에 테스트 환경의 잡음이 포함되지 않은 “Unknown” 잡음 환경에 대한 성능 평가를 나타낸다. Unknown 잡음 환경 성능 평가를 위하여 Aurora 2.0에 SetA 테스트 데이터에 포함된 깨끗한 음성 데이터와 다른 리소스의 잡음 샘플을 이용하여 새로운 잡음 오염 음성 데이터를 생성하였다. 잡음 데이터로는 NOISEX92에 포함되어 있는 Factory, Car, Babble 잡음을 사용하였고, 한국 가요의 전주부분에서 취득한 오디오 데이터를 이용하여 배경음악(Music) 잡음으로 사용하였다.
오염 음성 모델은 깨끗한 음성 모델을 기반으로 하여 훈련 데이터를 이용하여 생성할 수도 있고, ^[4]입력된 음성데이터로부터 추정할 수도 있으며, ^[4] 모델 결합 법칙을 이용하여 잡음 데이터를 이용하여 생성할 수도 있다. ^[5] 본 논문에서는 훈련 데이터를 이용하여 사전에 오염 음성 모델을 생성하는 방식인 데이터 유도 기반의 특징 보상 기법을 사용한다.
객관적인 성능 평가를 위하여 기존의 대표적인 전 처리 알고리즘과 성능을 비교하였다. 대표적 전처리 알고리즘으로 가장 일반적으로 사용되는 주파수 차감법 기법을 선택하였으며 배경 잡음을 추정하기 위해 250 msec의 시간 지연을 갖는 최소 통계 기법을 적 용하였다.
본 논문에서는 잡음 환경에서 효과적인 음성인식을 위하여 GMM-DNN 하이브리드 기반의 특징 보상 기법을 제안하였다. 기존의 GMM 기반의 특징 보상에서 필요로 하는 사후 확률을 DNN을 통해 계산하였다. Aurora 2.
따라서 v⁰ 는 입력 관찰 벡터를 나타내고 v^L은 해당 심층 신경망의 최종 출력을 나타낸다. 본 논문에서 제안하는 방법에서는 입력 데이터로 기존의 GMM 기반 특징 보상 기법과 동일한 켑스트럼 특징 벡터를 사용하고, 출력으로 오염된 음성 모델의 각 가우시안 요소의 사후 확률 값을 생성하는 DNN을 학습을 통해 얻고자 한다. 따라서 입력 층의 뉴런의 개수는 음성 특징 벡터의 사이즈와 동일하고, 출력 층의 뉴런의 개수는 가우시안 혼합 모델의 요소 개수와 동일하다.
(2)로 얻어진 오염 음성 GMM을 이용하여 사후 확률을 계산하고, 이 중 최대값을 갖는 가우시안 인덱스의 요소를 1로 하고 나머지는 0을 갖는 레이블 데이터를 생성한다. 생성된 레이블 데이터를 목표로 하여 신경망을 학습한다. 제안하는 GMMDNN 하이브리드 기반 특징 보상 기법에서는 학습을 통해 얻어진 신경망의 가중치 행렬과 바이어스 벡터를 이용하여 다음과 같이 특징을 복구할 수 있다
본 연구에서는 기존의 GMM 기반의 특징 보상 기법에서 보상 과정에서 필요한 사후확률 계산에 DNN을 사용함으로써 그 성능을 향상시키고자 한다. 성능 평가를 위해 Aurora 2.0 평가 프레임워크와 데이터베이스를 사용하였고, Aurora 2.0에 포함되어 있는 테스트 데이터와 새로 생성한 테스트 데이터에 대해 성능 평가를 실시하여 known 잡음 환경과 unknown 잡음 환경에서의 인식 성능을 관찰하였다.
이와 같은 잡음을 이용하여 0 dB, 5 dB, 10 dB, 15 dB, 20 dB SNR에 맞게 부가하여 인공적으로 잡음 오염 음성을 생성하였다.
0에서 제공하는 Clean-condition Training, Multi-condition Testing 방식에 따라 음향 모델은 깨끗 한 환경에서 수집된 8,840개의 음성 데이터를 이용하여 훈련하였다. 잡음 환경에서의 성능 향상을 위 해 켑스트럼 평균 정규화 기법을 공통으로 적용하였다
생성된 레이블 데이터를 목표로 하여 신경망을 학습한다. 제안하는 GMMDNN 하이브리드 기반 특징 보상 기법에서는 학습을 통해 얻어진 신경망의 가중치 행렬과 바이어스 벡터를 이용하여 다음과 같이 특징을 복구할 수 있다

대상 데이터

Aurora 2.0에서 제공하는 Clean-condition Training, Multi-condition Testing 방식에 따라 음향 모델은 깨끗 한 환경에서 수집된 8,840개의 음성 데이터를 이용하여 훈련하였다. 잡음 환경에서의 성능 향상을 위 해 켑스트럼 평균 정규화 기법을 공통으로 적용하였다
GMM 기반 특징 보상 기법과 GMM-DNN 하이브리드 특징 보상 기법의 모델 훈련을 위하여 Aurora 2.0에서 제공하는 Multi-condition training 데이터를 사용하였다. Multi-condition training 데이터는 8,840개의 깨끗한 훈련용 음성 데이터를 SetA 테스트 데이터와 동일한 잡음 데이터를 이용하여 clean 환경, 0 dB, 5 dB, 10 dB, 15 dB, 20 dB SNR에 맞게 생성한 훈련 데이터로서 테스트 환경을 포함하고 있다.
0에서 제공하는 Multi-condition training 데이터를 사용하였다. Multi-condition training 데이터는 8,840개의 깨끗한 훈련용 음성 데이터를 SetA 테스트 데이터와 동일한 잡음 데이터를 이용하여 clean 환경, 0 dB, 5 dB, 10 dB, 15 dB, 20 dB SNR에 맞게 생성한 훈련 데이터로서 테스트 환경을 포함하고 있다. 따라서 테스트용 잡음 환경에 대해 사전에 알고 있는 “Known” 조건으로 간주할 수 있다.
0에 포함되어 있는 SetA 테스트 데이터를 사용하였다. SetA 테스트 데이터에는 Subway,Babble, Car, Exhibition의 4 종류의 잡음을 0 dB, 5 dB, 10 dB, 15 dB, 20 dB SNR에 따라 부가적으로 오염시켜 생성한 잡음 오염 음성이 포함되어 있다. Table 1의 결과는 각 테스트 잡음 환경에서 모든 SNR 환경에 대한 WER의 평균을 구한 결과이다.
1은 “Known” 잡음 환경에서 기존의 GMM 기반의 특징 보상 기법과 본 논문에서 제안하는 GMM-DNN 하이브리드 기반의 특징 보상 기법의 성능 평가 비교를 나타낸다. 이 실험에서는 성능 평가를 위해 Aurora 2.0에 포함되어 있는 SetA 테스트 데이터를 사용하였다. SetA 테스트 데이터에는 Subway,Babble, Car, Exhibition의 4 종류의 잡음을 0 dB, 5 dB, 10 dB, 15 dB, 20 dB SNR에 따라 부가적으로 오염시켜 생성한 잡음 오염 음성이 포함되어 있다.
0에 SetA 테스트 데이터에 포함된 깨끗한 음성 데이터와 다른 리소스의 잡음 샘플을 이용하여 새로운 잡음 오염 음성 데이터를 생성하였다. 잡음 데이터로는 NOISEX92에 포함되어 있는 Factory, Car, Babble 잡음을 사용하였고, 한국 가요의 전주부분에서 취득한 오디오 데이터를 이용하여 배경음악(Music) 잡음으로 사용하였다. 이와 같은 잡음을 이용하여 0 dB, 5 dB, 10 dB, 15 dB, 20 dB SNR에 맞게 부가하여 인공적으로 잡음 오염 음성을 생성하였다.

이론/모형

01의 학습률을 사용하였다. Adam 최적화 알고리즘을 사용하여 교차 엔트로피를 기준으로 학습하였다.
대표적 전처리 알고리즘으로 가장 일반적으로 사용되는 주파수 차감법 기법을 선택하였으며 배경 잡음을 추정하기 위해 250 msec의 시간 지연을 갖는 최소 통계 기법을 적 용하였다. ^[13] 성능 비교를 위해 기존의 대표적인 특징 보상 기법인 VTS(Vector Taylor Series) 기반 알고리즘을 평가하였다. ^[4] VTS 기법에서는 EM 기법을 이 용하여 적응적으로 잡음 성분을 추정하는 것으로 알려져있다.
객관적인 성능 평가를 위해서 Aurora 2.0에서 제공하는 평가 방식을 따랐다. Aurora 2.
객관적인 성능 평가를 위하여 기존의 대표적인 전 처리 알고리즘과 성능을 비교하였다. 대표적 전처리 알고리즘으로 가장 일반적으로 사용되는 주파수 차감법 기법을 선택하였으며 배경 잡음을 추정하기 위해 250 msec의 시간 지연을 갖는 최소 통계 기법을 적 용하였다. ^[13] 성능 비교를 위해 기존의 대표적인 특징 보상 기법인 VTS(Vector Taylor Series) 기반 알고리즘을 평가하였다.
는 음성 인식이 이루어지는 잡음 환경과 동일하다고 가정된 환경에서 취득된 훈련용 음성 데이터베 이스를 이용하여 얻을 수 있다. 보정 요소의 예측에는 반복적인 EM(Expectation Maximization) 알고리즘 이 이용되며 평균 벡터와 분산 행렬 보정 요소에 대해 각각 다음과 같은 식을 사용하여 추정할 수 있다.
^[4] VTS 기법에서는 EM 기법을 이 용하여 적응적으로 잡음 성분을 추정하는 것으로 알려져있다. 본 논문에서는 음성 인식 성능의 지표로 단어 오인식율(Word Error Rate, WER)을 사용하였다
GMM-DNN 하이브리드 기반 특징 보상 기법에서는 2개의 은닉층을 갖는 심층 신경망을 사용하였고 다양한 실험을 통해 각각 200개와 400개의 뉴런을 갖는 은닉층을 최종적으로 사용했다. 활성 함수로는 ReLU 함수를 사용하고, 출력 층에서는 사후 확률 형태의 값을 얻기 위하여 Softmax 함수를 사용하였다. 학습 데이터 양의 10 % 크기를 배치 사이즈로 하였고 0.

성능/효과

기존의 GMM 기반의 특징 보상에서 필요로 하는 사후 확률을 DNN을 통해 계산하였다. Aurora 2.0 데이터를 이용한 음성 인식 성능 평 가에서 본 논문에서 제안한 GMM-DNN 하이브리드 기법이 기존의 GMM 기반 기법에 비해 Known, Unknown 잡음 환경에서 모두 평균적으로 우수한 성능을 나타냈다. 특히 Unknown 잡음 환경에서 평균 오류율이 9.
Recognition performance in “Known” noisy environments as average over all SNRs: 0 dB, 5 dB, 10 dB, 15 dB, and 20 dB (WER, %).
Table 1에서 확인할 수 있는 것과 같이 본 논문에서 제안하는 GMM-DNN 하이브리드 기반의 특징 보상 기법이 기존의 GMM 기반의 특징 보상과 비교하여 Subway 잡음과 Car 잡음 환경에서 낮은 WER을 보이 고, 4종류 환경에 대한 전체 평균 WER도 다소 앞서는 것으로 관찰되었다. Fig.
Table 2에서 확인할 수 있는 것과 같이 Music 잡음 환경을 제외한 3가지 잡음 환경에서 제안한 GMM-DNN 하이브리드 기반 특징 보상 기법이 기존의 GMM 기반의 특징 보상 기법에 비해 상당히 우수한 성능을 나타내는 것을 알 수 있다. 전체 잡음 환경에 대한 평균 WER로 기존의 GMM 기법은 17.
2에서는 각 SNR에서 4종류 잡음의 평균 성능을 비교한다. 앞의 실험에서와 유사하게 낮은 SNR 환경(0 dB, 5 dB)에서 제안한 GMM DNN 기반의 특징 보상 기법이 기존의 GMM 기반 특징 보상에 비해 상당히 우수한 성능을 나타낸다.
이상과 같은 결과는 본 논문에서 제안하는 GMMDNN 하이브리드 기반 특징 보상 기법에 사용된 심 층 신경망의 비선형 구조가 사후 확률 계산을 일반화하는 능력이 GMM 기반 방식보다 우수하기 때문에 낮은 SNR과 Unknown 잡음 환경과 같이 훈련 데이 터베이스가 적게 반영된 테스트 환경에 보다 효과적임을 입증하는 것으로 판단된다
Table 2에서 확인할 수 있는 것과 같이 Music 잡음 환경을 제외한 3가지 잡음 환경에서 제안한 GMM-DNN 하이브리드 기반 특징 보상 기법이 기존의 GMM 기반의 특징 보상 기법에 비해 상당히 우수한 성능을 나타내는 것을 알 수 있다. 전체 잡음 환경에 대한 평균 WER로 기존의 GMM 기법은 17.20 %, 제안한 GMM-DNN 기법은 15.63 %를 나타내어 9.13 %의 상대 향상률을 나타냈다. Fig.
0 데이터를 이용한 음성 인식 성능 평 가에서 본 논문에서 제안한 GMM-DNN 하이브리드 기법이 기존의 GMM 기반 기법에 비해 Known, Unknown 잡음 환경에서 모두 평균적으로 우수한 성능을 나타냈다. 특히 Unknown 잡음 환경에서 평균 오류율이 9.13 %의 상대 향상률을 나타냈고, 낮은 SNR 잡음 환경에서 현저히 우수한 성능을 보임을 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음성 인식 시스템 음향 모델 훈련 환경과 음성 인식 성능과 관계는 어떠한가?	인식 성능이 저하되는 가장 큰 원인 중 하나는 음성 인식 시스템에 장착되어지는 음향 모델을 훈련하는 환경과 실제 시스템을 적용하는 환경이 음향학적 측면에서 불일치 한다는 점이다. 일반적으로 음성 인식 시스템을 위한 음향 모델을 훈련하기 위해 사 용하는 대용량 음성 데이터베이스는 잡음이 없는 깨 끗한 환경에서 수집하게 된다. 따라서 훈련된 음향 모델은 깨끗한 발화 환경만을 표현하게 되어 실제 잡음 환경에서는 그 차이로 인한 오류가 불가피해지고 이는 음성 인식 성능 하락의 주요한 원인이 된다
	기존 가우시안 혼합 모델 기반의 특징 보상 기법은 어떻게 작용하는가?	[9,10]본 논문에서는 잡음 환경에 강인한 음성 인식을 위한 효과적인 특징 보상 기법을 제안하고 그 성능을 평가한다. 기존의 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 기반의 특징 보상 기법에서는 깨끗한 음성을 GMM 형태로 모델링한 후, 훈련 데이터, 입력 음성 등을 이용하여 오염 음성 GMM을 생성한다. 깨끗한 음성 GMM과 오염 음성 GMM의 통계적 차이를 이용하여 입력된 음성으로부터 깨끗한 음 성을 복구하게 된다.
	훈련된 음향 모델을 잡음 환경과 일치하도록 적응해 주는 기법에는 무엇이 있는가?	두 번째 접근 방법은 이미 훈련되어진 음향 모델을 새로운 잡음 환경과 일치하도록 적응 해주는 기법이다. 최대 사후 확률 예측법, [6]최대 우도 선형 회귀기법, [7]병렬 모델 결합 기법[8]등이 이 접근 방법에 속한다. 최근에는 심층 신경망을 활용한 기법들이 소개되었다.

참고문헌 (13)

S. F. Boll, "Suppression of acoustic noise in speech using spectral subtraction," Proc. IEEE Trans. on Acoustics, Speech and Signal, 27, 113-120 (1979).
Y. Ephraim and D. Malah, "Speech enhancement using minimum mean square error short time spectral amplitude estimator," Proc. IEEE Trans. on Acoustics, Speech and Signal, 32, 109-1121 (1984).
J. H. L. Hansen and M. Clements, "Constrained iterative speech enhancement with application to speech recognition," Proc. IEEE Trans. on Signal, 39, 795-805 (1991).
P. J. Moreno, B. Raj, and R. M. Stern, "Data-driven environmental compensation for speech recognition: a unified approach," Speech Communication, 24, 267-285 (1998).

상세보기
W. Kim and J. H. L. Hansen, "Feature compensation in the cepstral domain employing model combination," Speech Communication, 51, 83-96 (2009).

상세보기
J. L. Gauvain and C. H. Lee, "Maximum a posteriori estimation for multivariate gaussian mixture observations of markov chains," Proc. IEEE Trans. on Speech and Audio, 2, 291-298 (1994).
C. J. Leggetter and P. C. Woodland, "Maximum likelihood linear regression for speaker adaptation of continuous density HMMs," Computer Speech and Language, 9, 171-185 (1995).
M. J. F. Gales and S. J. Young, "Robust continuous speech recognition using parallel model combination," Proc. IEEE Trans. on Speech and Audio, 4, 352-359 (1996).
J. Du, L.-R. Dai, and Q. Huo, "Synthesized stereo mapping via deep neural networks for noisy speech recognition," ICASSP 2014, 1764-1768 (2014).
K. Han, Y. He, D. Bagchi, E. Fosler-Lussier, and D. Wang, "Deep neural network based spectral feature mapping for robust speech recognition," Interspeech 2015, 2484-2488 (2015).
H. G. Hirsch and D. Pearce, "The AURORA experimental framework for the performance evaluations of speech recognition systems under noisy conditions," ISCA ITRW ASR2000, Sep. 2000.
ETSI ES 201 108, ETSI standard document, v1.1.2(2000- 04), Feb. 2000.
R. Martin, "Spectral Subtraction Based on Minimum Statistics," EUSIPCO-94, 1182-1185 (1994).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증