강인한 음성인식을 위한 극점 필터링 및 스케일 정규화를 이용한 켑스트럼 특징 정규화 방식 Cepstral Feature Normalization Methods Using Pole Filtering and Scale Normalization for Robust Speech Recognition원문보기
본 논문에서는 Cepstral Mean Normalization(CMN)과 Cepstral Mean and VarianceNormalization(CMVN) 프레임워크에서 극점 필터링(pole filtering) 개념을 Mel-Frequency Cepstral Coefficient(MFCC) 특징 벡터에 적용한다. 또한 분산 정규화를 대신하여 스케일 정규화를 사용하는 Cepstral Mean and Scale Normalization(CMSN)의 성능을 잡음 환경 음성인식 실험을 통해 평가한다. CMN과 CMVN은 보통 발화 단위로 수행되기 때문에 짧은 발화의 경우 특징에 대한 평균과 분산의 추정 신뢰도가 보장되지 않는 문제점을 가지는데, 극점 필터링과 스케일 정규화 방식을 적용함으로 이러한 문제점을 보완할 수 있다. Aurora 2 데이터베이스를 이용한 실험 결과, 극점 필터링과 스케일 정규화를 결합한 특징 정규화 방식의 성능이 가장 높은 성능 향상을 보인다.
본 논문에서는 Cepstral Mean Normalization(CMN)과 Cepstral Mean and Variance Normalization(CMVN) 프레임워크에서 극점 필터링(pole filtering) 개념을 Mel-Frequency Cepstral Coefficient(MFCC) 특징 벡터에 적용한다. 또한 분산 정규화를 대신하여 스케일 정규화를 사용하는 Cepstral Mean and Scale Normalization(CMSN)의 성능을 잡음 환경 음성인식 실험을 통해 평가한다. CMN과 CMVN은 보통 발화 단위로 수행되기 때문에 짧은 발화의 경우 특징에 대한 평균과 분산의 추정 신뢰도가 보장되지 않는 문제점을 가지는데, 극점 필터링과 스케일 정규화 방식을 적용함으로 이러한 문제점을 보완할 수 있다. Aurora 2 데이터베이스를 이용한 실험 결과, 극점 필터링과 스케일 정규화를 결합한 특징 정규화 방식의 성능이 가장 높은 성능 향상을 보인다.
In this paper, the pole filtering concept is applied to the Mel-frequency cepstral coefficient (MFCC) feature vectors in the conventional cepstral mean normalization (CMN) and cepstral mean and variance normalization (CMVN) frameworks. Additionally, performance of the cepstral mean and scale normali...
In this paper, the pole filtering concept is applied to the Mel-frequency cepstral coefficient (MFCC) feature vectors in the conventional cepstral mean normalization (CMN) and cepstral mean and variance normalization (CMVN) frameworks. Additionally, performance of the cepstral mean and scale normalization (CMSN), which uses scale normalization instead of variance normalization, is evaluated in speech recognition experiments in noisy environments. Because CMN and CMVN are usually performed on a per-utterance basis, in case of short utterance, they have a problem that reliable estimation of the mean and variance is not guaranteed. However, by applying the pole filtering and scale normalization techniques to the feature normalization process, this problem can be relieved. Experimental results using Aurora 2 database (DB) show that feature normalization method combining the pole-filtering and scale normalization yields the best improvements.
In this paper, the pole filtering concept is applied to the Mel-frequency cepstral coefficient (MFCC) feature vectors in the conventional cepstral mean normalization (CMN) and cepstral mean and variance normalization (CMVN) frameworks. Additionally, performance of the cepstral mean and scale normalization (CMSN), which uses scale normalization instead of variance normalization, is evaluated in speech recognition experiments in noisy environments. Because CMN and CMVN are usually performed on a per-utterance basis, in case of short utterance, they have a problem that reliable estimation of the mean and variance is not guaranteed. However, by applying the pole filtering and scale normalization techniques to the feature normalization process, this problem can be relieved. Experimental results using Aurora 2 database (DB) show that feature normalization method combining the pole-filtering and scale normalization yields the best improvements.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
를 적용한다. 극점 필터링은 선형예측 켑스트럼 계수(Linear Predictive Cepstral Coefficient, LPCC)에 CMN을 적용 시, 채널 성분 추정의 정확도 향상을 위해 제안되었고, 본 논문에서는 이를 MFCC에 적용하고 CMVN을 포함한 다른 정규화 방식에도 도입한다. 스케일 정규화 방식은 화자 인식의 특징 정규화를 위해 제안되었는데, 본 논문에서는 이를 잡음 환경 음성인식의 특징 정규화에 도입하여, 짧은 발화에서 발생하는 분산 추정 문제를 해결하고자 한다.
CMSN이 잡음 환경 음성인식의 특징 정규화 용도로 사용된 예는 있으나, [5] 사실 잡음 환경 음성인식에서 분산 정규화와 스케일 정규화 중 어느 쪽이 더 효과적인지를 직접적으로 비교한 연구는 지금까지 없었던 것으로 파악된다. 따라서 본 논문에서는 잡음 환경 음성인식 실험을 통해 CMVN과 CMSN의 성능을 비교하였다. 또한 극점 필터링은 CMSN에도 적용 가능하므로, 본 논문에서는 Eq.
본 논문에서는 기존의 CMN과 CMVN을 이용한 특징 정규화 방식이 짧은 발화에서 가지는 문제점을 보완하기 위해서 기존의 극점 필터링 방식과 스케일 정규화 방식을 도입하였다. Aurora 2 평가 환경에서 극점 필터링은 소폭의 성능 향상을 보였고, 스케일 정규화는 극점 필터링과 결합하여 의미 있는 성능 향상을 보임을 확인하였다.
극점 필터링은 선형예측 켑스트럼 계수(Linear Predictive Cepstral Coefficient, LPCC)에 CMN을 적용 시, 채널 성분 추정의 정확도 향상을 위해 제안되었고, 본 논문에서는 이를 MFCC에 적용하고 CMVN을 포함한 다른 정규화 방식에도 도입한다. 스케일 정규화 방식은 화자 인식의 특징 정규화를 위해 제안되었는데, 본 논문에서는 이를 잡음 환경 음성인식의 특징 정규화에 도입하여, 짧은 발화에서 발생하는 분산 추정 문제를 해결하고자 한다.
제안 방법
다양한 특징 정규화 방식들의 성능을 평가하기 위해 잡음과 채널 왜곡의 영향이 반영된 Aurora 2 평가 환경을 사용하였다. [6] Aurora 2 DB는 미국인 화자가 발성한 1 ~ 7자리의 연속숫자로 구성된 Texas Instruments(TI) digit DB에 실제 환경의 잡음을 신호대잡음비 별로 더하고, 이를 International Telecommunication Union(ITU)에서 정의한 두개의 채널을 통과시킨 데이터이다.
본 논문에서는 이러한 문제를 완화시키기 위해서 평균 추정 개선용으로 극점 필터링[2]을, 분산 정규화 대신 스케일 정규화[3]를 적용한다. 극점 필터링은 선형예측 켑스트럼 계수(Linear Predictive Cepstral Coefficient, LPCC)에 CMN을 적용 시, 채널 성분 추정의 정확도 향상을 위해 제안되었고, 본 논문에서는 이를 MFCC에 적용하고 CMVN을 포함한 다른 정규화 방식에도 도입한다.
음향 모델 훈련은 Aurora 2 DB에 정의된 clean–condition과 multi-condition DB를 사용하여 두 가지 모드로 훈련하였다.
대상 데이터
[6] Aurora 2 DB는 미국인 화자가 발성한 1 ~ 7자리의 연속숫자로 구성된 Texas Instruments(TI) digit DB에 실제 환경의 잡음을 신호대잡음비 별로 더하고, 이를 International Telecommunication Union(ITU)에서 정의한 두개의 채널을 통과시킨 데이터이다. 특징 벡터는 12차 MFCC와 로그 에너지에 대한 각각의 델타, 델타-델타 파라미터를 포함하여 총39차 특징을 사용하였다. 음향 모델로는 단어 단위의 은닉 마르코프 모델로 16개 상태의 left-to-right모델을 사용하였고, 각 상태당 가우스 혼합의 수는 3개이다.
이론/모형
따라서 본 논문에서는 두 번째 극점 필터링 방법을 음성인식에 가장 널리 사용되는 MFCC 특징에 적용한다. 또한 CMN 이외에 CMVN에도 극점 필터링을 함께 도입하여 이들 각각을 Pole-Filtered CMN(PFCMN) 및 Pole-Filtered CMVN(PFCMVN)이라고 명명한다.
[1] 이 중 특징영역에서의 보상 방식은 비교적 계산량이 적고, 음성인식 엔진에 독립적으로 사용할 수 있다는 장점을 가진다. 본 논문에서는 다양한 특징 보상 방식 중 음성인식 분야에서 가장 널리 사용되고 있는 CMN과 CMVN 방식을 이용한다. [1] CMN은 음성 켑스트럼에서 장구간 켑스트럼 평균을 빼주는 경우, 미지의 채널 특성이 제거되는 성질을 이용한다.
특징 벡터는 12차 MFCC와 로그 에너지에 대한 각각의 델타, 델타-델타 파라미터를 포함하여 총39차 특징을 사용하였다. 음향 모델로는 단어 단위의 은닉 마르코프 모델로 16개 상태의 left-to-right모델을 사용하였고, 각 상태당 가우스 혼합의 수는 3개이다. 음향 모델 훈련은 Aurora 2 DB에 정의된 clean–condition과 multi-condition DB를 사용하여 두 가지 모드로 훈련하였다.
성능/효과
본 논문에서는 기존의 CMN과 CMVN을 이용한 특징 정규화 방식이 짧은 발화에서 가지는 문제점을 보완하기 위해서 기존의 극점 필터링 방식과 스케일 정규화 방식을 도입하였다. Aurora 2 평가 환경에서 극점 필터링은 소폭의 성능 향상을 보였고, 스케일 정규화는 극점 필터링과 결합하여 의미 있는 성능 향상을 보임을 확인하였다. 현재 음성/비음성 구간을 구분하여 극점 필터링을 적용한 켑스트럼 정규화를 통해 잡음 환경에서 추가적인 성능을 향상시키는 연구를 진행 중이다.
PFCMN과 PFCMVN은 각각 γ=0.8과 γ=0.85에서 최적의 인식률을 보이고, 기존의 CMN과 CMVN에 비해서 나은 성능을 보였다.
Table 1과 Table 2는 각각 clean-condition 및 multi-condition 훈련환경에서 다양한 특징 정규화 방식들의 성능을 비교한 결과이다. PFCMN과 PFCMVN은 기존의 CMN과 CMVN에 비해서 약간의 성능 향상을 나타내고, CMSN은 기존 CMVN에 비해서 비교적 큰 폭의 성능 향상을 보였다. 특히 CMSN을 극점 필터링과 결합한 PFCMSN은 기존의 CMVN에 비해서 clean-condition 및 multi-condition 훈련환경에서 각각 24.
[2] 음성에 대한 전극(all-pole) 모델에서의 극점을 Fig. 1과 같이 극좌표로 나타냈을 때, 단위원에 근접한 협대역 극점은 현저한 포먼트(formant)를 나타내는 음성 성분의 주요 특성이다. 발화의 길이가 짧은 경우, 발화에 포함된 음소의 종류가 적기 때문에 켑스트럼 평균에 대해 특정 모음의 영향이 커지는 문제가 발생한다.
PFCMN과 PFCMVN은 기존의 CMN과 CMVN에 비해서 약간의 성능 향상을 나타내고, CMSN은 기존 CMVN에 비해서 비교적 큰 폭의 성능 향상을 보였다. 특히 CMSN을 극점 필터링과 결합한 PFCMSN은 기존의 CMVN에 비해서 clean-condition 및 multi-condition 훈련환경에서 각각 24.9 %와 10.3 %의 오류 감소율을 얻었다.
후속연구
Aurora 2 평가 환경에서 극점 필터링은 소폭의 성능 향상을 보였고, 스케일 정규화는 극점 필터링과 결합하여 의미 있는 성능 향상을 보임을 확인하였다. 현재 음성/비음성 구간을 구분하여 극점 필터링을 적용한 켑스트럼 정규화를 통해 잡음 환경에서 추가적인 성능을 향상시키는 연구를 진행 중이다.
질의응답
핵심어
질문
논문에서 추출한 답변
CMVN에서 켑스트럼 특징의 동적 범위를 정규화하기 위해 어떠한 방법을 사용하는가?
CMVN은 켑스트럼 특징의 동적 범위(dynamic range)를 정규화하기 위해 특징 차원별 분산 값을 1로 만들어주는 정규화 방법을 사용한다. 그러나 잡음 환경에 따라 켑스트럼 특징의 분포 특성이 많이 달라지기 때문에, 분산 정규화를 하더라도 피크-투-피크(peak-to-peak) 범위가 동일해지는 것은 아니다.
CMN의 문제점에는 무엇이 있는가?
[1] CMN은 음성 켑스트럼에서 장구간 켑스트럼 평균을 빼주는 경우, 미지의 채널 특성이 제거되는 성질을 이용한다. 하지만 켑스트럼의 평균에는 채널 특성 이외에 음성 자체의 켑스트럼 평균도 포함되어 있고, 입력 발화가 포함하는 어휘에 따라 켑스트럼의 평균이 달라진다. 또한 켑스트럼의 분산 역시 발화의 길이가 짧을수록 추정치의 편차가 커져서 추정치의 신뢰도가 떨어지게 된다.
특징영역에서의 보상 방식의 장점은 무엇인가?
이러한 환경 불일치 문제를 해결하기 위해서 많은 연구가 진행되었는데, 특징 영역 및 모델 영역에서의 보상 방식들로 크게 분류할 수 있다. [1] 이 중 특징영역에서의 보상 방식은 비교적 계산량이 적고, 음성인식 엔진에 독립적으로 사용할 수 있다는 장점을 가진다. 본 논문에서는 다양한 특징 보상 방식 중 음성인식 분야에서 가장 널리 사용되고 있는 CMN과 CMVN 방식을 이용한다.
참고문헌 (7)
J. Li, L. Deng, Y. Gong, and R. Haeb-Umbach, "An overview of noise-robust automatic speech recognition," IEEE/ACM Trans. Audio, Speech, Language Process., 22, 745-777 (2014).
D. Naik, "Pole-filtered cepstral mean subtraction," in Proc. IEEE Int. Conf. Acoust. Speech, Signal Process., 157-160 (1995).
M. Alam, P. Ouellet, P. Kenny, and D. O'Shaughnessy, "Comparative evaluation of feature normalization techniques for speaker verification," Adv. Nonlinear Speech Process., 246-253 (2011).
M. R. Schroeder, "Direct (nonrecursive) relations between cepstrum and predictor coefficients," IEEE Trans. Acoust., Speech, Signal Process. 29, 297-301 (1981).
M. J. Alam, P. Kenny, P. Dumouchel, and D. O'Shaughnessy, "Robust feature extractors for continuous speech recognition," in Proc. Eur. Signal Process. Conf., 944-948 (2014).
H. G. Hirsch and D. Pearce, "The AURORA experimental framework for the performance evaluation of speech recognition systems under noisy conditions," in Proc. Int. Conf. on Spoken Language Process., 29-32 (2000).
B. K. Choi, S. M. Ban, and H. S. Kim, "Pole-filtered cepstral normalization methods for robust speech recognition" (in Korean), in Proc. the 2015 Spring Conf. of the Korean Society of Speech Sciences, 101-102 (2015).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.