최대우도를 부가한 주파수 변이 PMC 방법의 잡음 음성 인식 성능개선 Recognition Performance Improvement for Noisy-speech by Parallel Model Compensation Adaptation Using Frequency-variant added with ML원문보기
잡음에 강건한 음성 인식을 위한 주파수 변이를 이용한 PMC( Parallel Model Compensation Using Frequency-variant, FV-PMC) 방법은 인식시 입력음성에 혼입이 예상되는 잡음들을 평균 주파수 변이도를 임계치로 하여 몇 가지 잡음 군으로 분류한 후 각 잡음 군 별로 인식을 수행하는 방법이다. 이 방법은 기준 임계치를 이용하여 양호하게 분류된 잡음 음성들에 대해서는 매우 우수한 성능을 보이나, 미 분류된 잡음 음성들에 대해서는 기존의 PMC 방법에서와 같이 무잡음 모델과 결합하여 음성 인식을 수행함으로 인해 평균 음성 인식률이 낮아지는 문제점이 있다. 이러한 문제점을 해결하기 위하여 본 논문에서는 기존의 방법에서 사용하였던 평균주파수 임계치 방법 대신에 최대 우도를 부가하여 미분류를 방지함으로써 입력 잡음음성에 포함되는 잡음의 군별 잡음 분류 율을 높여 인식률을 제고하는 개선된 주파수 변이 PMC 인식방법을 제안하였다. Aurora 2.0 데이터베이스를 이용한 인식실험결과, 기존의 FV-PMC 방법에 비해 향상된 결과를 확인할 수 있었다.
잡음에 강건한 음성 인식을 위한 주파수 변이를 이용한 PMC( Parallel Model Compensation Using Frequency-variant, FV-PMC) 방법은 인식시 입력음성에 혼입이 예상되는 잡음들을 평균 주파수 변이도를 임계치로 하여 몇 가지 잡음 군으로 분류한 후 각 잡음 군 별로 인식을 수행하는 방법이다. 이 방법은 기준 임계치를 이용하여 양호하게 분류된 잡음 음성들에 대해서는 매우 우수한 성능을 보이나, 미 분류된 잡음 음성들에 대해서는 기존의 PMC 방법에서와 같이 무잡음 모델과 결합하여 음성 인식을 수행함으로 인해 평균 음성 인식률이 낮아지는 문제점이 있다. 이러한 문제점을 해결하기 위하여 본 논문에서는 기존의 방법에서 사용하였던 평균주파수 임계치 방법 대신에 최대 우도를 부가하여 미분류를 방지함으로써 입력 잡음음성에 포함되는 잡음의 군별 잡음 분류 율을 높여 인식률을 제고하는 개선된 주파수 변이 PMC 인식방법을 제안하였다. Aurora 2.0 데이터베이스를 이용한 인식실험결과, 기존의 FV-PMC 방법에 비해 향상된 결과를 확인할 수 있었다.
The Parallel Model Compensation Using Frequency-variant: FV-PMC for noise-robust speech recognition is a method to classify the noises, which are expected to be intermixed with input speech when recognized, into several groups of noises by setting average frequency variant as a threshold value; and ...
The Parallel Model Compensation Using Frequency-variant: FV-PMC for noise-robust speech recognition is a method to classify the noises, which are expected to be intermixed with input speech when recognized, into several groups of noises by setting average frequency variant as a threshold value; and to recognize the noises depending on the classified groups. This demonstrates the excellent performance considering noisy speech categorized as good using the standard threshold value. However, it also holds a problem to decrease the average speech recognition rate with regard to unclassified noisy speech, for it conducts the process of speech recognition, combined with noiseless model as in the existing PMC. To solve this problem, this paper suggests a enhanced method of recognition to prevent the unclassified through improving the extent of rating scales with use of maximum likelihood so that the noise groups, including input noisy speech, can be classified into more specific groups, which leads to improvement of the recognition rate. The findings from recognition experiments using Aurora 2.0 database showed the improved results compared with those from the method of the previous FV-PMC.
The Parallel Model Compensation Using Frequency-variant: FV-PMC for noise-robust speech recognition is a method to classify the noises, which are expected to be intermixed with input speech when recognized, into several groups of noises by setting average frequency variant as a threshold value; and to recognize the noises depending on the classified groups. This demonstrates the excellent performance considering noisy speech categorized as good using the standard threshold value. However, it also holds a problem to decrease the average speech recognition rate with regard to unclassified noisy speech, for it conducts the process of speech recognition, combined with noiseless model as in the existing PMC. To solve this problem, this paper suggests a enhanced method of recognition to prevent the unclassified through improving the extent of rating scales with use of maximum likelihood so that the noise groups, including input noisy speech, can be classified into more specific groups, which leads to improvement of the recognition rate. The findings from recognition experiments using Aurora 2.0 database showed the improved results compared with those from the method of the previous FV-PMC.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서, 본 논문에서는 이들 방법 중 모델 보상 방법의 대표적인 방법 중 하나인 PMC에 관한 연구를 수행하였다. PMC는 켑스트럼 영역에서 추출된 MFCC 특징 파라미터를 이용하여 학습된 음성과 잡음의 은닉 마르코프 모델(Hidden Markov Model; HMM) 파라미터들을 잡음이 가산되는 스펙트럼 영역으로 변환하고 두 모델을 조합한다.
본 논문에서는 잡음 환경 하에서의 음성 인식 성능 저하의 주요 원인이 되고 있는 훈련과 인식의 환경적 차이를 줄이기 위한 방법으로 주파수 변이 방법에 최대우도법을 적용하여 잡음을 분류하고, 분류된 잡음 모델로 음성 인식을 수행하는 방법을 제안하였다. Aurora 2.
본 논문에서는 잡음의 종류를 모르는 입력 음성 x와 잡음의 종류를 알고 있는 잡음 음성 {I} 간의 유사도를 계산하여, 잡음 분류의 척도로서 효용성이 있는지를 확인하기로 한다. 그림 1에 subway 잡음환경 하에서 발성된 입력 음성과 각 잡음군 간의 마할라노비스 거리를 입력음성의 SNR 별로 나타내었다.
그러나 주파수 변이도 임계치를 이용해 잡음을 분류할 경우 잡음 분류율이 낮아, 미 분류되는 잡음 음성의 인식률 향상에 한계가 있었다. 이를 해결하기 위하여 본 논문에서는 FV-PMC 방법에서 문제가 되었던 잡음입력음성의 잡음 분류율을 향상시키기 위하여 새로운 분류척도를 도입을 검토하여 FV-PMC 방법에서 미분류되었던 입력잡음 음성들의 잡음 분류율을 향상시킴으로써 인식성능을 향상시킬 수 있는 방법을 제안하고 그 유효성을 확인하고자 한다.
기존 평균 임계치 방법을 이용하여 주파수 분류를 하였을 경우 잡음의 분류 현황을 표 1에 나타내었다. 이하 잡음군 분류에 적용 가능한 거리척 도에 대해 검토하기로 한다.
제안 방법
기존에는 입력 잡음음성이 속하는 잡음군의 선택에 있어 각 분류척도의 평균치를 임계치로 설정하여 이 임계치를 초과하는 분류값을 가진 잡음군을 선택하였다. 이 경우 임계치에 미달하는 분류값을 갖는 입력 잡음음성은 미분류로 처리되어 기존의 PMC 인식방법에 의해 인식 처리되어 인식률 저하의 원인이 되었다.
또, 잡음환경은 총 10종류의 잡음으로 분류되어 있으며, 3개의 set 즉, set A(subway, babble, car, exhibition)와 set B(restaurant, street, airport, station) 그리고 set A와 set B에 나타난 2가지 잡음(subway, street)의 훈련환경을 부가하기 전 채널왜곡 특성으로 필터링 된 잡음을 포함한 set C로 나누어져 있다. 성능 평가에서는 set A, B, C의 각 잡음의 종류에 대해서 잡음을 20dB에서 0dB까지 5dB구간으로 나눈 5 가지 레벨에 대해 평균단어 인식률(word accuracy)을 구하여 비교한다.
실 환경에서 입력음성에 혼입 가능한 잡음들에 대하여 각 잡음음성군별로 평균과 분산 파라미터를 추출한 후 개선된 PMC 잡음 모델을 생성한다.
이와 같은 문제점을 보완하기 위하여 저자들은 다양한 인식환경에서 발생할 수 있는 잡음들을 몇 가지 잡음 군으로 분류하여 각 군별 잡음을 이용하여 인식 모델을 훈련한 후, 분류된 잡음 군에 속하는 잡음 환경 하에서 발성된 음성이 입력될 때 이 신호에 포함되는 잡음의 종류를 추정하고 추정된 잡음 군 환경에서 훈련된 인식 모델을 이용하여 인식하는 FV-PMC(PMC Adaptation using Frequency-variant)를 제안하였다[10].
입력 잡음음성이 어느 잡음 군에 속하는 가를 판정하기 위해서는 기 분류된 잡음군과의 주파수 변이도를 구하여 그 값이 임계치 이상일 경우 해당 잡음군에 속하는 잡음 음성으로 분류한다. 인식을 위해서는 분류된 동일 잡음군 내에서 작성한 PMC를 이용하여 인식실험을 실시한다. 실험결과 기존의 PMC방법에 비해 우수한 성능을 얻을 수 있었다.
이론/모형
실험 및 성능평가를 위하여 본 논문에서는 Aurora 2.0 데이터베이스를 이용한다[16]. Aurora 2.
성능/효과
본 논문에서는 잡음 환경 하에서의 음성 인식 성능 저하의 주요 원인이 되고 있는 훈련과 인식의 환경적 차이를 줄이기 위한 방법으로 주파수 변이 방법에 최대우도법을 적용하여 잡음을 분류하고, 분류된 잡음 모델로 음성 인식을 수행하는 방법을 제안하였다. Aurora 2.0 DB를 이용한 인식 실험 결과, 본 논문에서 제안한 FV-PMCII 방법은 PMC 방법이나 FV-PMC 방법에 비해 낮은 SNR 특히 5dB와 0dB에서 높은 인식률 향상을 보이고 있음을 알 수 있었다.
3%로 나타나 ML을 부가한 거리척도 중 가장 낮은 잡음 분류율을 나타내고 있다. WSS의 경우에도 Car 잡음과 Train-station 잡음 분류율은 각각 99.78%과 85.21%로 나타나 주파수 변이 방법(Frequency-variant)보다 높은 잡음 분류율을 보이고 있으나, 각 잡음군별 잡음 분류율의 편차가 크고 평균잡음 분류율은 69.19%를 보이고 있다. 주파수 변이의 경우, 각 잡음군별로 비교적 안정적인 잡음 분류율을 보이고 있으며, 평균 잡음 분류율이 82.
표 5에서 나타난 바와 같이 본 논문에서 제안한 FV-PMCII 방법은 PMC 방법이나 FV-PMC 방법에 비해 낮은 SNR 특히 5dB와 0dB에서 높은 인식률 향상을 보이고 있다. 그러나 set B와 set C에서는 높은 SNR에서 기존의 FV-PMC 방법이나, PMC 방법보다 인식률이 떨어지는 문제점이 나타났는데, 이는 비교적 잡음이 적게 포함된 높은 SNR에서는 무잡음 모델과 결합하는 PMC 방법이 오히려, 잡음모델과 결합하여 음성 인식을 수행하는 방법보다 유효한 것으로 분석된다. 그러나 모든 잡음군에 대한 평균인식률이 82.
그러나 set B와 set C에서는 높은 SNR에서 기존의 FV-PMC 방법이나, PMC 방법보다 인식률이 떨어지는 문제점이 나타났는데, 이는 비교적 잡음이 적게 포함된 높은 SNR에서는 무잡음 모델과 결합하는 PMC 방법이 오히려, 잡음모델과 결합하여 음성 인식을 수행하는 방법보다 유효한 것으로 분석된다. 그러나 모든 잡음군에 대한 평균인식률이 82.9%로 나타나 기존의 FV-PMC보다 2.3% 향상된 인식성능을 나타내어 제안한 방법의 유효성을 확인할 수 있다.
단계 2에서 분류된 입력음성이 포함된 잡음음성은 단계 1에서 생성된 해당 잡음음성 PMC를 이용하여 음성 인식을 수행한다. 기존의 FV-PMC 방법에 서는 임계치에 도달하지 못하는 입력음성을 무잡음 모델과 결합하여 음성 인식을 수행하였으나, 제안한 방법에서는 최대 우도를 이용하여 분류하므로 미분류되는 경우가 발생하지 않는 장점이 있다.
분류척도에 따라 잡음음성이 올바른 잡음군으로 분류되었을 경우와 그렇지 못할 경우에 대해 인식률의 차이를 확인하기 위하여 인식실험을 실시한 결과 올바르게 분류되었을 경우의 인식률이 현저히 높은 것으로 나타나 잡음 분류율의 향상이 인식률을 향상에 중요한 요소임을 확인할 수 있다. 제안한 FV-PMCII 방법은 기존의 FV-PMC 방법보다 모든 잡음 군에 대한 평균인식률이 82.
즉, 잡음은 음성에 비해 상대적으로 낮은 분산 값을 가지는 특징이 있고 이 특징은 SNR이 낮을수록 더욱 선명하게 나타나므로, 공분산을 사용하는 마할라노비스 거리는 잡음의 종류의 분류보다는 입력되는 음성의 음성품질 측정에 더 적합한 것으로 보인다. 실험 결과 입력음성의 잡음 분류율이 10% 미만으로 10종의 잡음 종류를 고려하면 잡음 분류의 척도로서는 부적합 한 것으로 판단된다.
인식을 위해서는 분류된 동일 잡음군 내에서 작성한 PMC를 이용하여 인식실험을 실시한다. 실험결과 기존의 PMC방법에 비해 우수한 성능을 얻을 수 있었다. 그러나 주파수 변이도 임계치를 이용해 잡음을 분류할 경우 잡음 분류율이 낮아, 미 분류되는 잡음 음성의 인식률 향상에 한계가 있었다.
5%의 잡음 분류율을 보이고 있다. 여기에 최대 우도를 부가할 경우, PESQ가 55.5%, WSS가 69.2%, FV가 82.7%의 평균 잡음 분류율을 나타냄을 알 수 있다. 이는 최대우도를 부가하는 방법이 잡음 분류 척도에 있어서 효과적임을 알 수 있다.
분류척도에 따라 잡음음성이 올바른 잡음군으로 분류되었을 경우와 그렇지 못할 경우에 대해 인식률의 차이를 확인하기 위하여 인식실험을 실시한 결과 올바르게 분류되었을 경우의 인식률이 현저히 높은 것으로 나타나 잡음 분류율의 향상이 인식률을 향상에 중요한 요소임을 확인할 수 있다. 제안한 FV-PMCII 방법은 기존의 FV-PMC 방법보다 모든 잡음 군에 대한 평균인식률이 82.9%로 나타나 기존의 FV-PMC보다 2.3% 향상된 인식성능을 나타내어 제안한 방법의 유효성을 확인할 수 있었다.
19%를 보이고 있다. 주파수 변이의 경우, 각 잡음군별로 비교적 안정적인 잡음 분류율을 보이고 있으며, 평균 잡음 분류율이 82.66%로 나타나 가장 높은 분류결과를 나타냄을 확인 할 수 있다. 따라서 이를 인식실험에 이용하기로 한다.
즉 SNR이 낮을수록 마할라노비스 거리는 낮은 값을 나타내는데 이는 공분산의 역행렬을 이용하는 마할라노비스 거리의 특성에 따른 것으로 보인다. 즉, 잡음은 음성에 비해 상대적으로 낮은 분산 값을 가지는 특징이 있고 이 특징은 SNR이 낮을수록 더욱 선명하게 나타나므로, 공분산을 사용하는 마할라노비스 거리는 잡음의 종류의 분류보다는 입력되는 음성의 음성품질 측정에 더 적합한 것으로 보인다. 실험 결과 입력음성의 잡음 분류율이 10% 미만으로 10종의 잡음 종류를 고려하면 잡음 분류의 척도로서는 부적합 한 것으로 판단된다.
이는 최대우도를 부가하는 방법이 잡음 분류 척도에 있어서 효과적임을 알 수 있다. 최대우도를 부가한 척도중 PESQ의 경우, Car 잡음일 때 97.32% 의 잡음 분류율을 보여 매우 우수한 결과를 보였으나 그 외의 잡음군의 경우에는 매우 낮은 잡음 분류율을 보임으로써 평균 잡음 분류율이 55.3%로 나타나 ML을 부가한 거리척도 중 가장 낮은 잡음 분류율을 나타내고 있다. WSS의 경우에도 Car 잡음과 Train-station 잡음 분류율은 각각 99.
표 3에 제안한 방법에 따라 실시한 음성 인식 실험 수행 결과를 나타내었다. 표 3으로부터 알 수 있는 바와 같이 set A의 인식률은 84.20%, setB의 인식률은 81.25% , set C의 경우 83.12%로 평균인식률은 82.9%로 나타났다. 분류척도에 따라 잡음음성이 올바른 잡음군으로 분류(정분류)되었을 경우와 그렇지 못할 경우(오분류)에 대해 인식률의 차이를 확인하기 위하여 인식실험을 실시한 결과를 표 4에 나타내었다.
표 3에는 제안한 FV-PMC II 방법의 음성인식률을 나타내었고 표 4에는 입력되는 음성들이 올바르게 분류되었을 경우 음성에 포함된 잡음으로 훈련된 잡음모델을 사용하여 음성인식을 수행한 결과와 다른 잡음으로 분류되었을 경우 음성에 포함된 잡음환경이 아닌 다른 잡음모델을 사용하여 음성인식을 수행한 음성인식률을 나타내었다. 표 3의 음성 인식률에서 set B의 Restaurant 의 평균 인식률이 79.38% Train-station의 평균인식률이 79.32%로 다른 잡음 음성의 평균 인식률보다 떨어지는 결과를 나타내었다. 같은 set B의 Street, Airport 의 경우 잡음 분류율은 Restaurant, Train-station에 비해 낮았으나 음성 인식률의 경우에는 오히려 3% 가량 높게 나타났다.
분류척도에 따라 잡음음성이 올바른 잡음군으로 분류(정분류)되었을 경우와 그렇지 못할 경우(오분류)에 대해 인식률의 차이를 확인하기 위하여 인식실험을 실시한 결과를 표 4에 나타내었다. 표 4에서 알 수 있는 바와 같이 올바르게 분류되었을 경우의 인식률이 현저히 높은 것으로 나타나 잡음 분류율 향상이 인식률을 향상에 중요한 요소임을 확인할 수 있다.
표 5에 Aurora 2 database의 baseline[16]과 본 논문에서 제안한 FV-PMCII 방법의의 인식성능을 기존의 PMC 및 FV-PMC 방법과 비교한 결과를 나타내었다. 표 5에서 나타난 바와 같이 본 논문에서 제안한 FV-PMCII 방법은 PMC 방법이나 FV-PMC 방법에 비해 낮은 SNR 특히 5dB와 0dB에서 높은 인식률 향상을 보이고 있다. 그러나 set B와 set C에서는 높은 SNR에서 기존의 FV-PMC 방법이나, PMC 방법보다 인식률이 떨어지는 문제점이 나타났는데, 이는 비교적 잡음이 적게 포함된 높은 SNR에서는 무잡음 모델과 결합하는 PMC 방법이 오히려, 잡음모델과 결합하여 음성 인식을 수행하는 방법보다 유효한 것으로 분석된다.
질의응답
핵심어
질문
논문에서 추출한 답변
잡음에 강건한 음성 인식을 위한 주파수 변이를 이용한 PMC 방법은 무엇인가?
잡음에 강건한 음성 인식을 위한 주파수 변이를 이용한 PMC( Parallel Model Compensation Using Frequency-variant, FV-PMC) 방법은 인식시 입력음성에 혼입이 예상되는 잡음들을 평균 주파수 변이도를 임계치로 하여 몇 가지 잡음 군으로 분류한 후 각 잡음 군 별로 인식을 수행하는 방법이다. 이 방법은 기준 임계치를 이용하여 양호하게 분류된 잡음 음성들에 대해서는 매우 우수한 성능을 보이나, 미 분류된 잡음 음성들에 대해서는 기존의 PMC 방법에서와 같이 무잡음 모델과 결합하여 음성 인식을 수행함으로 인해 평균 음성 인식률이 낮아지는 문제점이 있다.
잡음에 강건한 음성 인식을 위한 주파수 변이를 이용한 PMC의 장단점은 무엇인가?
잡음에 강건한 음성 인식을 위한 주파수 변이를 이용한 PMC( Parallel Model Compensation Using Frequency-variant, FV-PMC) 방법은 인식시 입력음성에 혼입이 예상되는 잡음들을 평균 주파수 변이도를 임계치로 하여 몇 가지 잡음 군으로 분류한 후 각 잡음 군 별로 인식을 수행하는 방법이다. 이 방법은 기준 임계치를 이용하여 양호하게 분류된 잡음 음성들에 대해서는 매우 우수한 성능을 보이나, 미 분류된 잡음 음성들에 대해서는 기존의 PMC 방법에서와 같이 무잡음 모델과 결합하여 음성 인식을 수행함으로 인해 평균 음성 인식률이 낮아지는 문제점이 있다. 이러한 문제점을 해결하기 위하여 본 논문에서는 기존의 방법에서 사용하였던 평균주파수 임계치 방법 대신에 최대 우도를 부가하여 미분류를 방지함으로써 입력 잡음음성에 포함되는 잡음의 군별 잡음 분류 율을 높여 인식률을 제고하는 개선된 주파수 변이 PMC 인식방법을 제안하였다.
현재까지 개발된 음성 인식 시스템은 왜 여러 종류의 잡음이 존재하는 환경에서 인식 성능이 저하되는가?
그러나 실제 여러 종류의 잡음이 존재하는 환경에서는 인식 성능이 현저히 저하된다. 이것은 잡음으로 인해 인식시스템의 훈련 조건과 인식 조건 사이의 불일치가 발생하기 때문이다[2-3].
J.C. Junqua and J.P. Haton, "Robustness in Automatic Speech Recognition: Fundamentals and Applications," Kluwer Academic Publishers, Netherlands, 1996.
J.S. Lim, "Speech Enhancement," Prentice Hall, New Jersey, 1983.
D.H. Klatt, "A Digital Filterbank for Spectral Matching," Proc. ICASSP , pp. 573-576, 1979.
A.P. Varga and R.K. Moore, "Hidden Markov Model Decomposition of Speech and Noise," Proc. ICASSP, pp. 845-848, 1990.
M.J.F. Gales and S. Young, Model Based Techniques for Noise Robust Speech Recognition, Dissertation at the University of Cambridge, 1995.
M.J.F. Gales and S. Young, "An improved Approach to the Hidden Markov Model Decomposition of Speech and Noise," Proc. ICASSP-92, Vol. 1, pp. 233-236, 1992.
최숙남, 정현열, "주파수 변이를 이용한 환경 인식 기반의 GMM 적응에 관한 연구," 한국 신호처리.시스템 학회 추계학술대회 논문집, pp. 181-185, 2012.
Richard O. Duda, Peter E. Hart, and David G. Stock, Pattern Classification 2nd Edition, Wiley-Interscience, New York, 2001.
Philipos C .Loizou, Speech Enhancement -Theory and Practice, CRC Press, Florida, 2007.
ITU-T PSQM, Objective Quality Measurement of Telephone-band(300-3400Hz) Speech Codecs, 2001.
J.G. Beerends, A.P. Heckstra, A.W. Rix, and M.P. Hollier, "Perceptual Evaluation of Speech Quality (PESQ) the New Itu Standard for End-to-end Speech Quality Assessment Part II - Psychoacoustic Model," Journal of the Audio Engineering Society, Vol. 50, No. 10, pp. 765-778, 2002.
H.-G Hirsch and D. Pearce, "The AURORA Experimental Framework for the Performance Evaluation of Speech Recognition Systems Under Noisy Conditions," ISCA ITRW ASR 2000, 2000.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.