[논문]MFCC를 이용한 GMM 기반의 음성/혼합 신호 분류

김지은; 이인성

doi:10.5573/ieek.2013.50.2.185

MFCC를 이용한 GMM 기반의 음성/혼합 신호 분류
Speech/Mixed Content Signal Classification Based on GMM Using MFCC 원문보기

Journal of the Institute of Electronics Engineers of Korea = 전자공학회논문지, v.50 no.2, 2013년, pp.185 - 192

김지은 (충북대학교 전파통신 공학과) , 이인성 (충북대학교 전파통신 공학과)

초록
AI-Helper

본 논문에서는 MFCC를 이용한 GMM 기반의 음성과 혼합 신호 분류 알고리즘을 MPEG의 표준 코덱인 USAC에 적용하였다. 효과적인 패턴 인식을 위해 GMM을 이용하였고, EM알고리즘을 사용하여 최적의 GMM 파라미터를 추출하였다. 제안하는 분류 알고리즘은 두 가지 중요한 부분으로 나뉜다. 첫째는 GMM을 통해 최적의 파라미터를 추출하는 것 이고, 두 번째는 MFCC 값을 이용한 패턴인식을 통해 음성/혼합 신호를 분류하였다. 제안된 알고리즘의 성능을 평가한 결과 MFCC를 이용한 GMM 기반의 제안된 방법이 기존 USAC의 방법보다 우수한 음성/혼합 신호 분류 성능을 보였다.

Abstract ▼ AI-Helper

In this paper, proposed to improve the performance of speech and mixed content signal classification using MFCC based on GMM probability model used for the MPEG USAC(Unified Speech and Audio Coding) standard. For effective pattern recognition, the Gaussian mixture model (GMM) probability model is used. For the optimal GMM parameter extraction, we use the expectation maximization (EM) algorithm. The proposed classification algorithm is divided into two significant parts. The first one extracts the optimal parameters for the GMM. The second distinguishes between speech and mixed content signals using MFCC feature parameters. The performance of the proposed classification algorithm shows better results compared to the conventionally implemented USAC scheme.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 MPEG에서 표준화된 음성 및 오디오 코딩 구조를 사용한 USAC(Unified Speech and Audio Coding) 의 신호 분류방법에서 단점인 복잡성과 Close-loop AbS 구조 방식의 많은 연산량의 문제점을 개선고자 하였다. 또한 기존 USAC에서는 신호가 가지는 연속적인 특성을 고려하지 않은 현재 프레임만을 가지고 신호를 분류하기 때문에 이점을 보안하고자 과거 프레임과의 상관성을 이용한 GMM 분류 방법을 통해 더욱더 정확성을 높였다.
본 논문에서 음성과 오디오 신호의 통합 코덱인 MPEG의 표준 코덱 USAC의 신호 분류에서의 성능을 향상시키고자 MFCC의 특징 파라미터 값을 추출하여 GMM을 통한 음성 신호와 혼합 신호 분류 방법을 제안하였다. 기존 USAC의 신호 분류방법에서 복잡성과 Close-loop AbS 방식의 많은 연산량의 문제점을 개선하고자 하였고, 기존 USAC에서는 신호가 가지는 연속적인 특성을 고려하지 않은 현재 프레임만을 가지고 신호를 분류하였으나, 본 논문에서는 과거 프레임과의 상관성을 이용한 GMM 분류 방법을 통해 정확성을 높였다.
본 논문에서는 기존의 연구 결과 잡음의 영향을 덜 받고 판별 성능이 효과적인 것으로 나타난 MFCC의 파라미터 값을 이용한 GMM 기반의 음성과 혼합 신호 분류 알고리즘을 제안하였다. GMM을 사용하게 된 동기는 MFCC 특징 벡터의 통계적 분포를 다른 평균과 공분산 행렬을 갖는 복수개의 가우시안 함수에 의해서 효과적으로 표현할 수 있기 때문이다^[5～7].
본 논문에서는 제안된 MFCC 특징 파라미터를 이용한 GMM 기반의 음성, 혼합 신호 분류 성능을 평가하기 위하여 우선 음성과 혼합 신호의 가장 적합한 가우 시안 혼합 모델을 찾는 실험을 하였다. 인간의 귀의 비선형적 특성을 이용한 MFCC 특징 파라미터를 사용함으로써 적합한 가우시안 혼합 모델을 찾게 되며 MFCC 에서는 DCT를 수행한 후 멜 스케일 부 밴드 에너지의 평균값인 13번째 켑스트럼 원소까지 특징으로 포함 한다.
실험에는 Mono 채널이며 16 bits/sample, 16kHz로 샘플링된 입력 신호를 사용하고, 1024샘플을 한 프레임으로 사용하여 두 단계로 거쳐 실험이 진행된다. 첫 번째 단계에서는 음성과 혼합신호의 최적의 GMM을 찾기 위해 실시되었다. 음성 신호와 혼합 신호를 EM 알고리즘을 기반으로 GMM 모델을 구현하였다.

제안 방법

입력 신호를 윈도우를 씌워서 프레임 단위로 나눈 후에 FFT(Fast Fourier Transform)을 이용 하여 주파수 영역으로 변환하게 된다. 그 후 주파수 대역을 여러 개의 필터 뱅크로 나누고 각 뱅크에서의 에너지를 구한다.
따라서 MPEG에서 표준화된 음성 및 오디오 코딩 구조를 사용한 USAC(Unified Speech and Audio Coding) 의 신호 분류방법에서 단점인 복잡성과 Close-loop AbS 구조 방식의 많은 연산량의 문제점을 개선고자 하였다. 또한 기존 USAC에서는 신호가 가지는 연속적인 특성을 고려하지 않은 현재 프레임만을 가지고 신호를 분류하기 때문에 이점을 보안하고자 과거 프레임과의 상관성을 이용한 GMM 분류 방법을 통해 더욱더 정확성을 높였다.
6%만이 TCX를 모드를 선택하여 혼합 신호로 판단하였지만, 제안한 알고리즘에서는 모든 프레임을 혼합 신호로 판단하였다. 또한, 영어 남성의 음성 신호 역시 USAC에서 81%만이 ACELP 모드를 선택한 음성 신호로 판단하였지만 제안하는 알고리즘에서는 모든 프레임을 음성 신호로 판단하였다.
본 논문에서는 제안된 MFCC 특징 파라미터를 이용한 GMM 기반의 음성, 혼합 신호 분류 성능을 평가하기 위하여 우선 음성과 혼합 신호의 가장 적합한 가우 시안 혼합 모델을 찾는 실험을 하였다. 인간의 귀의 비선형적 특성을 이용한 MFCC 특징 파라미터를 사용함으로써 적합한 가우시안 혼합 모델을 찾게 되며 MFCC 에서는 DCT를 수행한 후 멜 스케일 부 밴드 에너지의 평균값인 13번째 켑스트럼 원소까지 특징으로 포함 한다. 제안하는 신호 분류에서는 각 프레임 별로 신호 분류 결과를 내지 않고, 연속된 프레임들의 통계적 특징에 대해서 분류기를 구성하게 된다.
인간의 귀의 비선형적 특성을 이용한 MFCC 특징 파라미터를 사용함으로써 적합한 가우시안 혼합 모델을 찾게 되며 MFCC 에서는 DCT를 수행한 후 멜 스케일 부 밴드 에너지의 평균값인 13번째 켑스트럼 원소까지 특징으로 포함 한다. 제안하는 신호 분류에서는 각 프레임 별로 신호 분류 결과를 내지 않고, 연속된 프레임들의 통계적 특징에 대해서 분류기를 구성하게 된다.
현재 정의된 확률 모델을 따르는 시스템에서 데이터가 관찰될 가능성을 우도 값이라 하며, 이 우도 값을 바로 사용하는 대신 반복된 곱셈에 의한 오차를 줄이기 위해서 로그 함수를 적용한 것을 로그 우도 함수라고 한다. 즉, 이 특징벡터를 버퍼에 저장하고, 앞서 도출된 음성과 혼합 신호의 GMM과 버퍼에 저장된 MFCC특징의 패턴의 로그우도를 비교하여 음성과 혼합 신호를 분류한다. 이와 같은 로그 우도함수를 통해서 식 (12)과 식 (13)과 같이 신호를 분류하게 된다.

대상 데이터

성능 평가에서 실험을 위하여 40개의 음원을 사용하여 35개는 GMM훈련을 위해 사용되었고 나머지 5개는 분류 테스트를 위해 사용하였다.
실험에는 Mono 채널이며 16 bits/sample, 16kHz로 샘플링된 입력 신호를 사용하고, 1024샘플을 한 프레임으로 사용하여 두 단계로 거쳐 실험이 진행된다. 첫 번째 단계에서는 음성과 혼합신호의 최적의 GMM을 찾기 위해 실시되었다.

이론/모형

시간영역에서의 특징을 이용한 ZCR(Zero Crossing Rate)와 단 구간 에너지 변화를 측정한 LSTER(Low Short-Time Energy Rate) 등이 있으며 스펙트럼 영역 특징을 이용한 파라미터로 스펙트럼의 무게중심을 이용한 SC(Spectral Centroid), 스펙트럼의 변화의 차이를 이용한 SF(Spectral Flux)와 켑스트럼 거리를 이용한 CD(Cepstral Distance), 인간의 귀가 가지는 비선형적인 주파수 특성을 이용한 MFCC(Mel Frequency Cepstral Coefficients)등이 있다. 또한 음악 장르 분류기에 사용되는 분류 알고리즘에는 SVM(Support Vector Machines), LDA(Linear Discriminant Analysis), GMM(Gaussian Mixture Model), k-NN(k-Nearest Neighbor) 등이 사용 된다^[3～4].
실험과 같은 올바른 모드 선택이 음질의 어떠한 영향을 미치는지를 알아보기 위해 객관적 음질평가인 ITU-T 표준안으로 제정된 PESQ(Perceptual Evaluation of Speech Quality)척도를 이용하여 모드의 선택의 중요성을 표 3에 나타내었다^[15].
첫 번째 단계에서는 음성과 혼합신호의 최적의 GMM을 찾기 위해 실시되었다. 음성 신호와 혼합 신호를 EM 알고리즘을 기반으로 GMM 모델을 구현하였다. 두 번째 단계로는 훈련된 GMM을 가지고 음성과 혼합 신호를 분류 한다.
GMM의 훈련은 Maximum Likehood 추정 방법을 이용하여 식(8)에 있는 GMM의 우도함수를 최대화하는 매개변수 λ를 추정한다. 이러한 우도함수를 최대화 할 수 있는 매개 변수를 추정하기 위해 EM(Expectation Maximization) 반복 알고리즘을 통해서 매개변수를 추정한다.

성능/효과

GMM은 그림 4와 같이 M개의 가우시안을 합하여 만들어진 모델로 음향학적인 분포를 표현함에 있어서 매우 뛰어난 것으로 나타났다. 다수의 음성/혼합 신호로부터 추출된 MFCC 특징 값을 이용하여 GMM 분류기를 훈련시킨 후 음성과 혼합 신호 분류기에 적용할 수 있다.
본 논문에서 음성과 오디오 신호의 통합 코덱인 MPEG의 표준 코덱 USAC의 신호 분류에서의 성능을 향상시키고자 MFCC의 특징 파라미터 값을 추출하여 GMM을 통한 음성 신호와 혼합 신호 분류 방법을 제안하였다. 기존 USAC의 신호 분류방법에서 복잡성과 Close-loop AbS 방식의 많은 연산량의 문제점을 개선하고자 하였고, 기존 USAC에서는 신호가 가지는 연속적인 특성을 고려하지 않은 현재 프레임만을 가지고 신호를 분류하였으나, 본 논문에서는 과거 프레임과의 상관성을 이용한 GMM 분류 방법을 통해 정확성을 높였다. 실험 결과 혼합신호의 경우 기존의 USAC의 잘못된 신호 모드 선택이 평균 29%였지만 제안하는 알고리즘을 통해서 평균 2.
또한 혼합 신호2에서의 모드 선택도 13.8%의 오류를 가지는 반면 제안된 알고리즘의 오류는 2.8%로 모드 선택을 더 정확하게 하는 것을 알 수 있다.
기존 USAC의 신호 분류방법에서 복잡성과 Close-loop AbS 방식의 많은 연산량의 문제점을 개선하고자 하였고, 기존 USAC에서는 신호가 가지는 연속적인 특성을 고려하지 않은 현재 프레임만을 가지고 신호를 분류하였으나, 본 논문에서는 과거 프레임과의 상관성을 이용한 GMM 분류 방법을 통해 정확성을 높였다. 실험 결과 혼합신호의 경우 기존의 USAC의 잘못된 신호 모드 선택이 평균 29%였지만 제안하는 알고리즘을 통해서 평균 2.4%로의 오류만을 나타냈다. 음성신호 역시 제안하는 알고리즘은 평균 99.
4%로의 오류만을 나타냈다. 음성신호 역시 제안하는 알고리즘은 평균 99.75%로 ACELP 모드를 정확히 선택하는 것을 볼 수 있다. 이러한 올바른 모드 선택으로 원 신호를 제안하는 알고리즘이 기존의 USAC 보다 피치 성분을 잘 나타나는 것을 알 수 있었고, 객관적 음질평가인 PESQ의 값 역시 높게 나오는 것을 알 수 있다.
75%로 ACELP 모드를 정확히 선택하는 것을 볼 수 있다. 이러한 올바른 모드 선택으로 원 신호를 제안하는 알고리즘이 기존의 USAC 보다 피치 성분을 잘 나타나는 것을 알 수 있었고, 객관적 음질평가인 PESQ의 값 역시 높게 나오는 것을 알 수 있다.
이처럼 MFCC를 이용한 GMM 분류 방법을 통해 현저히 적은 계산량 뿐 아니라, 모드 선택의 정확성으로 더 나은 음질을 보이는 것을 알 수 있다.
제안된 알고리즘의 PESQ값은 USAC에 비해 혼합 신호에서 평균 0.3정도 높게 나타났고, 음성 신호에서는 평균 0.2정도의 음질 차이를 보였다. 또한 그림 5～7에서는 USAC의 신호 분류기와 제안하는 신호 분류기를 사용하였을 때의 결과를 비교하여 나타내었다.
표 2에서는 USAC의 신호 분류기와 제안하는 신호 분류기의 결과를 비교하여 성능을 나타내었다. 표 2의 혼합 신호1에서와 같이 혼합 신호를 입력 신호로 사용 하였을 때 USAC은 61.6%만이 TCX를 모드를 선택하여 혼합 신호로 판단하였지만, 제안한 알고리즘에서는 모든 프레임을 혼합 신호로 판단하였다. 또한, 영어 남성의 음성 신호 역시 USAC에서 81%만이 ACELP 모드를 선택한 음성 신호로 판단하였지만 제안하는 알고리즘에서는 모든 프레임을 음성 신호로 판단하였다.
또한 기존 USAC에서는 Closeloop AbS 방식을 사용함으로써 Inverse transform까지 포함되어있어 주파수와 시간의 변환으로 연산량이 상당이 많은 알고리즘이다. 하지만 제안하는 알고리즘에서는 MFCC의 특징파라미터를 구하기 위한 FFT의 n(logn)의 연산량과 GMM의 음성과 혼합신호를 판별하는 우도함수에서 약 0.04 wmops연산량이 발생하며 Inverse transform을 포함하지 않기 때문에 기존의 USAC보다 적은 연산량이 사용된다는 것을 알 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	USAC의 신호 분류 방법은 어떤 구조를 사용하였는가?	따라서 MPEG에서 표준화된 음성 및 오디오 코딩 구조를 사용한 USAC(Unified Speech and Audio Coding) 의 신호 분류방법에서 단점인 복잡성과 Close-loop AbS 구조 방식의 많은 연산 량의 문제점을 개선고자 하였다. 또한 기존 USAC에서는 신호가 가지는 연속적인 특성을 고려하지 않은 현재 프레임만을 가지고 신호를 분류하기 때문에 이점을 보안하고자 과거 프레임과의 상관성을 이용한 GMM 분류 방법을 통해 더욱더 정확성을 높였다.
	선형 예측도메인 코더는 Closed-loop AbS구조를 이용하여 어떤 모드로 분류되는가?	그 후 선형 예측 영역 부호화코더의 경우 한 번 더 스위칭 하게 되어 Closed-loop AbS구조를 이용하여 MDCT를 기반으로 하는 TCX(Transform Coded eXcitation)모드와 ACELP(Algebraic Code Excited Linear Predictor)모드로 분류된다. 그림 1에서는 간략한 USAC의 신호 분류방법을 나타내며, 표 1에서는 USAC에서의 신호 특징에 따른 3가지 압축 방법을 보여준다.
	MFCC는 어떤 특징을 가지는가?	음성인식에 쓰이는 특징 값으로 LPC(Linear Prediction Coefficients)나 LPS(Liner Prediction Spectrum) 등과 같은 많은 방법이 존재하지만 주파수를 피치로 이용하였을 때 잡음의 영향을 덜 받고 효과적인 것으로 나타났다[11]. 그 중 MFCC는 음성 인식에 널리 쓰이는 유효한 특징 값으로 스펙트럼 기반을 특징으로 하며 인간의 귀가 가지는 비선형적인 주파수 특성을 이용한다.

참고문헌 (15)

ISO/IEC SC29 WG11 N9519, Call for Proposals on Unified Speech and Audio Coding, 82nd MPEG Meeting, October, 2007.
송정욱, 오현오, 강홍구, "통합 음성/오디오 부호화를 위한 새로운 MPEG 참조 모델," 전자공학회논문지, 제47권 SP편, 제5호, 74-80쪽, 2010년 9월
R.O. Duda, P.E. Hart, and D.G. Stork, Pattern Classificaion, Wiley-Interscience, 2001.
N.Scaringella, G. Zoia, and D.G.Stork, Pattern Classification Wiley-interscience, 2001.
J. Bergstra, N.Casagrande,D. Erhan, D. Eck, and B. Kegl, "Aggregate features and ADABOOST for music calssificatio." Machine Learning, vol. 65, no. 2, pp. 474-484, Dec. 2006.
Martin F. Mcknney, Jeroen Breebaart, "Features for audio and music calssification" in Proc. lnt. Conf. on Music lnfo. Retrieval (ISMIR-03), 2003.
K. West, S. Cox, "Features and classifiers for the automatic classification of musical audio signals," in Proc. lnt. Conf. on Music lnfo. Retrieval (ISMIR-08), 2004.
Bernd Geiser et al, "Candidate Proposal for ITU-T Super-wideband Speech and Audio Coding", ICASSP, pp.4121-4124. 2009.
M. Neuendorf, et al. ,"A novel scheme for low bitrate unified speech and audio coding-MPEG RM0," in Proceedings of the 126th AES Convention, Munich, Germany, May 2009.
원양희, 이형일, 강상원, "ARM Core(R)를 이용한 AMR-WB+오디오 부호화기의 실시간 구현," 전자공학회논문지, 제46권 제 3호, 119-124쪽, 2009년 5월
B.Atal, "Automatic recognition of speakers from their voices" proc.IEEE vol.64 pp 460-475 apr.1976

상세보기
Thomas F. Quantieri, Discrete-Time Speech Signal Processing, Prentice Hall, 2001
J. Makinen, B. Bessette, S. Bruhn, P. Ojala, R. Salami, and A.Taleb, "AMR-WB+: a new audio coding standard for 3RD generation mobile audioservices," in Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP '05), vol. 2, pp. 1109-1112, March 2005.
A.P.Dempster; N.M.Laird, et al.,"Maximum Likelihood from Incomplete Data via the EM Algorithm", Journal of the Royal Statistical Society. Series B (Methodological),Vol.39,No.1.

상세보기
ITU-T Recommendation (1996). "Methods for subjective determination of transmission quality", P.800, 08.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증