[논문]정현파 음성-오디오 모델의 빠른 하모닉 합성 방법

김규진; 김종학; 정규혁; 이인성

정현파 음성-오디오 모델의 빠른 하모닉 합성 방법
Fast Harmonic Synthesis Method for Sinusoidal Speech-Audio Model 원문보기

電子工學會論文誌. Journal of the Institute of Electronics Engineers of Korea. SP, 신호처리, v.44 no.4 = no.316, 2007년, pp.109 - 116

김규진 (충북대학교 전파공학과) , 김종학 (충북대학교 전파공학과) , 정규혁 (충북대학교 전파공학과) , 이인성 (충북대학교 전파공학과)

초록
AI-Helper

대부분의 2차 및 3차 위상 보간을 사용하는 하모닉 합성 방법은 각각의 정현파 성분에 대해 샘플단위로 합성되기 때문에 구현하는데 있어 많은 연산량이 요구된다. 본 논문에서는 이러한 문제를 해결하기 위해 2차 및 3차 위상 항을 가지는 정현파 음성 및 오디오 모델을 위한 빠른 하모닉 합성 방법을 제안한다. 제안하는 빠른 하모닉 합성 방법은 2차 및 3차 위상함수의 계수를 하모닉과 독립적으로 강요함으로써 오버 샘플링 함수와 위상 변조 함수를 정의하고, Inverse Fast Fourier Transform(IFFT)을 이용한 합성식을 유도한다. 제안한 빠른 하모닉 합성 방법은 연산량과 Segment SNR(Segment Signal-to-Noise Ratio)을 코사인 함수를 이용한 합성 방법과의 비교를 통해 음질의 저하없이 연산량이 현저히 줄어드는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

Most harmonic synthesis methods using phase information employ a quadratic or cubic phase interpolation. The methods are computationally expensive to implement because every component sinewave must be synthesized on a per sample basis. In this paper, we propose a fast harmonic synthesis method for sinusoidal speech/audio coding based on the quadratic and cubic phase function to overcome the complexity problem. To derive the fast harmonic synthesis method, we define the over-sampling function and phase modulation function by constraining the parameter of phase function to be independent for harmonic index and derive the fast synthesis method using IFFT. Experimental results show that the proposed method significantly reduce the complexity of conventional cosine synthesis method while maintaining the performance.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 2차 및 3차 위상 항을 가지는 음성 및 오디오 정현파 모델에서의 빠른 하모닉 합성 방법을 제안하였다. 제안하는 모델은 2차 위상함수에서 오버 샘플링 함수를 정의하고, 3차 위상함수에서는 3차 항의 파라미터 国을 하모닉과 독립적으로 강요함으로써 오버 샘플링 함수와 위상 변조 함수를 정의하여 크기 尸를 갖는 IFFT를 이용한 빠른 하모닉 합성법이다.
본 논문에서는 2차 및 3차 위상 항을 가지는 정현파코더에서의 IFFT를 이용한 빠른 하모닉 합성 방법을 제안하고, 원본 정현파 합성모델로부터 IFFT를 이용한 빠른 하모닉 합성 수식을 유도하고, 연산량과 Segment SNR을 비교함으로써 그 성능을 검증한다.

제안 방법

여 각각 32문장과 영어 남.여 각각 32문장에 대해 HVXC(Haimonic Vector eXcitation Coding)에서 측정된 피치와 유무성음 정보를 사용하여, 전이구간을 포함한 유성음 구간에서의 Segment SNR을 계산하였고, 오디오는 MPEG-4 SQAM(Sound Quality Assessment Material) 16개에 대해 HILN(Harmonic Individual Line plus Noise) 에서 측정된 피치와 하모닉 사용 정보를 이용하여, 하모닉 성분이 강한 부분에서의 Segment SNR을 계산하였다. 2차 위상의 경우 IFFT 크기가 증가할수록 제안된 합성법의 SNR이 코사인 합성법의 SNR에 수렴하는데, 이것은 제안된 방법이 위상함수로부터 정의된 오버 샘플링함수로 IFFT을 통해 만들어진 한 피치주기의 시간 영역 파형에 대해 오버샘플링하는 방법이기 때문에 IFFT 크기가 커질수록 SNR 측면에서 좋은 성능을 보인다.
또한, 하모닉 개수나 프레임 크기가 증가할수록 연산량의 감소 효과가 크다는 것을 알 수 있다. 제안된 모델의 성능을 확인하기 위해 주관적 음질 테스트와 Segment SNR을 측정하였다. 실험은 음성의 경우 NTT 음성 DB 중 한국어 남 .
제안된 방법의 성능을 비교하기 위해 DSP에 사용되는 기본 연산인 덧셈, 곱셈, 곱셈-덧셈 누산기(multiply and add)의 연산 복잡도 가중치를 1로 하여 구한 연산량과 Segment SNR을 측정하였다. 제안된 IFFT를 이용한 빠른 하모닉 합성법은 기존의 코사인 합성법과 유사한 음질을 유지하면서 1/16~1/5의 연산량을 가진다.
제안하는 모델은 2차 위상함수에서 오버 샘플링 함수를 정의하고, 3차 위상함수에서는 3차 항의 파라미터 国을 하모닉과 독립적으로 강요함으로써 오버 샘플링 함수와 위상 변조 함수를 정의하여 크기 尸를 갖는 IFFT를 이용한 빠른 하모닉 합성법이다.
테스트 방법은 잡음이 없는 동일한 음성을 각각의 합성법으로 합성하여 약 2초간의 간격을 두고 들려준 후 더 듣기 좋은 음성을 고르는 A/B 테스트 방법을 사용하였다. 음질 테스트 결과에서 보여주듯이 제안된 합성법은 2차 위상에서 기존의 코사인 합성법과 유사한 선호도를 보였지만, 3차 위상에서는 약간 낮은 선호도를 보였다.

대상 데이터

주관적 음질테스트는 NTT 음성 여자 24문장과 남자 24문장을 사용하였고, 테스트에 참여한 인원은 12명이다. 테스트 방법은 잡음이 없는 동일한 음성을 각각의 합성법으로 합성하여 약 2초간의 간격을 두고 들려준 후 더 듣기 좋은 음성을 고르는 A/B 테스트 방법을 사용하였다.

데이터처리

여기서 Ee 하모닉 개수, ae 프레임 길이, 户은 IFFT 크기이고, Exp 연산은 코사인과 사인 Table로 처리하였고 가중치는 1로 두었다. IFFT를 이용한 합성법의 성능 평가를 위해 기존의 코사인 합성법과 제안된 방법의 연산량을 비교하여 측정하였다. 그림 3은 제안된 방법이 기존의 코사인을 이용한 합성법에 비해 현저히 적은 연산량을 갖는다는 것을 보여준다.

성능/효과

그림 3의 (a)는 제안된 방법이 IFFT 크기에 크게 영향을 받지 않는다는 것을 나타낸다. 그림 3 의 (b), (c)와 같이 하모닉 개수와 프레임 크기가 증가하면, 코사인 합성법과 제안된 방법 모두 연산량이 증가하지만, 제안된 방법이 코사인 합성법에 비해 영향을 적게 받는다. 또한, 하모닉 개수나 프레임 크기가 증가할수록 연산량의 감소 효과가 크다는 것을 알 수 있다.
여 각각 32문장에 대해 HVXC(Haimonic Vector eXcitation Coding)에서 측정된 피치와 유무성음 정보를 사용하여, 전이구간을 포함한 유성음 구간에서의 Segment SNR을 계산하였고, 오디오는 MPEG-4 SQAM(Sound Quality Assessment Material) 16개에 대해 HILN(Harmonic Individual Line plus Noise) 에서 측정된 피치와 하모닉 사용 정보를 이용하여, 하모닉 성분이 강한 부분에서의 Segment SNR을 계산하였다. 2차 위상의 경우 IFFT 크기가 증가할수록 제안된 합성법의 SNR이 코사인 합성법의 SNR에 수렴하는데, 이것은 제안된 방법이 위상함수로부터 정의된 오버 샘플링함수로 IFFT을 통해 만들어진 한 피치주기의 시간 영역 파형에 대해 오버샘플링하는 방법이기 때문에 IFFT 크기가 커질수록 SNR 측면에서 좋은 성능을 보인다. 3차 위상은 IFFT 크기가 증가할수록 코사인 합성법보다 약간 좋은 성능을 보였다.
2차 위상의 경우 IFFT 크기가 증가할수록 제안된 합성법의 SNR이 코사인 합성법의 SNR에 수렴하는데, 이것은 제안된 방법이 위상함수로부터 정의된 오버 샘플링함수로 IFFT을 통해 만들어진 한 피치주기의 시간 영역 파형에 대해 오버샘플링하는 방법이기 때문에 IFFT 크기가 커질수록 SNR 측면에서 좋은 성능을 보인다. 3차 위상은 IFFT 크기가 증가할수록 코사인 합성법보다 약간 좋은 성능을 보였다. 이것은 제안된 방법이 기존의 중첩 및 합산 방법과 달리 프레임의 시작과 끝을 중심으로 합성된 파형을 중첩 및 합산 연산을 수행함으로써 그림 2와 같이 합성 프레임 내에서 왜곡을 줄였기 때문이다.
결과적으로 제안된 방법은 코사인을 이용한 합성법에 비해 1/16~1/5의 적은 연산량으로 코사인 합성법과 유사한 성능을 보인다.
그림 3 의 (b), (c)와 같이 하모닉 개수와 프레임 크기가 증가하면, 코사인 합성법과 제안된 방법 모두 연산량이 증가하지만, 제안된 방법이 코사인 합성법에 비해 영향을 적게 받는다. 또한, 하모닉 개수나 프레임 크기가 증가할수록 연산량의 감소 효과가 크다는 것을 알 수 있다. 제안된 모델의 성능을 확인하기 위해 주관적 음질 테스트와 Segment SNR을 측정하였다.
테스트 방법은 잡음이 없는 동일한 음성을 각각의 합성법으로 합성하여 약 2초간의 간격을 두고 들려준 후 더 듣기 좋은 음성을 고르는 A/B 테스트 방법을 사용하였다. 음질 테스트 결과에서 보여주듯이 제안된 합성법은 2차 위상에서 기존의 코사인 합성법과 유사한 선호도를 보였지만, 3차 위상에서는 약간 낮은 선호도를 보였다. 이것은 제안된 합성법의 유도과정에서 위상함수의 3차 항의 파라미터 0이 제한되었기 때문에 근사화 오차에 의한 것으로 보인다.
Segment SNR을 측정하였다. 제안된 IFFT를 이용한 빠른 하모닉 합성법은 기존의 코사인 합성법과 유사한 음질을 유지하면서 1/16~1/5의 연산량을 가진다. 3차 위상의 정확도 개선이 더 이루어진다면 정현파 모델링을 기반으로 한 음성 및 오디오 부호화기 및 구현에 응용이 가능할 것이다.

후속연구

제안된 IFFT를 이용한 빠른 하모닉 합성법은 기존의 코사인 합성법과 유사한 음질을 유지하면서 1/16~1/5의 연산량을 가진다. 3차 위상의 정확도 개선이 더 이루어진다면 정현파 모델링을 기반으로 한 음성 및 오디오 부호화기 및 구현에 응용이 가능할 것이다.

참고문헌 (12)

R. J. McAulay and T. F. Quatieri, 'Speech analysis/synthesis based on a sinusoidal representation,' IEEE Trans. on ASSP, vol. 34, no. 4, pp. 744-754, Aug. 1986

상세보기
W. B. Kleijn and K.K Paliwal, 'Speech coding and synthesis', ELSEVIER, chapter 4, 1995
T. F. Quatieri and R. J. McAulay, 'Phase modelling and its application to sinusoidal transform coding,' IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP '86, vol. 3, pp. 1713-1715, Apr. 1986
D.W.Griffm, 'Multiband Excitation Vocoder', Ph.D. dissertation, M.I.T., Cambridge, MA, 1987
D.W.Griffm and J.S.Lim, 'Multiband Excitation Vocoder', IEEE Trans. on Acoustics, Speech, and Signal Processing, pp1223-1235, 1988

상세보기
ISO/IEC 14496-3, 'Information Technology - Coding of Audio Visual Object, Part 3 : Audio, Subpart 2 : Parametric Coding', ISO/IEC International Standard, 2000
A. V. McCree and T. P. Barnwell 111, 'Mixed Excitation LPC Vocoder Model for Low Bit Rate Speech Coding,' IEEE Trans. on Speech and Audio Processing, vol. 3, pp. 242-250, July 1995

상세보기
A. McCree, K. Truong, E. B. George, T. P. Barnwell 111, and V. Viswanathan, 'A 2.4 kbit/s MELP Coder Candidate for the New U.S. Federal Standard,' in Proc. IEEE Int. Con$ ASSP, (Atlanta), pp. 200-203, May 1996
E. B. George and M. J. T. Smith, 'Speech analysis/synthesis and modification using an analysis-by-synthesis/overlap-add sinusoidal model,' IEEE Trans. Speech Audio Processing, vol. 5, no. 5, pp. 389-406, 1997

상세보기
X. Serra and J. Smith, 'Spectral modeling synthesis: A sound analysis/synthesis system based on a deterministic plus stochastic decomposition,' Computer Music journal, vol. 14, pp. 12-24, Dec. 1990
Masayuki Nishiguchi, 'Harmonic vector excitation coding of speech', Acoustical Science and Technology, Vol. 27, No.6 pp.375-383, 2006

상세보기
David L. Thomson, 'Parametric Models of the Magnitude/Phase Spectrum for Harmonic Speech Coding,' ICASSP 1988, pp.378-381, 198

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증