남성과 여성의 음성 특징 비교 및 성별 음성인식에 의한 인식 성능의 향상 Comparison of Male/Female Speech Features and Improvement of Recognition Performance by Gender-Specific Speech Recognition원문보기
음성인식에서의 인식률 향상을 위한 노력의 일환으로서, 본 논문에서는 성별을 구분하지 않는 일반적 화자독립 음성인식과 성별에 따른 음성인식의 성능을 비교하는 연구를 수행하였다. 실험을 위해 남녀 각 20명의 화자로 하여금 각각 300단어를 발성하게 하고, 그 음성 데이터를 여성/남성/혼성A/혼성B의 네 그룹으로 나누었다. 우선, 성별 음성인식에 대한 근거의 타당성을 파악하기 위하여 음성 신호의 주파수 분석 및 MFCC 특징벡터들의 성별 차이를 조사하였다. 그 결과, 성별 음성인식의 동기를 뒷받침할 정도의 두드러진 성별 차이가 확인되었다. 음성인식을 수행한 결과, 성을 구분하지 않는 일반적인 화자독립의 경우에 비해 성별 음성인식에서의 오류율이 절반 이하로 떨어지는 것으로 나타났다. 이로부터, 성 인식과 성별 음성인식을 계층적으로 수행함으로써 화자독립의 인식률을 높일 수 있을 것으로 사료된다.
음성인식에서의 인식률 향상을 위한 노력의 일환으로서, 본 논문에서는 성별을 구분하지 않는 일반적 화자독립 음성인식과 성별에 따른 음성인식의 성능을 비교하는 연구를 수행하였다. 실험을 위해 남녀 각 20명의 화자로 하여금 각각 300단어를 발성하게 하고, 그 음성 데이터를 여성/남성/혼성A/혼성B의 네 그룹으로 나누었다. 우선, 성별 음성인식에 대한 근거의 타당성을 파악하기 위하여 음성 신호의 주파수 분석 및 MFCC 특징벡터들의 성별 차이를 조사하였다. 그 결과, 성별 음성인식의 동기를 뒷받침할 정도의 두드러진 성별 차이가 확인되었다. 음성인식을 수행한 결과, 성을 구분하지 않는 일반적인 화자독립의 경우에 비해 성별 음성인식에서의 오류율이 절반 이하로 떨어지는 것으로 나타났다. 이로부터, 성 인식과 성별 음성인식을 계층적으로 수행함으로써 화자독립의 인식률을 높일 수 있을 것으로 사료된다.
In an effort to improve the speech recognition rate, we investigated performance comparison between speaker-independent and gender-specific speech recognitions. For this purpose, 20 male and 20 female speakers each pronounced 300 isolated Korean words and the speeches were divided into 4 groups: fem...
In an effort to improve the speech recognition rate, we investigated performance comparison between speaker-independent and gender-specific speech recognitions. For this purpose, 20 male and 20 female speakers each pronounced 300 isolated Korean words and the speeches were divided into 4 groups: female, male, and two mixed genders. To examine the validity for the gender-specific speech recognition, Fourier spectrum and MFCC feature vectors averaged over male and female speakers separately were examined. The result showed distinction between the two genders, which supports the motivation for the gender-specific speech recognition. In experiments of speech recognition rate, the error rate for the gender-specific case was shown to be less than50% compared to that of the speaker-independent case. From the obtained results, it might be suggested that hierarchical recognition of gender and speech recognition might yield better performance over the current method of speech recognition.
In an effort to improve the speech recognition rate, we investigated performance comparison between speaker-independent and gender-specific speech recognitions. For this purpose, 20 male and 20 female speakers each pronounced 300 isolated Korean words and the speeches were divided into 4 groups: female, male, and two mixed genders. To examine the validity for the gender-specific speech recognition, Fourier spectrum and MFCC feature vectors averaged over male and female speakers separately were examined. The result showed distinction between the two genders, which supports the motivation for the gender-specific speech recognition. In experiments of speech recognition rate, the error rate for the gender-specific case was shown to be less than50% compared to that of the speaker-independent case. From the obtained results, it might be suggested that hierarchical recognition of gender and speech recognition might yield better performance over the current method of speech recognition.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
하나는 남성과 여성의 음향학적-음성학적 차이를 비교하여, 성별 음성인식에 대한 근거의 타당성을 파악하는 것이다. 다음은 성별 음성인식을 일반적인 화자독립 음성인식과 비교하여 그 효과에 대해 조사하는 것이다.
본 논문에서는 남녀 각 20명의 화자를 대상으로 성별(Gender-Specific) 음성인식과 성을 구분하지 않는 일반적인 화자독립(Speaker-Independent) 음성인식을 비교하는 연구를 수행하였다. 우선 그러한 음성인식에 대한 근거의 타당성을 조사하기 위하여 성별 주파수 스펙트럼을 비교하였다.
가설 설정
만약 화자들을 작은 그룹들로 나누어 그룹별 인식을 수행한다면, 패턴의 다양함은 줄어들게 되고, 그로 인한 인식률 향상을 기대할 수 있을 것이다. 소그룹들의 음향학적 구분이 선명할수록 그 결과는 더욱 효과적일 것이다.
제안 방법
HMM 파라미터를 반복 훈련하면서 세 가지 항목이 자동으로 모니터링되도록 하였다. 주어진 HMM 파리미터에서의 총 사건확률, 표 3의 그룹 II에 대한 인식률, 그리고 사건관측확률 파라미터들의 변화가 그것이다.
남 또는 여의 성별에 따라 인식을 수행하는 경우와 성별 구분 없이 수행하는 화자독립의 인식률을 비교하기 위하여 40명의 화자를 표 1과 같이 나누었다.
또한, 주어진 데이터 범위 내에서 측정 및 조사의 다양화를 위해 300단어를 표 2와 같이 100, 200, 300단어의 세 집합으로 나누었다. 세 집합 중 두 집합 W1과 W2는 공유하는 단어가 없으며(W1 ∩ W2 = ∅), 그 둘의 합집합(Union)은 집합 W3와 같다(W1 ∪ W2 = W3).
본 연구에서는 인접한 두 프레임을 70% 중첩시켰다. 먼저 각 프레임에 Hanning 윈도우를 적용하여 프레임 가장자리에서의 단절적인 변화를 완화시킨 다음 스펙트럼의 고주파 성분을 강화시키는 pre-emphasis를 거쳐 13차 MFCC를 추출하였으며[20], 시스템 환경에 따른 여러 가지 악영향에 대항하는 강인함을 부여하기 위하여 프레임 베이스로 CMS(Cepstral Mean Subtraction)[21]를 적용하였다.
음성신호가 급격하게 변하는 구간에서는 ‘동시 조음(coarticulation)’[19]이 발생하며, 이러한 정보를 잃지않기 위해서는 프레임들을 어느 정도 중첩시켜야 한다. 본 연구에서는 인접한 두 프레임을 70% 중첩시켰다. 먼저 각 프레임에 Hanning 윈도우를 적용하여 프레임 가장자리에서의 단절적인 변화를 완화시킨 다음 스펙트럼의 고주파 성분을 강화시키는 pre-emphasis를 거쳐 13차 MFCC를 추출하였으며[20], 시스템 환경에 따른 여러 가지 악영향에 대항하는 강인함을 부여하기 위하여 프레임 베이스로 CMS(Cepstral Mean Subtraction)[21]를 적용하였다.
실험을 위해 남녀 각 20명으로 하여금 300 단어를 발성하게 하고, 그 음성신호를 16kHz의 주파수로 샘플링 하였다. 선택된 단어들은 한글의 50여 음소들의 고른 분포를 고려하여(Phone-Balanced) 구성되었다.
본 논문에서는 남녀 각 20명의 화자를 대상으로 성별(Gender-Specific) 음성인식과 성을 구분하지 않는 일반적인 화자독립(Speaker-Independent) 음성인식을 비교하는 연구를 수행하였다. 우선 그러한 음성인식에 대한 근거의 타당성을 조사하기 위하여 성별 주파수 스펙트럼을 비교하였다. 여성의 평균 스펙트럼은 남성에 비해 고주파쪽으로 편향되어 있음이 확인되었고, 남성과 여성의 Formant 주파수는 거의 확연히 분리되는 정도였다.
표 3의 소그룹 I에 대해 Linde-Buzo-Gray 클러스터링 알고리듬을 적용하여 클러스터 수 512의 코드북을 생성하였다. 음성신호는 512개의 클러스터 센트로이드와 비교되고, 그 중 가장 가까운 두 개의 클러스터 인덱스와 멤버십 값을 계산하는 퍼지 벡터 양자화(FVQ)를 수행하였다. 이 결과는 HMM(Hidden Markov Model)에 전달되어 인식 과정이 진행된다.
그림 2는 남녀 각 20명으로부터 발성된 모음 /a/의 주파수 분석을 수행하여 남성과 여성에 대해 따로 평균값을 취한 것이다. 음향준위의 효과를 배제하기 위하여 개인별 스펙트럼의 최고값을 1로 정규화 시켰다. 예상할 수 있었던 바와 같이, 여성(Female) 그룹에 대한 스펙트럼 전체가 남성(Male) 그룹에 비해 고주파쪽으로 편향되어 있음을 볼 수 있다.
매 반복 순환 훈련이 이루어지고 나서, 그룹 II에 대한 인식률을 조사하고, 그 최고값이 경신될 때마다 HMM 파라미터를 따로 저장하였다. 훈련의 수렴이 충분하여 이들 변화가 어느 문턱값 이하가 되면 훈련을 종료시키고 표 3의 그룹 III에 대해 인식률을 조사하였다. 이 때 사용되는 HMM 파라미터는 그룹 II에 대해 최고의 인식률을 기록한 것이다.
대상 데이터
선택된 단어들은 한글의 50여 음소들의 고른 분포를 고려하여(Phone-Balanced) 구성되었다. 얻어진 데이터는 16bit로 양자화 시키고 신호 앞뒤의 묵음 구간을 제거한 후 실험에 사용하였다.
특징벡터 추출은 32ms의 시간 간격에 해당하는 512개의 데이터를 한 프레임으로 하여 수행되었다. 음성신호가 급격하게 변하는 구간에서는 ‘동시 조음(coarticulation)’[19]이 발생하며, 이러한 정보를 잃지않기 위해서는 프레임들을 어느 정도 중첩시켜야 한다.
이론/모형
이 결과는 HMM(Hidden Markov Model)에 전달되어 인식 과정이 진행된다. 음성인식을 위한 HMM으로서 후방의 상태로 전이가 금지되는 Bakis 모델을 채용하였다. 상태 수는 각 단어의 평균 프레임 수에 비례하도록 단어별로 따로 설정하였다[22].
표 3의 소그룹 I에 대해 Linde-Buzo-Gray 클러스터링 알고리듬을 적용하여 클러스터 수 512의 코드북을 생성하였다. 음성신호는 512개의 클러스터 센트로이드와 비교되고, 그 중 가장 가까운 두 개의 클러스터 인덱스와 멤버십 값을 계산하는 퍼지 벡터 양자화(FVQ)를 수행하였다.
성능/효과
이는 13차원의 특징벡터 공간에서 남성과 여성의 특징벡터들이 비교적 분리가 쉽다는 것을 의미한다. HMM 인식기를 통한 음성인식 테스트 결과, 성별 음성인식의 경우 인식 오류율이 혼성의 경우에 비해 50% 이하로 낮아짐이 확인되었다. 이로부터, 성의 인식과 성별 인식을 계층적으로 결합하여 화자독립 음성인식을 구현함으로써 인식률 향상을 기대할 수 있을 것으로 사료된다.
여성의 평균 스펙트럼은 남성에 비해 고주파쪽으로 편향되어 있음이 확인되었고, 남성과 여성의 Formant 주파수는 거의 확연히 분리되는 정도였다. 남성과 여성에 대한 MFCC 특징벡터들의 평균값을 분석한 결과, 13개의 성분들 중 7개 성분의 극성이 반대로 나타났다. 이는 13차원의 특징벡터 공간에서 남성과 여성의 특징벡터들이 비교적 분리가 쉽다는 것을 의미한다.
그림 3은 남녀 각 20명으로부터 발성된 모음 /a/, 즉 그림 2에 사용되었던 음성 토큰에 대한 Formant 주파수의 분포를 나타낸다. 남성과 여성의 Formant 주파수 분포가, 최소한 본 연구에서 수행된 대상들에 대해서는 확연히 분리됨을 볼 수 있다. 남녀가 공유하는 주파수 대역은 700-800Hz 뿐이다.
우선 그러한 음성인식에 대한 근거의 타당성을 조사하기 위하여 성별 주파수 스펙트럼을 비교하였다. 여성의 평균 스펙트럼은 남성에 비해 고주파쪽으로 편향되어 있음이 확인되었고, 남성과 여성의 Formant 주파수는 거의 확연히 분리되는 정도였다. 남성과 여성에 대한 MFCC 특징벡터들의 평균값을 분석한 결과, 13개의 성분들 중 7개 성분의 극성이 반대로 나타났다.
그림 5는 표 4의 데이터를 그래프로 나타낸 것이다. 오른쪽 두 그룹으로 표시된 혼성의 인식 오류율에 비해 왼쪽 두 그룹으로 표시된 성별 인식 오류율이 두드러지게 작음을 확인할 수 있다.
후속연구
따라서 남녀를 구분하여 성별로 각각 다른 인식을 수행한다면 화자간 변화가 줄어들게 되고, 그로 인하여 인식률의 향상을 꾀할 수 있을 것으로 기대되는 것이다. 이러한 연유에서 성별(Gender-Specific) 음성인식이 종종 실행되고 있다[13][14].
성의 인식과 성별 음성인식을 연계하여(hierarchically) 수행하면 화자독립 음성인식을 구현하는 것이 가능하다. 본 논문에서는 화자독립(Speaker-Independent, Cross-Gender) 음성인식과 성별(Gender-Specific, Gender-Dependent)음성인식의 성능을 비교하는 실험을 수행하고, 성 인식과 성별 음성인식을 계층적으로 연계시켜 화자독립을 구현하는 작업은 차후의 연구에 이어질 것이다.
HMM 인식기를 통한 음성인식 테스트 결과, 성별 음성인식의 경우 인식 오류율이 혼성의 경우에 비해 50% 이하로 낮아짐이 확인되었다. 이로부터, 성의 인식과 성별 인식을 계층적으로 결합하여 화자독립 음성인식을 구현함으로써 인식률 향상을 기대할 수 있을 것으로 사료된다.
그림 6은 계층적 음성인식을 통하여 화자독립 음성인식을 수행하는 과정을 나타낸 것이다. 이의 구현에 대한 연구는 차후에 진행될 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
정보 전달 수단으로 음성의 특징은 어떤 것이 있나?
정보 전달 수단으로서 음성은 매우 효과적이어서 숙련된 타자수의 기록보다 2배 정도 빠르다[1]. 사람과 기계의 인터페이스로서 음성인식을 구현하려는 노력이 1952년에 처음으로 숫자 인식이 발표된 이래[2] 오늘날까지 간단없이 경주되어 오고 있다.
성별 음성인식에 대한 근거의 타당성을 파악하기 위하여 음성 신호의 주파수 분석 및 MFCC 특징벡터들의 성별 차이를 조사한 결과는 무엇인가?
우선, 성별 음성인식에 대한 근거의 타당성을 파악하기 위하여 음성 신호의 주파수 분석 및 MFCC 특징벡터들의 성별 차이를 조사하였다. 그 결과, 성별 음성인식의 동기를 뒷받침할 정도의 두드러진 성별 차이가 확인되었다. 음성인식을 수행한 결과, 성을 구분하지 않는 일반적인 화자독립의 경우에 비해 성별 음성인식에서의 오류율이 절반 이하로 떨어지는 것으로 나타났다. 이로부터, 성 인식과 성별 음성인식을 계층적으로 수행함으로써 화자독립의 인식률을 높일 수 있을 것으로 사료된다.
음성인식에서의 인식률 향상을 위한 노력의 일환으로 수행한 연구는 무엇인가?
음성인식에서의 인식률 향상을 위한 노력의 일환으로서, 본 논문에서는 성별을 구분하지 않는 일반적 화자독립 음성인식과 성별에 따른 음성인식의 성능을 비교하는 연구를 수행하였다. 실험을 위해 남녀 각 20명의 화자로 하여금 각각 300단어를 발성하게 하고, 그 음성 데이터를 여성/남성/혼성A/혼성B의 네 그룹으로 나누었다.
참고문헌 (23)
G. Kaplan, "Words Into Action I," IEEE Spectrum, Vol. 17, pp. 22-26,
K. H. Davis, R. Biddulph, and S. Balashek, "Automatic Recognition of Spoken Digits," J. Acoust. Soc. Am., Vol. 24, No. 6, pp. 637-642, 1952.
B. H. Juang & L. R. Rabiner, "Automatic Speech Recognition - A Brief History of the Technology Development," Encyclopedia of Language and Linguistics, 2nd Ed., Elsevier, 2005.
L. Rabiner & B. Juang, "Fundamentals of Speech Recognition," Prentice Hall, New Jersey, pp. 485-486, 1993.
Z. Bo, L. Juan, P. Gang, & W. Wang, "A High Performance Mandarin Digit Recognizer," Fifth International Symposium on Signal Processing and Its Applications, Vol. 2, pp. 629-632, 1999
O. Deshmukh, C. Y. Espy-Wilson, & A. Juneja, "Acoustic-Phonetic Speech Parameters for Speaker-Independent Speech Recognition," International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 593-596, 2002.
J. G. Wilpon & C. N. Jacobsen, "A Study of Speech Recognition for Children and the Elderly," International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 349-352, 1996.
S. Yildirim & S. S. Narayanan, "An Information- Theoretic Analysis of Developmental Changes in Speech," International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 480-483, 2003.
I. Kudo, T. Nakama, & T. Watanabe, "An Estimation of Speaker Sampling in Voice Across Japan Database," International Conference on Acoustics, Speech, and Signal Processing, Vol. 2, pp. 825-828, 1996.
P. Dutta & A. Haubold, "Audio-Based Classification of Speaker Characteristics," 2009 International Conference on Multimedia and Expo (ICME), pp. 422-425, 2009.
S. Deshpande, S. Chikkerur, & V. Govindaraju, "Accent Classification in Speech," Fourth IEEE Workshop on Automatic Identification Advanced Technologies, pp. 139-143, 2005.
R. Muralishankar & D. O'Shaughnessy, "A Comprehensive Analysis of Noise Robust Speech Features Extracted from All-Pass Based Warping with MFCC in a Noisy Phoneme Recognition," The Third International Conference on Digital Communications (ICDT), pp. 180-185, 2008.
I. Gavat & C. O. Dumitru, "ASR for Romanian Language," 14th International Workshop on Systems, Signals, and Image Processing (IWSSIP), pp. 300-303, 2007.
G. Tzanetakis, "Audio-Based Gender Identification Using Bootstrapping," IEEE Pacific Rim Conference on Communications, Computers and Signal Processing, pp. 432-433, 2005.
H. Kim, K. Bae, & H. Yoon, "Age and Gender Classification for a Home-Robot Service," The 16th International Symposium on Robot and Human Interactive Communication, pp. 122-126, 2007.
T. Bocklet, A. Maier, J. Bauer, F. Burkhardt, & E. Noth, "Age and Gender Recognition for Telephone Applications Based on GMM Supervectors and Support Vector Machines," International Conference on Acoustics, Speech, and Signal Processing, pp. 1605-1608, 2008.
X. Zhao, D. O'Shaughnessy, & N. Minh- Quang, "A Processing Method for Pitch Smoothing Based on Autocorrelation and Cepstral F0 Detection Approaches," International Symposium on Signals, Systems, and Electronics (ISSSE), pp. 59-62, 2007.
J. R. Deller, J. G. Proakis, & J. H. L. Hansen, "Discrete-Time Processing of Speech Signals," Macmillan, New York, pp. 143-145, 1994.
J. Wang, J.-F. Wang, & Y. Weng, "Chip Design of MFCC Extraction For Speech Recognition," The VLSI Journal, vol. 32, pp. 111-131, 2002.
W. Xu, et. al., "A Noise Robust Front-End Using Wiener Filter, Probability Model and CMS for ASR," International Conference on Natural Language Processing and Knowledge Engineering, pp. 102-105, 2005.
M. Dehghan, K. Faez, M. Ahmadi, and M. Shridhar, "Unconstrained Farsi Handwritten Word Recognition Using Fuzzy Vector Quantization and Hidden Markov models," Pattern Recognition Letters, vol. 22, pp. 209-214, 2001.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.