[논문]DNN-HMM 기반 시스템을 이용한 효과적인 구개인두부전증 환자 음성 인식

윤기무; 김우일

doi:10.6109/jkiice.2019.23.1.33

DNN-HMM 기반 시스템을 이용한 효과적인 구개인두부전증 환자 음성 인식
Effective Recognition of Velopharyngeal Insufficiency (VPI) Patient's Speech Using DNN-HMM-based System 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.23 no.1, 2019년, pp.33 - 38

윤기무 (Department of Computer Science and Engineering, Incheon National University) , 김우일 (Department of Computer Science and Engineering, Incheon National University)

초록
AI-Helper

본 논문에서는 효과적으로 VPI 환자 음성을 인식하기 위해 DNN-HMM 하이브리드 구조의 음성 인식 시스템을 구축하고 기존의 GMM-HMM 기반의 음성 인식 시스템과의 성능을 비교한다. 정상인의 깨끗한 음성 데이터베이스를 이용하여 초기 모델을 학습하고 정상인의 VPI 모의 음성을 이용하여 VPI 환자 음성에 대한 화자 인식을 위한 기본 모델을 생성한다. VPI 환자의 화자 적응 시에는 DNN의 각 층 별 가중치 행렬을 부분적으로 학습하여 성능을 관찰한 결과 GMM-HMM 인식기보다 높은 성능을 나타냈다. 성능 향상을 위해 DNN 모델 적응을 적용하고 LIN 기반의 DNN 모델 적용 결과 평균 2.35%의 인식률 향상을 나타냈다. 또한 소량의 데이터를 사용했을 때 GMM-HMM 기반 음성인식 기법에 비해 DNN-HMM 기반 음성 인식 기법이 향상된 VPI 음성 인식 성능을 보인다.

Abstract ▼ AI-Helper

This paper proposes an effective recognition method of VPI patient's speech employing DNN-HMM-based speech recognition system, and evaluates the recognition performance compared to GMM-HMM-based system. The proposed method employs speaker adaptation technique to improve VPI speech recognition. This paper proposes to use simulated VPI speech for generating a prior model for speaker adaptation and selective learning of weight matrices of DNN, in order to effectively utilize the small size of VPI speech for model adaptation. We also apply Linear Input Network (LIN) based model adaptation technique for the DNN model. The proposed speaker adaptation method brings 2.35% improvement in average accuracy compared to GMM-HMM based ASR system. The experimental results demonstrate that the proposed DNN-HMM-based speech recognition system is effective for VPI speech with small-sized speech data, compared to conventional GMM-HMM system.

주제어

표/그림 (5)

표 Table. 1 GMM-HMM based speech recognition result of speaker adaptation (word accuracy, %).
표 Table. 2 DNN-HMM based speech recognition result of speaker adaptation (word accuracy, %).
표 Table. 3 Speech recognition result of LIN-based DNN adaptation (word accuracy, %).
표 Table. 4 Speech recognition result of LON-based DNN adaptation (word accuracy, %).
표 Table. 5 Speech recognition result of speaker adaptation for different amount of data (word accuracy, %).

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 DNN-HMM 기반의 음성 인식 시스템의 모델 적응을 위해 DNN 적응 기법의 하나인 선형 변환을 이용한 DNN 모델 적응을 실시하였다[11][12]. 선형 변환을 이용한 DNN 모델 적응 기법에서는 초기 모델 학습 후 입력 층 또는 출력 층에 동일한 사이즈의 층을 하나씩 추가한 뒤 적응 데이터에 대해 가중치 행렬을 다시 학습하는 방법이다.
본 논문에서는 GMM-HMM 기반의 VPI 음성 인식 성능과 비교를 위하여 DNN과 HMM의 하이브리드 구조를 갖는 음성 인식 시스템을 구축하였다[9][10]. DNN-HMM 하이브리드 기반 음성 인식 시스템에서는 GMM-HMM 기반 음성 인식기와 동일한 구조의 HMM을 사용하며 HMM의 각 상태에 대한 확률 값을 GMM 을 이용하여 계산하는 대신 DNN을 통해 계산한다.
본 논문에서는 VPI 음성에 대해 GMM-HMM 기반의 음성 인식 성능 평가를 위해 HTK[5] 소프트웨어와 PBW452 음성 데이터베이스를 이용하여 기본 음성 인식 시스템을 구축하였다. 본 논문에서는 연구용으로 배포된 버전에 포함되어 있는 남자 8명이 2회씩 발음한 452단어 총 7,232개의 음성 샘플을 훈련 데이터로 이용하여 452개의 독립 단어를 인식하는 기본 음성 인식기를 구축하였다.
입력 층, 출력 층, 은닉 층에 선형 변환 층을 추가하여 모델 적응을 실시하는 방법을 각각 선형 입력 네트워크 (Linear Input Network, LIN), 선형 출력 네트워크 (Linear Output Network, LON), 선형 은닉 네트워크 (Linear Hidden Network, LHN)이라 한다. 본 논문에서는 선형 입력 네트워크와 선형 출력 네트워크 기반의 모델 적응을 실시하고 그 성능을 관찰하였다.
본 논문에서는 효과적으로 VPI 환자 음성을 인식하기 위해 DNN-HMM 하이브리드 구조의 음성 인식 시스템을 구축하고 기존의 GMM-HMM 기반의 음성 인식 시스템과의 성능을 비교하였다. 깨끗한 정상인의 음성 데이터베이스를 이용하여 초기 모델을 학습하고 정상인의 VPI 모의 음성을 이용하여 VPI 환자 음성에 대한 화자 인식을 위한 기본 모델을 생성하였다.
본 논문은 VPI 환자의 음성을 정상인의 음성에 가깝게 복원하고 향상시키기 위한 연구의 하나로서, VPI 환자 음성을 정확하게 자동으로 인식하기 위한 기법에 관한 연구 결과를 소개한다. 본 연구의 사전 연구로서, VPI 환자의 음성에 관한 효과적인 연구를 위해 공동 음성 데이터베이스를 구축하고, VPI 환자의 실제 발음과 정상인으로부터 실험적으로 VPI 환자 음성과 유사하게 발생시킨 모의 음성의 분석을 실시하였다[3].
본 논문은 VPI 환자의 음성을 정상인의 음성에 가깝게 복원하고 향상시키기 위한 연구의 하나로서, VPI 환자 음성을 정확하게 자동으로 인식하기 위한 기법에 관한 연구 결과를 소개한다. 본 연구의 사전 연구로서, VPI 환자의 음성에 관한 효과적인 연구를 위해 공동 음성 데이터베이스를 구축하고, VPI 환자의 실제 발음과 정상인으로부터 실험적으로 VPI 환자 음성과 유사하게 발생시킨 모의 음성의 분석을 실시하였다[3]. 또한 효과적인 VPI 음성 인식을 위해 은닉 마르코프 모델 기반의 음성 인식기를 구축하고, 정상인으로부터 수집한 모의 VPI 환자 음성을 화자 적응의 초기 모델로 사용함으로써 다량의 음성 데이터 수집이 어려운 제한 조건을 갖는 VPI 환자 음성 인식에서 성능 향상을 관찰하였다[4].

가설 설정

음성 인식 성능 향상을 위한 음향 모델 적응 기법에서는 실제 인식 시스템이 적용되는 테스트 환경과 인식 시스템의 음향 모델 훈련이 이루어진 환경의 음향적 조건이 동일할 때 가장 높은 성능을 가지는 것을 가정한다. 본 연구에서는 GMM-HMM 기반 음성 인식을 위한 대표적인 모델 적응 기술인 Maximum A Posteriori (MAP) 기반 적응 기법[7]과 Maximum Likel- ihood Linear Regression (MLLR) 기반 적응 기법[8]을 사용하였다.
선형 변환을 이용한 DNN 모델 적응 기법에서는 초기 모델 학습 후 입력 층 또는 출력 층에 동일한 사이즈의 층을 하나씩 추가한 뒤 적응 데이터에 대해 가중치 행렬을 다시 학습하는 방법이다. 이때 추가한 층과 기존 층과의 가중치의 관계는 활성화 함수를 사용하지 않는 선형 변환을 가정하게 된다. 입력 층, 출력 층, 은닉 층에 선형 변환 층을 추가하여 모델 적응을 실시하는 방법을 각각 선형 입력 네트워크 (Linear Input Network, LIN), 선형 출력 네트워크 (Linear Output Network, LON), 선형 은닉 네트워크 (Linear Hidden Network, LHN)이라 한다.

제안 방법

화자 적응에서는 소량의 학습 데이터를 감안하여 각 가중치 행렬을 부분적으로 학습에 참여하여 인식 성능을 관찰했다. 즉 총 3개의 가중 행렬 W1, W2, W3 중 (i) W1만, (ii) W1와 W2만, (iii) W1, W2, W3 모두 학습에 참여시켰을 때 성능 (표 2에서 All)을 비교했다. 화자 적응을 위한 학습에서는 0.
본 논문에서는 GMM-HMM 기반의 VPI 음성 인식 성능과 비교를 위하여 DNN과 HMM의 하이브리드 구조를 갖는 음성 인식 시스템을 구축하였다[9][10]. DNN-HMM 하이브리드 기반 음성 인식 시스템에서는 GMM-HMM 기반 음성 인식기와 동일한 구조의 HMM을 사용하며 HMM의 각 상태에 대한 확률 값을 GMM 을 이용하여 계산하는 대신 DNN을 통해 계산한다. L개의 층을 갖는 DNN에서 l번째 층의 출력값 v^l은 다음과 같이 표현할 수 있다.
각 음소 모델은 하나의 HMM에 대응되며, 각 HMM은 3개의 상태 (State)로 구성되고 각 상태는 출력 확률 함수로서 8개의 요소로 이루어진 가우시안 혼합 모델을 갖는다. ETSI 표준으로 정의한 Mel Frequency Cepstral Coefficients (MFCC) 특징 추출 기법[6]을 사용하여 c0를 포함한 13차 MFCC 특징(c0~c12)에 1차, 2차 미분 계수를 결합하여 총 39차원의 특징 벡터를 추출하였다. 베이스라인 음성 인식 시스템의 성능 평가를 위해 훈련 데이터베이스 세트와 중복되지 않은 PBW452 평가용 버전의 남성 화자 5명의 깨끗한 발음 총 2,260 샘플을 사용하여 평가한 결과, 깨끗한 환경의 정상인 음성 데이터에 대해 98.
깨끗한 정상인의 음성 데이터베이스를 이용하여 초기 모델을 학습하고 정상인의 VPI 모의 음성을 이용하여 VPI 환자 음성에 대한 화자 인식을 위한 기본 모델을 생성하였다. VPI 환자의 화자 적응 시에는 DNN의 각 층 별 가중치 행렬을 부분 적으로 학습하여 성능을 관찰하고 GMM-HMM 시스템과 비교하였다. 2개의 은닉 층을 사용했을 때 가중치 행렬W1만, 또는 W1, W2만 학습한 경우 기존의 GMM-HMM 인식기보다 높은 성능을 나타냈다.
생성된 상태 열 정보가 DNN 학습시에 레이블 데이터가 된다. 각 훈련 데이터에 대해 생성된 레이블 데이터를 목표로 하여 심층 신경망을 학습한다. 인식 시에는 GMM-HMM 인식기와 동일한 상태 천이 확률 모델을 사용하고, 입력 음성으로부터 추출된 39차원의 MFCC 특징 벡터를 결합을 통해 얻어진 195차원의 입력 음성 벡터를 사용하여 DNN 통하여 각 상태에 대한 확률 값을 계산한다.
그 후속 연구로서 본 연구에서는 심층 신경망 (Deep Neural Network, DNN) 기반과 은닉 마르코프 모델 (Hidden Markov Model, HMM)의 하이브리드 구조의 음향 모델을 갖는 음성 인식 시스템을 구축하여 VPI 음성에 대한 인식 성능을 평가한다. 사전 연구와 동일한 과정으로 모의 VPI 음성 데이터를 이용하여 초기 모델을 생성하고 이를 기반으로 하여 DNN 모델 적응을 적용했을 때 성능 향상을 관찰한다.
본 논문에서는 효과적으로 VPI 환자 음성을 인식하기 위해 DNN-HMM 하이브리드 구조의 음성 인식 시스템을 구축하고 기존의 GMM-HMM 기반의 음성 인식 시스템과의 성능을 비교하였다. 깨끗한 정상인의 음성 데이터베이스를 이용하여 초기 모델을 학습하고 정상인의 VPI 모의 음성을 이용하여 VPI 환자 음성에 대한 화자 인식을 위한 기본 모델을 생성하였다. VPI 환자의 화자 적응 시에는 DNN의 각 층 별 가중치 행렬을 부분 적으로 학습하여 성능을 관찰하고 GMM-HMM 시스템과 비교하였다.
정상인이 실험적으로 VPI 환자의 발음과 유사하게 발음하기 위하여 고무관 (Nelaton Catheter)을 사용하였으며, 본 연구에서는 1mm 내경을 갖는 고무관을 사용하였다 [3]. 넬라톤 카테터를 양측 비강을 통해 삽입하고 긴장도가 없는 상태의 위치를 지혈 겸자로 표시하고, 통증을 유발하지 않으면서 최대의 긴장도가 생성되는 위치를 표시하였다. 카테터가 최대 긴장도를 생성하는 위치에 있을 때를 VPI 모의 환자의 중증 (Severe) 상태로 정의하고, 최대 긴장도 위치와 긴장도가 없는 위치의 중간에 있을 때 화자의 발성이 녹음된 것을 경도 (Mild) 상태로 정의하였다.
Adam 최적화 알고리즘을 사용하여 교차 엔트로피 기준으로 학습하였다. 다양한 실험을 통해 최고의 성능을 보이는 파라미터 조합을 선택하고, 초기 학습과 화자 적응 단계에서는 각각 다른 학습률을 사용했다.
본 연구의 사전 연구로서, VPI 환자의 음성에 관한 효과적인 연구를 위해 공동 음성 데이터베이스를 구축하고, VPI 환자의 실제 발음과 정상인으로부터 실험적으로 VPI 환자 음성과 유사하게 발생시킨 모의 음성의 분석을 실시하였다[3]. 또한 효과적인 VPI 음성 인식을 위해 은닉 마르코프 모델 기반의 음성 인식기를 구축하고, 정상인으로부터 수집한 모의 VPI 환자 음성을 화자 적응의 초기 모델로 사용함으로써 다량의 음성 데이터 수집이 어려운 제한 조건을 갖는 VPI 환자 음성 인식에서 성능 향상을 관찰하였다[4].
모의 음성 데이터를 이용하여 학습 후 얻은 DNN 모델을 기반으로 하여 표1의 MLLR 화자 적응 과정과 동일한 데이터 세트를 사용하여 화자 적응을 실시하였다. 화자 적응에서는 소량의 학습 데이터를 감안하여 각 가중치 행렬을 부분적으로 학습에 참여하여 인식 성능을 관찰했다.
본 논문에서는 VPI 음성에 대해 GMM-HMM 기반의 음성 인식 성능 평가를 위해 HTK[5] 소프트웨어와 PBW452 음성 데이터베이스를 이용하여 기본 음성 인식 시스템을 구축하였다. 본 논문에서는 연구용으로 배포된 버전에 포함되어 있는 남자 8명이 2회씩 발음한 452단어 총 7,232개의 음성 샘플을 훈련 데이터로 이용하여 452개의 독립 단어를 인식하는 기본 음성 인식기를 구축하였다. 묵음 구간 모델을 포함하여 총 47개의 문맥 독립형 음소 모델을 사용하였다.
DNN 모델 적응을 위해서는 선형 변환 네트워크를 이용한 모델 적응을 실시한다. 본 연구에서는 입력 선형 네트워크와 출력 선형 네트워크 기반의 모델 적응 기법을 적용하여 인식 성능을 관찰하고 GMM (Gaussian Mixture Model) HMM 기반 인식과의 성능을 비교한다.
그 후속 연구로서 본 연구에서는 심층 신경망 (Deep Neural Network, DNN) 기반과 은닉 마르코프 모델 (Hidden Markov Model, HMM)의 하이브리드 구조의 음향 모델을 갖는 음성 인식 시스템을 구축하여 VPI 음성에 대한 인식 성능을 평가한다. 사전 연구와 동일한 과정으로 모의 VPI 음성 데이터를 이용하여 초기 모델을 생성하고 이를 기반으로 하여 DNN 모델 적응을 적용했을 때 성능 향상을 관찰한다. DNN 모델 적응을 위해서는 선형 변환 네트워크를 이용한 모델 적응을 실시한다.
33%으로 낮은 인식률을 보였다. 소량의 VPI 음성 데이터 샘플을 화자 적응 실험에 효과적으로 이용하기 위해 각 화자의 샘플을 모델 적응용과 테스트용 세트가 겹치지 않도록 조합된 3종류의 세트로 구성하였다. 즉, 3회 반복 녹음으로 구성된 각 화자의 데이터에서 1회째 녹음 음성을 테스트할 때에는 2회째, 3회째 녹음 음성을 화자 적응에 사용하고, 2회째, 3회째 발음을 테스트 할 때에는 1회째, 3회째 발음과 1회째, 2회째 녹음 음성을 각각 화자 적응에 사용하였다.
표 3과 표 4는 선형 변환을 이용하여 DNN 모델을 적응한 뒤 인식 성능을 평가한 결과이다. 앞의 실험과 동일한 방법으로 PBW452 데이터를 이용한 초기모델, 정상인 모의 음성 데이터를 이용한 적응 모델을 학습하여 이를 초기 모델로 이용했다. 표3의 실험에서는 선형 입력 네트워크 (Linear Input Networks, LIN) 기반의 모델 적응을 위해 입력 층 앞단에 입력 층과 동일한 사이즈의 층을 한 개 추가함으로써 가중치 행렬을 한 개 증가시켰다.
각 훈련 데이터에 대해 생성된 레이블 데이터를 목표로 하여 심층 신경망을 학습한다. 인식 시에는 GMM-HMM 인식기와 동일한 상태 천이 확률 모델을 사용하고, 입력 음성으로부터 추출된 39차원의 MFCC 특징 벡터를 결합을 통해 얻어진 195차원의 입력 음성 벡터를 사용하여 DNN 통하여 각 상태에 대한 확률 값을 계산한다. 비터비 디코딩 과정은 GMM-HMM 기반 시스템과 동일하다.
소량의 VPI 음성 데이터 샘플을 화자 적응 실험에 효과적으로 이용하기 위해 각 화자의 샘플을 모델 적응용과 테스트용 세트가 겹치지 않도록 조합된 3종류의 세트로 구성하였다. 즉, 3회 반복 녹음으로 구성된 각 화자의 데이터에서 1회째 녹음 음성을 테스트할 때에는 2회째, 3회째 녹음 음성을 화자 적응에 사용하고, 2회째, 3회째 발음을 테스트 할 때에는 1회째, 3회째 발음과 1회째, 2회째 녹음 음성을 각각 화자 적응에 사용하였다. MLLR 화자 적응 실험 결과 두 환자에 대해 평균 84.
표 1에서 MAP-MLLR 실험은 정상인의 모의 음성을 이용하여 MAP 모델 적응을 통해 모의 음성 모델을 생성하고 이를 기반으로 MLLR 화자 적응을 적용하여 환자 1과 2 (P1, P2) 음성에 대한 인식 성능 평가 결과를 나타낸다. 즉, PBW452 데이터를 이용하여 훈련된 기본 인식기를 초기 모델로 사용하고, 모의 음성을 이용하여 MAP 모델 적응을 실시함으로써 화자 적응을 위한 사전 모델을 생성하였다. VPI 모의 음성 모델을 생성하기 위한 모델 적응 과정에는 정상인 5명이 발음한 모의 발음 총 698개의 음성 데이터를 사용하였다.
모의 음성 데이터를 이용하여 학습 후 얻은 DNN 모델을 기반으로 하여 표1의 MLLR 화자 적응 과정과 동일한 데이터 세트를 사용하여 화자 적응을 실시하였다. 화자 적응에서는 소량의 학습 데이터를 감안하여 각 가중치 행렬을 부분적으로 학습에 참여하여 인식 성능을 관찰했다. 즉 총 3개의 가중 행렬 W1, W2, W3 중 (i) W1만, (ii) W1와 W2만, (iii) W1, W2, W3 모두 학습에 참여시켰을 때 성능 (표 2에서 All)을 비교했다.

대상 데이터

활성 함수로는 각 층에서 ReLU 함수를 사용하고 출력 층에서는 확률 형태의 값을 얻기 위하여 Softmax 함수를 사용하였다. GMM-HMM 학습과 동일하게 PBW452 데이터를 이용하여 초기 모델을 학습하고 이를 기반으로 정상인의 모의 음성 데이터를 이용하여 학습했다. 이는 GMM-HMM 음성 인식기의 MAP 모델을 생성하는 과정과 유사한 과정이다.
즉, PBW452 데이터를 이용하여 훈련된 기본 인식기를 초기 모델로 사용하고, 모의 음성을 이용하여 MAP 모델 적응을 실시함으로써 화자 적응을 위한 사전 모델을 생성하였다. VPI 모의 음성 모델을 생성하기 위한 모델 적응 과정에는 정상인 5명이 발음한 모의 발음 총 698개의 음성 데이터를 사용하였다. 모의 음성 모델을 화자 적응의 사전 모델로 이용함으로써 두 환자에 대해 평균 88.
VPI 환자 음성 샘플 수집을 위한 발음 목록으로 한국어 음성 인식 분야에서 많은 연구자들이 사용하고 있는 PBW452 데이터베이스[3]의 단어 목록을 사용하였다. 언어치료사가 PBW452 단어 목록의 452개 단어 중에서 VPI 환자의 발음 오류가 자주 발생하는 50개의 단어를 선정하여 이를 발음 목록으로 사용하였다.
본 논문에서 제안하는 DNN-HMM 하이브리드 기반 음성인식 시스템에서는 입력 음성의 이웃한 5개 프레임의 각 39차원 MFCC 특징 벡터를 결합한 총 195차원의 특징 벡터를 입력 데이터로 사용하였다. 따라서 입력 층의 뉴런의 개수는 음성 특징 벡터의 사이즈와 동일한 195개를 갖고, 출력 층의 뉴런의 개수는 모든 47개의 HMM 모델의 총 상태 개수와 동일한 141개를 사용하였다.
본 논문에서는 연구용으로 배포된 버전에 포함되어 있는 남자 8명이 2회씩 발음한 452단어 총 7,232개의 음성 샘플을 훈련 데이터로 이용하여 452개의 독립 단어를 인식하는 기본 음성 인식기를 구축하였다. 묵음 구간 모델을 포함하여 총 47개의 문맥 독립형 음소 모델을 사용하였다. 각 음소 모델은 하나의 HMM에 대응되며, 각 HMM은 3개의 상태 (State)로 구성되고 각 상태는 출력 확률 함수로서 8개의 요소로 이루어진 가우시안 혼합 모델을 갖는다.
따라서 v⁰는 입력 벡터를 나타내고 v^L 은 해당 심층 신경망의 최종 출력을 나타낸다. 본 논문에서 제안하는 DNN-HMM 하이브리드 기반 음성인식 시스템에서는 입력 음성의 이웃한 5개 프레임의 각 39차원 MFCC 특징 벡터를 결합한 총 195차원의 특징 벡터를 입력 데이터로 사용하였다. 따라서 입력 층의 뉴런의 개수는 음성 특징 벡터의 사이즈와 동일한 195개를 갖고, 출력 층의 뉴런의 개수는 모든 47개의 HMM 모델의 총 상태 개수와 동일한 141개를 사용하였다.
카테터가 최대 긴장도를 생성하는 위치에 있을 때를 VPI 모의 환자의 중증 (Severe) 상태로 정의하고, 최대 긴장도 위치와 긴장도가 없는 위치의 중간에 있을 때 화자의 발성이 녹음된 것을 경도 (Mild) 상태로 정의하였다. 본 논문에서는 중증 상태의 VPI 모의 환자 발음을 사용하였다.
언어치료사가 PBW452 단어 목록의 452개 단어 중에서 VPI 환자의 발음 오류가 자주 발생하는 50개의 단어를 선정하여 이를 발음 목록으로 사용하였다. 수집 대상으로는 음성 녹음에 협조가 잘 이루어지고, 발음 목록에 따른 발성 과정이 적절히 수행될 수 있도록 만 10세 이상의 VPI 환자를 선정하였고, VPI 모의 음성 수집을 위해서는 정상 발음을 가진 성인을 대상으로 하였다. 모집 과정에서 VPI 환자와 정상인 모의 발음 대상의 녹음 의지를 확인한 후 피험자 동의서를 받았다(IRB Number; 1103-040 -354, [2]).
VPI 환자 음성 샘플 수집을 위한 발음 목록으로 한국어 음성 인식 분야에서 많은 연구자들이 사용하고 있는 PBW452 데이터베이스[3]의 단어 목록을 사용하였다. 언어치료사가 PBW452 단어 목록의 452개 단어 중에서 VPI 환자의 발음 오류가 자주 발생하는 50개의 단어를 선정하여 이를 발음 목록으로 사용하였다. 수집 대상으로는 음성 녹음에 협조가 잘 이루어지고, 발음 목록에 따른 발성 과정이 적절히 수행될 수 있도록 만 10세 이상의 VPI 환자를 선정하였고, VPI 모의 음성 수집을 위해서는 정상 발음을 가진 성인을 대상으로 하였다.
정상인이 실험적으로 VPI 환자의 발음과 유사하게 발음하기 위하여 고무관 (Nelaton Catheter)을 사용하였으며, 본 연구에서는 1mm 내경을 갖는 고무관을 사용하였다 [3]. 넬라톤 카테터를 양측 비강을 통해 삽입하고 긴장도가 없는 상태의 위치를 지혈 겸자로 표시하고, 통증을 유발하지 않으면서 최대의 긴장도가 생성되는 위치를 표시하였다.

이론/모형

001을 사용하고 배치 사이즈는 학습 데이터 양의 10% 크기로 하였다. Adam 최적화 알고리즘을 사용하여 교차 엔트로피 기준으로 학습하였다. 다양한 실험을 통해 최고의 성능을 보이는 파라미터 조합을 선택하고, 초기 학습과 화자 적응 단계에서는 각각 다른 학습률을 사용했다.
음성 인식 성능 향상을 위한 음향 모델 적응 기법에서는 실제 인식 시스템이 적용되는 테스트 환경과 인식 시스템의 음향 모델 훈련이 이루어진 환경의 음향적 조건이 동일할 때 가장 높은 성능을 가지는 것을 가정한다. 본 연구에서는 GMM-HMM 기반 음성 인식을 위한 대표적인 모델 적응 기술인 Maximum A Posteriori (MAP) 기반 적응 기법[7]과 Maximum Likel- ihood Linear Regression (MLLR) 기반 적응 기법[8]을 사용하였다.
본 연구에서 일련의 다양한 실험을 거쳐 2개의 은닉 층이 각각 500개와 200개의 뉴런을 갖는 신경망 구조가 가장 높은 인식률을 보이는 것을 확인했다. 활성 함수로는 각 층에서 ReLU 함수를 사용하고 출력 층에서는 확률 형태의 값을 얻기 위하여 Softmax 함수를 사용하였다. GMM-HMM 학습과 동일하게 PBW452 데이터를 이용하여 초기 모델을 학습하고 이를 기반으로 정상인의 모의 음성 데이터를 이용하여 학습했다.

성능/효과

DNN-HMM 기반 음성 인식기에서는 표2의 실험에서 가중치 행렬 W1만 학습에 참여한 실험 결과이다. 1/3, 2/3의 양을 사용했을 경우 모두 DNN-HMM 기반 음성 인식기의 성능이 우수했으며, 특히 1/3의 양을 사용했을 경우 GMM-HMM 인식기의 경우 평균 77.25% 인식률로 모든 데이터를 사용 했을 때의 평균 88.95% 보다 11.70% 낮은 성능을 보이지만, DNN-HMM 기반의 음성 인식기의 경우 평균 87.94%로 모든 데이터를 사용한 GMM-HMM 음성 인식 성능 및 DNN-HMM 음성 인식 성능과 유사한 성능을 나타내는 것을 관찰했다. 이와 같은 결과는 DNN 기반의 음성 인식 시스템이 소량의 VPI 환자 음성 데이터를 이용하여 음성 인식에 효과적인 화자 모델을 생성하는 데 유리함을 나타낸다.
VPI 환자의 화자 적응 시에는 DNN의 각 층 별 가중치 행렬을 부분 적으로 학습하여 성능을 관찰하고 GMM-HMM 시스템과 비교하였다. 2개의 은닉 층을 사용했을 때 가중치 행렬W1만, 또는 W1, W2만 학습한 경우 기존의 GMM-HMM 인식기보다 높은 성능을 나타냈다. 성능 향상을 위해 DNN 모델 적응을 적용하였고 LIN 기반의 DNN 모델 적용 결과 평균 2.
즉, 3회 반복 녹음으로 구성된 각 화자의 데이터에서 1회째 녹음 음성을 테스트할 때에는 2회째, 3회째 녹음 음성을 화자 적응에 사용하고, 2회째, 3회째 발음을 테스트 할 때에는 1회째, 3회째 발음과 1회째, 2회째 녹음 음성을 각각 화자 적응에 사용하였다. MLLR 화자 적응 실험 결과 두 환자에 대해 평균 84.06%의 높은 인식률을 보였다. 이러한 결과는 VPI 환자 음성을 정확하게 인식하기 위해서는 대상 환자 음성을 이용한 화자 적응 과정이 필수적으로 요구됨을 의미하며, 실제 VPI 환자 음성과 같이 대량의 데이터 확보에 한계가 있을 경우에는 MLLR 기반의 음향 모델 적응 기법이 화자 적응에 효과적임을 입증한다.
성능 평가 결과 모든 가중치 행렬을 참여시켰을 때 평균적으로 가장 높은 성능을 나타냈으나 선형 변환 적응을 적용하지 않은 표2의 결과와 선형 입력 네트워크 적응을 적용한 표 3의 결과보다는 낮은 성능을 나타냈다. 따라서 본 실험을 통해 선형 출력 네트워크 기반의 DNN 모델 적응은 VPI 환자 음성 인식에 효과적인 영향을 주지 못하는 것을 확인할 수 있다.
35%의 인식 성능을 향상을 나타냈다. 또한 소량의 데이터를 사용했을 때 GMM-HMM 기반 음성인식 기법에 비해 DNN-HMM 기반 음성 인식 기법이 VPI 음성 인식 성능이 높은 것을 확인했다. 이러한 결과는 VPI 음성 인식에 DNN-HMM 기반 음성 인식 및 적응 기법을 최초로 적용한 사례로서, 본 논문에서 제안 하는 DNN-HMM 기반의 음성 인식 기법이 대량의 음성 데이터를 확보하기 어려운 VPI 환자 음성에 대해 보다 향상된 인식성능의 음성 인식 시스템을 구축하는데 효과적임을 입증한다.
VPI 모의 음성 모델을 생성하기 위한 모델 적응 과정에는 정상인 5명이 발음한 모의 발음 총 698개의 음성 데이터를 사용하였다. 모의 음성 모델을 화자 적응의 사전 모델로 이용함으로써 두 환자에 대해 평균 88.95%로 4.89% 인식률 향상을 나타냈다.
ETSI 표준으로 정의한 Mel Frequency Cepstral Coefficients (MFCC) 특징 추출 기법[6]을 사용하여 c0를 포함한 13차 MFCC 특징(c0~c12)에 1차, 2차 미분 계수를 결합하여 총 39차원의 특징 벡터를 추출하였다. 베이스라인 음성 인식 시스템의 성능 평가를 위해 훈련 데이터베이스 세트와 중복되지 않은 PBW452 평가용 버전의 남성 화자 5명의 깨끗한 발음 총 2,260 샘플을 사용하여 평가한 결과, 깨끗한 환경의 정상인 음성 데이터에 대해 98.89%의 단어 인식률을 나타냈다.
표 2는 DNN-HMM 기반 음성 인식기를 이용하여 VPI 환자 음성에 대해 음성인식 평가를 실시한 결과이다. 본 연구에서 일련의 다양한 실험을 거쳐 2개의 은닉 층이 각각 500개와 200개의 뉴런을 갖는 신경망 구조가 가장 높은 인식률을 보이는 것을 확인했다. 활성 함수로는 각 층에서 ReLU 함수를 사용하고 출력 층에서는 확률 형태의 값을 얻기 위하여 Softmax 함수를 사용하였다.
표 3의 결과는 이러한 구조에서 각 가중치 행렬을 부분적으로 학습에 참여시켰을 때 인식 성능 변화를 관찰한 결과이다. 성능 평가 결과 W1과 W2를 화자 적응에 참여시켰을 때 평균 91.30%의 가장 높은 인식 성능을 나타냈다.
표 4의 결과는 이러한 구조에서 각 가중치 행렬을 부분적으로 학습에 참여시켰을 때 인식 성능 변화를 관찰한 결과이다. 성능 평가 결과 모든 가중치 행렬을 참여시켰을 때 평균적으로 가장 높은 성능을 나타냈으나 선형 변환 적응을 적용하지 않은 표2의 결과와 선형 입력 네트워크 적응을 적용한 표 3의 결과보다는 낮은 성능을 나타냈다. 따라서 본 실험을 통해 선형 출력 네트워크 기반의 DNN 모델 적응은 VPI 환자 음성 인식에 효과적인 영향을 주지 못하는 것을 확인할 수 있다.
2개의 은닉 층을 사용했을 때 가중치 행렬W1만, 또는 W1, W2만 학습한 경우 기존의 GMM-HMM 인식기보다 높은 성능을 나타냈다. 성능 향상을 위해 DNN 모델 적응을 적용하였고 LIN 기반의 DNN 모델 적용 결과 평균 2.35%의 인식 성능을 향상을 나타냈다. 또한 소량의 데이터를 사용했을 때 GMM-HMM 기반 음성인식 기법에 비해 DNN-HMM 기반 음성 인식 기법이 VPI 음성 인식 성능이 높은 것을 확인했다.
또한 소량의 데이터를 사용했을 때 GMM-HMM 기반 음성인식 기법에 비해 DNN-HMM 기반 음성 인식 기법이 VPI 음성 인식 성능이 높은 것을 확인했다. 이러한 결과는 VPI 음성 인식에 DNN-HMM 기반 음성 인식 및 적응 기법을 최초로 적용한 사례로서, 본 논문에서 제안 하는 DNN-HMM 기반의 음성 인식 기법이 대량의 음성 데이터를 확보하기 어려운 VPI 환자 음성에 대해 보다 향상된 인식성능의 음성 인식 시스템을 구축하는데 효과적임을 입증한다.
06%의 높은 인식률을 보였다. 이러한 결과는 VPI 환자 음성을 정확하게 인식하기 위해서는 대상 환자 음성을 이용한 화자 적응 과정이 필수적으로 요구됨을 의미하며, 실제 VPI 환자 음성과 같이 대량의 데이터 확보에 한계가 있을 경우에는 MLLR 기반의 음향 모델 적응 기법이 화자 적응에 효과적임을 입증한다.
94%로 모든 데이터를 사용한 GMM-HMM 음성 인식 성능 및 DNN-HMM 음성 인식 성능과 유사한 성능을 나타내는 것을 관찰했다. 이와 같은 결과는 DNN 기반의 음성 인식 시스템이 소량의 VPI 환자 음성 데이터를 이용하여 음성 인식에 효과적인 화자 모델을 생성하는 데 유리함을 나타낸다.
0002의 학습률을 사용하고 배치 사이즈는 학습 데이터 양의 25% 크기로 했다. 평균적으로 GMM-HMM 음성 인식 성능 보다 다소 높은 인식률을 나타냈고, W1만 또는 W1과 W2만 학습에 참여시켰을 때 특히 환자 P2에 대해 대폭적인 인식률 성능 향상을 보였다. 이는 DNN을 이용한 화자 적응 시에는 데이터 양을 고려하여 각 가중치 행렬에 대해 부분적인 학습이 보다 효과적임을 나타낸다.
표 4의 결과는 선형 출력 네트워크 (Linear Output Networks, LON) 기반의 모델 적응을 적용한 실험 결과로서 출력 층 뒤에 출력 층과 동일한 사이즈의 층을 한개 추가하여 가중치 행렬을 한 개 증가시켰다. 표 4의 결과는 이러한 구조에서 각 가중치 행렬을 부분적으로 학습에 참여시켰을 때 인식 성능 변화를 관찰한 결과이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	VPI 환자 음성 샘플 수집을 위하여 사용한 데이터베이스는?	VPI 환자 음성 샘플 수집을 위한 발음 목록으로 한국어 음성 인식 분야에서 많은 연구자들이 사용하고 있는 PBW452 데이터베이스[3]의 단어 목록을 사용하였다. 언어치료사가 PBW452 단어 목록의 452개 단어 중에서 VPI 환자의 발음 오류가 자주 발생하는 50개의 단어를 선정하여 이를 발음 목록으로 사용하였다.
	구개인두부전증이란 어떤 증상인가?	구순구개열은 선천적으로 입술 (구순) 또는 입천장 (구개)가 갈라져서 구강과 비강이 연결된 상태를 말하며, 안면의 선천성 기형 중 빈도가 높은 장애의 하나로 알려져 있다[1][2]. 정상인이 음성을 발음할 때는 연구 개가 비강과 구강을 차단함으로써 비음을 제한하지만, 구순구개열 환자의 경우에는 경구개 또는 연구개가 벌어져 있거나 선천적으로 연구개가 짧기 때문에, 발성 시에 성대로부터 나온 기류가 비강과 구강을 동시에 공명 하게 되어 발성 및 조음 장애를 일으키게 된다. 이러한 증상을 구개인두부전증 (Velopharyngeal Insufficiency, VPI)이라고 한다.
	구순구개열이란 무엇인가?	구순구개열은 선천적으로 입술 (구순) 또는 입천장 (구개)가 갈라져서 구강과 비강이 연결된 상태를 말하며, 안면의 선천성 기형 중 빈도가 높은 장애의 하나로 알려져 있다[1][2]. 정상인이 음성을 발음할 때는 연구 개가 비강과 구강을 차단함으로써 비음을 제한하지만, 구순구개열 환자의 경우에는 경구개 또는 연구개가 벌어져 있거나 선천적으로 연구개가 짧기 때문에, 발성 시에 성대로부터 나온 기류가 비강과 구강을 동시에 공명 하게 되어 발성 및 조음 장애를 일으키게 된다.

참고문헌 (12)

S. G. Fletcher, "Theory and instrumentation for quantitative measurement of nasality," Cleft Palate Journal, vol. 7, pp. 601-609, 1970.

상세보기
J. Lee, W. Kim, K. Kim, M. Sung and T. Kwon, "Research on Construction of the Korean Speech Corpus in Patient with Velopharyngeal Insufficiency," Korean Journal of Otorhinolaryngol - Head & Neck Surgery, vol. 55, no. 8, pp. 498-507, 2012 .

상세보기
M. Sung, H. Kim, T. Kwon, M. Sung, and W. Kim, "Analysis on Vowel and Consonants Sounds of Patient's Speech with Velopharyngeal Insufficiency (VPI) and Simulated Speech," Journal of Korea Institute of Information and Communication Engineering, vol. 18, no. 7, pp. 1740-1748, July 2014 .

원문보기 상세보기
M. Sung, T. Kwon, M. Sung, and W. Kim, "Effective Recognition of Velopharyngeal Insufficiency (VPI) Patient's Speech Using Simulated Speech Model," Journal of Korea Institute of Information and Communication Engineering, vol. 19, no. 5, pp. 1243- 1250, May 2015 .

원문보기 상세보기
S. Young, HTK Book, Ver. 3.4, Cambridge, UK: Cambridge University Press, 2006.
ETSI standard document, ETSI ES 201 108 v1.1.2 (2000-04), Feb. 2000.
J. L. Gauvain and C. H. Lee, "Maximum a Posteriori Estimation for Multivariate Gaussian Mixture Observations of Markov Chains," IEEE Trans. on Speech and Audio Proc., vol. 2, no. 2, pp. 291-298, 1994.

상세보기
C. J. Leggetter and P. C. Woodland, "Maximum Likelihood Linear Regression for Speaker Adaptation of Continuous Density HMMs," Computer Speech and Language, 9, pp. 171-185, 1995.

상세보기
J.-T. Huang, J. Li, D. Yu, L. Deng and Y. Gong, "Crosslanguage knowledge transfer using multilingual deep neural network with shared hidden layers," IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP-2013), pp. 7304-7308, 2013.
W. Hu, Y. Qian and F. K. Soong, "A DNN-based acoustic modeling of tonal language and its application to Mandarin pronunciation training," IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP-2014), pp. 3206-3210, 2014.
S. Liu, and K. C. Sim, "On combining DNN and GMM with unsupervised speaker adaptation for robust automatic speech recognition," IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP-2014), pp. 195-199, 2014.
D. Yu, L. Deng, Automatic Speech Recognition; A Deep Learning Approach, Springer, 2015.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증