$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 한국어 자소 기반 Hybrid CTC-Attention End-to-End 음성 인식
Hybrid CTC-Attention Based End-to-End Speech Recognition Using Korean Grapheme Unit 원문보기

한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회, 2018 Oct. 12, 2018년, pp.453 - 458  

박호성 (서강대학교, 컴퓨터공학과) ,  이동현 (서강대학교, 컴퓨터공학과) ,  임민규 (서강대학교, 컴퓨터공학과) ,  강요셉 (서강대학교, 컴퓨터공학과) ,  오준석 (서강대학교, 컴퓨터공학과) ,  서순신 (서강대학교, 컴퓨터공학과) ,  김지환 (서강대학교, 컴퓨터공학과)

초록
AI-Helper 아이콘AI-Helper

본 논문은 한국어 자소를 인식 단위로 사용한 hybrid CTC-Attention 모델 기반 end-to-end speech recognition을 제안한다. End-to-end speech recognition은 기존에 사용된 DNN-HMM 기반 음향 모델과 N-gram 기반 언어 모델, WFST를 이용한 decoding network라는 여러 개의 모듈로 이루어진 과정을 하나의 DNN network를 통해 처리하는 방법을 말한다. 본 논문에서는 end-to-end 모델의 출력을 추정하기 위해 자소 단위의 출력구조를 사용한다. 자소 기반으로 네트워크를 구성하는 경우, 추정해야 하는 출력 파라미터의 개수가 11,172개에서 49개로 줄어들어 보다 효율적인 학습이 가능하다. 이를 구현하기 위해, end-to-end 학습에 주로 사용되는 DNN 네트워크 구조인 CTC와 Attention network 모델을 조합하여 end-to-end 모델을 구성하였다. 실험 결과, 음절 오류율 기준 10.05%의 성능을 보였다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • End-to-end 음성인식의 대상이 한국어인 경우, 두 가지 방법 중 음절 기반 방식은 추정해야 하는 parameter의 수가 많고, 이를 학습하기 위해서는 많은 양의 학습 자료를 필요로 하기 때문에 비효율적이다. 따라서, 본 논문에서는 추정해야 하는 parameter를 최소화할 수 있고, 별도의 후처리를 필요로 하지 않는 grapheme 기반의 한국어 end-to-end 음성인식을 제안한다.
  • 각 frame 단위로 output이 나올 경우 여러 프레임이 하나의 발음열을 생성하는 음성의 특성 상 중복된 output의 sequence가 발생하게 되는데, 이를 방지하기 위해 CTC에서는 blank symbol을 사용하여 output의 경계를 결정한다. 본 논문에서는 encoder network의 출력인 encoder vector h를 대상으로 CTC를 수행한다.
  • 본 논문은 grapheme unit을 사용한 hybrid CTC-attention 모델 기반 end-to-end speech recognition을 제안한다. 한 음절이 초성, 중성, 종성이라는 3개의 자소의 조합으로 이루어진 한국어의 특성을 반영하여 자소 단위로 구성한 이 모델은 CTC와 attention network의 hybrid 모델을 사용하여 모델 학습을 진행하였다.
  • 본 논문은 한국어 grapheme unit을 사용한 hybrid connectionist temporal classification (CTC)-attention 모델 기반 end-to-end 한국어 음성인식을 제안한다. 2장에서는 논문에서 제안하는 end-to-end 구조 및 인식 단위에 대한 기존 연구를 기술한다.
  • 입력으로 주어진 encoder vector sequence h에 대하여, 정답으로 주어진 y*의 과 가장 유사한 y 를 찾는 것이 목적이다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
전통적인 음성 인식 시스템의 구조의 문제점은 무엇인가? 전통적인 음성 인식 시스템의 구조는 DNN-HMM 기반의 음향 모델과 어휘 사전, 언어 모델을 하나의 decoding network로 구성하는 복잡한 방식으로 이루어져 있다. 이 방식은 각 요소의 전문가적 지식을 필요로 하고, 복잡한 네트워크 구조로 이루어져 있다는 문제점이 있다. [1], [2] 이와 비교하여 end-to-end 방식은 기존 DNN-HMM 기반 음향모델, weighted finite state transducer (WFST)를 이용한 decoding network, N-gram을 이용한 언어모델로 구성된 복잡한 방법을 대체하여 text에 대한 speech signal 혹은 feature만으로 구성된 네트워크를 이용하는 방식이다.
음성 인식에 있어서 end-to-end system을 구현하는 방법은 무엇인가? 음성 인식에 있어서 end-to-end system을 구현하는 방법은 지금까지 3가지가 제안되었다. 첫 번째 방법은 CTC를 이용한 방법이다. [4] CTC는 기존 DNN-HMM 방식의 학습에서 필수적으로 요구되는 forced alignment 작업을 없애기 위해 각 signal feature에서 바로 phoneme sequence를 추출하는 방법으로 제안되었다. CTC는 deep learning 모델의 output layer에서 output node의 objective function의 일종으로, signal feature에서 직접적으로 phoneme sequence를 추출하기 때문에 forced alignment 정보를 필요로 하지 않는다. 하지만, HMM 방법에서 사용되는 auto segmentation 방식의 경우 phoneme의 시계열 패턴을 기준으로 best path를 찾는 과정이 이루어지지만, CTC의 경우 단순히 각 feature 별 해당되는 phoneme을 출력하는 것에 지나지 않기 때문에 같은 corpus를 대상으로 할 때 음성인식 성능이 떨어지는 결과를 보이고 있다.[4] 두 번째 방법은 attention network를 이용하는 방법이다. attention network는 sequence-to-sequence 모델의 일종으로, 이는 하나의 입력에 대해 하나의 결과가 나오는 것이 아닌, 입력이 data series로 주어지고, 출력 또한 data series로 주어지는 방법을 말한다. [5] Attention model은 sequence-to-sequence 모델의 가장 유명한 방법 중 하나인 encoder-decoder 모델의 일종이다. 이 모델은 sequence에 대한 정보를 학습할 수 있는 모델을 필요로 하기 때문에 일반적으로 recurrent neural network (RNN) 모델을 주로 사용한다. Attention model은 디코딩하는 과정에서 인코더 모델에서 나오는 결과 벡터 값을 토대로 energy weights들을 계산한 뒤 합치는 방식으로, encoder model의 결과에서 중요하다고 생각되는 output node의 값을 강조하는 메커니즘으로 이루어진다. 이 방식은 end-to-end 방식 중 DNN-HMM과 유사한 가장 높은 성능을 보이고 있지만, sequence들을 하나의 네트워크에 한 번에 입력해야 한다는 문제점이 있어 online decoding에 활용할 수 없다는 단점이 있다. [5] 세 번째 방법은 RNN-Transducer를 이용하는 방법이다. [5], [6] 이 방법은 두 개의 RNN network를 이용하여 alignment 작업 및 supervised training 작업을 동시에 하는 방법이다. RNN transducer 방식은 input feature을 입력으로 하는 network인 transcription network와 output label을 입력으로 하는 prediction network로 구성되어 있다. Transcription network는 입력 frame의 개수만큼 정의된 길이의 input layer node 수를 갖는 RNN network로 transcription vector sequence를 출력한다. Prediction network는 입력 label의 최대 개수만큼 정의된 길이의 input layer node 수를 갖는 RNN network로 같은 개수의 prediction vector sequence를 출력한다. 두 가지 RNN network의 output vector는 decoding network를 구성하며, 두 network를 동시에 학습한다. 이 방법은 모든 경우의 수를 고려하여 탐색하는 CTC 방법과 비교했을 때 decoding 과정에서 연산량이 적고, data를 기반으로 한 보다 정확한 alignment가 가능하다는 장점이 있지만, 네트워크 구조가 복잡하고, 입력 크기의 제한이 있어 문장 단위의 음성인식에는 적합하지 않고, 속도가 느리다는 단점이 있다. [6]
전통적인 음성 인식 시스템의 구조는 어떻게 이루어져 있는가? 전통적인 음성 인식 시스템의 구조는 DNN-HMM 기반의 음향 모델과 어휘 사전, 언어 모델을 하나의 decoding network로 구성하는 복잡한 방식으로 이루어져 있다. 이 방식은 각 요소의 전문가적 지식을 필요로 하고, 복잡한 네트워크 구조로 이루어져 있다는 문제점이 있다.
질의응답 정보가 도움이 되었나요?

관련 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로