[논문]어텐션 기반 엔드투엔드 음성인식 시각화 분석

임성민; 구자현; 김회린

doi:10.13064/ksss.2019.11.1.041

어텐션 기반 엔드투엔드 음성인식 시각화 분석
Visual analysis of attention-based end-to-end speech recognition 원문보기

말소리와 음성과학 = Phonetics and speech sciences, v.11 no.1, 2019년, pp.41 - 49

임성민 (한국과학기술원 전기및전자공학부) , 구자현 (한국과학기술원 전기및전자공학부) , 김회린 (한국과학기술원 전기및전자공학부)

초록
AI-Helper

전통적인 음성인식 모델은 주로 음향 모델과 언어 모델을 사용하여 구현된다. 이때 음향 모델을 학습시키기 위해서는 음성 데이터에 대한 정답 텍스트뿐만 아니라 음성인식에 사용되는 단어의 발음사전과 프레임 단위의 음소 정답 데이터가 필요하다. 이 때문에 모델을 훈련하기 위해서는 먼저 프레임 단위의 정답을 생성하는 등의 여러 과정이 필요하다. 그리고 음향 모델과 별도의 텍스트 데이터로 훈련한 언어 모델을 적용하여야 한다. 이러한 불편함을 해결하기 위하여 최근에는 하나의 통합 신경망 모델로 이루어진 종단간(end-to-end) 음성인식 모델이 연구되고 있다. 이 모델은 훈련에 여러 과정이 필요없고 모델의 구조를 이해하기 쉽다는 장점이 있다. 하지만 인식이 내부적으로 어떤 과정을 거쳐 이루어지는지 알기 어렵다는 문제가 있다. 본 논문에서는 어텐션 기반 종단간 모델을 시각화 분석하여 내부적인 작동 원리를 이해하고자 하였다. 이를 위하여 BLSTM-HMM 하이브리드 음성인식 모델의 음향 모델과 종단간 음성인식 모델의 인코더를 비교하고, 신경망 레이어 별로 어떠한 차이가 있는지 분석하기 위해 t-SNE를 사용하여 시각화하였다. 그 결과로 음향모델과 종단간 모델 인코더의 차이점을 알 수 있었다. 또한 종단간 음성인식 모델의 디코더의 역할을 언어모델 관점에서 분석하고, 종단간 모델 디코더의 개선이 성능 향상을 위해 필수적임을 알 수 있었다.

Abstract ▼ AI-Helper

An end-to-end speech recognition model consisting of a single integrated neural network model was recently proposed. The end-to-end model does not need several training steps, and its structure is easy to understand. However, it is difficult to understand how the model recognizes speech internally. In this paper, we visualized and analyzed the attention-based end-to-end model to elucidate its internal mechanisms. We compared the acoustic model of the BLSTM-HMM hybrid model with the encoder of the end-to-end model, and visualized them using t-SNE to examine the difference between neural network layers. As a result, we were able to delineate the difference between the acoustic model and the end-to-end model encoder. Additionally, we analyzed the decoder of the end-to-end model from a language model perspective. Finally, we found that improving end-to-end model decoder is necessary to yield higher performance.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 attention 기반 종단간 음성 인식 시스템의 개선을 위한 시각화 분석을 진행하였고, 이를 통해 종단간 모델이 전통적인 방식의 하이브리드 모델과 어떻게 다르게 작동하는지 이해하고, 성능 개선을 위한 방향을 제안하였다. Librispeech 음성 DB로 훈련한 BLSTM-HMM 하이브리드 음성인식 모델의 음향 모델과 attention 기반 종단간 음성인식 모델의 인코더를 분석하기 위하여 각각의 BLSTM 레이어 출력을 t-SNE로 차원 축소 및 시각화하였다.
하이브리드 CTC attention 기반 종단간 음성 인식과 Tacotron2 기반의 종단간 음성 합성을 Chainer 및 Pytorch를 이용하여 구현할 수 있다. 본 논문에서는 각 툴킷에서 제공하는 Librispeech에 대한 recipe를 참고 하여 attention 기반 종단간 음성 인식 모델을 구현하였다.
모델의 작동 방식을 알지 못한다는 것은 그 모델에 대한 신뢰도와 관련된 문제이기 때문에, 설명 가능한 인공지능(explainable AI)에 대한 연구가 이루어져야 함을 Gunning(2017)은 주장하였다. 본 논문에서는 이러한 관점에서 종단간 음성인식 모델의 내부적인 작동 원리를 파악하여 문제를 해결하고, 나아가 종단간 음성인식 모델의 성능 향상을 위한 방향을 제시하기 위하여 분석을 진행하였다.
본 논문에서는 종단간 음성인식 모델의 시각화 분석을 진행하고, 분석 결과를 활용하여 성능 개선을 위한 방향을 제시한다. 앞서 기술한 바와 같이 종단간 음성인식 모델은 내부적으로 어떤 방식으로 음성 인식이 이루어지는지 알기 어렵다.
따라서 이러한 문제점들을 해결하기 위하여 종단간 음성인식 모델이 어떠한 방식으로 음성인식을 행하는지 그 방식을 이해하고, 이를 활용하여 효과적인 성능 개선을 위한 방향 제시가 필요하다. 본 논문에서는 종단간 음성인식 모델이 작동 방식을 이해하기 위해 시각화 분석을 진행할 것이고, 분석 결과를 전통적인 하이브리드 모델과 비교하며 종단간 음성인식 모델의 특징을 바탕으로 성능 향상을 위한 방향을 제시할 것이다.
신경망 모델에서 음성 인식에 사용하는 것은 최종 레이어의 출력이지만, 내부적으로 어떻게 음성인식을 수행하는지 이해하기 위해서는 하이브리드 모델과 종단간 모델의 BLSTM 신경망에서 레이어 별로 어떤 과정을 거쳐 인식이 이루어지는지 살펴봐야 한다. 이번 절에서는 수 개의 레이어 출력을 비교하여 각 레이어에서 어떤 정보를 활용하는지 알아보았다.
분석에 사용한 음성 인식 모델은 세 가지로, BLSTM-HMM 음향 모델을 사용한 하이브리드 모델, 8층의 인코더와 2층의 디코더 구조인 종단간 모델 A 그리고 4층의 인코더와 6층의 디코더를 가진 종단간 모델 B이다. 하이브리드 모델은 전통적인 음성 인식 구조를 가지고 있으며 종단간 모델 A와 B와의 비교를 통해 그 차이를 알아보고자 하였다. 하이브리드 모델은 Kaldi, 종단간 모델은 ESPnet 툴킷을 이용하여 구현하였다.

제안 방법

BLSTM-HMM 음향 모델과 종단간 모델 인코더의 시각화를 진행하기 위해 test-clean 데이터에서 특정 화자의 음성 모두를 활용하여 t-SNE를 훈련시키고 그 중 특정 문장만을 시각화하도록 했다. 그림 3에서부터 그림 6까지의 인식 문장은 동일 화자의 “oh that made him so angry”에 대하여 복문으로 t-SNE를 훈련시키고 분석한 결과이다.
이 방법은 재귀신경망을 이용해 음성 특징으로부터 바로 문자열을 추론해낸다. HMM과 유사하게 매 프레임마다 문자 사후확률을 추정하고, 이렇게 추정된 문자열이 최적의 경로를 갖도록 작동한다.
본 논문에서는 attention 기반 종단간 음성 인식 시스템의 개선을 위한 시각화 분석을 진행하였고, 이를 통해 종단간 모델이 전통적인 방식의 하이브리드 모델과 어떻게 다르게 작동하는지 이해하고, 성능 개선을 위한 방향을 제안하였다. Librispeech 음성 DB로 훈련한 BLSTM-HMM 하이브리드 음성인식 모델의 음향 모델과 attention 기반 종단간 음성인식 모델의 인코더를 분석하기 위하여 각각의 BLSTM 레이어 출력을 t-SNE로 차원 축소 및 시각화하였다. 그 결과 종단간 모델의 인코더는 앞뒤 문맥을 고려하는 경향이 더욱 강하며 묵음 구간에서 역시 그러한 경향이 있음을 확인하였다.
그리고 마지막 레이어는 71개의 음소를 이용하여 만든 5,992개의 트라이폰 HMM state에 대한 출력 노드를 가진다. 기타 조건은 Kaldi 툴킷에서 제공하는 Librispeech recipe 중 chain model을 구현하였다. Librispeech에서 제공하는 3-gram 언어모델을 사용하여 테스트 클린 음성에 대하여 인식 성능을 측정한 결과, 단어오류율 4.
디코더의 레이어별 차이를 정량적으로 분석하기 위하여 최근접 이웃 5-best 문장에서 기준 문자의 앞 문자가 원본 문자열과 몇 개까지 동일한지 통계적으로 조사해 보았다. 종단간 모델 B를 이용하여 총 79개 문장 9,566개 문자 토큰에 대하여 조사하였고, 그 결과는 표 2와 같다.
앞서 설명한 전통적인 음성 인식에서는 훈련을 위해 별도로 발음 사전을 준비해야 하고, 프레임의 정답 음소를 만들기 위한 여러 단계를 거쳐 음향 모델을 훈련시킨다. 또한 음향 모델과 발음 사전 그리고 별도로 훈련된 언어 모델을 결합하기 위해 weighted finite-state transducers(WFST)를 사용하여 가장 확률이 높은 경로를 찾아 최종적으로 음성을 인식하게 된다. 이러한 과정은 번거로울 뿐 아니라 각각의 역할을 이해하기 위해 음성 인식에 대한 사전 지식을 필요로 한다.
이러한 음성인식이 이루어지는 과정은 다음과 같다. 먼저 기기가 사람의 음성을 입력으로 받고, 기기 내부에서 이미 훈련되어있는 음성인식 모델을 사용하여 입력 음성을 인식하고 텍스트로 변환한다. 이렇게 변환된 텍스트를 최종 출력으로 가지게 된다.
LibriVox 영어 오디오북의 음성 데이터로 이루어졌으며, 음성 분량은 train-clean 460시간과 train-other 500시간, testclean 5시간과 test-other 5시간의 음성 분량을 가지고 있다. 본 연구에서는 음성 인식 모델 훈련에 train-clean과 train-other의 960시간 분량을 모두 사용하였고, 시각화 분석에는 test-clean의 음성을 인식한 결과를 사용하였다. Librispeech는 16 kHz의 샘플링 레이트와 16 bit 심도를 가진 flac 무손실 압축 음성으로 이루어져 있다.
그리고 아포스트로피를 제외한 기호는 삭제하고, 마지막으로 문장의 마지막에는 문장의 끝(end of sentence)을 뜻하는 “[eos]” 토큰을 삽입한다. 이렇게 생성된 토큰 형태의 문장을 정답으로 하여 종단간 음성 인식 모델의 훈련에 사용하고, 인식 결과로 생성된 토큰 형태의 문장을 규칙에 따라 역변환하여 타겟 문장과 비교한다.
디코더의 레이어별 차이를 정량적으로 분석하기 위하여 최근접 이웃 5-best 문장에서 기준 문자의 앞 문자가 원본 문자열과 몇 개까지 동일한지 통계적으로 조사해 보았다. 종단간 모델 B를 이용하여 총 79개 문장 9,566개 문자 토큰에 대하여 조사하였고, 그 결과는 표 2와 같다.
종단간 모델의 디코더는 언어 모델 관점에서 그 역할을 얼마나 수행하는지 알아보기 위해 인식된 문장의 디코더 각 레이어의 출력을 최근접 이웃 탐색을 통해 다른 문장의 디코더 출력과 비교해 보았다. 이를 통해 문자가 속한 단어와 최대 앞의 1개 단어까지 모델링이 이루어지는 점과 평균적으로 기준 문자의 앞 2개 문자에 대하여 모델링이 이루어진다는 점을 확인할 수 있었다.
입력 음성이 특징 추출(feature extraction), 음향 모델(acoustic model) 그리고 언어 모델(language model)을 거쳐 최종적으로 단어열로 인식하게 된다. 특징 추출에서는 입력 음성을 짧은 시간 단위인 프레임(frame)으로 자르고 매 프레임마다 mel-frequency cepstral coefficients(MFCC), 필터 뱅크(filter bank) 등의 방법을 이용하여 수십 차원의 특징 벡터를 추출하여 음향 모델에 넘겨준다. 음향 모델은 입력으로 받은 특징 벡터를 음소(phoneme)로 인식하는 역할을 한다.

대상 데이터

(2015)이 발표한 Libri- speech이다. LibriVox 영어 오디오북의 음성 데이터로 이루어졌으며, 음성 분량은 train-clean 460시간과 train-other 500시간, testclean 5시간과 test-other 5시간의 음성 분량을 가지고 있다. 본 연구에서는 음성 인식 모델 훈련에 train-clean과 train-other의 960시간 분량을 모두 사용하였고, 시각화 분석에는 test-clean의 음성을 인식한 결과를 사용하였다.
Attention 메커니즘은 location-aware 알고리즘을 사용하였으며 window 크기는 5 프레임, 채널 크기는 10, 합성곱 필터 크기는 100 그리고 320차의 투영 벡터로 구성하였다. 디코더로 2층의 uni-directional LSTM을 사용하였고 각 레이어는 320차의 투영 벡터를 출력으로 한다. 최종 레이어에서는 30개의 문자 토큰(A-Z, ‘, blank, unk, eos, _)을 인식하도록 설정하였다.
본 연구에서 하이브리드 음성 인식 모델을 구성하는데 사용한 툴킷(toolkit)은 Kaldi이며, 종단간 음성 인식 모델을 구성하는데 사용한 툴킷은 ESPNet이다. 본 연구는 Nvidia GTX1080Ti 4개와 Xeon E5 2620 v4를 가진 Ubuntu 16.04 환경의 서버에서 진행하였다.
본 연구에서 하이브리드 음성 인식 모델을 구성하는데 사용한 툴킷(toolkit)은 Kaldi이며, 종단간 음성 인식 모델을 구성하는데 사용한 툴킷은 ESPNet이다. 본 연구는 Nvidia GTX1080Ti 4개와 Xeon E5 2620 v4를 가진 Ubuntu 16.
분석에 사용한 음성 인식 모델은 세 가지로, BLSTM-HMM 음향 모델을 사용한 하이브리드 모델, 8층의 인코더와 2층의 디코더 구조인 종단간 모델 A 그리고 4층의 인코더와 6층의 디코더를 가진 종단간 모델 B이다. 하이브리드 모델은 전통적인 음성 인식 구조를 가지고 있으며 종단간 모델 A와 B와의 비교를 통해 그 차이를 알아보고자 하였다.
실험에 사용한 데이터는 Panayotov et al.(2015)이 발표한 Libri- speech이다.
Librispeech는 16 kHz의 샘플링 레이트와 16 bit 심도를 가진 flac 무손실 압축 음성으로 이루어져 있다. 제공되는 언어 모델은 Project Gutenberg books에서 총 14,500권의 텍스트 분량을 사용하여 훈련되었으며, 3-gram에서 170의 perplexity와 0.4% 정도의 out of vocabulary를 가진다. 본 연구에서 하이브리드 음성 인식 모델의 성능 측정은 제공된 3-gram 언어모델을 기준으로 진행하였다.
종단간 모델 A는 인코더로 8층의 Bi-directional LSTM을 사용하였고 각 레이어는 320차의 투영 벡터를 출력으로 한다. Attention 메커니즘은 location-aware 알고리즘을 사용하였으며 window 크기는 5 프레임, 채널 크기는 10, 합성곱 필터 크기는 100 그리고 320차의 투영 벡터로 구성하였다.

이론/모형

종단간 모델 A는 인코더로 8층의 Bi-directional LSTM을 사용하였고 각 레이어는 320차의 투영 벡터를 출력으로 한다. Attention 메커니즘은 location-aware 알고리즘을 사용하였으며 window 크기는 5 프레임, 채널 크기는 10, 합성곱 필터 크기는 100 그리고 320차의 투영 벡터로 구성하였다. 디코더로 2층의 uni-directional LSTM을 사용하였고 각 레이어는 320차의 투영 벡터를 출력으로 한다.
음향 모델은 입력으로 받은 특징 벡터를 음소(phoneme)로 인식하는 역할을 한다. 고전적으로 음향 모델은 가우시안 혼합 모델 기반 은식 마르코프 모델(Gaussian mixture model based hidden Markov model, GMM-HMM) 등을 사용한다. 음향 모델이 입력 음성으로부터 음소열을 인식한 후에는, 언어 모델이 음소열을 단어열로 변환하는 역할을 수행한다.
두 번째로 특정 프레임이 어떤 음소에 해당하는지 알기 위하여 BLSTM-HMM 하이브리드 모델을 사용하여 강제 정렬(forced alignment)을 수행하였다. 이를 통해 음성의 특정 프레임이 어떠한 음소에 해당하는지 음소 정렬 정보를 얻을 수 있다.
이렇게 고차원 데이터 세트를 차원 축소하는 방법으로 몇 가지 방법이 연구되었다. 본 논문에서는 그 중 데이터의 군집 정도에 대한 분석에 특화된 차원 축소 방법인 t-distributed stochastic neighbor embedding(t-SNE)을 사용하였다.
4% 정도의 out of vocabulary를 가진다. 본 연구에서 하이브리드 음성 인식 모델의 성능 측정은 제공된 3-gram 언어모델을 기준으로 진행하였다.
종단간 음성인식 모델은 location-aware attention 메커니즘을 사용하는 seq2seq 모델을 바탕으로 구현하였고, 그 구조는 그림 1과 같다
하이브리드 모델은 전통적인 음성 인식 구조를 가지고 있으며 종단간 모델 A와 B와의 비교를 통해 그 차이를 알아보고자 하였다. 하이브리드 모델은 Kaldi, 종단간 모델은 ESPnet 툴킷을 이용하여 구현하였다.

성능/효과

기타 조건은 Kaldi 툴킷에서 제공하는 Librispeech recipe 중 chain model을 구현하였다. Librispeech에서 제공하는 3-gram 언어모델을 사용하여 테스트 클린 음성에 대하여 인식 성능을 측정한 결과, 단어오류율 4.23%와 문장오류율 43.4%를 얻을 수 있었다.
결론적으로, 종단간 모델은 전통적인 음성 인식 모델과 다르게 작동함을 알 수 있었으며, 종단간 모델의 인코더가 앞뒤 문맥을 모델링하여 인식을 진행한다는 점을 확인할 수 있었다. 또한 종단간 모델의 디코더가 언어 모델링에서 부족함을 확인하고 이에 대한 성능 개선 방안으로 디코더의 구조 변경 또는 언어 모델링 향상을 위한 텍스트 데이터 훈련 방법이 필요함을 제시하였다.
종단간 모델 A는 BLSTM 인코더 8층에 LSTM 디코더 2층을 사용하는 반면 종단간 모델 B는 BLSTM 인코더 4층에 LSTM 디코더 6층을 사용한다는 차이가 있다. 그 결과 인코더의 레이어 수가 감소하고 디코더 레이어 수가 증가한 종단간 모델 B에서 인식 성능이 저하되었음을 알 수 있다.
Librispeech 음성 DB로 훈련한 BLSTM-HMM 하이브리드 음성인식 모델의 음향 모델과 attention 기반 종단간 음성인식 모델의 인코더를 분석하기 위하여 각각의 BLSTM 레이어 출력을 t-SNE로 차원 축소 및 시각화하였다. 그 결과 종단간 모델의 인코더는 앞뒤 문맥을 고려하는 경향이 더욱 강하며 묵음 구간에서 역시 그러한 경향이 있음을 확인하였다.
종단간 모델의 디코더는 언어 모델 관점에서 그 역할을 얼마나 수행하는지 알아보기 위해 인식된 문장의 디코더 각 레이어의 출력을 최근접 이웃 탐색을 통해 다른 문장의 디코더 출력과 비교해 보았다. 이를 통해 문자가 속한 단어와 최대 앞의 1개 단어까지 모델링이 이루어지는 점과 평균적으로 기준 문자의 앞 2개 문자에 대하여 모델링이 이루어진다는 점을 확인할 수 있었다.
이렇게 비슷한 음소끼리 뭉치는 모습은 3층 레이어에서도 나타난다. 이를 통해 종단간 모델의 인코더가 저층 레이어부터 중간층 레이어까지 음소 단위로 모델링을 한다는 것을 확인할 수 있다. 하지만 8층 레이어의 그래프를 보면 음소 단위와 관계없이 뭉치는 것을 알 수 있다.

후속연구

따라서 인코더 개선을 위해 신경망 구조를 변경한다면, 전후 프레임 정보를 넓게 활용할 수 있는 재귀적 신경망이나 합성곱 신경망과 같은 구조를 사용하는 방향이 성능 개선에 도움이 될 수 있을 것이다.
또는 LSTM 신경망의 구조가 모델링에 적합하지 않을 수 있다. 따라서 종단간 음성인식 모델의 성능 향상을 위해 디코더가 더 많은 텍스트 데이터를 학습하도록 구조를 변경하거나 언어모델을 추가적으로 사용하여 인코더의 정보를 효율적으로 사용하여야 할 것이다.
따라서 인코더 개선을 위해 신경망 구조를 변경한다면, 전후 프레임 정보를 넓게 활용할 수 있는 재귀적 신경망이나 합성곱 신경망과 같은 구조를 사용하는 방향이 성능 개선에 도움이 될 수 있을 것이다. 또한 인코더의 문맥 모델링 특성을 효율적으로 활용한다면 성능 개선에 도움이 될 수 있을 것이다.
결론적으로, 종단간 모델은 전통적인 음성 인식 모델과 다르게 작동함을 알 수 있었으며, 종단간 모델의 인코더가 앞뒤 문맥을 모델링하여 인식을 진행한다는 점을 확인할 수 있었다. 또한 종단간 모델의 디코더가 언어 모델링에서 부족함을 확인하고 이에 대한 성능 개선 방안으로 디코더의 구조 변경 또는 언어 모델링 향상을 위한 텍스트 데이터 훈련 방법이 필요함을 제시하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음성인식이 이루어지는 과정은 어떻게 되는가?	이러한 음성인식이 이루어지는 과정은 다음과 같다. 먼저 기기가 사람의 음성을 입력으로 받고, 기기 내부에서 이미 훈련되어있는 음성인식 모델을 사용하여 입력 음성을 인식하고 텍스트로 변환한다. 이렇게 변환된 텍스트를 최종 출력으로 가지게 된다. 이때 사용하는 음성 인식 모델은 다양한 구조를 가질 수 있지만, 가장 널리 사용되는 구조는 다음과 같다.
	음성인식이란 무엇인가?	음성인식(automatic speech recognition)이란 입력으로 사람의 음성을 받아 어떤 대사를 말하였는지 인식하여 텍스트로 변환하고 이를 출력하는 것이다. 음성인식은 스마트폰에서부터 에어컨, 냉장고 그리고 AI 스피커에서 찾아볼 수 있다.
	음성인식 기술의 중요성은 무엇인가?	음성인식은 스마트폰에서부터 에어컨, 냉장고 그리고 AI 스피커에서 찾아볼 수 있다. 이렇듯 음성인식 기술은 단순히 음성 명령으로 기기를 조종하는 것에서 나아가 인공지능이 사람과 음성 대화를 나누기 위하여 필수적인 모듈로써 그 중요성이 높아지고 있다. 이러한 음성인식이 이루어지는 과정은 다음과 같다.

참고문헌 (15)

Abdel-Hamid, O., Mohamed, A. R., Jiang, H., & Penn, G. (2012, March). Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition. Proceedings of the 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 4277-4280).
Chan, W., Jaitly, N., Le, Q., & Vinyals, O. (2016, March). Listen, attend and spell: A neural network for large vocabulary conversational speech recognition. Proceedings of the 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 4960-4964).
Chorowski, J., Bahdanau, D., Cho, K., & Bengio, Y. (2014). End-to-end continuous speech recognition using attention-based recurrent NN: First results [Computing Research Repository]. Retrieved from http://arxiv.org/abs/1412.1602
Dayhoff, J. E., & DeLeo, J. M. (2001). Artificial neural networks: Opening the black box. Cancer: Interdisciplinary International Journal of the American Cancer Society, 91(S8), 1615-1635.
Graves, A., Fernandez, S., Gomez, F., & Schmidhuber, J. (2006, June). Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks. Proceedings of the 23rd International Conference on Machine Learning (pp. 369-376).
Graves, A., Mohamed, A. R., & Hinton, G. (2013, May). Speech recognition with deep recurrent neural networks. Proceedings of the 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 6645-6649).
Gunning, D. (2017). Explainable artificial intelligence (XAI). Defense Advanced Research Projects Agency (DARPA).
Hinton, G., Deng, L., Yu, D., Dahl, G., Mohamed, A. R., Jaitly, N., Senior, A., ... Kingsbury, B. (2012). Deep neural networks for acoustic modeling in speech recognition. IEEE Signal Processing Magazine, 29(6), 82-97.
LeCun, Y., Cortes, C., & Burges, C. J. C. (1998). The MNIST database of handwritten digits. Retrieved from http://yann.lecun.com/exdb/mnist
Miao, Y., Gowayyed, M., & Metze, F. (2015, October). EESEN: End-to-end speech recognition using deep RNN models and WFST-based decoding. Proceedings of the 2015 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU) (pp. 167-174).
Mikolov, T., Karafiat, M., Burget, L., Cernocky, J., & Khudanpur, S. (2010). Recurrent neural network based language model. Proceedings of the 11th Annual Conference of the International Speech Communication Association (pp. 1045-1048).
Panayotov, V., Chen, G., Povey, D., & Khudanpur, S. (2015, April). Librispeech: An ASR corpus based on public domain audio books. Proceedings of the 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 5206-5210).
Sriram, A., Jun, H., Satheesh, S., & Coates, A. (2017). Cold fusion: Training seq2seq models together with language models [Computing Research Repository]. Retrieved from http://arxiv.org/abs/1708.06426
Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Proceedings of the Advances in Neural Information Processing Systems (pp. 3104-3112).
Watanabe, S., Hori, T., Karita, S., Hayashi, T., Nishitoba, J., Unno, Y., Enrique Yalta Soplin, N., ... Ochiai, T. (2018). ESPnet: End-to-End Speech Processing Toolkit [Computing Research Repository]. Retrieved from http://arxiv.org/abs/1804.00015

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

어텐션 기반 엔드투엔드 음성인식 시각화 분석
Visual analysis of attention-based end-to-end speech recognition 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

어텐션 기반 엔드투엔드 음성인식 시각화 분석 Visual analysis of attention-based end-to-end speech recognition 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

구자현 (2)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

어텐션 기반 엔드투엔드 음성인식 시각화 분석
Visual analysis of attention-based end-to-end speech recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper