초록 ▼

□ 연구개요
최근 음성 인터페이스를 활용한 음성 비서 및 AI 기능이 큰 관심을 끌기 시작하면서 음성 합성 시스템에 대한 수요가 나날이 증가하고 있다. 하지만 아직 합성음이 인간의 발성처럼 자연스럽지 않다는 문제를 가지고 있다. 현재 waveform 기반 음성 합성 기술로 합성한 영어와 중국어 합성음 음질이 좋은 것으로 알려져 있지만 waveform 기반 음성 합성 기술의 특성상 합성하고자 하는 언어에 대한 초대용량 데이터베이스를 구축해야 한다. 그렇기 때문에 데이터베이스 수집이 가능한 기업이나 연구소에서 주로 음성 합성 연구

□ 연구개요
최근 음성 인터페이스를 활용한 음성 비서 및 AI 기능이 큰 관심을 끌기 시작하면서 음성 합성 시스템에 대한 수요가 나날이 증가하고 있다. 하지만 아직 합성음이 인간의 발성처럼 자연스럽지 않다는 문제를 가지고 있다. 현재 waveform 기반 음성 합성 기술로 합성한 영어와 중국어 합성음 음질이 좋은 것으로 알려져 있지만 waveform 기반 음성 합성 기술의 특성상 합성하고자 하는 언어에 대한 초대용량 데이터베이스를 구축해야 한다. 그렇기 때문에 데이터베이스 수집이 가능한 기업이나 연구소에서 주로 음성 합성 연구가 진행되고있다. 본 연구에서는 일차적으로 음성 합성의 가장 최신 기술인 waveform 기반 음성 합성 원천 기술을 확보한 후 waveform 기반 음성 기술이 가지고 있는 big data 의존성 문제를 완화하고자 전이 학습(Transfer learning)을 적용한 소용량 데이터베이스 waveform 기반 한국어 음성 합성기를 개발하고 그 프로토타입을 국내 대학에 공개함으로써 위축되어 있는 대학 연구실에서의 음성 합성 기술 연구 활성화에 기여하는 것을 목표로 한다.

□ 연구 목표대비 연구결과
본 과제의 최종 연구목표는 크게 5가지로 나뉜다. 먼저 1차년도에는 LSTM-RNN 기반 음성 합성기 구축 및 acoustic feature 개발을 진행하였고 기존의 널리 사용되던 WORLD 보코더의 acoustic feature에 비해 우수한 성능을 확보하였다. 다음으로는 LSTM-RNN 기반 음성 합성기를 최적화하기 위해 시간축에서의 정적인 정보와 동적인 정보를 동시에 반영하는 방법을 제안하였고 이를 바탕으로 대표적 연구실적 1에 해당하는 논문을 게재하였다. 세 번째로 소용량 데이터 활용을 위한 style embedding 기반 waveform 음성 합성 시스템 구축을 위해 대표적인 심층 신경망 기반 합성 모델인 deep voice[]의 decoder에 multi-attention layer를 추가하였다. 그 결과 합성음의 음절이 중간이 누락되거나 추가는 현상이 기존 방법에 비해 줄어들었다. 네 번째로는 소용량 한국어 데이터베이스만으로는 뉴럴 보코더의 학습이 되지않아 사람이 알아듣기 어려운 합성음이 생성되기 때문에 공개된 대용량 데이터베이스인 LJ speech에 대해 훈련된 모델을 전이학습해 한국어 합성 보코더를 훈련하여 최종 한국어 합성음을 생성하였다. 마지막으로는 위 내용중 소용량 데이터 베이스 활용을 위한 style embedding기반 시스템을 정리하여 연구 목표에 해당하는 github에 업로드하였다.

□ 연구개발결과의 중요성
심층 신경망 기반 음성 합성 시스템 훈련을 위해서는 24시간 이상의 고품질 음성데이터베이스가 필요한 것으로 알려져있다. 그렇기 때문에 대학교 연구실 수준의 소규모 연구기관에서는 데이터베이스 부족으로 인해 음성 합성 연구를 시작하기 어렵다. 본 과제에서는 위 어려움을 완화하기 위해 최종적으로 소용량 데이터베이스를 이용한 합성 연구를 진행하였다.
해마다 음성 합성에 대한 관심도가 높아지고 있고 이에 따라 음색 변환이나 감정표현 등 다양한 방향의 연구 수요가 생기고있는 추세이다. 본 과제에서 진행한 소용량 데이터베이스를 위한 음성 합성 연구의 경우 대규모 연구기관에서도 대용량 데이터 수집이 어려운 음색, 감정 연구 등에서도 적용이 가능할 것으로 보인다.

(출처 : 연구결과 요약문 3p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 3
• 목차 ... 4
• 1. 연구개발과제의 개요 ... 5
• 2. 연구수행내용 및 연구결과 ... 9
• - 1차년도 연구수행내용 및 연구결과 ... 9
• - 2차년도 연구수행내용 및 연구결과 ... 13
• - 3차년도 연구수행내용 및 연구결과 ... 15
• 3. 연구개발결과의 중요성 ... 19
• 가. 산업적 측면 ... 19
• 나. 기술적 측면 ... 19
• 4. 참고문헌 ... 20
• 5. 연구성과 ... 20
• 대표적 연구실적 ... 21
• 끝페이지 ... 26