초록 ▼

□ 연구의 목적 및 내용
○ 전자책의 텍스트로부터 문맥을 고려하여 각 문장의 감정과 발화자를 인식하는 기술 개발
○ 특정 화자의 음성특징(개성, 감정 등)이 표현된 음성합성/변환 기술의 개발
○ 언어모델과 음성합성을 이용한 오디오북 시범 콘텐츠 제작 및 시범서비스를 통한 실증
○ 오디오북 시범 콘텐츠 제작(5장르, 각 10권) 및 사용자 만족도 MOS 4.0/5.0 (Likert 척도) 달성

□ 연구 개발 성과
○ 오디오북을 위한 언어모델 기반의 문장별 음성특징 추출 및 책 추천 기술 개발

□ 연구의 목적 및 내용
○ 전자책의 텍스트로부터 문맥을 고려하여 각 문장의 감정과 발화자를 인식하는 기술 개발
○ 특정 화자의 음성특징(개성, 감정 등)이 표현된 음성합성/변환 기술의 개발
○ 언어모델과 음성합성을 이용한 오디오북 시범 콘텐츠 제작 및 시범서비스를 통한 실증
○ 오디오북 시범 콘텐츠 제작(5장르, 각 10권) 및 사용자 만족도 MOS 4.0/5.0 (Likert 척도) 달성

□ 연구 개발 성과
○ 오디오북을 위한 언어모델 기반의 문장별 음성특징 추출 및 책 추천 기술 개발
• 문장들의 문맥을 이해하여 대화체에서 발화자를 생성 및 구분
• 문맥의 이해를 통한 문장의 감정 및 선호도 분류
• 오디오북을 위한 음성특징(화자특성, 감정 등)의 효과적 태깅을 위한 마크업 언어 표현정의 및 처리기 개발
• 딥러닝 기반 대화 생성 엔진과 시나리오 기반 챗 선택의 하이드리드타입 사용자인터페이스 (chatbot)
○ 다양한 음성특징(감정, 화자)을 표현하는 실시간 음성합성(TTS)/변환 기술 개발
• 텍스트와 음성 데이터의 학습을 통한 한국어 음성모델을 Tacotron2 기반으로 설계하여 학습성능을 향상
• 다수 화자와 감정에 따른 음성특징을 표현하는 내재(은닉) 변수의 자율학습 기술 적용
• 내재변수를 활용하여 다양한 음성을 생성/변환하는 효율적 신경망 구조 및 학습법칙 적용
• 상용화 가능한 수준의 합성음성 품질 향상
• 발음명료성이 향상된 감정 및 화자 스타일을 변환하는 음성변환기 개발
• 딥러닝 기반 음성 합성/변환 기술의 실시간화
○ 오디오북 제작을 위한 음성 및 텍스트 데이터베이스 구축 및 공개
• 오디오북 제작을 위한 eBook 텍스트 마크업 데이터베이스 구축
• 오디오북 음성합성 학습용 음성 및 텍스트 데이터베이스 구축 및 공개
• 감정표현 스타일에 대한 태그를 가진 음성 데이터베이스 구축
○ 오디오북 시범 서비스 및 실증
• 오디오북 사용자의 편리성을 위한 대화형 인터페이스(chatbot)
• 오디오북 제작자의 편리성을 위한 인터페이스 및 플랫폼 SW
• 효율적인 오디오북 제작을 위한 제작자 software platform 개발
• 1차 연도: 음성녹음과 음성합성 통한 시범 오디오북 제작 24권(5장르)
• 2차 연도: 완성된 음성합성SW를 통해 총 44권(5장르)의 시범 오디오북 제작.
• 시중 오디오북 수준의 시범 오디오북 만족도 달성
○ 다감정다화자 음성합성기 및 화자음성변환기의 코드와 모델 공개

□ 연구 개발 성과의 활용 계획 (기대 효과)
○ 다양한 전자북으로부터 쉽고 싸게 성우의 도움없이도 감정이 표현된 오디오북의 제작에 활용하여, 다양한 eBook 및 AudioBook 서비스 업체에서 서비스
○ 운전 중이나 시각장애인이 쉽게 책을 읽을 수 있도록 모든 전자책에 활용기능.
○ 딥러닝 기반한 자연어 처리 및 이해 기술은 스마트 홈, 로봇산업, 지능형 자동차 등 다양한 분야에서 활용될 수 있는 원천 기술임
○ 자율지능 디지털 동반자가 사용자의 감정과 맥락을 고려한 커뮤니케이션을 통해 자연스러운 인터랙션에 활용 가능.
○ 개인 사용자가 아닌 기업 수준에서도 다양한 음성 컨텐츠를 제작할수 있도록 오디오북 제작자 인터페이스를 제공할 예정.
○ 발화자가 없는 녹취록, 회의록에 발화자 및 감정 태깅에 활용 가능함
○ 딥러닝 기반의 챗봇이 사용자의 의도파악하는 다양한 복합 서비스에 적용할 수 있는 기술로 콜센터, 음식점, VoC에서 자연스러운 대화 응대에 활용 가능


(출처 : 요약문 2p)