초록 ▼

연구개발 목표 및 내용
최종 목표
※ 대용량 데이터베이스로 구축된 모델을 사용하여 소용량의 데이터베이스가 주어졌을 때 화자의 감정 및 운율 복제 가능한 다화자 고품질이 가능한 종단형 실시간 음성 합성 시스템인 SMART-TTS를 개발함
※ 개발한 SW와 데이터를 공개하여 소용량을 이용한 다화자 감정 운율 음성합성에 대한 국가적인 원천기술의 경쟁력을 끌어올리고, 세계적인 연구자들과의 대등한 경쟁을 넘어서 음성합성기반 인공지능 기술발전에 기여하는 것을 목표로 함

전체 내용
① SMART-TTS 학습과

연구개발 목표 및 내용
최종 목표
※ 대용량 데이터베이스로 구축된 모델을 사용하여 소용량의 데이터베이스가 주어졌을 때 화자의 감정 및 운율 복제 가능한 다화자 고품질이 가능한 종단형 실시간 음성 합성 시스템인 SMART-TTS를 개발함
※ 개발한 SW와 데이터를 공개하여 소용량을 이용한 다화자 감정 운율 음성합성에 대한 국가적인 원천기술의 경쟁력을 끌어올리고, 세계적인 연구자들과의 대등한 경쟁을 넘어서 음성합성기반 인공지능 기술발전에 기여하는 것을 목표로 함

전체 내용
① SMART-TTS 학습과 테스트를 위한 대용량 및 소용량 감정 음성 합성 데이터베이스 구축
- S(mall), M(uliti-speaker), Advanced, R(eal-time), end-To-end TTS(Text-to-Speech) 시스템 타겟
- 텍스트 데이터베이스 구축 (총 387,000문장 규모)
- 대용량 데이터베이스 구축 (8화자, 24시간/화자별), 소용량 데이터베이스 (500화자, 총 95시간 규모)
② Small data(소용량 데이터)를 활용한 적응 가능한 Multi-speaker(다화자), Multi-emotion(다감정), 운율 복제 음성 합성 시스템 개발
- 6종 이상의 지정 감정 (normal, fear, joy, sad, angry, surprise) 복제 및 제어 기능
- 5단계 이상의 속도 복제 및 제어 기능 (Largo/매우 느림, Adagio/느림, Moderato/보통, Allegro/빠름, Presto/매우 빠름)
- 10명 이상의 다화자 복제 및 제어 기능
③ 대용량 데이터를 활용한 Advanced(우수한) 고품질 다감정, 운율 복제 end-To-end(종단형) 음성 합성 시스템 개발
- 자연스러운 대화수준의 고품질의 우수한 음성 생성
- 문장에서 영어 표현 감지 및 한글 발음 변환 기능
- 학습데이터 대비 9배 이상의 긴 문장 합성음 생성 기능
④ Real-time(실시간) 다감정 종단형 음성 합성 모델 개발
- 서버 및 on device 향 고품질 실시간 저전력 연산 기능
- 서버 및 on device 향 고품질 단일 / 다화자 실시간 동작 기능

연구개발성과
연구개발성과
① 데이터베이스 구축
- 텍스트 DB
: 무감정 9,931 문장, 감정 145,109 문장, 총 155,040 문장 수집 / 총 16 대분류 감정 및 179 세부분류 감정 정의
- 대용량 음성 DB
: 성우 8명 : 감정+무감정 포함 총 151,683 문장 음성 수집
- 소용량 DB
: 일반인 501명 : 감정+무감정 총 80,160 문장 음성 수집
- 정부출연금으로 구축한 DB 공개
: 온라인 오픈 데이터베이스 / 한국방송작가 협회와의 지속적 협의를 통한 저작권 문제 완전한 해결 (AI허브를 통해 공개 예정)
② 알고리즘
- 다화자, 감정, 운율 복제 알고리즘
: 6종 이상 감정 복제 및 제어 기능
: 5단계 이상 발성속도 제어 기능
: 단일화자 합성음 품질 4.65(MOS) / 다화자 음성 합성음 품질 4.24(MOS) 달성
: 단일화자 레퍼런스 대비 운율 유사도 2.38(CMOS) / 다화자 레퍼런스 대비 운율 유사도 1.20(CMOS) 달성
: 단일화자 보코더 음질 4.67(MOS) / 다화자 보코더 음질 4.69(MOS) 달성
: 스타일 표현문장에 따른 감정운율 합성음 품질 4.57(MOS) 달성
- 실시간 종단형 음성합성 알고리즘
: 종단형 서버향 모델 연산속도 72.7(xRT) 달성
: 종단형 on device향 모델 연산속도 52.1(xRT) 달성
: 서버향 신경망 보코더 26.0(xRT) 달성
- 딥러닝 기반의 한/영 code-mixed G2P 변환 알고리즘
: 영어의 한글 발음 변환 정확도 0.065(CED) 달성
: 영어 표현들의 감지 정확도 0.911(F1 score) 달성
③ 공개 SW

연구개발성과 활용계획 및 기대 효과
활용계획 및 기대효과
① 기술개발 결과의 활용 방안
- 핵심 기술 및 데이터의 공개SW화
- 데이터 효율적 음성 합성을 통한 엔터테인먼트
- 사회적 소외 계층을 위한 보조적인 AI 설계
- 상담 및 내래이션 자동화를 통한 서비스 인력 보조
- 다양한 음성 데이터 확보를 통한 보편적, 공익적 AI 구축
- 인공지능 서비스 답변 고도화 가능
② 기대효과
- 기술적 측면 : 감정운율을 제어하는 대화형 음성합성 원천기술 확보
- 산업적 측면 : 음성 AI 기술을 이용하는 국내외 산업의 발전 및 경쟁력 강화
- 경제적 측면 : 막대한 데이터 수집 및 공개를 통한 국가적 리소스 낭비 방지 및 음성합성 응용시장의 확대
- 학술적 측면 : 연구논문 저명 학술지 및 학술대회 게재를 통한 음성합성 분야 학술진흥
- 인력양성 측면 : 음성합성 및 인공지능 분야 핵심인력양성 및 산업계 배출
③ 공개 SW 전략 (정부출연금으로 구축한 DB 전부 공개)
- 공개SW 라이선스 GNU General Public License v3.0(GPL 3.0) 및 CC 라이선스 중 BY-NC(저작자표시-비영리) 선정
- SW documentation 정리 및 오픈 공유
- 모든 소스코드 수정사항 커미트를 통해 공유
- 커뮤니티 활성화 및 논문 게재시 저장소 링크 공유를 통한 국제적 홍보
- 커뮤니티에 제기된 이슈들에 대한 충실한 답변 및 반영사항 커미트를 통해 공유
- SW 공개 페이지를 4개의 submodule로 나누어 각각 저장소를 오픈
④ 공개 SW 활성화 방안
- 공개 SW 실행 가이드 및 명령어 공개
- 참여 연구원의 커미트와 이슈 해결 등 성과 반영한 연구수당 지급을 통한 커뮤니티 활성도 증진
- SCI급 논문 및 우수 컨퍼런스에 논문 개제시 저장소 링크 첨부를 통한 커뮤니티 홍보 유도
- 국내외 AI 관련 SNS 커뮤니티에 저장소 홍보 및 개발 현황 업데이트를 통한 개발자 참여 유도

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 10
• 2-1. 연구개발과제의 최종 목표 ... 10
• 2-2. 연구개발과제의 연구 내용 ... 11
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 31
• 4. 목표 미달 또는 미흡한 사항에 대한 분석 ... 37
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 37
• 6. 연구개발성과의 관리 및 활용 계획 ... 38
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 40
• 8. 연구개발비 사용실적 ... 41
• 8-1. 연구개발비 총괄표 ... 41
• 8-2. 수행기관별 연구개발비 비목별 사용실적 ... 42
• 붙임 1. 자체 보안관리 진단표 ... 45
• 붙임 2. 공개 SW 요약서 ... 46
• 끝페이지 ... 48