초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
인공지능 음성합성 기술과 얼굴 애니메이션 생성 기술을 결합한 아바타 기반의 인터렉티브 음성 합성 시스템 개발
- 한국어/영어 VisemeNET 모델
* 입력 : 학습 데이터
* 출력 : VisemeNET 모델
- 한국어/영어 VisemeNET 기반 얼굴 모션 애니메이션 생성 시스템
* 탑재 : 학습된 VisemeNET 모델
* 입력 : 음성 데이터
* 출력 : 음성에 맞는 얼굴 애니메이션

◼ 전체 내용
o 기술융합 도식

□ 연구개발 목표 및 내용
◼ 최종 목표
인공지능 음성합성 기술과 얼굴 애니메이션 생성 기술을 결합한 아바타 기반의 인터렉티브 음성 합성 시스템 개발
- 한국어/영어 VisemeNET 모델
* 입력 : 학습 데이터
* 출력 : VisemeNET 모델
- 한국어/영어 VisemeNET 기반 얼굴 모션 애니메이션 생성 시스템
* 탑재 : 학습된 VisemeNET 모델
* 입력 : 음성 데이터
* 출력 : 음성에 맞는 얼굴 애니메이션

◼ 전체 내용
o 기술융합 도식
o 음성 및 영상 AI 기술의 융합
* 주관기관은 음성인식 및 음성합성, 대화 챗봇 엔진 등 다양한 AI 기술 사업화를 진행 중임.
* 음성 기술은 기본적으로 얼굴이 있는 캐릭터 또는 아바타와 잘 접목되는데, 당사에서는 영상 AI 모델링 기술 미보유
*공동연구기관의 경쟁력 있는 영상 AI 기술을 활용한 얼굴 애니메이션 생성 개발은 주관연구기관 미래 사업화의 핵심이며 고부가가치 창출에 필수 요소임
*따라서 음성 AI 기술과 영상 AI 기술의 융합을 기반으로 새로운 사업 기회를 창출하고 부가가치가 높은 4차 산업혁명 산업을 주도 할 수 있음.

◼ 1단계
❏ 목표
음성-비전 기반의 스피치 데이터셋 구축
음성-비전 데이터 전처리
음성의 시계열 content 추출
정열된 학습용 시계열 데이터 생성
딥러닝 네트워크의 구성, 학습 및, 애니메이션 추론
영어 음성기반 입모양 예측 정확도
❏ 내용
○ 기존 애니메이션 워크플로우와 딥러닝 네트워크의 결합방식 결정
- 스피치 애니메이션 생성 딥러닝 네트워크 구조는, 입력은 음성, 그리고 출력은 blendshape key 형태로 지도 학습하고 추론하게 되도록 결정함
○ 음성-비전 기반의 스피치 데이터셋 구축
- 영어 비디오들에서 음성의 시계열 content 스펙트로그램에 대한 시계열 blendshape key 레이블을 추출
○ 음성-비전 데이터 전처리
- 수집된 가공되지 않은 음성은 딥러닝 네트워크의 학습 및 추론의 성능향상을 위해서 노이즈 제거, 음량 증폭, 정규화 과정을 거쳐 전처리 과정 수행
○ 음성의 시계열 content 추출
- Facebook 의 wav2vec2 speech-to-text (STT) 기술을 사용하여 데이터 셋의 시계열 추출
○ 딥러닝 네트워크 구현/학습 및 스피치 애니메이션 추론
- 표준화된 음성의 시계열 content 스펙트로그램을 입력으로 전달하고 그 스펙트로그램을 blendshape key로 변환.
- 애니메이션 생성 모듈에 적용하여 2000 epoch 학습 수행.
- 정확한 확인을 위해 학습에 사용되지 않은 (unseen) 음성을 딥러닝 네트워크에 입력하여 스피치 애니메이션을 추론 하는 것을 목표로 함.

□ 연구개발성과
o 음성-비전 기반의 스피치 데이터셋 구축
o STT를 활용한 시계열 데이터 추출 및 전처리 적용 완료
o 딥러닝 네트워크 구현 및 스피치 애니메이션 추론 및 생성 모듈 개발 완료
o 공인 시험을 통한 성능 목표 달성
- 영어 음성기반 입모양 예측 정확도 F1 score 92.99 달성

□ 연구개발성과 활용계획 및 기대 효과
o 활용계획
- 어린이 에듀테크 및 대화형 키오스크 사업을 위해 상품성 있는 아바타(애니메이션 혹은 유명인) 기획
- 기획된 아바타에 적합한 음성합성 모델링용 데이터 제작
- 제작된 데이터를 바탕으로 음성합성 모델 개발 및 시스템 구현
* 예상 사업 분야
- 청각장애 보조 서비스
- AI 튜터
- AI 키오스크
- AI 캐릭터
o 기대효과
* 기술적 측면
- 얼굴 및 발음 데이터를 활용한 음성과 동조된 얼굴 모션 합성 솔루션 개발을 통해 선진국에 뒤처져 있던 인공지능 기술의 글로벌 경쟁력 확보
- 고품질의 얼굴 모션 구축을 통해 미래 유망 분야인 AI 음성/영상기술 발전
* 경제적 측면
- 해외 기업이 강세인 AI 영상 시장에서 국내 제품의 기능이 차별화. 매출 향상 및 AI 기술의 수입 대체 효과
- AI 음성/영상 기술개발 및 사업화를 통해 다양한 영역에서 관련 된 온라인 서비스 구축과 신시장 확대 기대
* 사회적 측면
- 정확한 발음의 입모양 구현은 청각 장애인들이 콘텐츠에 대한 이해도를 높이고 접근성을 향상해 문화 활동 범위 확장

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 요 약 문 ... 3
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 8
• 1) 영어 스피치 애니메이션 ... 8
• 2) 한국어 스피치 애니메이션 ... 13
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 18
• 1) 연구수행 결과 ... 18
• 2) 목표 달성 수준 ... 25
• 5. 연구개발성과의 활용 및 사업화 계획 ... 26
• 1) AI 튜터 ... 26
• 2) Text To Video ... 27
• 3) AI 키오스크 ... 28
• 끝페이지 ... 28