초록 ▼

○ 연구의 목적 및 내용
○ 영화/애니메이션에서 실제와 같은 디지털 더블의 제작을 위하여 단일 스테레오 카메라 만을 이용하여 AI기반으로 움직이는 얼굴의 고품질 스캔 모델을 획득하는 저비용 상용화 기술을 개발하여 디지털 더블의 제작 단가를 대폭 절감하고 차별적 디지털 더블 제작 능력을 확보하는 것이 최종 목표임. 또한, 개발 기술의 검증을 위한 실제 배우의 얼굴을 그대로 재현한 상용 영화 급의 디지털 더블 콘텐츠를 제작함

○ 연구개발 성과
○ 사전 개발 “단일 스테레오 카메라 기반의 동적 얼굴 캡쳐/복원 시스

○ 연구의 목적 및 내용
○ 영화/애니메이션에서 실제와 같은 디지털 더블의 제작을 위하여 단일 스테레오 카메라 만을 이용하여 AI기반으로 움직이는 얼굴의 고품질 스캔 모델을 획득하는 저비용 상용화 기술을 개발하여 디지털 더블의 제작 단가를 대폭 절감하고 차별적 디지털 더블 제작 능력을 확보하는 것이 최종 목표임. 또한, 개발 기술의 검증을 위한 실제 배우의 얼굴을 그대로 재현한 상용 영화 급의 디지털 더블 콘텐츠를 제작함

○ 연구개발 성과
○ 사전 개발 “단일 스테레오 카메라 기반의 동적 얼굴 캡쳐/복원 시스템”의 최적화
- 스테레오기반 얼굴 복원 모듈 최적화 : 복원 속도 향상
- 얼굴 특징점 추출 및 트래킹 GUI SW 업데이트 : 랜드마크 포인트 추가 등 품질 향상
- 얼굴 복원 및 후처리 프로세스를 위한 노드기반 GUI SW 개발 : 직관적 복원 프로세스 환경 구축
○ AI 기반의 얼굴 디테일 표현 및 홀필링(hole-filling) 기술 개발
- AI 기반의 얼굴 디테일(주름, 땀구멍) 표현 및 메쉬 적용
- 스테레오 매칭 불가능 영역에 대한 AI 기반 얼굴 표면 홀필링
* (기대효과) 디지털 더블 제작에 주름, 땀구멍 등이 표현된 고해상도 얼굴 표현 가능
○ AI 기반의 스페큘러 영역 검출 및 얼굴 고유색 추출 기술 개발
- AI 기반의 스페큘러 영역 검출 및 해당 영역의 매끄러운 복원
- AI 기반의 환경광 추출 및 얼굴의 고유색 추출
* (기대효과) 캡쳐 시 일반 조명도 사용가능, 디지털 더블의 얼굴 컬러 텍스쳐 향상 및 relighting 가능
○ 상용 영화급 디지털 더블 시범 콘텐츠 제작

○ 연구개발 성과의 활용 계획 (기대 효과)
○ 문화상품 : 영화/애니메이션에서의 디지털 더블 콘텐츠 제작 서비스
- 실물 배우의 얼굴 스캔 모델을 통한 디지털 더블 제작
- 디지털 더블의 얼굴 표정 애니메이션 제작
- 얼굴 관련 VFX(배우 얼굴 교체, 에이징/디에이징 등)

○ 사업화 계획
- 현재 제작 단가의 1/2 수준으로 디지털 더블 제작 가격 경쟁력 확보
- 단기적으로 중국 기 제작영화 중 배우 문제로 상영 불발된 영화에서의 배우 얼굴 교체 프로젝트 수주(기존 VFX 수주 네트웍 활용)
- 장기적으로 자체 브랜드의 디지털 배우 혹은 아이돌 프로젝트 기획하고 관련 투자 유치

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요약문 ... 2
• 목표 대비 달성내용 요약 ... 3
• 목차 ... 6
• 1. 연구개발과제의 개요 ... 7
• 가. 연구개발 목적 ... 7
• 나. 연구개발의 필요성 ... 7
• 다. 연구개발 범위 ... 8
• 2. 연구수행내용 및 성과 ... 10
• 가. 얼굴 캡쳐/복원 기술 ... 10
• 나. 얼굴 복원을 위한 딥러닝 기술 ... 12
• 다. 특허 성과 ... 18
• 3. 목표 달성도 및 관련 분야 기여도 ... 20
• 가. 목표 달성도 ... 20
• 나. 관련 분야 기여도 ... 22
• 4. 연구개발성과의 활용 현황 및 향후 계획 ... 23
• 가. 문화상품 개요 및 비즈니스 모델 ... 23
• 나. 사업화 현황 및 향후 계획 ... 25
• 붙임1. 국가과학기술종합정보시스템에 등록한 연구 시설·장비 현황 ... 27
• 끝페이지 ... 27