초록 ▼

○ 연구의 목적 및 내용
● 영화급 인터랙티브 AR콘텐츠 제작을 위한 AR 요소 기술 개발
• 선행 과제로 포토리얼리스틱 수준의 실사급 캐릭터를, 지연없이, 실시간으로, 상호작용이 가능한 콘텐츠 제작 기술을 개발 완료함
• 캐릭터의 위치의 정교한 트래킹과 실시간 변화되는 배경의 라이팅 적용,전∙후경 분리를 통한 증강현실 합성 기술 연구
• 개발된 요소 기술은 실시간 GPU렌더링을 통해 구현되며, 영화 수준의 고품질 증강현실 콘텐츠를 “실시간”으로 구현하여, 가상캐릭터의 라이브 공연을 가능하게 함

○

○ 연구의 목적 및 내용
● 영화급 인터랙티브 AR콘텐츠 제작을 위한 AR 요소 기술 개발
• 선행 과제로 포토리얼리스틱 수준의 실사급 캐릭터를, 지연없이, 실시간으로, 상호작용이 가능한 콘텐츠 제작 기술을 개발 완료함
• 캐릭터의 위치의 정교한 트래킹과 실시간 변화되는 배경의 라이팅 적용,전∙후경 분리를 통한 증강현실 합성 기술 연구
• 개발된 요소 기술은 실시간 GPU렌더링을 통해 구현되며, 영화 수준의 고품질 증강현실 콘텐츠를 “실시간”으로 구현하여, 가상캐릭터의 라이브 공연을 가능하게 함

○ 연구개발 성과
● 마커리스 기반의 실시간 카메라 트래킹 기술
• 양안 Depth 카메라를 활용, 실제 공간 자체를 인지하여 Depth Point를 구성, 현장의 Depth Map을 생성하고 3D 캐릭터를 실제의 물리 공간으로 견인하여 그래픽을 합성
• Markerless 기반의 정밀한 트래킹으로 실제 공간에 메타버스 콘텐츠를 합성, 실존하는 듯한 몰입감을 제공할 수 있게 연구개발
• 실내외 장소의 제약 없이, 카메라와 연동된 렌즈 조작에 실시간 대응하여 영화급 품질의 증강현실 구현

● 실시간 라이팅 기술
• 먼 거리에 있는 배경은 적절한 광원효과를 입혀 야외 환경을 반영하게 되는데, “이미지 기반 라이팅”과 실시간 렌더링을 병행하여, 기제작된 배경을 반복적으로 보여주지 않고, 라이브 공연 시 주변 환경의 변화를 체험할 수 있게 함
• 선 채취된 이미지 정보를 광원으로 변환하여, 관객의 시선과 오브젝트 표면의 방향 정보로 조명효과를 실시간으로 반영
• 실시간 수집된 배경 데이터를 일관 공정이 가능하도록 라이팅 플러그인을 개발

● 전∙후경 분리를 통한 증강현실 합성 기술
• 크로마키 스크린 또는 블루매트에서 추출된 인물 데이터로 고품질의 무광택 매트(matte)를 제작하고, 현장에서 Depth 기반 양안 카메라로 촬영된 배경 데이터를 합성
• 수집된 배경 데이터는 인물의 위치와 깊이감을 고려하여 전경과 후경을 분리하고, 배경 내 적절한 배치와 Depth값을 반영한 정교한 영상 합성을 구현

○ 연구개발 성과의 활용 계획 (기대 효과)
● 기술 상용화 현황(정량적 지표)
• Virtual Concert for Tencent/1.7억
● 향후 성과 활용 계획 작성
• 라이브 증강현실 콘서트 종료 후 영상을 합성한 콘서트가 아닌 가상 캐릭터와 실제 공간이 합성되어 송출되는 라이브 증강현실 콘서트 개발 및 운영
• 인터렉션이 가능한 라이브 뮤직비디오 관객과 실시간으로 소통하며 다른 결말을 보여주는 라이브 뮤직비디오
• 레거시 미디어에서의 콘텐츠 다양화 가상캐릭터, 실시간, 인터렉션을 필두로 현재까지 경험해보지 못한 새로운 방송형 콘텐츠 제작 기술을 사업개발

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요약문 ... 2
• 목표 대비 달성내용 요약 ... 4
• 목차 ... 9
• 1. 연구개발과제의 개요 ... 10
• 가. 연구개발 목적 ... 10
• 나. 연구개발의 필요성 ... 10
• 다. 연구개발 범위 ... 12
• 라. 우수과제 요약 ... 12
• 2. 연구수행내용 및 성과 ... 15
• 가. 연구결과 ... 15
• 나. 연구개발 추진전략 및 방법 ... 16
• 3. 목표 달성도 및 관련 분야 기여도 ... 27
• 가. 목표 달성도 ... 27
• 나. 관련 분야 기여도 ... 27
• 4. 연구개발성과의 활용 현황 및 향후 계획 ... 28
• 가. 문화상품 개요 및 비즈니스 모델 ... 28
• 나. 사업화 현황 및 향후 계획 ... 29
• 끝페이지 ... 31