초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
비대면 협업 중심의 영상콘텐츠 제작을 위한 실물 기반 소품-가상객체 변환 기술 및 버추얼 스튜디오 플랫폼 연동 솔루션을 연구 개발하고 이를 버추얼 프로덕션 기반 영상콘텐츠에 적용 및 실증

◼ 전체 내용
1. 2차원 다중 실사 기반 3차원 가상객체 생성 기술 개발
다중 카메라 기반으로 메시 데이터와 고해상도의 텍스쳐 데이터를 생성한다. 해당 촬영은 다중 초점 기반 촬영 기술이 적용되며 시스템과 연동할 저작도구 SW를 개발한다.
2. 실사 기반 가상객체 생

□ 연구개발 목표 및 내용
◼ 최종 목표
비대면 협업 중심의 영상콘텐츠 제작을 위한 실물 기반 소품-가상객체 변환 기술 및 버추얼 스튜디오 플랫폼 연동 솔루션을 연구 개발하고 이를 버추얼 프로덕션 기반 영상콘텐츠에 적용 및 실증

◼ 전체 내용
1. 2차원 다중 실사 기반 3차원 가상객체 생성 기술 개발
다중 카메라 기반으로 메시 데이터와 고해상도의 텍스쳐 데이터를 생성한다. 해당 촬영은 다중 초점 기반 촬영 기술이 적용되며 시스템과 연동할 저작도구 SW를 개발한다.
2. 실사 기반 가상객체 생성 및 메타데이터 저작 솔루션 개발
3차원 객체의 질감과 물리 속성을 분석하여 해당 재질/물리 속성을 DB화 하여 가상객체 생성 시 적용할 수 있는 시스템을 개발한다. 3차원 가상객체 정합의 정확도를 높이기 위해 객체를 세그멘테이션해서 태깅하고 해당 대상에 대한 메타데이터를 생성하는 기술을 개발한다.
3. 가상객체 아카이빙 서버 및 브릿지 플랫폼의 개발
가상객체를 아카이빙하고 버추얼 프로덕션과 연동할 서버와 플랫폼을 개발한다. 서버는 엣지 컴퓨팅 시스템을 개발하여 연동의 부담과 지연을 낮추고 플랫폼과 연계해 다자간 접속과 편집이 가능한 환경을 만든다. 별도의 저작도구 연동 임포터를 개발하여 가상 객체의 저작도구 삽입 및 편집이 용이하도록 구성한다.
4. LED월 기반 버추얼 프로덕션 솔루션 통합
제작된 모듈들을 통합하여 통합 버추얼 프로덕션 솔루션과 시스템을 개발한다. 2인 이상의 사람이 동시에 웹 환경에서 3차원 객체를 받아 적용하여 가상환경을 구성하고, 카메라/조명/LED월이 저작도구의 환경에 맞춰 유기적으로 동작한다.

◼ 해당 연도
❏ 목표
실물소품 3차원 가상객체 변환 및 생성 기술 개발
❏ 내용
1. 2차원 다중 실사 기반 3차원 가상객체 생성 기술 개발
- 다중 카메라 기반의 촬영 시스템 개발
- 다중 실사 영상 정렬 및 정합 기술
- 영상 배경, 객체 분리 및 정합 기술
- 3차원 객체 메시 데이터 생성 기술
- 3차원 객체 고해상도 텍스쳐 데이터 생성 및 정합 기술
- 다중 초점 가변 조명 기반 촬영 기술 개발
- 디라이팅 기반 원시 텍스쳐 획득 기술 개발
- 3차원 객체 범용 저작도구 연동 기술 개발
- 다양한 실물 가상 객체 생성 및 렌더링 테스트
2. 실사 기반 가상객체 생성 및 메타데이터 저작 솔루션 개발
- 3차원 영상 기반의 질감 및 물리 속성 분석 기술의 개발
- 3차원 객체 세그멘테이션 및 태깅 기술 개발
- 3차원 객체 생성 및 정합을 위한 메타데이터 생성 기술 개발
- 3차원 객체 생성을 위한 재질/물리속성 데이터베이스 구축
- 3차원 객체의 재질/질감을 반영한 실시간 렌더링 기술 개발
3. 가상객체 아카이빙 서버 및 브릿지 플랫폼의 개발
- 3차원 객체 데이터의 실시간 다자간 연동 위한 엣지 컴퓨팅 시스템 개발
- 웹 기반의 아카이빙 플랫폼 구축
- 저작도구와의 연동 위한 임포터 개발
- 3차원 객체 연동 저작도구의 포크 개발
- 계통 부여 3D 에셋 기반의 가상 공간 형성
4. LED월 기반 버추얼 프로덕션 통합
- LED월 기반 버추얼 스튜디오 초기 단계 구축
- 가상객체 활용 위한 통합 솔루션의 개발
- LED월 기반의 버추얼 프로덕션 영상 실증

□ 연구개발성과
1. 정량 성과
- 실사 기반의 형태 및 질감을 갖는 15K 폴리곤 이하의 3D 메쉬 모델 가상객체 합성을 8분 이내 제작 가능 확인
- 촬영 영상과 가상객체의 렌더링 이미지간의 PSNR : 27dB 이상 확인
- 다시점 촬영 객체의 실제 피사체의 크기를 측정으로 1000x500x500 이상의 가상 객체 생성을 확인
- 가상객체의 생성된 텍스처를 확인하여 16K 이상의 해상도 확인
- 다중센서 기반 질감 및 물리 속성 측정 시스템 구축
- 반사강도 및 스펙트럴을 이용한 재질 및 질감 분류 기준 개발
- 재질 및 질감 라벨 예측 알고리즘 개발
- 3차원 객체의 의미론적 분할 기능 개발
- 3차원 객체의 파트별 분할 기능 개발
- 3차원 객체 생성 및 정합을 위한 객체 세그먼트 정보 및 물리속성 정보 연동 기술 개발
- 메타데이터 편집, 검색, 가시화를 위한 기능 개발
- 엣지컴퓨팅 서버 구성 및 기획
- 플랫폼 및 서버 개발
- 저작도구 임포터 개발
- LED 모듈 3개 기반 VP 스튜디오 완공
- 3차원 영상 기반의 질감 및 물리 속성 분석 기술 개발을 통해 가상객체 재질의 라벨을 6종 이상 예측
- 3차원 객체 세그멘테이션 및 태깅 기술 개발을 통해 가상객체를 85%의 정확도로 3개 이상 동시 분류
- 3차원 객체 생성 및 정합을 위한 메타데이터 생성 기술 개발을 통해 JSON, XML 데이터 파싱 속도 100ms 이하 달성
- 3차원 객체 생성을 위한 재질/물리속성 데이터베이스 구축, 가상객체의 표현 가능한 쉐이더의 물리속성 종류 10가지 이상, 데이터베이스 내 재질 분류 및 태깅 정확도 95% 이상
- 3차원 객체의 재질/질감을 반영한 실시간 렌더링 기술 개발을 통해 물리 속성 쉐이더가 적용
2. 정성 성과
- 기술개발 리빙랩 3회 진행 (백스포트 및 엠앤앤에이치)
- 다시점 촬영 하드웨어 시스템 개발 및 다시점 촬영 스튜디오 구축
- 촬영 제어 소프트웨어 통합 개발
- 3차원 체적 객체 생성 소프트웨어 개발
- 질감 및 물리 속성 분석 기술 개발
- 3차원 객체 세그멘테이션 및 태깅 기술 개발
- 3차원 객체 생성 및 정합을 위한 메타데이터 생성 기술 개발
- 3차원 객체 생성을 위한 재질/물리속성 데이터 베이스 구축
- 3차원 객체의 재질/질감을 반영한 실시간 렌더링 기술 개발
- 3차원 가상 객체 아카이빙 및 GUI를 통한 유저 활용 지원을 위한 플랫폼 개발
- 3차원 객체데이터의 실시간 다자간 연동 위한 엣지 컴퓨팅 시스템 개발
- 웹 기반의 아카이빙 플랫폼 구축
- 3차원 가상 객체와 저작도구간의 편한 연동 및 옵션 세팅에 따른 임포트를 위한 전용 임포터 개발 완료
- 개발 시스템 통합 테스트 위한 버추얼 스튜디오 통합 구축 완료
- 3차원 객체 연동 저작도구의 포크 개발
- 콘텐츠 제작 실증

□ 연구개발성과 활용계획 및 기대 효과
연구 개발 성과를 통해 국산 기술력을 통해 제작한 3차원 객체 제작 시스템과 버추어 프로덕션 솔루션을 보급한다. 이를 통해 부족한 국산의 3차원 객체 데이터의 증가로 3D 콘텐츠 분야의 시장 확대와 보다 간편한 국산 콘텐츠 제작이 가능해진다. 또한 기존 스튜디오들에게 부족하던 가상객체 활용 부분을 해결함으로써 가상 배경과 오브젝트의 결합을 통한 실질적인 가상 환경 구성과 촬영이 가능해진다.
기존 해외 시스템의 활용으로 값비싼 설치비용이 문제가 되어 중소규모 기업과 단체에서는 XR 시장에 적응하지 못하였다. 해당 솔루션을 이용하면 보다 다양한 계층의 집단이 XR 시장에 참여가 가능해 진다. 이에 따라 Covid-19로 인해 강제적으로 소외되던 취약 계층의 콘텐츠 아웃리치가 가능해진다. 다양성을 담보한 XR 콘텐츠 확보는 최근 글로벌 환경에서 인정받고 있는 K-영상 콘텐츠에 이어 K-XR 콘텐츠로서 바톤을 이어받게 될 것이다.

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 3
• 목차 ... 6
• 1. 연구개발과제의 개요 ... 7
• 가. 개발 대상 기술 개념도 ... 7
• 나. 개발 기술 용도 및 적용 분야 ... 7
• 다. 기술 개발의 필요성 ... 8
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 9
• 가. 2차원 다중 실사 기반 3차원 가상객체 생성 기술 개발, 엠앤앤에이치(주) ... 9
• 나. 실사 기반 가상 객체 생성 및 메타데이터 저작 솔루션 개발, 광운대 ... 18
• 다. 가상객체 아카이빙 서버 및 브릿지 플랫폼의 개발, (주)백스포트 ... 23
• 라. LED월 기반 버추얼 프로덕션 솔루션 통합, (주)백스포트 ... 29
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 33
• 1) 연구수행 결과 ... 33
• 2) 목표 달성 수준 ... 40
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 42
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 42
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 42
• 3) 연구개발 과정의 성실성 ... 42
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 42
• 6. 연구개발성과의 관리 및 활용 계획 ... 43
• 1) 향후 5년간 성과활용․확산 활용방안 및 계획(활동계획) ... 44
• 2) 주요 성과활용 (기대)성과목표 ... 45
• 3) 성과활용·관리 추진체계 ... 46
• 4) 기타 ... 47
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 47
• 8. 연구개발비 사용실적 ... 47
• 1) 연구개발비 사용명세서 ... 47
• 2) 발생이자 사용명세서 ... 48
• 3) 반납액 명세서 ... 49
• 끝페이지 ... 50