초록 ▼

○ 연구의 목적 및 내용
1. 다수의 카메라(약 100대 이상) 를 통해 촬영 대상의 움직임을 비디오 캡처하는 하드웨어 시스템 구축
2. 캡처데이터를 자유시점(Free-ViewPoint)으로 재생이 가능한 3D 볼류메트릭 비디오 데이터(3D+ Color Texture)를 생성 및 편집, 압축하여, 문화 콘텐츠, VR/AR/Game 등 다양한 콘텐츠 제작에 사용가능한 소프트웨어 시스템 개발

○ 연구개발성과
하드웨어
1 3D 촬영 비디오 처리시스템
- 최대 약 112대의 카메라/구동모듈(Rasbe

○ 연구의 목적 및 내용
1. 다수의 카메라(약 100대 이상) 를 통해 촬영 대상의 움직임을 비디오 캡처하는 하드웨어 시스템 구축
2. 캡처데이터를 자유시점(Free-ViewPoint)으로 재생이 가능한 3D 볼류메트릭 비디오 데이터(3D+ Color Texture)를 생성 및 편집, 압축하여, 문화 콘텐츠, VR/AR/Game 등 다양한 콘텐츠 제작에 사용가능한 소프트웨어 시스템 개발

○ 연구개발성과
하드웨어
1 3D 촬영 비디오 처리시스템
- 최대 약 112대의 카메라/구동모듈(Rasberry Picamera/Nvidia Jetson) 와 8개의 LED 조명으로 캡처하여 방대한 양의 데이터 전송 및 사전처리하는 구조/하드웨어 시스템 개발

2 Compute Farm
- 전 과정에서 생성되는 방대한 데이터를 분산병렬 계산하기 위한 컴퓨트팜(Compute Farm)구축 (16 개 노드)

소프트웨어
1 촬영시스템 구동 소프트웨어 개발
- network으로 연결된 112개의 카메라와 LED 조명을 컨트롤/preview 등 을 하는 소프트웨어 제작(Nvidia GStrem based)
- 112개 카메라의 각도를 자동조절하는 소프트웨어 특허출원

2 Volumetric Photogrammetry Video
- 캡처한 이미지에서 볼류메트릭 포인트 클라우드(Volumetric Point Cloud) 생성 하는 photgrammetry software roqkf
- 각 프레임 포인트 클라우드 데이터로부터 폴리곤메시(Polygon Mesh) 생성 소프트웨어
- 캡쳐 image 3D Texture napping 개발

2 자유 시점 비디오 데이터(FVV Video Data) 처리 및 압축
- 효율성 향상과 부드러운 플레이백을 위한 mesh smoothing/simplification/Tracking 소프트웨어 개발
- 비디오 코딩(mpeg, bento4, draco)을 통한 데이터 압축처리.

3 분산 병열처리
소프트웨어 개발 16개 node 로 구성 compute farm 에 분산처리하는 python software 개발(dispy 16사용)

4 콘텐츠 제작환경 지원 툴 제작
- 자유 시점 비디오를 콘텐츠 제작에 사용할 수 있도록 Unreal Engine 소프트웨어 개발 (플러그인, 클래스, 렌더링코드등)
- Volumetric data 를 standard Alembic file 로버꿔서 다양한 app dp import 가는하게하는 converter software 개발.

○ 연구개발 성과의 활용 계획 (기대 효과)
1. 기술 상용화 현황(정량적 지표)
○ 매출액 / 사업화 건수 등

2. 향후 성과 활용 계획
○ 콘텐츠 제작 사업
- 콘텐츠를 보유하고 있는 해당인 혹은 업체와 연계하여 주요 문화콘텐츠를 3D 볼류메트릭 캡처 데이터들로 연출 제작 후, 완전 자유 시점을 가진 제작물을 각 미디어(모바일, TV, OTT 등) 포맷으로 배포
- 인간문화재 등 일반적인 영상으로 담을 수 없는 특별한 동작, 행위, 기술 등을 3D 볼류메트릭으로 캡처하여 평생 교재화 및 유산 콘텐츠로 제작
○ 데이터베이스 플랫폼 사업
- 여러 종류의 캡처 데이터를 에셋 라이브러리화하여 일반 유저들이 기존에 생성되어있는 데이터를 활용, 제 3의 연출 제작물을 개발할 수 있음. 기존의 에셋 제작 방식이 아닌 캡처 방식으로 데이터를 만들 수 있기 때문에 방대한 양의 에셋을 단 시간 내에 데이터 화 할 수 있으므로 창작의 폭을 넓힐 수 있고 제작 시간을 확연히 단축 가능

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요약문 ... 2
• 목표 대비 달성내용 요약 ... 4
• 목차 ... 9
• 1. 연구개발과제의 개요 ... 10
• 가. 연구개발 목적 ... 10
• 나. 연구개발의 필요성 ... 11
• 2. 연구수행내용 및 성과 ... 13
• 2.1 기존 볼류메트릭(Volumetric) 소프트웨어/기술 비교분석 (마일스톤 1.1 Volumetric Photogrammetry Video) ... 13
• 2.2 상용시스템 조사 ... 16
• 2.3 OpenCV를 사용한 자체개발 소프트웨어 prototype 구축/테스트 ... 18
• 2.4 3D 촬영 볼류메트릭 비디오 캡처/ 처리시스템 ... 21
• 2.4. photometry system proto-type 구축/테스트 ... 27
• 2.5 Camera Calibration ... 28
• 2.6 Camera Frame Synchronization ... 31
• 2.6 3D Reconstruction Pipeline 구축 ... 35
• 2.7 Background 처리 ... 38
• 2.8 자유시점비디오 데이터(FVV Video Data) 처리 및 압축 ... 48
• 2.9 콘텐츠 제작 환경지원 소프트웨어 (Unreal Engine) ... 58
• 2.10 컴퓨트팜 분산처리 ... 61
• 2.11 Simulation Rendering(Maya) 을 이용한 비교 검증 ... 67
• 2.12 연구개발성과 ... 68
• 2.13 사업화 성과 및 매출실적 ... 69
• 2.14 연구결과 요약 ... 69
• 3. 목표 달성도 및 관련 분야 기여도 ... 71
• 가. 목표 달성도 ... 71
• 나. Capture Quality Measure (PSNR, 정량적 목표, 상세 방법론) ... 72
• 다. 관련 분야 기여도 ... 75
• 4. 연구개발성과의 활용 현황 및 향후 계획 ... 77
• 가. 문화상품 개요 및 비즈니스 모델 ... 77
• 나. 사업화 주요 일정 및 추진 계획 ... 83
• 붙임1. 국가과학기술종합정보시스템에 등록한 연구 시설·장비 현황 ... 85
• 붙임 2. 참고 문헌 ... 86
• 붙임 3. 기타 연구관련 상세 내용 ... 87
• 붙임 4. 외부용역 결과 상세 ... 99
• 붙임 5. 특허출원 결과 상세 ... 118
• 붙임 6. TTA(한국정보통신기술협회) 결과 상세 ... 124
• 끝페이지 ... 150