초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
▪ 본 과제는 차세대 몰입형 콘텐츠인 포인트 클라우드를 사용자의 요청사항에 맞추어 안정적인 스트리밍을 통한 AR/VR 서비스 제공을 위해 요구되어지는 “적응형 뷰어 중심 포인트 클라우드 AR/VR 스트리밍 플랫폼 (AVPA Streaming Platform)” 기술을 개발하고자 함.
- RoI 및 Scalability 기반 포인트 클라우드 부/복호화 및 Segmented File/Manifesto생성 기술
- Video based Point Cloud Contents 대

□ 연구개발 목표 및 내용
◼ 최종 목표
▪ 본 과제는 차세대 몰입형 콘텐츠인 포인트 클라우드를 사용자의 요청사항에 맞추어 안정적인 스트리밍을 통한 AR/VR 서비스 제공을 위해 요구되어지는 “적응형 뷰어 중심 포인트 클라우드 AR/VR 스트리밍 플랫폼 (AVPA Streaming Platform)” 기술을 개발하고자 함.
- RoI 및 Scalability 기반 포인트 클라우드 부/복호화 및 Segmented File/Manifesto생성 기술
- Video based Point Cloud Contents 대상 적응형 AR/VR 스트리밍 플랫폼 기술
- Versatile Video Coding 기반 Advanced Video based Point Cloud Compression 기술
[End Product]
- RoI 지원 V-PCC 부/복호화 알고리즘(SW)
- Scalability (Density/Quality) 지원 V-PCC 부/복호화 알고리즘(SW)
- RoI/Scalability 지원 V-PCC Segmented File Format 및 Manifesto 생성 알고리즘(SW)
- 저지연 고품질 2D 비디오 및 V-PCC 합성 Rendering 알고리즘 (SW)
- VVC based Advanced V-PCC 시스템 (SW)
- RoI/Scalability 지원 PCC to 2D Video converting 시스템(SW)
- HEVC 기반 V-PCC 적응형 스트리밍 플랫폼 시스템(SYS)
- HEVC 기반 RoI/Scalability지원 V-PCC 적응형 스트리밍 플랫폼 시스템(SYS)

◼ 전체 내용
(1) RoI 및 Scalability 기반 포인트 클라우드 부/복호화 및 Segmented File/Manifesto Generation 기술 (RSSG)
사용자의 다양한 단말 환경 및 관심 영역에 따라 포인트 클라우드 콘텐츠의 부분 및 전체 영역을 선별적으로 또한 네트워크 상황에 따른 밀도/품질을 차별적으로 부/복호화하는 RoI 및 Scalability 부/복호화 기술 개발 및 이를 적응형 스트리밍 서비스에 제공하기 위한 Segmented File 및 Manifesto 생성 기술 개발.
(2) Video based Point Cloud Contents 대상 적응형 AR/VR 스트리밍 플랫폼 기술(vPASP)
UHD 단말, 스마트폰, Head-Mounted Display(HMD) 등의 다양한 단말에서 사용자의 요구사항에 따라 포인트 클라우드 콘텐츠를 효율적으로 소비하기 위해서, 다중 HEVC 인코딩 및 멀티플렉싱을 적용한 Server/Client driven 적응형 AR/VR 스트리밍 서버와 사용자 상호작용 기반 포인트 클라우드 재생 플레이어를 포함한 플랫폼 기술과 포인트 클라우드의 확대/축소에 따른 저지연 고품질의 실사영상 정합 렌더링 기술 개발.
(3) Versatile Video Coding(VVC) 기반 Advanced Video based Point Cloud Compression (VAPC)
UHD 콘텐츠 압축에 활용하는 HEVC 이상의 압축률을 목표로 현재 국제표준화 중인 차세대 비디오 코덱 VVC를 기반으로, Texture/ Geometry/ Occupancy Map 영상의 특성을 고려하여 기존 V-PCC보다 고효율인 차세대 V-PCC 부/복호화 기술 개발.

◼ 1단계 1년차
❏ 목표
▪ 1차년도에는 핵심 기술의 요구사항을 도출하여 필요한 단위 기술의 타당성과 창의성을 검토하고, 핵심 기술의 알고리즘 및 상세/구조 설계를 통하여 참여 기관별로 단위 기술 개발을 진행함.
① 산업체와 참여 대학의 긴밀한 협력을 위하여
- RSPA 플랫폼 서비스 시나리오를 기반으로 참여 산업체는 V-PCC 플랫폼 구성을 진행하고,
- 참여 대학에서는 V-PCC의 새로운 기능을 위한 선도 기술 개발을 진행함.

◼ 1단계 2년차
❏ 목표
▪ 2차년도에는 1차년도에 이어 참여기관별 추가적인 핵심 기술 개발 및 참여대학-기업체의 기능별 부분 통합 연동을 진행함.
① 참여대학에서 진행하는 “Converting system”의 Lightweight Patch generation /Density scalability 기능을 참여기업에서 개발하는 “DASH 기반 Adaptive streaming platform”과 연동 통합하며,
② 참여대학에서 진행한 Hole filling rendering 기술을 참여기업에서 개발 중인 Client player와 연동 통합함.

◼ 1단계 3년차
❏ 목표
▪ 3차년도에는 참여 기관별 핵심 기술의 고도화 및 2차년도 부분 통합 연동을 기반으로 작업을 진행함.
① 최종 RSPA 스트리밍 플랫폼 완성을 위한 통합/연동 테스트 실시 및 설계된 서비스 시나리오에 맞춘 검증연동 작업을 진행하며,
② 고효율 V-PCC 코덱 구현을 위한 VVC based patch generation과 Joint VVC codec 연동 작업을 진행함.

□ 연구개발성과
1. 정성적 성과
▪다양한 비디오 코덱에 적용 가능한 ROI 기반 V-PCC 코덱 시스템 개발
▪Empty-ROI Encoding Enhancement 구현을 표준화 기구에 기술 기고 및 채택.
▪포인트 클라우드 콘텐츠의 고성능 인코딩을 제공하기 위한 Frame-Level Parallel 인코더 구현 및 표준화 기구에 기술 기고 및 채택.
▪RoI 및 Quality scalability 지원 포인트 클라우드 DASH Adaptive streaming 시스템 개발 (스트리밍 콘텐츠 재생속도 15fps이상 달성)
▪3D V-PCC 콘텐츠를 저지연 전송 스트리밍 서버 개발 및 적응형 적응형 스트리밍 서비스 플랫폼 개발 기술 확보.
▪포인트 클라우드 콘텐츠와 AR 연동하여 재생 가능한 기반기술 확보 (재생속도 15fps이상 달성)
▪V-PCC Geometry Image, Texture Image, Occupancy Map의 상관성 기반 Joint VVC 부호화 기술 개발함.
▪비디오 기반 포인트 클라우드 영상 특성을 활용한 효율적인 압축 방법을 통해 부호화 효율을 향상함.
※HEVC기반 V-PCC 성능 대비 End-to-End BD-TotalRate D1:25.4%, D2:25.8%, Luma:28.4%의 부호화 효율 향상함.
2. 정량적 성과
▪ 국제 저널(SCI) 11편, 국제 논문 2편, 국제 학술대회 6편, 국내 논문 6편 국내 학술대회 24편
▪ 표준안 제출 20건, 표준 채택 4건
▪ 국제 특허 출원 3건, 국내 특허 출원 23건, 국내 특허 등록 5건

□ 연구개발성과 활용계획 및 기대 효과
1. 활용계획
￭ 5G 환경에서의 AR/VR 데이터 압축 전송기술 및 비디오 관련 서비스의 핵심 요소 기술로 활용하며, 더 나아가 사용자 맞춤형 고품질 실감미디어 렌더링 기술로 활용
￭ V-PCC VOD 트랜스코더 핵심기술로 활용함으로써 고품질 멀티미디어 콘텐츠 전송 서비스 분야 및 5G MEC(Multi-access Edge Computing)환경을 활용한 저지연 서비스에 활용
￭ 제공자 중심의 3D 포인트 클라우드에서 발전하여 사용자 맞춤형 3D V-PCC 미디어 AR/VR 재생 기반 신 서비스 산업 창출
2. 기대효과
￭ 확대/축소를 고려한 포인트 클라우드 렌더링 기술과 실사 영상의 정합을 위한 카메라 트래킹 기술개발을 통해 사용자 관심 영역을 고려한 현실감 있는 고품질의 AR/VR 콘텐츠 서비스가 가능
￭ V-PCC기반의 콘텐츠를 스마트폰 단말 혹은 PC상에서 V-PCC디코딩 처리, 고속 HEVC 디코딩처리, 3차원 영상 렌더링처리, HMD같은 외부 디바이스와 연동 처리를 할 수 있는 기반기술 확보
￭ 급성장 중인 VR, AR, MR, 홀로그램 등 실감형 미디어 서비스 시장에서 포인트 클라우드 기술은 새로운 미디어로서 스포츠, 홈쇼핑 등의 사용자 상호작용을 통한 사용자 참여 유도 및 이를 이용한 수익 창출 가능.
￭ 3D 포인트 클라우드 콘텐츠는 콘텐츠 획득장치의 발달로 자율주행, 의료, 문화, 건축, 군사 등 다양한 분야에서 활용 가능하므로 향후 다수의 전문 인력 필요하고 산학 공동 지도를 통해 과제의 연구 활동을 수행하고 구체적인 연구 결과에 대한 논문을 발표하여 연구 인력의 전문성 배양 및 현장 맞춤형 인력 양성과 지속적인 사업장 실습 연계를 통한 산학협력 등 전문 인력 양성에 크게 기여

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 13
• 1. 연구개발과제의 개요 ... 14
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 16
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 67
• 1) 연구수행 결과 ... 67
• 2) 목표 달성 수준 ... 82
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 82
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 83
• 6. 연구개발성과의 관리 및 활용 계획 ... 84
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 84
• 2) 주요 성과활용 (기대)성과목표 ... 86
• 3) 성과활용·관리 추진체계 ... 87
• 4) 기타 ... 87
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 88
• 8. 연구개발비 사용실적 ... 89
• 끝페이지 ... 107