[논문]MPEG-DASH 기반 3차원 포인트 클라우드 콘텐츠 구성 방안

김두환; 임지헌; 김규헌

doi:10.5909/jbe.2019.24.4.660

MPEG-DASH 기반 3차원 포인트 클라우드 콘텐츠 구성 방안
MPEG-DASH based 3D Point Cloud Content Configuration Method 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.4, 2019년, pp.660 - 669

김두환 (경희대학교 전자정보대학) , 임지헌 (경희대학교 전자정보대학) , 김규헌 (경희대학교 전자정보대학)

초록
AI-Helper

최근 3차원 스캐닝 장비 및 다차원 어레이 카메라의 발달로 AR(Augmented Reality)/VR(Virtual Reality), 자율 주행과 같은 응용분야에서 3차원 데이터를 다루는 기술에 관한 연구가 지속해서 이루어지고 있다. 특히, AR/VR 분야에서는 3차원 영상을 포인트 데이터로 표현하는 콘텐츠가 등장하였으나, 이는 기존의 2차원 영상보다 많은 양의 데이터가 필요하다. 따라서 3차원 포인트 클라우드 콘텐츠를 사용자에게 서비스하기 위해서는 고효율의 부호화/복호화와 저장 및 전송과 같은 다양한 기술 개발이 요구된다. 본 논문에서는 MPEG-I(MPEG-Immersive) V-PCC(Video based Point Cloud Compression) 그룹에서 제안한 V-PCC 부호화기를 통해 생성된 V-PCC 비트스트림을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 표준에서 정의한 세그먼트로 구성하는 방안을 제안한다. 또한, 사용자에게 3차원 좌표계 정보를 제공하기 위해 시그널링 메시지에 깊이 정보 파라미터를 추가로 정의한다. 그리고 본 논문에서 제안된 기술을 검증하기 위한 검증 플랫폼을 설계하고, 제안한 기술의 알고리듬 측면에서 확인한다.

Abstract ▼ AI-Helper

Recently, with the development of three-dimensional scanning devices and multi-dimensional array cameras, research is continuously conducted on techniques for handling three-dimensional data in application fields such as AR (Augmented Reality) / VR (Virtual Reality) and autonomous traveling. In particular, in the AR / VR field, content that expresses 3D video as point data has appeared, but this requires a larger amount of data than conventional 2D images. Therefore, in order to serve 3D point cloud content to users, various technological developments such as highly efficient encoding / decoding and storage, transfer, etc. are required. In this paper, V-PCC bit stream created using V-PCC encoder proposed in MPEG-I (MPEG-Immersive) V-PCC (Video based Point Cloud Compression) group, It is defined by the MPEG-DASH (Dynamic Adaptive Streaming over HTTP) standard, and provides to be composed of segments. Also, in order to provide the user with the information of the 3D coordinate system, the depth information parameter of the signaling message is additionally defined. Then, we design a verification platform to verify the technology proposed in this paper, and confirm it in terms of the algorithm of the proposed technology.

주제어

표/그림 (10)

그림 그림 1. MPEG V-PCC 부호화기 Fig. 1. MPEG V-PCC Encoder
그림 그림 2. MPEG V-PCC 복호기 Fig. 2. MPEG V-PCC Decoder
그림 그림 3. V-PCC 비트스트림 구조 Fig. 3. V-PCC Bitstream structure
그림 그림 4. V-PCC DASH 초기 세그먼트 구성 예시 Fig. 4. Example of V-PCC DASH Initialization Segment configuration
그림 그림 5. V-PCC DASH 미디어 세그먼트 구성 예시 Fig. 5. Example of V-PCC DASH Media Segment configuration
표 표 1. V-PCC MPD의 구조와 내용 Table 1. Syntax and semantics of V-PCC MPD
그림 그림 6. 검증플랫폼 구조도 Fig. 6. Verification platform structure
그림 그림 7. V-PCC DASH 세그먼트 Fig. 7. V-PCC DASH Segment
그림 그림 8. V-PCC MPD Fig. 8. V-PCC MPD
그림 그림 9. DASH기반 3차원 포인트 클라우드 콘텐츠 서비스 Fig. 9. DASH-based 3D point cloud content service

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Ⅱ장에서 기술 된 배경 기술을 기반으로, 본 장에서는 V-PCC 비트스트림을 MPEG-DASH에서 정의한 DASH 세그먼트로 구성하기 위한 방안을 제안한다. 또한, 시그널링 메시지인 MPD를 통해 사용자에게 3차원 포인트 클라우드 콘텐츠의 3차원 좌표 정보를 제공하기 위해 깊이 정보 파라 미터를 추가로 정의하는 방안을 제안한다.
V장에서는 해당 검증 플랫폼을 통해 얻은 결과를 분석한다. 마지막으로 Ⅵ장에서는 본 논문에서 제안한 기술을 기반으로 향후 포인트 클라우드 기술의 연구 방향에 대해 논의한다.
V-PCC 부호화기는 기존의 비디오 부호화기 기반으로 구성되기 때문에, 3차원 포인트 클라우드 콘텐츠를 2차원 공간에 투영하여 패치(Patch)를 생성하는 것으로 시작된다. 이 과정은 포인트 클라우드 데이터의 법선 벡터를 통해 3차원 포인트 클라우드 콘텐츠를 패치로 분해하고, 재구성하는 데 있어 오류를 최소화하는 것을 목표로 한다. 2차원 공간에 생성된 패치는 위치 정보를 나타내는 기하 영상과 색상 정보를 나타내는 색상 영상으로 구분하여 생성된다.

제안 방법

또한, 사용자에게 3차원 포인트 클라우드 콘텐츠의 3차원 좌표 정보를 제공하기 위해 MPEG-DASH 표준에서 정의한 시그널링 메시지에 깊이 정보 파라미터를 추가로 정의한다. 그리고 본 논문에서 제안된 기술을 기반으로 설계한 검증 플랫폼을 통해 3차원 포인트 클라우드 콘텐츠의 스트리밍 서비스를 확인한다.
Ⅱ장에서 기술 된 배경 기술을 기반으로, 본 장에서는 V-PCC 비트스트림을 MPEG-DASH에서 정의한 DASH 세그먼트로 구성하기 위한 방안을 제안한다. 또한, 시그널링 메시지인 MPD를 통해 사용자에게 3차원 포인트 클라우드 콘텐츠의 3차원 좌표 정보를 제공하기 위해 깊이 정보 파라 미터를 추가로 정의하는 방안을 제안한다.
현재 사람들이 접하는 수많은 미디어 콘텐츠는 흑백에서 컬러 영상으로, 저해상도에서 고해상도의 영상으로 발전해 왔다. 또한, 실제와 유사한 콘텐츠를 제공하기 위하여 사용자 중심의 360도 VR(Virtual Reality) 콘텐츠와 광시야각의 실감형 미디어인 UWV(Ultra Wide Vision) 콘텐츠들이 등장하였으며, 해당 콘텐츠의 더 높은 몰입도를 위해 곡면 디스플레이, HMD(Head Mount Display) 등을 사용하기 시작했다. 이처럼 미디어 기술은 실제와 같은 경험을 서비스하기 위해 발전을 거듭해 왔으며, 사용자에게 자유로운 시야각 및 입체감을 제공하는 3차원으로 이루어진 미디어로 눈길을 돌리기 시작했다.
이러한 이유로, 국제표준기구인 MPEG에서는 3차원 포인트 클라우드 콘텐츠의 데이터 특성에 따라 첫 번째 카테고리는 정적 포인트 클라우드 데이터, 두 번째 카테고리는 동적 포인트 클라우드 데이터, 세 번째 카테고리는 동적으로 획득된 포인트 클라우드 데이터 총 3가지 카테고리로 분류하고, 고효율의 부호화/복호화 방안에 관한 기술 개발이 진행 중에 있다^[2]. 본 논문에서 다루는 V-PCC는 두 번째 카테고리인 동적 포인트 클라우드 데이터를 대상으로 프로젝션 (projection)을 통해 2차원 패치로 변경하고, 2차원 패치로 구성된 비디오 시퀀스(sequence)를 AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding)와 같은 기존의 비디오 코덱을 이용한 부호화/복호화를 수행한다^[3]. 또한, MPEG에서는 MPEG- ISOBMFF(ISO Base Media File Format)를 확장하여 V-PCC 부호화기를 통해 생성된 VPCC 비트스트림을 저장하는 방법을 고려하고 있다^[4][5].
본 논문에서 제안하는 V-PCC 비트스트림 기반의 DASH 미디어 세그먼트는 기존의 파일 포맷표준인 MPEG-ISOBMFF 의 확장을 통해 V-PCC 비트스트림 데이터를 고려한 구성 방안이다. V-PCC 비트스트림 기반의 DASH 미디어 세그먼트의 기본 구성은 <그림 5>에서 나타낸 바와 같이, ‘styp’ 박스, ‘moof’ 박스, ‘mdat’ 박스로 구성된다.
사용자에게 3차원 포인트 클라우드 콘텐츠를 전송 프로토콜 MPEG-DASH로 서비스하기 위해서는 상기 Ⅱ장에서 설명한 바와 같이, DASH 표준에서 정의하는 DASH 초기 세그먼트 및 미디어 세그먼트를 구성해야 한다. 본 논문에서 제안하는 V-PCC 비트스트림 기반의 DASH 초기 세그먼트는 기존의 파일 포맷표준인 MPEG-ISOBMFF의 확장을 통해 V-PCC 비트스트림 부호화 파라미터를 고려한 구성 방안이다. V-PCC 비트스트림 기반의 DASH 초기 세그먼트의 기본 구성은 <그림 4>에서 나타낸 바와 같이, ‘ftyp’ 박스와 ‘moov’ 박스로 구성된다.
본 논문에서는 3차원 포인트 클라우드 콘텐츠의 양자화 계수를 ‘1’, ‘3’, ‘5’로 설정하여 실험을 진행하였고, 양자화 계수는 ‘5’에 가까울수록 원본 콘텐츠와 유사하다.
본 절에서는 Ⅲ장에서 제안된 기술 기반의 검증 플랫폼 구조도를 과 같이 제안하고, 이를 기반으로 설명한다.
상기 절에서는 실험을 위해 설계한 검증 플랫폼의 DASH Generator에서 생성한 V-PCC DASH 세그먼트 및 MPD에 대해 확인하였다. <그림 9>는 MPEG-DASH 프로토콜 기반의 3차원 포인트 클라우드 콘텐츠의 스트리밍 서비스의 결과로, 클라이언트는 V-PCC MPD의 3차원 좌표 정보 (x, y, z)를 통해 재생 영역에 대한 정보를 제공받고 대역폭 상황에 따라 다양한 품질의 콘텐츠를 요청 및 제공받을 수 있음을 확인하였다.
본 장에서는 이와 같은 시스템을 실제로 구현하여 제안 기술의 결과를 확인한다. 설계한 시스템은 통합개발환경(IDE)인 Visual Studio 2015에서 C++언어를 사용하여 구현하였다.

대상 데이터

초기 세그먼트는 복호기 초기화 정보 및 콘텐츠에 관한 메타 데이터를 포함하기 때문에, 클라이언트는 초기 세그먼트를 먼저 수신해야 한다. 미디어 세그먼트는 Fragment 구조를 가지며, 재생에 관한 정보 및 실제 미디어 데이터를 포함한다. 또한, DASH 프로토콜의 시그널링 메시지인 MPD(Media Presentation Description)는계층적인 구조로 구성되며, 각 계층별로 구조적 기능 및 역할을 세부적으로 나누어 기술한다.

성능/효과

상기 절에서는 실험을 위해 설계한 검증 플랫폼의 DASH Generator에서 생성한 V-PCC DASH 세그먼트 및 MPD에 대해 확인하였다. <그림 9>는 MPEG-DASH 프로토콜 기반의 3차원 포인트 클라우드 콘텐츠의 스트리밍 서비스의 결과로, 클라이언트는 V-PCC MPD의 3차원 좌표 정보 (x, y, z)를 통해 재생 영역에 대한 정보를 제공받고 대역폭 상황에 따라 다양한 품질의 콘텐츠를 요청 및 제공받을 수 있음을 확인하였다.
본 논문에서는 MPEG V-PCC 부호화기를 통해 생성한 V-PCC 비트스트림 기반의 DASH 세그먼트 및 MPD 구성 방안을 제안하고, 제안된 기술을 검증하기 위해 검증플랫폼을 설계하여 사용자에게 대용량의 3차원 포인트 클라우드 콘텐츠 스트리밍 서비스가 가능함을 보였다. 추후 연구를 통해 사용자의 관심 영역에 따라 선별적으로 3차원 포인트 클라우드 콘텐츠를 전송하는 방안 등의 연구가 필요할 것으로 사료된다.

후속연구

본 논문에서는 MPEG V-PCC 부호화기를 통해 생성한 V-PCC 비트스트림 기반의 DASH 세그먼트 및 MPD 구성 방안을 제안하고, 제안된 기술을 검증하기 위해 검증플랫폼을 설계하여 사용자에게 대용량의 3차원 포인트 클라우드 콘텐츠 스트리밍 서비스가 가능함을 보였다. 추후 연구를 통해 사용자의 관심 영역에 따라 선별적으로 3차원 포인트 클라우드 콘텐츠를 전송하는 방안 등의 연구가 필요할 것으로 사료된다.
또한, MPEG에서는 MPEG- ISOBMFF(ISO Base Media File Format)를 확장하여 V-PCC 부호화기를 통해 생성된 VPCC 비트스트림을 저장하는 방법을 고려하고 있다^[4][5]. 하지만 사용자에게 V-PCC 비트스트림을 제공하기 위해서는 추가적인 연구가 필요하고, 본 논문에서는 V-PCC 비트스트림을 전송 프로토콜 MPEG-DASH에서 정의한 세그먼트로 구성하는 방안을 제안한다^[6][7]. 또한, 사용자에게 3차원 포인트 클라우드 콘텐츠의 3차원 좌표 정보를 제공하기 위해 MPEG-DASH 표준에서 정의한 시그널링 메시지에 깊이 정보 파라미터를 추가로 정의한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	3차원 포인트 클라우드 콘텐츠 서비스를 위한 다양한 기술 개발 중 MPEG은 어떤 노력을 하고 있는가?	따라서 3차원 포인트 클라우드 콘텐츠의 방대한 데이터를 효율적으로 서비스하기 위한 다양한 기술 개발이 요구되고 있다. 이러한 이유로, 국제표준기구인 MPEG에서는 3차원 포인트 클라우드 콘텐츠의 데이터 특성에 따라 첫 번째 카테고리는 정적 포인트 클라우드 데이터, 두 번째 카테고리는 동적 포인트 클라우드 데이터, 세 번째 카테고리는 동적으로 획득된 포인트 클라우드 데이터 총 3가지 카테고리로 분류하고, 고효율의 부호화/복호화 방안에 관한 기술 개발이 진행 중에 있다[2]. 본 논문에서 다루는 V-PCC는 두 번째 카테고리인 동적 포인트 클라우드 데이터를 대상으로 프로젝션 (projection)을 통해 2차원 패치로 변경하고, 2차원 패치로 구성된 비디오 시퀀스(sequence)를 AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding)와 같은 기존의 비디오 코덱을 이용한 부호화/복호화를 수행한다[3].
	MPEGDASH란?	본 절에서는 본 논문에서 제안하는 검증플랫폼의 프로토 콜에 해당하는 MPEG-DASH에 대해 설명한다. MPEGDASH는 최근 스트리밍 서비스 이용이 증가하면서 가변 적인 망 상황에 따른 서비스를 위해 제공하기 위해 제정한 기술 표준으로[5][6], DASH 세그먼트의 콘텐츠 포맷은 MPEG-2 TS(Transport Stream) 또는 ISOBMFF기반으로 구성되고, DASH 세그먼트의 종류로는 초기 세그먼트, 미디어 세그먼트가 있다. 초기 세그먼트는 복호기 초기화 정보 및 콘텐츠에 관한 메타 데이터를 포함하기 때문에, 클라이언트는 초기 세그먼트를 먼저 수신해야 한다.
	3차원 포인트 클라우드 콘텐츠 서비스를 위해 어떤 것이 요구되는가?	특히, AR/VR 분야에서는 3차원 영상을 포인트 데이터로 표현하는 콘텐츠가 등장하였으나, 이는 기존의 2차원 영상보다 많은 양의 데이터가 필요하다. 따라서 3차원 포인트 클라우드 콘텐츠를 사용자에게 서비스하기 위해서는 고효율의 부호화/복호화와 저장 및 전송과 같은 다양한 기술 개발이 요구된다. 본 논문에서는 MPEG-I(MPEG-Immersive) V-PCC(Video based Point Cloud Compression) 그룹에서 제안한 V-PCC 부호화기를 통해 생성된 V-PCC 비트스트림을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 표준에서 정의한 세그먼트로 구성하는 방안을 제안한다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증