[논문]효율적인 3DoF+ 비디오 부호화를 위한 작은 블록 제거를 통한 아틀라스 생성 기법

임성균; 김현호; 김재곤

doi:10.5909/jbe.2020.25.5.665

초록
AI-Helper

MPEG-I에서는 최대 6자유도(6DoF)를 가지는 몰입형(immersive) 비디오의 압축 표준화를 진행하고 있다. 360 비디오의 전방위 뷰(view)와 함께 움직임 시차(parallax)를 제공하는 3DoF+ 비디오는 고정된 위치에서 상체 움직임 정도의 제한된 공간에서 획득된 여러 뷰 비디오를 사용하여 임의의 원하는 시점의 뷰를 렌더링한다. MPEG-I 비쥬얼 그룹에서는 이러한 3DoF+ 비디오의 압축 표준화를 진행하고 있으며, 그 과정에서 TMIV(Test Model for Immersive Video)라는 시험모델을 개발하고 있다. TMIV에서는 다수의 입력 뷰 비디오들의 중복성을 제거하고 남은 텍스쳐 및 깊이 영상 패치(patch)들을 촘촘히 프레임으로 패킹한 아틀라스(Atlas)를 생성하고 이를 부호화한다. 본 논문은 보다 효율적인 3DoF+ 비디오 부호화를 위해서 작은 크기의 블록들을 제거하는 아틀라스 생성 기법을 제시한다. 제안기법은 TMIV 대비 자연영상과 그래픽 영상에서 각각 0.7%와 1.4%의 BD-rate 비트율 감소의 성능 개선을 보였다.

Abstract ▼ AI-Helper

MPEG-I is actively working on standardization on the coding of immersive video which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. 3DoF+ video, which provides motion parallax to omnidirectional view of 360 video, renders a view at any desired viewpoint using multiple view videos a...

MPEG-I is actively working on standardization on the coding of immersive video which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. 3DoF+ video, which provides motion parallax to omnidirectional view of 360 video, renders a view at any desired viewpoint using multiple view videos acquisitioned in a limited 3D space covered with upper body motion at a fixed position. The MPEG-I visual group is developing a test model called TMIV (Test Model for Immersive Video) in the process of development of the standard for 3DoF+ video coding. In the TMIV, the redundancy between a set of input view videos is removed, and several atlases are generated by packing patches including the remaining texture and depth regions into frames as compact as possible, and coded. This paper presents an atlas generation method that removes small-sized blocks in the atlas for more efficient 3DoF+ video coding. The proposed method shows a performance improvement of BD-rate bit savings of 0.7% and 1.4%, respectively, in natural and graphic sequences compared to TMIV.

주제어

표/그림 (8)

그림 그림 1. TMIV 부호화기 구성도 Fig. 1. Architecture of TMIV encoder
그림 그림 2. Atlas Constructor의 가지치기 과정 Fig. 2. Pruning process in the atlas constructor
그림 그림 3. 임의의 뷰에서의 가지치기 결과 생성된 패치의 예 Fig. 3. An example of the generated patches as the results of pruning
그림 그림 4. 8x8화소 단위의 격자에 맞춰 형성되는 유효영역의 예 Fig. 4. An example of valid region in the form of 8x8 grids
그림 그림 5. 제안기법을 적용한 아틀라스 예(좌: TMIV Anchor, 우: 제안기법) Fig. 5. A generated atlas with the proposed method (left: TMIV Anchor, right: Proposed method)
표 표 1. 제안기법을 적용한 아틀라스 부호화의 비트율 변화(Anchor: TMIV4.0) Table 1. The bitrate changes in the atlas coding with the proposed method (Anchor: TMIV4.0)
그림 그림 6. 렌더링된 뷰포트 예(좌: TMIV Anchor, 우: 제안기법) Fig. 6. An example of the rendered viewport (left: TMIV Anchor, right: Proposed method)
표 표 2. 제안기법을 적용한 3DoF+ 비디오 단대단 압축 실험결과(Anchor: TMIV4.0) Table 2. Experimental results on the compression of 3DoF+ videos with the proposed method (Anchor: TMIV4.0)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 3DoF+ 비디오의 부호화 효율을 향상시키기 위한 아틀라스 생성 기법으로 아틀라스 내의 작은 블록 제거 방법을 제안하였다. 실험결과 제안기법은 아틀라스 자체의 부호화 성능을 향상시키고, 입력 3DoF+비디오에서 랜더링된 3DoF+ 비디오의 단대단 부호화 성능에서도 BD-rate을 감소시키는 부호화 성능 개선을 보였다.
본 논문에서는, 아틀라스 내의 작은 블록들을 제거하여 3DoF+ 비디오의 부호화 효율을 개선하는 아틀라스를 생성 기법을 제안한다. 제안기법은 복원 및 합성되는 뷰포트(viewport) 영상의 화질에는 영향을 주지 않으면서 3DoF+비디오의 부호화 효율을 향상시킨다.

이론/모형

0^[4]에 구현되었으며, MPEG-I의 몰입형 비디오 공통 테스트 조건(CTC: Common Test Condition)^[5]에 따라 실험하였다. CTC에 따라 3DoF+ 비디오의 아틀라스를 부/복호화하기 위한 핵심 코덱은 HEVC의 시험 모델인 HM16.16^[6]을 사용하였다. CTC에서는 3DoF+비디오 특성을 고려한 화질평가를 위하여 360 비디오의 화질평가와 동일하게 WS-PSNR(Weighted Sphere PSNR)을 사용하여 객관적 화질을 측정한다.
CTC에서는 3DoF+비디오 특성을 고려한 화질평가를 위하여 360 비디오의 화질평가와 동일하게 WS-PSNR(Weighted Sphere PSNR)을 사용하여 객관적 화질을 측정한다. 또한, 인간의 시각 인식 특성을 고려하여 화질을 평가하는 VMAF(Video Multimethod Assessment Fusion)와 같은 방식도 하여 압축 성능을 측정한다.
제안기법은 TMIV4.0^[4]에 구현되었으며, MPEG-I의 몰입형 비디오 공통 테스트 조건(CTC: Common Test Condition)^[5]에 따라 실험하였다. CTC에 따라 3DoF+ 비디오의 아틀라스를 부/복호화하기 위한 핵심 코덱은 HEVC의 시험 모델인 HM16.

성능/효과

단대단 부호화 성능은 입력 비디오 뷰와 이를 압축 복원한 뷰 비디오를 이용하여 합성한 뷰포트 비디오의 화질을 비교한 것으로 아틀라스의 부호화 성능과 합성 성능이 모두 포함된 결과이다. 또한, BD-rate 값은 동일한 PSNR 화질을 기준으로 Anchor 대비 평균적인 비트율을 나타내므로 음의 값은 Anchor 보다 비트를 절감하여 부호화 성능이 개선되었음을 나타낸다. 표 2의 결과에서 모든 시퀀스에서 부호화 이득이 발생하는 것을 확인할 수 있다.
본 논문에서는 3DoF+ 비디오의 부호화 효율을 향상시키기 위한 아틀라스 생성 기법으로 아틀라스 내의 작은 블록 제거 방법을 제안하였다. 실험결과 제안기법은 아틀라스 자체의 부호화 성능을 향상시키고, 입력 3DoF+비디오에서 랜더링된 3DoF+ 비디오의 단대단 부호화 성능에서도 BD-rate을 감소시키는 부호화 성능 개선을 보였다. 제안한 아틀라스 생성 방법은 움직임 시차를 지원하는 전방위 비디오인 3DoF+ 비디오의 부호화 효율 향상을 위한 유용한 전처리 기법으로 활용될 수 있을 것으로 기대되며, 추가 성능개선을 위한 확장기법의 연구를 진행할 예정이다.
양측의 결과에 육안으로 확인 가능한 차이가 없음을 확인할 수 있다. 이를 통해 제안기법은 렌더링 되는 뷰포트 영상의 화질에 큰 영향을 주지 않는다는 것을 알 수 있다.
본 논문에서는, 아틀라스 내의 작은 블록들을 제거하여 3DoF+ 비디오의 부호화 효율을 개선하는 아틀라스를 생성 기법을 제안한다. 제안기법은 복원 및 합성되는 뷰포트(viewport) 영상의 화질에는 영향을 주지 않으면서 3DoF+비디오의 부호화 효율을 향상시킨다.
제안기법을 통해 아틀라스 내의 작은 블록들을 제거하면 렌더링 영상의 화질이 약간 저하될 수 있지만 아틀라스 부호화 효율이 향상된다. 그림 5는 TMIV를 통해 생성된 아틀라스의 일부를 예시로 보여준다.
표 1은 제안기법을 적용했을 때, 아틀라스만의 부호화에서 비트율이 얼마나 감소하는지를 보여준다. 표 1의 결과로 부터 제안한 방법을 통해 평균적으로 1.24%의 비트율 감소를 얻을 수 있음을 확인하였다. 표 2는 제안기법의 단대단(end-to-end) 부호화 실험결과를 BD-rate(Bjontegaard delta bit rate)[7] 측면에서 나타낸 것이다.
앞서 기술했듯이 제안기법은 유효영역을 포함하는 아틀라스 내의 작은 블록들을 제거하면 렌더링 된 영상의 화질을 저하시킬 수 있다는 단점이 있다. 하지만 렌더링 화질에 크게 영향을 주지 않도록 블록이 제거되는 크기의 기준을 적절히 설정해 주었고, 또한 제안기법을 통해 비트율을 크게 감소시킴으로써 BD-rate 측면에서 성능 향상이 있었다.

후속연구

실험결과 제안기법은 아틀라스 자체의 부호화 성능을 향상시키고, 입력 3DoF+비디오에서 랜더링된 3DoF+ 비디오의 단대단 부호화 성능에서도 BD-rate을 감소시키는 부호화 성능 개선을 보였다. 제안한 아틀라스 생성 방법은 움직임 시차를 지원하는 전방위 비디오인 3DoF+ 비디오의 부호화 효율 향상을 위한 유용한 전처리 기법으로 활용될 수 있을 것으로 기대되며, 추가 성능개선을 위한 확장기법의 연구를 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	3DoF+ 비디오는 무엇으로 구성되는가?	3DoF+ 비디오는 제한된 공간의 서로 다른 뷰 포인트에서 획득 및 생성된 뷰 비디오로 구성되며, 따라서 각 뷰 비디오 간에 높은 상관성이 존재한다. 3DoF+ 비디오 압축을 위한 MIV의 접근방법은 부호화 이전에 전처리를 통하여 3DoF+의 뷰 비디오 간에 존재하는 높은 중복성을 줄임으로써 화소율 압축(pixel rate reduction)을 하는 것이다.
	어떤 현상이 아틀라스 부호화를 수행할 때, 프레임 간의 유사성을 떨어뜨리며 화면간 예측을 어렵게 해서 부호화 효율을 감소시키는가?	이렇게 하면 아틀라스 부호화에 의해 발생하는 비트율을 크게 감소시킬 수 있다. 하지만 패치 내의 유효 및 비유효영역의 분포가 프레임마다 변동되기 때문에 작은 크기의 유효영역에 의해 생기는 블록들이 불규칙적으로 나타났다 사라지는 현상이 생긴다. 이러한 현상은 아틀라스 부호화를 수행할 때, 프레임 간의 유사성을 떨어뜨리며 화면간 예측을 어렵게 해서 부호화 효율을 감소시킬 수 있다.
	MPEG-I은 무엇인가?	MPEG에서는 이러한 몰입형 미디어의 압축 및 전송에 대한 표준 패키지로 MPEG-I (MPEGImmersive) 표준화를 진행하고 있다. MPEG-I는 2016년 10월 중국 청두에서 열린 116차 회의에서 만들어진 프로젝트 (“Coded Representation of Immersive Media,” ISO/IEC23090)로 몰입형 미디어를 위한 아키텍처, 전송 포맷, 오디오/비디오 압축, 메타데이터 등을 포함한 표준 패키지이며 이에 대한 표준화가 진행되고 있다[1][2].

참고문헌 (8)

"MPEG-I Use Cases for omnidirectional 6DoF, windowed 6DoF, and 6DoF," ISO/IEC JTC1/SC29/WG11, N16768, Apr. 2017.
M. Wien, J. M. Boyce, T. Stockhammer, and W.-H. Peng, "Standardization Status of Immersive Video Coding," IEEE Jour. Emerg. Select. Topics Circuits Syst., vol. 9, no. 1, Mar. 2019.
J. Boyce, R. Dore, V. Vadakital, "Working Draft 4 of Immersive Video," ISO/IEC JTC1/SC29/WG11, N19001, Jan. 2020.
B. Salahieh, B. Kroon, J. Jung, M. Doma？ski (Eds.), "Test model 4 for Immersive Video," ISO/IEC JTC1/SC29/WG11, N19002, Jan. 2020.
J. Jung, B. Kroon, J. Boyce, "Common Test Conditions for Immersive Video," ISO/IEC JTC1/SC29/WG11, N18997, Jan. 2020.
HM reference software, [Online]. Available at http://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware
ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, "On BD-rate Calculation," JCTVC-F270, Jul. 2011.
S. Lim, H. Kim, J. Kim, G. Lee, J. Jeong, J. Seo, "CE3-Related: Patch Trimming Using Hole Filling and Tiny Region Removal in Atlas," ISO/IEC JTC1/SC29/WG11, m53834, Apr. 2020.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

효율적인 3DoF+ 비디오 부호화를 위한 작은 블록 제거를 통한 아틀라스 생성 기법
An Atlas Generation Method with Tiny Blocks Removal for Efficient 3DoF+ Video Coding 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (8)

표/그림 (8)

AI 본문요약
AI-Helper

문제 정의

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

효율적인 3DoF+ 비디오 부호화를 위한 작은 블록 제거를 통한 아틀라스 생성 기법 An Atlas Generation Method with Tiny Blocks Removal for Efficient 3DoF+ Video Coding 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (8) 모든 표/그림 보기

표/그림 (8) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

김재곤 (77)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

효율적인 3DoF+ 비디오 부호화를 위한 작은 블록 제거를 통한 아틀라스 생성 기법
An Atlas Generation Method with Tiny Blocks Removal for Efficient 3DoF+ Video Coding 원문보기

초록
AI-Helper

표/그림 (8)

표/그림 (8)

AI 본문요약
AI-Helper