[논문]움직임 제한 타일 기법을 활용한 사용자 시점 기반 360 영상 전송

손장우; 장동민; 정종범; 류은석

[국내논문] 움직임 제한 타일 기법을 활용한 사용자 시점 기반 360 영상 전송
Viewport-Based 360 Degree Video Streaming using Motion-Constrained Tile Set 원문보기

한국방송공학회 2018년도 하계학술대회, 2018 June 20, 2018년, pp.92 - 95

손장우 (가천대학교) , 장동민 (가천대학교) , 정종범 (가천대학교) , 류은석 (가천대학교)

초록
AI-Helper

가상 현실을 위한 360 영상 비디오 전송기술이 활발히 연구되고 있다. 그러나 현재 가상현실 기기의 컴퓨팅 연산능력과 대역폭은 고화질 360 영상을 재생하기에 한계가 있다. 이 한계를 극복하기 위해 본 논문은 High Efficiency Video Coding (HEVC)와 Scalability Extension of HEVC (SHVC)를 활용하여 타일 기반의 360 도 영상 전송 기법을 제안한다. 제안하는 HEVC 와 SHVC 인코더는 타일을 독립적으로 전송 할 수 있는 비트 스트림을 생성한다. 제안하는 추출기는 사용자 시점에 해당하는 타일의 비트 스트림을 추출한다. 제안하는 기법에 의해 추출된 SHVC 비트스트림의 기본계층은 전체화면을 나타내며, 강화계층은 사용자 시점에 해당하는 타일로 구성된다. 제안하는 HEVC 인코더를 사용할 때에는 저화질과 고화질을 따로 인코딩하여 고화질만 사용자 시점에 해당하는 타일을 추출한다. 전체화면을 고화질로 보내는 대신에 전체화면을 저화질로, 사용자화면을 고화질로 보내기 때문에 제안하는 기법은 디코더의 컴퓨팅 연산과 네트워크 bitrate 를 대폭 줄일 수 있다. 본 제안 기법의 실험 결과는 전체화면 전송 대비 47%이상의 bitrate 를 줄인다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

MCTS 기법은 현재 화면과 참조화면 간 동일한 위치에 있는 타일의 시간적 참조를 제한하여 타일의 독립적 전송을 보장한다. 본 논문은 SHVC 와 HEVC reference software (SHM 와 HM)에서 MCTS 의 구현기법을 제안한다. 본 논문의 구현은 Moving Picture Experts Group (MPEG) 표준에 채택되었으며 [3], 더 나아가 전체 타일에서 사용자 시점에 해당하는 타일을 추출하는 기법을 제안한다.
현재 화면 (PicEL t)이 참조 화면 (PicEL t-1)을 참조 할 때, 만약 인코더에서 생성된 움직임 벡터가 디코딩 되지 않은 타일을 참조 할 경우 디코딩 문제가 발생한다. 그래서 본 논문은 해당 문제를 해결하기 위해 인코더에서 시간적 움직임 정보를 수정한다. 즉, 시간적 참조의 움직임 벡터가 현재 화면과 참조 화면의 같은 위치 타일을 가리키면 현재 화면의 PU 는 보간법과 AMVP, MERGE 모드를 고려하여 참조화면의 PU 를 참조한다.
본 연구는 사용자 시점 기반 SHVC 와 HEVC 타일 기법전송을 제안한다. SHVC 를 활용하여 기본계층은 전체화면을 인코딩 및 디코딩 하며 강화계층은 시간적 참조 시 제한하여 인코딩 후 사용자 시점에 해당하는 타일을 디코딩 한다.

제안 방법

본 논문은 SHVC 와 HEVC reference software (SHM 와 HM)에서 MCTS 의 구현기법을 제안한다. 본 논문의 구현은 Moving Picture Experts Group (MPEG) 표준에 채택되었으며 [3], 더 나아가 전체 타일에서 사용자 시점에 해당하는 타일을 추출하는 기법을 제안한다. 그림 1 은 서버와 클라이언트를 고려한 제안하는 시스템 개념도이다.
그림 1 은 서버와 클라이언트를 고려한 제안하는 시스템 개념도이다. 제안하는 SHM 과 HM 인코더는 독립적 타일 추출과 전송을 위해 시간적 움직임 정보를 제한하며, 추출을 위한 정보를 포함하고 있는 Extraction Information Sets (EIS) Supplemental Enhancement Information (SEI) 메시지를 생성한다 [4]. 제안하는 추출기는 클라이언트에게 사용자 시점 정보를 얻은 후 EIS SEI 메시지를 기반하여 원하는 타일에 해당하는 비트 스트림을 추출한다.
제안하는 SHM 과 HM 인코더는 독립적 타일 추출과 전송을 위해 시간적 움직임 정보를 제한하며, 추출을 위한 정보를 포함하고 있는 Extraction Information Sets (EIS) Supplemental Enhancement Information (SEI) 메시지를 생성한다 [4]. 제안하는 추출기는 클라이언트에게 사용자 시점 정보를 얻은 후 EIS SEI 메시지를 기반하여 원하는 타일에 해당하는 비트 스트림을 추출한다. 마침내 클라이언트는 추출된 비트 스트림을 디코딩한다.
하지만 field of view (FOV)에 해당하는 타일을 전송할 경우 약 30%~40%의 bitrate 를 절약했다. 본 연구는 해당 연구와 다르게 SHVC 와 HEVC 인코더를 모두 수정하였으며 MCTS 의 구현 과정을 표준에 따라 상세하게 기술한다. 우리는 또한 EIS 메시지를 활용하여 MCTS 가적용된 단일 비트 스트림을 추출하는 과정을 상세히 기술한다.
HEVC 의 경우에는 단일 레이어이기 때문에 계층 간 참조가 없다. 따라서 제안하는 HEVC 인코더는 다른 위치의 타일을 화면 간 시간적 참조 할 때 화면 내 공간적 참조를 수행한다.
제안하는 인코더를 활용하여 MCTS 가 적용된 비트스트림을 생성한 후 다음 단계는 사용자 시선에 해당하는 타일의 비트 스트림을 추출하는 것이다. 추출기는 Network Abstraction Layer (NAL) 단위 헤더를 분석하여 파라미터 셋, SEI 메시지, 슬라이스를 구별한다.
제안하는 인코더를 활용하여 MCTS 가 적용된 비트스트림을 생성한 후 다음 단계는 사용자 시선에 해당하는 타일의 비트 스트림을 추출하는 것이다. 추출기는 Network Abstraction Layer (NAL) 단위 헤더를 분석하여 파라미터 셋, SEI 메시지, 슬라이스를 구별한다. 타일은 NAL 단위가 아니기 때문에 타일과 슬라이스를 1 대 1 로 합쳐 인코딩 해야 한다.
2x2 사각형 모양의 4 개 타일의 경우가 6 개인 이유는 Equirectangular projection (ERP)의 왼쪽과 오른쪽이 붙어 있기 때문에 4 개에서 2 개가 추가된다 [8]. 본 연구는 MPEG 의 EIS SEI 초안 문법을 실제 코딩으로 구현하였다.
기존 PPS 를 분석할 때, 추출기는 화면단위로 NAL 유닛을 분석하기 위해 기존 화면을 구성하는 타일 개수를 구한다. 다음으로 추출기는 인코더에서 생성한 EIS SEI 메시지를 분석하여 기존 파라미터 셋을 target EIS id 값에 맞는 대체 파라미터 셋으로 바꾼다. 이후 추출기는 원하는 타일을 추출하기 위해 타일/슬라이스의 NAL 헤더를 분석하여 nuh_temporal_id_plus1 – 1 의 값이 target highest temporal id 값보다 작은 값을 선별한다.
본 연구는 Joint Video Exploration Team (JVET)에서 선정된 테스트 시퀀스를 사용하였으며 해당 시퀀스들은Random Access (RA) 코딩으로 인코딩 되었다 [11]. 본 연구는 Field of View (FOV)가 90 ~ 110 도 임을 감안하여 타일을 균등하게 3x3 9 등분으로 분할하였다. 따라서 최소 1 개부터 최대 4 개의 타일 까지 사용자 시점을 포함할 수 있다.

대상 데이터

따라서 최소 1 개부터 최대 4 개의 타일 까지 사용자 시점을 포함할 수 있다. 본 연구는 9 개의 경우의 수로 1 개 타일을 추출하고, 6 개의 경우의 수로 사각형 모양의 4 개 타일을 추출하였다.

이론/모형

SHM 과 HM 은 시간적 참조 시 움직임 정보의 데이터를 줄이기 위해 Advanced Motion Vector Prediction (AMVP) 와 Merge 모드를 사용한다 [9]. 두개의 모드는 공간과 시간적 블록을 모두 후보로 사용한다.
본 연구는 Joint Video Exploration Team (JVET)에서 선정된 테스트 시퀀스를 사용하였으며 해당 시퀀스들은Random Access (RA) 코딩으로 인코딩 되었다 [11]. 본 연구는 Field of View (FOV)가 90 ~ 110 도 임을 감안하여 타일을 균등하게 3x3 9 등분으로 분할하였다.

성능/효과

Zare 외 3 명은 HEVC 인코더를 MCTS 형태로 수정했다 [6]. 해당 연구는 3 개의 타일링 기법을 사용하였으며, 3%~6%의 인코딩 효율 손실 결과를 갖는다. 하지만 field of view (FOV)에 해당하는 타일을 전송할 경우 약 30%~40%의 bitrate 를 절약했다.
제안하는 SHM 과 HM 의 bitrate 는 각각 평균 8%와 11% 증가 하였으며, PSNR 은 각각 평균 0.04dB 와 0.05dB 감소하였다. 타일의 독립적 전송을 보장하기 위해 시간적 움직임 정보를 제한했기 때문에 bitrate 와 PSNR 에서 약간의 손실이 발생하였다.
표 2 의 경우에는 표 1 과 측정 방식이 같은 대신 제안하는 HM 인코더를 사용하였을 때 절약되는 bitrate 결과 값을 보여준다. 제안하는SHM 인코더를 사용하여 4 개 타일을 전송 할 경우 평균 48%의 bitrate 를 줄였으며, 1 개 타일을 전송 할 경우 최소 75%부터 최대 97%의 bitrate 를 줄였다. 제안하는 HM 인코더를 사용하여 4 개의 타일을 전송 할 경우 평균 47%의 bitrate 를 줄였다.
제안하는SHM 인코더를 사용하여 4 개 타일을 전송 할 경우 평균 48%의 bitrate 를 줄였으며, 1 개 타일을 전송 할 경우 최소 75%부터 최대 97%의 bitrate 를 줄였다. 제안하는 HM 인코더를 사용하여 4 개의 타일을 전송 할 경우 평균 47%의 bitrate 를 줄였다.
HEVC 인코더는 다른 위치 타일 시간적 참조 시 화면 내 인코딩을 수행한다. 제안하는 기법은 시간적 참조 시 AMVC 와 Merge 의 시간적 후보와 참조 범위를 제한하기 때문에 인코딩 효율에서 약간의 손실이 발생하지만 타일을 독립적으로 전송할 수 있다. 제안하는 SHM 과 HM 인코더를 활용하여 전체 9 개의 타일 중 4 개의 타일을 전송할 때 각각 평균 48%와 47%의 bitrate 를 줄였으며 1 개의 타일을 전송 할 경우 최소 75%부터 최대 97%의 bitrate 를 줄였다.
제안하는 기법은 시간적 참조 시 AMVC 와 Merge 의 시간적 후보와 참조 범위를 제한하기 때문에 인코딩 효율에서 약간의 손실이 발생하지만 타일을 독립적으로 전송할 수 있다. 제안하는 SHM 과 HM 인코더를 활용하여 전체 9 개의 타일 중 4 개의 타일을 전송할 때 각각 평균 48%와 47%의 bitrate 를 줄였으며 1 개의 타일을 전송 할 경우 최소 75%부터 최대 97%의 bitrate 를 줄였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	MCTS 기법의 한게는?	MPEG 표준화 단체는 추가화면 생성 없이 현재 화면의 움직임 벡터를 제한하는MCTS 기법을 논의 했다 [2]. MCTS 기법은 인코더에서 시간적 움직임 정보를 제한하기 때문에 약간의 인코딩 효율 하락이 발생한다. 하지만 MCTS 기법이 적용된 비트 스트림은 타일의 독립성을 보장하여 추출이 용이하다.
	MCTS 기법은 무엇을 보장하는가?	실제로 국제 표준화 미팅에서 사용자 시점 기반 전송을 위해 Motion-constrained tile set (MCTS) 기법이 논의되었다 [2]. MCTS 기법은 현재 화면과 참조화면 간 동일한 위치에 있는 타일의 시간적 참조를 제한하여 타일의 독립적 전송을 보장한다. 본 논문은 SHVC 와 HEVC reference software (SHM 와 HM)에서 MCTS 의 구현기법을 제안한다.
	기존 SHM 인코더는 같은 계층 간에 화면 간 시간적 참조를 하며, 다른 계층 간에는 업-샘플링 필터를 이용하여 계층 간 참조를 하는데 이는 어떤 문제를 발생시키는가?	기존 SHM 인코더는 같은 계층 간에 화면 간 시간적 참조를 하며, 다른 계층 간에는 업-샘플링 필터를 이용하여 계층 간 참조를 한다 [7]. 이는 디코더가 전체화면을 디코딩 할 때 문제없이 진행되지만, 일부 타일만 디코딩 할 때 시간적 참조의 움직임 추정과 보상에서 문제가 발생한다. 그림 2 는 일부 타일만 디코딩 할 때 발생하는 시간적 참조 문제를 설명한다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 움직임 제한 타일 기법을 활용한 사용자 시점 기반 360 영상 전송
Viewport-Based 360 Degree Video Streaming using Motion-Constrained Tile Set 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 움직임 제한 타일 기법을 활용한 사용자 시점 기반 360 영상 전송 Viewport-Based 360 Degree Video Streaming using Motion-Constrained Tile Set 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 움직임 제한 타일 기법을 활용한 사용자 시점 기반 360 영상 전송
Viewport-Based 360 Degree Video Streaming using Motion-Constrained Tile Set 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper