[논문]VVC의 화면간 가중 양예측(BCW)을 위한 효율적인 가중치 시그널링 기법

박도현; 윤용욱; 이진호; 강정원; 김재곤

doi:10.5909/jbe.2020.25.3.346

VVC의 화면간 가중 양예측(BCW)을 위한 효율적인 가중치 시그널링 기법
An Efficient Weight Signaling Method for BCW in VVC 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.3, 2020년, pp.346 - 352

박도현 (한국항공대학교 항공전자정보공학과) , 윤용욱 (한국항공대학교 항공전자정보공학과) , 이진호 (한국전자통신연구원) , 강정원 (한국전자통신연구원) , 김재곤 (한국항공대학교 항공전자정보공학과)

초록
AI-Helper

표준화 마무리 단계인 차세대 비디오 부호화 표준 VVC(Versatile Video Coding)는 HEVC(High Efficiency Video Coding) 보다 두배 이상의 압축 성능을 달성하기 위해 다양한 기술들을 채택하고 있다. VVC는 GPB(Generalized P and B) 슬라이스에서의 양예측(bi-prediction) 기법의 성능 향상을 위하여 두 예측신호에 다양한 가중치를 적용하여 최종 예측신호를 생성하는 BCW(Bi-prediction with CU-level Weight)를 채택하였다. BCW 가중치는 가용한 참조픽처 중 재생 순서상 미래 픽처의 존재 유무를 지시하는 신택스(syntax) 요소인 NoBackwardPredFlag에 따라 적응적으로 시그널링 된다. 이러한 신택스 구조는 비디오 코덱의 유연성을 저해하고 비트스트림 파싱(parsing) 단계에서의 의존성 문제를 야기한다. 본 논문에서는 이러한 문제를 해결하기 위하여 가중치 전송에서 기존의 조건 판단 없이 가능한 모든 가중치를 허용하는 기법을 제안하였으며, 부호화기에서의 다양한 가중치 탐색을 통해 제안방법의 성능을 확인하였다. 제안된 기법은 제기된 문제를 해결하면서도 실험결과 3개의 가중치 탐색을 수행하였을 때 무시할 정도의 BD-rate 손실과 5개의 가중치 탐색을 수행하였을 때 다소의 부호화 성능 향상을 확인하였다.

Abstract ▼ AI-Helper

Versatile Video Coding (VVC), a next-generation video coding standard that is in the final stage of standardization, has adopted various techniques to achieve more than twice the compression performance of HEVC (High-Efficiency Video Coding). VVC adopted Bi-prediction with CU-level Weight (BCW), which generates the final prediction signal with the weighted combination of bi-predictions with various weights, to enhance the performance of the bi-predictive inter prediction. The syntax element of the BCW index is adaptively coded according to the value of NoBackwardPredFlag which indicates if there is no future picture in the display order among the reference pictures. Such syntax structure for signaling the BCW index could violate the flexibility of video codec and cause the dependency issue at the stage of bitstream parsing. To address these issues, this paper proposes an efficient BCW weight signaling method which enables all weights and parsing without any condition check. The performance of the proposed method was evaluated with various weight searching methods in the encoder. The experimental results show that the proposed method gives negligible BD-rate losses and minor gains for 3 weights searching and 5 weights searching, respectively, while resolving the issues.

주제어

표/그림 (6)

그림 그림 1. BCW 예측 모드 Fig. 1. BCW prediction mode
그림 그림 2. NoBackwardPredFlag==1의 예 Fig. 2. An example of NoBackwardPredFlag==1
표 표 1. bcw_idx에 대한 가중치 및 이진화 Table 1. The weights and their binarization for bcw_idx
표 표 2. 제안하는 가중치 전송 기법 Table 2. Proposed weight signaling
표 표 3. 제안하는 기법의 실험결과(3 가중치 탐색) Table 3. Experimental results of the proposed method with the 3 weights searching
표 표 4. 제안하는 기법의 실험결과(5 가중치 탐색) Table 4. Experimental result of the proposed method with the 5 weights searching

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 CU(Coding Unit) 단위의 화면 간 양 예측 (bi-prediction)에서 각 예측에 제한적 가중치를 적용하여 최종 예측블록을 생성하는 BCW 모드를 분석하고 효율적인 BCW 가중치 시그널링(signaling) 기법을 제안한다. 본 논문의 제2장에서는 VVC의 BCW 화면 간 예측 모드 및 가중치 전송 알고리즘을 자세히 설명하고, 제3장에서는 효율적인 가중치 전송 기법을 제안한다.
본 논문에서는 VVC의 BCW 모드 복호화에서의 bcw_idx 파싱에서 현재블록이 사용할 수 있는 가중치를 결정하는 NoBackwardPredFlag 조건을 제거하는 양 예측에 대한 효율적인 가중치 시그널링 기법을 제안하였다. 양 예측에서 모든 경우의 가중치를 시그널링 가능하게 하여 상기 조건이 야기하는 파싱 지연 문제와 코덱 유연성 문제를 해결하였다.

제안 방법

BCW 가중치 시그널링에서 발생하는 여러 문제들을 해결하기 위해 제안하는 방법에서는 가중치 인덱스의 시그널링 및 파싱에서 NoBackwardPredFlag의 상태를 확인하는 조건을 제거함으로써 bcw_idx 파싱 단계에서 NoBackwardPredFlag와의 의존성을 제거하고 지연문제를 해결한다. 또한, 조건 없이 모든 가중치(-2, 3, 4, 5, 10)에 대한 시그널링이 가능해짐으로써 비디오 코덱의 자율성, 유연성 문제도 해결한다.
일반적으로 양예측은 서로 다른 두개의 단방향 움직임 정보로부터 생성된 두개의 화면 간 예측블록을 평균하여 최종 예측블록을 생성하는 기법을 의미한다. 그림 1과 같이 VVC에서는 같은 가중치를 사용하던 양 예측을 확장하여두 단방향 화면 간 예측이 서로 다른 가중치를 두고 양 예측을 수행하는 BCW 모드를 채택 및 적용하였다.
본 논문에서는 제안하는 가중치 전송 기법을 구현하고 검증하기 위해 두 가지 가중치 탐색 기법을 적용하였다. 먼저 기존 BCW 인덱스 전송 기법의 비효율성을 증명하기 위 해 부호화기에서 3개(3, 4, 5)의 가중치만 탐색하고 시그널링 하였으며, 제안하는 가중치 전송 기법에서 가능한 성능 향상을 확인하기 위해 5개(-2. 3. 4, 5, 10)의 가중치 모두 탐색하고 시그널링 하였다. 첫 번째 3개의 가중치 탐색에서는 기존 VTM과 동일하게 가중치를 {4, 3, 5}의 순서로 탐색 및 선택하여 최적의 가중치를 결정하였고 확장된 5개의 가중치 탐색에서는 가중치 값을 {4, 3, 5, -2, 10} 순서로 탐색하여 최적의 가중치를 결정하였다.
실제 전송되는 가중치는 부호화기에서의 사용자 정의를 통해 조절하였다. 본 논문에서는 제안하는 가중치 전송 기법은 부호화기에서의 가중치 탐색 범위에 따른 두 가지의 실험을 통해서 성능을 확인하였다. 실험결과 세개의 가중치를 사용하였을 때 미미한 부호화 성능의 손실을 보였고 다섯의 가중치를 사용하였을 때 부호화 성능향상을 보였다.
본 논문에서는 제안하는 가중치 전송 기법을 구현하고 검증하기 위해 두 가지 가중치 탐색 기법을 적용하였다. 먼저 기존 BCW 인덱스 전송 기법의 비효율성을 증명하기 위 해 부호화기에서 3개(3, 4, 5)의 가중치만 탐색하고 시그널링 하였으며, 제안하는 가중치 전송 기법에서 가능한 성능 향상을 확인하기 위해 5개(-2.
양 예측에서 모든 경우의 가중치를 시그널링 가능하게 하여 상기 조건이 야기하는 파싱 지연 문제와 코덱 유연성 문제를 해결하였다. 실제 전송되는 가중치는 부호화기에서의 사용자 정의를 통해 조절하였다. 본 논문에서는 제안하는 가중치 전송 기법은 부호화기에서의 가중치 탐색 범위에 따른 두 가지의 실험을 통해서 성능을 확인하였다.
실험에 사용된 시퀀스 클래스는 A, B, C, D, F이며 QP는 22, 27, 32, 37로 설정하고 RA 환경에서 실험을 진행하였으며 BD-rate(Bjøntegaard-Delta bitrate)로 부호화 성능을 표시하였다 [10].
4, 5, 10)의 가중치 모두 탐색하고 시그널링 하였다. 첫 번째 3개의 가중치 탐색에서는 기존 VTM과 동일하게 가중치를 {4, 3, 5}의 순서로 탐색 및 선택하여 최적의 가중치를 결정하였고 확장된 5개의 가중치 탐색에서는 가중치 값을 {4, 3, 5, -2, 10} 순서로 탐색하여 최적의 가중치를 결정하였다. 5개의 가중치 값을 탐색하는 순서는 기존 VTM의 NoBackwardPredFlag가 ‘1’ 인 경우에 수행하는 가중치 탐색 순서와 같다.

대상 데이터

표 4는 제안하는 가중치 전송에 따라 기존 3개의 가중치 탐색에서 최대 5개의 가중치 탐색으로 확장하여 실험한 결과이다. 실험에 사용된 시퀀스 클래스는 B, C, D이며 마찬가지로 QP는 22, 27, 32, 37로 설정하고 RA 환경에서 실험을 진행하였다. 표4와 같이 실험결과 B, C, D 클래스 각각 0.

이론/모형

제안하는 효율적인 가중치 전송 기법은 VVC의 CTC (Common Test Condition)에 따라 VTM6.0 및 VTM8.0에 구현하여 성능을 확인하였다 ^[9]. JVET은 매 회의의 결과로 회의의 내용이 반영된 소프트웨어를 배포하고 있으며 연구의 시점에 따라서 VTM 버전의 차이가 발생하였지만 VTM6.

성능/효과

이는 부호화 과정에서 탐색되는 가중치가 증가하였기 때문에 발생하는 부호화 성능으로 판단된다. 또한, 가중치 탐색의 수의 증가로 인한 부호화 시간이 B, C, D 클래스에 각각 21%, 26%, 22% 증가를 확인하였고 복호화 시간은 미미한 차이를 보였다.
02%의 BD-rate 성능 감소를 확인하였고 이는 NoBackwardPredFlag를 제거하여 기존 가중치 전송의 다양한 문제점을 해결하면서도 제안하는 방법이 발생시킬 수 있는 추가되는 코드 워드의 오버헤드가 크지 않다는 것을 의미한다. 또한, 기존 VTM과 동일한 가중치 탐색을 수행함에 따라서 부호화 시간은 증가하지 않았으며 복호화 시간은 실험 오차로 보이는 미미한 차이를 확인하였다.
본 논문에서는 제안하는 가중치 전송 기법은 부호화기에서의 가중치 탐색 범위에 따른 두 가지의 실험을 통해서 성능을 확인하였다. 실험결과 세개의 가중치를 사용하였을 때 미미한 부호화 성능의 손실을 보였고 다섯의 가중치를 사용하였을 때 부호화 성능향상을 보였다. 그러나 가능한 가중치 수의 증가에 따라 부호화 복잡도가 20% 이상 증가하였으며 성능저하 없이 부호화 복잡도를 줄이는 추가적인 연구가 필요하다.
본 논문에서는 VVC의 BCW 모드 복호화에서의 bcw_idx 파싱에서 현재블록이 사용할 수 있는 가중치를 결정하는 NoBackwardPredFlag 조건을 제거하는 양 예측에 대한 효율적인 가중치 시그널링 기법을 제안하였다. 양 예측에서 모든 경우의 가중치를 시그널링 가능하게 하여 상기 조건이 야기하는 파싱 지연 문제와 코덱 유연성 문제를 해결하였다. 실제 전송되는 가중치는 부호화기에서의 사용자 정의를 통해 조절하였다.
표 3은 인코더 상에서 BCW 가중치 탐색은 기존 방법을 유지하며 제안하는 가중치 전송 기법을 사용하였을 때의 성능을 보여준다. 표 3과 같이 해당실험에서 평균 0.02%의 BD-rate 성능 감소를 확인하였고 이는 NoBackwardPredFlag를 제거하여 기존 가중치 전송의 다양한 문제점을 해결하면서도 제안하는 방법이 발생시킬 수 있는 추가되는 코드 워드의 오버헤드가 크지 않다는 것을 의미한다. 또한, 기존 VTM과 동일한 가중치 탐색을 수행함에 따라서 부호화 시간은 증가하지 않았으며 복호화 시간은 실험 오차로 보이는 미미한 차이를 확인하였다.
실험에 사용된 시퀀스 클래스는 B, C, D이며 마찬가지로 QP는 22, 27, 32, 37로 설정하고 RA 환경에서 실험을 진행하였다. 표4와 같이 실험결과 B, C, D 클래스 각각 0.05%, 0.06%, 0.03%의 BD-rate 향상을 보였다. 이는 부호화 과정에서 탐색되는 가중치가 증가하였기 때문에 발생하는 부호화 성능으로 판단된다.

후속연구

실험결과 세개의 가중치를 사용하였을 때 미미한 부호화 성능의 손실을 보였고 다섯의 가중치를 사용하였을 때 부호화 성능향상을 보였다. 그러나 가능한 가중치 수의 증가에 따라 부호화 복잡도가 20% 이상 증가하였으며 성능저하 없이 부호화 복잡도를 줄이는 추가적인 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	VVC에선 무엇을 달성하기 위해 다양한 기술들을 채택하고 있는가?	표준화 마무리 단계인 차세대 비디오 부호화 표준 VVC(Versatile Video Coding)는 HEVC(High Efficiency Video Coding) 보다 두배 이상의 압축 성능을 달성하기 위해 다양한 기술들을 채택하고 있다. VVC는 GPB(Generalized P and B) 슬라이스에서의 양예측(bi-prediction) 기법의 성능 향상을 위하여 두 예측신호에 다양한 가중치를 적용하여 최종 예측신호를 생성하는 BCW(Bi-prediction with CU-level Weight)를 채택하였다.
	VVC에서, GPB(Generalized P and B) 슬라이스에서의 양예측(bi-prediction) 기법의 성능 향상을 위하여 무엇을 채택하였는가?	표준화 마무리 단계인 차세대 비디오 부호화 표준 VVC(Versatile Video Coding)는 HEVC(High Efficiency Video Coding) 보다 두배 이상의 압축 성능을 달성하기 위해 다양한 기술들을 채택하고 있다. VVC는 GPB(Generalized P and B) 슬라이스에서의 양예측(bi-prediction) 기법의 성능 향상을 위하여 두 예측신호에 다양한 가중치를 적용하여 최종 예측신호를 생성하는 BCW(Bi-prediction with CU-level Weight)를 채택하였다. BCW 가중치는 가용한 참조픽처 중 재생 순서상 미래 픽처의 존재 유무를 지시하는 신택스(syntax) 요소인 NoBackwardPredFlag에 따라 적응적으로 시그널링 된다.
	Versatile Video Coding의 화면간 예측 부호화 기법은 어떻게 나뉘는가?	VVC의 화면간 예측 부호화 기법은 크게 움직임 벡터를 효율적으로 부호화하기 위한 기법과 움직임 보상을 효율적으로 수행하기 위한 기법으로 나눌 수 있다. 움직임 벡터 부호화 기법에는 MMVD(Merge with Motion Vector Difference), SMVD(Symmetric MVD) 등이 있으며 효율적인 움직임 예측 및 보상 기법은 BDOF(Bi-Directional Optical Flow), GPM(Geometric Partitioning Mode), BCW (Biprediction with CU-level Weight), CIIP(Combined Inter and Intra Prediction) 등이 있다[5].

참고문헌 (10)

High Efficiency Video Coding, Version 1, Rec. ITU-T H.265, ISO/IEC 23008-2, Jan. 2013.
B. Bross, J. Chen, S. Liu and Y.-K. Wang, "Versatile Video Coding (Draft 8)," Joint Video Experts Team of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JVET-Q2001, Jan. 2020.
Available at: https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/-/tags
F. Bossen, X. Li, and K. Suehring, "AHG report: Test model software development (AHG3)," Joint Video Experts Team of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JVET-Q0003, Jan. 2020.
J. Chen, Y. Ye, and S. Kim, "Algorithm description for Versatile Video Coding and Test Model 8 (VTM 8)," Joint Video Experts Team of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JVET-Q0003, Jan. 2020.
D. Park, Y.-U. Yoon, J.-G. Kim, J. Lee, and J. Kang, "CE10-realted: Simplification of triangular partitions," Joint Video Experts Team of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JVET-M0352, Jan. 2019.
D. Park, Y.-U. Yoon, J. Do, J.-G. Kim, J. Lee, and J. Kang, "Non-CE4: BCW clean-up for weight signaling," Joint Video Experts Team of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JVET-P0317, Oct. 2019.
D. Park, Y.-U. Yoon, J.-H. Do, and J.-G. Kim, "A Method of Merge Candidate List Construction using and Alternative Merge Candidate," JBE Vol. 24, No. 1, Jan. 2019.
F. Bossen, J. Boyce, X. Li. V. Sergin and K. Suhring, "JVET common test conditions and software reference configurations for SDR video," Joint Video Experts Team of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JVET-N1010, March 2019.
G. Bjontegaard, "Calculation of average PSNR differences between RD curves," ITU-T SG.16 Q.6, VCEG-M33, Apr. 2001.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증