MPEG과 ITU-T에서 최근 표준화가 진행되고 있는 HEVC는 H.264/AVC에 비해, CU(coding unit), PU(prediction unit), TU(transform unit)의 다양한 형태 분할 단위를 갖는 것을 큰 특징으로 한다. 이 중, CU와 TU는 쿼드트리 형태의 재귀적 분할 구조를 가지도록 구성되는데, 압축 효율은 향상시키지만 높은 부호화 복잡도를 갖는 단점이 있다. 본 논문에서는 이러한 재귀적 분할 구조에서의 rate-distortion cost를 조건부 확률을 이용한 통계적 분석 방법을 사용하여, 분할이 일어나는 경우와 그렇지 않은 경우로 분류하는 방법을 제안한다. 제안한 방법을 HEVC의 재귀적 CU 부호화에 적용한 결과, 부호화 복잡도를 32% 가량 감소시키면서 압축 효율하락은 0.4-0.5%로 억제할 수 있었다. 또한, HM4.0에 구현되어 있는 고속 탐색 알고리즘과 함께 사용하는 경우, 압축 효율 하락을 0.9%로 억제하면서 부호화 복잡도를 1/2로 감소시킬 수 있었다.
MPEG과 ITU-T에서 최근 표준화가 진행되고 있는 HEVC는 H.264/AVC에 비해, CU(coding unit), PU(prediction unit), TU(transform unit)의 다양한 형태 분할 단위를 갖는 것을 큰 특징으로 한다. 이 중, CU와 TU는 쿼드트리 형태의 재귀적 분할 구조를 가지도록 구성되는데, 압축 효율은 향상시키지만 높은 부호화 복잡도를 갖는 단점이 있다. 본 논문에서는 이러한 재귀적 분할 구조에서의 rate-distortion cost를 조건부 확률을 이용한 통계적 분석 방법을 사용하여, 분할이 일어나는 경우와 그렇지 않은 경우로 분류하는 방법을 제안한다. 제안한 방법을 HEVC의 재귀적 CU 부호화에 적용한 결과, 부호화 복잡도를 32% 가량 감소시키면서 압축 효율하락은 0.4-0.5%로 억제할 수 있었다. 또한, HM4.0에 구현되어 있는 고속 탐색 알고리즘과 함께 사용하는 경우, 압축 효율 하락을 0.9%로 억제하면서 부호화 복잡도를 1/2로 감소시킬 수 있었다.
Recently, High Efficiency Video Coding (HEVC) is under development jointly by MPEG and ITU-T for the next international video coding standard. Compared to the previous standards, HEVC supports variety of splitting units, such as coding unit (CU), prediction unit (PU), and transform unit (TU). Among ...
Recently, High Efficiency Video Coding (HEVC) is under development jointly by MPEG and ITU-T for the next international video coding standard. Compared to the previous standards, HEVC supports variety of splitting units, such as coding unit (CU), prediction unit (PU), and transform unit (TU). Among them, it has been known that the recursive quadtree structure of CU can improve the coding efficiency while the encoding complexity is increased significantly. In this paper, a simple conditional probability to predict the early termination condition of recursive unit structure is introduced. The proposed conditional probability is estimated based on Bayes' formula from local statistics of rate-distortion costs in encoder. Experimental results show that the proposed method can reduce the total encoding time by about 32% according to the test configuration while the coding efficiency loss is 0.4%-0.5%. In addition, the encoding time can be reduced by 50% with 0.9% coding efficiency loss when the proposed method was used jointly with HM4.0 early CU termination algorithm.
Recently, High Efficiency Video Coding (HEVC) is under development jointly by MPEG and ITU-T for the next international video coding standard. Compared to the previous standards, HEVC supports variety of splitting units, such as coding unit (CU), prediction unit (PU), and transform unit (TU). Among them, it has been known that the recursive quadtree structure of CU can improve the coding efficiency while the encoding complexity is increased significantly. In this paper, a simple conditional probability to predict the early termination condition of recursive unit structure is introduced. The proposed conditional probability is estimated based on Bayes' formula from local statistics of rate-distortion costs in encoder. Experimental results show that the proposed method can reduce the total encoding time by about 32% according to the test configuration while the coding efficiency loss is 0.4%-0.5%. In addition, the encoding time can be reduced by 50% with 0.9% coding efficiency loss when the proposed method was used jointly with HM4.0 early CU termination algorithm.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
제안 방법
Pi(C|N)과 Pi(C|NC)를 계산하기 위해서는 재귀적 분할이 일어난 경우와 그렇지 않은 경우의 rate-distortion cost들에 대한 히스토그램을 생성해야 한다. 본 논문에서는 각 depth 별로 두 가지 경우에 대해 각각 rate-distortion cost를 수집한 후, 최소값과 최대값을 산출하고, 이 두 값 사이를 균등한 길이로 20등분한 히스토그램을 사용하였다. 즉, i번째 depth에 대해, 재귀적 분할이 일어나지 않은 경우의 rate-distortion cost들에 대한 데이터를 수집한 후, 이 데이터가 어떤 대역에 속하는 지를 계산하고, 해당되는 대역에 대한 누적 횟수를 증가시킴으로써 히스토그램 HNi[k]를 계산한다.
본 논문에서는 부호화기에서 분할이 일어난 경우와 그렇지 않은 경우 각각에 대해 수집된 rate-distortion cost C에 대해, 20개의 밴드로 구성된 히스토그램을 생성하고, 이로부터 확률을 계산하는 방법을 사용하였다. <그림 2>는 BasketballDrive 1080p@60Hz, QP 34, depth 1(32x32)에 대해, CU 재귀 트리의 부호화 과정에서 얻은 조건부 확률 Pi(C|N)과 Pi(C|NC)를 도식화 한 것이다.
제안한 방법을 적용하기 위해서는 식 (1)을 계산하기 위한 확률들인 Pi(N), Pi(NC), Pi(C|N), Pi(C|NC)를 계산하기 위한 통계데이터를 수집해야 한다. 본 논문에서는 임의의 영상에 대한 부호화를 수행함에 있어, 1초마다 초기 5프레임을 이용하여 통계데이터를 수집하여 분석한 뒤, 이 값을 이용하여 나머지 프레임에 대해 재귀적 분할 판단을 수행하는 방식을 택하였다. 이러한 방식을 통해 별도의 오프라인 학습 없이 제안된 방법을 적용할 수 있다.
본 논문에서는 쿼드트리 형태의 재귀적 분할 구조에 있어, rate-distortion cost를 조건부 확률에 기반한 통계적 분석 방법에 의해 분류하는 방법을 제안하고, 이에 기반한 고속 탐색 알고리즘을 적용하였다. 제안한 방법을 HEVC의 재귀적 CU 분할 구조에 적용한 결과 부호화기 연산량을 32% 감소시키면서 압축 효율 하락을 0.
본 논문에서는 쿼드트리 형태의 재귀적 유닛 구조에 대해, 잔차신호의 변환 계수가 모두 0이 되는 조건 대신, rate-distortion cost 자체를 직접 조건부 확률에 기반한 통계적 분석방법을 이용하여 재귀적 분할이 일어나는 경우와 그렇지 않은 경우의 두 가지로 분류하는 방법을 제안하고, 이 방법을 HEVC의 재귀적 CU 구조에 적용하였다. 또한, 독립적으로 사용되었을 경우는 물론 HM4.
본 논문에서는 각 depth 별로 두 가지 경우에 대해 각각 rate-distortion cost를 수집한 후, 최소값과 최대값을 산출하고, 이 두 값 사이를 균등한 길이로 20등분한 히스토그램을 사용하였다. 즉, i번째 depth에 대해, 재귀적 분할이 일어나지 않은 경우의 rate-distortion cost들에 대한 데이터를 수집한 후, 이 데이터가 어떤 대역에 속하는 지를 계산하고, 해당되는 대역에 대한 누적 횟수를 증가시킴으로써 히스토그램 HNi[k]를 계산한다.
0[14]에 제안한 방법을 구현하고, 압축 효율 및 부호화 연산량 측면에서 비교하였다. 특히, HM4.0에 이미 구현되어 있는 고속탐색 알고리즘[11]을 함께 적용한 경우에 대해서도 실험 결과를 구하였다. 압축 효율 및 부호화 연산량을 비교하기 위해서 JCT-VC에서 사용하는 공통 테스트 조건[15] 중 random-access scenario와 low-delay scenario를 사용하였으며, 평가 영상으로는 [15]에서 사용되는 테스트 영상 중 부호화 연산량이 가장 크게 문제가 되는 5개의 1080p 영상인 Kimono, ParkScene, Cactus, BasketballDrive, BQTerrace를 사용하였다.
대상 데이터
0에 이미 구현되어 있는 고속탐색 알고리즘[11]을 함께 적용한 경우에 대해서도 실험 결과를 구하였다. 압축 효율 및 부호화 연산량을 비교하기 위해서 JCT-VC에서 사용하는 공통 테스트 조건[15] 중 random-access scenario와 low-delay scenario를 사용하였으며, 평가 영상으로는 [15]에서 사용되는 테스트 영상 중 부호화 연산량이 가장 크게 문제가 되는 5개의 1080p 영상인 Kimono, ParkScene, Cactus, BasketballDrive, BQTerrace를 사용하였다. HM4.
데이터처리
제안한 방법의 효과를 검증하기 위해, HM4.0[14]에 제안한 방법을 구현하고, 압축 효율 및 부호화 연산량 측면에서 비교하였다. 특히, HM4.
성능/효과
5% 정도의 압축 효율 하락이 관측된다. [11]의 방법과 제안한 방법을 함께 적용한 경우, 부호화기 연산량은 49%-52% 가량 낮아지며, 이 때 압축 효율 하락은 0.9%로서, 제안한 방법을 [11]의 방법과 함께 적용하면, 1% 이내로 압축 효율 하락을 억제하면서도 HEVC의 부호화기 연산량을 약 1/2로 감소시킬 수 있는 것을 확인할 수 있었다.
과 의 결과로부터, 임계치의 값이 증가됨에 따라 부호화기 연산량 감소 효과가 감소하며 대신 압축 효율 감소가 완화되는 것을 알 수 있다.
본 논문에서는 쿼드트리 형태의 재귀적 분할 구조에 있어, rate-distortion cost를 조건부 확률에 기반한 통계적 분석 방법에 의해 분류하는 방법을 제안하고, 이에 기반한 고속 탐색 알고리즘을 적용하였다. 제안한 방법을 HEVC의 재귀적 CU 분할 구조에 적용한 결과 부호화기 연산량을 32% 감소시키면서 압축 효율 하락을 0.4-0.5%로 억제할 수 있다. 한편, 기존 HM4.
6% 가량 하락하였다. 한편 임계치의 값을 0.8로 설정한 경우, 부호화기 연산량이 약 32% 감소하면서도 압축 효율 하락이 0.4%-0.5% 가량으로 억제되어 제안한 방법이 효과적으로 동작함을 알 수 있었다. 이러한 결과로부터, 이후의 실험에서는 임계치를 0.
5%로 억제할 수 있다. 한편, 기존 HM4.0에 적용되어 있는 고속 탐색 알고리즘과 함께 사용하는 경우, 압축 효율 하락을 0.9%로 억제하면서 부호화기 연산량을 약 1/2로 감소시킬 수 있었다.
후속연구
한편, 이러한 조건들은 HEVC에 적용한 경우에도, 재귀적 분할 유닛 구조 전체를 탐색하는 대신 일부분만을 탐색함으로서 부호화기 연산량을 크게 감소시키면서 압축 성능 하락을 최소화 할 수 있다[11][12]. 이러한 방법들은 매우 효과적으로 부호화기의 연산량을 감소시킬 수 있지만, 변환 계수가 모두 0인 경우에 대한 특성만을 사용하기 때문에 그렇지 않은 경우에 대한 분석 및 고속 탐색 알고리즘은 부호화기의 연산량을 추가적으로 감소시킬 수 있을 것으로 예측된다.
질의응답
핵심어
질문
논문에서 추출한 답변
HEVC란?
최근 MPEG과 ITU-T에서는 H.264/AVC의 압축 효율을 2배 이상 향상시키는 것을 목표로 하는 신규 영상 압축 기술인 High Efficiency Video Coding(HEVC)에 대한 표준화를 공동으로 진행하고 있다[1][2]. HEVC는 H.
H.264/AVC는 어떠한 구조를 가지는가?
H.264/AVC에서는 하나의 slice를 16x16 크기를 갖는 매크로블록(macroblock; MB)들로 나누고, 분할모드에 따라 16x16, 16x8, 8x16, 8x8 등의 크기로 분할한 뒤, 8x8 분할의 경우 재차 8x8, 8x4, 4x8, 4x4 단위로 나눌 수 있도록 허용하는 구조를 가지고 있다. 이에 비해, HEVC에서는 최소 8x8에서 최대 64x64까지의 크기를 가질 수 있는 최대코딩단위(largest coding unit; LCU)들로 slice를 나누고, 각각의 LCU들이 쿼드트리 형태로 재귀적 분할되는 자유로운 형태를 갖고 있다.
원본 신호와 예측신호 간 차이인 잔차신호를 변환하는 과정에서 HEVC는 어떠한 일을 수행하는가?
이 과정에서, H.264/AVC의 경우 분할모드에따라 전체 MB에 동일한 형태의 변환 크기가 사용되는 반면, HEVC에서는 CU를 기준으로 재차 재귀적 분할을 수행하고, 이 변환단위(transform unit; TU) 크기의 변환을 잔차신호에 적용한다[7]. 이러한 CU 및 TU의 재귀적 유닛 구조는 H.
참고문헌 (16)
G. J. Sullivan, J.-R. Ohm, "Recent Developments in Standardization of High Efficiency Video Coding (HEVC)", SPIE Applications of Digital Image Proc. XXXIII, Proc. SPIE, Vol. 7798, paper 7798-30, Aug.2010.
JCT-VC, "Report of Subjective Test Results of Responses to the Joint Call for Proposals (CfP) on Video Coding Technology for High Efficiency Video Coding (HEVC)," Document JCTVC-A204, Dresden, DE, Apr. 2010.
E. Ohwovoriole, Y. Andreopoulos, "Rate-distortion performance of contemporary video codecs: Comparison of Google/WebM VP8, AVC/H.264, and HEVC TMuC", LENS Symp., London, Sep. 2010.
F. De Simone, L. Goldmann, J.-S. Lee, T. Ebrahimi, "Performance analysis of VP8 image and video compression based on subjective evaluations," SPIE Appl. Digital Image Proc. XXXIV, Aug. 2011.
T. Wiegand, J.-R. Ohm, G. J. Sullivan, W. J. Han, R. Joshi, T. K. Tan and K. Ugur, "Special Section on the Joint Call for Proposals on High Efficiency Video Coding (HEVC) Standardization," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 20, No. 12, pp. 1661-1666, Dec. 2010.
Woo-Jin Han, Junghye Min, Il-Koo Kim, Elena Alshina, Alexander Alshin, Tammy Lee, Jianle Chen, Vadim Seregin, Sunil Lee, Yoon-Mi Hong, Min-Su Cheon, Nikolay Shlyakhov, Ken McCann, Thomas Davies and Jeong-Hoon Park, "Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 20, No. 12, pp. 1709-1720, Dec. 2010.
D. Marpe, H. Schwarz, S. Bosse, B. Bross, P. Helle, T. Hinz, H. Kirchhoffer, H. Lakshman, T. Nguyen, S. Oudin, M. Siekmann, K. Suhring, M. Winken, and T. Wiegand, "Video Compression Using Nested Quadtree Structures, Leaf Merging, and Improved Techniques for Motion Representation and Entropy Coding," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 20, No. 12, pp. 1676-1687, Dec. 2010.
C. S. Kannangara, E. G. Richardson, M. Bystrom, J. R. Solera, Y. Zhao, A. Maclennan, R. Cooney, "Low complexity skip prediction for H.264 through Lagrangian cost estimation," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 16, No. 2, pp. 202-208, Feb. 2006.
I. Choi, J. Lee, B. Jeon, "Fast coding mode selection with rate-distortion optimization for MPEG-4 Part 10 AVC/H.264," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 16, No. 12, pp. 1557-1561, Dec. 2006.
H. Wang, S. Kwong, C. W. Kok, "An efficient mode decision algorithm for H.264/AVC encoding optimization," IEEE Transactions on Multimedia, Vol. 9, No. 4, pp. 882-888, Jun. 2007.
R. H. Gweon, Y. L. Lee, J. Lim, "Early termination of CU encoding to reduce HEVC complexity," JCTVC-F045, 6th JCT-VC meeting, Jul. 2011, Torino, Italy.
K. Choi, S. H. Park, E. S. Jang, "Coding tree pruning based CU early termination," JCTVC-F092, 6th JCT-VC meeting, Jul. 2011, Torino, Italy.
B. Bross, W. J. Han, J.-R. Ohm, G. J. Sullivan, T. Wiegand, "WD4:Working Draft 4 of High-Efficiency Video Coding," Document JCTVC-F803, Torino, IT, July 2011.
HEVC Model 4.0, available for download at http://hevc. kw. bbc.co.uk/trac/browser/jctvc-hm/tags/HM-4.0.
F. Bossen, "Common test conditions and software reference configurations," Document JCTVC-F900, Torino, IT, July 2011.
G. Bjontegarrd, "Calculation of average PSNR differences between RD curves," in ITU-T SC16/Q6 13th VCEG meeting, No. VCEG-M33, Austin, TX, Apr. 2001.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.