HEVC 비디오 압축 표준은 기존 비디오 표준보다 더 다양한 블록 구조와 예측 모드를 사용함으로써 우수한 부호화 성능을 제공하나, 최적의 블록 크기 및 예측 모드를 결정하기 위한 RDO(Rate Distortion Optimization)과정으로 인해 연산량이 많다는 단점을 가진다. 이를 개선하기 위해 본 논문에서는 화면 내 예측 수행 전 CU영역의 모멘트 값을 계산하고 이를 CU영역의 텍스쳐 복잡도로 이용하여 CU의 분할 여부를 결정하는 모멘트 기반의 고속 CU크기 결정 방법을 제안한다. 제안하는 방법은 기존의 방법을 차용하여 CU영역의 밝기 값에 대한 분산 값을 계산하여 영역의 텍스쳐 평평도를 추정하고, 추가로 CU영역의 밝기 값에 대한 비대칭도를 계산하여 CU영역을 이루는 밝기 값 분포의 비대칭성 정도를 측정한 뒤 이를 조합하여 기존 방법보다 더 정밀하게 텍스쳐 복잡도를 측정하였으며, 이를 RDO과정 중 현재 CU의 분할 여부를 결정하는데 이용하여 기존의 부정확한 CU분할 여부 결정 방법을 개선시킨 고속 CU크기 결정 방법을 제안한다. 제안 방법의 실험 결과는 기존 방법 대비 4.2%의 BD-rate 감소를 보여주며, HM-10.0과 비교하여 BD-rate는 1.1% 증가하였고, 인코딩 시간이 32% 절감되었다.
HEVC 비디오 압축 표준은 기존 비디오 표준보다 더 다양한 블록 구조와 예측 모드를 사용함으로써 우수한 부호화 성능을 제공하나, 최적의 블록 크기 및 예측 모드를 결정하기 위한 RDO(Rate Distortion Optimization)과정으로 인해 연산량이 많다는 단점을 가진다. 이를 개선하기 위해 본 논문에서는 화면 내 예측 수행 전 CU영역의 모멘트 값을 계산하고 이를 CU영역의 텍스쳐 복잡도로 이용하여 CU의 분할 여부를 결정하는 모멘트 기반의 고속 CU크기 결정 방법을 제안한다. 제안하는 방법은 기존의 방법을 차용하여 CU영역의 밝기 값에 대한 분산 값을 계산하여 영역의 텍스쳐 평평도를 추정하고, 추가로 CU영역의 밝기 값에 대한 비대칭도를 계산하여 CU영역을 이루는 밝기 값 분포의 비대칭성 정도를 측정한 뒤 이를 조합하여 기존 방법보다 더 정밀하게 텍스쳐 복잡도를 측정하였으며, 이를 RDO과정 중 현재 CU의 분할 여부를 결정하는데 이용하여 기존의 부정확한 CU분할 여부 결정 방법을 개선시킨 고속 CU크기 결정 방법을 제안한다. 제안 방법의 실험 결과는 기존 방법 대비 4.2%의 BD-rate 감소를 보여주며, HM-10.0과 비교하여 BD-rate는 1.1% 증가하였고, 인코딩 시간이 32% 절감되었다.
The High Efficiency Video Coding (HEVC) standard provides superior coding efficiency by utilizing highly flexible block structure and more diverse coding modes. However, rate-distortion optimization (RDO) process for the decision of optimal block size and prediction mode requires excessive computati...
The High Efficiency Video Coding (HEVC) standard provides superior coding efficiency by utilizing highly flexible block structure and more diverse coding modes. However, rate-distortion optimization (RDO) process for the decision of optimal block size and prediction mode requires excessive computational complexity. To alleviate the computation load, this paper proposes a new moment-based fast CU size decision algorithm for intra coding in HEVC. In the proposed method, moment values are computed in each CU block to estimate the texture complexity of the block from which the decision on an additional CU splitting procedure is performed. Unlike conventional methods which are mostly variance-based approaches, the proposed method incorporates the third-order moments of the CU block in the design of the fast CU size decision algorithm, which enables an elaborate classification of CU types and thus improves the RD-performance of the fast algorithm. Experimental results show that the proposed method saves 32% encoding time with 1.1% increase of BD-rate compared to HM-10.0, and 4.2% decrease of BD-rate compared to the conventional variance-based fast algorithm.
The High Efficiency Video Coding (HEVC) standard provides superior coding efficiency by utilizing highly flexible block structure and more diverse coding modes. However, rate-distortion optimization (RDO) process for the decision of optimal block size and prediction mode requires excessive computational complexity. To alleviate the computation load, this paper proposes a new moment-based fast CU size decision algorithm for intra coding in HEVC. In the proposed method, moment values are computed in each CU block to estimate the texture complexity of the block from which the decision on an additional CU splitting procedure is performed. Unlike conventional methods which are mostly variance-based approaches, the proposed method incorporates the third-order moments of the CU block in the design of the fast CU size decision algorithm, which enables an elaborate classification of CU types and thus improves the RD-performance of the fast algorithm. Experimental results show that the proposed method saves 32% encoding time with 1.1% increase of BD-rate compared to HM-10.0, and 4.2% decrease of BD-rate compared to the conventional variance-based fast algorithm.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 [6]의 부정확한 텍스쳐 복잡도 측정 방법을 개선한 모멘트 기반 고속 CU 크기 결정 알고리즘을 제안한다.
본 논문에서는 모멘트 기반 고속 CU크기 결정 알고리즘을 제안하였다. CU영역의 픽셀 밝기 값들에 대해 2차 중심 모멘트인 분산과 정규화된 3차 중심 모멘트인 비대칭도 값을 계산하여 이를 텍스쳐 복잡도를 측정하는데 이용하였고, HEVC 인코더의 복잡한 RDO과정을 개선시키기 위해 화면 내 예측 수행 전 텍스쳐 복잡도에 따라 CU의 분할 여부를 결정하여 인코딩 수행 시간을 단축하였다.
본 논문에서는 이러한 영역들까지 고려하여 CTU 유형을 μ2와 |γ1| 에 따라 4가지 유형으로 분류하여 CTU의 모멘트 값과 RDO수행 결과 CTU가 갖는 최대 깊이 레벨 간의 상관성을 분석해 보았다.
본 논문에서는 지금까지 제안된 고속 CU 크기 결정 방법들 중 입력 영상의 텍스쳐 특징을 이용한 방법들에 대해 분석하고자 한다.
제안 방법
본 논문에서는 모멘트 기반 고속 CU크기 결정 알고리즘을 제안하였다. CU영역의 픽셀 밝기 값들에 대해 2차 중심 모멘트인 분산과 정규화된 3차 중심 모멘트인 비대칭도 값을 계산하여 이를 텍스쳐 복잡도를 측정하는데 이용하였고, HEVC 인코더의 복잡한 RDO과정을 개선시키기 위해 화면 내 예측 수행 전 텍스쳐 복잡도에 따라 CU의 분할 여부를 결정하여 인코딩 수행 시간을 단축하였다. 실험 결과 제안한 방법의 RRT는 평균 34%, [6]은 평균 58%로 제안 방법은 [6]방법에 비해 정확도를 개선한 대신 수행 시간은 더 증가하였다.
논문 [8]에서는 현재 CU영역의 텍스쳐 정보와 인접한 CU들의 깊이 정보를 조합하여 현재 CU의 RDO수행 범위를 조정하는 방법을 제안하였다. [6]과 마찬가지로 분산을 이용하여 CU영역의 텍스쳐 복잡도를 측정하였으며 동시에 현재 CU와 인접한 CU들의 깊이 레벨 값을 이용하여 현재 CU의 깊이 레벨을 예측한 뒤, 측정된 두 예측치를 조합하여 현재 CU의 분할 여부 및 RDO수행 범위를 조정하였다. [8]은 [6]방법에서 분산만을 이용하여 CU의 분할 여부를 결정할 때 발생하는 오류를 개선시키기 위해 분산에 대한 다중 임계치를 사용하고, 분산 뿐 아니라 인접한 CU의 깊이 정보를 추가적으로 사용함으로써 [6]방법에 비해 개선된 결과를 보인다.
이로 인해 RDO결과 큰 RD-cost를 얻게 될 것이며 결과적으로 코딩 효율을 낮추게 된다. 따라서 분산만을 이용하여 영역의 텍스쳐 복잡도를 측정하는 것은 부적절하며 본 논문에서는 CU영역의 밝기값에 대한 분산 뿐 아니라 비대칭도를 계산하여 보다 정밀하게 텍스쳐 복잡도를 측정하고 이를 CU의 분할 여부를 결정하는데 이용하여 기존의 부정확한 CU분할 여부 결정 방법을 개선시킨 고속 CU크기 결정 방법을 제안한다.
또, 추가적으로 기존 [7]방법 대비 제안 방법의 성능 개선 정도를 비교하기 위한 실험을 진행하였다. [표 6]은 기존 HM10.
본 논문에서 제안한 방법과 논문 [6]방법의 기존 HEVC 대비 성능 개선 정도를 비교하기 위해 두 알고리즘을 HEVC 참조 소프트웨어인 HM-10.0으로 구현하고 모든 영상을 화면 내 부호화하는 “All-Intra Main”으로 수행하였다[9][10].
인 분산은 변수들이 평균으로부터 떨어져 있는 정도를 나타낸다. 본 논문에서는 아래 수식(1)을 이용하여 NxN CU영역의 밝기 값에 대한 분산을 계산하였다.
수식(2)에서 σY는 NxN CU영역의 픽셀 밝기 값 Y(i,j)의 표준편차를 나타내며, 본 논문에서는 (2)를 이용하여 NxN CU영역의 픽셀 밝기 값 분포에 대한 비대칭도 값을 계산하였다.
[표 1]-[표 4]는 CTU 유형별 최대 깊이 레벨 분포를 측정한 결과이다. 실험을 위해 해상도가 각각 다른 Class A, B, C ,E ,F 에서 각 각 1개의 영상을 사용하였으며, 각 영상에 대해 인트라 코딩 모드에서 RDO수행 결과 CTU들이 갖는 최대 깊이 레벨을 측정하였다. 최대 깊이 레벨은 QP 22, 27, 32, 37일 때 각각 측정하여 평균을 취한 뒤 최종 최대 깊이 레벨로 결정하였다.
정규화된 3차 중심 모멘트 γ1은 비대칭도 또는 비틀림 정도(skewness)라고 부르며, 통계학에서 확률 변수의 확률 분포 비대칭성을 나타내는 지표로, 본 논문에서는 CU영역을 이루는 밝기 값 분포의 비대칭성을 측정하는데 이용하였다.
테스트 영상은 Class A 부터 Class D까지 각 Class별로 2개씩 활용하였으며 QP 22, 27, 32, 37에 대해 측정하였다. 제안하는 방법의 성능은 BD-rate와 시간 감소를 나타내는 RRT(Reduction Rate of Time)로부터 측정되었다. RRT 계산식은 아래와 같다.
실험을 위해 해상도가 각각 다른 Class A, B, C ,E ,F 에서 각 각 1개의 영상을 사용하였으며, 각 영상에 대해 인트라 코딩 모드에서 RDO수행 결과 CTU들이 갖는 최대 깊이 레벨을 측정하였다. 최대 깊이 레벨은 QP 22, 27, 32, 37일 때 각각 측정하여 평균을 취한 뒤 최종 최대 깊이 레벨로 결정하였다.
대상 데이터
HEVC 화면 내 예측 모드의 경우, 각 CU는 PU(Prediction Unit)단위로 예측을 수행한다. 또 예측 방향 모드는 기존 H.264/AVC의 DC, planar, vertical, horizontal모드를 포함한 총 35개 예측 방향 모드를 사용한다. HEVC 인코더는 부호화 수행 전 이런 다양한 크기와 예측 방향 모드들 중 예측 오류를 최소화 하는 최적의 CU크기와 PU예측 방향 모드, TU(Transform Unit)를 결정하는 RDO(Rate Distortion Optimization)과정을 거친다[5].
0으로 구현하고 모든 영상을 화면 내 부호화하는 “All-Intra Main”으로 수행하였다[9][10]. 테스트 영상은 Class A 부터 Class D까지 각 Class별로 2개씩 활용하였으며 QP 22, 27, 32, 37에 대해 측정하였다. 제안하는 방법의 성능은 BD-rate와 시간 감소를 나타내는 RRT(Reduction Rate of Time)로부터 측정되었다.
성능/효과
HEVC는 RDO과정을 통해 기존 방식보다 부호화 성능을 높였으나, 이는 엄청난 양의 RD-cost계산을 요구하여 인코더의 계산 복잡도를 증가시켰다. 하지만 만약 현재 CU의 특정한 특징 값으로부터 신뢰성 있게 미리 예측할 수 있다면, 복잡한 RD-cost계산 과정 없이 현재 CU의 분할 여부를 결정할 수 있을 것이다.
또, 추가적으로 기존 [7]방법 대비 제안 방법의 성능 개선 정도를 비교하기 위한 실험을 진행하였다. [표 6]은 기존 HM10.0 대비 [7]방법의 성능 개선 결과를 나타내며, 이를 바탕으로 제안 방법과 성능 개선 정도를 비교해 봤을 때 수행시간은 제안 방법이 [7]보다 약5% 더 단축되었고 이에 비해 평균 BD-rate은 약 0.1%정도만 차이 나므로, 제안 방법이 [7]보다 좋은 성능 개선 결과를 보인다고 할 수 있다.
실험 결과 제안한 방법의 RRT는 평균 34%, [6]은 평균 58%로 제안 방법은 [6]방법에 비해 정확도를 개선한 대신 수행 시간은 더 증가하였다. 그러나 고속HEVC알고리즘의 성능은 얼마나 적게 BD-rate을 손실하면서 수행 시간을 단축시키는지가 중요하므로, 제안한 방법이 [6]방법에 비해 수행 시간 면에서 조금 손해를 볼지라도 기존 HM-10.0 대비 수행 시간은 34%나 감소시키면서 BD-rate은 1%정도만 증가하였기 때문에 제안하는 방법으로 인한 성능 개선이 대폭적으로 좋아졌다고 할 수 있다.
CU영역의 픽셀 밝기 값들에 대해 2차 중심 모멘트인 분산과 정규화된 3차 중심 모멘트인 비대칭도 값을 계산하여 이를 텍스쳐 복잡도를 측정하는데 이용하였고, HEVC 인코더의 복잡한 RDO과정을 개선시키기 위해 화면 내 예측 수행 전 텍스쳐 복잡도에 따라 CU의 분할 여부를 결정하여 인코딩 수행 시간을 단축하였다. 실험 결과 제안한 방법의 RRT는 평균 34%, [6]은 평균 58%로 제안 방법은 [6]방법에 비해 정확도를 개선한 대신 수행 시간은 더 증가하였다. 그러나 고속HEVC알고리즘의 성능은 얼마나 적게 BD-rate을 손실하면서 수행 시간을 단축시키는지가 중요하므로, 제안한 방법이 [6]방법에 비해 수행 시간 면에서 조금 손해를 볼지라도 기존 HM-10.
제안 방법은 이러한 [6]의 부정확한 텍스쳐 측정 방법을 개선하여 영역의 분산 값이 크더라도 비대칭도 값이 1보다 작을 경우 예측 과정을 생략하지 않기 때문에 HM-10.0과 비슷한 부호화 결과를 보여주며, [6]에서 잘못 생략된 예측 과정을 수행하는 비용으로 수행 시간은 논문 [6]에 비해 조금 증가하였다.
표를 보면 제안 방법의 BD-rate은 평균 1%, [6]방법은 평균 5%로 제안 방법은 [6]에 비해 부호화 정확도면에서 전반적으로 성능이 개선된 것을 볼 수 있다. 특히 Kimono영상에서 [6]방법은 무려 10%이상의 매우 높은 BD-rate를 갖는데, 본 논문의 제안 방법으로 BD-rate이 1.8%까지 감소한 것을 볼 수 있다.
표를 보면 제안 방법의 BD-rate은 평균 1%, [6]방법은 평균 5%로 제안 방법은 [6]에 비해 부호화 정확도면에서 전반적으로 성능이 개선된 것을 볼 수 있다. 특히 Kimono영상에서 [6]방법은 무려 10%이상의 매우 높은 BD-rate를 갖는데, 본 논문의 제안 방법으로 BD-rate이 1.
후속연구
따라서 현재 CU의 μ2값이 100보다 작다고 해서 [6]방법처럼 현재 CU 크기를 최적의 CU 크기로 결정하면 안 될 것 이며, 현재 CU의 텍스쳐 복잡도가 유형2에 해당한다면, 기존의 RDO과정과 같이 해당 크기에 대해 화면 내 예측을 수행한 뒤 sub-CU들로 분할해야 할 것이다.
는 밝기 값에 대한 평균을 나타낸다. 이를 통해 만약 현재 CU의 분산 값이 0에 가깝다면 밝기 값들이 평균에 몰려 있어 해당 CU영역의 텍스쳐가 평평함을 알 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
화면 내 예측이란 무엇인가?
화면 내 예측은 공간적으로 인접한 주변 샘플을 참조하여 현재 블록에 대한 예측 블록을 생성하는 과정으로, HEVC 인트라 코딩 모드에서 최종 결정되는 CU의 크기는 입력 영상의 텍스쳐 복잡도에 직접적인 영향을 받는다. [그림 1]을 보면, B영역은 작은 크기의 CU가 결정되었으며 A영역은 상대적으로 큰 크기의 CU가 결정되었는데, B영역의 경우 밝기 값 분포가 복잡한 영역으로 만약 큰 CU에서 예측 블록을 생성할 경우 매우 큰 RD-cost를 얻게 될 것이다.
본 논문의 모멘트 기반의 고속 CU크기 결정 방법은 기존의 HEVC 비디오 압축 표준의 어떠한 점을 개선하기 위해 개발되었는가?
HEVC 비디오 압축 표준은 기존 비디오 표준보다 더 다양한 블록 구조와 예측 모드를 사용함으로써 우수한 부호화 성능을 제공하나, 최적의 블록 크기 및 예측 모드를 결정하기 위한 RDO(Rate Distortion Optimization)과정으로 인해 연산량이 많다는 단점을 가진다. 이를 개선하기 위해 본 논문에서는 화면 내 예측 수행 전 CU영역의 모멘트 값을 계산하고 이를 CU영역의 텍스쳐 복잡도로 이용하여 CU의 분할 여부를 결정하는 모멘트 기반의 고속 CU크기 결정 방법을 제안한다.
HEVC은 어떠한 이유로 개발되었는가?
최근 몇 년 동안, 디지털 미디어 시장에서 고해상도 비디오의 인기가 증가하면서 새로운 비디오 포맷들이 출현하게 되었다. 하지만 기존 비디오 압축 표준인 H.264/AVC[1]는 새로운 고해상도 비디오들을 처리하기에 적절하지 못하였고, 이러한 비디오들을 더 효율적으로 처리하기 위해 JCT-VC(Joint Collaborative Team on Video Coding)에서 새로운 비디오 압축 표준인 HEVC(High Efficiency Video Coding)가 개발되었다[2]. HEVC는 이전 표준인 H.
참고문헌 (10)
T. Wiegand, G. J. Sullivan, G. Bjontegarrd, and A. Luthra, "Overview of the H.264/AVC video coding standard," IEEE Trans. Circuits Syst Video Technol., pp.560-576, 2003.
B. Bross, W. Han, J. Ohm, G. Sullivan, Y. Wang, and T. Wiegand, "High efficiency video coding (HEVC) text specification draft 10 ( for FDIS & Consent)," JCTVC-L1003, 12th JCT-VC Meeting, 2013.
한찬희, 이시웅, "HEVC 고성능 압축 도구들의 성능 분석을 통한 스크린 콘텐츠 응용 최적 부호화 모델," 한국콘텐츠학회논문지, 제12권, 제12호, pp.544-554, 2012.
G. J. Sullivan, J.-R. Ohm, W.-J. Han, and T. Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard," IEEE Trans.Circuits Syst. Video Technol., Vol.22, No.12, pp.1649-1668, 2012(12).
T. Nishikori, T. Nakamura, T. Yoshitome, and K. Mishiba, "A Fast CU Decision Using Image Variance in HEVC Intra Coding," IEEE Symposium on Industrial Electronics & Applications (ISIEA2013), pp.52-56, 2013(9).
Yu Shen, Shuaifu Zhang, and Canmei Yang, "Image Texture Based Fast CU Size Selection Algorithm for HEVC Intra Coding," IEEE International Conference on Signal Processing, Communications and Computing(ICSPCC), pp.363-367, 2014(8).
Xiaofeng Huang, Huizhu Jia, Kaijin Wei, Jie Liu, Chuang Zhu, Zhengguang Lv, and Don Xie, "Fast Algorithm of Coding Unit Depth Decision for HEVC Intra Coding," IEEE Visual Communications and Image Processing Conference, pp.458-461, 2014(12).
F. Bossen, "Common HM test conditions and software reference configurations," JCT-VC Doc. L1100, 2013(1).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.