최신 영상 압축 표준 방식인 HEVC는 H.264/AVC에 비해 압축 효율을 크게 개선시킬 수 있지만, 부호화기 복잡도 또한 크게 증가한다. 특히 비정수 정밀도 움직임 보상에 사용되는 보간 필터의 길이가 종래 6-tap에서 8-tap으로 증가함으로 인해, 비정수 정밀도 움직임 추정에 많은 연산량이 요구된다. 본 논문에서는 HEVC의 비정수 움직임 추정 과정에 대한 압축 효율 기여도 및 복잡도를 분석하고, 이로부터 부호화기의 복잡도를 효과적으로 감소시키기 위한 방법을 제안한다. 먼저, 움직임 추정과 움직임 보상에 사용되는 보간 필터를 분리하고, 움직임 추정만을 위한 최적 필터 길이를 찾는다. 또한 최적 비정수 움직임 벡터를 찾기 위한 탐색 과정에서 특정 조건을 만족하는 일부 후보들만을 검사하고, 꼭 필요한 보간 과정만을 수행하도록 함으로써 부호화 복잡도를 감소시킨다. 실험 결과, 제안한 방법을 사용하면 평균 압축 성능 하락 폭 0.7%, 1.5%, 2.5%에서 부호화기 복잡도를 각각 13.6%, 18.5%, 21.1% 감소시킬 수 있었다. 또한 고해상도 영상($1920{\times}1080$)의 경우 압축 성능 하락 폭이 0.4%, 1.1%, 1.6%로 감소함으로써 제안한 방법이 고해상도 영상에 더욱 효과적임을 보였다.
최신 영상 압축 표준 방식인 HEVC는 H.264/AVC에 비해 압축 효율을 크게 개선시킬 수 있지만, 부호화기 복잡도 또한 크게 증가한다. 특히 비정수 정밀도 움직임 보상에 사용되는 보간 필터의 길이가 종래 6-tap에서 8-tap으로 증가함으로 인해, 비정수 정밀도 움직임 추정에 많은 연산량이 요구된다. 본 논문에서는 HEVC의 비정수 움직임 추정 과정에 대한 압축 효율 기여도 및 복잡도를 분석하고, 이로부터 부호화기의 복잡도를 효과적으로 감소시키기 위한 방법을 제안한다. 먼저, 움직임 추정과 움직임 보상에 사용되는 보간 필터를 분리하고, 움직임 추정만을 위한 최적 필터 길이를 찾는다. 또한 최적 비정수 움직임 벡터를 찾기 위한 탐색 과정에서 특정 조건을 만족하는 일부 후보들만을 검사하고, 꼭 필요한 보간 과정만을 수행하도록 함으로써 부호화 복잡도를 감소시킨다. 실험 결과, 제안한 방법을 사용하면 평균 압축 성능 하락 폭 0.7%, 1.5%, 2.5%에서 부호화기 복잡도를 각각 13.6%, 18.5%, 21.1% 감소시킬 수 있었다. 또한 고해상도 영상($1920{\times}1080$)의 경우 압축 성능 하락 폭이 0.4%, 1.1%, 1.6%로 감소함으로써 제안한 방법이 고해상도 영상에 더욱 효과적임을 보였다.
The latest video coding standard, HEVC can improve the coding efficiency significantly compared with the H.264/AVC. However the HEVC encoder requires much larger computational complexities. The longer 8-tap interpolation filter of the HEVC which is used in a non-integer motion estimation is one of t...
The latest video coding standard, HEVC can improve the coding efficiency significantly compared with the H.264/AVC. However the HEVC encoder requires much larger computational complexities. The longer 8-tap interpolation filter of the HEVC which is used in a non-integer motion estimation is one of the reasons and this paper aims to reduce the computational complexities. First of all, three shorter-tap interpolation filters for a motion estimation process are tested rather than the use of a standard interpolation filter. In addition, the fast searching strategies to reduce the number of comparisons for choosing the best non-integer motion vector are proposed. Finally, the interpolation process is selectively applied according to the searching strategy. By combining all of the techniques, the experimental results show that the encoding times can be reduced by 13.6%, 18.5% and 21.1% with the coding efficiency penalties of 0.7%, 1.5% and 2.5%, respectively. For the full-HD video sequences, the coding efficiency penalties are reduced to 0.4%, 1.1% and 1.6% at the same level of the encoding time savings, which shows the effectiveness of the proposed schemes for the high resolution video sequences.
The latest video coding standard, HEVC can improve the coding efficiency significantly compared with the H.264/AVC. However the HEVC encoder requires much larger computational complexities. The longer 8-tap interpolation filter of the HEVC which is used in a non-integer motion estimation is one of the reasons and this paper aims to reduce the computational complexities. First of all, three shorter-tap interpolation filters for a motion estimation process are tested rather than the use of a standard interpolation filter. In addition, the fast searching strategies to reduce the number of comparisons for choosing the best non-integer motion vector are proposed. Finally, the interpolation process is selectively applied according to the searching strategy. By combining all of the techniques, the experimental results show that the encoding times can be reduced by 13.6%, 18.5% and 21.1% with the coding efficiency penalties of 0.7%, 1.5% and 2.5%, respectively. For the full-HD video sequences, the coding efficiency penalties are reduced to 0.4%, 1.1% and 1.6% at the same level of the encoding time savings, which shows the effectiveness of the proposed schemes for the high resolution video sequences.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
앞 절에서 제안한 diamond search 혹은 band search를 사용하는 경우, 모든 후보 위치에 대한 rate-distortion cost를 계산하는 대신 조건에 따라 일부 후보의 rate-distortion cost만을 계산하게 된다. 따라서 계산에 필요한 보간 블록만을 생성함으로써 보간에 필요한 복잡도를 함께 감소시키고자 한다.
본 논문에서는 HEVC 부호화기의 비정수 움직임 추정 단계가 압축 효율에 기여하는 정도 및 복잡도를 분석하였고, 이 결과로부터 화면 간 예측의 복잡도를 감소시킬 수 있는 방법을 고안하였다. 구체적으로, 보간 필터 적용의 복잡도를 감소시키기 위하여 움직임 추정 단계와 움직임 보상 단계에서 상이한 보간 필터를 사용하였으며, 보간 후 최적 비정수 움직임 벡터 탐색 과정에서도 전체 후보 위치 대신 일부분만을 탐색함으로써 복잡도를 감소시켰다.
본 논문에서는 HEVC의 비정수 움직임 벡터 예측 단계를 구성하는 요소들을 단계별로 분석하고 부호화기 복잡도를 감소시키기 위한 필터 탭 수 최적화 및 두 가지 고속 탐색 전략들, 그리고 고속 탐색 전략에 따라 선택적으로 보간 블록을 생성하는 방법을 제안하였다. 실험 결과, 제안한 방법을 사용하면 평균 압축 성능 하락 폭 0.
본 논문에서는 움직임 추정을 위한 보간 필터와 움직임 보상을 위한 보간 필터를 서로 분리하고, 움직임 추정을 위한 보간 필터의 탭 수를 변화시켜가면서 압축 성능과 복잡도에 미치는 영향을 분석함으로써 압축 효율과 복잡도 면에서 최적인 보간 필터를 선택하고자 한다. 이를 위해 필터 탭 수 2를 갖는 bi-linear 필터, 필터 탭 수 4와 6을 갖는 DCT-IF 필터[14]들을 각각 생성한 뒤, 각각 HM15.
본 논문에서는 정수 정밀도 움직임 추정 과정에서 사용되는 diamond search 및 변형된 방법들을 비정수 움직임 벡터 탐색에 적용하고자 한다.
제안 방법
HEVC의 비정수 움직임 벡터 추정 과정은 크게 1/2 정밀도 보간 블록 생성, 1/2 정밀도 최적 벡터 탐색, 1/4 정밀도 보간 블록 생성, 1/4 정밀도 최적 벡터 탐색의 네 가지 단계로 이루어져 있다. 각각의 단계에 대한 압축 효율 및 복잡도를 분석하기 위해서 HEVC의 참조 소프트웨어인 HM15.0[15]에 기반한 다음의 시스템들을 구현하고, 그 성능 및 부호화 시간을 측정하였다.
본 논문에서는 HEVC 부호화기의 비정수 움직임 추정 단계가 압축 효율에 기여하는 정도 및 복잡도를 분석하였고, 이 결과로부터 화면 간 예측의 복잡도를 감소시킬 수 있는 방법을 고안하였다. 구체적으로, 보간 필터 적용의 복잡도를 감소시키기 위하여 움직임 추정 단계와 움직임 보상 단계에서 상이한 보간 필터를 사용하였으며, 보간 후 최적 비정수 움직임 벡터 탐색 과정에서도 전체 후보 위치 대신 일부분만을 탐색함으로써 복잡도를 감소시켰다. 한편, 독립적으로 사용되었을 경우는 물론, 최적 분할 구조를 얻기 위해 사용되는 고속 알고리즘과 함께 적용하였을 경우에 대해서도 추가적인 속도 향상의 결과를 보인다.
0에 제안한 방법을 구현하고, 압축 효율 및 연산량 측면에서 비교를 수행하였다. 또한 HM15.0에 이미 구현되어 있는 early skip decision(ESD) 고속 탐색 알고리즘과의 상호 작용을 검증하기 위해 두 알고리즘을 함께 적용한 경우에 대해서도 실험 결과를 구하였다. 압축 효율 및 부호화 연산량을 비교하기 위해서는 JCT-VC에서 사용하는 공통 테스트 조건 중 가장 높은 압축 효율을 보이는 random-access configuration을 사용하였으며, 평가 영상은 [15]에 정의된 영상들 중 Class B(1920x1080) 5개, Class C(832x480) 4개, Class D(416x240) 4개 등 총 13개의 영상들을 사용하였다.
0의 움직임 추정부에 구현하였으며 각 필터들의 계수들은 표 3에 정리하였다. 또한, 표 3의 필터 계수들은 HEVC 규격에 정의되어 있는 8-tap 필터와 동일한 정밀도를 갖도록 필터 계수의 합이 64가 되도록 조정하였다.
본 논문에서는 움직임 추정을 위한 보간 필터와 움직임 보상을 위한 보간 필터를 서로 분리하고, 움직임 추정을 위한 보간 필터의 탭 수를 변화시켜가면서 압축 성능과 복잡도에 미치는 영향을 분석함으로써 압축 효율과 복잡도 면에서 최적인 보간 필터를 선택하고자 한다. 이를 위해 필터 탭 수 2를 갖는 bi-linear 필터, 필터 탭 수 4와 6을 갖는 DCT-IF 필터[14]들을 각각 생성한 뒤, 각각 HM15.0의 움직임 추정부에 구현하였으며 각 필터들의 계수들은 표 3에 정리하였다. 또한, 표 3의 필터 계수들은 HEVC 규격에 정의되어 있는 8-tap 필터와 동일한 정밀도를 갖도록 필터 계수의 합이 64가 되도록 조정하였다.
대상 데이터
중, 부호화 지연시간 제한에 의한 성능 저하가 없어 가장 높은 성능을 보이는 random-access configuration을 사용하였다. 또한, [16]에 정의된 영상 중 Class D(416x240) 4개 영상, Class C(832x480) 4개 영상, Class B(1920x1080) 5개 영상의 총 13개 영상이 테스트에 사용되었다.
표 8은 이 알고리즘이 적용된 상황에서 추가적으로 제안한 방법 중 필터 탭수 4, band search, 선택적 보간 블록 생성 방법을 적용한 경우에 대한 실험 결과이다. 성능 및 부호화 시간 비교 대상은 HM15.0에 고속 최적 분할 구조 탐색 알고리즘만을 적용한 경우로 하였다.
0에 이미 구현되어 있는 early skip decision(ESD) 고속 탐색 알고리즘과의 상호 작용을 검증하기 위해 두 알고리즘을 함께 적용한 경우에 대해서도 실험 결과를 구하였다. 압축 효율 및 부호화 연산량을 비교하기 위해서는 JCT-VC에서 사용하는 공통 테스트 조건 중 가장 높은 압축 효율을 보이는 random-access configuration을 사용하였으며, 평가 영상은 [15]에 정의된 영상들 중 Class B(1920x1080) 5개, Class C(832x480) 4개, Class D(416x240) 4개 등 총 13개의 영상들을 사용하였다.
데이터처리
제안한 방법의 효과를 검증하기 위해, HM15.0에 제안한 방법을 구현하고, 압축 효율 및 연산량 측면에서 비교를 수행하였다. 또한 HM15.
이론/모형
테스트를 위해서는, HEVC 참조 소프트웨어의 성능을 평가하기 위해 표준화 기구인 JCT-VC에서 사용하는 common test condition[16] 중, 부호화 지연시간 제한에 의한 성능 저하가 없어 가장 높은 성능을 보이는 random-access configuration을 사용하였다. 또한, [16]에 정의된 영상 중 Class D(416x240) 4개 영상, Class C(832x480) 4개 영상, Class B(1920x1080) 5개 영상의 총 13개 영상이 테스트에 사용되었다.
성능/효과
HEVC에서는 H.264/AVC와 마찬가지로 1/4 정밀도를 갖는 움직임 벡터를 허용하지만, 비정수 움직임 보상을 수행하기 위해 필요한 보간 과정에 사용되는 필터의 길이가 6-tap에서 8-tap으로 증가하였고, 이로 인해 비정수 움직임 추정 단계의 복잡도 또한 크게 증가하였다. [12～13]에서는 비정수 움직임 추정 단계의 복잡도를 감소시키기 위해 주변 정수 위치에서의 에러를 반영하였고, 복잡도를 크게 감소시켰지만, 고속 정수 움직임 추정 알고리즘이 함께 사용되는 경우에 대한 고려가 없으며, HEVC에서 변화된 보간 과정을 반영하지 않았다.
0의 부호화 시간 Time(Reference)로 나눈 백분율로 측정하였다. 따라서 BD-rates 상의 양수 값은 압축 효율이 하락했음을 의미하며, 상대적인 부호화 시간이 100보다 작으면 복잡도가 HM15.0 대비 감소했음을 의미한다.
1% 감소시킬 수 있었다. 또한 고해상도 영상(1920x1080)의 경우 압축 성능 하락 폭이 0.4%, 1.1%, 1.6%로 감소함으로써 제안한 방법이 고해상도 영상에 더욱 효과적임을 보였다. 한편 제안한 방법은 HM15.
4% 감소하였다. 또한, 두 가지 제안한 방법, 즉 보간 필터 길이 최적화와 고속 탐색 전략의 효과는 서로 독립적으로 더해지는 것으로 나타났다.
본 논문에서는 HEVC의 비정수 움직임 벡터 예측 단계를 구성하는 요소들을 단계별로 분석하고 부호화기 복잡도를 감소시키기 위한 필터 탭 수 최적화 및 두 가지 고속 탐색 전략들, 그리고 고속 탐색 전략에 따라 선택적으로 보간 블록을 생성하는 방법을 제안하였다. 실험 결과, 제안한 방법을 사용하면 평균 압축 성능 하락 폭 0.7%, 1.5%, 2.5%에서 부호화기 복잡도를 각각 13.6%, 18.5%, 21.1% 감소시킬 수 있었다. 또한 고해상도 영상(1920x1080)의 경우 압축 성능 하락 폭이 0.
표 4에서 볼 수 있듯이 필터 탭 수를 감소시킴에 따라서 압축 효율은 하락하며, 부호화기 복잡도 또한 감소하였다. 필터 탭 수가 각각 4와 6인 경우, 압축 효율은 거의 감소하지 않으면서도 부호화기 복잡도는 각각 3.
표 5에서 diamond search를 사용하면 평균 0.6%의 압축 효율이 하락하는 반면 약 4.6%의 부호화 시간이 감소되었으며, band search를 사용하면 평균 1.3%의 압축 효율이 하락하는 반면 약 7.1%의 부호화 시간이 감소되었다.
표 6의 결과를 보면 평균 0.7%, 1.5%, 2.5%, Class B(1920x1080) 0.4%, 1.1%, 1.6% 압축 효율 하락 수준에서 부호화기 복잡도는 각각 11.9%, 14.4%, 17.4% 감소하였다. 또한, 두 가지 제안한 방법, 즉 보간 필터 길이 최적화와 고속 탐색 전략의 효과는 서로 독립적으로 더해지는 것으로 나타났다.
표 7은 제안한 알고리즘 모두를 적용한 결과이다. 표 6의 결과와 비교해 볼 때, 선택적 보간 블록 생성 방법은 약 1.3%에서 5.4% 정도의 부호화 복잡도를 추가로 감소시킴으로써, 평균 0.7%, 1.5%, 2.5%, Class B(1920x1080) 0.4%, 1.1%, 1.6% 압축 효율 하락 수준에서 부호화기 복잡도는 각각 13.6%, 18.5%, 21.1% 감소하였다.
표 8의 결과를 표 7과 비교해 보면, 압축 효율 하락이 1.5%에서 1.4%로, 부호화 시간도 81.9%에서 81.7%로 거의 유사하게 나타남으로써 제안한 방법이 고속 최적 분할 구조 탐색 알고리즘의 사용 여부와 관계없이 유사한 복잡도 감소 효과를 갖는 것을 보였다.
3% 가량 압축 효율이 감소한다. 하지만 압축 효율 감소폭은 입력 영상의 해상도가 증가할수록 감소하는 경향을 보였고, 가장 부호화기 복잡도가 문제가 되는 Class B(1920x1080) 영상에서는 필터 탭 수를 2로 한다고 해도 0.7% 가량의 압축 효율만이 감소하였다.
6%로 감소함으로써 제안한 방법이 고해상도 영상에 더욱 효과적임을 보였다. 한편 제안한 방법은 HM15.0에 구현되어 있는 고속 최적 분할 구조 탐색 방법과 함께 사용되는 경우에도 유사한 수준의 효과를 나타내었다.
질의응답
핵심어
질문
논문에서 추출한 답변
HEVC에 고속화 기법을 적용하여 생기는 복잡도 향상의 한계를 해결하기 위해 무엇이 필요한가?
기존 연구의 접근 방법들이 부호화기의 복잡도를 크게 감소시키면서도 부호화 효율을 유지할 수 있는 것은 사실이나, 최적 분할 구조 결정이라는 유사한 목적을 갖고 있기 때문에 다수의 고속화 기법들을 동시에 적용하였을 경우 추가적인 복잡도 향상에는 한계가 있다. 따라서 추가적인 복잡도 감소를 위해서는 최적 분할 구조 결정과는 독립적인 부분에서의 복잡도 감소가 필요하다.
HEVC란?
최신 영상 압축 표준 방식인 HEVC는 H.264/AVC에 비해 압축 효율을 크게 개선시킬 수 있지만, 부호화기 복잡도 또한 크게 증가한다.
HEVC는 H.264/AVC와는 달리 어떤 구조를 갖는가?
HEVC에서는 항상 16x16 크기를 갖는 매크로블록 (macroblock)으로 화면을 분할하는 H.264/AVC와는 달리 최대 64x64까지의 크기를 갖는 coding tree unit (CTU)들로 화면을 분할한 후, 각 CTU들을 쿼드트리 형태로 재귀적 분할하여 최소 8x8 크기를 갖는 coding unit (CU)들로 나누는 구조를 가지고 있다[5]. 이러한 자유로운 분할 형태 때문에 HEVC의 부호화기에서는 최적 분할 구조를 빠르게 찾는 것이 중요하며, 이를 위한 많은 고속화 연구들이 발표되었다[6～9].
참고문헌 (18)
G. J. Sullivan, J.-R. Ohm, W.-J. Han and T. Wiegand, "Overview of the high efficiency video coding (HEVC) standard," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 22, No. 12, pp. 1649-1668, Dec. 2012.
T. Wiegand, G. J. Sullivan, G. Bjontegaard and A. Luthra, "Overview of the H.264/AVC video coding standard," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 13, No. 7, pp. 560-576, Aug. 2003.
E. Ohwovoriole, Y. Andreopoulos, "Rate-distortion performance of contemporary video codecs: Comparison of Google/WebM VP8, AVC/H.264, and HEVC TMuC", LENS Symp., London, Sep. 2010.
F. De Simone, L. Goldmann, J.-S. Lee, T. Ebrahimi, "Performance analysis of VP8 image and video compression based on subjective evaluations," SPIE Appl. Digital Image Proc. XXXIV, Aug. 2011.
Woo-Jin Han, Junghye Min, Il-Koo Kim, Elena Alshina, Alexander Alshin, Tammy Lee, Jianle Chen, Vadim Seregin, Sunil Lee, Yoon-Mi Hong, Min-Su Cheon, Nikolay Shlyakhov, Ken McCann, Thomas Davies and Jeong-Hoon Park, "Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 20, No. 12, pp. 1709-1720, Dec. 2010.
R. H. Gweon, Y. L. Lee, J. Lim, "Early termination of CU encoding to reduce HEVC complexity," JCTVC-F045, 6th JCT-VC meeting, Jul. 2011, Torino, Italy.
J. Kim, G. Kim and C. Yim, "CU size decision method based on statistics for HEVC encoding," Proc. of the Institute of Electronics and Information Engineers of Korea, pp. 533-535, Nov. 2013.
X. Shen, L. Yu and J. Chen, "Fast coding unit size selection for HEVC based on Bayesian decision rule," Proc. of Picture Coding Symposium (PCS), pp. 453-456, May 2012.
S. Yoo, Y. Ahn and D. Sim, "Fast HEVC encoding based on CU-depth first decision," Journal of the Institute of Electronics and Information Engineers of Korea, Vol. 49, SP No. 3, pp. 40-50, 2012.
W. Jiang, H. Ma, Y. Chen, "Gradient based fast mode decision algorithm for intra prediction in HEVC," Proc. of Consumer Electronics, Communications and Networks (CECNet), pp. 1836-1840, Apr. 2012.
L. Zhao, L. Zhang, S. Ma and D. Zhao, "Fast mode decision algorithm for intra prediction in HEVC," Proc. of Visual Communications and Image Processing (VCIP), pp. 1-4, Nov. 2011.
Z. Chen, C. Du, J. Wang, Y. He, "PPFPS-a paraboloid prediction based fractional pel search strategy for H.26L," Proc. of IEEE ISCAS, Vol. 3, III-9-III-12, USA, 2002.
Z. Chen, J. Xu, Y. He, J. Zheng, "Fast integer-pel and fractional-pel motion estimation for H.264/AVC," Journal of Visual Communication and Image Representation, Vol. 17, Issue 2, pp. 264-290, Apr 2006.
Kemal Ugur, Alexander Alshin, Elena Alshina, Frank Bossen, Woo-Jin Han, Jeong-Hoon Park and Jani Lainema, "Motion Compensated Prediction and Interpolation Filter Design in H.265/HEVC," IEEE Journal of Selected Topics in Signal Processing, Vol. 7, No. 6, pp. 946-956, December 2013.
HEVC reference software version 15.0 (HM15.0), https://hevc.hhi.fraunhofer.de/trac/hevc/browser/tags/HM-15.0, Jul. 2014.
F. Bossen, "Common HM tst conditions and software reference configurations," in Proc. of JCTVC-L1100, 12th JCT-VC meeting, Geneva, Switzerland, Jan. 2013.
G. Bjontegaard, "Calculation of average PSNR differences between RD curves," VCEG-M33, 13th VCEG meeting, Austin, TX, USA, Apr. 2001.
S. Zhu and K. MA, "A new diamond search algorithm for fast block-matching motion estimation," IEEE Transactions on Image Processing, Vol. 9, No. 2, pp. 287-290, Feb. 2000.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.