움직임 추정은 동영상 압축에서 영상 화질과 인코더 속도에 대하여 중요한 역할을 하지만, 많은 수행 시간을 요구한다. H.264/AVC에서 움직임 추정에 소요되는 수행 시간을 줄이면서 화질을 유지하기 위하여 본 논문에서는 정화소와 부화소 움직임 추정 기법을 제안하였다. 본 논문에서는 정화소 움직임 추정을 위하여 계층적인 탐색 기법을 사용하였고, 정확한 움직임 추정을 위하여 블록 크기에 따라 부화소 움직임 추정 패턴을 적응적으로 결정하였다. 제안한 정화소 움직임 추정 탐색 기법은 대칭적 십자가-엑스 탐색 패턴, 다중 사각형 탐색 패턴, 다이아몬드 탐색 패턴들로 이루어져 있다. 이 탐색 패턴들은 블록 움직임이 수직으로 크거나 블록 움직임이 크면서 규칙적인 영상에서 국부적 최소화 문제를 해결하고 움직임 추정에 소요되는 시간을 줄이기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하였다. 제안한 부화소 움직임 추정 탐색 기법은 부화소 움직임 추정을 위하여 기존의 전역 부화소 탐색 패턴, 중앙 편향적 부화소 탐색 패턴과 제안한 부화소 움직임 탐색패턴들을 사용한다. 그리고 블록의 크기에 따라 3가지의 부화소 탐색 패턴들 중 한 패턴이 부화소 움직임 추정을 위해 적응적으로 결정된다. 블록의 크기에 따라 적응적으로 부화소 탐색 패턴이 결정되므로 보다 정확하게 부화소 움직임 추정을 수행할 수 있다. 제안한 기법을 전역 탐색 기법과 비교하였을 때 약 5.2배의 속도 향상을 가져왔으며, 영상 화질에 있어서 약 0.01 (dB)정도 성능 저하를 보였다. 반면에, 비대칭 다중육각형 탐색 기법과 비교하였을 때 움직임 추정 속도와 화질에 있어서 각각 약 1.2배와 약 0.02 (dB)정도 향상을 보였다.
움직임 추정은 동영상 압축에서 영상 화질과 인코더 속도에 대하여 중요한 역할을 하지만, 많은 수행 시간을 요구한다. H.264/AVC에서 움직임 추정에 소요되는 수행 시간을 줄이면서 화질을 유지하기 위하여 본 논문에서는 정화소와 부화소 움직임 추정 기법을 제안하였다. 본 논문에서는 정화소 움직임 추정을 위하여 계층적인 탐색 기법을 사용하였고, 정확한 움직임 추정을 위하여 블록 크기에 따라 부화소 움직임 추정 패턴을 적응적으로 결정하였다. 제안한 정화소 움직임 추정 탐색 기법은 대칭적 십자가-엑스 탐색 패턴, 다중 사각형 탐색 패턴, 다이아몬드 탐색 패턴들로 이루어져 있다. 이 탐색 패턴들은 블록 움직임이 수직으로 크거나 블록 움직임이 크면서 규칙적인 영상에서 국부적 최소화 문제를 해결하고 움직임 추정에 소요되는 시간을 줄이기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하였다. 제안한 부화소 움직임 추정 탐색 기법은 부화소 움직임 추정을 위하여 기존의 전역 부화소 탐색 패턴, 중앙 편향적 부화소 탐색 패턴과 제안한 부화소 움직임 탐색패턴들을 사용한다. 그리고 블록의 크기에 따라 3가지의 부화소 탐색 패턴들 중 한 패턴이 부화소 움직임 추정을 위해 적응적으로 결정된다. 블록의 크기에 따라 적응적으로 부화소 탐색 패턴이 결정되므로 보다 정확하게 부화소 움직임 추정을 수행할 수 있다. 제안한 기법을 전역 탐색 기법과 비교하였을 때 약 5.2배의 속도 향상을 가져왔으며, 영상 화질에 있어서 약 0.01 (dB)정도 성능 저하를 보였다. 반면에, 비대칭 다중육각형 탐색 기법과 비교하였을 때 움직임 추정 속도와 화질에 있어서 각각 약 1.2배와 약 0.02 (dB)정도 향상을 보였다.
Motion estimation (ME) plays an important role in digital video compression. But it limits the performance of image quality and encoding speed and is computational demanding part of the encoder. To reduce computational time and maintain the image quality, integer pel and fractional pel ME methods ar...
Motion estimation (ME) plays an important role in digital video compression. But it limits the performance of image quality and encoding speed and is computational demanding part of the encoder. To reduce computational time and maintain the image quality, integer pel and fractional pel ME methods are proposed in this paper. The proposed method for integer pel ME uses a hierarchical search strategy. This strategy method consists of symmetrical cross-X pattern, multi square grid pattern, diamond patterns. These search patterns places search points symmetrically and evenly that can cover the overall search area not to fall into the local minimum and to reduce the computational time. The proposed method for fractional pel uses full search pattern, center biased fractional pel search pattern and the proposed search pattern. According to block sizes, the proposed method for fractional pel decides the search pattern adaptively. Experiment results show that the speedup improvement of the proposed method over Unsymmetrical cross Multi Hexagon grid Search (UMHexagonS) and Full Search (FS) can be up to around $1.2{\sim}5.2$ times faster. Compared to image quality of FS, the proposed method shows an average PSNR drop of 0.01 dB while showing an average PSNR gain of 0.02 dB in comparison to that of UMHexagonS.
Motion estimation (ME) plays an important role in digital video compression. But it limits the performance of image quality and encoding speed and is computational demanding part of the encoder. To reduce computational time and maintain the image quality, integer pel and fractional pel ME methods are proposed in this paper. The proposed method for integer pel ME uses a hierarchical search strategy. This strategy method consists of symmetrical cross-X pattern, multi square grid pattern, diamond patterns. These search patterns places search points symmetrically and evenly that can cover the overall search area not to fall into the local minimum and to reduce the computational time. The proposed method for fractional pel uses full search pattern, center biased fractional pel search pattern and the proposed search pattern. According to block sizes, the proposed method for fractional pel decides the search pattern adaptively. Experiment results show that the speedup improvement of the proposed method over Unsymmetrical cross Multi Hexagon grid Search (UMHexagonS) and Full Search (FS) can be up to around $1.2{\sim}5.2$ times faster. Compared to image quality of FS, the proposed method shows an average PSNR drop of 0.01 dB while showing an average PSNR gain of 0.02 dB in comparison to that of UMHexagonS.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 H.264에서 움직임 추정에 소요되는 계산량을 줄이면서 화질을 유지하기 위한 정화소 움직임 추정 기법과 부화소 움직임 추정 기법을 제안하였다. 제안한 정화소 움직임 추정 기법은 계층적인 탐색 기법으로 대칭적 십자가-엑스 탐색 패턴, 다중 사각형 탐색 패턴, 큰 다이아몬드 탐색 패턴, 작은 다이아몬드 탐색 패턴들로 이루어져있다.
제안 방법
H.264/AVC는 압축 효율과 영상 화질을 향상시키기 위하여 가변 블록 사이즈 움직임 추정, 1/4화소 움직임 추정, 여러개의 참조 영상을 사용하는 움직임 보상, 디블럭킹 필터 내장등과 같은 기술들을 사용하였다.
H.264/AVC의 비대칭 다중 육각형 탐색 기법은 다음과 같이 잘 알려진 사실들을 이용하여 탐색 패턴들을 제안하였다.
본 논문에서 제안한 정화소 움직임 추정 기법은 블록 움직임이 수직으로 크거나 블록 움직임이 크면서 규칙적인 영상에서 국부적 최소화에 빠지지 않도록 탐색 점들을 탐색영역 내에 대칭적, 규칙적으로 배치하여 정 화소 움직임 벡터를 추정한다. 그리고 화질을 향상시키기 위하여 블록 크기에 따라 부화소 움직임 추정에 사용되는 탐색 패턴이 적응적으로 결정하는 부화소 움직임 추정 기법을 제안하였다.
본 논문에서 제안한 정화소 움직임 추정 기법은 블록 움직임이 수직으로 크거나 블록 움직임이 크면서 규칙적인 영상에서 국부적 최소화에 빠지지 않도록 탐색 점들을 탐색영역 내에 대칭적, 규칙적으로 배치하여 정 화소 움직임 벡터를 추정한다. 그리고 화질을 향상시키기 위하여 블록 크기에 따라 부화소 움직임 추정에 사용되는 탐색 패턴이 적응적으로 결정하는 부화소 움직임 추정 기법을 제안하였다.
제안한 정화소 기법은 비대칭 다중 육각형 탐색 기법처럼 메디안 예측, 상위 모드를 이용한 예측, 이전 화면의 대응 블록을 이용한 예측, 이웃한 참조 화면을 이용한 예측을 이용하여 초기 탐색 시작점을 결정한다. 비대칭 다중 육각형 탐색 기법은 초기 탐색 시작점을 결정하기 위해서 작은 다이아몬드 탐색 패턴을 사용하였지만 제안 기법은 보다 정확하게 초기탐색 시작점을 결정하기 위하여 큰 다이아몬드 탐색 패턴을 이용하였다. 제안한 정화소 움직임 추정 기법은 다음과 같은 알고리즘을 수행하여 정화소 움직임 벡터를 추정한다.
만약 최소 비용 함수를 갖는 점의 위치가 작은 다이아몬드 탐색 패턴의 중심에 있는 점이면 이 점을 부화소 움직임 벡터로 추정하고 탐색을 마치고 그렇지 않으면 최소 비용 함수를 갖는 점의 위치가 작은 다이아몬드 탐색 패턴의 중심이 될 때까지 반복 수행하여 부화소 움직임 벡터를 추정한다. 제안한 고속 부화소 움직임 추정 기법은 기존의 부화소 움직임 추정 기법에 비해 약간의 계산량을 요구하지만 보다 정확한 부화소 움직임 추정을 수행한다.
만약 비대칭 십자가 탐색 패턴을 수행한 후 얻어진 움직임 벡터가 정확하지 못한 움직임 벡터라면 탐색 범위 2의 전역 탐색은 시간낭비이고 움직임이 크고 규칙적인 영상에서 다중 육각형 탐색은 국부적 최소화에 빠질 수 있다. 제안한 기법은 국부적 최소화에 빠지지 않고 보다 빠르게 정화소 움직임 추정을 수행하기 위하여 (그림 3)과 같은 탐색 패턴을 사용한다.
제안한 정화소 기법은 비대칭 다중 육각형 탐색 기법처럼 메디안 예측, 상위 모드를 이용한 예측, 이전 화면의 대응 블록을 이용한 예측, 이웃한 참조 화면을 이용한 예측을 이용하여 초기 탐색 시작점을 결정한다.
264에서 움직임 추정에 소요되는 계산량을 줄이면서 화질을 유지하기 위한 정화소 움직임 추정 기법과 부화소 움직임 추정 기법을 제안하였다. 제안한 정화소 움직임 추정 기법은 계층적인 탐색 기법으로 대칭적 십자가-엑스 탐색 패턴, 다중 사각형 탐색 패턴, 큰 다이아몬드 탐색 패턴, 작은 다이아몬드 탐색 패턴들로 이루어져있다. 이 탐색 패턴들은 영상 화질에 영향을 미치는 국부적 최소화 문제를 해결하기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하였다.
비대칭 다중 육각형 탐색 기법은 초기 탐색 시작점을 결정하기 위해서 작은 다이아몬드 탐색 패턴을 사용하였지만 제안 기법은 보다 정확하게 초기탐색 시작점을 결정하기 위하여 큰 다이아몬드 탐색 패턴을 이용하였다. 제안한 정화소 움직임 추정 기법은 다음과 같은 알고리즘을 수행하여 정화소 움직임 벡터를 추정한다.
이론/모형
H.264/AVC에서 정화소 움직임 추정 기법으로 영상의 움직임이 크거나 영상 사이즈가 상대적으로 큰 영상에서 움직임 벡터 추정을 잘 수행할 수 있는 비대칭 다중 육각형 탐색 기법[13]을 사용하여 화질 저하를 개선하였다. 그러나 비대칭 다중 육각형 탐색 기법은 탐색 영역 내에 배치하는데 있어서 비대칭적, 불규칙적으로 배치함으로서 블록 움직임이 수직으로 크거나 블록 움직임이 크면서 규칙적인 영상에서 국부적 최소화에 빠질 수 있다.
5에서 실험하였으며, QCIF인 Akiyo, Container, Foreman, Mother and Daughter (M&D), Mobile, Salesman, Silent, Stefan, and Table 영상과 CIF인 Akiyo, Bus, Children, Container, Foreman, Mobile, Mother and Daughter, Paris and Stefan 영상의 각각 100 프레임을 사용하였고 비교 탐색 기법으로는 전역 탐색 기법 (Full Search :FS), 고속 전역 탐색 기법 (Fast Full Search :FFS), 다이아몬드 탐색 기법 (Diamond Search :DS), 육각형 탐색 기법 (Hexagon Search :HS) 그리고 비대칭 다중 육각형 탐색 기법 (UMHexagonS)들을 사용하였다. 성능 비교 함수로는 영상 화질의 품질을 평가하기 위하여 PSNR(Peak Signal-to-noise Ratio)을 사용하였는데, PSNR은 다음과 같이 정의된다.
제안한 움직임 추정 기법은 H.264의 JM 9.5에서 실험하였으며, QCIF인 Akiyo, Container, Foreman, Mother and Daughter (M&D), Mobile, Salesman, Silent, Stefan, and Table 영상과 CIF인 Akiyo, Bus, Children, Container, Foreman, Mobile, Mother and Daughter, Paris and Stefan 영상의 각각 100 프레임을 사용하였고 비교 탐색 기법으로는 전역 탐색 기법 (Full Search :FS), 고속 전역 탐색 기법 (Fast Full Search :FFS), 다이아몬드 탐색 기법 (Diamond Search :DS), 육각형 탐색 기법 (Hexagon Search :HS) 그리고 비대칭 다중 육각형 탐색 기법 (UMHexagonS)들을 사용하였다.
성능/효과
, , , 의 실험 결과를 보면 움직임이 많은 QCIF영상 Mobile, Stefan, Table과 CIF영상 Bus, Mobile, Stefan에서 제안한 움직임 추정 기법을 사용하였을 때, 제안한 기법은 움직임 벡터 추정 속도면에 있어서 FFS, FS 보다 약 2.7 ～6.9배 정도 빠르게 움직임 벡터를 추정하였고, 화질면에 있어서 거의 FS와 비슷하였다.
H.264/AVC는 기존 압축 표준안 H.26x (x : 1,2,3)와 MPEG-y (y : 1,2,4)보다 압축 효율과 영상 화질에 있어서 좋은 성능 향상을 보였다. H.
그리고 제안 기법과 UMHexagon과 비교하였을 때 약 1.1배 정도 빠르게 움직임 벡터를 추정하였고 화질면에 있어서 최대 0.05(dB) 향상을 보였다.
01(dB) 화질저하를 보였다. 그리고 제안기법을 비대칭 다중 육각형 탐색 기법과 비교하였을 때 움직임 추정 속도와 화질에 있어서 각각 약 1.2배와 약 0.02(dB)정도 향상을 보였다.
9배 정도 빠르게 움직임 벡터를 추정하였고, 화질면에 있어서 거의 FS와 비슷하였다. 그리고 제안한 기법과 UMHexagon과 비교하였을 때 약 1.2배정도 빠르게 움직임 벡터를 추정하였고 화질면에 있어서 최대 0.03(dB) 향상을 보였다. 움직임이 작은 영상에서 제안한 움직임 추정 기법을 사용하였을 때, 제안한 기법은 움직임 벡터 추정 속도면에 있어서 FFS, FS 보다 약 2.
14(dB) 화질 향상을 보였다. 그리고 제안한 기법을 DS와 비교하였을 경우, QCIF영상에서 약0.03(dB), CIF영상에서 약 0.12(dB) 화질 향상을 보였다. 움직임 추정 속도면에 있어서 DS는 제안 기법 보다 평균 약 0.
그리고 제안한 부화소 움직임 추정은 블록 크기에 따라 탐색 패턴을 적응적으로 결정하여 화질을 더욱 좋게 하였다
첫째, 영상의 수평 움직임이 수직 움직임 보다 많다. 둘째, 움직임 벡터는 탐색 원점(0,0)주위에 많이 분포한다. 위와 같은 사실들을 이용한 비대칭 다중 육각형 탐색 기법은 좋은 성능 향상을 보였다.
실험을 통하여 알 수 있듯이, 제안한 기법을 전역 탐색기법과 비교하였을 때 움직임 추정 속도면에 있어서 약 4.5배 (움직임이 작은 영상) ～ 6배 (움직임이 많은 영상) 향상을 보였고 평균 0.01(dB) 화질저하를 보였다. 그리고 제안기법을 비대칭 다중 육각형 탐색 기법과 비교하였을 때 움직임 추정 속도와 화질에 있어서 각각 약 1.
12(dB) 화질 향상을 보였다. 움직임 추정 속도면에 있어서 DS는 제안 기법 보다 평균 약 0.9배 빠르지만 HS는 비슷한 성능을 보였다.
움직임이 작은 영상에서 제안한 움직임 추정 기법을 사용하였을 때, 제안한 기법은 움직임 벡터 추정 속도면에 있어서 FFS, FS 보다 약 2.5～5.2배 정도 빠르게 움직임 벡터를 추정하였고, 화질면에 있어서 거의 FS와 비슷하였다.
둘째, 움직임 벡터는 탐색 원점(0,0)주위에 많이 분포한다. 위와 같은 사실들을 이용한 비대칭 다중 육각형 탐색 기법은 좋은 성능 향상을 보였다. 그러나 탐색 영역에 탐색 점들을 배치함에 있어서 비대칭적, 불규칙하게 배치함으로서 영상의 수직 움직임이 크면서 규칙적인 영상에서 국부적 최소화에 빠짐으로서 화질 저하를 야기할 수 있다.
제안한 기법을 HS와 비교하였을 경우, QCIF영상에서 약0.05(dB), CIF영상에서 약 0.14(dB) 화질 향상을 보였다.
질의응답
핵심어
질문
논문에서 추출한 답변
H.264/AVC이란?
H.264/AVC[1,2]는 ITU-T의 비디오 코딩 전문가 그룹과 ISO/IEC의 MPEG 전문가 그룹에 의해 공동으로 만들어진 동영상 압축 표준으로 케이블, 위성 지상파를 통한 방송, 광학 저장 장치와 자기 저장 장치 등의 매체에 대한 저장, 멀티미디어 스트리밍 서비스 등 광범위한 응용분야에 적합한 기술적인 방법을 제공하기 위하여 만들어진 압축 표준으로 특히 높은 압축 효율과 네트워크 환경에러에 강한 특징을 제공하는 데에 초점을 맞추고 있다.
움직임 추정이 동영상 압축에서 갖는 단점은?
움직임 추정은 동영상 압축에서 영상 화질과 인코더 속도에 대하여 중요한 역할을 하지만, 많은 수행 시간을 요구한다. H.
H.264/AVC이 갖는 단점은?
264/AVC는 압축 효율과 영상 화질을 향상시키기 위하여 가변 블록 사이즈 움직임 추정, 1/4화소 움직임 추정, 여러개의 참조 영상을 사용하는 움직임 보상, 디블럭킹 필터 내장등과 같은 기술들을 사용하였다. 그러나 이러한 기술들의 사용은 움직임 추정에 있어서 많은 계산량을 요구한다.
참고문헌 (15)
T.Wiegand, G.J.Sullivan, A.Luthra, 'Overview of the H.264/AVC Video Coding Standard', IEEE Trans. on Circuits and System for Video Technology Vol.13, No.7, pp.560-576, 2003
Draft ITU-T recommendation and final draft international standard of joint video specification. (ITU-T Rec. H.264/ISO/IEC 14 496-10 AVC in Joint Video Team(JVT) of ISO/ICE/ MPEG and ITU-T VCEG, JVTG050, 2003
T.Koga, K.Iinuma, A.Hirano, Y.Ishiguro, 'Motion compensated interframe coding for video conference', Proc. NTC81, pp.G5.3.1-5.3.5, Nov., 1981
R.Li, B.Zeng and M.L.Liou, 'A New Three Step Search Algorithm for Block Motion Estimation', IEEE Trans. on Circuits and System for Video Technology Vol.4, No.4, pp.438-441, Aug., 1994
J.R.Jain and A.K.Jain, 'Displacement measurement and its application in Interframe image Coding', IEEE Trans. on Communications, Vol.29, No.12, pp.1779-1808, Dec., 1981
L.M.Po and W.C.Ma, 'A Novel Four Search Algorithm for Block Motion Estimation'. IEEE Trans. on Circuit and Systems for Video Technology Vol.6, pp.313-317, June, 1996
J.Y. Tham, S.Ranganath and A.A.Kassim, 'A Novel Unretricted Center-Biased Diamond Search Algorithm for Block Motion Estimation', IEEE Transactions on Circuits and Systems for Video Technology, Vol.8, pp.369-377, Aug., 1998
S.Zhu and K.K.Ma 'A New Diamond Search Algorithm for Fast Block Matching Motion', IEEE Transaction on Image Processing Vol.9, No.2, pp.287-290, Feb., 2000
Yuk Ying Chung ,Neil W.Bergmann 'Fast Search Block Matching Motion Estimation Algorithm using FPGA', Visual Communications and Image Processing 2000. Proc.SPIE, Vol.4067, pp.913-921
Danian Gong, Yun He, 'Fast Motion Estimation Algorithm using Horizontal and Multi-grid Search Strategy', Picture Coding Symposium 2001, pp.362-365
Prabhudev Irappa Howur, K. K. Ma, 'Report on Performance of Fast Motion Estimation using Motion Vector Field Adaptive Search Technique', ISO/IEC/JCTI/SC29/WG11 M5453, Dec., 1999
A. M. Tourapis, O. C. Au, M. L. Liou, 'Fast Block Matching Motion Estimation using Predictive Motion Vector Field Adaptive Search Technique', ISO/IEC/JCTI/SC29/WG11 MPEG2000/M5866, Mar., 2000
Z. Chen, P. Zhou, Y. He, 'Fast Integer pel and Fractional pel motion estimation in for JVT' in JVT of ISO/ICE/MPEG and ITU-T VCEG, 6th meeting, 2002
M. Wein, 'Variable Block-Size Transforms for H.264/AVC', IEEE Trans. on Circuits and System for Video Technology, Vol.13, No.7, pp.604-613, 2003
※ AI-Helper는 부적절한 답변을 할 수 있습니다.