[논문]움직임 벡터들의 시·공간적 상관성을 이용한 다시점 비디오 부호화를 위한 적응적 움직임 벡터 추정 기법

윤효순; 김미영

doi:10.5392/jkca.2018.18.12.035

[국내논문] 움직임 벡터들의 시·공간적 상관성을 이용한 다시점 비디오 부호화를 위한 적응적 움직임 벡터 추정 기법
An Adaptive Motion Vector Estimation Method for Multi-view Video Coding Based on Spatio-temporal Correlations among Motion Vectors 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.18 no.12, 2018년, pp.35 - 45

윤효순 (전남대학교 전자컴퓨터 공학부) , 김미영 (전남도립대학교 보건의료학과)

초록
AI-Helper

움직임 추정은 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 영상 압축에서 중요한 역할을 하지만 많은 계산량을 요구하므로 계산량을 줄이기 위한 많은 고속 움직임 추정 기법이 제안되어 왔다. 다시점 비디오는 하나의 3차원 영상을 여러 시점에서 다수의 카메라로 촬영한 영상으로 다시점 비디오의 계산량은 카메라 수에 비례하여 증가한다. 따라서 다시점 비디오를 효율적으로 부호화하기 위한 움직임 추정 기법이 필요하다. 본 논문에서는 블록의 시공간적 상관성과 블록의 움직임 특성에 따라 적응적으로 탐색 패턴을 선택하여 움직임 벡터를 추정하는 움직임 추정 기법을 제안한다. 실험 결과, 제안한 움직임 추정 기법의 성능을 JMVC(Joint Multi-view Video Coding)의 TZ탐색과 전역탐색 기법의 성능과 비교한 경우, 영상 화질과 발생된 비트량을 비슷하지만 움직임 추정에 필요한 계산량은 각각 약 70~75%, 99%를 줄인다.

Abstract ▼ AI-Helper

Motion Estimation(ME) has been developed to reduce the redundant data in digital video signal. ME is an important part of video encoding system, However, it requires huge computational complexity of the encoder part, and fast motion search methods have been proposed to reduce huge complexity. Multi- view video is obtained by capturing on a three-dimensional scene with many cameras at different positions and its complexity increases in proportion to the number of cameras. In this paper, we proposed an efficient motion method which chooses a search pattern adaptively by using the temporal-spatial correlation of the block and the characteristics of the block. Experiment results show that the computational complexity reduction of the proposed method over TZ search method and FS method can be up to 70~75% and 99% respectively while keeping similar image quality and bit rates.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 다시점 비디오 부호화에서 움직임 추정의 계산 복잡도를 감소시키면서 영상 화질을 지키는 움직임 추정 기법을 제안한다. 제안한 움직임 추정 기법은 벡터들의 상관성을 이용하여 현재 블록의 움직임 벡터를 추정하기 위한 초기 패턴을 적응적으로 결정하고, 현재 블록의 움직임 크기에 따라 적응적으로 탐색 패턴을 선택하여 움직임 추정을 수행한다.
본논문에서는 다시점 비디오 부호화에서 다시점 비디오의 고속 움직임 추정기법인 TZ기법의 계산량을 줄이면서 유사한 화질과 비트량을 제공하는 움직임 추정기법을 제안하였다. 제안한 움직임 추정 기법은 벡터들의 시간적·공간적 상관성을 이용하여 현재 블록의 탐색 시작점을 결정하고, 탐색 시작점의 크기에 따라 현재 블록의 움직임 패턴을 적응적으로 선택하여 움직임추정을 수행한다.

제안 방법

본 논문에서 다시점 비디오 부호화에서 움직임 추정의 계산 복잡도를 감소시키면서 영상 화질을 지키는 움직임 추정 기법을 제안한다. 제안한 움직임 추정 기법은 벡터들의 상관성을 이용하여 현재 블록의 움직임 벡터를 추정하기 위한 초기 패턴을 적응적으로 결정하고, 현재 블록의 움직임 크기에 따라 적응적으로 탐색 패턴을 선택하여 움직임 추정을 수행한다.
실제 초기 그리드 탐색 패턴은 탐색 영역 [-96, 96]에 탐색 점들을 배치하기 때문에 [그림 1]의 탐색 점들보다 16개의 탐색점들을 사용한다. 초기 그리드 탐색 이후, 블록의 움직임이 큰 경우에 사용되는 래스터 탐색도 탐색 영역 전역에 탐색 점들을 배치하여 검사한다. 이것은 초기 그리드 탐색 패턴에서 래스터 탐색 길이보다 큰 영역에 있는 탐색 점들을 검사할 필요가 없다는 것을 의미한다.
위 기법들의 불필요한 계산량을 줄이기 위하여 제안기법에서는 메디안 예측, 상위 블록을 이용한 예측, 이웃한 참조 화면의 대응 블록을 이용한 예측을 사용하여 초기 탐색 시작점을 결정하고. 초기 탐색 시작점의 크기를 이용하여 현재 블록의 움직임 크기를 예측한 후, 예측된 현재 블록의 움직임 크기에 따라 초기 움직임추정 탐색 패턴을 결정한다.
위 기법들의 불필요한 계산량을 줄이기 위하여 제안기법에서는 메디안 예측, 상위 블록을 이용한 예측, 이웃한 참조 화면의 대응 블록을 이용한 예측을 사용하여 초기 탐색 시작점을 결정하고. 초기 탐색 시작점의 크기를 이용하여 현재 블록의 움직임 크기를 예측한 후, 예측된 현재 블록의 움직임 크기에 따라 초기 움직임추정 탐색 패턴을 결정한다. 즉, 제안 기법에서는 영상프레임들 사이에 존재하는 시간적 상관성과 하나의 영상 프레임 안에 존재하는 공간적 상관성을 이용하여 현재 블록의 초기 탐색 시작점을 결정하고, 초기 탐색 시작점의 크기를 이용하여 현재 블록의 움직임 크기를 예측한 후, 예측된 움직임 크기에 따라 현재 블록의 탐색패턴을 적응적으로 결정하여 움직임 추정을 수행한다.
초기 탐색 시작점의 크기를 이용하여 현재 블록의 움직임 크기를 예측한 후, 예측된 현재 블록의 움직임 크기에 따라 초기 움직임추정 탐색 패턴을 결정한다. 즉, 제안 기법에서는 영상프레임들 사이에 존재하는 시간적 상관성과 하나의 영상 프레임 안에 존재하는 공간적 상관성을 이용하여 현재 블록의 초기 탐색 시작점을 결정하고, 초기 탐색 시작점의 크기를 이용하여 현재 블록의 움직임 크기를 예측한 후, 예측된 움직임 크기에 따라 현재 블록의 탐색패턴을 적응적으로 결정하여 움직임 추정을 수행한다. 현재 블록의 예측된 움직임의 크기에 따라 [그림 2 (a),(b),(c)]에서 적응적으로 탐색 패턴을 결정한다.
제안 기법에서는 현재 블록과 상관성을 가진 블록들의 움직임 벡터들을 이용하여 초기 탐색 시작점(Px,Py)을 결정하기 위하여 [그림 1]의 움직임 벡터들과 (0,0)을 후보 벡터로 이용한다. MV0과 MV1은 현재블록과 시간적 상관성을 가진 블록들의 움직임 벡터들이고 MV2, MV3 와 MV4는 현재 블록과 공간적 상관성을 가진 블록들의 움직임 벡터들이다.
[단계 1] 탐색의 시작점 예측 – 현재 블록의 탐색 시작점을 결정하기 위하여 움직임 벡터의 시간적·공간적 상관성을 이용한 메디안 예측, 상위 블록을 이용한 예측, 참조 화면들의 대응 블록을 이용한 예측, 이웃한 블록을 이용한 예측들을 사용하여 탐색 시작점 (Px,Py)을 결정한다.
[단계 4] 사각형 탐색 – 현재 블록의 움직임이 작을거라고 예측되므로, 탐색 시작점을 탐색 원점으로 하여[그림 2(b)]의 탐색 패턴을 이용하여 탐색 영역에 [그림 2(b)]의 ①,② 탐색점들을 배치하고 탐색점들 중에서 최소 비용 함수를 가진 점을 최적 탐색 점으로 결정한다. 만약 최소 비용 함수를 가진 점과 탐 최적 탐색점사이의 거리인 uiBestDistance를 구한다. 만약 uiBestDistance가 0이면 최적 탐색점을 움직임 벡터로 추정하고 마친다.
제안하는 움직임 추정 기법의 성능을 확인하기 위하여 제안 기법을 Intel Pentium (R) D CPU 3.40Ghz, 0.99GB RAM환경에 구현하였고 JMVM 6.0을 사용하였다.
QP 37일 때 Ballroom영상에서 제안한 기법과 FS, TZ와 TZI의 화질, 비트량 그리고 움직임 추정 시간을 [표 6]에 나타내었다. 그리고 BD-PRNR과 BD-BitRate을 [표 7]에 제시하였다.
제안한 움직임 추정 기법은 벡터들의 시간적·공간적 상관성을 이용하여 현재 블록의 탐색 시작점을 결정하고, 탐색 시작점의 크기에 따라 현재 블록의 움직임 패턴을 적응적으로 선택하여 움직임추정을 수행한다.

대상 데이터

제안 기법에서 현재 블록의 탐색 패턴을 적응적으로 결정하기 위하여 [표 2]의 실험 데이터를 이용한다. 여러 영상들의 움직임 벡터들을 분석한 결과, 움직임 벡터가 탐색 영역의 원점을 중심으로 반경 1화소이내, 2화소이내, 3화소이내, 4화소이내 또는 5화소이내에 분포할 확률은 [표 2]와 같다.
실험영상으로 640×480 크기의 Exit(A), Ballroom(C), Race1(D), Flamenco2(E)와 1024×768 크기의 Uli(B)를 사용하였다.

이론/모형

전송매체와 저장매체를 효율적으로 사용할 수 있도록 동영상을 압축하는데 움직임 추정 기법을 사용한다. 가장 적합한 움직임 추정을 수행하는 전역 탐색 기법은 많은 계산량을 필요로 하므로, 전역 탐색기법의 계산량을 줄이기 위하여 많은 고속 움직임 추정 기법들이 제안되었다.

성능/효과

Exit, Ballroom 영상에서 제안 기법은 TZ 기법 보다 움직임 추정 시간을 약 50% 감소시켰다. 영상 화질 면에서 제안 기법과 유사하였으며, 발생 비트량에 있어서 약 8.
Exit, Ballroom 영상에서 제안 기법은 TZ 기법 보다 움직임 추정 시간을 약 50% 감소시켰다. 영상 화질 면에서 제안 기법과 유사하였으며, 발생 비트량에 있어서 약 8.0Kbps, 4.7Kbps 각각 증가하였다. Race1영상에서 제안 기법은 TZ 기법 보다 움직임 추정 시간을 약 80% 감소시킴으로써 빠르게 움직임 벡터를 추정할 수 있지만, 화질 면에서 약 1(dB) 저하를 보였고 발생 비트량에 있어서 약 27.
7Kbps 각각 증가하였다. Race1영상에서 제안 기법은 TZ 기법 보다 움직임 추정 시간을 약 80% 감소시킴으로써 빠르게 움직임 벡터를 추정할 수 있지만, 화질 면에서 약 1(dB) 저하를 보였고 발생 비트량에 있어서 약 27.0Kbps 증가하였다. Uli에서 제안 기법은TZ 기법 보다 움직임 추정 시간을 약 75% 감소시킴으로써 움직임 벡터를 추정할 수 있지만, 화질 면에서 제안기법과 비슷하였고, 발생 비트량에 있어서 0.
0Kbps 증가하였다. Uli에서 제안 기법은TZ 기법 보다 움직임 추정 시간을 약 75% 감소시킴으로써 움직임 벡터를 추정할 수 있지만, 화질 면에서 제안기법과 비슷하였고, 발생 비트량에 있어서 0.9Kbps 증가하였다. Flamenco2에서 움직임 추정 시간을 약 65% 감소시킴으로써 움직임 벡터를 추정할 수 있지만, 화질 면에서 제안기법과 비슷하였고, 발생 비트량에 있어서 3.
9Kbps 증가하였다. Flamenco2에서 움직임 추정 시간을 약 65% 감소시킴으로써 움직임 벡터를 추정할 수 있지만, 화질 면에서 제안기법과 비슷하였고, 발생 비트량에 있어서 3.5Kbps 증가하였다.
Exit, Uli, Ballroom, Race1, Flamenco2 영상에서 제안 기법은 TZH 기법 보다 움직임 추정 시간을 50% 이상 감소시켰고 영상 화질 면에서 제안 기법과 유사한 화질을 보였으며, 발생 비트량에 있어서 약 9.4Kbps, 0.4Kbps 3.2Kbps, 20.1Kbps 1.7Kbps 각각 증가하였다.
본 논문에서 제안한 움직임 추정 기법의 성능을 TZ 기법, TZI 기법의 성능과 비교하였을 때, 제안 기법은 TZI 기법의 움직임 추정 시간을 50%이상 줄이면서 화질과 발생 비트량에 있어서 유사한 성능을 보였으며, TZ 기법의 성능과 비교하였을 때 제안 기법은 TZ 기법보다 움직임 추정 속도를 약 2～5배 향상시켰다 움직임이 빠른 Race1 영상을 제외하고 유사한 화질과 비트량을 보였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	3단계 탐색 기법이란?	3단계 탐색 기법[3]은 넓은 영역에 걸쳐 8 개의 탐색점들을 주사한 후 점차 범위를 좁혀 나가면서 움직임벡터를 추정하는 기법이고, 새로운 3단계 탐색 기법은[4] 움직임 벡터가 탐색 영역의 중심에 분포하다는 사실을 이용하여 3단계 탐색 기법을 보안한 기법이며, 2차원 로그형 탐색 기법[5]는 대부분의 움직임이 상하좌우 방향으로 발생한다는 특징을 이용한 기법이며, 4단계 탐색기법[6]은 새로운 3단계 탐색 기법의 계산량을 보안한 기법이다. 그리고 다이아몬드 탐색 기법[7][8]은 움직임 벡터 분포가 다이아몬드라는 사실을 이용한 기법이은 2단계 탐색기법[9][10]은 계산량을 줄이는 것보다는 하드웨어 구현, Local Minimum Problem문제를해결하기 위하여 제안되었다.
	전역 탐색 기법의 특징은?	전역 탐색 기법은 가장 간단한 블록 정합 기법으로 참조 프레임의 탐색 영역 내에 있는 모든 픽셀들을 조사하여 움직임 벡터를 추정하므로 가장 적합한 움직임벡터를 구할 수 있지만 많은 계산 복잡도를 필요로 한다. 전역 탐색 기법의 계산 복잡도를 줄이기 위하여 많은 고속 움직임 추정 기법들이 제안되었다.
	블록 정합기법의 데이터 압축 방법은?	블록 정합기법은 영상의 한 프레임을 동일한 블록으로 나누고 이들의 각각 블록에 대하여 참조 프레임에서정합 오차가 가장 작은 블록을 찾는 기법으로 현재 프레임의 블록과 참조 프레임에서 정합 오차가 작은 블록간의 위치 차이를 움직임 벡터라 한다. 움직임 벡터에 의해서 보상된 영상과 원 영상과의 차이를 부호화하여전송하는 방법으로 데이터를 압축한다.

참고문헌 (20)

H. G. Muamann, P. Pirch, and H. H. Grallert, "Advance in picture coding," Proc. of IEEE, Vol.73, No.4, pp.523-548, 1985.

상세보기
J. L. Mitchell, W. B. Pennebaker, and C. E. Fogg, MPEG video compression standard, Chapman & Hall, 1996.
T. Koga, K. Iinuma, A. Hirano, and Y. Ishiguro, "Motion compensated interframe coding for video conference," NTC81, pp.G5.3.1-5.3.5, 1981.
R. Li, B. Zeng, and M. L. Liou, "A New Three Step Search Algorithm for Block Motion Estimation," IEEE Transactions on Circuits and System for Video Technology, Vol.4, No.4, pp.438-441, 1994(8).

상세보기
J. R. Jain and A. K. Jain, "Displacement measurement and its application in Interframe image Coding," IEEE Transactions on Communications, Vol.29, No.12, pp.1779-1808, 1981.
L. M. Po and W. C. Ma, "A Novel Four Search Algorithm for Block Motion Estimation," IEEE Transactions on Circuit and Systems for Video Technology, Vol.6, pp.313-317, 1996.

상세보기
J. Y. Tham, S. Ranganath, and A. A. Kassim, "A Novel Unretricted Center-Biased Diamond Search Algorithm for Block Motion Estimation," IEEE Transactions on Circuits and Systems for Video Technology, Vol.8, pp.369-377, 1998.

상세보기
S. Zhu and K. K. Ma, "A New Diamond Search Algorithm for Fast Block Matching Motion," IEEE Transaction on Image Processing, Vol.9, No.2, pp.287-290, 2000.

상세보기
Y. Y. Chung and N. W. Bergmann, "Fast Search Block Matching Motion Estimation Algorithm using FPGA," Visual Communications and Image Processing 2000, Proc. SPIE, Vol.4067, pp.913-921, 2000.
D. Gong and Y. He, "Fast Motion Estimation Algorithm using Horizontal and Multi-grid Search Strategy," Picture Coding Symposium 2001, pp.362-365, 2001.
C. Zhu, X. Lin, and L. P. Chau, "Hexagon based search pattern for fast block motion estimation," IEEE Transactions on Circuits and Systems for Video Technology, Vol.12, pp.349-355, 2002.

상세보기
P. I. Howur and K. K. Ma, "Report on Performance of Fast Motion Estimation using Motion Vector Field Adaptive Search Technique," ISO/IEC/JCTI/SC29/WG11 M5453, 1999(12).
A. M. Tourapis, O. C. Au, and M. L. Liou, "Fast Block Matching Motion Estimation using Predictive Motion Vector Field Adaptive Search Technique," ISO/IEC/JCTI/SC29/WG11 MPEG 2000/M5866, 2000(3).
Z. Chen, P. Zhou, and Y. He, "Fast Integer pel and Fractional pel motion estimation in for JVT," in JVT of ISO/ICE/ MPEG and ITU-T VCEG, 6th meeting, 2002.
A. Smolic, K. Mueller, P. Merkle, C. Fehn, P. kauff, P. Eisert, and T. Wiegand, "3D Video and Free Viewpoint Video - Technologies, Applications and MPEG Standards," IEEE International Conference on Multimedia and Exposition, 2006(7).
ISO/IEC JTC1/SC29/WG11 N10357, "Vision on 3D Video," 2009(2).
X. L. TANG and S. K. OAT, "An Analysis of TZSearch Algorithm in JMVC," The 2010 International Conference on Green Circuits and Systems, pp.516-519, 2010.
N. Purnachand, L. N. Alves, and A. Navarro, "Improvements to TZ search motion estimation algorithm for multiview video coding," IWSSIP 2012, pp.388-391, 2012.
H. S. Yoon and M. Y. Kim, "Center Biased Motion Estimation Method for Multi-video view video coding," J. of KIISE, Vol.40, No.11, pp.679-704, 2013.
H. S. Yoon and G. S. Lee, "Adaptive Motion Estimation using temporal correlation," The KIPS Transactions: Part B, Vol.9, No.2, pp.199-204, 2004.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증