최근 드론, 액션캠 등과 같은 촬영 장비의 활성화로 다양한 전역 움직임을 내포한 영상들이 많이 생성되고 있다. 이때 회전, 확대, 축소 등의 움직임이 발생한 경우, 2D motion vector를 활용하는 기존의 화면 간 예측 방법은 높은 부호화 효율을 기대하기 어렵다. 본 논문에서는 전역 움직임을 homography 참조 픽처를 통해 반영한 비디오 부호화 방법을 제안한다. 제안방법으로, 1) 현재 픽처와 참조 픽처간 전역 움직임 관계를 homography로 파악하여 새로운 참조 픽처를 생성하는 방법, 2) homography 참조 픽처를 화면 간 예측에 활용하는 방법이 있다. 실험은 HEVC 참조 소프트웨어인 HM 14.0에 적용하였고, 실험결과 RA 기준 6.6% 부호화 효율이 증가했다. 특히, 회전 전역 움직임을 지니는 영상을 이용한 실험 결과에서는 기존대비 최대 32.6%의 부호화 효율이 증가하는 결과를 나타내어, 드론과 같이 복잡한 전역 움직임이 자주 나타나는 비디오에서 높은 효율을 보일 수 있을 것으로 기대된다.
최근 드론, 액션캠 등과 같은 촬영 장비의 활성화로 다양한 전역 움직임을 내포한 영상들이 많이 생성되고 있다. 이때 회전, 확대, 축소 등의 움직임이 발생한 경우, 2D motion vector를 활용하는 기존의 화면 간 예측 방법은 높은 부호화 효율을 기대하기 어렵다. 본 논문에서는 전역 움직임을 homography 참조 픽처를 통해 반영한 비디오 부호화 방법을 제안한다. 제안방법으로, 1) 현재 픽처와 참조 픽처간 전역 움직임 관계를 homography로 파악하여 새로운 참조 픽처를 생성하는 방법, 2) homography 참조 픽처를 화면 간 예측에 활용하는 방법이 있다. 실험은 HEVC 참조 소프트웨어인 HM 14.0에 적용하였고, 실험결과 RA 기준 6.6% 부호화 효율이 증가했다. 특히, 회전 전역 움직임을 지니는 영상을 이용한 실험 결과에서는 기존대비 최대 32.6%의 부호화 효율이 증가하는 결과를 나타내어, 드론과 같이 복잡한 전역 움직임이 자주 나타나는 비디오에서 높은 효율을 보일 수 있을 것으로 기대된다.
Recently, a lot of images containing various global movements have been generated by the activation of the photographic equipment such as the drone and the action cam. In this case, when the motion such as rotation, scaling is generated, it is difficult to expect a high coding efficiency in the conv...
Recently, a lot of images containing various global movements have been generated by the activation of the photographic equipment such as the drone and the action cam. In this case, when the motion such as rotation, scaling is generated, it is difficult to expect a high coding efficiency in the conventional inter-picture prediction method using the 2D motion vector. In this paper, we propose a video coding method that reflects global motion through homography reference pictures. As a proposed method, there are 1) a method of generating a new reference picture by grasping a global motion relation between a current picture and a reference picture by homography, and 2) a method of utilizing a homography reference picture for inter-picture prediction. The experiment was applied to the HEVC reference software HM 14.0, and the experimental result showed an increase in encoding efficiency of 6.6% based on RA. Especially, the results using the videos with rotational motion have a maximum coding efficiency of 32.6%, which is expected to show high efficiency in video, which is often represented by complex global motion such as drones.
Recently, a lot of images containing various global movements have been generated by the activation of the photographic equipment such as the drone and the action cam. In this case, when the motion such as rotation, scaling is generated, it is difficult to expect a high coding efficiency in the conventional inter-picture prediction method using the 2D motion vector. In this paper, we propose a video coding method that reflects global motion through homography reference pictures. As a proposed method, there are 1) a method of generating a new reference picture by grasping a global motion relation between a current picture and a reference picture by homography, and 2) a method of utilizing a homography reference picture for inter-picture prediction. The experiment was applied to the HEVC reference software HM 14.0, and the experimental result showed an increase in encoding efficiency of 6.6% based on RA. Especially, the results using the videos with rotational motion have a maximum coding efficiency of 32.6%, which is expected to show high efficiency in video, which is often represented by complex global motion such as drones.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이러한 복잡한 움직임의 발생은 동영상 부호화 효율을 감소시키는 원인이 될 수 있다. 본 논문에서는 HEVC/H.265에서 화면 간 예측에 존재하는 문제점을 거론하고 문제점에 대한 해결 방안을 제시하여 부호화 효율을 증가시키는 방법을 제안한다.
본 논문에서는 드론과 같은 촬영 장비의 다양화로 인한 보다 복잡한 전역 움직임을 가지는 영상생성이 많아지는추세에 대응하여, 전역 움직임을 반영한 참조 픽처를 생성하고 이를 이용한 부호화 방안에 대하여 다루었다. 실험 결과를 통해 기존 2차원 움직임 벡터 방식으로 화면 간 예측효율이 저하되는 영상에서 효율을 볼 수 있음을 확인하였다.
제안 방법
Homography 참조 픽처를 활용한 동영상 부호화기 구조는 <그림 1>과 같다. 본 논문의 제안 방법은 크게 Homography 참조 픽처 생성부와 Homography 참조 픽처를 활용한 화면 간 예측부로 나뉜다.
실험영상은 1920x1080 해상도 영상을 사용하였으며, 전역 움직임 특성에 따라 평행이동(Panning) 4종, 회전(Rotate) 4종, 확대(Zoom in) 3종, 축소(Zoom out) 3종의 네 그룹 14개 영상을 사용하였다. 실험조건은 HEVC의 공통 실험 조건의 저지연-P(Low-delay-P)환경과 저지연(Low-delay) 환경, 임의 접근(Random-ac- cess) 환경, 그리고 Main 프로파일을 준수하였다. 제안 방법의 부호화 효율을 측정하기 위해 BD-Bitrate 방법을 사용하였다[5].
대상 데이터
0과의 비교실험을 수행하였다. 실험영상은 1920x1080 해상도 영상을 사용하였으며, 전역 움직임 특성에 따라 평행이동(Panning) 4종, 회전(Rotate) 4종, 확대(Zoom in) 3종, 축소(Zoom out) 3종의 네 그룹 14개 영상을 사용하였다. 실험조건은 HEVC의 공통 실험 조건의 저지연-P(Low-delay-P)환경과 저지연(Low-delay) 환경, 임의 접근(Random-ac- cess) 환경, 그리고 Main 프로파일을 준수하였다.
데이터처리
본 논문에서 제안한 알고리즘의 성능을 확인하기 위하여 HEVC 참조 소프트웨어인 HM 14.0에 구현하여 HM14.0과의 비교실험을 수행하였다. 실험영상은 1920x1080 해상도 영상을 사용하였으며, 전역 움직임 특성에 따라 평행이동(Panning) 4종, 회전(Rotate) 4종, 확대(Zoom in) 3종, 축소(Zoom out) 3종의 네 그룹 14개 영상을 사용하였다.
이론/모형
이때 기하 변환 참조 픽처를 선택하였는지를 나타내는 신호는 PU단위로 적용되기 때문에Bit-Stream내에서 많은 양을 차지하여 부호화 효율을 저하시키게 된다. 이러한 부호화 효율 저하를 줄이기 위해서 Merge 모드에 기하 변환 참조 픽처의 선택 여부 정보를 포함하여 활용한다. 각 Merge 후보는 해당 후보를 복호화할 때 사용된 기하 변환 참조 픽처를 사용 여부 정보를 가지고 있으며, 현재 PU는 선택된 Merge 후보와 동일하게 기하 변환 참조 픽처 사용 여부를 결정한다.
실험조건은 HEVC의 공통 실험 조건의 저지연-P(Low-delay-P)환경과 저지연(Low-delay) 환경, 임의 접근(Random-ac- cess) 환경, 그리고 Main 프로파일을 준수하였다. 제안 방법의 부호화 효율을 측정하기 위해 BD-Bitrate 방법을 사용하였다[5]. <표1>는 제안한 방법을 이용하여 부호화한 BDBitrate를 나타낸 것이다.
성능/효과
6%의 기존 대비 부호화 효율 증대를 확인하였다. 각 그룹별 실험 결과는 평행이동 영상에서는 부호화 효율이 감소되는 경향을 보이며, 회전 영상에서는 높은 부호화 효율의 증가가 관측되었다. 기존의 움직임 벡터 방식으로 화면 간 예측의 수행이 잘 이루어지는 평행이동의 경우 제안 방법을 사용할 시 추가 정보 송신이 필요하여 부호화 효율이 감소하는 반면, 기존의 움직임 벡터 방식으로 예측이 어려운 회전이동의 경우 추가 정보를 송신함에도 화면 간 예측정밀도가 높아져 부호화 효율이 높아진다.
각 Merge 후보는 해당 후보를 복호화할 때 사용된 기하 변환 참조 픽처를 사용 여부 정보를 가지고 있으며, 현재 PU는 선택된 Merge 후보와 동일하게 기하 변환 참조 픽처 사용 여부를 결정한다. 본 제안에서는 화면 간 예측의 정밀성이 상대적으로 높아 Merge 모드의 선택빈도가 높아지므로, Merge 모드를 활용한 기하 변환 참조 픽처 선택 정보의 예측 방법으로 추가 전송 정보를 많이 줄일수 있다[4].
본 논문에서는 드론과 같은 촬영 장비의 다양화로 인한 보다 복잡한 전역 움직임을 가지는 영상생성이 많아지는추세에 대응하여, 전역 움직임을 반영한 참조 픽처를 생성하고 이를 이용한 부호화 방안에 대하여 다루었다. 실험 결과를 통해 기존 2차원 움직임 벡터 방식으로 화면 간 예측효율이 저하되는 영상에서 효율을 볼 수 있음을 확인하였다. 본 논문에서 제안하는 알고리즘을 통해 향후 보다 다양성을 가지고 복잡해져 가는 영상 속 움직임에 대한 부호화 효율이 증대될 것으로 기대된다.
기존의 움직임 벡터 방식으로 화면 간 예측의 수행이 잘 이루어지는 평행이동의 경우 제안 방법을 사용할 시 추가 정보 송신이 필요하여 부호화 효율이 감소하는 반면, 기존의 움직임 벡터 방식으로 예측이 어려운 회전이동의 경우 추가 정보를 송신함에도 화면 간 예측정밀도가 높아져 부호화 효율이 높아진다. 실험을 통해 비평행인 복잡한 전역 움직임을 가지는 영상에서 제안 방법이 적용되면 부호화 효율이 높아지는 것으로 분석된다.
<표1>는 제안한 방법을 이용하여 부호화한 BDBitrate를 나타낸 것이다. 저지연-P 환경에서 평균 12.8%, 저지연 환경에서 평균 9.3%, 임의 접근 환경에서 평균 6.6%의 기존 대비 부호화 효율 증대를 확인하였다. 각 그룹별 실험 결과는 평행이동 영상에서는 부호화 효율이 감소되는 경향을 보이며, 회전 영상에서는 높은 부호화 효율의 증가가 관측되었다.
후속연구
본 논문에서 제안하는 알고리즘을 통해 향후 보다 다양성을 가지고 복잡해져 가는 영상 속 움직임에 대한 부호화 효율이 증대될 것으로 기대된다. 본 논문에서 얻어진 결과를 통해, 향후 제안 알고리즘으로 인해 발생하는 부가정보를 보다 효율적으로 압축하여 더욱 부호화 효율을 높일 수있는 방안에 대한 연구가 진행되어야 하겠다.
실험 결과를 통해 기존 2차원 움직임 벡터 방식으로 화면 간 예측효율이 저하되는 영상에서 효율을 볼 수 있음을 확인하였다. 본 논문에서 제안하는 알고리즘을 통해 향후 보다 다양성을 가지고 복잡해져 가는 영상 속 움직임에 대한 부호화 효율이 증대될 것으로 기대된다. 본 논문에서 얻어진 결과를 통해, 향후 제안 알고리즘으로 인해 발생하는 부가정보를 보다 효율적으로 압축하여 더욱 부호화 효율을 높일 수있는 방안에 대한 연구가 진행되어야 하겠다.
질의응답
핵심어
질문
논문에서 추출한 답변
블록의 크기에 따라 2차원 움직임 벡터의 수는 어떻게 변하는가?
기존 화면 간 예측 기술에 활용되는 블록 단위 2차원 움직임 벡터 방식은 동영상의 각 프레임을 작은 정사각형 또는 직사각형 단위의 블록으로 나누어, 블록 단위의 움직임을 찾아 2차원 움직임 벡터로 표현하는 방식을 말한다. 블록의 크기가 작을수록 화면 간 예측의 정밀도가 높아지나 부호화해야 하는 2차원 움직임 벡터의 수가 늘어나고, 블록의 크기가 클수록 화면 간 예측의 정밀도가 떨어지나 부호화해야 하는 2차원 움직임 벡터의 수는 줄어든다. 2차원 움직임 벡터 방식은 화면 내 물체의 평행 이동만을 표현할수 있다.
CTU 구조의 장점은 무엇인가?
CTU(Coding Tree Unit) 구조는 쿼드트리(Quad tree) 방식으로 4개의 정사각형 모양으로 단계적으로 분할 되거나 분할되지 않을 수 있다. 이를 통해 영역별로 부호화 효율을 고려한 서로 다른 크기의 블록크기를 지정할 수 있다. CU는 예측 부호화 기법에 사용하기위해 PU(Prediction Unit)로 분할 될 수 있으며, PU는 다양한 직사각형들의 조합으로 분할 될 수 있어 보다 다양한 형태의 분할을 지원한다.
동영상 부호화 효율을 감소시키는 원인은 무엇인가?
이러한 시스템으로 촬영된 영상들은 촬영 장비 자체의 움직임 발생으로 인하여 프레임 간 전역 움직임이 많이 발생한다. 기동성이 높은 항공 촬영이 가능한 드론 촬영이나, 보다 극적인 움직임을 촬영하는 액션캠의 경우 영상의 회전과 같은 복잡한 움직임이 빈번하게 발생한다. 이러한 복잡한 움직임의 발생은 동영상 부호화 효율을 감소시키는 원인이 될 수 있다. 본 논문에서는 HEVC/H.
참고문헌 (5)
G. J. Sullivan, J. M. Boyce, Y. Chen, J. R. Ohm, C. A. Segall, and A. Vetro, "Standardized extensions of high efficiency video coding (HEVC)". IEEE Journal of selected topics in Signal Processing, Vol.7, No.6, pp.1001-1016, Dec 2013.
I. K. Kim, J. Min, T. Lee, W. J. Han, and J. H. Park, "Block Partitioning Structure int the HEVC Standard", IEEE Transactions on CSVT, Vol.22, No.12, pp.1697-2012, Dec 2012.
O. D. Faugeras, and F. Lustman. "Motion and structure from motion in a piecewise planar environment." International Journal of Pattern Recognition and Artificial Intelligence Vol.2, No.3, pp.485-508, June 1988.
G. J. Sullivan , J. R. Ohm , W. J. Han and T. Wiegand, "Overview of the high efficiencyvideo coding (HEVC) standard", IEEE Trans. CircuitsSyst. Video Technol., Vol. 22, No. 12, pp.1649-1668, Sep 2012.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.