[논문]우세 움직임 벡터를 이용한 프레임 보간 기법

최승현; 이성원

우세 움직임 벡터를 이용한 프레임 보간 기법
Frame Interpolation using Dominant MV 원문보기

電子工學會論文誌. Journal of the Institute of Electronics Engineers of Korea. SP, 신호처리, v.46 no.6=no.330, 2009년, pp.123 - 131

초록
AI-Helper

LCD(Liquid Crystal Display)의 발전은 이전에 사용하던 CRT를 대체하고 있다. 하지만 LCD와 같은 홀드 타입(Hold type)형 디스플레이의 구조적 특성으로 인해 동영상 재생 시 움직임 블러나 움직임 저더 등의 많은 문제점이 발생했다. 이를 해결하기 위해 화면 사이사이에 새로운 화면을 생성하여 화질을 개선하기 위한 화면 보간 기법을 사용하고 있다. 본 논문에서는 우세 움직임 벡터와 블럭간 분산값의 차이를 이용한 화면 보간 기법을 제안한다. 제안하는 알고리즘은 먼저 생성되는 프레임 전후의 프레임에 대하여 블록매칭을 이용한 단방향 움직임 추정을 통한 블록 움직임 예측을 하게 된다. 그리고 블록 움직임 예측에서 찾지 못한 부분을 비교 블록간 분산값을 통해 픽셀 평균값과 영향이 큰 모션 벡터를 선택하여 적용시키는 픽셀 움직임 예측으로 새로운 프레임을 생성한다. 제안하는 알고리즘을 이용하여 여러 실험영상의 프레임 보간 결과를 비교하였으며, 기존 알고리즘인 양방향 화면 보간 방법에 비하여 약 3dB 정도의 PSNR 증가를 얻을 수 있었고 단방향 화면 보간 방법에 비해 계산량을 줄일 수 있었다.

Abstract ▼ AI-Helper

The emerging display technology has been replaced the previous position of the CRT with the LCD. The nature of hold type display such as LCD, however, causes many problems such as motion blur and motion judder. To resolve the problems, we used frame interpolation technique which improves the image quality by inserting new interpolated frames between existing frames. In this paper, we propose a novel frame interpolation technique that uses dominant MV and variance different value in each block. At first, the proposed algorithm performs unidirectional motion estimation using blocking matching algorithm. The new frame is generated by pixel average using compared block variance or by pixel motion compensation using dominant motion vector, whether the motion estimation find the target area or not. Several experiments with the proposed algorithm shows that the proposed algorithm has better image quality than the existing bidirectional frame interpolation algorithm at the rate of about 3dB PSNR and has low complexity comparing to the unidirectional frame interpolation technique.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 화면 속 움직임 추정 효율을 높임과 동시에 화질 개선을 위하여, 블록 움직임 예측을 통해 새로운 화면을 생성하고, 생성된 화면에 부족한 데이터를 채우기 위해 픽셀 움직임 예측 알고리즘을 제안한다. 블록 움직임 예측은 기존 논문에서 사용된 단방향모션 벡터를 사용하는 블록 매칭 알고리즘(Block Matching Algorithm, BMA)을 이용한다.

가설 설정

분산은 해당 데이터의 평균값에서 각 값들의 표준 편차의 제곱으로 계산을 하므로, 비교 블록별 분산값의 차이는 블록간 동일성을 확인해서 모션 벡터의 정확성을 구분할 수 있다. 비교 블록간 분산값의 차이가 작을수록 두 블록의 차이는 작다고 판단, 계산된 모션 벡터의 정확성을 보장한다고 가정하고 이에 따라 비어 있는 영역의 해당 블록에 대해 우세 움직임 벡터를 이용하여 데이터를 채운다. 비교 블록간 분산값의 차이가 커질 경우 계산된 모션 벡터가 잘못된 모션 벡터라 판단을 하고 전후 프레임의 픽셀 평균값을 이용하여 비어있는 데이터를 채우게 된다.

제안 방법

264등의 영상표준에서 많이 활용되고 있고, 효율적인 구현방법에 대해서도 많은 연구가 이루어지고 있다区. 그리고 픽셀 움직임 예측 알고리즘은 비교 블록간 분산값의 차이를 이용해 비어있는 영역에 우세 움직임 벡터와 동일 위치에 있는 전후 프레임 픽셀값의 평균을 선택적으로 적용할 수 있는 방법을 새롭게 제안한다.
본 논문에서 제안하는 화면 보간 방법은 기존의 단방향 모션 벡터를 이용한 화면 보간 방법을 이용해 지역 움직임 추정을 통한 새로운 프레임을 생성하고, 비어있는 영역에 대해 비교 블록간 분산값의 차이를 이용 해적용 시키는 알고리즘을 달리하여 새로운 화면을 합성하는 방법을 제안하였다.
비교하였다. 실험은 352x288(aF), 704><576(4CIF), 1280x720(HD), 1920xl080(Full HD) 크기의 영상을 이용해 영상의 100 프레임까지 짝수번째 프레임에 알고리즘을 적용시켜 새로운 영상을 만들었다. 알고리즘을 적용해 만들어진 영상들은 해당 영상의 원본 영상과 비교하여 PSNR을 계산하였다.
실험은 352x288(aF), 704><576(4CIF), 1280x720(HD), 1920xl080(Full HD) 크기의 영상을 이용해 영상의 100 프레임까지 짝수번째 프레임에 알고리즘을 적용시켜 새로운 영상을 만들었다. 알고리즘을 적용해 만들어진 영상들은 해당 영상의 원본 영상과 비교하여 PSNR을 계산하였다. 실험에 사용한 블록 매칭 알고리즘의 블록 크기는 8×8이고 탐색 범위는 +16픽셀에서 -16픽셀까지다.
알고리즘의 실험은 모션 벡터를 이용해 임시 중간 프레임을 생성시킬 때 단방향 모션 벡터를 UD-BMA로표시한다. 새롭게 생성되는 프레임을 기준으로 양측의 모션 벡터를 구하는 방법을 BI-BMA로 표시한다.
화면 중간중간에 보이는 검은 부분이 모션 벡터를 찾지 못한 부분들이다. 이 부분을 채우는 알고리즘을 구분하여 실험을 진행 하였다.
제안 하는 알고리즘에서 사용하는 블록 움직임 예측은 단방향 모션 벡터 검색을 위한 블록 매칭 알고리즘이다. BMA의 효율적인 동작을 위한 여러 알고리즘이 있지만 본 논문에서는 BMA의 영향을 줄이기 위해 전역 탐색(Full Search)을 사용한다.
있다. 제안된 알고리즘에서는 영상의 특성을 구분하기 위하여 블록의 분산값을 이용힌다. 분산은 해당 데이터의 평균값에서 각 값들의 표준 편차의 제곱으로 계산을 하므로, 비교 블록별 분산값의 차이는 블록간 동일성을 확인해서 모션 벡터의 정확성을 구분할 수 있다.
제안하는 알고리즘은 블록 움직임 예측을 이용해 구성된 새로운 프레임에 부족한 픽셀 데이터를 채워 넣는 픽셀 움직임 예측 알고리즘이다. 블록 움직임 예측에는 BMA를 사용한다.

대상 데이터

계산되었다. 실험에 사용된 영상은 Blue_sk或이고 각각 분산 값 차의 절대 값이 10, 20, 30, 40, 50, 60 값을 가지고 테스트한 결과가 표 4-1 이다. 분산에 따른 모션 벡터의 영향력을 비교하기 위해 비어있는 영역이 포함된 블록에 영향이 큰 모션 벡터를 Dominant MV로 표시하였다.
블록크기를 &<8로 만든 이유는 블록 비교시 잔여 에너지 감소와 모션 벡터 추정의 정확성을 타협한 결과이기 때문이다⑸. 실험에 사용하는 영상은 Coastguard (CIF), City(4CIF), Stockholm(HD), Blue_sky(Full HD) 이다.
알고리즘을 적용해 만들어진 영상들은 해당 영상의 원본 영상과 비교하여 PSNR을 계산하였다. 실험에 사용한 블록 매칭 알고리즘의 블록 크기는 8×8이고 탐색 범위는 +16픽셀에서 -16픽셀까지다. 블록크기를 &<8로 만든 이유는 블록 비교시 잔여 에너지 감소와 모션 벡터 추정의 정확성을 타협한 결과이기 때문이다⑸.

데이터처리

제안하는 알고리즘의 성능을 검증하기 위해 양방향모션 벡터를 사용한 알고리즘, 기존 단방향 모션 벡터를 사용한 알고리즘과 제안한 알고리즘을 비교하였다. 실험은 352x288(aF), 704><576(4CIF), 1280x720(HD), 1920xl080(Full HD) 크기의 영상을 이용해 영상의 100 프레임까지 짝수번째 프레임에 알고리즘을 적용시켜 새로운 영상을 만들었다.

이론/모형

BMA의 효율적인 동작을 위한 여러 알고리즘이 있지만 본 논문에서는 BMA의 영향을 줄이기 위해 전역 탐색(Full Search)을 사용한다.
블록 매칭 알고리즘에서 사용하는 블록간 오류값 계산은 SAD를 사용한다. 즉, 현재 프레임의 블록과 참조프레임의 비교 블록간 SAD값이 가장 작은 블록 위치를 모션 벡터로 사용한다.
블록 움직임 예측은 기존 논문에서 사용된 단방향모션 벡터를 사용하는 블록 매칭 알고리즘(Block Matching Algorithm, BMA)을 이용한다. 단방향 모션 벡터를 찾기 위한 BMA는 기타 다른 움직임 추정 알고리즘에 비해 계산량이 적고, 구현이 용이하며 MPEG 계열 및 H.
비어 있는 곳에 대해 적용시키는 픽셀 움직임 예측알고리즘은 동일 위치의 픽셀값 평균을 이용하는 방법을 PixelAvg, 영향이 큰 벡터값을 이용한 방법을 Dominant MV라 표시하고 표에 정리하였다. 비어있는 영역에 대해 새롭게 생성되는 프레임을 기준으로 양방향의 모션 벡터를 구하는 방법을 Bilateral로 표시한다.
그러나 LCD와 같은 홀드 타입 디스플레이의 특성으로 인해 동영상을 재생할 때 모션 블러 (Motion Blur), 모션 저더 (Motion Judder) 같은 모션 아티팩트(Motion Artifact)가 나타나게 된다. 이러한 홀드 타입 디스플레이의 단점을 해결하기 위한 방법 중 하나로서 화면 보간 기법 (Frame Interpolation) 을 사용한다. 화면 보간 기법을 이용하여 일반적인 영상의 프레임들 사이에 새로운 프레임을 구성, 삽입하여 홀드 타입 디스플레이의 단점을 극복할 수 있을 정도로 충분한 화면 재생율을 만들어 냄으로서 화질을 향상시킬 수 있다.

성능/효과

특히 기존 단방향 예측을 통한 화면 보간 알고리즘에 비해 제안하는 알고리즘이저 해상도에서는 비슷한 성능을 보였지만 고해상도로 갈수록 우수한 성능을 보였다. 또한 기존의 단방향 모션 벡터를 이용한 화면 보간 방법보다 PSNR값이 더 높은 것을 확인할 수 있었다.
실험 결과 기존의 양방향 모션 벡터를 이용한 화면보간 방법에 비해 전반적으로 제안하는 화면 보간 방법이 우수한 PSNR값을 보였다. 특히 기존 단방향 예측을 통한 화면 보간 알고리즘에 비해 제안하는 알고리즘이저 해상도에서는 비슷한 성능을 보였지만 고해상도로 갈수록 우수한 성능을 보였다.
제안하는 알고리즘에서 블록 매칭 알고리즘의 경우 연산량을 줄이면서 성능을 유지하는 다른 탐색 알고리즘을 적용시켜 연산량을 줄일 수 있고, 모션 벡터의 경우 영상 표준에 사용되는 모션 벡터를 그대로 이용할 수 있게 되므로 모션 벡터를 찾기 위한 비용을 절 검 하거나, 화질개선 알고리즘을 추가를 위한 비용으로 사용할 수 있게 되므로 연산의 복잡도 또는 화질에 대해 기존 알고리즘에 비해 강점을 가질 수 있게 된다.
우수한 PSNR값을 보였다. 특히 기존 단방향 예측을 통한 화면 보간 알고리즘에 비해 제안하는 알고리즘이저 해상도에서는 비슷한 성능을 보였지만 고해상도로 갈수록 우수한 성능을 보였다. 또한 기존의 단방향 모션 벡터를 이용한 화면 보간 방법보다 PSNR값이 더 높은 것을 확인할 수 있었다.

후속연구

실험을 진행할 예정이다. 또한 제안된 알고리즘의 하드웨어 구현을 위한 알고리즘 최적화 및 간소화를 진행하여 하드웨어 구현시 알고리즘의 성능을 검중할예정이다.
향후 제안된 알고리즘에 대해 영상 표준의 모션 벡터를 이용한 실험과, 화질 개선 알고리즘을 적용시킨테스트를 진행하여 제안 알고리즘의 화질 개선을 목표로 실험을 진행할 예정이다. 또한 제안된 알고리즘의 하드웨어 구현을 위한 알고리즘 최적화 및 간소화를 진행하여 하드웨어 구현시 알고리즘의 성능을 검중할예정이다.

참고문헌 (13)

Hilman, K. H. Park, Y, Kim, "Using motion-compensated frame-rate conversion for the correction of 3:2 pulldown artifacts in video sequences", IEEE transactions on Circuit and system for Video Technology, vol10, issue6, pp.869-877, Sept. 2000
B. Choi, S. Lee, "New frame rate up-conversion using bi-directional motion estimation", IEEE Transactions on Consumer Electronics, vol.46, Issue.3, pp603-609, Aug. 2000

상세보기
T. Ha, S. Lee and J. Kim, "Motion Compensated Frame Interpolation by new Block-based Motion Estimation Algorithm," IEEE Transactions on Consumer Electronics, vol.50, Issue.2, pp.752-759, May, 2004

상세보기
B. Choi, J. Han, C. Kim, and S. Ko, "Motion-Compensated Frame Interpolation Using Bilateral Motion Estimation and Adaptive Overlapped Block Motion Compensation," IEEE Transactions on Circuit and system for Video Technology, vol.17, issue.4, pp.407-416, Apr. 2007

상세보기
Y. Yang, Y. Tung and J. Wu, "Quality Enhancement of Frame Rate Up-Converted Video by Adaptive Frame Skip and Reliable Motion Extraction" IEEE transactions on Circuit and system for Video Technology, vol.17, issue.12, pp.1700-1713, Jan. 2007

상세보기
Z. Gan, L. Qi and X. Zhu, "Motion compensated frame interpolation based on H.264 decoder," Electronics Letters, vol.43, Issue.2, pp.96-98, Jan. 2007

상세보기
남현우, "개선된 크로스-육각 패턴을 이용한 고속 블록 정합 움직임 추정 알고리즘", 한국컴퓨터정보학회 논문지, vol.11, no.4, pp77-85, 2007.09
A. Huang, T. Nguyen, "A multistage Motion Vector Processing Method for Motion-Compensated Frame Interpolation", IEEE transactions on image processing, vol.17, issue.5, pp694-708, may. 2008

상세보기
S. Lee, O. Kwon, R. Park, "Weighted-adaptive Motion-Compensated Frame Rate Up-Conversion", IEEE Transactions on Consumer Electronics, vol.49, Issue.3, pp.485-492, Aug. 2003

상세보기
B. Jeon, G. Lee, S. Lee, R. Park, "Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure", IEEE Transactions on Consumer Electronics, Vol.49, Issue.3, pp499-508, Aug. 2003

상세보기
하태현, 이성주, 김성식, 성준호, 김재석, "중첩 블록 기반 움직임 추정에 의한 중간 영상 합성기법", 한국방송공학회논문지, 제 9권, 제 1호, pp54-63, mar. 2004

원문보기 상세보기
N. Mishima, G. Itoh, "Novel Frame Interpolation Method For Hold-type Displays", ICIP04 International Conference on image processing, Vol.3, pp1473-1476, Singapore, Oct.2004
D. Lim, Y. Ho, "A Fast Block Matching Motion Estimation Algorithm Using Optimal Search Patterns", Proceeding of SPIE, Vol.4310, pp.767-775, Jul. 2001

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증