[논문]블록의 성질과 프레임 움직임을 고려한 적응적 확장 블록을 사용하는 프레임율 증강 기법

박대준; 정제창

doi:10.5909/jbe.2013.18.3.342

[국내논문] 블록의 성질과 프레임 움직임을 고려한 적응적 확장 블록을 사용하는 프레임율 증강 기법
Adaptive Extended Bilateral Motion Estimation Considering Block Type and Frame Motion Activity 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.18 no.3, 2013년, pp.342 - 348

박대준 (한양대학교 전자컴퓨터통신공학과) , 정제창 (한양대학교 전자컴퓨터통신공학과)

초록
AI-Helper

본 논문에서는 적응적인 확장 블록을 사용하는 프레임율 증강 기법인 AEBME (Adaptive Extended Bilateral Motion Estimation)을 제안하고자 한다. 기존의 EBME (Extended Bilateral Motion Estimation) 알고리듬은 동일한 구역에 두 번의 움직임 예측을 수행함으로 인해 높은 계산량이 요구되었다. 본 논문에서는 영상의 edge 정보를 활용한 블록 유형의 일치 유무를 고려하여 EBME 수행여부를 결정함으로써 움직임 예측 과정을 보다 빠르게 수행하도록 하였다. 움직임 벡터 평활화 과정이 적용되어 움직임 벡터 필드 내의 이상 벡터를 찾아 수정한다. 최종적으로 OBMC (Overlapped Block Motion Compensation)와 MCFI (Motion Compensated Frame Interpolation)이 프레임 움직임의 성질에 따라 적용되어 중간 프레임을 보간하게 된다. 실험 결과를 통해 제안하는 알고리듬이 기존의 알고리듬인 EBME에 비해 향상된 성능과 빠른 속도를 보임을 알 수 있다.

Abstract ▼ AI-Helper

In this paper, a novel frame rate up conversion (FRUC) algorithm using adaptive extended bilateral motion estimation (AEBME) is proposed. Conventionally, extended bilateral motion estimation (EBME) conducts dual motion estimation (ME) processes on the same region, therefore involves high complexity. However, in this proposed scheme, a novel block type matching procedure is suggested to accelerate the ME procedure. We calculate the edge information using sobel mask, and the calculated edge information is used in block type matching procedure. Based on the block type matching, decision will be made whether to use EBME. Motion vector smoothing (MVS) is adopted to detect outliers and correct outliers in the motion vector field. Finally, overlapped block motion compensation (OBMC) and motion compensated frame interpolation (MCFI) are adopted to interpolate the intermediate frame in which OBMC is employed adaptively based on frame motion activity. Experimental results show that this proposed algorithm has outstanding performance and fast computation comparing with EBME.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 블록 유형 일치 여부와 프레임 움직임 성질을 고려한 효과적인 프레임율 증강 기법인 AEBME 알고리듬을 제안하였다. 블록 유형 일치 여부는 edge 정보를 활용하여 추가적인 탐색을 줄여줌으로써 불필요한 계산을 상당량 감소시켰다.

제안 방법

비교 알고리듬으로 EBME를 사용하였다. EBME에 비해 객관적 화질이 얼마나 좋은지, 얼마나 빨라졌는지를 측정하고, 블록 유형 일치 판단 알고리듬이 실험 영상마다 어떤 결과를 보이는지 제시하였다.
EBME는 현재 프레임과 이전 프레임을 이용하여 두 번의 전역 탐색 (full search)을 수행하기 때문에 매우 느리며, 실시간 응용에 적합하지 않다. 반면에 서로 다른 중복된 격자를 통해 두 번의 움직임 예측을 수행하고, 추가적인 움직임 벡터 평활화 과정을 거침으로써 움직임 벡터의 정확도를 높여준다.
블록 유형 일치 여부는 edge 정보를 활용하여 추가적인 탐색을 줄여줌으로써 불필요한 계산을 상당량 감소시켰다. 반복적인 움직임 벡터 평활화를 통해 이상 벡터를 찾아, 수정함으로써 움직임 벡터의 정확도를 높였고, 프레임 움직임 성질을 고려하여 OBMC를 선택적으로 사용함으로써 정적인 영상에서의 화질 저하를 줄였다. 최종적으로 MCFI를 통해 중간 프레임을 복원하였다.
제안하는 AEBME 알고리듬의 흐름도는 그림 5에 제시한다. 블록 유형의 일치 유무에 따라 EBME를 수행여부를 결정하고, 프레임 움직임의 성질에 따라 OBMC를 적용여 부를 결정한다. EBME에서 처음의 탐색이 정확하다고 판단이 될 경우, 추가적인 두 번째 탐색은 생략하여 계산량을 극단적으로 줄인다.
그러나 쌍방향 움직임 예측과 보상은 중간 프레임을 블록 단위로 나누어 이전 프레임과 현재 프레임의 블록들을 이용하여 탐색을 진행하기 때문에, 복원 후에 홀과 폐쇄 영역이 존재하지 않는다. 쌍방향의 블록들을 이용하여 (1)의 SBAD (the sum of bilateral absolute differences)를 계산하고, SBAD를 최소로 하는 움직임 벡터를 찾는다.
그림 2에 EBME가 수행되어 움직임 벡터 필드의 정확도가 높아지는 과정을 제시하였다. 원래의 격자를 통해 구한 SBAD 와 중복된 격자를 통해 구한 SBAD를 비교하여, 더 작은 SBAD를 갖는 격자의 움직임 벡터를 사용함으로써 움직임 벡터 필드를 수정한다.
실험은 CIF(352x288) 영상들의 51개 홀수 프레임을 이용하여 진행하였고, 알고리듬 수행을 통해 50개의 짝수 프레임이 생성되었다. 원본 짝수 프레임과 알고리듬 수행을 통해 생성된 짝수 프레임 사이의 PSNR (peak signal to noise ratio)을 계산하여 객관적 화질 비교의 척도로 삼았다. 비교 알고리듬으로 EBME를 사용하였다.
제안하는 AEBME (adaptive extended bilateral motion estimation) 알고리듬은 기존의 EBME 알고리듬을 edge 정보를 통한 블록 유형의 일치 유무에 따라 적응적으로 적용시킴으로써 움직임 예측 과정의 수행시간을 줄였다. 반복적인 움직임 벡터 평활화 과정이 적용되어 움직임 벡터 필드 내의 이상 벡터를 찾아 올바른 벡터로 수정하게 된다.
표 2는 각 영상별로 평균적으로 몇 번의 EBME가 추가적으로 수행되었는지를 나타낸다. 즉, 블록 유형 불일치가 영상별로 얼마나 일어나는지를 측정하였다. 정적인 영상에서는 대부분이 일치하는데 반해, 동적인 영상에서는 불일치가 정적인 영상에 비해서는 많았으나, 상당 부분에서 블록 유형이 일치함을 보여준다.
참조 블록들의 블록 유형이 일치하지 않을 경우에는 절대 참 벡터가 될 수 없으므로 추가적인 예측이 필요하다고 고려되어 EBME를 수행하여 움직임 벡터의 정확도를 높인다.
이후에 잔상 효과를 줄이기 위해 움직임 보상 기법이 사용된 보간 기법 (motion compensation frame rate up conversion: MCFRUC)이 제안되어왔다^[2][5][6]. 해당 기법들은 블록 정합 기법 (block matching algorithm: BMA)을 사용한 움직임 예측 기법과 움직임 보상 기법들로 구성된다.

대상 데이터

5로 선택하였다. 실험 영상으로 Akiyo, Coastguard, Container, Flower, Football, Foreman, Mobile, Stefan, Table 그리고 Tempete를 사용하였다.
실험은 CIF(352x288) 영상들의 51개 홀수 프레임을 이용하여 진행하였고, 알고리듬 수행을 통해 50개의 짝수 프레임이 생성되었다. 원본 짝수 프레임과 알고리듬 수행을 통해 생성된 짝수 프레임 사이의 PSNR (peak signal to noise ratio)을 계산하여 객관적 화질 비교의 척도로 삼았다.

이론/모형

원본 짝수 프레임과 알고리듬 수행을 통해 생성된 짝수 프레임 사이의 PSNR (peak signal to noise ratio)을 계산하여 객관적 화질 비교의 척도로 삼았다. 비교 알고리듬으로 EBME를 사용하였다. EBME에 비해 객관적 화질이 얼마나 좋은지, 얼마나 빨라졌는지를 측정하고, 블록 유형 일치 판단 알고리듬이 실험 영상마다 어떤 결과를 보이는지 제시하였다.

성능/효과

AEBME 알고리듬은 기존의 알고리듬에 비해 객관적 화질을 향상 혹은 유지시켰고, 블록 유형 일치 여부를 판단함으로써 수행시간은 향상시켰다. 실험 결과를 통해 제안하는 AEBME 알고리듬이 기존의 EBME 알고리듬에 비해 상당히 성능을 향상시켰음을 알 수 있다.
정적인 영상은 움직임벡터의 대부분이 영벡터라는 특성을 통해, 프레임 평균 움직임 벡터가 0에 가까울 것이라는 결론을 얻었다. 따라서 프레임 평균 움직임 벡터의 크기에 따라 OBMC 적용 여부를 결정한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	프레임율 증강 기법은 어떻게 모션 블러 현상을 줄여주는가?	프레임율 증강 기법은 이러한 문제에 대항하는 가장 이상적인 기술이다. 프레임 율을 두 배로 증가시킴으로 인해 모션 블러 현상을 극단적으로 줄여준다[1]. 프레임율 증강 기법은 제한된 대역폭 내의 환경에서도 유용하게 사용된다.
	쌍방향 움직임 예측과 보상은 단방향 움직임 예측을 통한 BMA와 달리 홀과 폐쇄 영역이 존재하지 않는 이유는 무엇인가?	기존의 단방향 움직임 예측을 통한 BMA는 움직임 보상 과정에서 홀과 폐쇄 영역 (occluded region)으로 인해 성능 저하가 발생한다. 그러나 쌍방향 움직임 예측과 보상은 중간 프레임을 블록 단위로 나누어 이전 프레임과 현재 프레임의 블록들을 이용하여 탐색을 진행하기 때문에, 복원 후에 홀과 폐쇄 영역이 존재하지 않는다. 쌍방향의 블록들을 이용하여 (1)의 SBAD (the sum of bilateral absolute differences)를 계산하고, SBAD를 최소로 하는 움직임 벡터를 찾는다.
	EBME이 실시간 응용에 적합하지 않은 이유는 무엇인가?	MC-FRUC는 참 움직임을 고려한 접근 방법과 그렇지 않은 경우로 나뉘는데, 본 논문에서 사용하는 중복 격자 방식을 이용한 움직임 예측 기법 (extended bilateral motion estimation: EBME)은 참 움직임을 고려하지 않는다[2]. EBME는 현재 프레임과 이전 프레임을 이용하여 두 번의 전역 탐색 (full search)을 수행하기 때문에 매우 느리며, 실시간 응용에 적합하지 않다. 반면에 서로 다른 중복된 격자를 통해 두 번의 움직임 예측을 수행하고, 추가적인 움직임 벡터 평활화 과정을 거침으로써 움직임 벡터의 정확도를 높여준다.

참고문헌 (7)

S. H. Chan, T. X. Wu and T. Q. Nguyen, "Comparison of two frame conversion schemes for reducing LCD motion blurs," IEEE Signal Processing Letters, vol. 17, no.9, pp. 782-786, Sept. 2010.
S. J. Kang, K. R. Cho and Y. H. Kim, "Motion compensated frame rate up-conversion using extended bilateral motion estimation," IEEE Trans. Consumer Electron., vol. 53, no. 4, pp. 1759-1767, Nov. 2007.

상세보기
S. J. Kang, D. G. Yoo and S. K. Lee, "Multiframe-based bilateral motion estimation with emphasis on stationary caption processing for frame rate up-conversion," IEEE Trans. Consumer Electron., vol. 54, no. 4, pp. 1830-1838, Nov. 2008.

상세보기
M. T. Orchard and C. J. Sullivan, "Overlapped block motion compensation: an estimation-theoretic approach," IEEE Trans. Image Processing, vol. 9, no. 5, pp.1509-1521, Sept. 1994.
B. D. Choi, J. W. Han, C. S. Kim and S. J. Ko, "Motion-Compensated Frame Interpolation Using Bilateral Motion Estimation and Adaptive Overlapped Block Motion compensation," IEEE Trans. Circuits and Systems for Video Technology, vol. 17, no. 4, pp. 407-416, Apr. 2007.

상세보기
D. Wang, A. Vincent, P. Blanchfield and R. Klepko, "Motion- Compensated Frame Rate Up-Conversion-Part II: New Algorithms for Frame Interpolation," IEEE Trans. Broadcating, vol. 56, no.2, pp. 142-149, Jun. 2007.
R. C. Gonzalez and R. E. Woods, Digital Image Processing, 3rd Edition, Prentice Hall, New Jersey, 2010.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증