본 논문은 MAP (maximum a posterior) 예측기에 기반하여 움직임 보상 예측 오차를 보정해주는 방식의 순차주사화 (de-interlacing) 알고리즘을 제안한다. 먼저, 현재 필드와 인접한 필드 간의 적절한 정합 (registration)을 수행 한 후, 계산된 정합 정보에 기반한 MAP 예측기를 통해 현재 필드에 대응하는 순차 주사 (progressive) 프레임을 찾아낸다. 안정적인 결과를 얻기 위하여 잘 알려진 BTV (bilateral total variation) 기반의 평활화 (regularization) 과정이 추가된다. 한편, 잘못된 정합 정보로 인한 소위 깃털 현상 (feathering artifact)을 억제하기 위하여 블록 단위로 깃털 현상 발생 여부를 판단하여 발생되었다고 판단된 블록 영역에 대해서는 앞서 설명한 MAP기반 순차주사화 대신 에지 방향성에 기반한 공간적 순차주사화를 적용한다. 실험 결과에 따르면, 제안된 기법은 종래 기법들에 비하여 평균 약 4dB의 PSNR 성능 개선을 보이고 있으며, 우수한 주관적 화질을 보여주고 있다.
본 논문은 MAP (maximum a posterior) 예측기에 기반하여 움직임 보상 예측 오차를 보정해주는 방식의 순차주사화 (de-interlacing) 알고리즘을 제안한다. 먼저, 현재 필드와 인접한 필드 간의 적절한 정합 (registration)을 수행 한 후, 계산된 정합 정보에 기반한 MAP 예측기를 통해 현재 필드에 대응하는 순차 주사 (progressive) 프레임을 찾아낸다. 안정적인 결과를 얻기 위하여 잘 알려진 BTV (bilateral total variation) 기반의 평활화 (regularization) 과정이 추가된다. 한편, 잘못된 정합 정보로 인한 소위 깃털 현상 (feathering artifact)을 억제하기 위하여 블록 단위로 깃털 현상 발생 여부를 판단하여 발생되었다고 판단된 블록 영역에 대해서는 앞서 설명한 MAP기반 순차주사화 대신 에지 방향성에 기반한 공간적 순차주사화를 적용한다. 실험 결과에 따르면, 제안된 기법은 종래 기법들에 비하여 평균 약 4dB의 PSNR 성능 개선을 보이고 있으며, 우수한 주관적 화질을 보여주고 있다.
This paper presents a novel de-interlacing algorithm that can make up motion compensation errors by using maximum a posteriori (MAP) estimator. First, a proper registration is performed between a current field and its adjacent fields, and the progressive frame corresponding to the current field is f...
This paper presents a novel de-interlacing algorithm that can make up motion compensation errors by using maximum a posteriori (MAP) estimator. First, a proper registration is performed between a current field and its adjacent fields, and the progressive frame corresponding to the current field is found via MAP estimator based on the computed registration information. Here, in order to obtain a stable solution, well-known bilateral total variation (BTV)-based regularization is employed. Next, so-called feathering artifacts are detected on a block basis effectively. So, edge-directional interpolation is applied to the pixels where feathering artifact may happen, instead of the above-mentioned temporal de-interlacing. Experimental results show that the PSNR of the proposed algorithm is on average 4dB higher than that of previous studies and provides the better subjective quality than the previous works.
This paper presents a novel de-interlacing algorithm that can make up motion compensation errors by using maximum a posteriori (MAP) estimator. First, a proper registration is performed between a current field and its adjacent fields, and the progressive frame corresponding to the current field is found via MAP estimator based on the computed registration information. Here, in order to obtain a stable solution, well-known bilateral total variation (BTV)-based regularization is employed. Next, so-called feathering artifacts are detected on a block basis effectively. So, edge-directional interpolation is applied to the pixels where feathering artifact may happen, instead of the above-mentioned temporal de-interlacing. Experimental results show that the PSNR of the proposed algorithm is on average 4dB higher than that of previous studies and provides the better subjective quality than the previous works.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서, 평활화를 통해 안정적인 해를 구할 필요가 있다. 본 논문에서는 여러 가능한 평활화 기법들 중 에지 성분을 잘 보존하고 구현에 용이한 BTV 기반 평활화 기법을 선택하였다. 따라서, 최종적인 MAP 예측기는 식 (10)와 같이 정의될 수 있다.
본 논문은 움직임 보상 오차까지 MAP 예측을 통해 보완하는 방식의 새로운 시공간적 순차주사화 기법을 제안한다. 먼저, 현재 필드와 이웃한 필드들 간 정합(registration)을 수행한다.
본 논문은 움직임 정합 오차를 MAP 예측기를 통해 보상하는 방식의 시공간적 순차주사화 기법을 제안하였다. L1-norm 기반 MAP 예측기를 사용하여 적은 연산 량을 가지면서도, BTV 기반 평활화를 채택하여 에지를 잘 보존하면서 좋은 화질의 순차주사 프레임을 생성할 수 있었다.
이러한 단점을 극복하기 위하여 본 논문에서는 새로운 양방향 4-필드 움직임 보상 (improved 4-field motion compensation: 이하 I4fMC)를 제안한다. I4fMC는 각 블록에 대하여 두 가지의 움직임 벡터를 찾는다.
가설 설정
먼저, 순차주사 프레임 F는 그 인접한 프레임들과 움직임 모델 M을 가지고 있다고 가정한다. 프레임 공통의 공간 불변 PSF (Point Spread Function) H는 순차주사화 수행 시 생길 수 있는 앨리어싱을 막기 위한 블러 모델을 의미한다.
제안 방법
그림 1과 같이 제안된 순차주사화 기법은 양방향 4-필드 움직임 추정부, 깃털 현상 검출부, MAP 예측기기반 시간적 순차주사화부, 에지 기반 공간적 순차주사화부 등 총 4개의 주요 모듈들로 구성되어 있다. 전체적인 구조는 종래 시공간적 순차주사화 기법들과 대동소이하나, 본 알고리즘의 핵심적인 차별점은 움직임 보상 오차를 보상해 줄 수 있는 MAP 예측기 기반 시간적 순차주사화부를 사용하는 것이다.
전체적인 구조는 종래 시공간적 순차주사화 기법들과 대동소이하나, 본 알고리즘의 핵심적인 차별점은 움직임 보상 오차를 보상해 줄 수 있는 MAP 예측기 기반 시간적 순차주사화부를 사용하는 것이다. 기존의 순차주사화 기법들에서는 움직임 보상만을 이용하여 순차주사 프레임을 복원하는 반면, 제안하는 기법에서는 잘 알려진 MAP 예측을 통하여 움직임 보상 오차 기반의 순차주사화를 사용하여 반복적으로 비월주사 필드의 화소를 복원한다. 따라서, 종래 기법들보다 아티팩트가 적고 정확하여 선명한 화질을 제공한다.
3 절에서 제안하는 시간적 순차주사화 기법에서도 동일한 현상이 발생할 수 있다. 따라서 본 논문에서는 깃털 현상을 사전에 검출하여 해당 영역에는 II.4 절에서 소개할 공간적 순차주사화를 적용하는 방식으로 좋은 화질을 유지하도록 한다.
또한, 잡음에 강인하고 에지를 잘 보존하면서 안정적인 결과를 얻기 위해 널리 알려진 BTV (bilateral total variation)에 기반한 평활화 (regularization)를 사용하였다. 또한, 부정확한 움직임 정보가 깃털 현상을 초래할 수 있으므로, 블록 단위로 깃털 현상을 검출하여, 깃털 현상 발생 가능 영역에 대해서는 앞서 언급한 MAP기반 시간적 순차주사화 대신 에지 방향을 고려한 공간적 순차주사화를 적용한다. 모의실험 결과를 통해 제안 기법은 종래 최신 기법들에 비해 객관적 화질은 물론 주관적 화질 측면에서 매우 우수함을 보인다.
는 각각 수평 방향과 수직 방향으로 l과 m만큼 이동시키는 연산자이다. 또한, 잡음의 영향을 적게 받기 위하여 데이터 항 뿐만 아니라 평활화 항 모두 p=1인 L1-norm을 채택하였다.
. 먼저, 8x8 블록 단위로 깃털 현상 발생 가능 여부를 SD 검출기를 이용하여 화소 기반으로 검색한다. 만일 현재 8x8 블록 내 25% 이상의 화소가 깃털 현상 발생 가능성이 있다고 판단되는 경우 해당 블록에는 공간적 순차주사화를 적용하고, 그렇지 않은 경우 시간적 순차주사화를 적용한다.
. 본 논문에서는 순차주사화 기법을 공간적 순차주사화 (spatial de-interlacing)[1～6], 시간적 순차주사화 (temporal de-interlacing)[7～8], 그리고 시공간적 순차주사화 (spatio-temporal de-interlacing)[9～15]등 크게 세 그룹으로 분류하였다. 공간적 순차주사화는 동작이 비교적 단순하여 하드웨어 구현에 용이하다.
순차주사 CIF급 영상 7개 (foreman, mobile, mother & daughter, stefan, coastguard, football, silent)와 두 개의 720p 영상 (city, jets)을 실험용 영상으로 사용하였다. 순차주사 프레임으로부터 비월주사 필드를 만들기 위하여 단순 저역 통과 필터 {1,2,1}//4을 통과시킨 후 D연산자를 사용하여 비월주사 필드를 생성하였다. 즉, 60Hz의 원본 순차 주사 프레임 시퀀스로부터 60Hz 비월주사 필드 시퀀스를 생성한다.
성능 평가 시 복원된 순차주사 프레임에 대응하는 원래 순차 주사 프레임을 이용하여 PSNR을 계산하였다. 시퀀스 당 20프레임의 PSNR들을 계산하여 그 평균치를 측정하였다.
Chang 등은 4개의 참조 필드에 기반한 4-필드 움직임 검출(4-field motion detection)과 4-필드 움직임 보상(4-field motion compensation)을 이용하여 순차주사화를 수행했다. 아울러, 전역 움직임 추정 (global motion estimation)을 통해 카메라의 움직임도 고려하였다[7]. 그러나 이 알고리즘은 정확한 지역 움직임 예측 (local motion estimation)이 이루어지지 않을 경우 여전히 상당한 깃털 현상이 발생하는 문제점을 안고 있다.
그림 1과 같이 제안된 순차주사화 기법은 양방향 4-필드 움직임 추정부, 깃털 현상 검출부, MAP 예측기기반 시간적 순차주사화부, 에지 기반 공간적 순차주사화부 등 총 4개의 주요 모듈들로 구성되어 있다. 전체적인 구조는 종래 시공간적 순차주사화 기법들과 대동소이하나, 본 알고리즘의 핵심적인 차별점은 움직임 보상 오차를 보상해 줄 수 있는 MAP 예측기 기반 시간적 순차주사화부를 사용하는 것이다. 기존의 순차주사화 기법들에서는 움직임 보상만을 이용하여 순차주사 프레임을 복원하는 반면, 제안하는 기법에서는 잘 알려진 MAP 예측을 통하여 움직임 보상 오차 기반의 순차주사화를 사용하여 반복적으로 비월주사 필드의 화소를 복원한다.
먼저, 현재 필드와 이웃한 필드들 간 정합(registration)을 수행한다. 정확하고 신뢰할 만한 정합을 위해 향상된 4-필드 움직임 추정 기법을 제안하고, 이 움직임 추정 기법에 의해 생성된 움직임 모델에 근거한 L1-norm MAP 예측기를 통해 현재 필드에 대응하는 순차주사 프레임을 복원한다. 또한, 잡음에 강인하고 에지를 잘 보존하면서 안정적인 결과를 얻기 위해 널리 알려진 BTV (bilateral total variation)에 기반한 평활화 (regularization)를 사용하였다.
제안하는 시간적 순차주사화 기법은 비월주사 필드의 발생 모델에 근거하여 현재 n번째 비월주사 필드에 대응하는 순차주사 프레임을 MAP 예측기를 통해 복원하는 방식이다. 이를 위해서는 순차주사 프레임으로부터 비월주사 필드가 생성되는 과정을 실제와 거의 동일하게 모델링할 필요가 있다.
대상 데이터
순차주사 CIF급 영상 7개 (foreman, mobile, mother & daughter, stefan, coastguard, football, silent)와 두 개의 720p 영상 (city, jets)을 실험용 영상으로 사용하였다.
을 비교하였다. 제안 기법에서 각 필드마다 사용한 참조 필드의 수는 현재 필드의 전후에 위치한 필드를 포함하여 총 3장이다. 그리고 식 (11)의 반복 횟수는 최대 50으로 정하였고, 제안 기법 및 Chang의 기법[7]에서의 정합을 위한 탐색 범위는 수직, 수평 방향 모두 ±32로 하였다.
데이터처리
성능 비교를 위해 제안 기법과 LA (line average), ELA, 그리고 Chang의 알고리즘[7]을 비교하였다. 제안 기법에서 각 필드마다 사용한 참조 필드의 수는 현재 필드의 전후에 위치한 필드를 포함하여 총 3장이다.
즉, 60Hz의 원본 순차 주사 프레임 시퀀스로부터 60Hz 비월주사 필드 시퀀스를 생성한다. 성능 평가 시 복원된 순차주사 프레임에 대응하는 원래 순차 주사 프레임을 이용하여 PSNR을 계산하였다. 시퀀스 당 20프레임의 PSNR들을 계산하여 그 평균치를 측정하였다.
이론/모형
정확하고 신뢰할 만한 정합을 위해 향상된 4-필드 움직임 추정 기법을 제안하고, 이 움직임 추정 기법에 의해 생성된 움직임 모델에 근거한 L1-norm MAP 예측기를 통해 현재 필드에 대응하는 순차주사 프레임을 복원한다. 또한, 잡음에 강인하고 에지를 잘 보존하면서 안정적인 결과를 얻기 위해 널리 알려진 BTV (bilateral total variation)에 기반한 평활화 (regularization)를 사용하였다. 또한, 부정확한 움직임 정보가 깃털 현상을 초래할 수 있으므로, 블록 단위로 깃털 현상을 검출하여, 깃털 현상 발생 가능 영역에 대해서는 앞서 언급한 MAP기반 시간적 순차주사화 대신 에지 방향을 고려한 공간적 순차주사화를 적용한다.
본 논문에서 사용한 공간적 순차주사화 기법은 [13]에서 제안된 방법을 차용하였다. 전형적인 표본 추출 벡터 기반 ELA로서, 적은 연산량을 가지면서 비교적 좋은 성능을 보인다.
식 (10)를 최소가 되게 하는 결과를 얻기 위하여 우리는 steepest descent 방법을 채택하였다. 다음과 같이 t+1번째 MAP 예측치를 t번째 MAP 예측치로부터 유추하는 반복적인 방법을 이용하여 최적화 결과를 얻는다.
우리는 적은 연산량을 가지면서도 좋은 검출 능력을 보이는 경계 검출기 (slope detector; 이하 SD) 방식을 사용한다[13]. 먼저, 8x8 블록 단위로 깃털 현상 발생 가능 여부를 SD 검출기를 이용하여 화소 기반으로 검색한다.
그림 2에서처럼, n번째 필드 fn이 순차주사화될 현재 필드라고 할 때, fn은 동일한 샘플링 극성을 가진 fn-2와, fn-1은 fn+1과 독립적으로 움직임 추정을 수행한다. 움직임 추정은 블록 단위로 이루어지며, 거리 연산자는 SAD (Sum of Absolute Differences)를 사용하였으며, 구체적인 수식은 다음과 같다.
성능/효과
본 논문은 움직임 정합 오차를 MAP 예측기를 통해 보상하는 방식의 시공간적 순차주사화 기법을 제안하였다. L1-norm 기반 MAP 예측기를 사용하여 적은 연산 량을 가지면서도, BTV 기반 평활화를 채택하여 에지를 잘 보존하면서 좋은 화질의 순차주사 프레임을 생성할 수 있었다. 마지막으로, 깃털 현상이 나타난 부분에 대해서는 에지 방향 보간을 이용한 공간적 순차주사화를 사용하여 움직임 보상이 거의 불가능한 영역에서 발생할 수 있는 화질 열화를 최소화하였다.
L1-norm 기반 MAP 예측기를 사용하여 적은 연산 량을 가지면서도, BTV 기반 평활화를 채택하여 에지를 잘 보존하면서 좋은 화질의 순차주사 프레임을 생성할 수 있었다. 마지막으로, 깃털 현상이 나타난 부분에 대해서는 에지 방향 보간을 이용한 공간적 순차주사화를 사용하여 움직임 보상이 거의 불가능한 영역에서 발생할 수 있는 화질 열화를 최소화하였다. 모의 실험 결과, 기존의 시공간적 순차주사화 기법 대비 평균 4dB 정도 향상된 PSNR을 얻을 수 있었다.
마지막으로, 깃털 현상이 나타난 부분에 대해서는 에지 방향 보간을 이용한 공간적 순차주사화를 사용하여 움직임 보상이 거의 불가능한 영역에서 발생할 수 있는 화질 열화를 최소화하였다. 모의 실험 결과, 기존의 시공간적 순차주사화 기법 대비 평균 4dB 정도 향상된 PSNR을 얻을 수 있었다.
또한, 부정확한 움직임 정보가 깃털 현상을 초래할 수 있으므로, 블록 단위로 깃털 현상을 검출하여, 깃털 현상 발생 가능 영역에 대해서는 앞서 언급한 MAP기반 시간적 순차주사화 대신 에지 방향을 고려한 공간적 순차주사화를 적용한다. 모의실험 결과를 통해 제안 기법은 종래 최신 기법들에 비해 객관적 화질은 물론 주관적 화질 측면에서 매우 우수함을 보인다.
질의응답
핵심어
질문
논문에서 추출한 답변
본 논문에서 제안하는 시간적 순차주사화 기법이란?
제안하는 시간적 순차주사화 기법은 비월주사 필드의 발생 모델에 근거하여 현재 n번째 비월주사 필드에 대응하는 순차주사 프레임을 MAP 예측기를 통해 복원하는 방식이다. 이를 위해서는 순차주사 프레임으로부터 비월주사 필드가 생성되는 과정을 실제와 거의 동일하게 모델링할 필요가 있다.
시간적 순차주사화 기법을 위해 해야 할 필요가 있는 것은?
제안하는 시간적 순차주사화 기법은 비월주사 필드의 발생 모델에 근거하여 현재 n번째 비월주사 필드에 대응하는 순차주사 프레임을 MAP 예측기를 통해 복원하는 방식이다. 이를 위해서는 순차주사 프레임으로부터 비월주사 필드가 생성되는 과정을 실제와 거의 동일하게 모델링할 필요가 있다.
대부분의 공간적 순차주사화 기법의 단점은?
ELA의 성능을 끌어올리기 위해, Lee는 입력된 비월주사 필드에 대응하는 이진화 영상을 추출하고 이에 기반한 에지 방향 탐색을 통해 성능을 개선시킨 방법을 제안되었다[3]. 그러나 Lee의 알고리즘을 포함한 대부분의 공간적 순차주사화 기법들은 시간축 정보 없이 필드 내부의 공간적 정보만을 이용하기 때문에 에지나 텍스쳐같은 영역에서 블러 (blur) 현상을 보이기 쉽다.
참고문헌 (18)
M. Park, M. Kang, K. Nam, and S. Oh, "New Edge Dependent De-interlacing Algorithm Based on Horizontal Edge Pattern," IEEE Trans. Consum., Electron., vol. 49, no. 4, pp. 1508-1512. Nov. 2003.
M. Park, M. Byun, J. Park, and M. Kang, "Edge-dependent Interpolation Based De-interlac ing Using Edge Patterns," SPIE Electron. Imaging., vol. 15, no. 4, pp. 043003-1-043003-8, Oct. 2006.
D. Lee, "A New Edge-based Intra-field Interpolation Method for Deinterlacing Using Locally Adaptive-thresholded Binary Image," IEEE Trans. Consum., Electron., vol. 54, no. 1, pp.110-115, Feb 2008.
H. Lee, J. Park, S. Choi, T. Bae, and Y. Ha, "Adaptive Scan Rate Up-conversion System Based on Human Visual Characteristics," IEEE Trans. Consum., Electron., vol. 46, no. 4, pp. 999-1006, Nov. 2000.
C. Kuo, C. Liao, and C. Lin, "Adaptive Interpolation Technique for Scanning Rate Conversion," IEEE Trans. Circuits Syst. Video Technol., vol. 6, no. 3, pp. 317-321, Jun. 1996.
Y. Kim, "De-interlacing Algorithm Based on Sparse Wide Vector Correlations," in Proc. SPIE Optical Eng., vol. 2727. pp. 89-99, 1996
Y. Chang, S. Lin, C. Y. Chen, and L. Chen, "Video De-Interlacing by Adaptive 4-Field Global/Local Motion Compensated Approach," IEEE Trans. Circuits Syst. Video Technol., vol. 15, no. 12, pp. 1569-1582, Dec. 2005.
Y. Chen and S. Tai, "True Motion-Compensated De-Interlacing Algorithm," IEEE Trans. Circuits Syst. Video Technol., vol. 19, no, 10, pp. 1489-1498, Oct. 2009.
J. Chang, Y. Kim, G. Shin, and M. Kang, "Adaptive Arbitration of Intra-Field and Motion Compensation Methods for De-interlacing," IEEE Trans. Circuits Syst. Video Technol., vol. 19, no. 8, pp. 1214-1220, Aug. 2009.
K. Lee, J. Lee, C. Lee, "Deinterlacing with Motion Adaptive Vertical Temporal Filtering," IEEE Trans. Consum. Electron., vol. 55, no. 2, pp. 636-643, May. 2009.
S. Lin, Y. Chang, and L. Chen, "Motion Adaptive Interpolation with Horizontal Motion Detection for Deinterlacing", IEEE Trans. Consum. Electron., vol. 49, no. 4, pp. 1256-1264, Nov. 2003.
Q. Huang, D. Zhao, S. Ma, and W. Gao, "Deinterlacing Using Hierarchical Motion Analysis," IEEE Trans. Circuits Syst. Video Technol., vol. 20, no. 5, pp. 673-686, May 2010.
Y. Fan, and C. Chung, "De-interlacing Algorithm Using Spatial-Temporal Correlation-Assisted Motion Estimation," IEEE Trans. Circuits Syst. Video Technol., vol. 19, no. 7, pp. 932-944, Jul. 2009.
김영덕, 장준영, 강문기, "관심영역 단위의 적분 프로젝션기반 움직임 추정을 사용한 순차주사화 알고리즘," 전자공학회 논문지, 제45권, SP편, 제3호, 20-29쪽, 2008년 5월.
장준영, 김영덕, 강문기, "움직임 보상의 신뢰도에 기반 한 순차주사화 알고리즘," 전자공학회 논문지, 제 46권, SP편, 제6호, 102-111쪽, 2009년 11월.
S. Farsiu, M. Robinson, M. Elad, and P. Milanfar, "Fast and Robust Multiframe Super Resolution," IEEE Trans. Image Processing, vol. 13, no. 10, pp. 1327-1344, Oct. 2004.
S. Park, M. Park, and M. Kang, "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, pp. 21-36, May. 2003.
S. Lin, Y. Chang, and L. Chen, "Motion Adaptive Interpolation with Morphological Operation and 3:2 Pull-downed Recovery for de-interlacing," IEEE Int. Conf. Multimedia Expo, Lausanne, Switzerland, Aug. 2002, CD-ROM.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.