최근 대부분의 디지털 이미지 응용분야에서는 영상 처리 및 분석을 위해 고해상도 이미지나 비디오가 요구되고 있다. 한편, 일반적인 영상획득시스템으로부터 획득한 영상신호는 획득하는 과정에서 물리적 영향, 제조 기술의 한계 및 환경적인 영향 등으로 인하여 영상의 화질 저하를 가져온다. 이러한 문제를 해결하기위해 연구되고 있는 방법 중 하나인 초해상도 복원 기술은 동일한 물체를 촬영한 다수의 저해상도 영상으로 고해상도 영상을 만들어내는 영상복원기술이다. 본 논문에서는 S&A (Shift & Add) 방법에 POCS (Projection onto Convex Sets) 이론을 적용하여 기존의 방법보다 개선된 알고리즘을 제안한다. 기존의 알고리즘은 잡음에 약하다는 문제점이 있다. 이를 해결하기 위해 제안한 방법에서는 복원단계에 사용되는 참조영상을 POCS이론에 적용하여 기존의 S&A방법과 결합하였다. 또한 광학적 왜곡에 해당하는 카메라 블러(blur) 연산자로 주파수 영역에서 BLPF (Butterworth Low-pass Filter)를 사용하여 기존방법의 문제점인 링잉현상을 해결하였다. 실험결과를 통해 잡음에 강하고 영상의 고주파영역을 향상시킨 제안한 초해상도 방법의 우수성을 확인하였고, 객관적 평가를 위해 기존의 방법과 PSNR (peak signal to noise ratio)을 비교하였다.
최근 대부분의 디지털 이미지 응용분야에서는 영상 처리 및 분석을 위해 고해상도 이미지나 비디오가 요구되고 있다. 한편, 일반적인 영상획득시스템으로부터 획득한 영상신호는 획득하는 과정에서 물리적 영향, 제조 기술의 한계 및 환경적인 영향 등으로 인하여 영상의 화질 저하를 가져온다. 이러한 문제를 해결하기위해 연구되고 있는 방법 중 하나인 초해상도 복원 기술은 동일한 물체를 촬영한 다수의 저해상도 영상으로 고해상도 영상을 만들어내는 영상복원기술이다. 본 논문에서는 S&A (Shift & Add) 방법에 POCS (Projection onto Convex Sets) 이론을 적용하여 기존의 방법보다 개선된 알고리즘을 제안한다. 기존의 알고리즘은 잡음에 약하다는 문제점이 있다. 이를 해결하기 위해 제안한 방법에서는 복원단계에 사용되는 참조영상을 POCS이론에 적용하여 기존의 S&A방법과 결합하였다. 또한 광학적 왜곡에 해당하는 카메라 블러(blur) 연산자로 주파수 영역에서 BLPF (Butterworth Low-pass Filter)를 사용하여 기존방법의 문제점인 링잉현상을 해결하였다. 실험결과를 통해 잡음에 강하고 영상의 고주파영역을 향상시킨 제안한 초해상도 방법의 우수성을 확인하였고, 객관적 평가를 위해 기존의 방법과 PSNR (peak signal to noise ratio)을 비교하였다.
In most digital imaging applications, high-resolution images or videos are usually desired for later image processing and analysis. The image signal obtained from general imaging system occurs image degradation during the process of image acquirement caused by the optics, physical constraints and th...
In most digital imaging applications, high-resolution images or videos are usually desired for later image processing and analysis. The image signal obtained from general imaging system occurs image degradation during the process of image acquirement caused by the optics, physical constraints and the atmosphere effects. Super-resolution reconstruction, one of the solution to address this problem, is image reconstruction technique that produces a high-resolution image from several low-resolution frames in video sequences. In this paper, we propose an improved super-resolution method using Projection onto Convex Sets (POCS) method based on Shift & Add (S&A). The image using conventional algorithms is sensitive to noise. To solve this problem, we propose a fusion algorithm of S&A and POCS. Also we solve the problem using BLPF (Butterworth Low-pass Filter) in frequency domain as optical blur. Our method is robust to noise and has sharpness enhancement ability. Experimental results show that the proposed super-resolution method has better resolution enhancement performance than other super-resolution methods.
In most digital imaging applications, high-resolution images or videos are usually desired for later image processing and analysis. The image signal obtained from general imaging system occurs image degradation during the process of image acquirement caused by the optics, physical constraints and the atmosphere effects. Super-resolution reconstruction, one of the solution to address this problem, is image reconstruction technique that produces a high-resolution image from several low-resolution frames in video sequences. In this paper, we propose an improved super-resolution method using Projection onto Convex Sets (POCS) method based on Shift & Add (S&A). The image using conventional algorithms is sensitive to noise. To solve this problem, we propose a fusion algorithm of S&A and POCS. Also we solve the problem using BLPF (Butterworth Low-pass Filter) in frequency domain as optical blur. Our method is robust to noise and has sharpness enhancement ability. Experimental results show that the proposed super-resolution method has better resolution enhancement performance than other super-resolution methods.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존 방법에서 나타나는 문제점을 개선하기 위한 방법을 제안한다. 제안한 방법은 일반적인 초해상도 형식을 기초로 하며[2], PG방법에서의 ILPF로 인하여 발생하는 영상의 링잉 현상을 감소시키기 위하여 광학적 왜곡에 해당하는 PSF (Point Spread Function)로 BLPF를 사용하였다.
본 논문은 POCS이론을 이용한 개선된 S&A 초해상도 영상 복원 방법을 제안하였다.
가설 설정
Hel-Or은 비디오 프레임을 입력영상으로 사용할 때 유용한 초해상도 방법인 S&A (Shift & Add) 방법을 제안했다[7]. 이 방법은 비디오 영상이 일반적으로 각 프레임간의 광학적 블러특성이 같고 공간 불변적(space invariant)이며, 측정된 프레임간의 기하학적 왜곡특성의 변화가 적다는 성질을 가정으로 한다. 이 가정은 다른 응용분야에 적용하기에 매우 제한적이지만 비디오 프레임과 같은 특정한 상황에는 상당히 유용하게 사용될 수 있다.
첫째, 고해상도 그리드의 몇몇 픽셀 값들을 알고 있다. 둘째, 고해상도 영상의 고주파 성분들은 영(zero)이 된다. 다시 말해, 이 방법은 고해상도 영상의 주파수영역에서 영상의 고주파성분들을 제거하여 그리드 상의 미지의 값들을 채워나가는 방법이다.
초해상도의 최대 우도 추정법은 확률적인 방법으로 영상을 복원하는 방법으로 부가적인 잡음 벡터가 가우시안이며 상호간 독립적(mutually independent)인 것을 가정으로 한다. 이 MLE을 X에 대한 LSE의 일차 미분으로 표현하면
Elad 등[7]은 비디오 프레임을 입력영상으로 사용할 때 유용한 초해상도 방법인 S&A 방법을 제안했다. 이 방법은 SD 알고리즘을 기반으로 하며, 비디오의 각 프레임의 광학적 블러특성이 같고 공간 불변적 (space invariant)이라는 것과 촬영된 프레임 간의 기하학적 왜곡특성의 변화가 적다는 성질을 가정으로 한다. 이 가정은 비디오 프레임이 아닌 다른 응용분야에 적용하기에 매우 제한적이지만 비디오 프레임과 같은 특정한 상황에는 상당히 유용하게 사용될 수 있다.
제안 방법
또한 영상에지성분을 선명하게 복원하기위하여 S&A방법과 POCS이론의 조합을 사용하였다.
본 장에서는 POCS이론을 이용하여 기존의 초해상도 복원 방법의 단점을 보완한 개선된 초해상도 복원 방법을 제안한다. 제안된 초해상도 방법은 연속된 여러 장의 저해상도 영상들의 정보들을 한 장의 고해상도 그리드에 모아 참조영상으로 사용한다.
본 장에서는 POCS이론을 이용하여 기존의 초해상도 복원 방법의 단점을 보완한 개선된 초해상도 복원 방법을 제안한다. 제안된 초해상도 방법은 연속된 여러 장의 저해상도 영상들의 정보들을 한 장의 고해상도 그리드에 모아 참조영상으로 사용한다. 이 방법은 POCS이론을 기존의 S&A 방법에 적용하고, 영상획득시스템의 광학적 블러인 PSF로 BLPF를 사용하면서 기존 방법의 잡음문제를 개선하는 방법이다.
기존의 S&A 방법은 각각의 저해상도 영상의 차를 반복하여 더함으로 에지성분을 만들어냈지만, 제안한 방법은 전체 저해상도 영상이 투영된 정보와 각 저해상도 영상간의 차이를 에지성분을 만드는데 사용하면서 기존의 S&A 방법보다 고주파성분이 향상된 결과를 얻을 수 있다. 또한 좋지 않은 광학적 블러 연산자로부터 야기되는 잡음을 최소화하기 위해 시스템의 PSF에 해당하는 Hk로써 주파수영역에서의 BLPF를 사용한다. 공간영역에서의 블러처리는 직관적이라는 장점이 있지만 원치 않은 저주파성분의 에일리어싱을 유발하는 원인이 될 수 있다.
대상 데이터
Dial 영상은 촬영된 영상을 512×512크기로 잘라내어 1/4배인 128×128크기의 저해상도 영상 4장을 만들어 사용하였다.
이 장에서는 실제 데이터를 이용한 제안한 방법의 실험 결과를 보여준다. 실험을 위해 사용된 영상은 얼굴인식분야에서 주로 사용되는 테스트 영상 (Face)과 Lena, Girl 그리고 직접 디지털 카메라로 촬영한 Dial 영상이다. 촬영에는 삼성에서 제조된 NV100HD 을 사용했다.
실험을 위해 사용된 영상은 얼굴인식분야에서 주로 사용되는 테스트 영상 (Face)과 Lena, Girl 그리고 직접 디지털 카메라로 촬영한 Dial 영상이다. 촬영에는 삼성에서 제조된 NV100HD 을 사용했다. Dial 영상을 제외한 입력영상들은 128×128크기의 원본 영상을 이용하여 1/4배인 32×32크기의 저해상도 영상 4장을 만들어 사용하였다[9].
데이터처리
또한 영상에지성분을 선명하게 복원하기위하여 S&A방법과 POCS이론의 조합을 사용하였다. 제안한 방법의 성능 평가는 시뮬레이션을 위해 MATLAB 툴을 사용하였고 주관적 및 객관적 성능 평가방법을 이용하여 기존의 초해상도 영상 복원 방법과 비교하였다. 결과적으로 제안한 방법은 기존 초해상도 방법보다 성능이 뛰어남을 확인하였고, 주파수 영역의 방법에서 나타나는 링잉 현상과 임펄스 잡음의 감소를 확인할 수 있었다.
제안한 방법의 성능을 평가하기 위해 4장의 테스트 영상을 사용하여 컴퓨터 모의실험을 수행하였다. 객관적 성능평가를 위해 기존의 초해상도 방법과의 PSNR을 비교하였고 실험결과를 통해 제안한 방법이 기존의 방법보다 복원 성능이 우수함을 확인하였다.
이론/모형
본 논문에서는 기존 방법에서 나타나는 문제점을 개선하기 위한 방법을 제안한다. 제안한 방법은 일반적인 초해상도 형식을 기초로 하며[2], PG방법에서의 ILPF로 인하여 발생하는 영상의 링잉 현상을 감소시키기 위하여 광학적 왜곡에 해당하는 PSF (Point Spread Function)로 BLPF를 사용하였다. 또한 영상에지성분을 선명하게 복원하기위하여 S&A방법과 POCS이론의 조합을 사용하였다.
공간영역에서의 블러처리는 직관적이라는 장점이 있지만 원치 않은 저주파성분의 에일리어싱을 유발하는 원인이 될 수 있다. 이러한 문제를 해결하기 위해 주파수영역에서의 필터 처리를 하며 기존의 PG 방법에서 ILPF로 인해 복원 단계에서 발생하는 링잉현상을 줄이기 위해 BLPF를 사용한다.
저해상도 영상입력에 사용된 저해상도 영상 4장은 각각 다른 이동 및 회전 정보를 가지고 있고, 영상등록단계에서 이를 측정하기 위해 Keren et al.이 제한한 모션 측정(motion estimation) 알고리즘을 이용하였으며[10] 모든 실험에는 MATLAB 툴이 사용되었다.
성능/효과
제안한 방법의 성능 평가는 시뮬레이션을 위해 MATLAB 툴을 사용하였고 주관적 및 객관적 성능 평가방법을 이용하여 기존의 초해상도 영상 복원 방법과 비교하였다. 결과적으로 제안한 방법은 기존 초해상도 방법보다 성능이 뛰어남을 확인하였고, 주파수 영역의 방법에서 나타나는 링잉 현상과 임펄스 잡음의 감소를 확인할 수 있었다.
기존의 S&A 방법은 각각의 저해상도 영상의 차를 반복하여 더함으로 에지성분을 만들어냈지만, 제안한 방법은 전체 저해상도 영상이 투영된 정보와 각 저해상도 영상간의 차이를 에지성분을 만드는데 사용하면서 기존의 S&A 방법보다 고주파성분이 향상된 결과를 얻을 수 있다.
제한된 방법은 S&A 방법과 마찬가지로 몇 가지 가정을 전제로 한다. 첫째, 비디오영상은 일반적으로 각 프레임간의 광학적 블러특성(PSF)이 같고 공간 불변적(space invariant)이다(Hk = H). 둘째, 같은 기기로 촬영된 비디오 프레임은 데시메이션 연산자가 동일하다(Dk = D).
첫째, 비디오영상은 일반적으로 각 프레임간의 광학적 블러특성(PSF)이 같고 공간 불변적(space invariant)이다(Hk = H). 둘째, 같은 기기로 촬영된 비디오 프레임은 데시메이션 연산자가 동일하다(Dk = D). 셋째, 촬영된 프레임간의 기하학적 왜곡의 변화가 적으며, 따라서 행렬 Fx는 모두 블록 순환(block-circulant)이다[8].
둘째, 같은 기기로 촬영된 비디오 프레임은 데시메이션 연산자가 동일하다(Dk = D). 셋째, 촬영된 프레임간의 기하학적 왜곡의 변화가 적으며, 따라서 행렬 Fx는 모두 블록 순환(block-circulant)이다[8]. 이러한 가정들은 비디오 영상이 아닌 다른 응용분야에 적용하기에는 매우 제한적이지만, 촬영되는 영상이 정적(static)이고 적은 흔들림을 가지는 비디오 프레임과 같은 특정한 상황에는 상당히 유용하게 적용될 수 있다.
그림 6과 그림 7은 각각 Lena와 Girl 영상으로 실험한 복원 결과 영상이며, 이와 같은 결과 영상을 통해 제안한 방법으로 복원된 영상은 PG방법의 단점인 링잉 현상이 현저히 줄었고, S&A 방법보다 고주파영역이 향상 된 것을 확인할 수 있다.
그림 4는 제안된 알고리즘의 반복횟수에 따른 결과영상의 변화를 보여준다. 좌측부터 각각 5번, 10번, 15번, 20번 그리고 최종 결과인 36번 반복된 결과를 확대된 영상과 함께 보여주며, 적은 반복횟수의 고해상도 영상에 비어있던 픽셀 정보는 반복횟수가 증가함에 따라 채워지는 것을 확인할 수 있다. 그림 5는 기존의 초해상도 방법과의 결과영상을 비교하기 위해 좌측부터 순서대로 원본의 Face 영상 그리고 IBP 방법, PG 방법, S&A 방법 마지막으로 제안한 방법으로 복원된 Face 영상을 보여준다.
또한 S&A 방법의 결과영상 (e)에서는 복원 영상의 고주파 영역 주변에 임펄스 잡음이 존재하는 것을 확인할 수 있다. 제안된 방법의 결과영상 (f)에서는 이러한 링잉현상과 임펄스 잡음이 줄어든 것을 눈으로 확인할 수 있으며, 보다 객관적인 성능평가를 위해 표 1에서 실험된 영상들과 초해상도 복원 방법들 간의 PSNR (peak signal to noise ratio)을 비교하여 제안된 방법의 우수성을 확인할 수 있었다.
본 논문은 POCS이론을 이용한 개선된 S&A 초해상도 영상 복원 방법을 제안하였다. 광학적 블러특성인 PSF로 주파수 영역에서의 BLPF를 사용하여 기존의 PG방법에서 발생했던 링잉 현상을 줄일 수 있었고, POCS이론을 이용하여 모든 저해상도 영상의 정보를 하나의 고해상도 그리드에 투영시켜 S&A방법의 참조영상으로 사용함으로써 기존의 방법보다 향상된 화질의 영상을 얻을 수 있었다.
제안한 방법의 성능을 평가하기 위해 4장의 테스트 영상을 사용하여 컴퓨터 모의실험을 수행하였다. 객관적 성능평가를 위해 기존의 초해상도 방법과의 PSNR을 비교하였고 실험결과를 통해 제안한 방법이 기존의 방법보다 복원 성능이 우수함을 확인하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
PG방법은 무엇인가?
주파수영역에서 대표적으로 사용되는 PG방법은 볼록 집합 투영 기법 (projection onto convex sets, POCS) 이론을 이용하여 주파수영역에서 영상을 복원하는 방법이다[5,6]. 그림 2는 POCS 이론을 기반으로 저해상도 영상을 고해상도 영상으로 투영하는 과정을 보여준다.
초해상도 영상 복원 방법은 무엇인가?
초해상도 영상 복원 방법은 같은 장면을 촬영한 다수의 저해상도 영상들을 이용하여 고해상도 영상을 만들어내는 영상처리 기술이다. 이 기술은 일반적으로 영상의 고주파 성분을 향상시키고 저해상도 카메라의 영상처리로 인한 화질 저하를 개선시킨다.
IBP 방법의 단점은 무엇인가?
초해상도 기술은 다양한 방법으로 연구되고 있는데 공간영역에서 대표적으로 사용되는 방법으로는 IBP (iterative back-projection) 방법이 있다[4]. 이 방법은 각 영상의 에지(edge) 성분들을 합하여 반복적인 과정을 수행하면서 고주파영역을 효과적으로 복원시키지만 복원된 영상의 화질이 저하되고 잡음에 약하다는 단점이 있다. 또한, 주파수 영역에서 대표적으로 사용되는 Papoulis-Gerchberg (PG) 방법은 업샘플링 시 발생하는 미지의 화소 값 (unknown-value)을 복원하기 위하여 이상적인 저역통과 필터 (ideal low-pass filter, ILPF)를 사용하는 방법이다[5,6].
참고문헌 (10)
P. Milanfar, "SUPER-RESOLUTION IMAGING," Boca Raton: CRCPress, 2010.
S. C. Park, M. K. Park, and M. G. Kang, "Super-Resolution Image Reconstruction: A Technical Overview," IEEE signal processing magazine, Vol.20, 2003.
M. Elad and A. Feuer, "Restoration of a Single Superresolution Image from Several Blurred, Noisy, and Undersampled Measured Image," IEEE Transactions on Image Processing, Vol.6, pp. 1646-1658, 1997.
D. Jain, "Superresolution using Papoulis-Gerchberg Algorithm," EE392J-Digital Video Processing, Stanford University, Stanford, CA.
정윤수, 원철호, 문기영, 김정녀, "비디오 분석기술과 초해상도 영상 복원," 한국멀티미디어학회지, vol.14, no.3, pp. 438-456, 2010.
M. Elad and Y. Her-Or, "A Fast Super- Resolution Reconstruction Algorithm for Pure Translational Motion and Common Space- Invariant Blur," IEEE Transactions on Image Processing, Vol.10, pp. 1187-1193, 2001
D. Keren, S. Peleg, and R. Brada, "Image Sequence Enhancement using Sub-Pixel Displacement," in Proceedings IEEE Conference on Computer Vision and Pattern Recognition, pp. 742-746, 1988.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.