모바일 환경을 위해 에지맵 보간과 개선된 고속 Back Projection 기법을 이용한 Super Resolution 알고리즘 Super Resolution Algorithm Based on Edge Map Interpolation and Improved Fast Back Projection Method in Mobile Devices원문보기
최근 고성능 모바일기기의 보급과 멀티미디어 콘텐츠의 활용이 커짐에 따라 저해상도 영상을 고해상도로 재구성하는 초해상도(super resolution) 기법이 중요하게 대두되고 있다. 모바일기기에서는 초해상도를 사용하기 위해서는 연산량과 메모리 등의 제한적인 자원의 사용을 고려한 초해상도 알고리즘이 요구된다. 본 논문에서는 모바일기기에 적용하기 위해 단일영상을 통한 빠른 초해상도 기법을 제안한다. 제안한 알고리즘은 색채 왜곡을 방지하기 위해 RGB 컬러 도메인에서 HSV 컬러 도메인으로 변경하여 인간의 시각인지 특성이 가장 뚜렷한 밝기정보인 V만 처리한다. 먼저 잡음제거 및 속도향상을 고려하여 개선된 고속 back projection에 의해 영상을 확대 재구성한다. 이와 함께 2차 미분을 사용하는 LoG (laplacian of gaussian) 필터링을 이용하여 신뢰할 수 있는 에지 맵을 추출한다. 최종적으로 에지 정보와 개선된 back projection 결과를 이용하여 고해상도 영상을 재구성한다. 제안한 알고리즘을 사용하여 복원한 영상은 부자연스러운 인공물을 효과적으로 제거하고, blur현상을 최소화하여 에지 정보를 보정하고 강조해준다. 실험결과를 통해 제안하는 알고리즘이 기존의 보간법이나 전통적인 back projection 결과보다 주관적인 화질이 우수하고, 객관적으로 우수한 성능을 나타냄을 입증한다.
최근 고성능 모바일기기의 보급과 멀티미디어 콘텐츠의 활용이 커짐에 따라 저해상도 영상을 고해상도로 재구성하는 초해상도(super resolution) 기법이 중요하게 대두되고 있다. 모바일기기에서는 초해상도를 사용하기 위해서는 연산량과 메모리 등의 제한적인 자원의 사용을 고려한 초해상도 알고리즘이 요구된다. 본 논문에서는 모바일기기에 적용하기 위해 단일영상을 통한 빠른 초해상도 기법을 제안한다. 제안한 알고리즘은 색채 왜곡을 방지하기 위해 RGB 컬러 도메인에서 HSV 컬러 도메인으로 변경하여 인간의 시각인지 특성이 가장 뚜렷한 밝기정보인 V만 처리한다. 먼저 잡음제거 및 속도향상을 고려하여 개선된 고속 back projection에 의해 영상을 확대 재구성한다. 이와 함께 2차 미분을 사용하는 LoG (laplacian of gaussian) 필터링을 이용하여 신뢰할 수 있는 에지 맵을 추출한다. 최종적으로 에지 정보와 개선된 back projection 결과를 이용하여 고해상도 영상을 재구성한다. 제안한 알고리즘을 사용하여 복원한 영상은 부자연스러운 인공물을 효과적으로 제거하고, blur현상을 최소화하여 에지 정보를 보정하고 강조해준다. 실험결과를 통해 제안하는 알고리즘이 기존의 보간법이나 전통적인 back projection 결과보다 주관적인 화질이 우수하고, 객관적으로 우수한 성능을 나타냄을 입증한다.
Recently, as the prevalence of high-performance mobile devices and the application of the multimedia content are expanded, Super Resolution (SR) technique which reconstructs low resolution images to high resolution images is becoming important. And in the mobile devices, the development of the SR al...
Recently, as the prevalence of high-performance mobile devices and the application of the multimedia content are expanded, Super Resolution (SR) technique which reconstructs low resolution images to high resolution images is becoming important. And in the mobile devices, the development of the SR algorithm considering the operation quantity or memory is required because of using the restricted resources. In this paper, we propose a new single frame fast SR technique suitable for mobile devices. In order to prevent color distortion, we change RGB color domain to HSV color domain and process the brightness information V (Value) considering the characteristics of human visual perception. First, the low resolution image is enlarged by the improved fast back projection considering the noise elimination. And at the same time, the reliable edge map is extracted by using the LoG (Laplacian of Gaussian) filtering. Finally, the high definition picture is reconstructed by using the edge information and the improved back projection result. The proposed technique removes effectually the unnatural artefact which is generated during the super resolution restoration, and the edge information which can be lost is amended and emphasized. The experimental results indicate that the proposed algorithm provides better performance than conventional back projection and interpolation methods.
Recently, as the prevalence of high-performance mobile devices and the application of the multimedia content are expanded, Super Resolution (SR) technique which reconstructs low resolution images to high resolution images is becoming important. And in the mobile devices, the development of the SR algorithm considering the operation quantity or memory is required because of using the restricted resources. In this paper, we propose a new single frame fast SR technique suitable for mobile devices. In order to prevent color distortion, we change RGB color domain to HSV color domain and process the brightness information V (Value) considering the characteristics of human visual perception. First, the low resolution image is enlarged by the improved fast back projection considering the noise elimination. And at the same time, the reliable edge map is extracted by using the LoG (Laplacian of Gaussian) filtering. Finally, the high definition picture is reconstructed by using the edge information and the improved back projection result. The proposed technique removes effectually the unnatural artefact which is generated during the super resolution restoration, and the edge information which can be lost is amended and emphasized. The experimental results indicate that the proposed algorithm provides better performance than conventional back projection and interpolation methods.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
고해상도 영상에 저주파 통과 필터와 같은 blurring 효과를 적용하고, 이 영상을 다운 샘플링(down sampling)하면 저해상도 영상을 만들 수 있다. 고해상도 영상에서 저해상도 영상으로 다운 샘플링할 때 저주파 통과 필터의 역할은 고해상도 영상의 고주파 잡음을 제거하기 위해 수행된다. 이와 같은 과정을 식으로 나타내면 아래와 같다.
하지만 모바일장치에서는 연산 속도와 연산량을 고려해야 하므로 반복 과정은 시스템에 부하로 작용하며, 실시간으로 처리하기 어려운 문제가 있다. 따라서 본 논문에서는 반복과정이 없으면서도 성능을 향상시킬 수 있는 개선된 back projection 기법을 제안한다. 식 (4)에서 차이 값을 더하는 대상은 #가 된다.
본 논문에서는 모바일환경에 적합한 빠른 연산속도를 가지는 초해상도 기법을 제안한다. 먼저, 제안하는 알고리즘은 반복과정이 없는 개선된 back projection 기법을 이용한다.
본 논문에서는 스케일링 팩터에 근거하여 blurring effect를 수행하고 고주파 잡음을 제거함과 함께 반복과정을 제거한 개선된 back projection 알고리즘을 제안하였다. 또한 에지맵 재구성 및 edge boosting을 통해 손상될 수 있는 경계 영역을 보정하는 알고리즘을 제안하였다.
본 논문에서는 제안된 알고리즘의 성능평가를 위해서 객관적 성능과 주관적 화질에 대해 평가하였다. 실험에 사용된 영상으로는 널리 알려진 “Barbara", "Bridge", "Church", "Lena", "Pepper" 등을 사용하였고, 256×256의 해상도를 가지는 그레이(gray)영상이다.
제안 방법
객관적인 성능 평가를 위해서는 먼저 원본과의 PSNR(Peak Signal to Noise Ratio) 단위로 측정하였다. M×N의 해상도와 [0, 255]의 밝기 범위를 가지는 영상의 PSNR은 다음과 같이 정의된다.
그 이유는 인간의 시각 인지는 색채보다 밝기에 더욱 민감하고, 색상이나 휘도 및 RGB 컬러 도메인을 가공하면 색채 왜곡이나 얼룩이 발생하기 때문이다. 따라서 영상의 RGB 컬러 도메인을 HSV 모델로 변환하고, 밝기 값인 V에 대해 개선된 back projection과 에지맵 보정을 수행한다. RGB 컬러 도메인을 HSV 컬러 도메인으로 변환하는 과정은 아래와 같다.
본 논문에서는 스케일링 팩터에 근거하여 blurring effect를 수행하고 고주파 잡음을 제거함과 함께 반복과정을 제거한 개선된 back projection 알고리즘을 제안하였다. 또한 에지맵 재구성 및 edge boosting을 통해 손상될 수 있는 경계 영역을 보정하는 알고리즘을 제안하였다. 제안된 back projection 알고리즘은 여러 테스트 영상에서 원본 고해상도 영상과의 비교에서 비교대상 알고리즘보다 객관적 화질이 우수하였으며, 전통적인 back projection과의 수행시간을 비교하여 빠른 속도를 가짐을 입증하였다.
1에서 보이는 바와 같이 제안하는 알고리즘은 개선된 back projection의 SR 재구성 과정과 edge boosting을 위한 에지맵 보간 과정으로 나뉜다. 먼저 back projection 과정의 시작으로 영상을 확대해주고 색 공간을 HSV로 바꿔 준다. HSV에서 V값만을 사용하여 과정을 진행하고, edge boosting과정도 V값에 저주파필터가 적용된 영상으로 사용하여 영상을 구한다.
위의 식 (6)을 살펴보면 원본 저해상도 영상에 bilinear 보간법을 이용해 고해상도 영상을 임시로 구성한다. 이렇게 구성한 영상을 선형 블러링 마스크를 이용해 필터링하고 거리가 중치를 적용하여 다운 스케일링한다. 여기서 마스크의 사이즈와 스케일링 팩터를 기반으로 하는 개선된 back projection 알고리즘은 2.
제안하는 알고리즘은 모바일 환경에 적합하게 설계되었기 때문에 전통적인 back projection과의 실행속도를 비교하여 객관적인 평가를 추가하였다. Table 2는 영상에 대한 실행 시간을 비교한 결과를 나타낸다.
HSV에서 V값만을 사용하여 과정을 진행하고, edge boosting과정도 V값에 저주파필터가 적용된 영상으로 사용하여 영상을 구한다. 최종적으로 back projection과정을 수행한 영상과 edge boosting과정에서 얻어진 영상을 통해 결과 영상을 도출한다.
최종적으로 개선된 back projection과 구한 에지맵을 통해 생성한 영상을 재구성한다. 앞에서 언급한 바와 같이 일련의 과정은 모두 밝기 정보만 이용했기 때문에 밝기를 제외한 색상 및 채도 정보는 원본 저해상도 영상을 그대로 이용하게 된다.
대상 데이터
먼저 back projection 과정의 시작으로 영상을 확대해주고 색 공간을 HSV로 바꿔 준다. HSV에서 V값만을 사용하여 과정을 진행하고, edge boosting과정도 V값에 저주파필터가 적용된 영상으로 사용하여 영상을 구한다. 최종적으로 back projection과정을 수행한 영상과 edge boosting과정에서 얻어진 영상을 통해 결과 영상을 도출한다.
실험에 사용된 영상으로는 널리 알려진 “Barbara", "Bridge", "Church", "Lena", "Pepper" 등을 사용하였고, 256×256의 해상도를 가지는 그레이(gray)영상이다.
데이터처리
Table 2는 영상에 대한 실행 시간을 비교한 결과를 나타낸다. 실험결과는 실험을 반복수행하여 나온 평균값을 사용하였고, Table 1의 실험영상은 동일한 크기이므로 결과를 하나로 도출하였다. Table 2의 실험결과는 그레이영상을 기준으로 수행된 결과이며, 기존의 back projection을 RGB모델의 각 채널에 적용할 경우에 수행시간이 아래 결과의 약 3배 증가하게 된다.
이론/모형
에지맵을 재구성하기 위해서는 신뢰할 수 있는 경계 검출이 필수적으로 선행되어야 한다. 따라서 본 논문에서는 잡음에 강인한 2차 미분 에지 검출기인 LoG 필터를 사용하였다. 실험에 사용된 필터의 사이즈는 3x3이며 마스크 계수는 아래와 같다.
기존에 반복적인 연산으로 인한 수렴과정에서 발생되는 연산량을 줄이고, 개선된 back projection과정으로 한 번의 역투영만을 사용하여 영상을 얻는다. 또한 역투영 과정에서 필연적으로 사용해야 하는 보간법으로는 적은 픽셀의 참조와 빠른 속도를 가진 이중선형 보간법만을 사용한다. 추가적으로 역투영과정의 반복 감소로 인해 손실될 수 있는 에지정보는 2차 미분의 LoG(laplacian of gaussian)필터를 통해 보정하고 강조해준다.
본 논문에서는 모바일환경에 적합한 빠른 연산속도를 가지는 초해상도 기법을 제안한다. 먼저, 제안하는 알고리즘은 반복과정이 없는 개선된 back projection 기법을 이용한다. 기존에 반복적인 연산으로 인한 수렴과정에서 발생되는 연산량을 줄이고, 개선된 back projection과정으로 한 번의 역투영만을 사용하여 영상을 얻는다.
성능/효과
아래 Table 1은 실험에 사용된 영상과 각 알고리즘들을 이용하여 재구성한 영상과 원본 고해상도 영상의 PSNR 값을 나타내고 있다. Table 1에서 나타나듯 비교 대상인 bicubic, 전통적인 back projection보다 모든 영상에서 제안하는 기법이 우수함을 보이는 것을 확인할 수 있다. 실험결과에서 상대적으로 전통적인 back projection은 주관적인 화질은 우수하지만 PSNR이 낮게 나왔다.
5에서 "Lena" 결과 영상을 확대하여 보여준다. 결과 영상에서 나타나듯 보간법을 사용한 영상은 흐림 현상이 강하게 나타나는 것을 볼 수 있으며, 전통적인 back projection 화질이 개선되었지만 여전히 흐림 현상이 나타난다. 반면 제안하는 방법은 적용한 결과 영상은 기존의 방법보다 명확한 영상을 얻을 수 있고, 에지를 보정 및 강조한 영상의 경우 에지 부근에서 채도향상이 있기에 선명한 화질의 영상을 얻을 수 있음을 확인하였다.
edge는 에지맵 영상의 픽셀 값이며, γ는 문턱값으로써 에지맵이 적용되는 비율을 결정한다. 결과 영상은 개선된 back projection으로 생성된 영상에 에지맵을 혼합함으로써 평탄한 영역은 자연스럽게 복원하고, 경계 영역은 효과적으로 복원 및 강조한 고해상도 영상으로 생성된다.
제안된 back projection 알고리즘은 여러 테스트 영상에서 원본 고해상도 영상과의 비교에서 비교대상 알고리즘보다 객관적 화질이 우수하였으며, 전통적인 back projection과의 수행시간을 비교하여 빠른 속도를 가짐을 입증하였다. 또한 주관적인 화질평가를 통해 기존의 방법들이 가진 문제점이 개선되어 영상의 화질이 향상되는 것을 확인하였다.
결과 영상에서 나타나듯 보간법을 사용한 영상은 흐림 현상이 강하게 나타나는 것을 볼 수 있으며, 전통적인 back projection 화질이 개선되었지만 여전히 흐림 현상이 나타난다. 반면 제안하는 방법은 적용한 결과 영상은 기존의 방법보다 명확한 영상을 얻을 수 있고, 에지를 보정 및 강조한 영상의 경우 에지 부근에서 채도향상이 있기에 선명한 화질의 영상을 얻을 수 있음을 확인하였다.
Table 1에서 나타나듯 비교 대상인 bicubic, 전통적인 back projection보다 모든 영상에서 제안하는 기법이 우수함을 보이는 것을 확인할 수 있다. 실험결과에서 상대적으로 전통적인 back projection은 주관적인 화질은 우수하지만 PSNR이 낮게 나왔다. 이는 경계 영역을 비롯한 고주파 영역에 대해 밝기 값을 더하거나 빼주는 등의 전반적인 영상 개선효과로 인해 원본에 비해 픽셀 값이 변형되기 때문이다.
또한 에지맵 재구성 및 edge boosting을 통해 손상될 수 있는 경계 영역을 보정하는 알고리즘을 제안하였다. 제안된 back projection 알고리즘은 여러 테스트 영상에서 원본 고해상도 영상과의 비교에서 비교대상 알고리즘보다 객관적 화질이 우수하였으며, 전통적인 back projection과의 수행시간을 비교하여 빠른 속도를 가짐을 입증하였다. 또한 주관적인 화질평가를 통해 기존의 방법들이 가진 문제점이 개선되어 영상의 화질이 향상되는 것을 확인하였다.
이는 경계 영역을 비롯한 고주파 영역에 대해 밝기 값을 더하거나 빼주는 등의 전반적인 영상 개선효과로 인해 원본에 비해 픽셀 값이 변형되기 때문이다. 하지만 제안하는 알고리즘은 기존의 back projection에서 나타나는 객관적인 화질저하가 없으며, 높은 PSNR을 도출하여 객관적인 성능을 확인하였다. 또한, 주관적 화질평가를 위해 Fig.
질의응답
핵심어
질문
논문에서 추출한 답변
고해상도의 영상을 얻기 위해 널리 사용하는 방법은 ?
고해상도의 영상을 얻기 위해 널리 사용하는 방법은 보간법이다. 보간법으로는 zero-order interpolation인 이웃보간(nearest neighbor), first-order interpolation인 선형 보간(linear), 이중선형 보간(bilinear), 그리고 high-order interpolation인 3차회선 보간법(cubic convolution), 스플라인(spline) 등과 같은 다양한 방법이 존재한다[1-4].
초해상도 기법 중 단일영상 SR의 특징은?
초해상도 기법에는 여러 가지가 존재하지만, 재구성하기 위해 참조하게 되는 대상에 따라서 단일영상 SR과 다중영상 SR로 나뉜다. 단일영상 SR은 한 장의 영상 내에서 정보를 추출 및 가공하여 고해상도 영상을 재구성한다. 따라서 영상 특징에 대한 정보가 부족하여 결과물의 완성도가 낮지만 상대적으로 적은 연산량으로 수행이 가능하고 메모리 사용량이 적다는 장점이 있다. 반면에 다중영상 SR은 동영상과 같이 여러 영상 내에서 정보를 추출 및 가공하여 고해상도 영상을 재구성하여 좋은 성능을 보장하지만, 다중영상 참조로 복잡도가 높고 연산량과 메모리 사용이 많다는 단점이 있다.
보간법에는 뭐가 있는가?
고해상도의 영상을 얻기 위해 널리 사용하는 방법은 보간법이다. 보간법으로는 zero-order interpolation인 이웃보간(nearest neighbor), first-order interpolation인 선형 보간(linear), 이중선형 보간(bilinear), 그리고 high-order interpolation인 3차회선 보간법(cubic convolution), 스플라인(spline) 등과 같은 다양한 방법이 존재한다[1-4]. 이와 같은 방법들은 각각 보간을 위한 커널(kernel)을 가지며, 낮은 차수의 보간법 일수록 구조가 간단하며 연산량이 적다.
참고문헌 (13)
J.P. Allebach and P.W. Wong, "Edge-directed interpolation", In ICIP, 1996.
X. Li and M.T. Orchard, "New edge-directed interpolation", In ICIP, 2000.
R. W. Schafer and L. R. Rabiner, "A digital signal processing approach to interpolation", Proc. IEEE, Vol.61, pp.692-702, 1973.
R. G. Keys, "Cubic convolution interpolation for digital image processing", IEEE Trans. Acoustics, Speech and Signal Processing, Vol.29, pp.1153-1160, 1981.
Y. Weiss, J. S. Yedidia, W. T. Freeman, "Understanding belief propagation and its generalizations" Morgan Kaufmann Publishers Inc. San Francisco, CA, USA, 2003.
Y. Jianchao, W. John, H. Thomas, and M. Yi. "Image super-resolution as sparse representation of raw image patches", In CVPR, 2008.
C. Liu, H.Y. Shum, and W.T. Freeman, "Face hallucination: Theory and practice", IJCV, Vol.75, pp.115-134, 2007.
G. R. Park and I. J. Kim, "Example-based Super Resolution Text Image Reconstruction Using Image Observation Model", The KIPS Transactions: Part B, Vol.17, No.4, pp.295-302, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.