본 논문은 단일 이미지에서 초해상도 영상 생성을 위해 저해상도 이미지에서 생성한 패치정보를 기반으로 선형보간하는 방법을 제안하였다. 기존의 초해상도 생성 방법인 전역 공간의 회귀 모델을 사용하면 특정 영역에 대해 참조할 정보가 부족하여 일반적으로 품질이 떨어지는 결과가 나타난다. 이러한 결과를 보완하기 위해 제안하는 방법은 초해상도 이미지 생성 과정에서 영상을 패치 단위로 지역을 분할하여 의미있는 정보를 수집하고, 수집된 정보를 기반으로 초해상도 이미지 생성을 위해 확장시킨 이미지 매트릭스 영역의 구성정보를 분석하여 선형 보간 과정을 거치고 패치정보를 대응시켜 탐색한 최적의 패치 정보를 기준으로 선형 보간하는 방법을 제안하였다. 실험을 위해 원본 이미지를 복원된 영상과 PSNR, SSIM으로 비교 평가하였다.
본 논문은 단일 이미지에서 초해상도 영상 생성을 위해 저해상도 이미지에서 생성한 패치정보를 기반으로 선형보간하는 방법을 제안하였다. 기존의 초해상도 생성 방법인 전역 공간의 회귀 모델을 사용하면 특정 영역에 대해 참조할 정보가 부족하여 일반적으로 품질이 떨어지는 결과가 나타난다. 이러한 결과를 보완하기 위해 제안하는 방법은 초해상도 이미지 생성 과정에서 영상을 패치 단위로 지역을 분할하여 의미있는 정보를 수집하고, 수집된 정보를 기반으로 초해상도 이미지 생성을 위해 확장시킨 이미지 매트릭스 영역의 구성정보를 분석하여 선형 보간 과정을 거치고 패치정보를 대응시켜 탐색한 최적의 패치 정보를 기준으로 선형 보간하는 방법을 제안하였다. 실험을 위해 원본 이미지를 복원된 영상과 PSNR, SSIM으로 비교 평가하였다.
In this paper, we propose a linear interpolation method based on patch information generated from a low - resolution image for generating a super resolution image in a single image. Using the regression model of the global space, which is a conventional super resolution generation method, results in...
In this paper, we propose a linear interpolation method based on patch information generated from a low - resolution image for generating a super resolution image in a single image. Using the regression model of the global space, which is a conventional super resolution generation method, results in poor quality in general because of lack of information to be referred to a specific region. In order to compensate for these results, we propose a method to extract meaningful information by dividing the region into patches in the process of super resolution image generation, analyze the constituents of the image matrix region extended for super resolution image generation, We propose a method of linear interpolation based on optimal patch information that is searched by correlating patch information based on the information gathered before the interpolation process. For the experiment, the original image was compared with the reconstructed image with PSNR and SSIM.
In this paper, we propose a linear interpolation method based on patch information generated from a low - resolution image for generating a super resolution image in a single image. Using the regression model of the global space, which is a conventional super resolution generation method, results in poor quality in general because of lack of information to be referred to a specific region. In order to compensate for these results, we propose a method to extract meaningful information by dividing the region into patches in the process of super resolution image generation, analyze the constituents of the image matrix region extended for super resolution image generation, We propose a method of linear interpolation based on optimal patch information that is searched by correlating patch information based on the information gathered before the interpolation process. For the experiment, the original image was compared with the reconstructed image with PSNR and SSIM.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 이러한 방법들은 일반적으로 시간이 오래 걸리며, 복원에 사용할 데이터의 기준과 규모에 따라 품질과 소요시간에 영향을 주기 때문에 최적점을 찾기 위해 다수 실험을 진행해야한다. 본 논문에서는 단순 선형 보간 방법에서 세부사항이 부족해 품질이 떨어지는 점을 보완하기 위해 이미지 영역을 패치단위로 분할하여 의미 있는 정보를 수집하고, 고해상도 이미지 생성을 위한 확장 과정에서 픽셀 매트릭스의 구성을 분석하여 에일리어싱 현상을 줄이기 위해 선형 보간 과정을 거친다. 이후 동일한 영역으로 판단되는 부분과 추출한 패치를 매칭시켜 최적의 정보를 찾은 뒤 확장 영역을 각 패치정보에 근거해 선형으로 보간하여 단순 매끄러운 형태의 선형 보간 방법이 아니면서 영상의 세부 정보를 포함하여 영상의 품질이 개선된 초해상도 이미지를 얻는 방법을 제안하였다.
본 논문은 저해상도 이미지에서 생성한 패치정보를 기반으로 선형 보간 과정을 거쳐 단일 이미지에서 초해 상도 영상을 생성하는 방법을 제안하였다. 기존의 초해상도 생성 방법에서는 품질 향상을 위한 세부사항을 추출하기 위해 자가 유사성을 이용한 추출 또는 표본 이미지에서의 학습을 이용하였지만 각 영역에 대해 주변 데이터와 같은 흐름을 갖는 결과를 나타내지 못하고 단순히 유사한 형태의 결과를 보였다.
제안 방법
bicubic 방법을 이용한 1차 보간 영상에서도 영상의 질감과 경계 같은 세부사항들의 손실이 발생하는데 이를 보완하기 위해 저해상도 영상에서의 지역적 정보를 분석하고, 지역적 분석 정보를 초해상도 생성을 위해 확장된 픽셀 매트릭스 영역에 적응적 적용과정을 거쳐 추가 보간 과정을 거치도록 한다.
각 영역의 세부정보를 보완한 뒤 원래의 컬러 영상으로 변환하기 위해 Cb, Cr 채널 매트릭스를 초해상도 결과 이미지의 크기만큼 확장하여 Y채널을 이용하여 생성된 초해상도 이미지의 각 채널에 재 할당함으로써 최종 초해상도 이미지를 생성한다.
초해상도 이미지를 생성할 저해상도 이미지에 영상의 지역적 유사도에 따라 분할하는 Mean Shift Segmentation 방법을 적용하여 특징이 구별될 각 지역을 분류하였다. 구별되어 분할된 각 지역 단위에서 요소를 추출하기 위해 GMM(Gaussian Mixture Model) 을 이용하여 영상 내 주요 지역별 요소데이터를 추출할 수 있도록 각 지역의 형태를 강조하였다.
생성된 저해상도 이미지를 YCbCr 채널로 변환한 뒤, grayscale과 유사한 Y채널 영상을 5x5 크기의 패치단위로 탐색하여 지역적 특징이 존재하는 영역을 feature로 수집함으로써 이미지 내 의미가 있는 정보를 수집할 수 있도록 하였다. 그 후 downsampling한 Y채널 영상을 다시 고해상도 이미지 크기로 이미지 매트릭스를 확장한 뒤 저해상도 이미지의 구성 정보를 분석하여 선형 보간 과정을 거치고, 수집된 feature를 이용하여 매트릭스의 데이터를 feature 정보를 기준으로 보간하였다.
보완된 형태만을 적용하는 경우 일부 흐려짐 현상은 개선할 수 있지만 고해상도 영상이 갖고 있는 픽셀의 세부사항과 주변 영역과의 패턴 유사성을 복원할 수 없다. 따라서 3.1절에서 구한 Feature 데이터를 이용하여 보완된 확장 매트릭스 데이터를 개선함으로써 영상의 품질을 향상시키도록 하였다.
이에 따라 영상별 요소의 개수 차이가 발생할 수 있고 불필요하게 많은 요소들은 추후 보간을 위한 유사 요소 선택 과정에서 오히려 정확도를 떨어트리는 결과가 나타나는 원인이 된다. 따라서 요소들의 유효 가중치분을 계산하고 요소 간 유사도를 검사하여 불필요하게 요소로서 존재할 수 있는 항목들을 제외시킨 256개의 요소만을 추출하도록 하였다.
보다 효과적인 SISR 방법을 개발하기 위해 학습형태로 영상 내 존재하는 변화량의 크기 중심이나 공간적 우선순위 등을 이용하여 이미지 사전을 생성하고 활용하는 방법을 제안하였다[7,8]. 또한 복원 형태의 기준으로 활용하고자 표본 이미지를 선정 후 정보를 학습하고 사용하여 SISR의 부작용을 완화함으로써 생성된 고해상도 이미지에서 경계와 질감 같은 세부 사항을 다수 포함할 수 있게 하였다 [9,10]. 그러나 이러한 방법들은 일반적으로 시간이 오래 걸리며, 복원에 사용할 데이터의 기준과 규모에 따라 품질과 소요시간에 영향을 주기 때문에 최적점을 찾기 위해 다수 실험을 진행해야한다.
본 논문에서는 실험을 위해 baby, bird, butterfly, head, woman으로 구성된 Dataset인 Set5를 이용하여 원본 해상도의 1/3로 downsampling을 진행한 후, 기존의 초해상도 생성 알고리즘과 제안하는 방법을 사용하여 원본 크기로 복원하여 비교하였다.
제안하는 방법에서는 단일 이미지에서 초해상도 생성을 위해 입력 영상에 downsampling을 진행하여 저해상도 이미지를 생성하였다. 생성된 저해상도 이미지를 YCbCr 채널로 변환한 뒤, grayscale과 유사한 Y채널 영상을 5x5 크기의 패치단위로 탐색하여 지역적 특징이 존재하는 영역을 feature로 수집함으로써 이미지 내 의미가 있는 정보를 수집할 수 있도록 하였다. 그 후 downsampling한 Y채널 영상을 다시 고해상도 이미지 크기로 이미지 매트릭스를 확장한 뒤 저해상도 이미지의 구성 정보를 분석하여 선형 보간 과정을 거치고, 수집된 feature를 이용하여 매트릭스의 데이터를 feature 정보를 기준으로 보간하였다.
영상에 Feature 데이터를 이용한 보완 과정을 적용하기 위해 영상 크기 전체를 패치 크기로 나누어 분할시키고, 각 분할된 영역마다 모든 패치 값을 적용하여 각 영역의 총 변화량을 가중한 뒤 가중치 값의 평균을 구하여 각 분할된 영역마다의 세부정보를 보완할 수 있도록 하였다.
본 논문에서는 단순 선형 보간 방법에서 세부사항이 부족해 품질이 떨어지는 점을 보완하기 위해 이미지 영역을 패치단위로 분할하여 의미 있는 정보를 수집하고, 고해상도 이미지 생성을 위한 확장 과정에서 픽셀 매트릭스의 구성을 분석하여 에일리어싱 현상을 줄이기 위해 선형 보간 과정을 거친다. 이후 동일한 영역으로 판단되는 부분과 추출한 패치를 매칭시켜 최적의 정보를 찾은 뒤 확장 영역을 각 패치정보에 근거해 선형으로 보간하여 단순 매끄러운 형태의 선형 보간 방법이 아니면서 영상의 세부 정보를 포함하여 영상의 품질이 개선된 초해상도 이미지를 얻는 방법을 제안하였다.
제안하는 방법에서는 단일 이미지에서 초해상도 생성을 위해 입력 영상에 downsampling을 진행하여 저해상도 이미지를 생성하였다. 생성된 저해상도 이미지를 YCbCr 채널로 변환한 뒤, grayscale과 유사한 Y채널 영상을 5x5 크기의 패치단위로 탐색하여 지역적 특징이 존재하는 영역을 feature로 수집함으로써 이미지 내 의미가 있는 정보를 수집할 수 있도록 하였다.
추출된 각 국소 지역은 영상 내에서 특징적 차이가 존재하는 지역으로 판단하고 각 지역의 요소를 추출하기 위해 다음 수식 (1)을 이용하여 각 지역에 해당하는 세부 사항을 요소로서 추출하였다.
데이터처리
제안하는 방법의 정량적 평가를 위해 실험에 사용한 dataset 전체를 PSNR(Peak Signal-to-Noise Ratio)과 SSIM(Structural Similarity Index) 방법으로 비교하였다. PSNR은 이미지의 품질을 측정하는데 사용되며, 원영상과 생성된 초해상도 이미지를 비교함으로써 초해상도 이미지의 결과 수준을 확인할 수 있다.
이론/모형
또한 추가적인 평가를 위해 SSIM 방법으로도 평가하였다. SSIM의 수식은 아래와 같다.
저해상도 이미지(LR)에서 초해상도 이미지(SR)를 생성하기 위해 먼저 복원을 위한 기초 정보인 Feature를 생성한다. 초해상도 이미지를 생성할 저해상도 이미지에 영상의 지역적 유사도에 따라 분할하는 Mean Shift Segmentation 방법을 적용하여 특징이 구별될 각 지역을 분류하였다. 구별되어 분할된 각 지역 단위에서 요소를 추출하기 위해 GMM(Gaussian Mixture Model) 을 이용하여 영상 내 주요 지역별 요소데이터를 추출할 수 있도록 각 지역의 형태를 강조하였다.
픽셀 개수 충원 방식의 단순 확장을 하는 경우 에일리어싱과 같이 계단현상이 발생하게 되는데 이와 같은 현상을 줄이기 위해 먼저 bicubic 보간법을 이용하여 영상을 1차적으로 보간하였다.
성능/효과
기존의 초해상도 생성 방법에서는 품질 향상을 위한 세부사항을 추출하기 위해 자가 유사성을 이용한 추출 또는 표본 이미지에서의 학습을 이용하였지만 각 영역에 대해 주변 데이터와 같은 흐름을 갖는 결과를 나타내지 못하고 단순히 유사한 형태의 결과를 보였다. 그러나 제안하는 방법에서는 패치 기반의 자가 유사성 정보와 저해상도 시점에서의 주변 영역 패턴을 분석하여 선형 보간하는 과정으로 각 영역을 기존의 제안된 방법보다 선명하게 표현할 수 있었으며, 유사한 패턴의 나열로 인한 흐려짐 현상을 최소화함으로써 개선된 결과를 보였다. 향후 연구로는 생성한 초해상도를 영상 분석 과정에서 보다 세밀한 세부 사항을 기초로 응용하는 인식 과정이나 감시영상에 서의 목표 대상 추출 등의 분야에 적용하는 연구가 필요하다.
실험 결과 그림 10과 같이 시각적 비교 부분에서는 기존의 단순 복원 방식인 Bicubic 방법에서는 참조가 가능한 세부사항의 정보가 부족하여 전반적으로 흐릿한 결과가 나타나는 문제가 있었으며, 이미지 내의 유사한 패턴을 인식하여 세부정보를 생성하는 자가 유사성 방식의 Glasner 방법[17]에서는 비교적 흐릿한 정도가 다소 줄어들었지만, 유사성 비교의 크기나 영상 내 복원해야할 정보의 영역에 따라 복원 과정에서 과도한 영역 침범 및 부식 형태의 부정확한 결과가 나타날 수 있다. 또한 외부 사전 학습 방식인 ScSR 방법[18]에서는 비교적 개선되어원 영상과 유사한 형태를 나타내지만 학습과정에서의 소요시간과 학습데이터의 구성 수준에 따라 결과가 상이한 문제점이 있다.
정량적 평가 결과 제안하는 방법이 기존에 제안된 초해상도 방법에 비해 PSNR 및 SSIM을 이용한 비교 평가에서도 우수함을 나타내는 것을 확인할 수 있다.
또한 외부 사전 학습 방식인 ScSR 방법[18]에서는 비교적 개선되어원 영상과 유사한 형태를 나타내지만 학습과정에서의 소요시간과 학습데이터의 구성 수준에 따라 결과가 상이한 문제점이 있다. 제안하는 방법에서는 비교적 복잡한 패턴이 존재하는 구간에서도 복원을 위해 추출된 패치만을 사용하는 것이 아니라 생성될 초해상도 영상의 부분을 저해상도 영상에 대응시켜 주변 영역의 데이터 패턴을 분석함으로써 생성된 초해상도 이미지의 경계와 질감 등의 시각적인 부분이 보다 개선되었음을 확인할 수 있다.
최종 수행 결과 저해상도 이미지에서 원 영상 크기의 규모로 확대하는 과정을 거침에도 흐려짐이나 에일리어싱과 같은 현상이 줄어든 것을 확인할 수 있다.
후속연구
그러나 제안하는 방법에서는 패치 기반의 자가 유사성 정보와 저해상도 시점에서의 주변 영역 패턴을 분석하여 선형 보간하는 과정으로 각 영역을 기존의 제안된 방법보다 선명하게 표현할 수 있었으며, 유사한 패턴의 나열로 인한 흐려짐 현상을 최소화함으로써 개선된 결과를 보였다. 향후 연구로는 생성한 초해상도를 영상 분석 과정에서 보다 세밀한 세부 사항을 기초로 응용하는 인식 과정이나 감시영상에 서의 목표 대상 추출 등의 분야에 적용하는 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
SISR의 목표는 무엇인가?
단일 저해상도 이미지로부터 시각적으로 개선된 고해 상도 이미지를 생성하는 것을 목표로 하는 SISR (SINGLE IMAGE SUPER-RESOLUTION)은 이미지 처리 분야에서 계속적으로 연구하는 과제이다. SISR은 고해상도 이미지에서 추정되는 픽셀의 수가 일반적으로 주어진 저해상도 이미지에서의 픽셀 수보다 훨씬 크기 때문에 정보의 차이로 인한 품질 저하의 문제가 있다.
SISR 접근법 중 선형 보간 기반 방법의 문제점은 무엇인가?
기존의 SISR 접근법 중 하나는 간단하고 효율적인 선형 보간 기반 방법이 있다[6]. 그러나 이러한 방법은 과도하게 매끄러운 이미지를 생성하는 경향이 있어 실제 적용에는 어려움이 있다. 보다 효과적인 SISR 방법을 개발하기 위해 학습형태로 영상 내 존재하는 변화량의 크기 중심이나 공간적 우선순위 등을 이용하여 이미지 사전을 생성하고 활용하는 방법을 제안하였다[7,8].
SISR이 가지고 있는 문제는 무엇인가?
단일 저해상도 이미지로부터 시각적으로 개선된 고해 상도 이미지를 생성하는 것을 목표로 하는 SISR (SINGLE IMAGE SUPER-RESOLUTION)은 이미지 처리 분야에서 계속적으로 연구하는 과제이다. SISR은 고해상도 이미지에서 추정되는 픽셀의 수가 일반적으로 주어진 저해상도 이미지에서의 픽셀 수보다 훨씬 크기 때문에 정보의 차이로 인한 품질 저하의 문제가 있다. 저해상도 이미지에 존재하는 제한된 정보로 인해 경계, 질감과 같은 미세한 이미지 디테일을 재구성하는 것은 매우 어려운 작업이다[1-5].
참고문헌 (18)
S. H. Han, Y. P. Hong & S. H Lee. (2012). Saliency map creation method robust to the contour of objects. Journal of Digital Convergence, Vol. 10, No. 3, pp. 173-178.
G. O. Kim, G. S. Lee & S. H. Lee. (2014). An edge extraction method using k-means clustering in image. Journal of Digital Convergence, Vol. 12, No. 11, pp. 281-288.
M. K. Kwon & H. S. Yang. (2017). A scene search method based on principal character identification using convolutional neural network. Journal of Convergence for Information Technology, Vol. 7, No. 2, pp. 31-36.
J. C. Han, B. C. Koo & K. J. Cheoi. (2017), Obstacle detection and recognition system for autonomous ariving vehicle. Journal of Convergence for Information Technology, Vol. 7, No. 6, pp. 229-235.
H. H. Han, G. S. Lee, Y. S Park & S. H. Lee. (2017). Estimate saliency map based on multi feature assistance of learning algorithm. Journal of the Korea Convergence Society. Vol. 8, No. 6, pp. 29-36.
Rasti, P., Nasrollahi, K., Orlova, O., Tamberg, G., Ozcinar, C., Moeslund, T. B., & Anbarjafari, G. (2017). A new low-complexity patch-based image super-resolution. IET Computer Vision 11.7 : 567-576.
Zhang, K., Wang, B., Zuo, W., Zhang, H., & Zhang, L. (2016). Joint learning of multiple regressors for single image super-resolution. IEEE Signal Processing Letters, 23(1), 102-106.
Zhao, L., Sun, Q., & Zhang, Z. (2017). Single Image Super-Resolution Based on Deep Learning Features and Dictionary Model. IEEE Access, 5, 17126-17135.
Huang, J. J., Liu, T., Dragotti, P. L., & Stathaki, T. (2017, July). SRHRF+: Self-Example Enhanced Single Image Super-Resolution Using Hierarchical Random Forests. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (pp. 71-79).
Dong, W., Zhang, L., Shi, G., & Wu, X. (2011). Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization. IEEE Transactions on Image Processing, 20(7), 1838-1857.
Zeyde, R., Elad, M., & Protter, M. (2010, June). On single image scale-up using sparse-representations. In International conference on curves and surfaces (pp. 711-730). Springer, Berlin, Heidelberg.
Timofte, R., De, V., & Van Gool, L. (2013, December). Anchored neighborhood regression for fast example-based super-resolution. In Computer Vision (ICCV), 2013 IEEE International Conference on (pp. 1920-1927). IEEE.
Timofte, R., De Smet, V., & Van Gool, L. (2014, November). A+: Adjusted anchored neighborhood regression for fast super-resolution. In Asian Conference on Computer Vision (pp. 111-126). Springer, Cham.
Glasner, D., Bagon, S., & Irani, M. (2009, September). Super-resolution from a single image. In Computer Vision, 2009 IEEE 12th International Conference on (pp. 349-356). IEEE.
Yang, J., Wright, J., Huang, T. S., & Ma, Y. (2010). Image super-resolution via sparse representation. IEEE transactions on image processing, 19(11), 2861-2873.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.