[논문]반복적 오차 제거를 이용한 영상 보간법

김원희; 박봉희; 김종남; 문광석

doi:10.9717/kmms.2011.14.8.1000

반복적 오차 제거를 이용한 영상 보간법
Image Interpolation Using Iterative Error Elimination 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.14 no.8, 2011년, pp.1000 - 1009

김원희 (부경대학교 정보공학과) , 박봉희 (부경대학교 전자공학과) , 김종남 (부경대학교 정보공학과) , 문광석 (부경대학교 전자공학과)

초록
AI-Helper

영상 보간법은 영상의 크기변환에서 할당되지 못한 화소에 대한 값을 추정하는 기술로써, 보간된 결과 영상에서 나타나는 화질 열화 현상을 최소화하면서도 낮은 계산복잡도를 가지는 것이 필요하다. 본 논문에서는 반복적 오차 제거를 이용한 영상 보간법을 제안한다. 제안하는 방법은 5단계로 구성되며, 각각 손실 정보 계산 단계, 손실 정보 추정 단계 손실 정보 적용 단계 오차 계산 단계 오차 적용 단계이다. 실험을 통해서 기존의 방법보다 평균 3.3dB이상 PSNR(peak signal to noise rate)이 향상된 것을 알 수 있었고, 주관적인 화질도 개선된 것을 확인하였으며 계산복잡도가 최소 83% 이상 감소한 것을 측정하였다. 제안한 영상 보간 방법은 영상 복원 및 확대를 위한 다양한 응용 환경에서 유용하게 사용될 수 있다.

Abstract ▼ AI-Helper

Image interpolation is a technique which estimates the non-allocated pixel values on image scale-transform. It requires minimum computational complexity and minimum image quality degradation on the interpolated resultant images. In this paper we propose an image interpolation method using iterative error estimation. The proposed method consists of the following five steps: loss-information computational step, loss-information estimation step, loss-information application step, error computation step, and error application step. The experimental results obtained show that the average PSNR is increased by 3.3dB, subjective image quality is enhanced and the minimum computation complexity is decreased by 83%. The proposed image interpolation algorithm may be helpful in various applications such as image reconstruction and enlargement.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

해결하지 못하고 있다. 본 논문에서는 기존의 문제점들을 해결하기 위한 영상 보간 방법을 제안한다.
본 논문에서는 영상 보간 분야에서 아직까지 해결하지 못한 영상의 화질 열화와 계산복잡도 최소화를 위한 영상 보간 방법을 제안한다.
이것은 영상의 완전복원이 불가능하기 때문에 반드시 발생하는 값이다. 본 논문에서는 이 차이를 없애거나 최소화하기 위해서 어떤 특정한 값을 더해주거나 빼주게 된다. 이것은 새로운 보간 커널을 생성하는 것이 아니라 보간된 영상에 부가적인 정보를 적용함으로써 작용할 수 있다.
본 논문에서는 이런 문제점을 해결하기 위한 영상보간법을 제안한다. 제안하는 방법은 획득 저해상도 영상을 부표본화-보간 과정을 이용해서 손실 정보를 계산하는 단계, 계산된 손실 정보를 보간하여 추정손실 정보를 생성하는 단계, 추정한 손실 정보를 보간된 영상에 적용하는 단계, 보간된 영상을 부표본화하여 획득 저해상도 영상과의 오차를 계산하는 단계, 계산된 오차를 다시 보간하여 영상에 더해주는 절차를 반복하는 단계의 다섯 과정으로 이루어진다.
낮추는 것이 중요하다. 본 논문에서는 이런 조건을 만족하는 영상 보간법을 제안하였다. 제안하는 방법은 손실 정보를 계산한 후 추정한 손실정보를 보간된 영상에 적용하는 단계와 보간된 영상의 오차를 계산해서 오차를 다시 보간하여 영상에 더해주는 절차를 반복하는 단계로 이루어진다.
본 논문에서의 중요한 요소는 새로운 보간 커널을 생성하는 것이 아닌 보간된 영상과 원본 영상의 차이를 계산하고 그 차이를 줄임으로써 원본 영상에 가까운 보간 영상을 생성하는 것이다. 제안하는 방법의 원리를 다음의 수식 (1)~(3)에서 정의하고 있다.

제안 방법

계산복잡도를 통해서 이루어진다. 객관적 화질비교는 일반적으로 사용되는 PSNR(peak signal to noise ratio)를 사용하고, 주관적 화질 비교는 보간된 영상에서의 윤곽선의 선명도와 텍스트의 인식 및 전체적인 인식 정도를 비교한다. 아래의 수식 (17)에서 PSN風을 정의한다[24].
두 번째 실험에서는 보간된 영상을 대상으로 비교하여 주관적 화질을 평가한다. 그림 6에서는 Boat 영상의 128x128 크기의 일부 영상을 나타내고, 그림 7 에서는 Boat 영상의 32x32 크기의 일부 영상을 나타낸다.
세 번째 실험에서는 알고리즘의 실행시간을 이용해서 계산복잡도를 평가한다. 표 2에서는 제안한 방법과 비교 방법들의 실행시간을 측정하여 나타낸다.
오차 계산 과정에서의 결과를 이용해서 1단계 보간 영상에 가중치가 결합된 오차를 더해줌으로써 구현된다. 아래의 수식 (16)에서 이 과정을 정의한다.
이상의 실험들을 통해서 제안한 방법을 평가하였다. 제안한 방법의 보간 알고리즘은 비교 방법들보다 주관적 및 객관적 측면의 화질비교에서 더욱 우수함을 증명하였다.
본 논문에서는 이런 조건을 만족하는 영상 보간법을 제안하였다. 제안하는 방법은 손실 정보를 계산한 후 추정한 손실정보를 보간된 영상에 적용하는 단계와 보간된 영상의 오차를 계산해서 오차를 다시 보간하여 영상에 더해주는 절차를 반복하는 단계로 이루어진다. 실험을 통해서 기존의 방법보다 평균 3.
제안한다. 제안하는 방법은 획득 저해상도 영상을 부표본화-보간 과정을 이용해서 손실 정보를 계산하는 단계, 계산된 손실 정보를 보간하여 추정손실 정보를 생성하는 단계, 추정한 손실 정보를 보간된 영상에 적용하는 단계, 보간된 영상을 부표본화하여 획득 저해상도 영상과의 오차를 계산하는 단계, 계산된 오차를 다시 보간하여 영상에 더해주는 절차를 반복하는 단계의 다섯 과정으로 이루어진다. 동일한 영상을 이용한 실험 결과, 기존 방법들보다 주관적 및 객관적 화질이 향상되었고, 알고리즘 수행시간도 최소 83% 이상 감소하였다.
이 추정 결과가 정확할수록 화질 열화가 적고 원본 고해상도 영상과 유사한 영상으로 생성할 수 있다. 제안하는 방법의 손실 정보 추정의 정확성은 저해상도 영상에서 계산한 손실 정보 계산값의 정확성이 근거한다. 일반적으로 동일한 영상은 크기가 다르더라도 동일한 주파수 분포를 이루고 있다.
본 논문에서 제안한 방법의 성능을 검증하기 위한 실험은 크게 4가지로 수행한다. 첫 번째 실험에서는 PSNR을 이용해서 객관적 화질을 평가한다. 각 비교방법들의 PSNR 결과는 표 1에 나타낸다.

대상 데이터

4GHz CPU 를 사용하며 3G RAM을 사용한다. 매트랩 7.5 버전을 이용해서 알고리즘을 구현하고, 실험에 사용한 영상은 512x512 크기의 회색조 PGM 포맷의 정지 영상 8개를 실험 영상으로 사용한다. 그림 5에서는 실험에 사용된 8개 영상을 나타낸다.
적용된다. 실험 환경에서는 원본 영상을 가지고 있으며 이로부터 저해상도 영상을 생성한다. 일반적으로 다운샘플링을 통해서 저해상도 영상을 생성하며 저주파통과필터나 잡음을 부가하기도 한다.
그림 5에서는 실험에 사용된 8개 영상을 나타낸다. 실험에 사용된 영상은 Barbara, Boat, Butterfish, Elaine, Goldhill, Lena, Oldmill, Washsat 영상이다.
,ado의 방법 [12] (C6)이 사용된다. 제안한 방법(P)은 매트랩에서 제공하는 Bicubic 보간 함수를 이용하고, 512x512 영상을 원본 고해상도 영상으로 하여 획득 저해상도 영상은 256x256 크기로 생성한다. 제안한 방법의 구현에 있어서 가중치 계수는 0.

데이터처리

네 번째 실험에서는 제안한 방법 중에서 오차 계산 및 오차 적용의 반복 회수에 따른 PSNR 결과를 비교한다. 오차 계산 및 적용을 하지 않은 경우와 각각 5회, 10회, 20회, 30회 반복한 경우의 결과를 표 3에 나타낸다.
이상으로 제안한 방법의 설명을 마치고 다음 장에서는 실험을 통해서 제안한 방법의 성능을 평가하고 다른 방법과의 비교를 통해서 제안한 방법의 우수성을 검증한다.

성능/효과

25dB 만큼 PSNR이 향상된 것을 알 수 있다. Lena 영상에서 가장 높은 PSNR 향상이 발생한 것을 알 수 있으며, 모든 실험 영상에 대해서 제안한 방법이 가장 높은 PSNR 값을 나타내는 것을 알 수 있다. 이와 같이 실험 1을 통해서 제안한 방법이 객관적 화질 비교에서 기존의 방법들보다 우위에 있음을 알 수 있으며 화질 열화를 최소화 한 것을 알 수 있다.
더욱 확대된 영상을 나타낸 그림 7에서 확인할 수 있듯이 제안한 방법의 결과 영상이 원본 영상과 가장 유사한 형태의 화소값 분포를 나타내는 것을 알 수 있다. 대각선의 윤곽선과 문자열 부분에서 비교 방법들은 원본 영상에 나타나는 화소값들의 명도차가 거의 없지만, 제안한 방법의 영상에서는 명도차이가 뚜렷함을 확인할 수 있다. 그림 8과 9에서는 Elaine 영상을 실험한 결과를 나타낸다.
하지만 제안한 방법의 결과영상에서는 비교 방법들보다 흐려짐 현상이 덜하며 문자열부분과 윤곽선 부분이 뚜렷함을 알 수 있다. 더욱 확대된 영상을 나타낸 그림 7에서 확인할 수 있듯이 제안한 방법의 결과 영상이 원본 영상과 가장 유사한 형태의 화소값 분포를 나타내는 것을 알 수 있다. 대각선의 윤곽선과 문자열 부분에서 비교 방법들은 원본 영상에 나타나는 화소값들의 명도차가 거의 없지만, 제안한 방법의 영상에서는 명도차이가 뚜렷함을 확인할 수 있다.
제안하는 방법은 획득 저해상도 영상을 부표본화-보간 과정을 이용해서 손실 정보를 계산하는 단계, 계산된 손실 정보를 보간하여 추정손실 정보를 생성하는 단계, 추정한 손실 정보를 보간된 영상에 적용하는 단계, 보간된 영상을 부표본화하여 획득 저해상도 영상과의 오차를 계산하는 단계, 계산된 오차를 다시 보간하여 영상에 더해주는 절차를 반복하는 단계의 다섯 과정으로 이루어진다. 동일한 영상을 이용한 실험 결과, 기존 방법들보다 주관적 및 객관적 화질이 향상되었고, 알고리즘 수행시간도 최소 83% 이상 감소하였다.
제안한 방법의 보간 알고리즘은 비교 방법들보다 주관적 및 객관적 측면의 화질비교에서 더욱 우수함을 증명하였다. 또한 비교 방법들보다 더욱 적은 실행시간으로 보간이 가능함을 보였으며 적절한 반복회수를 제시하였다.
8배, 최대 840배의 실행시간 차이를 나타내는 것을 알 수 있다. 비교방법들 중에서 C₆이 가장 낮은 실행시간을 나타내는데 제안한 방법은 C₆과 비교하여 약 83%의 실행시간의 감소가 발생하였다. 이와 같이 실험 3을 통해서 제안한 방법이 비교 방법들보다 고속 처리가 가능한 것을 확인할 수 있다.
제안하는 방법은 손실 정보를 계산한 후 추정한 손실정보를 보간된 영상에 적용하는 단계와 보간된 영상의 오차를 계산해서 오차를 다시 보간하여 영상에 더해주는 절차를 반복하는 단계로 이루어진다. 실험을 통해서 기존의 방법보다 평균 3.3dB이상 PSNR이 향상된 것을 알 수 있었고, 주관적 화질도 개선되 었으며, 계산복잡도가 최소 83%이상 감소한 것을 확인하였다. 그리고 상용 PDA에 영상 보간을 적용하여 실시간영상 보간 수행이 가능한 것을 확인하였다 제안한 영상 보간 방법은 영상의 크기 변환과 해상도 향상을 위한 다양한 응용 환경에서 유용하게 사용될 수 있다.
Lena 영상에서 가장 높은 PSNR 향상이 발생한 것을 알 수 있으며, 모든 실험 영상에 대해서 제안한 방법이 가장 높은 PSNR 값을 나타내는 것을 알 수 있다. 이와 같이 실험 1을 통해서 제안한 방법이 객관적 화질 비교에서 기존의 방법들보다 우위에 있음을 알 수 있으며 화질 열화를 최소화 한 것을 알 수 있다.
Elaine 영상의 실험 결과에서도 비교 방법들보다 흐려짐 현상이 덜하면서도 원본의 색상 분포와 가장 유사하게 나타나는 것을 확인할 수 있다. 이와 같이 실험 2를 통해서 제안한 방법이 주관적 화질 비교에서도 비교 방법들보다 우수함을 알 수 있다.
비교방법들 중에서 C₆이 가장 낮은 실행시간을 나타내는데 제안한 방법은 C₆과 비교하여 약 83%의 실행시간의 감소가 발생하였다. 이와 같이 실험 3을 통해서 제안한 방법이 비교 방법들보다 고속 처리가 가능한 것을 확인할 수 있다.
제안한 방법의 보간 알고리즘은 비교 방법들보다 주관적 및 객관적 측면의 화질비교에서 더욱 우수함을 증명하였다. 또한 비교 방법들보다 더욱 적은 실행시간으로 보간이 가능함을 보였으며 적절한 반복회수를 제시하였다.
표에서 알 수 있듯이 제안한 방법이 가장 빠른 실행시간을 나타냄을 알 수 있다. 제안한'방법을 1로 하여 비율을 나타낸 결과 최소 5.8배, 최대 840배의 실행시간 차이를 나타내는 것을 알 수 있다. 비교방법들 중에서 C₆이 가장 낮은 실행시간을 나타내는데 제안한 방법은 C₆과 비교하여 약 83%의 실행시간의 감소가 발생하였다.
오차 계산 및 적용을 하지 않은 경우와 각각 5회, 10회, 20회, 30회 반복한 경우의 결과를 표 3에 나타낸다. 표에서 알 수 있듯이 반복을 하지 않은 경우와 5번 반복한 경우의 비교에서 0.6dB의 PSNR 차이가 발생한 것을 알 수 있다. 반면 반복 횟수가 10회를 넘 어가면서 PSNR 상승 정도는 O.
모두 MATLAB으로 구현되었으며, 저자가 제공한 프로그램 파일을 사용한다. 표에서 알 수 있듯이 제안한 방법이 가장 빠른 실행시간을 나타냄을 알 수 있다. 제안한'방법을 1로 하여 비율을 나타낸 결과 최소 5.
각 비교방법들의 PSNR 결과는 표 1에 나타낸다. 표에서 알수 있듯이 실험 영상과 방법에 따라 다르지만 제안한 방법이 비교 방법들보다 최대 5.08dB, 평균 최대 3.37dB, 평균 최소 0.25dB 만큼 PSNR이 향상된 것을 알 수 있다. Lena 영상에서 가장 높은 PSNR 향상이 발생한 것을 알 수 있으며, 모든 실험 영상에 대해서 제안한 방법이 가장 높은 PSNR 값을 나타내는 것을 알 수 있다.
그림 6에서 알 수 있듯이 비교 방법들은 대부분 흐려짐 현상이 발생하였으며, 문자열 부분의 인식이 용이하지 않음을 알 수 있으며, 윤곽선 부분이 흐릿함을 알 수 있다. 하지만 제안한 방법의 결과영상에서는 비교 방법들보다 흐려짐 현상이 덜하며 문자열부분과 윤곽선 부분이 뚜렷함을 알 수 있다. 더욱 확대된 영상을 나타낸 그림 7에서 확인할 수 있듯이 제안한 방법의 결과 영상이 원본 영상과 가장 유사한 형태의 화소값 분포를 나타내는 것을 알 수 있다.

후속연구

3dB이상 PSNR이 향상된 것을 알 수 있었고, 주관적 화질도 개선되 었으며, 계산복잡도가 최소 83%이상 감소한 것을 확인하였다. 그리고 상용 PDA에 영상 보간을 적용하여 실시간영상 보간 수행이 가능한 것을 확인하였다 제안한 영상 보간 방법은 영상의 크기 변환과 해상도 향상을 위한 다양한 응용 환경에서 유용하게 사용될 수 있다.

참고문헌 (25)

S. H. Hong, R. H. Park, S. J. Yang, and J. Y. Kim, "Image Interpolation Using Interpolative Classified Vector Quantization," Image Vis. Comput., Vol.26, No.2, pp.228-239, 2008.

상세보기
W. Qing and R. K. Ward, "A New Orientation-Adaptive Interpolation Method," IEEE Transactions on Image Processing, Vol.16, Issue 4, pp.889-900, 2007.

상세보기
S. Banerjee, "Low-Power Content-Based Video Acquisition for Super-Resolution Enhancement," IEEE Transactions on Multimedia, Vol.11, Issue 3, pp.455-464, 2009.

상세보기
A. Giachetti and N. Asuni, "Fast Artifacts- free Image Interpolation," In Proc. of the British Machine Vision Conf., pp.123-132, 2008
K. S. Ni and T. Q. Nguyen, "An Adaptable k-Nearest Neighbors Algorithm for MMSE Image Interpolation," IEEE Trans. Image Process., Vol.18, Issue 9, pp.1976-1987, 2009.

상세보기
Y. Bai and H. Zhuang, "On the Comparison of Bilinear, Cubic Spline, and Fuzzy Interpolation Techniques for Robotic Position Measurements," IEEE Transactions on Instrumentation and Measurement, Vol.54, Issue 6, pp.2281-2288, 2005.

상세보기
W. Yu, "Colour Demosaicking Method Using Adaptive Cubic Convolution Interpolation with Sequential Averaging," IEE Proc.-Vis. Image Signal Process., Vol.153, No.5, 2006.
H. Yoo, "Closed-form Least-squares Technique for Adaptive Linear Image Interpolation," Electronics Letters, Vol.43, Issue 4, pp.210-212, 2007.

상세보기
X. Li, "New Edge-Directed Interpolation," IEEE Transactions on Image Processing, Vol.10, No.10, pp.1521-1527, 2001.

상세보기
N. Asuni, "INEDI -- Tecnica Adattativa Per I'interpolazione di Immagini." Master's thesis, Universita degli Studi di Cagliari, 2007.
A. Temizel and T. Vlachos, "Wavelet Domain Image Resolution Enhancement," IEE Proceedings Vision, Image and Signal Processing, Vol.153, Issue 1, pp.25-30, 2006.

상세보기
O. Salvado, C. Hillenbrand, and D. Wilson. "Partial Volume Reduction by Interpolation with Reverse Diffusion," International Journal of Biomedical Imaging, Vol.2006, pp.1-13, 2006.
C. T. Lin, K. W. Fan, H. C. Pu, S. M. Lu, and S. F. Liang, "An HVS-Directed Neural- Network-Based Image Resolution Enhancement Scheme for Image Resizing," IEEE Transactions on Fuzzy Systems, Vol.15, Issue 4, pp.605-615, 2007.

상세보기
L. Min and T. Q. Nguyen, "Markov Random Field Model-Based Edge-Directed Image Interpolation," IEEE Transactions on Image Processing, Vol.17, Issue 7, pp.1121-1128, 2008.

상세보기
H. Takeda, S. Farsiu, and P. Milanfar, "Kernel Regression for Image Processing and Reconstruction," IEEE Transactions on Image Processing, Vol.16, No.2, pp.349-366, 2007.

상세보기
S. C. Park, M. K. Park, and M. G. Kang, "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, Vol.20, No.3, pp.21-36, 2003.

상세보기
K. I. Kim and Y. H. Kwon, "Example-based Learning for Single-Image Super-resolution," Lecture Notes in Computer Science, Vol. 5096, pp.456-465, 2008.
A. Mahalanobis and R. Muise, "Object Specific Image Reconstruction using a Compressive Sensing Architecture for Application in Surveillance Systems," IEEE Transactions on Aerospace and Electronic Systems, Vol. 45, Issue 3, pp.1167-1180, 2009.

상세보기
고결, 홍민철, "공간불변 점확산 함수를 이용한 영상복원방식," 대한전자공학회 추계학술대회논문집, 제33권, 제2호, pp.333-334, 2010.
박규로, 김인중, "영상 관찰 모델을 이용한 예제기반 초해상도 텍스트 영상 복원," 한국정보처리학회논문지B, 제17권, 제4호, pp.295-302, 2010.
김태양, 전영균, 정제창, "새로운 거리 가중치와 지역적 패턴을 고려한 적응적 선형보간법," 한국통신학회논문지, 제31권, 제12C호, pp.1184- 1193, 2006.
유훈, "적응적인 선형 보간을 이용한 부화소 기반 영상 확대," 한국멀티미디어학회논문지, 제9권, 제8호, pp.1000-1009, 2006.

원문보기 상세보기
이우섭, 김형교,, "방향성 에지 윤곽선 가중치를 이용한 영상 보간," 한국신호처리시스템학회논문지, 제11권, 제1호, pp.26-31, 2010.

원문보기 상세보기
W. Yu, "Colour Demosaicking Method Using Adaptive Cubic Convolution Interpolation with Sequential Averaging," IEE Proc.-Vis. Image Signal Process., Vol.153, No.5, 2006.
http://www.mathworks.com/matlabcentral/fileexchange/21410-increase-image- resolution.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증