[논문]방향성 기반 보간법과 비지역 평균 필터링에 의한 효과적인 CFA 영상 디모자이킹 알고리즘

김종호

doi:10.5762/kais.2017.18.10.110

방향성 기반 보간법과 비지역 평균 필터링에 의한 효과적인 CFA 영상 디모자이킹 알고리즘
Effective Demosaicking Algorithm for CFA Images using Directional Interpolation and Nonlocal Means Filtering 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.18 no.10, 2017년, pp.110 - 116

초록
AI-Helper

본 논문에서는 단일 센서 기기를 통해 획득된 CFA (color filter array) 영상의 효과적인 디모자이킹(demosaicking)을 위하여 방향성 기반 보간법과 영상의 비지역 특성을 이용하는 방법을 제안한다. G 채널을 복원하기 위하여 수직 및 수평방향 뿐만 아니라 대각선 방향을 고려하고, 영상의 지역적 특성을 위하여 비교적 적은 수의 픽셀을 이용하여 보간한다. 이후, 영상의 비지역적 특성을 반영하여 에지 근처에서의 복원능력 및 색상오류 등에 의한 화질열화를 개선하기 위하여 보간된 픽셀에 NLM (nonlocal means) 필터링을 적용한다. R과 B 채널은 이미 복원된 G 채널의 정보를 이용하여 방향성 기반 보간법 및 NLM 필터링을 적용하여 복원한다. 채도가 높고 색상변화가 비교적 큰 McMaster 영상에 대해서 수행한 실험결과는 제안하는 디모자이킹 방법이 기존의 방법에 비해 PSNR 기반의 객관적 성능평가 결과가 우수하고, 주관적 화질 측면에서 에지 및 텍스처와 같은 영상의 구조를 잘 보존하고 색상오류 등과 같은 왜곡현상을 감소시켜 우수한 성능을 나타냄을 알 수 있다.

Abstract ▼ AI-Helper

This paper presents an effective demosaicking algorithm for color filter array (CFA) images acquired from single-sensor devices based on directional interpolation and nonlocal properties of the image. We interpolate the G channel considering diagonal directions as well as horizontal and vertical directions, using a small number of pixels to reflect local properties of the image. Then, we overcome image degradations, such as zipper effects near edges and false colors, by applying nonlocal means (NLM) filtering to the interpolated pixels. R and B channels are reproduced by using directional interpolation with information of the reconstructed G channel and NLM filtering. Experimental results for various McMaster images with high saturation and color changes show that the proposed algorithm accomplishes high PSNR compared with conventional methods. Moreover, the proposed method demonstrates better subjective quality compared with existing methods in terms of reduction of quality degradation, like false colors, and preservation of the image structures, such as edges and textures.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 영상의 방향성을 반영하여 에지 등의 구조를 보존하고, 잡음 등에 강인한 보간법 및 보간된 픽셀에 대해 NLM 필터를 적용하여 화질을 개선하는 방법을 제안한다. 먼저 G 색상에 대해 보간법 및 NLM 필터링을 적용하여 복원하고, 복원된 G 채널의 정보를 이용하여 R 및 B 색상의 보간 및 비지역 필터링을 수행한다.

제안 방법

본 논문에서는 CFA 영상의 효과적인 디모자이킹을 위하여 방향성 정보와 비지역적 특성을 활용하여 복원하는 알고리즘을 제안하였다. G 채널을 보간하기 위하여 수직 및 수평 방향에 더하여 대각선 방향을 고려하였으며, 보간된 픽셀에 대하여 NLM 필터링을 적용하여 비 지역적으로 유사한 구조를 반영하여 화질을 개선하도록 하였다. R 및 B 채널은 수평 및 수직 방향성 정보와 복원된 G 채널의 정보를 활용하여 보간하고, NLM 필터링을 적용하여 복원하였다.
먼저 향성을 반영한 보간법을 적용하여 G 채널을 복원한 후, NLM 필터링을 통해 디모자이킹 성능을 개선한다. 이후 복원된 G 채널의 정보를 활용하여 R과 B 채널에 대해 각각 방향성 기반 보간법 및 NLM 필터링을 적용함으로써 전체적인 디모자이킹 과정이 진행된다.
먼저 G 색상에 대해 보간법 및 NLM 필터링을 적용하여 복원하고, 복원된 G 채널의 정보를 이용하여 R 및 B 색상의 보간 및 비지역 필터링을 수행한다. 제안하는 방법의 성능은 기존 방법들과 객관적 성능 및 주관적 화질 비교를 통해 평가한다. 본 논문의 구성은 다음과 같다.

대상 데이터

제안하는 알고리즘의 성능을 평가하기 위해 Fig. 3의 500×500 크기의 McMaster 영상 18장을 사용하였고, 기존 방법들과의 비교실험을 수행하여 객관적, 주관적 결과를 제시하였다.

이론/모형

비교실험은 기존의 Adams[3], Li[6], Zhang[8]의 방법과 수행하였다. 제안하는 방법은 NLM 과정에서 5×5크기의 패치를 이용하여 31×31 크기의 영역에서 유사한 패치를 탐색하였고, 유사한 패치의 수 M = 25, 가중치를 위한 σ = 2.

성능/효과

R 및 B 채널은 수평 및 수직 방향성 정보와 복원된 G 채널의 정보를 활용하여 보간하고, NLM 필터링을 적용하여 복원하였다. McMaster 테스트 영상 대부분의 경우에 대하여 제안한 방법이 기존 방법에 비해 높은 PSNR 결과를 나타냄을 보였다. 주관적 화질 또한 색상 오류 및 대각선 방향 에지에서 두드러지는 지퍼 현상이 현저하게 줄어들어 화질이 개선되었음을 확인할 수 있었다.
McMaster 테스트 영상 대부분의 경우에 대하여 제안한 방법이 기존 방법에 비해 높은 PSNR 결과를 나타냄을 보였다. 주관적 화질 또한 색상 오류 및 대각선 방향 에지에서 두드러지는 지퍼 현상이 현저하게 줄어들어 화질이 개선되었음을 확인할 수 있었다. 이러한 결과로부터 제안한 디모자이킹 방법이 다양한 영상 디스플레이 시스템에 효과적으로 적용될 수 있을 것으로 판단된다.

후속연구

주관적 화질 또한 색상 오류 및 대각선 방향 에지에서 두드러지는 지퍼 현상이 현저하게 줄어들어 화질이 개선되었음을 확인할 수 있었다. 이러한 결과로부터 제안한 디모자이킹 방법이 다양한 영상 디스플레이 시스템에 효과적으로 적용될 수 있을 것으로 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	디지털 카메라는 컬러영상을 어떻게 획득하는가?	디지털 카메라는 빛 에너지를 전기신호로 변환하는 컬러센서(color sensor)를 통해 디지털 컬러영상을 획득하는데, 이는 영상을 구성하는 픽셀 수 및 색상평면 (clolor plane) 수만큼 필요하다. 하지만 다수의 컬러센서에 의해 영상을 획득하는 경우 설계구조의 복잡성, 전류 소모, 무게, 부피, 가격 등의 비용이 증가하기 때문에 보통 컬러 필터 배열(CFA; color filter array)에 의한 단일 센서(single sensor)를 통해 획득하게 된다.
	CFA란 무엇인가?	하지만 다수의 컬러센서에 의해 영상을 획득하는 경우 설계구조의 복잡성, 전류 소모, 무게, 부피, 가격 등의 비용이 증가하기 때문에 보통 컬러 필터 배열(CFA; color filter array)에 의한 단일 센서(single sensor)를 통해 획득하게 된다. CFA는 각 픽셀 위치에서 하나의 색상 성분, 즉 R (red), G (green), B (blue) 성분 중 하나를 나타내는 컬러센서를 일정한 패턴으로 배치한 2차원 배열로서, Bayer 패턴이 가장 많이 사용된다[1]. CFA를 통해 컬러영상을 획득할 때 각 픽셀은 하나의 색상에 대한 정보만 포함하므로 완전한 컬러영상을 얻기 위해서는 해당 색상 외의 다른 색상정보를 보간(interpolation)하는 기술이 필요하고, 이를 디 모자이킹(demosaicking)이라고 한다.
	선형 보간법의 단점인 화질 문제를 개선하기위해 제안한 방법은 무엇인가?	선형 보간법을 이용한 방법은 계산이 단순 하여 하드웨어 구현에 적합하나, 에일리어싱 등의 왜곡 현상으로 인해 만족스러운 화질을 얻기 어렵다[10, 14-15]. 이를 개선하기 위해 본 논문에서는 에지 방향성및 다른 컬러평면의 정보를 활용하고, 잡음 등의 영향에 강인한 보간법을 제안한다. 또한 영상은 에지 주위에서 약한 상관도를 갖는 반면, 보간법은 높은 상관도를 갖는 영역에서 좋은 성능을 나타내기 때문에 발생하는 열화현상을 개선하기 위하여 영상의 비지역 상관도를 이용하는 방법을 도입한다.

참고문헌 (20)

B. E. Bayer, "Color imaging array," U. S. Patent No. 3971065, 1975.
J. E. Adams, "Intersections between color plane interpolation and other image processing functions in electronic photography," in Proc. SPIE, vol. 2416, pp. 144-151, Mar. 1995. DOI: https://doi.org/10.1117/12.204825
J. E. Adams, J. F. Hamilton Jr., "Adaptive color plane interpolation in single color electronic camera," U. S. Patent No. 5506619, 1996.
B. K. Gunturk, Y. Altunbasak, R. M. Mersereau, "Color plane interpolation using alternating projections," IEEE Trans. Image Process., vol. 11, no. 9, pp. 997-1013, Sep. 2002. DOI: https://doi.org/10.1109/TIP.2002.801121

상세보기
R. Lukac, K. Martin, K. N. Plataniotis, "Demosaicked image postprocessing using local color ratios," IEEE Trans. Circuits and Syst. Video Technol., vol. 14, no. 6, pp. 914-920, Jun. 2004. DOI: https://doi.org/10.1109/TCSVT.2004.828316

상세보기
X. Li, "Demosaicing by successive approximation," IEEE Trans. Image Process., vol. 14, no. 3, pp. 370-379, Mar. 2005. DOI: https://doi.org/10.1109/TIP.2004.840683

상세보기
K. Hirakawa, T. W. Parks, "Adaptive homogeneity-directed demosaicing algorithm," IEEE Trans. Image Process., vol. 14, no. 3, pp. 360-369, Mar. 2005. DOI: https://doi.org/10.1109/TIP.2004.838691

상세보기
L Zhang, X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Process., vol. 14, no. 12, pp. 2167-2178, Dec. 2005. DOI: https://doi.org/10.1109/TIP.2005.857260

상세보기
D. Menon, S. Andriani, G. Calvagno, "Demosaicing with directional filtering and a posteriori decision," IEEE Trans. Image Process., vol. 16, no. 1, pp. 132-141, Jan. 2007. DOI: https://doi.org/10.1109/TIP.2006.884928

상세보기
X. Li, B. Gunturk, L. Zhang, "Image demosaicking: a systematic survey," in Proc. SPIE, vol. 6822 (VCIP2008), San Jose, CA. pp. 68221J-1-68221J-15, 2008.
A. Buades, B. Coll, J. -M. Morel, C. Sbert, "Self-similarity driven color demosaicking," IEEE Trans. Image Process., vol. 18, no. 6, pp. 1192-1202, Jun. 2009. DOI: https://doi.org/10.1109/TIP.2009.2017171

상세보기
F. Zhang, X. Wu, X. Yang, W. Zhang, L. Zhang, "Robust color demosaicking with adaptation to varying spectral correlations," IEEE Trans. Image Process., vol. 18, no. 12, pp. 2706-2717, Dec. 2009. DOI: https://doi.org/10.1109/TIP.2009.2029987

상세보기
J. Mairal, M. Elad, G. Sapiro, "Sparse representation for color image restoration," IEEE Trans. Image Process., vol. 17, no. 1, pp. 53-69, Jan. 2009. DOI: https://doi.org/10.1109/TIP.2007.911828

상세보기
L. Zhang, X. Wu, A. Buades, X. Li, "Color demosaicking by local directional interpolation and nonlocal adaptive thresholding," J. Electronic Imaging, vol. 20, no. 2, pp. 023016-1-023016-16, 2011. DOI: https://doi.org/10.1117/1.3600632

상세보기
Y. -K. Lee, H. Yoo, "Demosaicking method using high-order interpolation with parameters," The Trnas. KIEE, vol. 62, no. 9, pp. 1276-1282, Sep. 2013.
A. Buades, B. Coll, J. M. Morel, "A review of image denoising algorithms, with a new one," Multiscale Model. Simul., vol. 4, no. 2, pp. 490-530, 2005. DOI: https://doi.org/10.1137/040616024

상세보기
S. Kindermann, S. Osher, P. W. Jones, "Deblurring and denoising of images by nonlocal functions," Multiscale Model. Simul., vol. 4, no. 4, pp. 1091-1115, 2005. DOI: https://doi.org/10.1137/050622249

상세보기
K. Dabov, A. Foi, V. Katkovnik, K. Egiazarian, "Image denoising by sparse 3-D transform domain collaborative filtering," IEEE Trans. Image Process., vol. 16, no. 8, pp. 2080-2094, Aug. 2007. DOI: https://doi.org/10.1109/TIP.2007.901238

상세보기
T. Brox, O. Kleinschmidt, D. Cremers, "Efficient nonlocal means for denoising of textural patterns," IEEE Trans. Image Process., vol. 17, no. 7, pp. 1083-1092, Jul. 2008. DOI: https://doi.org/10.1109/TIP.2008.924281

상세보기
A. Buades, B. Coll, J. M. Morel, "Nonlocal image and movie denoising," Int. J. Comput. Vision, vol. 76, no. 2, pp. 123-139, 2008. DOI: https://doi.org/10.1007/s11263-007-0052-1

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증