[논문]기울기 차이 최소화를 통한 컬러 영상의 색수차 제거

권지용; 강문기

doi:10.5573/ieie.2017.54.2.085

기울기 차이 최소화를 통한 컬러 영상의 색수차 제거
Removing Chromatic Aberration in Color Image by Gradient Difference Minimization 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.54 no.2 = no.471, 2017년, pp.85 - 91

권지용 (연세대학교 전기전자공학과) , 강문기 (연세대학교 전기전자공학과)

초록
AI-Helper

렌즈의 굴절률은 빛의 파장 대역에 따라 다르다. 이로 인하여 서로 다른 파장 대역의 광선들이 다른 위치에서 초점이 맞게 되어 영상의 화질이 떨어지게 되고 에지 주변에서 색수차가 발생하게 된다. 본 논문은 컬러 영상의 색수차를 제거하기 위한 방법을 제안하였다. 컬러 채널들 기울기들의 상관관계가 높다는 이론을 기반으로 하여 컬러 채널들의 기울기 차이에 대한 비용 함수를 설계하였다. 설계된 비용 함수의 에너지를 최소화하도록 하는 해를 찾음으로써 색수차가 제거된 고화질의 컬러 영상을 추정할 수 있다. 추가적으로, 제안하는 방법은 컬러 영상뿐만 아니라 다중 분광 대역 영상에 대해서도 적용 가능하다. 실험 결과에서 제안하는 방법이 효과적으로 색수차를 제거할 수 있다는 것을 보여준다.

Abstract ▼ AI-Helper

Lenses have different refractive indices for different wavelengths of light. This is why different wavelengths of rays are focused at different positions in the focal plane. Images are blurred and noticeable colored edges appear around the objects, which is known as chromatic aberration (CA). In this paper, an algorithm for removing CA artifacts in color images is proposed. Based on the fact that the gradients of color channels are highly correlated, the differences of the gradients of the channels in edges are minimized. The cost function is designed by using the gradients of the channels. Experimental results show the good performance of the proposed algorithm in removing the CA artifacts.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 컬러 채널들의 기울기 차이를 최소화하여 색수차를 제거하는 알고리즘을 제안하였다. 제안하는 방법은 신호 처리 방법을 기반으로, 사전에 계산되어야 하는 변수를 필요로 하지 않는 장점이 있다.
본 논문에서는 컬러 채널들의 에지에서의 기울기 차이를 최소화하여 컬러 영상의 색수차를 제거하는 알고리즘을 제안한다.

가설 설정

에지가 일치 정도를 측정하기 위하여각 픽셀에서의 채널들 기울기의 분산을 구하고 영상 전체에 대한 평균값을 구하였다. 본 실험에서, (5)번 식의k채널에 대한 블러 B_k를 분산 0.1의 가우시안(Gaussian)블러로 가정하고 반복 단계 크기 ∊는 0.1로 설정하였다.

제안 방법

적과 녹, 청, 근적외선으로 2×2의 배열로 획득된다. 그리고 다중 분광 컬러보간 방법^[13]으로 전해상도로 추정하고 컬러 영상에 대해서 기존의 방법과 제안하는 방법을 적용하여 색수차를 제거하였다.
횡(lateral) 색수차를 만들기 위해 적과 청 채널 영상의 크기를 2 픽셀 크게, 2 픽셀 작게 만들었다. 베이어 컬러 필터 배열을 따라서 부표본화 시키고 이 영상에 대해서 컬러 보간을 수행한 결과에 대해서 색수차 제거 방법들을 적용하였다.
원본 영상의 사전 정보를 이용하여 그에 해당하는 윤곽으로 수렴하도록 하는 방법이 있다^[17]. 본 논문에서는, 이러한 이론을 바탕으로 하여, 다른 채널의 기울기를 영역 적응적으로 이용하여 열화된 컬러 채널의 기울기를 복원하도록 하였다(그림 2 참고).
제안하는 방법의 전체 블록도를 그림 1에 표현하였다. 컬러 영상의 색수차를 제거하기 위하여 컬러 채널들의 기울기를 구하고 이들의 차이를 최소화하는 해를 추정하여 고화질 영상을 획득한다.

대상 데이터

제안하는 방법의 성능을 평가하기 위하여 두 개의 영상 세트를 이용하였다. 24장의 Kodak 영상과 다중 분광필터 배열 센서를 이용하여 획득한 영상이 사용되었다.
추가적으로 색수차 문제가 발생할 수 있는 다중 분광필터 배열 센서를 이용하여 해상도 차트와 여러 물체들에 대해서 실험실에서 형광등 광원 하에서 1920 × 1080크기로 영상을 획득하였다^[21]. 적과 녹, 청, 근적외선으로 2×2의 배열로 획득된다.

데이터처리

컬러 최대 신호 대 잡음비(color-peak signal-to-noiseratio; CPSNR)^[23]와 채널들의 에지의 기울기에 대한 분산을 계산하였다. 에지가 일치 정도를 측정하기 위하여각 픽셀에서의 채널들 기울기의 분산을 구하고 영상 전체에 대한 평균값을 구하였다. 본 실험에서, (5)번 식의k채널에 대한 블러 B_k를 분산 0.
그림 5는 컬러 최대 신호 대 잡음비를 이용한 수치비교를 나타낸다. 열화된 컬러 영상을 가정하여 만들고, 이로부터 컬러 보간이 수행된 컬러 영상에 대해서 비교알고리즘들^{[4, 6, 1]}과 제안하는 방법을 적용한 결과에 대해서 원본과 어느정도 유사해졌는지를 비교하였다. 제안하는 방법을 이용하여 색수차를 제거한 결과의 수치가 가장 우수한 것을 확인할 수 있다.
제안하는 방법과 기존의 색수차 제거 방법들을 비교하였다. 컬러의 특성을 기반으로 색수차를 검출하고 제거하도록 하는 방법이 있다(방법1)^[4].
수치 비교를 위해, 비교 알고리즘들과 제안하는 알고리즘을 적용한 결과들에 대해서 두 가지 수치를 측정하였다. 컬러 최대 신호 대 잡음비(color-peak signal-to-noiseratio; CPSNR)^[23]와 채널들의 에지의 기울기에 대한 분산을 계산하였다. 에지가 일치 정도를 측정하기 위하여각 픽셀에서의 채널들 기울기의 분산을 구하고 영상 전체에 대한 평균값을 구하였다.

이론/모형

(5)번 식으로부터, (3)번 식의 제약 조건을 이용하여 제약적 최소 자승법(constraint least square; CLS) 방법^[19]을 이용하였다. 또한, (3)번 식의 가중치 함수W_RG와 W_RB를 k채널과 다른 채널k′에 대하여 W_kk′로 표현할 수 있고, 이를 이용하여 전체 비용 함수를 표현하면 다음과 같다.
다중 분광 영상에 대해서 그림 6은 에지에서의 각 채널들의 기울기 차이를 측정하기 위해 분산값을 이용하여 어느정도 복원되었는지를 비교한 결과이다. 다중 분광 대역 필터 배열 영상으로 획득한 영상에 대해서 컬러 보간을 수행한 결과에 대해서 비교 알고리즘들^{[4, 6, 1]}과 제안하는 방법을 적용하였다. 제안하는 방법을 이용한 결과에서 분산이 제일 작게 구해졌고, 이는 색수차가 가장 많이 제거된 것으로 해석될 수 있다.
초점이 녹색 채널에 맞고 적, 청 채널에는 맞지 않았다고 가정하여 열화된 영상을 만들 수 있다^[1]. 적과 청 채널에 대해서 종(axial) 색수차를 만들기 위해 분산(variance) 1의가우시안(Gaussian) 블러를 적용하였다. 횡(lateral) 색수차를 만들기 위해 적과 청 채널 영상의 크기를 2 픽셀 크게, 2 픽셀 작게 만들었다.
에 대해서 볼록 함수(convex function)이기 때문에, 기울기가 0이 되는 곳이 최소점이고, 이것이 해가 된다. 해를 구하기 위해 기울기 하강(gradient descent) 최적화(optimization) 방법을 이용한다^[20].

성능/효과

비교 알고리즘들을 적용한 결과를 그림 4(c)-(e)에 나타내었다. 결과에 보이듯이 색수차가 충분히 제거되지 않았다. 반면에 그림 4(f)의 제안하는 방법을 적용한 결과에는 색수차가 완전히 제거된 것을 확인할 수 있다.
반면에 그림 4(f)의 제안하는 방법을 적용한 결과에는 색수차가 완전히 제거된 것을 확인할 수 있다. 에지의 기울기 차이를 최소화하도록 하는 제안하는 방법을 통해서 색수차가 제거되고 화질이 향상된 것을 확인할 수 있다.
열화된 컬러 영상을 가정하여 만들고, 이로부터 컬러 보간이 수행된 컬러 영상에 대해서 비교알고리즘들^{[4, 6, 1]}과 제안하는 방법을 적용한 결과에 대해서 원본과 어느정도 유사해졌는지를 비교하였다. 제안하는 방법을 이용하여 색수차를 제거한 결과의 수치가 가장 우수한 것을 확인할 수 있다.
다중 분광 대역 필터 배열 영상으로 획득한 영상에 대해서 컬러 보간을 수행한 결과에 대해서 비교 알고리즘들^{[4, 6, 1]}과 제안하는 방법을 적용하였다. 제안하는 방법을 이용한 결과에서 분산이 제일 작게 구해졌고, 이는 색수차가 가장 많이 제거된 것으로 해석될 수 있다.

후속연구

제안하는 방법은 신호 처리 방법을 기반으로, 사전에 계산되어야 하는 변수를 필요로 하지 않는 장점이 있다. 또한 컬러 영상뿐만 아니라 다중 분광 대역 영상에서 발생할 수 있는 색수차 문제도 해결할 수 있다는 점에서 다방면으로 활용 가능하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	색수차가 발생하는 이유는?	렌즈의 굴절률은 빛의 파장 대역에 따라 다르다. 이로 인하여 서로 다른 파장 대역의 광선들이 다른 위치에서 초점이 맞게 되어 영상의 화질이 떨어지게 되고 에지 주변에서 색수차가 발생하게 된다. 본 논문은 컬러 영상의 색수차를 제거하기 위한 방법을 제안하였다.
	신호 처리 방법 기반의 색수차를 제거하는 방법에는 어떤 것이 있는가?	신호 처리 방법 기반의 색수차를 제거하는 방법으로, 전역(global) 뒤틀림(warping) 이론을 기초로 컬러 채널들의 위치를 동일하게 맞춰주는 방법이 있다[3]. 이러한 방법은 매개 변수를 추정하기 위한 전처리 과정이 필요로 한다.
	색수차를 해결하기 위한 방법은?	이는 영상의 세세한 부분을 망가뜨리고 화질을 열화(degrade)시킨다. 이를 해결하기 위해 하드웨어(hardware)적인 방법으로써, 여러 렌즈를 사용하거나 초점 거리가 자동으로 조정되는 시스템으로 해결할 수 있지만, 이렇게 하면 고가의 대형 카메라가 된다. 그래서 신호 처리 기반(signal processing based) 방법을 이용하여 고화질 영상을 추정 하는 것이 연구된다. 맞지 않은 에지(edge)를 동일하게 하도록 하는 알고리즘은 컴퓨터 비전(computer vision)과 컬러 영상 처리 분야에서 필수적인 부분이다.

참고문헌 (23)

J. Chang, H. Kang, and M. G. Kang, "Correction of axial and lateral chromatic aberration with false color filtering," IEEE Trans. Image Process., vol. 22, no. 3, pp. 1186-1198, Mar. 2013.

상세보기
Z. Sadeghipoor, Y. M. Lu, and S. Susstrunk, "Gradient-based correction of chromatic aberration in the joint acquisition of color and near-infrared images," Proc. SPIE 9404, 94040F-94040F-11, 2015.
T. Boult and G. Wolberg, "Correcting chromatic aberrations using image warping," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 684-687, 1992.
B.-K. Kim and R.-H. Park, "Automatic detection and correction of purple fringing using the gradient information and desaturation," in Signal Processing Conference, 2008 16th European, pp. 1-5, 2008.
H. Kang, S.-H. Lee, J. Chang, and M. G. Kang, "Partial differential equation based approach for removal of chromatic aberration with local characteristics," J. Electron. Imaging, vol. 19, no. 3, 2010.

상세보기
S.-W. Chung, B.-K. Kim, and W.-J. Song, "Removing chromatic aberration by digital image processing," Optical Engineering 49(6), 067002-067002-10, 2010.
F. Sroubek and P. Milanfar, "Robust multichannel blind deconvolution via fast alternating minimization," IEEE Trans. Image Process., vol. 21, no. 4, pp. 1687-1700, Apr. 2012.

상세보기
S. H. Chan and T. Q. Nguyen, "Single-image, spatially variant, out-of-focus blur removal," in Proc. IEEE Int. Conf. Image Process., pp. 677-680, Sep. 2011.
D. Menon and G. Calvagno, "Regularization approaches to demosaicking," IEEE Trans. Image Process., vol. 18, no. 10, pp. 2209-2220, Oct. 2009.

상세보기
B. Bayer, "Color imaging array," US Patent 3,971,065, 1976.
Du Sic Yoo, Ki Sun Song, and Moon Gi Kang, "A Deblurring Algorithm Combined with Edge Directional Color Demosaicing for Reducing Interpolation Artifacts," Journal of The Institute of Electronics Engineers of Korea, Vol. 50, NO. 7, pp. 1833-1843, July 2013.
C. Schuler, M. Hirsch, S. Harmeling, and B. Scholkopf, "Non-stationary correction of optical aberrations," IEEE International Conference on Computer Vision (ICCV), pp. 659-666, 2011.
J. Y. Kwon and M. G. Kang, "Multispectral demosaicking considering out-of-focus problem for red-green-blue-near-infrared image sensors," J. Electron. Imaging, vol. 25, no. 2, Mar. 2016.

상세보기
J. Sun, J. Sun, Z. Xu, and H.-Y. Shum, "Gradient profile prior and its applications in image super-resolution and enhancement," IEEE Trans. Image Process., vol. 20, no. 6, pp. 1529-1542, Jun. 2011.

상세보기
L. Wang, S. Xiang, G. Meng, H. Wu, and C. Pan, "Edge-directed single-image superresolution via adaptive gradient magnitude self-interpolation," IEEE Trans. Circuits Syst. Video Technol., vol. 23, no. 8, pp. 1289-1299, Aug. 2013.

상세보기
Y.-W. Tai, S. Liu, M. Brown, and S. Lin, Super resolution using edge prior and single image detail synthesis," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2400-2407, 2010.
Q. Yan, Y. Xu, X. Yang, and T. Nguyen, "Single image superresolution based on gradient profile sharpness," IEEE Trans. Image Process., vol. 24, no. 10, pp. 3187-3202, Oct. 2015.

상세보기
B. Gunturk, Y. Altunbasak, and R. Mersereau, Color plane interpolation using alternating projections," IEEE Trans. Image Process., vol. 11, no. 9, pp. 997-1013, Sep. 2002.

상세보기
R. Hardie, K. Barnard, and E. Armstrong, "Joint map registration and high-resolution image estimation using a sequence of undersampled images," IEEE Trans. Image Process., vol. 6, no. 12, pp. 1621-1633, Dec. 1997.

상세보기
D. G. Luenberger and Y. Ye, Linear, Nonlinear Programming, Addison-Wesley, 1984.
Sony, "Specifications of imx222lqj," 2013.
I. Pekkucuksen and Y. Altunbasak, "Multiscale Gradients-Based Color Filter Array Interpolation," IEEE Trans. Image Process., vol. 22, no. 1, pp. 157-165, Jan. 2013.

상세보기
R. C. Gonzalez and R. E. Woods, Digital image processing, Prentice-Hall, 2006.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증