[논문]다중 분광 필터 배열 영상의 색수차 문제를 고려한 영상 복원 알고리즘

권지용; 강문기

doi:10.5573/ieie.2016.53.5.123

다중 분광 필터 배열 영상의 색수차 문제를 고려한 영상 복원 알고리즘
Image Restoration Considering Chromatic Aberration Problem of Multi-Spectral Filter Array Image 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.53 no.5, 2016년, pp.123 - 131

권지용 (연세대학교 전기전자공학과) , 강문기 (연세대학교 전기전자공학과)

초록
AI-Helper

저조도 환경에서 근적외선은 사람 눈에 보이지 않는 추가적인 정보를 제공하여 물체를 보다 분명하게 구별하고 인식하도록 도움을 준다. 컬러 영상과 근적외선 영상을 동시에 획득하기 위해서 다중 분광 필터 배열을 사용하였다. 그러나 렌즈의 굴절률은 빛의 파장 길이에 따라 다르기 때문에 초점면에 상이 다르게 맺히게 된다. 그 결과 색수차 문제가 발생하고 영상은 흐려지게 되며 영상의 해상도가 떨어지게 된다. 본 논문에서는 이러한 색수차 문제를 고려한 영상 복원 알고리즘을 제안하고자 한다. 다중 분광 필터 배열 영상에 컷오프 주파수가 추정된 저주파 통과 필터를 적용하여 기반 영상을 추정하도록 하였다. 이 영상을 이용하여 다중 분광 영상의 색수차 문제가 해결된 영상을 추정하도록 하였다. 영상 획득 과정에서, 색수차 문제와 기반 영상 형성 과정을 모델링하였다. 이러한 모델을 바탕으로, 기반 영상과 다중 분광 영상 간의 고주파 성분 차이에 대한 최소 자승법을 풀어서 다중 분광 영상을 획득하도록 하였다. 실험 결과는 제안하는 알고리즘이 색수차 문제가 최소화된 고화질의 다중 분광 영상을 추정한 것을 보여준다.

Abstract ▼ AI-Helper

To capture color and near-infrared images simultaneously, a multi-spectral filter array(MSFA) sensor is used. This is because an NIR band gives additional invisible information to human eyes to see subject under extremely low light level. However, because lenses have different refractive indices for different wavelengths, lenses may fail to focus widely different rays to the same convergence point. This is why a chromatic aberration(CA) problem occurs and images are degraded. In this paper, the image restoration algorithm for an MSFA image, which removes the CA problem, is presented. The obtained MSFA image is filtered by the estimated low-pass kernel to generate a base image. This base image is used to remove CA problem in multi-spectral(MS) images. By modeling the image degradation process and by using the least squares approach of the difference between the high-frequencies of the base and MS images, the desired high-resolution MS images are reconstructed. The experimental results show that the proposed algorithm performs well in estimating the high-quality MS images and reducing the chromatic aberration problem.

주제어

AI 본문요약
AI-Helper

문제 정의

또한 채널 간의 상관관계를 기반으로 하여 컬러 보간시 디블러널 간의 상관관계를 기반으로 하여 컬러 보간시 디블러링 (deblurring)을 함께 수행하는 알고리즘이 있다^[15]. 본 논문에서는 색수차 문제를 고려하여 고해상도의 다중 대역 영상을 추정하는 영상 복원(image restoration) 알고리즘을 제안하고자 한다.

가설 설정

또한 본 논문에서 사용된 센서의 획득 환경을 가정하여 컬러 영상을 이용한 시뮬레이션 실험을 하였다. Kodak 영상(768 × 512)에 대해서 G 채널에 초점이 맞고, R과 B 채널에 대해서는 각각 종색수차와 횡색수차 열화를 가정하였다. R채널은 766 × 510, B채널은 770 × 514로 크기가 조정되었고 0.

제안 방법

본 눈문에서는 다중 분광 필터 배열 영상의 색수차 문제를 고려한 영상 복원 알고리즘을 제안하였다. 다중 분광 필터 배열 영상으로부터 기반 영상을 추정하고, 색수차 문제가 고려하여, 영상 열화 모델을 바탕으로 하여 고해상도의 다중 분광 영상을 추정하였다. 제안하는 방법은 다중 분광 영상을 이용하는 감시 카메라나 생물 측정 분야에 활용될 수 있다.

대상 데이터

제안하는 방법과 기존 방법들의 성능을 비교하기 위해서 두 종류의 실험 영상을 사용하였다. 다중 분광 필터 배열을 이용하여 200 lx의 백열등 조명에서 해상도 차트와 디테일이 있는 물체들을 800 × 520의 해상도로 촬영하였다. 이 영상들로 처리한 결과에 대해서 영상들과 고주파 정보 에너지(high-frequency energy)^[21] 값들을 비교하였다.

데이터처리

5의 가우시안 블러로 열화된 영상을 생성하였다. 이러한 영상에 대해서 베이어 패턴으로 배열 영상을 만들고 다중 분광 영상을 복원하고 컬러 최대 신호 대 잡음비(Color Peaksignal-tratio: CPSNR) 값을 비교하였다^[22].
컬러 영상들을 베이어 패턴에 따라 표본화하고 보간 하여 비교하였다. 제안하는 방법과 POCS(Projection onto convex)^[3], 에지에 따른 보간 방법(Edge directed, ED)^[4], 다중 스케일의 기울기 보간 방법(multiscale gradient: MSG)^[5]의 성능을 비교하였다.

이론/모형

먼저, 다중 분광 필터 배열 영상으로 부터 기반 영상(base image)을 추정하고, 이를 이용하여 전 해상도로 보간된 영상에 대해서 색수차가 제거된 고해상도의 다중 분광 영상을 추정하도록 한다. 이 때, 영상 열화 모델과 기반영상 형성 모델을 바탕으로 비용 함수(cost function)를 설계하고 이것의 해를 찾아서 최종적으로 색수차가 제거된 다중 분광 영상을 추정하도록 한다.

성능/효과

12개의 실험 영상들에 대한 결과의 고주파 정보 에너지와 평균값을 그림 8에 그래프로 나타내었다. 제안하는 방법을 이용하여 추정된 결과들의 수치가 다른 알고리즘으로 얻어진 결과보다 높았다. 이는 제안하는 방법이 색수차 문제를 고려하였고, 또한 기반 영상을 이용하여 고주파 성분만 복원하였기 때문에 우수한 결과가 추정된 것으로 해석된다.

후속연구

제안하는 방법은 다중 분광 영상을 이용하는 감시 카메라나 생물 측정 분야에 활용될 수 있다. 또한 컬러 영상에서 색수차 문제가 발생하였을 때에도 사용 가능하며, 다른 패턴의 컬러 필터 배열에 대해서도 적용할 수 있다.
다중 분광 필터 배열 영상으로부터 기반 영상을 추정하고, 색수차 문제가 고려하여, 영상 열화 모델을 바탕으로 하여 고해상도의 다중 분광 영상을 추정하였다. 제안하는 방법은 다중 분광 영상을 이용하는 감시 카메라나 생물 측정 분야에 활용될 수 있다. 또한 컬러 영상에서 색수차 문제가 발생하였을 때에도 사용 가능하며, 다른 패턴의 컬러 필터 배열에 대해서도 적용할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	컬러 대역과 근적외선 필터를 각 픽셀에 설치한 이미지 센서(complementary metal oxide semiconductor: CMOS)의 문제점은?	그러나 소형 카메라를 이용하여 컬러 대역과 근적외선 대역을 동시에 획득할 때, 색수차(chromatic aberration: CA) 문제가 발생한다. 이는 렌즈의 굴절률(refractive indices)이 파장 길이에 따라 다르기 때문에 하나의 컨버전스 포인트(convergence point)로 초점을 맺지 못한다[13].
	다중 분광 필터 배열의 장점은?	기존의 센서와 사람 눈의 한계를 넘어서 다중 분광 필터 배열은 광결정 컬러 필터(photonic crystal color filter)를 이용하여 컬러 정보 외에 추가적으로 700 nm 이상의 파장을 획득할 수 있다. 이 센서는 사용 유무 변경이 가능한 적외선 차단 필터(infrared cutoff filter: IRCF)를 사용하여 낮에는 사용하고 밤에 사용하지 않도록 하였다.
	반복적 표본화(sub-sampled periodic)된 컬러 필터 배열(color filter array: CFA)컬러 필터 배열이 제안된 이유는?	하나의 센서로 컬러 영상을 획득하기 위하여, 비용을 절감하고 카메라의 크기를 줄인, 반복적 표본화(sub-sampled periodic)된 컬러 필터 배열(color filter array: CFA)컬러 필터 배열이 제안되었다. 이 컬러 필터를 센서의 앞에 설치하여 한 픽셀에서 하나의 컬러 값이 측정된다.

참고문헌 (22)

B. Bayer, "Color imaging array," US Patent 3,971,065, 1976.
K. Hirakawa and P. Wolfe, "Spatio-spectral color filter array design for optimal image recovery," IEEE Transactions on Image Processing, 17, 1876-1890, 2008.

상세보기
B. Gunturk, Y. Altunbasak, and R. Mersereau, "Color plane interpolation using alternating projections," IEEE Transactions on Image Processing, 11, 997-1013, 2002.

상세보기
Hyun Mook Oh, Du Sic Yoo, and Moon Gi Kang, "Edge-Directed Color Interpolation on Disjointed Color Filter Array," Journal of The Institute of Electronics Engineers of Korea Vol. 47-SP, NO. 1, pp. 53-61, Jan 2010.
I. Pekkucuksen and Y. Altunbasak, "Multiscale gradients-based color filter array interpolation," IEEE Transactions on Image Processing, 22, 157-165, 2013.

상세보기
P.-J. Lapray, X. Wang, J.-B. Thomas, and P. Gouton, "Multispectral filter arrays: Recent advances and practical implementation," Sensors 14(11), 21626, 2014.

상세보기
L. Miao, H. Qi, R. Ramanath, and W. Snyder, "Binary tree-based generic demosaicking algorithm for multispectral filter arrays," IEEE Transactions on Image Processing, 15, 3550-3558, 2006.

상세보기
Y. Monno, M. Tanaka, and M. Okutomi, "Multispectral demosaicking using adaptive kernel upsampling," IEEE International Conference on Image Processing (ICIP), 3157-3160, 2011.
K. Kidono and Y. Ninomiya, "Visibility estimation under night-time conditions using a multiband camera," IEEE Intelligent Vehicles Symposium, 1013-1018, 2007.
J. H. Park and M. G. Kang, "Multispectral iris authentication system against counterfeit attack using gradient-based image fusion," Optical Engineering 46(11), 117003-117003-14, 2007.

상세보기
D. Kiku, Y. Monno, M. Tanaka, and M. Okutomi, "Simultaneous capturing of rgb and additional band images using hybrid color filter array," Proc. SPIE 9023, 90230V-90230V-9, 2014.
S. Koyama, Y. Inaba, M. Kasano, and T. Murata, "A day and night vision mos imager with robust photonic-crystal-based rgb-and-ir," IEEE Transactions on Electron Devices, 55(3), 754-759, 2008.

상세보기
J. Chang, H. Kang, and M. G. Kang, "Correction of axial and lateral chromatic aberration with false color filtering," IEEE Transactions on Image Processing, 22, 1186-1198, 2013.

상세보기
Z. Sadeghipoor, Y. M. Lu, and S. Susstrunk, "Gradient-based correction of chromatic aberration in the joint acquisition of color and near-infrared images," Proc. SPIE 9404, 94040F-94040F-11, 2015.
Du Sic Yoo, Ki Sun Song, and Moon Gi Kang, "A Deblurring Algorithm Combined with Edge Directional Color Demosaicing for Reducing Interpolation Artifacts," Journal of The Institute of Electronics Engineers of Korea Vol. 50, NO. 7, pp. 1833-1843, July 2013.
L. Fang, O. Au, K. Tang, X. Wen, and H. Wang, "Novel 2-d mmse subpixel-based image down-sampling," IEEE Transactions on Circuits and Systems for Video Technology, 22, 740-753, 2012.

상세보기
Y. Zhang, "A new merging method and its spectral and spatial effects," International Journal of Remote Sensing 20(10), 2003-2014, 1999.

상세보기
Farsiu, Sina, et al. "Fast and robust super-resolution." Image Processing, 2003. ICIP 2003. Proceedings. 2003 International Conference on. Vol. 2. IEEE, 2003.
Babacan, S. Derin, Rafael Molina, and Aggelos K. Katsaggelos. "Parameter estimation in TV image restoration using variational distribution approximation." Image Processing, IEEE Transactions on 17. 3, 326-339, 2008.

상세보기
R. Hardie, K. Barnard, and E. Armstrong, "Joint map registration and high-resolution image estimation using a sequence of undersampled images," IEEE Transactions on Image Processing, 6, 1621-1633, 1997.

상세보기
L. Fang, O. Au, K. Tang, X. Wen, and H. Wang, "Novel 2-d mmse subpixel-based image down-sampling," IEEE Transactions on Circuits and Systems for Video Technology, 22, 740-753, 2012.

상세보기
R. C. Gonzalez, R. E. Woods, Digital Image Processing (3rd Edition), Prentice-Hall, Inc., Upper Saddle River, NJ, USA, 2006.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증