[논문]베이어 CFA 카메라를 사용한 다중 스펙트럼 기반 컬러영상 생성 기술

신정호

doi:10.5909/jeb.2011.16.3.561

베이어 CFA 카메라를 사용한 다중 스펙트럼 기반 컬러영상 생성 기술
Multi-spectral Imaging-based Color Image Reconstruction Using the Conventional Bayer CFA 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.16 no.3, 2011년, pp.561 - 565

신정호 (한경대학교 웹정보공학과)

초록
AI-Helper

본 논문에서는 기존의 베이어 컬러필터 배열 기반의 영상 센서를 사용하는 카메라에서 개선된 컬러 영상을 생성하기 위한 영상 시스템을 제안한다. 제안한 컬러 영상 생성 기술은 두 장의 연속적인 영상(광대역 G채널 필터를 사용한 영상과 색필터를 적용하지 않고 연속적으로 촬영한 영상)으로부터 RGBCY의 다양한 색 정보를 추출하여 디모자이킹을 위한 컬러 영상 보간의 계산은 감소시키며 개선된 색상 정보를 가지는 영상을 얻을 수 있다. 또한 기존의 베이어 CFA 영상센서를 사용하기 때문에 새로운 형태의 CFA를 제작할 필요 없이 다중 스펙트럼 영상을 취득할 수 있는 카메라 시스템으로 확장 가능하다. 마지막으로 본 논문에서 제안한 컬러영상 생성을 위한 카메라 시스템의 성능을 검증하기 위해서 기존의 디모자이킹 기술과 비교하였으며, 그 결과 컬러 중첩 현상이 상당히 개선되었음을 보였다.

Abstract ▼ AI-Helper

This paper presents an imaging system for reconstruction of enhanced color images using the conventional Bayer CFA. By extracting various colors such as RGBCY from two sequential images which consist of a image by broadband G channel lens filter and the other image captured without one, the proposed color image reconstruction system can reduce the computational complexity for demosaicking and make high resolution color information without aliasing artifacts. Because the proposed system uses the common Bayer CFA image sensor, fabricating a new type of CFA is not necessary for obtaining a multi-spectral image, which can be easily extensible for applications of multi-spectral imaging. Finally, in order to verify the performance of the proposed system, experimental results are performed. By comparing with the existing demosaicking methods, the proposed camera system showed the significant improvements in the sense of color resolution.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

. 다중 컬러필터 조리개 카메라 시스템을 변형하여 컬러영상을 생성하는 방법에 제안되었다. 이 방법은 기존의 RGB 베이어 패턴을 적용한 카메라에 RGB의 색 필터를 렌즈에 추가로 장착하여 세장의 영상을 취득하여 베이어 영역 컬러 패치 방법을 사용하여 디모자이킹을 수행하지 않고 컬러 영상을 생성한다^[3].
본 논문에서 제안하는 알고리듬의 성능 평가를 위해서는 실제 상용 카메라의 CFA 스펙트럼 대역에 대한 구체적인 정보를 알아야하고 또한 그에 해당하는 외부 광대역 G 필터를 제작해야 한다. 따라서 본 실험에서는 기존의 디모자이킹 방법과의 비교 및 제안하는 광대역 G 필터를 사용하는 영상시스템의 성능을 평가하기 위하여 시뮬레이션으로 광대역 G필터가 통과한 영상을 생성하여 사용했다. 본 논문에서 제안한 방법의 PSRN을 기존의 방법과 비교하면 선형보간 방법보다는 개선되었지만 Gunturk의 방법을 사용한 결과에 비교하면 낮은 수치를 나타낸다.
본 논문에서는 기존의 CFA 영상센서를 사용하는 카메라의 렌즈에 광대역 G 필터로 얻은 영상을 추가로 사용하여 컬러 영상을 생성하는 시스템을 제안했다. 제안한 컬러 영상 생성 기술은 R과 B 채널을 구성할 때 기존의 단일센서 CFA 영상 보다 두 배의 정보를 얻을 수 있어서 단순한 디모자이킹 방법을 사용할 수 있기 때문에 적은 계산량으로 효과적으로 디모자이킹을 수행하고 색 중첩의 문제도 해결할 수 있다.
본 논문에서는 기존의 베이어 컬러필터 배열 기반의 영상 센서를 사용하는 카메라에서 개선된 컬러 영상을 생성하기 위한 방법을 제안한다. 이를 위하여 두 장의 연속적인 영상(광대역 G채널 필터를 사용한 영상과 색필터를 적용하지 않고 연속적으로 촬영한 영상)으로부터 색 정보를 추출하여 디모자이킹을 위한 컬러 영상 보간의 계산은 감소시키며 색상 정보를 개선하는 컬러 영상을 생성 기술을 제안한다.
본 절에서는 일반적으로 사용하는 베이어 RGB CFA 영상센서를 사용하고 디모자이킹을 최소화하여 채널 보간의 문제를 해결하기 위한 시스템을 제안한다. 제안한 시스템은 다중 스펙트럼 영상을 얻기 위한 방법으로 확장할 수 있는 장점을 가진다.

제안 방법

본 논문의 구성은 다음과 같다. 2절에서는 기존의 디모자이킹 기술을 사용하는 컬러영상 생성 기술에 대해 설명하고 베이어 CFA 기반의 다중 스펙트럼 영상을 사용하는 컬러 영상 생성 기술을 제안한다. 3절에서는 실험 결과를 제시하고, 마지막으로 4절에서 결론을 맺는다.
베이어 CFA를 통과한 빛이 영상센서에 저장되기 때문에 취득한 영상에는 RGB의 성분이 1:2:1로 샘플링되어 저장되고 각 화소는 한 가지 색성분에 대한 응답만을 가진다. 따라서 나머지 두 색 성분들과 함께 컬러영상을 생성하기 위해서 베이어 영상을 보간하여 영상센서 해상도와 같은 크기의 컬러 영상을 계산한다. 베이어 RGB CFA에서 G 성분을 다른 색성분 보다 두 배 샘플링하는 이유는 G 성분이 사람의 눈에 가장 민감하게 반응하고 영상의 휘도(luminance) 성분과 유사하기 때문이다.
본 논문에서 제안하는 알고리듬의 성능 평가를 위해서는 실제 상용 카메라의 CFA 스펙트럼 대역에 대한 구체적인 정보를 알아야하고 또한 그에 해당하는 외부 광대역 G 필터를 제작해야 한다. 따라서 본 실험에서는 기존의 디모자이킹 방법과의 비교 및 제안하는 광대역 G 필터를 사용하는 영상시스템의 성능을 평가하기 위하여 시뮬레이션으로 광대역 G필터가 통과한 영상을 생성하여 사용했다.
본 논문에서 제안하는 컬러영상 시스템은 렌즈부에 광대역 G 필터를 탈착이 가능하도록 구성하고 기존의 베이어 RGB CFA 영상센서를 사용하여 연속적으로 두 장의 영상을 촬영한다. 한 장의 영상은 외부 필터를 사용하지 않고 영상을 취득하고 다른 한 장의 영상은 광대역 G 필터를 부착하여 영상을 얻는다.
본 논문에서 제안한 컬러 영상 생성 기술의 성능을 검증하기 위해서 제안한 방법으로 생성한 영상과 기존의 베이어 RGB CFA 영상의 디모자이킹 기술로 생성한 영상을 비교하였다. 제안한 방법과의 객관적인 실험결과의 비교를 위하여 코닥 영상을 사용하여 PSNR을 표 1에 나타냈다.
본 논문에서는 기존의 베이어 컬러필터 배열 기반의 영상 센서를 사용하는 카메라에서 개선된 컬러 영상을 생성하기 위한 방법을 제안한다. 이를 위하여 두 장의 연속적인 영상(광대역 G채널 필터를 사용한 영상과 색필터를 적용하지 않고 연속적으로 촬영한 영상)으로부터 색 정보를 추출하여 디모자이킹을 위한 컬러 영상 보간의 계산은 감소시키며 색상 정보를 개선하는 컬러 영상을 생성 기술을 제안한다.
본 논문에서 제안하는 컬러영상 생성 기술의 특징은 다음과 같다. 첫째, 상용화되어 일반적으로 사용되는 베이어 CFA 카메라 시스템의 컬러 스펙트럼을 분석하여 다중 스펙트럼을 이용한 컬러 영상 생성 시스템을 제안한다. 둘째, 제안한 다중 스펙트럼 컬러 영상 생성 기술로 디모자이킹을 위한 컬러 영상 보간의 계산량을 줄이고 생성된 영상의 컬러 중첩 효과를 제한한다.
컬러영상을 생성하기 위해서 베이어 CFA 영상센서를 사용하는 대신에 프리즘으로 색성분을 RGB로 분리하는 3CCD 카메라를 사용하여 고해상도 영상을 취득한다. 또한 천체 관측을 위하여 서로 다른 색필터가 포함된 필터휠(filter wheel)을 렌즈에 부착하여 연속적으로 영상을 촬영하여 컬러영상 또는 다중 스펙트럼 영상을 생성하기도 한다^[5].
한편 단일 영상센서를 사용하여 다중 스펙트럼 영상을 취득하기 위해서 기존의 CFA 대신에 RGBCM의 색필터를 배치한 CFA를 사용하여 다중 스펙트럼 디모자이킹을 수행하였다^[6]. 앞서 언급한 것과 같이 다중 스펙트럼 영상을 얻기 위해서 또는 다중 스펙트럼 영상을 사용하여 컬러영상을 생성하기 위해서는 새로운 형태의 CFA를 사용하거나 여러 장의 영상을 사용해야 하는 단점이 있다.

대상 데이터

이와 같이 연속적으로 얻은 두 장의 영상으로부터 컬러 영상을 생성하기 위해 다음과 같이 RGB 채널 영상을 구성한다. R 채널을 구성하기 위해서 렌즈 색필터를 사용하지 않은 영상에서 1/4로 샘플링된 R화소를 사용하고 광대역 G 필터를 사용해서 얻은 영상의 1/4 샘플링된 C 화소를 사용한다. 식 (1)의 세 번째 식에서 C와 R의 관계를 통해 C 화소로부터 R성분을 간단히 계산할 수 있다.

성능/효과

제안한 컬러 영상 생성 기술은 R과 B 채널을 구성할 때 기존의 단일센서 CFA 영상 보다 두 배의 정보를 얻을 수 있어서 단순한 디모자이킹 방법을 사용할 수 있기 때문에 적은 계산량으로 효과적으로 디모자이킹을 수행하고 색 중첩의 문제도 해결할 수 있다. 또한 기존의 베이어 CFA 영상센서를 사용하기 때문에 새로운 형태의 CFA를 제작할 필요 없이 다중 스펙트럼 영상을 얻을 수 있는 근거를 마련하였다. 향후 연구에서는 렌즈 색필터와 CFA를 통과한 빛의 손실을 고려하고 두 장 영상의 노출을 다르게 설정하여 HDR (high dynamic range) 등의 기술에 활용할 수 있을 것으로 기대한다.
따라서 본 실험에서는 기존의 디모자이킹 방법과의 비교 및 제안하는 광대역 G 필터를 사용하는 영상시스템의 성능을 평가하기 위하여 시뮬레이션으로 광대역 G필터가 통과한 영상을 생성하여 사용했다. 본 논문에서 제안한 방법의 PSRN을 기존의 방법과 비교하면 선형보간 방법보다는 개선되었지만 Gunturk의 방법을 사용한 결과에 비교하면 낮은 수치를 나타낸다. 그 이유는 RGB 의 각 채널별 보간 방법으로 기존의 에지 방향성 보간(edge-directed interpolation) 방법^[7]을 적용하였기 때문에 채널간 정보를 사용하고 반복적으로 계산한 Gunturk의 방법에 비하여 PSNR 값이 낮게 나타난다.
둘째, 제안한 다중 스펙트럼 컬러 영상 생성 기술로 디모자이킹을 위한 컬러 영상 보간의 계산량을 줄이고 생성된 영상의 컬러 중첩 효과를 제한한다. 셋째, 제안된 카메라 시스템은 다중 스펙트럼을 위한 영상 취득 시스템으로 확장 가능하다.
본 절에서는 일반적으로 사용하는 베이어 RGB CFA 영상센서를 사용하고 디모자이킹을 최소화하여 채널 보간의 문제를 해결하기 위한 시스템을 제안한다. 제안한 시스템은 다중 스펙트럼 영상을 얻기 위한 방법으로 확장할 수 있는 장점을 가진다.
본 논문에서는 기존의 CFA 영상센서를 사용하는 카메라의 렌즈에 광대역 G 필터로 얻은 영상을 추가로 사용하여 컬러 영상을 생성하는 시스템을 제안했다. 제안한 컬러 영상 생성 기술은 R과 B 채널을 구성할 때 기존의 단일센서 CFA 영상 보다 두 배의 정보를 얻을 수 있어서 단순한 디모자이킹 방법을 사용할 수 있기 때문에 적은 계산량으로 효과적으로 디모자이킹을 수행하고 색 중첩의 문제도 해결할 수 있다. 또한 기존의 베이어 CFA 영상센서를 사용하기 때문에 새로운 형태의 CFA를 제작할 필요 없이 다중 스펙트럼 영상을 얻을 수 있는 근거를 마련하였다.

후속연구

첫째, 상용화되어 일반적으로 사용되는 베이어 CFA 카메라 시스템의 컬러 스펙트럼을 분석하여 다중 스펙트럼을 이용한 컬러 영상 생성 시스템을 제안한다. 둘째, 제안한 다중 스펙트럼 컬러 영상 생성 기술로 디모자이킹을 위한 컬러 영상 보간의 계산량을 줄이고 생성된 영상의 컬러 중첩 효과를 제한한다. 셋째, 제안된 카메라 시스템은 다중 스펙트럼을 위한 영상 취득 시스템으로 확장 가능하다.
그 이유는 RGB 의 각 채널별 보간 방법으로 기존의 에지 방향성 보간(edge-directed interpolation) 방법^[7]을 적용하였기 때문에 채널간 정보를 사용하고 반복적으로 계산한 Gunturk의 방법에 비하여 PSNR 값이 낮게 나타난다. 따라서 제안한 방법의 보간을 위해 채널간 정보를 사용한다면 PSNR을 개선할 수 있을 것으로 예상한다.
또한 기존의 베이어 CFA 영상센서를 사용하기 때문에 새로운 형태의 CFA를 제작할 필요 없이 다중 스펙트럼 영상을 얻을 수 있는 근거를 마련하였다. 향후 연구에서는 렌즈 색필터와 CFA를 통과한 빛의 손실을 고려하고 두 장 영상의 노출을 다르게 설정하여 HDR (high dynamic range) 등의 기술에 활용할 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영상 센서는 무엇으로 구성됩니까?	영상 센서는 일반적으로 빛 에너지에 반응하는 모노 센서로 구성된다. 이와 같은 모노 센서를 사용하여 컬러영상을 얻기 위해서 현재 대부분의 디지털 카메라는 영상센서 위에 CFA를 설치하여 각 화소마다 서로 다른 컬러 정보를 취득한다.
	다중 컬러필터 조리개 카메라 시스템을 변형하여 컬러영상을 생성하는 방법이란 무엇입니까?	다중 컬러필터 조리개 카메라 시스템을 변형하여 컬러영상을 생성하는 방법에 제안되었다. 이 방법은 기존의 RGB 베이어 패턴을 적용한 카메라에 RGB의 색 필터를 렌즈에 추가로 장착하여 세장의 영상을 취득하여 베이어 영역 컬러 패치 방법을 사용하여 디모자이킹을 수행하지 않고 컬러 영상을 생성한다[3].
	디지털 카메라에서 컬러 영상을 취득하기 위해서는 몇개의 영상센서가 필요합니까?	디지털 카메라에서 컬러 영상을 취득하기 위해서는 원리적으로 세 개의 영상센서가 필요하다. 그러나 각각의 서로 다른 스펙트럼 채널을 갖는 세 개의 영상센서를 사용하기 위해서는 렌즈로 입사되는 빛을 광학적으로 분리하여 각각의 센서로 전송하기 위한 광학부와 전자제어부가 추가적으로 필요하다.

참고문헌 (8)

B. K. Gunturk, J. Glotzbach, Y. Altunbasak, R. W. Schafer, and R. M. Mersereau, "Demosaicking: Color filter array interpolation," IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 21-36, May 2003.

상세보기
V. Maik, D. Cho, J. Shin, D. Har, and J. Paik, "Color-shift model-based segmentation and fusion for digital auto focusing," Journal of Imaging Science, Technology, vol. 51,no. 4, pp. 368-379, July/August 2007.

상세보기
강원석, 이은성, 김상진, 백준기, "다중 컬러 필터 조리개 시스템을 위한 베이어 도메인 컬러 패치", 신호처리합동학술대회 논문집, 23권, 1호, pp. 285-287, 2010년10월.
J. Nakamura, Image Sensors and Signal Processing for Digital Still Cameras, Tayor&Francis, 2006.
J. Brauers, N. Schulte, and T. Aach, "Multispectral filter-wheel cameras: geometric distortion model and compensation algorithms," IEEE Tr. Image Processing, vol. 17, no. 12, pp. 2368-2380, December 2008.

상세보기
L. Miao, H. Qi, R. Ramanath, and W. Snyder, "Binary tree-based generic demosaicking algorithm for multispectral filter arrays," IEEE Tr. Image Processing, vol. 15, no. 15, pp. 3550-3558, November 2006.

상세보기
R. Hibbard, "Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients," U.S. Patent 5 382 976, 1995.
B. Gunturk, Y. Altunbasak, and R. Mersereau, "Color plane interpolation using alternating projections," IEEE Tr. Image Processing, vol. 11, no. 9, pp. 997-1013, September 2002.

상세보기

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증