단일 영상 센서를 사용하는 디지털 카메라에서 컬러 영상은 3개의 R, G, B 프레임으로 나뉘는데, 복원할 때에는 컬러 보간 과정을 이용하여 풀(full) 해상도 영상을 획득한다. 따라서 베이어 패턴(Bayer’s pattern)과 같은 컬러 필터 어레이(CFA : Color Filter Array)를 통과하는 풀 해상도 컬러영상을 복원하는 과제는 소실된 컬러 요소에 대한 보간 기법과 관련이 있다. 본 논문에서는 모자이크 영상으로부터 정확한 에지 기울기 정보를 추출하기 위한 새로운 필터링 방법을 이용한 디모자이킹 알고리즘을 소개한다. 기존의 알고리즘은 G성분 값을 먼저 보간 후, R과 B성분 값을 보간하는 방식을 취하지만, 본 논문에서 제안하는 알고리즘은 휘도(luminance; L) 정보를 먼저 예측한 후, G와 R, B성분 값을 구한다. 이렇게 얻어진 컬러 성분 값들을 이용해 각각의 에지 방향들이 가지는 가중치를 구하고 가중치들의 합을 이용하여 컬러 보간을 수행한다. 24개의 테스트 영상을 이용하여 기존의 디모자이킹 알고리즘과 제안한 알고리즘을 비교하였으며, 제안한 알고리즘이 화질이 우수함을 입증하였다.
단일 영상 센서를 사용하는 디지털 카메라에서 컬러 영상은 3개의 R, G, B 프레임으로 나뉘는데, 복원할 때에는 컬러 보간 과정을 이용하여 풀(full) 해상도 영상을 획득한다. 따라서 베이어 패턴(Bayer’s pattern)과 같은 컬러 필터 어레이(CFA : Color Filter Array)를 통과하는 풀 해상도 컬러영상을 복원하는 과제는 소실된 컬러 요소에 대한 보간 기법과 관련이 있다. 본 논문에서는 모자이크 영상으로부터 정확한 에지 기울기 정보를 추출하기 위한 새로운 필터링 방법을 이용한 디모자이킹 알고리즘을 소개한다. 기존의 알고리즘은 G성분 값을 먼저 보간 후, R과 B성분 값을 보간하는 방식을 취하지만, 본 논문에서 제안하는 알고리즘은 휘도(luminance; L) 정보를 먼저 예측한 후, G와 R, B성분 값을 구한다. 이렇게 얻어진 컬러 성분 값들을 이용해 각각의 에지 방향들이 가지는 가중치를 구하고 가중치들의 합을 이용하여 컬러 보간을 수행한다. 24개의 테스트 영상을 이용하여 기존의 디모자이킹 알고리즘과 제안한 알고리즘을 비교하였으며, 제안한 알고리즘이 화질이 우수함을 입증하였다.
Digital cameras adopting a single CCD detector collect image color by subsampling in three color planes and successively interpolating the information to reconstruct full-resolution color images. Therefore, to recovery of a full-resolution color image from a color filter array (CFA) like the Bayer p...
Digital cameras adopting a single CCD detector collect image color by subsampling in three color planes and successively interpolating the information to reconstruct full-resolution color images. Therefore, to recovery of a full-resolution color image from a color filter array (CFA) like the Bayer pattern is generally considered as an interpolation issue for the unknown color components. In this paper, we first calculate luminance component value by combining R, G, B channel component information which is quite different from the conventional demosaicing algorithm. Because conventional system calculates G channel component followed by computing R and B channel components. Integrating the obtained gradient edge information and the improved weighting function in luminance component, a new edge sensitive demosaicing technique is presented. Based on 24 well known testing images, simulation results proved that our presented high-quality demosaicing technique shows the best image quality performance when compared with several recently presented techniques.
Digital cameras adopting a single CCD detector collect image color by subsampling in three color planes and successively interpolating the information to reconstruct full-resolution color images. Therefore, to recovery of a full-resolution color image from a color filter array (CFA) like the Bayer pattern is generally considered as an interpolation issue for the unknown color components. In this paper, we first calculate luminance component value by combining R, G, B channel component information which is quite different from the conventional demosaicing algorithm. Because conventional system calculates G channel component followed by computing R and B channel components. Integrating the obtained gradient edge information and the improved weighting function in luminance component, a new edge sensitive demosaicing technique is presented. Based on 24 well known testing images, simulation results proved that our presented high-quality demosaicing technique shows the best image quality performance when compared with several recently presented techniques.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문은 CFA데이터의 색상 보간을 위한 새로운 방법을 제안하였다. 제안한 방법은 컬러 성분 에지 기울기 필터링을 이용한 디모자이킹 알고리즘을 제안하였으며, 먼저 이중선형 보간을 이용해 소실된 색상 성분 값을 예측하고 휘도(L: luminance) 값을 구한 후, 정확한 에지 정보를 추출하였다.
즉, 인접 픽셀간의 거리를 s라고 할 때, 거리가 s인 이웃 L성분{L23,L34,L43,L32}뿐만 아니라 거리가 √5s인 8개의 L성분 값들을 추가적으로 이용하여 알고리즘의 성능을 개선하고자 한다.
제안 방법
다음에는 구해진 L값을 이용하여 R과 B위치에서 G성분 값을 보간하였고 마지막 단계에서는 보간된 G값을 이용하여 “G위치에서 R과 B성분 보간”과 “R과 B위치에서 B와 R성분 보간” 과정을 차례로 수행하였다.
본 논문이 제안하는 알고리즘은 우선 이중선형보간과 같은 간단한 필터를 이용하여 모든 픽셀의 R, G, B성분값을 일차적으로 구한다[3]. 예를 들어 그림 2와 같은 베이어 패턴이 있다고 할 때 B33위치에서의 양선형 보간의 결과는 식 (2)와 같이 구해진다.
손실된 값들을 보간하기 위해서는 이웃하는 L성 분으로 이루어진 픽셀들을 이용하게 된다. 본 알고리즘에서는 그림 4(a)의 L33위치에 있는 G값을 보간하기 위해 원래의 G성분값을 보존하고 있는{L12,L14,L23,L25,L34,L45,L54,L43,L52,L41,L32,L21}과 같은 12개의 픽셀을 이용한다. 즉, 인접 픽셀간의 거리를 s라고 할 때, 거리가 s인 이웃 L성분{L23,L34,L43,L32}뿐만 아니라 거리가 √5s인 8개의 L성분 값들을 추가적으로 이용하여 알고리즘의 성능을 개선하고자 한다.
2 GHz)에서 구현하였고, 개발된 프로그램 환경은 Microsoft Visual C++ 2005이다. 실험에서 24개의 테스트 영상들은 모자이크 영상을 얻기 위해 우선 다운 샘플링 처리를 하였다. 본 실험에서는 평가의 공정성을 위해 식 (19) 및 식 (21)과 같이 CPSNR(color peak signal-to-noise ratio)과 S-CIELAB Δ E*a,b(Spatial CIELAB DeltaE color difference)[6],[16]를 사용하였다.
이들 픽셀들은 “수평 방향으로 s의 거리만큼, 수직방향으로 2s의 거리만큼” 또는 그 반대로 “수평 방향으로 2s의 거리만큼, 수직방향으로 s의 거리만큼” 에 위치하는 픽셀들의 L성 분값을 이용하는 것이다. 에지 기울기에 따라 보간에 이용되는 픽셀들의 k번째 방향은 표기의 편의성을 위해 1부터 12까지 번호로 구분하였고 보간 과정이 수행되는 픽셀에서 k번째 방향에 있는 픽셀까지의 수평 이동거리 매개변수(Horizontal Direction Displacement Parameter: HDDP) dH,k와 수직 이동 거리 매개변수(Vertical DDP: VDDP) dV,k는 표 1에 나타내었다. 본 논문에서는 k번째 방향 에지 기울기에 놓여있는 픽셀들은 그 에지가 지나가는 픽셀들이 가지고 있는 특성과 비슷한 특성을 보일 것이라는 추정으로부터 방향 k에 대한 가중치 ωk(i,j) 를 식 (4)와 같이 정의하였다.
이러한 문제점을 해결하기 위하여 본 논문에서는 컬러 성분 에지 기울기 필터링을 이용한 디모자이킹 알고리즘을 제안하며, 다음과 같이 3단계로 수행 된다. 1단계 에서는 이중선형 보간을 이용해 소실된 색상 성분 값을 예측하고 식(1)을 통해 휘도(L: luminance) 값을 구한다.
본 논문은 CFA데이터의 색상 보간을 위한 새로운 방법을 제안하였다. 제안한 방법은 컬러 성분 에지 기울기 필터링을 이용한 디모자이킹 알고리즘을 제안하였으며, 먼저 이중선형 보간을 이용해 소실된 색상 성분 값을 예측하고 휘도(L: luminance) 값을 구한 후, 정확한 에지 정보를 추출하였다. 다음에는 구해진 L값을 이용하여 R과 B위치에서 G성분 값을 보간하였고 마지막 단계에서는 보간된 G값을 이용하여 “G위치에서 R과 B성분 보간”과 “R과 B위치에서 B와 R성분 보간” 과정을 차례로 수행하였다.
대상 데이터
그림 7은 주관적 화질 비교를 나타내었다. 다양한 실험 방식 중에서 가장 우수한 성능을 보인 3가지 방식을 비교대상으로 삼았다. 그림 7(a)는 원본 영상을 나타내고, 그림 7(b)는 Ramanath[4]가 제안한 방식, 그림 7(c)는 Chang이 제안한 linear방식[9], 그림 7(d)는 Chang의 stochastic방식[9], 그리고 그림7(e)는 제안하는 방식이 적용된 실험 결과를 각각 나타낸다.
. 제안한 알고리즘은 MS-Windows XP를 탑재한 Pentium IV processor (3.2 GHz)에서 구현하였고, 개발된 프로그램 환경은 Microsoft Visual C++ 2005이다. 실험에서 24개의 테스트 영상들은 모자이크 영상을 얻기 위해 우선 다운 샘플링 처리를 하였다.
데이터처리
제안한 알고리즘의 성능을 평가하기 위해 그림 6에 표현한 것과 같이 KodakCD에 있는 24장의 컬러영상(768＊512)을 이용하여 객관적, 주관적 화질을 평가하였다[18]. 제안한 알고리즘은 MS-Windows XP를 탑재한 Pentium IV processor (3.
성능/효과
다양한 테스트 영상을 이용하여 제안된 알고리즘이 기존의 디모자이킹 알고리즘과 비교하여 CPSNR과 S-CIELAB ΔE* a,b 이 우수하며, 주관적 화질평가 또한 우수함을 입증하였다.
Chang이제안한 방식의 결과 영상인 그림 7(d)는 비교 대상 영상들 중 객관적 화질 평가 기준인 CPSNR이 가장 우수했지만 주관적 화질 측면에서는 제안한 알고리즘(그림 7(e))이 우수함을 알 수 있다. 특히 다양한 에지 방향이 혼재해 정확히 색보간을 하기 힘든 영역이라도 제안된 기법은 화질 열화를 최소화 하면서 만족할만한 색보간 영상을 제공하는 것을 확인할 수 있었다.
값을 보이는 알고리즘의 결과 값들은 회색으로 표시했다. 표 6과 7에서알 수 있듯이 본 논문에서 제안하는 알고리즘이 전반적으로 가장 좋은 성능을 보이고 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
디지털 카메라에서 컬러 영상은 어떤 프레임으로 나뉘는가?
단일 영상 센서를 사용하는 디지털 카메라에서 컬러 영상은 3개의 R, G, B 프레임으로 나뉘는데, 복원할 때에는 컬러 보간 과정을 이용하여 풀(full) 해상도 영상을 획득한다. 따라서 베이어 패턴(Bayer’s pattern)과 같은 컬러 필터 어레이(CFA : Color Filter Array)를 통과하는 풀 해상도 컬러영상을 복원하는 과제는 소실된 컬러 요소에 대한 보간 기법과 관련이 있다.
단일 영상 센서로부터 획득된 영상의 화질을 개선하고자 하는 연구는 꾸준히 요구되어 온 이유는?
하지만 영상 센서의 가격이 비싸기 때문에 보통 여러 개의 센서를 사용하기보다는 단일 센서의 표면에 컬러 필터 배열(CFA: Color Filter Array)을 채용하고 광학 필터로부터 통과된 신호만을 획득하게 된다[1]. 하지만 단일 센서를 사용할 경우 각 위치마다 두 가지씩의 색상 성분이 손실되기 때문에 화질의 열화가 발생 하게 된다. 따라서 단일 영상 센서로부터 획득된 영상의 화질을 개선하고자 하는 연구는 꾸준히 요구 되어 왔다 [2].
디지털 카메라는 어떤 센서를 기반으로 하는가?
과거 널리 사용하던 필름 카메라에 비해 다양한 장점을 가지는 디지털 카메라는 단일 CCD/CMOS 영상 센서를 기반으로 한다. 그림 1은 영상 획득 장치의 구조를 나타낸 것이며, 실제 영상은 영상 센서를 통해 인식되는데, CCD/CMOS영상 센서는 빛의 밝기만을 인식할 수 있기 때문에 디지털 카메라는 RGB 컬러를 모두 얻기 위하여 3가지의 영상센서와 각각의 센서마다 특정 색상만을 통과시키는 컬러 필터의 채용을 요구하게 된다.
참고문헌 (18)
R. Lukac and K.N. Plataniotis, 'Color filter arrays: Design and performance analysis,' IEEE Trans. Consum. Electron., Vol.51, No.4, pp.1260-1267, Apr. 2005
B.E. Bayer, 'Color Imaging Array,' U.S. Patent 3 971 065, 1976
J.E. Adams, 'Interactions between color plane interpolation and other image processing functions in electronic photography,' Proc. SPIE, Vol.2416, pp.144-151, 1995
B. Ramanath, W.E. Synder, and G.L. Bilbro, 'Demosaicking methods for Bayer color array,' Journal of Electronic Imaging, Vol.11, No.3, pp.306-615, Jul. 2002
S. Battiato, G. Gallo, and F. Stanco, 'A locally adaptive zooming algorithm for digital images,' Image and Vision Computing, Vol.20, No.11, pp.805-812, Sept. 2002
S.C. Pei and I.K. Tam, 'Effective color interpolation in CCD color filter arrays using signal correlation,' IEEE Trans. Circuits and Systems Video Tech., Vol.13, No.6, pp.503-513, June 2003
R. Lukac, K.N. Plataniotis, D. Hatzinakos, and H. Aleksic, 'A novel cost effective demosaicing approach,' IEEE Trans. Consum. Electron., Vol.50, No.1, pp.256-261, Feb. 2004
H.-A. Chang and H. Chen, 'Directionally weighted color interpolation for digital cameras,' in Proc. IEEE ISCAS 2005, Vol.6, pp.6284-6287, 23-26 May 2005
X. Wu and L. Zhang, 'Joint Spatial-Temporal Color Demosaicking,' Lecture Notes in Computer Science, Vol.3540, pp.235-252, June 2005
R. Lukac, K. N. Plataniotis, and D. Hatzinakos, 'Color image zooming on the Bayer pattern,' IEEE Trans. Circuits Syst. Video Technol., Vol.15, No.11, pp.1475？1492, Nov. 2005
L. Zhang and X. Wu, 'Color demosaicking via directional linear minimum mean square-error estimation,' IEEE Trans. Image Processing, Vol.14, No.12, pp.2167-2178, Dec. 2005
G. Zapryanov and I. Nikolova, 'Demosaicing methods for pseudo-random Bayer color filter array,' in Proc. ProRisc 2005, pp.687-692, 2005
R. Lukac, K. N. Plataniotis, D. Hatzinakos, and M. Aleksic, 'A new CFA interpolation framework,' Signal Process., Vol.86, No.7, pp.1559？1579, July 2006
K.H. Chung and Y. H. Chan, C.H. Fu and Y.L. Chan, 'A High Performance Lossless Bayer Image Compression Scheme,' in Proc. IEEE ICIP 2007, Vol.2, pp.II-353-II-356, Sep 16-19, 2007, San Antonio, Texas, USA
K.-L. Chung, W.-J. Yang, W.-M. Yan, and C.-C. Wang, 'Demosaicing of color filter array captured images using gradient edge detection masks and adaptive heterogeneity-projection,' IEEE Trans. Image Processing, Vol.17, No.12, pp.2356-2367, Dec. 2008
D. Alleysson, S. S $\ddot{u}$ sstrunk, and J. Herault, 'Color demosaicing by estimating luminance and opponent chromatic signals in the Fourier domain,' in Proc. IS&T/SID 10th Color Imaging Conference, Vol.10, pp.331-336, 2002
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.