[논문]컬러 필터 어레이 영상에 대한 공동의 컬러보간과 임의 배율 다운샘플링 알고리즘

이민석; 강문기

doi:10.5573/ieie.2017.54.4.68

컬러 필터 어레이 영상에 대한 공동의 컬러보간과 임의 배율 다운샘플링 알고리즘
Joint Demosaicking and Arbitrary-ratio Down Sampling Algorithm for Color Filter Array Image 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.54 no.4 = no.473, 2017년, pp.68 - 74

이민석 (연세대학교 전기전자공학과) , 강문기 (연세대학교 전기전자공학과)

초록
AI-Helper

본 논문은 컬러 필터 어레이 (CFA) 영상에 대한 공동의 컬러보간(Demosaicking)과 임의 배율의 다운샘플링(arbitrary-ratio down sampling)알고리즘을 제시한다. 컬러보간은 단일 센서를 사용하는 다양한 영상 저장 시스템에서 영상 신호 처리 파이프 라인의 필수적인 부분이다. 또한, 스마트폰과 같은 소구경 카메라 시스템에서는 영상 센서에서 획득되는 고해상도 영상이 보다 작은 해상도의 영상으로 스크린에 다운샘플링되어 디스플레이 된다. 기존 방법에서는 이러한 과정들을 거치기 위해 "컬러보간 후 다운샘플링" 모듈의 순서대로 영상을 처리하게 된다. 하지만 이러한 독립적이고 순차적인 방법은 많은 메모리 소모와 계산량을 필요로 하게 되고, 또한 영상 처리 과정에서 아티팩트(artifact)가 발생하여 영상 디테일의 손상을 가져오게 된다. 본 논문에서는 이러한 문제점을 해결하기 위해 컬러보간과 다운샘플링을 동시에 동작하도록 하는 알고리즘을 제안한다. 제안하는 방법에서는 입력되는 컬러 필터 영상으로부터 고주파 및 저주파 성분으로 신호를 분해하는 방법에 기초하여 임의의 배율에서 컬러 필터 영상으로 역 사상(inverse mapping)을 하고 컬러보간 및 다운샘플링을 동시에 수행하게 된다. 제안하는 알고리즘은 종래의 기술보다 더 나은 영상 품질 성능을 나타내면서 동시에 보다 적은 계산량이 필요로 하는 것을 보여준다.

Abstract ▼ AI-Helper

This paper presents a joint demosaicking and arbitrary-ratio down sampling algorithm for color filter array (CFA) images. Color demosaiking is a necessary part of image signal processing pipeline for many types of digital image recording system using single sensor. Also, such as smart phone, obtained high resolution image from image sensor has to be down-sampled to be displayed on the screen. The conventional solution is "Demosaicking first and down sampling later". However, this scheme requires a significant amount of memory and computational cost. Also, artifacts can be introduced or details get damaged during demosaicking and down sampling process. In this paper, we propose a method in which demosaicking and down sampling are working simultaneously. We use inverse mapping of Bayer CFA and then joint demosaicking and down sampling with arbitrary-ratio scheme based on signal decomposition of high and low frequency component in input data. Experimental results show that our proposed algorithm has better image quality performance and much less computational cost than those of conventional solution.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 베이어 데이터로부터 컬러보간과 다운샘플링을 동시에 하는 알고리즘을 제안하였다. 알고리즘의 성능 향상을 위하여 베이어 입력으로부터 휘도 성분 추정을 통해 얻는 고주파 정보와 컬러의 주된 저주파 정보를 이용하여 다운샘플링 된 풀 컬러 영상을 획득하였다.
본 논문에서는 임의 배율의 다운샘플링을 컬러보간 과정과 동시에 진행되는 알고리즘을 제안한다. 이를 위해 첫 번째로, 베이어 컬러 패턴에서 영상 크기와 같은 해상도를 지닌, 고주파 정보가 많은 휘도 정보를 추정한다.
두 번째로, 많은 메모리 사용 및 소비 전력이 고해상도 영상을 센서에서 획득, 저장하는 과정과 알고리즘을 각각 적용하는 과정에 서 요구된다는 점이다. 이러한 이유로 본 논문에서는 컬러보간과 다운샘플링을 동시에 진행하는 방법을 제안하고자 한다. 베이어 컬러 필터 배열 영상의 휘도 성분을 추정하여 고주파 성분과 저주파 성분으로 나누어 컬러보간과 다운샘플링을 진행하고, 여기서 발생하는 아티팩트는 휘도성분의 에지 정보로부터 보상하는 과정을 거치게 된다.

제안 방법

여기서, h값은 미리 설정된 값으로 가우시안 커널의 기울임 정도를 컨트롤할 수 있다. 가우시안 커널을 적용하여 추정된 가중치는 에지의 방향을 따라 큰 값이 할당되도록 설계되었다. 다운샘플된 풀컬러 영상에서 에지 아티팩트는 앞서 설계된 가중치를 적용하여 다음의 수식과 같이 에지 보정과정을 통과하게 된다.
먼저, 코닥 영상은 512 × 728 영상을 1/2배 축소하였고 카메라로 촬영한 영상은 1920 × 1080 영상을 1/2배 각각 알고리즘들로 축소하였다.
이때, 컬러보간 방법으로는 최근 많은 연구가 진행된 방향 선형 최소 평균 제곱 오차 추정(Directional Linear Minimum Mean Square-Error Estimation)을 사용한 컬러보간^[3] 방법을 적용하였으며, 영상 축소 방법은 대표적인 리사이징 방법인 바이큐빅(Bicubic) 방법^[9]을 적용하였다. 본 논문과 비슷한 접근 방법인 컬러 보간과 다운샘플링을 동시에 수행하는 알고리즘으로 정수 배율에만 적용되는 다운샘플링^[5]방법과 비교 하였다. 실험 영상으로는 그림 4에서 보는 바와 같이 대표적인 코닥 영상들과 실제 카메라 센서로 촬영한 해상도 차트 영상으로 테스트하였다.
본 논문에서는 고주파 정보가 많은 샤프한 휘도 성분을 추정하기 위해 다음의 수식과 같이 sinc 함수를 콘볼루션(convolution) 하여 리샘플링(resampling)하는 과정을 거지게 된다.
알고리즘의 성능 향상을 위하여 베이어 입력으로부터 휘도 성분 추정을 통해 얻는 고주파 정보와 컬러의 주된 저주파 정보를 이용하여 다운샘플링 된 풀 컬러 영상을 획득하였다. 이때, 영상 신호를 분리하여 융합하는 방법에 기반하였으며 에지영역에서의 화질 열화를 위한 에지 보상 방법을 통해 고품질의 영상을 획득할 수 있게 하였다. 제안된 알고리즘의 성능은 테스트 영상과 실제 영상의 실험을 통해서 확인하였다.
하지만 다운샘플링하는 과정에서 에지 방향과 영역 특성을 고려하지 않기 때문에 에지영역에서의 아티팩트(artifact)가 많이 발생하게 된다. 이러한 아티팩트들을 제거하기 위해 제안하는 방법에서는 다운샘플된 풀 컬러 영상에서 추가적으로 에지 보정 방법을 통해 고화질의 영상을 얻고자 한다.
본 논문에서는 임의 배율의 다운샘플링을 컬러보간 과정과 동시에 진행되는 알고리즘을 제안한다. 이를 위해 첫 번째로, 베이어 컬러 패턴에서 영상 크기와 같은 해상도를 지닌, 고주파 정보가 많은 휘도 정보를 추정한다. 베이어 컬러 패턴에서 서브 샘플된(sub sampled) R, G, B 컬러 신호는 주파수 분석을 통해 다음의 메트릭스(Matrix)와 같은 수식^[6]으로 휘도 성분 Y와 색차 성분 C1, C2로 추정할 수 있다.
이때, 영상 신호를 분리하여 융합하는 방법에 기반하였으며 에지영역에서의 화질 열화를 위한 에지 보상 방법을 통해 고품질의 영상을 획득할 수 있게 하였다. 제안된 알고리즘의 성능은 테스트 영상과 실제 영상의 실험을 통해서 확인하였다. 실험 결과 제안한 알고리즘이 기존의 알고리즘보다 우수함을 정량적 평가 및 시각적인 측면에서 확인 할 수 있었다.
또 다른 방법으로는 순방향 매핑(forward mapping)이 있는데, 순방향 매핑에서는 목적 영상상에 서 공백이나 과다한 충돌 등이 발생하게 되어, 추가적으로 이 공백을 채우거나 충돌을 해결하는 기법을 사용해야 한다. 제안하는 방법에서는 해당하는 영상 상의 좌표가 정수가 아니라 실수값인 경우가 많은 임의배율 (arbitrary ratio)으로 해당 지점의 픽셀값을 결정할 때, 다음의 수식과 같이 k:1 배율에서 역방향 매핑으로 원 영상상의 좌표가 설정된다.
제안하는 방법에서는, 위와 같이 추정된 휘도 성분으로부터 다운샘플링 된 영상에 비해 상대적으로 풍부한 고주파 정보를 얻게 되는데, 신호 분해 방법을 기초로 하여 추정 된 고주파 신호를 융합하여 고해상도의 신호를 얻게 된다. 신호 분해 방법은 영역 적응적 융합 알고리즘[6]에 기초하여, 각각의 컬러 정보는 고주파 신호와 저주파 신호로 분해 될 수 있고 각각의 컬러의 고주파 신호는 같은 공간의 휘도의 고주파 성분과 유사한 경향을 보임을 다음의 식 (6), (7)과 같이 가정할 수 있다.
0GHz CPU와 16GB 메모리를 탑재한 PC에서 C/C++의 실험 환경에서 구현하였다. 제안하는 방법은 sinc 함수와 exponential 등의 연산을 테이블화 시키고 계산상의 최적화를 통해 연산시간을 실시간화 시키고자 하였다. 기존의 연구들보다 제안하는 방법에서 빠른 수행 속도를 보이고 있다.
제안하는 방법은 역방향 매핑(inverse mapping)을 통한 영상 축소 방법으로 다운샘플링을 하는 것이다. 역방향 매핑은 실제 구현에서 많이 사용하며 목적영상의 각 위치를 스캔하면서 해당 목적 영상으로 매핑되는 원 영상상의 좌표를 계산하여 해당 픽셀값을 가져오면 되기 때문이다.
이때, low( • )연산자는 입력 영상의 위치에서 평균값으로 저주파 성분을 추정한다. 제안하는 알고리즘에서는 수식 (8)에 기반한 추정된 휘도 정보와 신호 융합을 바탕으로 다운샘플링과 컬러보간이 동시에 진행된다.

대상 데이터

본 논문과 비슷한 접근 방법인 컬러 보간과 다운샘플링을 동시에 수행하는 알고리즘으로 정수 배율에만 적용되는 다운샘플링^[5]방법과 비교 하였다. 실험 영상으로는 그림 4에서 보는 바와 같이 대표적인 코닥 영상들과 실제 카메라 센서로 촬영한 해상도 차트 영상으로 테스트하였다. 먼저, 코닥 영상은 512 × 728 영상을 1/2배 축소하였고 카메라로 촬영한 영상은 1920 × 1080 영상을 1/2배 각각 알고리즘들로 축소하였다.
본 논문에서는 베이어 데이터로부터 컬러보간과 다운샘플링을 동시에 하는 알고리즘을 제안하였다. 알고리즘의 성능 향상을 위하여 베이어 입력으로부터 휘도 성분 추정을 통해 얻는 고주파 정보와 컬러의 주된 저주파 정보를 이용하여 다운샘플링 된 풀 컬러 영상을 획득하였다. 이때, 영상 신호를 분리하여 융합하는 방법에 기반하였으며 에지영역에서의 화질 열화를 위한 에지 보상 방법을 통해 고품질의 영상을 획득할 수 있게 하였다.

데이터처리

제안하는 알고리즘을 코닥 영상과 실제 카메라로 촬영한 영상에 적용하여 기존 방법들과 비교 분석하였다.

이론/모형

기존의 방법으로는 “컬러보간 후 다운샘플링” 방법과 “공동의 컬러보간과 정수배율 다운샘플링” 방법을 적용하였다.
기존의 방법으로는 “컬러보간 후 다운샘플링” 방법과 “공동의 컬러보간과 정수배율 다운샘플링” 방법을 적용하였다. 이때, 컬러보간 방법으로는 최근 많은 연구가 진행된 방향 선형 최소 평균 제곱 오차 추정(Directional Linear Minimum Mean Square-Error Estimation)을 사용한 컬러보간^[3] 방법을 적용하였으며, 영상 축소 방법은 대표적인 리사이징 방법인 바이큐빅(Bicubic) 방법^[9]을 적용하였다. 본 논문과 비슷한 접근 방법인 컬러 보간과 다운샘플링을 동시에 수행하는 알고리즘으로 정수 배율에만 적용되는 다운샘플링^[5]방법과 비교 하였다.

성능/효과

결론적으로, 공동의 다운샘플링과 컬러보간 과정은 위의 수식과 예시 그림에서와 같이 low( • ) 연산이 같은 픽셀 위치에서의 컬러 채널과 휘도 성분에 같은 서포트 S 내에서 적용되어 저주파 신호와 고주파 신호로 분해된다.
코닥 영상들과 실제영상에서 테스트 한 결과 PSNR의 측면에 있어서 제안하는 방법은 기존 방법들에 비해 평균적으로 1dB 이상 향상시켰다. 기존 연구들의 결과와 비교해 보았을 때, 제안하는 방법은 수치적인 측면과 가시적인 측면 모두에서 더 나은 결과를 보 여준다. 특히 제안하는 방법은 임의 배율에서 동작할 수 있도록 하여 기존 방법보다 선택의 폭을 더 넓혀줌과 동시에 성능적인 측면에서도 우수함을 보여준다.
실험 결과 제안한 알고리즘이 기존의 알고리즘보다 우수함을 정량적 평가 및 시각적인 측면에서 확인 할 수 있었다. 또한 계산량 및 메모리 소모적인 측면에서도 기존 방법들에 비해 우수한 성능을 나타내는 것을 확인할 수 있었다.
제안된 알고리즘의 성능은 테스트 영상과 실제 영상의 실험을 통해서 확인하였다. 실험 결과 제안한 알고리즘이 기존의 알고리즘보다 우수함을 정량적 평가 및 시각적인 측면에서 확인 할 수 있었다. 또한 계산량 및 메모리 소모적인 측면에서도 기존 방법들에 비해 우수한 성능을 나타내는 것을 확인할 수 있었다.
그림 5에서는 코닥 영상 전체 셋트에 대해서 알고리즘을 비교, 분석 하였다. 코닥 영상들과 실제영상에서 테스트 한 결과 PSNR의 측면에 있어서 제안하는 방법은 기존 방법들에 비해 평균적으로 1dB 이상 향상시켰다. 기존 연구들의 결과와 비교해 보았을 때, 제안하는 방법은 수치적인 측면과 가시적인 측면 모두에서 더 나은 결과를 보 여준다.
기존 연구들의 결과와 비교해 보았을 때, 제안하는 방법은 수치적인 측면과 가시적인 측면 모두에서 더 나은 결과를 보 여준다. 특히 제안하는 방법은 임의 배율에서 동작할 수 있도록 하여 기존 방법보다 선택의 폭을 더 넓혀줌과 동시에 성능적인 측면에서도 우수함을 보여준다. 표 2는 계산량 비교를 위해 수행시간을 나타내었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	단일 영상 센서의 할당은 어떻게 되어있는가?	단일 영상 센서는 그림 1에서 보이는 것과 같이 베이어(Bayer) 패턴 컬러 필터 배열[1]을 가진 단일 영상 센서를 사용한다. 단일 영상 센서는 컬러 성분의 절반은 휘도(luminance) 정보로써 G 채널을 할당하고, 나머지 컬러 정보가 균일하게 R, B 채널에 할당되어 있다. 이러한 단일 영상 센서는 한 픽 셀에서 한 가지 컬러 정보만 획득하기 때문에 다른 두 가지 컬러 정보를 추정해야 하는데 이 과정을 컬러보간 (color demosaicking)이라고 한다[2～3, 10～11].
	디지털 영상 기록 시스템의 활용 분야는?	디지털 영상 기록 시스템은 스마트폰 카메라, DSLR, 캠코더 등 많은 영상 장치에 사용되고 있다. 이러한 대부분의 카메라는 세 가지 컬러(R, G, B)를 획득할 수 있는 3-CCD/CMOS 영상 센서 대신에 한 픽셀에서 각기 다른 컬러 정보를 획득할 수 있는 단일 CCD/CMOS영상 센서를 사용하고 있다.
	스마트폰 카메라 같은 기기에 사용되는 이미지 센서는?	디지털 영상 기록 시스템은 스마트폰 카메라, DSLR, 캠코더 등 많은 영상 장치에 사용되고 있다. 이러한 대부분의 카메라는 세 가지 컬러(R, G, B)를 획득할 수 있는 3-CCD/CMOS 영상 센서 대신에 한 픽셀에서 각기 다른 컬러 정보를 획득할 수 있는 단일 CCD/CMOS영상 센서를 사용하고 있다. 단일 영상 센서는 그림 1에서 보이는 것과 같이 베이어(Bayer) 패턴 컬러 필터 배열[1]을 가진 단일 영상 센서를 사용한다.

참고문헌 (11)

B. E. Bayer, "Color imaging array," U.S. Patent 3 971 065, July 1976.
N. X. Lian, L. Chang, Y. P. Tan, and V. Zagorodnov, "Adaptive filtering for color filter array demosaicking," IEEE Trans. Image Process., vol. 15, no. 10, pp. 2515-2525, Oct. 2007.
L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Process., vol. 14, no. 12, pp. 2167-2178, Dec. 2005.

상세보기
K. Chung, W. Yang, W. Yan and C. Fuh, "New joint demosaicing and arbitrary-ratio resizing algorithm for color filter array based on DCT approach," IEEE Trans. Consum. Electron.,vol. 56, no. 2, pp.783-791, May 2010.

상세보기
S. Lee and M. G. Kang, "Joint demosaicking and integer-ratio downsampling algorithm for color filter array image," in Proc. of SPIE Conf. on Image Processing, vol. 9399, San Francisco, United States, Feb. 2015.
E. Dubois, "Freqeuncy-domain methods for demosaicking of bayer-sampled color images," IEEE Signal Process. Lett., vol. 12, no. 12, pp. 847-850, Dec. 2005.

상세보기
J. H. Park and M. G. Kang, "Spatially adaptive multi-resolution multispectral image fusion," International Journal of Remote Sensing, vol 25, no. 23, pp. 5491-5508, Dec. 2004.

상세보기
X. Feng and P. Milanfar, "Multiscale principal components analysis for image local orientation estimation," 36th Asilomar Conf. Signals, Systems and Computers, Pacific Grove, CA, Nov. 2002.
R. G. Keys, "Cubic convolution interpolation for digital image processing," IEEE Trans. Acoust., Speech, Signal Process., vol. ASSP-29, no. 6, pp. 1153-1160, Dec. 1981.
H. M. Oh, D. S. Yoo, and M. G. Kang, "Edge-Directed Color Interpolation on Disjointed Color Filter Array," Journal of The Institute of Electronics Engineers of Korea, Vol. 47-SP, no. 1, pp. 53-61, Jan 2010.
C. W. Kim, D. S. Yoo, and M. G. Kang, "Spatially Adaptive Color Demosaicing of Noisy Bayer Data," Journal of The Institute of Electronics Engineers of Korea, Vol. 47-SP, no. 2, pp. 86-94, Feb 2010.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증