디지털 카메라 시스템에서 CMOS 이미지 센서 (CMOS image sensor, CIS)는 낮은 가격, 작은 시스템 크기, 특히 적은 소비전력의 장점을 가지고 있어 널리 사용되고 있다. 그러나 CIS에서 획득된 영상의 색은 원래의 피사체와 서로 다르고, CIS를 사용한 서로 다른 디지털 카메라는 촬상 특성의 차이에 의해서 통일한 자극치에 대해서 서로 다른 특성을 가지게 된다 이러한 CIS의 촬상 특성에 의해서 표준 색에 대한 출력 특성이 서로 다르게 되고, 영상 출력 장치에서도 동일한 색 재현을 기대하기가 어렵기 때문에 CIS를 위한 컬러 보정이 요구된다. 기존의 컬러 보정 방법은 많은 시간에 걸친 여러 변의 반복적 실험 과정에 의한 경험적 방법을 통해서 구하고 있으며, 그 결과 또한 만족스럽지 못한 실정이다. 본 논문에서는 CIS를 이용한 디지털 카메라를 위한 효과적인 컬러 랩 방법을 새롭게 제안한다. 제안된 방법은 화이트 밸런스만을 조정한 카메라 자체의 전달 특성을 구하고, 이상적인 표준 카메라의 전달 특성에 가깝도록 컬러 보정 행렬을 통해 컬러 보정을 수행한다. 실험 결과, 카메라 전달 특성이 보정 전에 비해 표준 카메라의 전달 특성에 매우 가깝게 보정되었으며, 제안한 방법을 적용한 디지털 카메라의 출력 영상에 대한 화질도 상당히 향상된 것을 확인하였다.
디지털 카메라 시스템에서 CMOS 이미지 센서 (CMOS image sensor, CIS)는 낮은 가격, 작은 시스템 크기, 특히 적은 소비전력의 장점을 가지고 있어 널리 사용되고 있다. 그러나 CIS에서 획득된 영상의 색은 원래의 피사체와 서로 다르고, CIS를 사용한 서로 다른 디지털 카메라는 촬상 특성의 차이에 의해서 통일한 자극치에 대해서 서로 다른 특성을 가지게 된다 이러한 CIS의 촬상 특성에 의해서 표준 색에 대한 출력 특성이 서로 다르게 되고, 영상 출력 장치에서도 동일한 색 재현을 기대하기가 어렵기 때문에 CIS를 위한 컬러 보정이 요구된다. 기존의 컬러 보정 방법은 많은 시간에 걸친 여러 변의 반복적 실험 과정에 의한 경험적 방법을 통해서 구하고 있으며, 그 결과 또한 만족스럽지 못한 실정이다. 본 논문에서는 CIS를 이용한 디지털 카메라를 위한 효과적인 컬러 랩 방법을 새롭게 제안한다. 제안된 방법은 화이트 밸런스만을 조정한 카메라 자체의 전달 특성을 구하고, 이상적인 표준 카메라의 전달 특성에 가깝도록 컬러 보정 행렬을 통해 컬러 보정을 수행한다. 실험 결과, 카메라 전달 특성이 보정 전에 비해 표준 카메라의 전달 특성에 매우 가깝게 보정되었으며, 제안한 방법을 적용한 디지털 카메라의 출력 영상에 대한 화질도 상당히 향상된 것을 확인하였다.
In the digital camera system, CMOS image sensor (CIS) is widely used because its size and weight become smaller and power consumption becomes lower. However, there are common problems that colors of the recorded image do not match those of the photographed object and that spectral sensitivity of the...
In the digital camera system, CMOS image sensor (CIS) is widely used because its size and weight become smaller and power consumption becomes lower. However, there are common problems that colors of the recorded image do not match those of the photographed object and that spectral sensitivity of the CIS used in different cameras varies largely in each case. Therefore, color correction is needed because the spectral sensitivity of the CIS in each color is neither the same color component for most standard colors nor the appropriate color representation for any output devices. In the conventional method, a color correction is empirically obtained by a large number of iterative experiments, but the result is not so satisfied. In this paper, a new method to obtain the efficient color correction matrix for digital camera using CIS is proposed. We obtain camera transfer matrix under the certain white-balance point, and color correction matrix that makes the transfer characteristic of digital camera close to the transfer characteristic of ideal camera is obtained. The experimental results show that the transfer characteristic of digital camera by the proposed method is close to that of the ideal camera. In addition, the image quality of pictures of digital camera using the proposed method is dramatically improved.
In the digital camera system, CMOS image sensor (CIS) is widely used because its size and weight become smaller and power consumption becomes lower. However, there are common problems that colors of the recorded image do not match those of the photographed object and that spectral sensitivity of the CIS used in different cameras varies largely in each case. Therefore, color correction is needed because the spectral sensitivity of the CIS in each color is neither the same color component for most standard colors nor the appropriate color representation for any output devices. In the conventional method, a color correction is empirically obtained by a large number of iterative experiments, but the result is not so satisfied. In this paper, a new method to obtain the efficient color correction matrix for digital camera using CIS is proposed. We obtain camera transfer matrix under the certain white-balance point, and color correction matrix that makes the transfer characteristic of digital camera close to the transfer characteristic of ideal camera is obtained. The experimental results show that the transfer characteristic of digital camera by the proposed method is close to that of the ideal camera. In addition, the image quality of pictures of digital camera using the proposed method is dramatically improved.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 CIS를 사용한 휴대폰 탑재용 디지털카메라의 화질 개선을 위한 실용적인 컬러 보정 방법을 제안하였다.
본 논문에서는 카메라의 화질 향상을 위해서 보다 실용적이고 효과적인 컬러 보정 방법을 제안하였다. 이상적인 목표 표준 카메라에 있어서 원 피사체의 색 자극치 XYN로부터 카메라 출력 로의 변환 관계는
본 논문에서는 휴대폰 탑재용 디지털 카메라의 화질 향상을 위해서 보다 효율적인 컬러 보정 방법을 제안하였다. 제안한 방법에서는 먼저 화이트 밸런스만을 조정한 카메라 자체의 전달 특성을 구하고, 이상적인 목표 카메라의 출력 값에 가깝도록 컬러 보정을 수행하였다.
제안 방법
목표 표준 카메라는 디지털 카메라 출력 영상의목적을 고려하여 sRGB (ITU-R BT. 709, Standard Internet Color System)1"로 설정하였다. sRGB 색 공간 (color space)은 현재 공존하고 있는 많은 색 공간들을 하나의 단일 색 공간으로 표현하기 위해 제안된 인터넷 환경을 위한 표준 색 공간이다.
이와 대조적으로 그림 8(c)의 보정 후 카메라 촬상 특성은 이상적인 목표 카메라의 것에 매우 가깝게 보정된 것을 알 수 있다. 그리고 기존 상용으로 출시된 디지털 카메라 (Sony DSC-F505V 3.3 Mpixels과 Kodak DC-4800, 3.1 Mpixels)의 전달 특성을 본 논문에서 제안한 컬러 보정 후의 카메라 전달 특성과도 비교하였다. 각 상용디지털 카메라의 전달 특성은 그림 8(d)와 그림 8(e)에서와 같으며, 전달 특성은 앞서 본 논문에서 설명한 방법과 동일한 과정을 거쳐 구하였다.
따라서 본 논문에서는 이와 같이 기준 백색 의 XYZ 3 자극치와 최대 휘도 값에 대한 카메라 출력 RGB 값의 비가 1 : 1 : 1이 되도록 하는 화이트 보정을 포함한 카메라 변환 행렬을 새롭게 구하였다. 구하는 방법은식 (2)에서 NTSC 및 HD TV의 기준 백색으로 사용되고 있는 Des의 3 자극치 Xw, Yw, 및 勿 일 때, 카메라의 출력 값 R = Gc = 及 = 1 을 만족시키는 화이트 보정 행렬 Kw 를
여섯째, 상기 블랙 및 화이트 밸런스 과정을 3 ~ 4회 반복함으로써, 완전 블랙 (디지털 값 0)에 가까운 저 휘도의 어두운 영상의 신호가 완전 블랙 아래로 묻히지 않고, 최대 백색 (디지털 값 255)에 가까운 고휘도의 밝은 영상의 신호가 최대 백색으로 포화가 되지 않는 적절한 카메라 출력 값을 획득한다. 마지막으로 렌즈의 특성인 쉐이딩 (shading 현상에 의한 영향을 줄이기 위해서 모든 촬영 영상은 렌즈의 중앙 위치에서 촬영하였고, 중앙을 기준으로 쉐이딩 현상의 영향이 거의 없는 영역에 존재하는 픽셀의 평균 RGB 값을 최종실험에 필요한 값으로 선택하였다.
본 논문에서는 실험 카메라의 전달 특성인 변환 행렬은 시험색에 대한 카메라 출력 RGB 값과 측정된 자극치 XYZ 값 중 이용되는 시험색의 조합에 따라 다음 3 가지 형태로 구하였다. Mc_rgb 는 시험색 중 red, green, 및 blue의 3색을 이용하여 구한 변환 행렬이고, Mc_cmy 는 cyan, magenta, 및 yellow 의 3색을 이용하여 구한 변환 행렬을, Mc_gim 는 상기 6색을 모두 이용하여 일반화된 역행렬 방법으로 구한 변환 행렬을 나타낸다.
둘째, 화이트밸런스 기능을 자동으로 하여 회색 (neutral) 패치에 대한 카메라 출력 RGB 값의 비가 1 : 1 : 1 이 되도록 한 후 화이트 밸런스 기능을 고정시킨다. 셋째, 백색에 대한 카메라의 출력 전압 신호가 포화되지 않도록 비디오 신호의 ' 레벨을 80-90 IRE 정도가 되도록 노출 (exposure) 값을 고정한다. 넷째, 블랙 밸런스 (black balance)를 맞추기 위해 검정색에 대한 카메라 출력 RGB 값의 비가 동일하도록 바이어스 (bias) 값을 조절한다.
구하기 위한 구성도는 그림 3과 같다. 시험색은 표 1에 나타낸 맥베스 컬러 체커 (Macbeth Color Checker)의 12색을 사용하였고, 시험색을 뷰잉 박스 (viewing box, GretagMacbeth사의 The Judge U) 내의 중앙에 위치시키고 기준 광원인 D65 하에서 스펙트로 라디오-메터 (spectroradio-meter, Minolta사 CS-1000) 를 사용하여 색 좌표, 冷 와 휘도, 丫 를 측정하였다. 이때 촬영 조건 및 광원의 기하학성 (geometry)을 고려하여 CIE 규정 (CIE standard illumination and viewing geometries)의 45/0 을 유지하였고, 실험에 사용한 광원 및 계측기는 실험 수행 전 일정 시간 이상의 워밍업 과정을 통해 균일성 (uniformity)을 유지하였다 的
시험색은 표 1에 나타낸 맥베스 컬러 체커 (Macbeth Color Checker)의 12색을 사용하였고, 시험색을 뷰잉 박스 (viewing box, GretagMacbeth사의 The Judge U) 내의 중앙에 위치시키고 기준 광원인 D65 하에서 스펙트로 라디오-메터 (spectroradio-meter, Minolta사 CS-1000) 를 사용하여 색 좌표, 冷 와 휘도, 丫 를 측정하였다. 이때 촬영 조건 및 광원의 기하학성 (geometry)을 고려하여 CIE 규정 (CIE standard illumination and viewing geometries)의 45/0 을 유지하였고, 실험에 사용한 광원 및 계측기는 실험 수행 전 일정 시간 이상의 워밍업 과정을 통해 균일성 (uniformity)을 유지하였다 的
이를 위해서 기존의 카메라 전달 특성 조사 방법을 분석한 후, 적용 가능하며 효과적인 방법을 선택하여 본 논문에서 사용한 비표준 카메라의 전달 특성을 구하였다. 카메라 전달 특성을 조사하는 방법은 크게 분광 분포를 기초로 한 방법 (spectral sensitivity based method) 과 색 타겟을 기초로 한 방법 (color target based method)으로 분류된다'如이.
제안한 방법에서는 먼저 화이트 밸런스만을 조정한 카메라 자체의 전달 특성을 구하고, 이상적인 목표 카메라의 출력 값에 가깝도록 컬러 보정을 수행하였다. 제안된 방법을 적용시킨 실험 카메라 전달 특성은 컬러 보정 전에 비해 이상적인 목표 카메라의 전달 특성에 매우 가깝게 보정하는 실용적이고 성능이 우수한 방법임을 확인할 수 있었다.
조사 방법 중 최소 제곱 다항식 모델링을 이용하여, 특정 조건에서 기준 백색에 대한 카메라 출력 RGB 값이각각 1이 되도록 카메라의 화이트 밸런스 (white balance) 점을 조정하여 1차 선형 3×3 변환 행렬의 형태로 카메라의 전달 특성을 구하였다. 여기서 1차 선형 *3 변환 행렬의 형태로 실험 카메라의 전달 특성을 구한 이유는, 현재 CIS를 위한 컬러 보정은 색 공간 변환행렬의 계수 조정을 통해 이루어지고 있기 때문에 3><3 행렬로 구성되어 있는 색 공간 변환 행렬에 바로 적용하여 컬러 보정을 행할 수 있기 때문이다.
대상 데이터
2)인 비선형 회로를 이용하여 비디오 신호를 보정하며, 이를 감마 보정이라 부른다'41. 그리고 휴대폰에 탑재된 CIS는 단판용 컬러 필터 어레이 (color filter array, CFA)⑸를 이용하여 이미지를 획득한다. 현재 단판용으로 많이 사용하는
이론/모형
색 타겟을 기초로 한 방법에서는 임의의 시험색의 자극치 XYZ와 이를 촬영한 카메라 출력 RGB 값과의 변환행렬을 구한다. 이를 구하는 방법에는 내삽과 외삽을 이용한 3차원 LUT (lookup tables) 방법'図, 邸, 최소 제곱 다항식 모델링 (least squares polynomial modeling) 방법 邸, 그리고 신경망 방법国 등이 이용된다. 이 중 다항 회귀법 (polynomial regression)을 이용한 최소 제곱 다항식 모델링은 시험색의 XTN 3 자극치와 카메라 출력 RGB 값만으로 간단하게 변환 특성을 구할 수 있기 때문에 일반적으로 널리 사용된다®.
성능/효과
구하여 표 6에 나타내었고, 목표 표준 카메라의 출력 영상에 대해 컬러 보정 후 rgb 좌표계에서의 색 차는 평균 0.3494에서 0.1289로 63.1 % 감소되었고, HSV 좌표계에서의 색차는 평균 0.5136에서 0.2130으로 85.5 % 감소된 것을 확인하였다.
평가에서도 우수함을 보였다. 그리고 출력 영상에 대한 색도 좌표를 비교한 결과, 컬러 보정 후 목표표준 카메라의 출력 영상에 대해서 rgb 컬러 좌표계에서의 색차는 평균 0.3494에서 0.0.1289로 63.1 % 감소되었고, HSV 컬러 좌표계에서의 색차는 0.05136에서 0.2130으로 58.5 % 감소된 것을 확인하였다. 또한 비교대상으로 선정한 상용 디지털 카메라와의 비교에서도본 논문에서 제안한 컬러 보정은 테스트 카메라를 이상적인 목표 표준 카메라의 전달 특성에 아주 가깝게 보정하는 실용적이고 성능이 우수한 방법임을 확인할
121에 비해서도 작은 값을 가짐을 알 수 있다. 따라서 본 논문에서 제안한 컬러 보정은 테스트 카메라를 이상적인 목표 표준 카메라의 전달 특성에 아주 가깝게 보정할 수 있는 쉽고 실용적이고 성능 또한 우수한 방법임을 확인할 수 있었다.
5 % 감소된 것을 확인하였다. 또한 비교대상으로 선정한 상용 디지털 카메라와의 비교에서도본 논문에서 제안한 컬러 보정은 테스트 카메라를 이상적인 목표 표준 카메라의 전달 특성에 아주 가깝게 보정하는 실용적이고 성능이 우수한 방법임을 확인할 수 있었다. 마지막으로 제안한 방법은 여러 번의 실험적반복 과정을 통해서 얻어야 하는 기존의 컬러 보정 방법에 비해 간편하고 빠르게 구할 수 있고, 성능 면에서도 우수한 장점을 가지는 것으로 확인하였다.
" data-ocr-fix="">수 있었다. 마지막으로 제안한 방법은 여러 번의 실험적반복 과정을 통해서 얻어야 하는 기존의 컬러 보정 방법에 비해 간편하고 빠르게 구할 수 있고, 성능 면에서도 우수한 장점을 가지는 것으로 확인하였다.
여기서 제안한 컬러 보정을 한 카메라의 전달 특성과 이상적인 목표 표준 카메라와의 차이가 3.272로 보정 전 카메라의 17.096에 비해서 월등한 향상이 있었고, 또한 비교 대상으로 선정한 상용 디지털 카메라의 4.561 과 8.121에 비해서도 작은 값을 가짐을 알 수 있다. 따라서 본 논문에서 제안한 컬러 보정은 테스트 카메라를 이상적인 목표 표준 카메라의 전달 특성에 아주 가깝게 보정할 수 있는 쉽고 실용적이고 성능 또한 우수한 방법임을 확인할 수 있었다.
그림 7은 HSV 컬러 좌표계에서 시험색에 대한 컬러 보정 후의 색상과 채도의 향상정도를 나타내었다. 이 두 그림에서 컬러 보정 전보다보정 후의 카메라의 화상이 이상적인 목표 표준 카메라의 것에 훨씬 더 가깝게 근접하였음을 확인할 수 있다. 다음으로 rgb 및 HSV 컬러 좌표계에서 정 량적인 향상 정도를 확인하기 위해서 이상적인 목표 카메라의 색도 좌표에 대한 보정 전후의 색차를
앞에서 구한 표 2의 카메라 전달 특성에 대한 제안한 컬러 보정 행렬은 표 4에서와 같다. 이 표에서 화이트 보상 전의 카메라 변환행렬을 통해서 얻어진 컬러 보정 행렬의 각 행의 합은 1이 되지 않지만, 화이트 보상을 한 후의 카메라 변환행렬을 통해서 얻어진 컬러 보정 행렬의 각 행의 합이 1이 되어 컬러 보정 행렬이 적절하게 구해진 것을 확인할 수 있다.
제안한 방법에서는 먼저 화이트 밸런스만을 조정한 카메라 자체의 전달 특성을 구하고, 이상적인 목표 카메라의 출력 값에 가깝도록 컬러 보정을 수행하였다. 제안된 방법을 적용시킨 실험 카메라 전달 특성은 컬러 보정 전에 비해 이상적인 목표 카메라의 전달 특성에 매우 가깝게 보정하는 실용적이고 성능이 우수한 방법임을 확인할 수 있었다.
제안된 방법을 테스트 카메라에 적용시킨 결과, 카메라 전달 특성이 보정 전에 비해 표준 카메라의 전달 특성에 매우 가깝게 보정되었으며, 출력 영상에 대한 주관적인 평가에서도 우수함을 보였다. 그리고 출력 영상에 대한 색도 좌표를 비교한 결과, 컬러 보정 후 목표표준 카메라의 출력 영상에 대해서 rgb 컬러 좌표계에서의 색차는 평균 0.
참고문헌 (21)
J. C. Russ, The Image Processing Handbook, 4th Edition, CRC Press, pp. 8-18, 2002
B. Grob and C. E. Herndon, Basic Television and Video Systems, 6th Edition, Mc-Graw Hill, pp.70-71, 1999
Yun Ho lung, Jae Seok Kim, Bong Sao Hur and Moon Gi Kang, 'Design of real-time enhancement preprocessor for CMOS image sensor,' IEEE Trans. on Consumer Electronics, Vol.46, No 1,pp.68-75, Feb. 2000
C. A. Poynton, 'Gamma and its disguises: The nonlinear mappings of intensity in perception, CRTs, film and video,' J. of SMPTE, pp. 1099-1108, Dec. 1993
T. Sakamoto, e. Nakanishi, and T. Hase, 'Software pixel interpolation for digital still cameras suitable for a 32-bit MCU,' IEEE Trans. on Consumer Electronics, vol. 44, no. 4, pp. 1342-1352, Nov. 1998
K. Jack, Video Demystified, 4th Edition, Elsevier, pp. 17-23, 2005
G. Hong, M. R. Luo, and P. A. Rhodes, 'A study of digital camera colorimetric characterization based on polynomial modeling,' J. of Color Res. and Appl., vol. 26, no. 1, pp. 76-84, Feb. 2001
G. Wyszecki and W. S. Stiles, Color Science, John Wiley & Sons, New York, pp. 117-169, 1982
송규익，색채 디스플레이 공학 도서출판 화성，대구，2001
P.C. Hung, 'Colorimetric calibration in electronic imaging devices using a look-up tables model and interpolations,' J. of Electronic Imaging, vol. 2, pp. 53-61, Jan. 1993
P.C. Hung, 'Colorimetric calibration for scanners and media,' Proc. SPIE, vol. 1448, pp. 164-174, Feb. 1991
H. R. Rang, 'Colour scanner calibration,' J. of Imaging Science and Technology, vol. 36, pp. 162-170, Mar./Apr. 1992
H.R. Rang and P.G. Anderson, 'Neural network application to the colour scanner and printer calibration,' J. of Electronic Imaging, vol. 1, pp. 125-134, Apr. 1992
R. W. G. Hunt, Measuring Colour, 3rd Edition, Ellis Horwood, London, pp. 89-125, 1997
ITU-R, Parameter values for the HDTV standards for production and international programme exchange, ITU-R BT.709-3, 1998
S. Susstrunk, R. Buckley, and S.Swen, 'Standard RGB color spaces,' Proc IS&T/SID 7th Color Imaging Conference, pp.127-134, 1999
L. J D'Luna and K A. Parulski, 'A systems approach to custom VLSI for a digital color imaging system,' IEEE J. of Solid-State Circuits, vol. 26,no. 5, pp. 727-737,May 1991
※ AI-Helper는 부적절한 답변을 할 수 있습니다.