[국내논문]색 재현 개선을 위한 CIELAB 색 공간 기반의 향상된 Multi -scale Retinex Enhanced Integrated Multi-scale Retinex based on CIELAB Color Space for Improving Color Reproduction원문보기
본 논문에서는 디지털 영상의 지역적 계조 재현과 함께 입력 영상의 색상을 유지하는 영상 향상 기법을 제안한다. 기존의 지역적 계조 재현 방법인 통합된 다중 크기의 Retinex는 영상이 가지는 어두운 영역의 가시성 향상을 통한 향상된 계조 재현 결과를 가져왔다. 그러나 IMSR을 포함한 대부분의 지역적 계조 재현 방법은 RGB 색 공간에서 수행되어 인간시각시스템에 의해 인지되는 색상의 왜곡이 발생하게 된다. 본 논문에서는 이러한 색상의 왜곡을 줄이는 계조 재현을 위하여 장치 독립적인 CIELAB 색 공간에서 색상를 유지하고 높은 대비와 자연스러운 영상을 얻기 위한 계조 재현 및 채도 보상 기법을 제안한다. 제안한 방법은 먼저 CIELAB 색 공간에서 $L^*$값에 대해 IMSR 정규화 및 단순한 사상 함수를 수행하여 가시성을 향상 시킨다. 또한, sRGB색역 경계값을 이용하여 LC 평면에서 밝기 변화에 대한 선형적인 채도 보상을 수행하였다. 그 결과 입력 영상의 계조 재현을 통해 가시성이 향상되었고, 기존의 IMSR과 비교하여 색상의 왜곡이 줄었으며, 주관적인 평가를 수행하여 비교 평가 하였다.
본 논문에서는 디지털 영상의 지역적 계조 재현과 함께 입력 영상의 색상을 유지하는 영상 향상 기법을 제안한다. 기존의 지역적 계조 재현 방법인 통합된 다중 크기의 Retinex는 영상이 가지는 어두운 영역의 가시성 향상을 통한 향상된 계조 재현 결과를 가져왔다. 그러나 IMSR을 포함한 대부분의 지역적 계조 재현 방법은 RGB 색 공간에서 수행되어 인간시각시스템에 의해 인지되는 색상의 왜곡이 발생하게 된다. 본 논문에서는 이러한 색상의 왜곡을 줄이는 계조 재현을 위하여 장치 독립적인 CIELAB 색 공간에서 색상를 유지하고 높은 대비와 자연스러운 영상을 얻기 위한 계조 재현 및 채도 보상 기법을 제안한다. 제안한 방법은 먼저 CIELAB 색 공간에서 $L^*$값에 대해 IMSR 정규화 및 단순한 사상 함수를 수행하여 가시성을 향상 시킨다. 또한, sRGB 색역 경계값을 이용하여 LC 평면에서 밝기 변화에 대한 선형적인 채도 보상을 수행하였다. 그 결과 입력 영상의 계조 재현을 통해 가시성이 향상되었고, 기존의 IMSR과 비교하여 색상의 왜곡이 줄었으며, 주관적인 평가를 수행하여 비교 평가 하였다.
In this paper, we propose the digital image enhancement method including local tone reproduction and preservation of the hue. In recent studies, an integrated multi-scale retinex (IMSR) has produced great naturalness in the resulting images through enhancement of visibility in dark area in input ima...
In this paper, we propose the digital image enhancement method including local tone reproduction and preservation of the hue. In recent studies, an integrated multi-scale retinex (IMSR) has produced great naturalness in the resulting images through enhancement of visibility in dark area in input images. However, most methods, including IMSR, work in RGB color spaces. As such, this produces hue distortion from the perspective of the human visual system, that is, hue distortion in CIELAB color space. Accordingly, this paper proposes an tone reproduction and enhancement of saturation method in a device-independent color space, CIELAB, to preserve the hue and obtain a high contrast and naturalness. First, to achieve the desired objectives, the IMSR is then applied to only the $L^*$ values in CIELAB color space, normalization, and simple mapping function, thereby preserving the balance of the color components and enhancement of visibility. Then, saturation adjustment is performed by applying the ratio of the chroma variation at the sRGB gamut boundary according to the corrected luminance. In experiments, the proposed method is shown to improve the visibility in dark shadows and bright regions in the resulting images and reduce any color distortion then preference test are performed.
In this paper, we propose the digital image enhancement method including local tone reproduction and preservation of the hue. In recent studies, an integrated multi-scale retinex (IMSR) has produced great naturalness in the resulting images through enhancement of visibility in dark area in input images. However, most methods, including IMSR, work in RGB color spaces. As such, this produces hue distortion from the perspective of the human visual system, that is, hue distortion in CIELAB color space. Accordingly, this paper proposes an tone reproduction and enhancement of saturation method in a device-independent color space, CIELAB, to preserve the hue and obtain a high contrast and naturalness. First, to achieve the desired objectives, the IMSR is then applied to only the $L^*$ values in CIELAB color space, normalization, and simple mapping function, thereby preserving the balance of the color components and enhancement of visibility. Then, saturation adjustment is performed by applying the ratio of the chroma variation at the sRGB gamut boundary according to the corrected luminance. In experiments, the proposed method is shown to improve the visibility in dark shadows and bright regions in the resulting images and reduce any color distortion then preference test are performed.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 CIELAB 색 공간에서 입력 영상의 색상을 유지하는 계조 재현 방법을 제안한다. 본 논문의주된 목적은 인간시각시스템이 인지하는 색상을 유지하며 영상의 계조를 향상 시키는 것이며 이를 위해 장치독립적인 색 공간인 CIELAB 색 공간을 이용하고 밝기의 향상을 위해 IMSR 방법을 밝기 채널인 에 적용하여 영상의 가시성 향상을 가져왔다.
본 논문에서는 인간시각이 인지하는 색상을 유지하기 위해 장치 독립적 색 공간인 CIELAB 기반 하여 영상의 계조를 향상시키는 방법을 제안한다.
본 논문은 인간시각시스템이 인지하는 색상을 유지하며 영상의 계조를 향상하는 방법을 제안한다. 인간시각시스템이 인지하는 색상을 고려하기위해 장치 독립적인 CELAB 색 공간으로 영상을 변환하고 밝기의 향상과 채도 보정의 두 단계를 거치며, 계산된 영상을 sRGB로 역 변환하여 결과 영상을 얻는다.
유지하는 계조 재현 방법을 제안한다. 본 논문의주된 목적은 인간시각시스템이 인지하는 색상을 유지하며 영상의 계조를 향상 시키는 것이며 이를 위해 장치독립적인 색 공간인 CIELAB 색 공간을 이용하고 밝기의 향상을 위해 IMSR 방법을 밝기 채널인 에 적용하여 영상의 가시성 향상을 가져왔다. 이때 sRGB 색역을 벗어난 색상값을 사상하기 위해 누적분포함수에 기반한 정규화 과정 및 sRGB 색역의 최대 밝기값이 적용되었다.
그러나 입력 영상의 색상을 유지하기 위해 a* , b 값이 변하지 않아 색상이 유지되는 반면채도 또한 유지된다. 이러한 채도의 저하를 보정하기위하여 영상의 밝기 향상에 따른 선형적인 채도 보상을수행한다.
제안 방법
Z-score""를 구하기 위하여 참가자들은 화면에 출력된 하나의 입력 영상과 두 개의 결과 영상 쌍을 비교하여 선호 하는 영상에 점수를 주었다’ 먼저, 입력영상과결과 영상들 사이의 색상이 적게 변한 것으로 보이는것을 선택하는 것과 결과 영상들 중 가장 자연스럽게보이는 영상을 선택하도록 하였다. 그림 6은 선호도 조사를 통한 Z-score를 계산한 결과이다.
CELAB 색 공간에서 IMSR을 수행하여 영상의 가시성을 향상시켰다. 그러나 입력 영상의 색상을 유지하기 위해 a* , b 값이 변하지 않아 색상이 유지되는 반면채도 또한 유지된다.
(a)영상의 결과에서 MSR, IMSR, 제안한 방법은어두운 영역의 가시성이 향상되는 결과를 보여준다. 결과 영상들의 객관적인 평가로써 CIELAB 색 공간에서의 색상의 차이를 계산하였다. 표1은 각각의 실험영상과 MSR, IMSR 그리고 제안한 방법을 통해 얻은영상들 사이의 색상 차이를 나타낸다.
또한, 휘도 영상에 대하여 다중 크기의 C/S 모델을 적용해 다중의 주변영상을 획득하고, 이 주변영상들을 RGB 각 채널에 나누어 주며, 각 채널에 대한 가중치 합으로써 가시성이 향상된 영상을 획득한다. 최근제안된 IMSRe Kotera의 방법에서 RGB 채널 각각에다중 크기의 주변영상을 나누어 가중치 합을 수행한 것과 달리 먼저 다중 크기의 주변영상들을 가중치 합하고통합된 주변영상을 획득한다図 획득한 하나의 주변영상은 RGB 각 채널에 나누어 계조가 향상된 영상을 획득한다.
며, 선호도 조사 및 z-score® 통해 주관적인 평가를수행하였다. 그림 5는 입력 영상 및 결과 영상을 나타낸다.
색역의 경계값을 구하고, 입력 a*, 3* 값이 가지는 sRGB 색역 경계와의 비율이 채도가 향상된 후에도 입력 채도가 가지는 비율을 유지 할 수 있도록 하여 sRGB 색역을 벗어나지 못하도록 한다. 수식 (14)에서 CLaJe’y, HQe 입력 영상의 채도값 (%侦用, HQ와밝기 향상 전, 후의 sRGB 색역 경계 GB(L*, * Hn), GBf, %舟 비율의 곱으로 선형적인 채도 향상을 수행한다.
실험을 위해 sRGB 프로파일을 지원하는 캐논 1OD 디지털 카메라를 사용하며, 장면의 밝은 부분에 노출을맞추어 획득된 영상에서 밝은 영역이 포화되지 않도록하였다..
이러한 Retinex 기반의 방법들은컬러 영상의 색상을 개선하고 일반적인 카메라로 획득한 영상의 계조를 인간시각이 인지하는 계조와 유사하도록 재현한다. 이러한 Retinex 기반의 방법으로써 Jobsone SSR(single-scale Retinex) 의 가중치 합으로구성된 MSR(multi-scale Retinex)을 제안했다. SSRe각각의 화소에 대하여 가우시안 필터를 적용하여 인간시각의 비선형적인 적응을 모델링한 C/S 모델(center/ surround model)을 적용하여 영상에 포함된 광원의 효과를 제거함으로써 색항상성 (color constancy) 의 유지와함께 영상의 계조를 향상시킨다"~5〕.
인간시각시스템이 인지하는 색상을 고려하기위해 장치 독립적인 CELAB 색 공간으로 영상을 변환하고 밝기의 향상과 채도 보정의 두 단계를 거치며, 계산된 영상을 sRGB로 역 변환하여 결과 영상을 얻는다.
제안한 방법은 장치 독립적인 색 공간 CIELAB에서밝기, 색상, 채도을 독립적으로 다룬다 이를 위해 먼저 sRGB 영상을 CIEXYZ값으로 변환하고 이를 CIELAB 값으로 변환한다'顶 이를 영상의 색상을 유지하고 밝기만을 향상시키기 위해 CIELAB값에서 오직 L* 채널에대하여 IMSR을 수행한다.
또한, 휘도 영상에 대하여 다중 크기의 C/S 모델을 적용해 다중의 주변영상을 획득하고, 이 주변영상들을 RGB 각 채널에 나누어 주며, 각 채널에 대한 가중치 합으로써 가시성이 향상된 영상을 획득한다. 최근제안된 IMSRe Kotera의 방법에서 RGB 채널 각각에다중 크기의 주변영상을 나누어 가중치 합을 수행한 것과 달리 먼저 다중 크기의 주변영상들을 가중치 합하고통합된 주변영상을 획득한다図 획득한 하나의 주변영상은 RGB 각 채널에 나누어 계조가 향상된 영상을 획득한다. 다음 수식은 IMSR의 처리 과정을 설명한다.
대상 데이터
자연 영상을 이용한 실험에서 영상의 밝고 어두운 부분의 가시성이 향상되었다. 또한, 기존의 MSR, IMSR과 비교하여 입력 영상에 대한 가장 작은 색차를 보였고, 주관적인 평가를 통해 다수의참가자가 제안한 방법을 가장 자연스러운 영상으로 선택했다.
표1에서 보듯이 MSR의 경우 가장 많은 색상의 차이를 보였고, 제안한방법은 IMSR과 비교하여 더 작은 색상 차이를 보인다. 주관적인 선호도 평가를 위해 20명의 관찰자들이 실험에 동원되었다. 참가자들은 여자 4명, 남자 16명으로 24—34의 연령대로 구성되며, 보통의 시력을 가졌다.
데이터처리
그림 5. MSR, IMSR과 제안한 방법의 결과 영상 비교. 첫 번째 행: 입력영상, 두 번째 행: MSR, 세 번째 행: IMSR, 네 번째 행: 제안한 방법
그림 6. Z-score 결과 비교. (a) 첫 번째 주관적 평가
이론/모형
IMSR에서 사용한 계수 a와 sG%)는 "Trial and Error" 방법을 적용하여 획득했다";].
성능/효과
그림 5는 입력 영상 및 결과 영상을 나타낸다. (a)영상의 결과에서 MSR, IMSR, 제안한 방법은어두운 영역의 가시성이 향상되는 결과를 보여준다. 결과 영상들의 객관적인 평가로써 CIELAB 색 공간에서의 색상의 차이를 계산하였다.
IMSR의 결과 영상이며 그림 1(a)의 입력 영상에 대해 저녁노을이 지는 풍경의 어두운 부분의 가시성은 향상되었다. 또한 밝은 영역에서의 가시성도 입력영상과 유사하게 표현 되었다.
그러나 IMSR과 제안한 방법은 서로 비슷한결과를 보였다. 두 번째 질문에 대하여, 그림 6(b)에서참가자들은 IMSR과 제안한 방법을 주로 선택 했으며, 영상의 전반적인 자연스러움에 대해 제안한 방법이 조금 더 나은 선호도를 보였다. 이는 색상 및 밝기뿐만 아니라 대비 및 채도 등의 영향으로 제안한 방법을 선호하는 것으로 보인다.
이때 sRGB 색역을 벗어난 색상값을 사상하기 위해 누적분포함수에 기반한 정규화 과정 및 sRGB 색역의 최대 밝기값이 적용되었다. 또한 유지된 색상으로 인한 채도를 보정하기위해 향상된 밝기에 대한 sRGB 색역 경계값을 이용한선형적인 채도 보상을 수행하여 자연스러운 채도 향상의 결과를 가져왔다. 자연 영상을 이용한 실험에서 영상의 밝고 어두운 부분의 가시성이 향상되었다.
SSRe각각의 화소에 대하여 가우시안 필터를 적용하여 인간시각의 비선형적인 적응을 모델링한 C/S 모델(center/ surround model)을 적용하여 영상에 포함된 광원의 효과를 제거함으로써 색항상성 (color constancy) 의 유지와함께 영상의 계조를 향상시킨다"~5〕. 또한, MSRe 서로다른 크기의 가우시안 필터가 적용된 SSR을 이용하여영상의 가시성 향상과 색항상성의 유지뿐만 아니라, SSR에서 발생하는 후광 효과를 다중의 주변영상들의가중치 합으로써 억제하였다.
또한 유지된 색상으로 인한 채도를 보정하기위해 향상된 밝기에 대한 sRGB 색역 경계값을 이용한선형적인 채도 보상을 수행하여 자연스러운 채도 향상의 결과를 가져왔다. 자연 영상을 이용한 실험에서 영상의 밝고 어두운 부분의 가시성이 향상되었다. 또한, 기존의 MSR, IMSR과 비교하여 입력 영상에 대한 가장 작은 색차를 보였고, 주관적인 평가를 통해 다수의참가자가 제안한 방법을 가장 자연스러운 영상으로 선택했다.
표1은 각각의 실험영상과 MSR, IMSR 그리고 제안한 방법을 통해 얻은영상들 사이의 색상 차이를 나타낸다. 표1에서 보듯이 MSR의 경우 가장 많은 색상의 차이를 보였고, 제안한방법은 IMSR과 비교하여 더 작은 색상 차이를 보인다. 주관적인 선호도 평가를 위해 20명의 관찰자들이 실험에 동원되었다.
참고문헌 (12)
M. Y. Lee, C. H. Son, J. M. Kim, C. H. Lee and Y. H. Ha, "Illumination-Level Adaptive Color Reproduction Method with Lightness Adaptation and Flare Compensation for Mobile Display," Journal of Imaging Science and Technology. Vol. 51, No. 1, pp. 44-52, 2007.
B. Wandell, P. Catrysse, J. DiCarlo, D. Yang and A. E. Gamal, "Multiple Capture Single Image with a CMOS Sensor," Chiba Conference on Multspectral Imaging, pp. 11-17, 1999.
E. H. Land, "An alternative technique for the computation of the designator in the Retinex theory of color vision," Proc. Natl. Acad. Sci. U.S.A., vol. 83, 3076, 1986.
Z. Rahman, "Properties of a center/surround Retinex: Part 1: Signal processing design," NASA Contractor Report 198194, pp. 13, 1995.
D. J. Jobson and G. A. Woodell, "Properties of a center/surround Retinex: Part 2: Surround design," NASA Technical Memorandum 110188, pp. 15, 1995.
Z. Rahman, D. J. Jobson, and G. A. Woodell, M"Multiscale Retinex for color rendition and dynamic range compression," Proc. SPIE 2847, 183, 1996.
장인수, 박기현, 하영호, "다중 Retinex 알고리즘에서 주색도 추정을 이용한 색상 왜곡 보정," 전자공학회논문지, 제46권 SP편, 제3호, 52-59쪽, 2009년 5월
H. Kotera and M. Fujita, "Appearance improvement of color image by adaptive scale-gain Retinex model," Proc. IS&T/SID 10th CIC, pp. 166-171, 2002.
L. Wang, T. Horiuchi, and H. Kotera, "High Dynamic Range Image Compression by Fast Integrated Surround Retinex Model," J. Image Science and Technology, vol. 51, no. 1, 2007.
Marc Ebner, "Color Constancy," Published in Association with the Society for IS&T, pp. 89-93, 2007.
J. Morovic, "Color Gamut Mapping," Published in Association with the Society for IS&T, 2008.
Fabienne Duay, Lvar Farup, Jon Y. Hardeberg, "Perceptual Evaluation of Color Gamut Mapping Algorithms," Color Research and Application, vol. 33, no. 6, pp. 470-476, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.