광원 자체의 밝기가 낮거나 그림자 등의 이유로 어두운 영역을 포함하는 이미지는 Retinex 기반의 영상화질 개선기법을 통해 주관적 화질을 높일 수 있다. Retinex 이론은 인간의 시각 시스템이 장면을 인식할 때 특정 위치에서의 장면의 밝기를 인식하는 것이 아니라 주변과의 상대적인 밝기를 인식하는 특징을 적용한 방법으로 크게 SSR, MSR, MSRCR의 방법으로 나눌 수 있다. 제안하는 방법은 컬러복원단계를 포함하고 있는 MSRCR에 기반한 방법으로 크게 3단계로 구성되어 있다. 첫 번째 단계에서는 기존의 MSRCR 방법을 적용하고 두 번째 단계에서 MSRCR 출력의 동적 영역을 이미지의 히스토그램분포에 따라 조정한다. 마지막 단계에서는 인간의 시각특성을 고려한 로그변환함수를 이용하여 Retinex 출력 값을 디스플레이 동적영역으로 변환한다. 실험결과 제안하는 알고리즘은 전체적으로 어두운 이미지뿐만 아니라 밝은 영역과 어두운 영역을 모두 포함하는 이미지에서도 주관적 화질을 효과적으로 증가시키는 것을 볼 수 있다. 특히 낮은 밝기를 갖는 이미지의 경우 제안한 알고리즘은 기존의 방법들 보다 높은 성능향상을 보였다.
광원 자체의 밝기가 낮거나 그림자 등의 이유로 어두운 영역을 포함하는 이미지는 Retinex 기반의 영상화질 개선기법을 통해 주관적 화질을 높일 수 있다. Retinex 이론은 인간의 시각 시스템이 장면을 인식할 때 특정 위치에서의 장면의 밝기를 인식하는 것이 아니라 주변과의 상대적인 밝기를 인식하는 특징을 적용한 방법으로 크게 SSR, MSR, MSRCR의 방법으로 나눌 수 있다. 제안하는 방법은 컬러복원단계를 포함하고 있는 MSRCR에 기반한 방법으로 크게 3단계로 구성되어 있다. 첫 번째 단계에서는 기존의 MSRCR 방법을 적용하고 두 번째 단계에서 MSRCR 출력의 동적 영역을 이미지의 히스토그램분포에 따라 조정한다. 마지막 단계에서는 인간의 시각특성을 고려한 로그변환함수를 이용하여 Retinex 출력 값을 디스플레이 동적영역으로 변환한다. 실험결과 제안하는 알고리즘은 전체적으로 어두운 이미지뿐만 아니라 밝은 영역과 어두운 영역을 모두 포함하는 이미지에서도 주관적 화질을 효과적으로 증가시키는 것을 볼 수 있다. 특히 낮은 밝기를 갖는 이미지의 경우 제안한 알고리즘은 기존의 방법들 보다 높은 성능향상을 보였다.
Images with lower illumination from the light source or with dark regions due to shadows, etc., can improve subjective image quality by using retinex-based image enhancement schemes. The retinex theory is a method that recognizes the relative lightness of a scene, rather than recognizing the brightn...
Images with lower illumination from the light source or with dark regions due to shadows, etc., can improve subjective image quality by using retinex-based image enhancement schemes. The retinex theory is a method that recognizes the relative lightness of a scene, rather than recognizing the brightness of the scene. The way the human visual system recognizes a scene in a specific position can be in one of several methods: single-scale retinex, multi-scale retinex, and multi-scale retinex with color restoration (MSRCR). The proposed method is based on the MSRCR method, which includes a color restoration step, which consists of three phases. In the first phase, the existing MSRCR method is applied. In the second phase, the dynamic range of the MSRCR output is adjusted according to its histogram. In the last phase, the proposed method transforms the retinex output value into the display dynamic range using a logarithm transformation function considering human visual system characteristics. Experimental results show that the proposed algorithm effectively increases the subjective image quality, not only in dark images but also in images including both bright and dark areas. Especially in a low lightness image, the proposed algorithm showed higher performance improvement than the conventional approaches.
Images with lower illumination from the light source or with dark regions due to shadows, etc., can improve subjective image quality by using retinex-based image enhancement schemes. The retinex theory is a method that recognizes the relative lightness of a scene, rather than recognizing the brightness of the scene. The way the human visual system recognizes a scene in a specific position can be in one of several methods: single-scale retinex, multi-scale retinex, and multi-scale retinex with color restoration (MSRCR). The proposed method is based on the MSRCR method, which includes a color restoration step, which consists of three phases. In the first phase, the existing MSRCR method is applied. In the second phase, the dynamic range of the MSRCR output is adjusted according to its histogram. In the last phase, the proposed method transforms the retinex output value into the display dynamic range using a logarithm transformation function considering human visual system characteristics. Experimental results show that the proposed algorithm effectively increases the subjective image quality, not only in dark images but also in images including both bright and dark areas. Especially in a low lightness image, the proposed algorithm showed higher performance improvement than the conventional approaches.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
제안 방법
논문의 구성은 2장에서 대표적인 Retinex 기반의 적용 방법인 SSR, MSR, MSRCR에 대해 기술하고 이를 통해 계산된 출력 값에 대한 이미지 변환과정에 대해서 기술한다. 3장에서는 제안한 Retinex 기반의 이미지 화질 개선 기법을 블록다이어그램과 함께 단계별로 설명하고 4장에서 제안한 알고리즘의 평가를 수행하며 마지막 절에서 결론을 맺는다.
먼저 첫 번째 단계에서는 제안한 방법은 입력이미지를 각 채널(R, G, B)별로 컬러보정이 포함된 MSRCR의 Retinex 출력 값을 생성한다. 이 과정은 기존의 MSRCR과 동일한 절차로 수행되며, 속도향상을 위해 식(1)과 식(7)에 포함된 컨볼루션 과정은 다음식과 같이 고속 퓨리에 변환을 사용하여 주파수 도메인에서 적용한 후 다시 공간영역으로 역변환을 수행한다.
본 논문에서 제안하는 Retinex 기반의 이미지화질 개선을 위한 방법은 컬러 보정단계를 가지는 MSRCR 기반의 방법으로 Retinex 출력결과의 특징을 고려하여MSRCR 출력값이 가지는 동적영역에 대한 최대값과 최소값을 한정하고 Weber-Fechner 이론에 기반한 로그변환을 수행함으로써 이미지의 화질을 개선한다.
기존의 대표적 영상화질 개선방법인 히스토그램 확장 및 히스토그램 균등화 기법은 그림자 영역 및 반사영역 의 구분 없이 적용되는 반면 Retinex 기반의 방법은 수학적으로 그림자영역의 대비비를 증가시키는 효과를 볼 수 있다. 본 논문에서는 기존의 Retinex 기반 방법 중 컬러 복원 단계를 포함하고 있는 MSRCR 방법에 기반하며 추가적으로 Retinex 출력의 동적영역에 대한 이미지 히스토그램 종속적으로 동적영역을 설정하고 인간의 시각인지 특성을 반영한 로그변환함수를 적용하여 디스플레이 동적영역으로 변환하여 최종 결과 이미지를 산출함으로써 이미지의 화질을 개선하였다. 실험결과 기존의 Retinex 방법들과 비교하여 유사하거나 높은 주관적 화질을 보이는 것을 알 수 있었으며 특히 광원 자체가 낮은 컬러이미지에서 보다 높은 성능향상을 보이는 것으로 나타났다.
제안하는 Retinex 기반의 이미지 화질개선 기법은 기존의 여러 Retinex 기법 중 MSRCR에 기반하며 입력이미지는 그림 2와 같이 3단계를 거처 개선된 출력이미지를 생성한다.
데이터처리
제안하는 방법은 사용자 변수(그림 3의 trunctionregion, 식 (14)의 param 값)에 따른 이미지의 성능을 비교하기 위해 4가지(truncation region=1%, 3%, param=0.3,0.5)의 서로 다른 사용자 변수값에 따른 실험 결과를 비교하였다.
제안하는 알고리즘의 타당성 검증을 위해서 Retinex성능테스트에 주로 사용되는 6개의 이미지에 대해서 기존의 방법(SSR, MSR, MSRCR)과 다양한 입력변수의 조합에 따른 제안하는 방법의 결과를 비교하였다. 또한 기존의 방법을 구현함에 있어 SSR의 경우 가우시안 마스크의 분산은 σ= 80의 값을 사용하였다.
성능/효과
본 논문에서는 기존의 Retinex 기반 방법 중 컬러 복원 단계를 포함하고 있는 MSRCR 방법에 기반하며 추가적으로 Retinex 출력의 동적영역에 대한 이미지 히스토그램 종속적으로 동적영역을 설정하고 인간의 시각인지 특성을 반영한 로그변환함수를 적용하여 디스플레이 동적영역으로 변환하여 최종 결과 이미지를 산출함으로써 이미지의 화질을 개선하였다. 실험결과 기존의 Retinex 방법들과 비교하여 유사하거나 높은 주관적 화질을 보이는 것을 알 수 있었으며 특히 광원 자체가 낮은 컬러이미지에서 보다 높은 성능향상을 보이는 것으로 나타났다.
후속연구
향후에는 이미지 화소분포의 통계적 특성 등에 따라 제안한 논문에서 적용한 최적의 파라미터 선정기법에 대한 연구와 다양한 컬러공간에서의 Retinex 기반 이미지 화질 개선연구를 진행할 계획이다.
질의응답
핵심어
질문
논문에서 추출한 답변
히스토그램 확장 기법이란 무엇인가?
이러한 문제점들을 개선하기 위한 대표적인 방법으로 히스토그램 확장(histogram stretching) 기법과 히스토그램 균등화(histogram equalization) 기법을 들 수 있다. 히스토그램 확장 기법은 입력이미지가 가지는 좁은 동적영역을 디스플레이가 가질 수 있는 전체 동적 영역으로 선형변환(linear transformation)하는 기법이다. 반면 히스토그램 균등화 기법은 선형변환 대신 입력영상의 누적확률밀도함수(cumulative density function)를 변환함수로 사용하여 입력이미지를 변환하는 방법으로 입력이미지의 화소수가 무한한 경우 출력영상은 이론상 모든 디스플레이 영역에서 균등한 분포를 가지게 된다.
MSRCR은 기존의 MSR의 어떤 문제점을 해결하기 위한 방법인가?
Retinex 이론은 색성분의 다양성이 충분한 경우 빨간색(R), 초록색(G), 파란색(B) 요소성분의 평균값은 결국 평균적으로 회색조(gray) 값의 평균값으로 나타난다는 gray-world 가정 하에 적용될 수 있다[1]. 하지만 특정컬러성분이 주를 이루는 영상의 경우 이러한 gray-world 가정은 성립하지 않으며 실제 장면에서 특정 색 성분이주(dominant)를 이루는 경우에도 Retinex 이론의 적용결과는 회색조 영상이 나타날 수 있다. 이러한 문제점을 해결하기 위한 방법으로 기존의 MSR의 결과에 색성분 복원 단계를 추가한 방법이 MSRCR이다.
실제 카메라의 센서로부터 취득된 출력 값을 그대로 이미지화 하는 경우 이미지의 가독성이 많이 떨어지는 이유는 무엇인가?
인간의 시각 특성은 실제 빛의 밝기 보다는 주변 밝기와의 비율 즉 대비비에 민감한 특징을 가지기 때문에 실제 카메라의 센서로부터 취득된 출력 값을 그대로 이미지화 하는 경우 이미지의 가독성이 많이 떨어지는 단점이 있다. 이러한 문제점들을 개선하기 위한 대표적인 방법으로 히스토그램 확장(histogram stretching) 기법과 히스토그램 균등화(histogram equalization) 기법을 들 수 있다.
참고문헌 (12)
E. Land and J. McCann, "Lightness and retinex theory," Journal of the Optical Society of America, vol. 61, no. 1, pp. 1-11, 1971. DOI: https://doi.org/10.1364/JOSA.61.000001
D. Marini and A. Rizzi, "Computational approach to color adaptation effects," Image and Vision Computing, vol. 18, no. 13, pp. 1005-1014. Oct. 2000. DOI: https://doi.org/10.1016/S0262-8856(00)00037-8
E. Provenzi, M. Fierro, A. Rizzi, L. De Carli, D. Gadia, and D. Marini, "Random spray retinex: A new retinex implementation to investigate the local properties of the model," IEEE Transactions on Image Processing, vol. 16, no. 1, pp. 162-171, Jan. 2007. DOI: https://doi.org/10.1109/TIP.2006.884946
D.J. Jobson, Z. Rahman, and G.A. Woodell, "Properties and performance of a center/surround retinex," IEEE Transactions on Image Processing, vol. 6, no. 3, Mar. 1997. DOI: https://doi.org/10.1109/83.557356
A. Moore, J. Allman, and R. Goodman, "A real-time neural system for color constancy," IEEE Transactions on Neural Networks, vol. 2, no. 2, pp. 237-247, Mar. 1991. DOI: https://doi.org/10.1109/72.80334
M. Bertalmio, V. Caselles, and E. Provenzi, "Issues about retinex theory and contrast enhancement," International Journal of Computer Vision, vol. 83, no. 1, pp. 101-119. June 2009. DOI: https://doi.org/10.1007/s11263-009-0221-5
R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A variational framework for retinex," International Journal of Computer Vision, vol. 52, no. 1, pp. 7-23, April 2003. DOI: https://doi.org/10.1023/A:1022314423998
W. Ma, J.M. Morel, S. Osher, and A. Chien, "An L1-based variational model for retinex theory and its application to medical images," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 153-160, June 2011. DOI: https://doi.org/10.1109/CVPR.2011.5995422
J.M. Morel, A.B. Petro, and C. Sbert, A PDE formalization of retinex theory, IEEE Transactions on Image Processing, vol. 19, no. 11, pp. 2825-2837, May 2010. DOI: https://doi.org/10.1109/ISKE.2017.8258829
W. Tao, G. Ningsheng, and J. Guixiang, "Enhanced image algorithm at night of improved retinex based on HIS space," International Conference on Intelligent Systems and Knowledge Engineering (ISKE), pp. 1-5, Nov. 2017. DOI: https://doi.org/10.1109/ISKE.2017.8258829
H. Tanaka, Y. Waizumi, and T. Kasezawa, "Retinex-based signal enhancement for image dark regions," IEEE International Conference on Signal and Image Processing Applications (ICSIPA). pp. 205-209, Sept. 2017. DOI: https://doi.org/10.1109/ICSIPA.2017.8120607
S. Park, S. Yu, B. Moon, S. Ko, and J. Paik, "Low-light image enhancement using variational optimization-based retinex model," IEEE Transactions on Consumer Electronics, vol. vol. 63, no. 2, pp. 178-184, May 2017. DOI: https://doi.org/10.1109/ICCE.2017.7889233
※ AI-Helper는 부적절한 답변을 할 수 있습니다.