HDR (high dynamic range) 영상을 LDR (low dynamic range) 영상으로 변환할 때 톤 맵핑 (tone mapping) 과정은 필수적이다. 많은 TMO (tone mapping operator)는 인간 시각 시스템의 특성들을 모방하여 발달되어 왔고 그 중 가장 대표적인 시각 특성이 국부 순응 방식이다. 그러나 TMO는 밝기나 명암, 채도 등의 영상 정보들을 압축하여 LDR 영상으로 대응시키기 때문에 압축에 의한 화질 저하가 나타난다. 본 논문에서는 TMO에 의한 화질 저하 보상을 위해 인간 시각의 선명도 특성을 기저 및 세부 영상 분할 처리에 적용하여 휘도 적응적 에지 보존 함수를 제안했다. 또한, 인간 시각 시스템에서 공간 주파수와 대비 민감도 사이의 관계를 나타내는 CSF (contrast sensitivity function)를 이용하여 선명화 필터를 설계하고, 이를 배경 휘도에 따라 적응적으로 적용하였다.
HDR (high dynamic range) 영상을 LDR (low dynamic range) 영상으로 변환할 때 톤 맵핑 (tone mapping) 과정은 필수적이다. 많은 TMO (tone mapping operator)는 인간 시각 시스템의 특성들을 모방하여 발달되어 왔고 그 중 가장 대표적인 시각 특성이 국부 순응 방식이다. 그러나 TMO는 밝기나 명암, 채도 등의 영상 정보들을 압축하여 LDR 영상으로 대응시키기 때문에 압축에 의한 화질 저하가 나타난다. 본 논문에서는 TMO에 의한 화질 저하 보상을 위해 인간 시각의 선명도 특성을 기저 및 세부 영상 분할 처리에 적용하여 휘도 적응적 에지 보존 함수를 제안했다. 또한, 인간 시각 시스템에서 공간 주파수와 대비 민감도 사이의 관계를 나타내는 CSF (contrast sensitivity function)를 이용하여 선명화 필터를 설계하고, 이를 배경 휘도에 따라 적응적으로 적용하였다.
When an image is converted from HDR (high dynamic range) to LDR (low dynamic range), a tone mapping process is the essential component. Many TMOs (tone mapping operators) have been motivated by human vision which has lower physical luminance range than that in real scene. The representative of human...
When an image is converted from HDR (high dynamic range) to LDR (low dynamic range), a tone mapping process is the essential component. Many TMOs (tone mapping operators) have been motivated by human vision which has lower physical luminance range than that in real scene. The representative of human vision properties which motivate TMOs is the local adaptation. However, TMOs are ultimately compressing image information such as contrast, saturation, etc. and the compression causes defects in image quality. In this paper, in order to compensate the degradation of the image which is caused by TMOs, the visual acuity-based edge stop function is proposed for applying the property of human vision to base-detail separation. In addition, using CSF (contrast sensitivity function) which represents the relationship among spatial frequency, contrast sensitivity, and luminance, the sharpness filter is designed and adaptively applied to the detail layer in regard to surround luminance.
When an image is converted from HDR (high dynamic range) to LDR (low dynamic range), a tone mapping process is the essential component. Many TMOs (tone mapping operators) have been motivated by human vision which has lower physical luminance range than that in real scene. The representative of human vision properties which motivate TMOs is the local adaptation. However, TMOs are ultimately compressing image information such as contrast, saturation, etc. and the compression causes defects in image quality. In this paper, in order to compensate the degradation of the image which is caused by TMOs, the visual acuity-based edge stop function is proposed for applying the property of human vision to base-detail separation. In addition, using CSF (contrast sensitivity function) which represents the relationship among spatial frequency, contrast sensitivity, and luminance, the sharpness filter is designed and adaptively applied to the detail layer in regard to surround luminance.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 visual acuity 기반의 에지 보존 함수를 이용한 세부 정보 보존과 더불어 시각의 휘도에 대한 선명도 감각 특성을 이용한 세부 정보의 개선 방법을 제안하였다. 이를 위해 평균 휘도의 변화에 따라 각 주파수에서의 대비 민감도 변화를 나타내는 CSF 특성을 이용하여 선명화 필터를 설계하고, 세부 영상에 적용하여 톤 맵핑에 의해 저하되는 고휘도 영역 선명도를 보상하였다.
본 논문에서는 디스플레이의 LDR특성으로 손실되는 정보를 보상하기 위해 인간 시각 시스템의 휘도에 따라 변화하는 visual acuity 특성과 변화하는 주파수 응답을 나타내는 CSF특성을 이용하였다. 제안한 방식은 휘도에 따른 visual acuity 변화를 이용하여 전 처리 과정인 바이래터럴 필터를 수정하였다.
가설 설정
식 (9)와 같이, 진폭 이득 A(L)은 휘도 레벨 L에서 ΔCSF(L,f)의 최댓값을 기준 레벨 Lreference에서의 ΔCSF(Lreference,f)의 최댓값으로 나눈 값으로 정의하고, 이 때, 휘도 레벨 범위는 5 cd/m2~ 2000 cd/m2 사이로 가정하였다.
제안 방법
이러한 문제점은 기저 및 세부 영상 분할 처리를 위해 기저 영상과 세부 영상으로 분리할 때 휘도 영역에 상관없이 단순하게 분리하기 때문에 발생하는데, 톤 맵핑을 거치게 되면서 RGB 화소값 사이의 차이가 감소하기 때문에 특히 압축이 많이 되는 밝은 영역에서 더 심해진다. iCAM06에서 기저 및 세부 영상 분할 처리는, 먼저, 바이래터럴 필터를 입력 영상에 적용하여 기저 영상을 구하고, 다음으로, 입력 영상과 기저 영상의 차로써 세부 영상을 구한다. 이와 같이, 영상을 휘도에 상관없이 단순히 분리하였기 때문에, 기저 영상에 톤 맵핑을 적용한 이후 다시 세부 영상과 합쳐져도 기저 영상에 남아 있던 밝은 영역의 색 정보가 감소하여 톤 맵핑 전 만큼의 채도가 나오지 않게 된다.
이를 샘플링 주파수로 매칭하고, 그에 따라 필터의 폭과 주파수 중심축을 이동시키기 위해, 대역통과필터 Hbp (f)의 설정 값들을 σL = 4, σR = 12, 그리고 f0 = 8 cycles/degree로 정의했다. 다음으로 제안한 선명화 필터 함수의 주파수 영역을 샘플링 주파수 영역으로의 변환한 후 MATLAB 내부 함수 firpm를 이용하여 FIR 필터를 설계하였다.
제안한 선명화 필터는 휘도 레벨에 따라 적응적으로 형태가 변화하기 때문에, 국부 휘도에 따라 FIR 필터 계수를 달리 계산해야 한다. 따라서 먼저 5 단계의 휘도 레벨에 대하여 FIR 필터 계수를 계산하고, 다음 정규화된 휘도 (Lan)에 따른 FIR 필터 계수 생성 함수를 만들었다. 모델링을 위한 대표함수는 다음과 같다.
이는 톤 맵핑 전에 세부 정보를 보존하는 양을 영상의 휘도에 따라 달리하여 밝은 영역의 정보 손실을 줄였다. 또한, CSF를 모델링하여 휘도에 따른 선명화 필터를 설계하고, 이를 밝은 영역의 세부 영상 영상에 밝기에 적응적으로 적용하여 노이즈의 증폭 없이 선명도를 향상시켰다. 이는 시각의 감각 특성에 맞게 영상의 화질을 향상한 것으로, 기존 iCAM06 결과 영상과의 비교를 통해 콘트라스트와 특히 선명도 부분에서 많은 향상이 있음을 확인 할 수 있었다.
본 논문에서는 TMO에 의해 화질이 저하되는 문제를 분석하고, 이를 보상하기 위해 인간 시각의 visual acuity와 CSF (Contrast Sensitivity Function) 특성을 새롭게 도입하였다. 먼저, visual acuity 특성을 모델링하고 이를 적용하여 기저 및 세부 영상 분할 처리과정에서 휘도에 적응적으로 영상을 분리하는 방법을 제안하고, 다음, CSF를 기반으로 하여 선명화 필터를 설계하고 이를 세부 영상에 적용하여 선명도를 향상하는 방법을 제안하였다. 제안한 방식의 우수성을 확인하기 위해 iCAM06에 제안한 방식을 추가하여 기존 iCAM06의 결과 영상과 비교하였다.
본 논문에서는 TMO에 의해 화질이 저하되는 문제를 분석하고, 이를 보상하기 위해 인간 시각의 visual acuity와 CSF (Contrast Sensitivity Function) 특성을 새롭게 도입하였다. 먼저, visual acuity 특성을 모델링하고 이를 적용하여 기저 및 세부 영상 분할 처리과정에서 휘도에 적응적으로 영상을 분리하는 방법을 제안하고, 다음, CSF를 기반으로 하여 선명화 필터를 설계하고 이를 세부 영상에 적용하여 선명도를 향상하는 방법을 제안하였다.
이 때문에 세부 영상 정보를 밝기에 따라 달리 보존시켜야 한다. 이를 위해 주변 휘도와 visual acuity 사이의 관계를 이용하여 바이래터럴 필터의 내부 가우시안 함수를 수정하였다.
본 논문에서는 visual acuity 기반의 에지 보존 함수를 이용한 세부 정보 보존과 더불어 시각의 휘도에 대한 선명도 감각 특성을 이용한 세부 정보의 개선 방법을 제안하였다. 이를 위해 평균 휘도의 변화에 따라 각 주파수에서의 대비 민감도 변화를 나타내는 CSF 특성을 이용하여 선명화 필터를 설계하고, 세부 영상에 적용하여 톤 맵핑에 의해 저하되는 고휘도 영역 선명도를 보상하였다. 제안한 필터는 최소 휘도 레벨을 기준으로 하여 휘도에 따라 선명도 향상 정도를 달리하였다.
바이래터럴 필터 내부의 에지 보존 함수에 visual acuity 기반의 에지 보존 함수, σr을 적용하여 휘도(White)에 따라 적응적으로 기저 영상을 블러링하고, 밝은 영역의 세부 영상 정보를 더 많이 보존시킨다. 이후 세부 영상에 앞서 설계한 CSF 기반 선명화 필터를 사용하여 마스크 연산을 하였다. 이때 선명화 필터링에 의해 어두운 영역에서 노이즈가 증폭되는 것을 방지하기 위해 전처리 모듈을 통해 어두운 영역에는 필터링을 적용하지 않았다.
본 논문에서는 디스플레이의 LDR특성으로 손실되는 정보를 보상하기 위해 인간 시각 시스템의 휘도에 따라 변화하는 visual acuity 특성과 변화하는 주파수 응답을 나타내는 CSF특성을 이용하였다. 제안한 방식은 휘도에 따른 visual acuity 변화를 이용하여 전 처리 과정인 바이래터럴 필터를 수정하였다. 이는 톤 맵핑 전에 세부 정보를 보존하는 양을 영상의 휘도에 따라 달리하여 밝은 영역의 정보 손실을 줄였다.
표 2은 기존의 iCAM06과 제안한 방법의 결과 영상을 VCM으로 나타낸 것으로 그림 6, 7의 영상들이 사용되었다. 표 2에 나타낸 visual acuity만 적용한 영상은 본 논문에 나타내지 않고 VCM만 계산하였다. 표에서 iCAM06 결과 영상의 VCM값에 비해 제안 방식의 VCM값이 더 높은 것을 알 수 있다.
데이터처리
먼저, visual acuity 특성을 모델링하고 이를 적용하여 기저 및 세부 영상 분할 처리과정에서 휘도에 적응적으로 영상을 분리하는 방법을 제안하고, 다음, CSF를 기반으로 하여 선명화 필터를 설계하고 이를 세부 영상에 적용하여 선명도를 향상하는 방법을 제안하였다. 제안한 방식의 우수성을 확인하기 위해 iCAM06에 제안한 방식을 추가하여 기존 iCAM06의 결과 영상과 비교하였다. 비교 결과, 제안한 방식을 통한 결과 영상에서 채도와 선명도가 향상됨을 확인하였다.
이론/모형
객관적인 영상 평가를 위해 대비 향상을 나타내는 지표인 VCM (Visual Contrast Measure)을 사용하였다[14]. 지표 수식은 아래와 같다.
국부 순응 방식은 장면의 국부적인 밝기에 따라 개별 시세포들이 각각 이득을 조정하는 것으로 많은 TMO들이 국부 순응 방식을 적용하였다[4]. 대표적으로 iCAM06 모델은 국부 백색 순응 (local white adaptation) 뿐만 아니라 톤 맵핑 (tone mapping)을 위한 광수용기 반응 함수 (photoreceptor response function)를 적용하였다. 또한, 바이래터럴 필터 (bilateral filter)를 이용하여 톤 맵핑이 적용된 기저 영상과 보존된 세부 영상이 다시 합쳐질 때 생기는 후광 효과를 줄였다[1,5].
성능/효과
이를 위한 두 가지 가정은 다음과 같다. (1) 인간 시각은 휘도보다 반사율에 더 민감하다, (2) 인간 시각은 영상의 전역 대비 보다 국부 대비에 더 민감하다. 이 때문에 TMO는 전역의 휘도 대비를 감소시키고 국부 대비는 보존하는 방식을 사용한다.
제안한 표준 편차 함수를 이용한 g′(Ip -Is )은 높은 Lan 영역에서 σr이 커지기 때문에 밝은 영역의 픽셀들이 레벨 영역에서 상당한 차이가 있더라도 에지로 인지하지 못한다. 결국 밝은 영역에서 기저 영상의 블러양이 증가하여 이 영역에서의 세부 정보가 세부 영상을 통해 더 많이 보존되고, 이 후 색 순응과 톤 압축 과정을 거친 기저 영상과 세부 영상이 다시 합쳐질 때, 밝은 영역에서 색 정보와 대비 정보가 보존되어 채도와 대비가 향상된다.
결론적으로 색 순응과 톤 압축을 거치면서 발생하는 색 정보와 국부 대비 정보의 손실을 σr 조절을 통해서 방지할 수 있다.
제안한 방식의 우수성을 확인하기 위해 iCAM06에 제안한 방식을 추가하여 기존 iCAM06의 결과 영상과 비교하였다. 비교 결과, 제안한 방식을 통한 결과 영상에서 채도와 선명도가 향상됨을 확인하였다. 이를 통해 인간 시각 특성인 visual acuity와 CSF를 이용하여 화질을 효과적으로 보상했음을 확인할 수 있었다.
표에서 iCAM06 결과 영상의 VCM값에 비해 제안 방식의 VCM값이 더 높은 것을 알 수 있다. 오직 VA만 적용한 영상의 VCM 결과 역시 iCAM06보다 전반적으로 높게 나타났다.
또한, CSF를 모델링하여 휘도에 따른 선명화 필터를 설계하고, 이를 밝은 영역의 세부 영상 영상에 밝기에 적응적으로 적용하여 노이즈의 증폭 없이 선명도를 향상시켰다. 이는 시각의 감각 특성에 맞게 영상의 화질을 향상한 것으로, 기존 iCAM06 결과 영상과의 비교를 통해 콘트라스트와 특히 선명도 부분에서 많은 향상이 있음을 확인 할 수 있었다.
비교 결과, 제안한 방식을 통한 결과 영상에서 채도와 선명도가 향상됨을 확인하였다. 이를 통해 인간 시각 특성인 visual acuity와 CSF를 이용하여 화질을 효과적으로 보상했음을 확인할 수 있었다.
이를 위해 평균 휘도의 변화에 따라 각 주파수에서의 대비 민감도 변화를 나타내는 CSF 특성을 이용하여 선명화 필터를 설계하고, 세부 영상에 적용하여 톤 맵핑에 의해 저하되는 고휘도 영역 선명도를 보상하였다. 제안한 필터는 최소 휘도 레벨을 기준으로 하여 휘도에 따라 선명도 향상 정도를 달리하였다. 먼저, Barten[11]의 식 (4)를 이용하여 각 휘도 레벨의 CSF(L,f)와 최소 휘도 레벨 Lreference에서의 CSF(Lreferecnce,f) 사이의 차인 ΔCSF(L,f)를 구하였다.
표 2에 나타낸 visual acuity만 적용한 영상은 본 논문에 나타내지 않고 VCM만 계산하였다. 표에서 iCAM06 결과 영상의 VCM값에 비해 제안 방식의 VCM값이 더 높은 것을 알 수 있다. 오직 VA만 적용한 영상의 VCM 결과 역시 iCAM06보다 전반적으로 높게 나타났다.
질의응답
핵심어
질문
논문에서 추출한 답변
기저 및 세부 영상 분할 처리 방식은 어떤 단점을 보상하기 위한 방식인가?
일반적으로 TMO를 통해 영상의 전역 다이내믹 레인지를 압축할 때 국부 영상의 채도와 선명도가 저하되는 문제가 발생한다. 이와 같은 단점을 보상하기 위한 방식이 기저 및 세부 영상 분할 처리 방식이다.
HDR영상을 LDR영상으로 변환할 때 무엇이 필수적인가?
HDR (high dynamic range) 영상을 LDR (low dynamic range) 영상으로 변환할 때 톤 맵핑 (tone mapping) 과정은 필수적이다. 많은 TMO (tone mapping operator)는 인간 시각 시스템의 특성들을 모방하여 발달되어 왔고 그 중 가장 대표적인 시각 특성이 국부 순응 방식이다.
TMO의 종류에는 무엇이 있는가?
HDR 이미징 기술들은 공통적으로 TMO (tone mapping operator)를 가지고 있는 데, 이 TMO를 통해 HDR 영상이 LDR (low dynamic range) 영상으로 변환된다. TMO의 종류에는 Histogram adjustment, Photographic reproduction, iCAM06[1], Logarithmic mapping, Local eye adaptation등 여러 방식들이 있다. 이와 같은 TMO들은 HDR 영상을 LDR 영상으로 만들기 위해 영상의 정보를 압축한다.
참고문헌 (14)
J. Kuang, G. Johnson, and M. Fairchild, "iCAM06: a refined image appearance model for HDR image rendering," J. Visual Commun. Image Representation, vol. 18, no. 5, pp. 406-414, June 2007.
P. Ledda, A. Chalmers, T. Troscianko, and H. Seetzen, "Evaluation of tone mapping operators using a high dynamic range display," ACM Trans. Graphics, vol. 24, no. 3, pp. 640-648, July 2005.
E. Reinhard, G. Ward, S. Pattanaik, and P. Devevec, High Dynamic range imaging : acquisition, display and Image-Based Lighting, Morgan Kaufmann, 2005.
M. Fairchild, Color Appearance Model, 2nd Ed., John Wiley&Sons, Ltd, 2005.
F. Durand and J. Dorsey, "Fast bilateral filtering for the display of high-dynamic-range images," ACM Trans. Graphics, vol. 21, no. 3, pp. 257-266, July 2002.
H. G. Kim, S. H. Lee, T. W. Bae, and K. I. Sohng, "Color saturation compensation in iCAM06 for high-chroma HDR imaging," IEICE Trans. Fundam. Electron., Commun., Comput. Sci., vol. E94-A, no. 11, pp. 2353-2357, Nov. 2011.
S. M. Chae, S. H. Lee, H. J. Kwon, and K. I. Sohng, "A tone compression model for the compensation of white point shift generated from HDR rendering," IEICE Trans. Fundam. Electron. Commun. Comput. Sci., vol. E95-A, no. 8, pp. 1297-1301, Aug. 2012.
H. J. Kwon, S. H. Lee, S. C. Chae, and K. I. Sohng, "Multi scale tone mapping model using visual brightness functions for HDR image compress," J. Commun. Networks (JCN), vol. 37A, no. 12, pp. 1054-1064, Dec. 2012.
J. A. Ferwerda, S. N. Pattanaik, P. Shirley, and D. P. Greenberg, "A model of visual adaptation for realistic image synthesis," in Proc. 23rd Annu. Conf. Comput. Graphics Interactive Techniques (SIGGRAPH '96), pp. 249-258, New Orleans, U.S.A., Aug. 1996.
S. Shaler, "The relation between visual acuity and illumination," J. General Physiology, vol. 21, no. 2, pp. 165-188, Nov. 1937.
S. Westland, H. Owens, V. Cheung, and I. Paterson-Stephens, "Model of luminance contrast-sensitivity function for application to image assessment," Color Research Applicat., vol. 31, no. 4, pp. 315-319, Aug. 2006.
D. J. Jobson, Z. Rahman, G. A. Woodell, and G. D. Hines, "A comparison of visual statistics for the image enhancement of FORESITE aerial images with those of major image classes," Proc. SPIE, Visual Inform. Process. XV, vol. 6246, Article no. 624601, May 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.