본 논문에서는 장면의 밝기에 적합한 셔터 속도를 가진 두 장의 LDR (low dynamic range) 영상을 취득하여 HDR (high dynamic range) 영상을 고속으로 생성하는 효율적인 기법을 제안한다. 즉, 장면의 밝기에 최적인 HDR 영상을 취득하기 위해 본 논문에서는 오직 두 장의 초기 입력 LDR 영상을 이용하여 장면의 밝기에 대한 노출 곡선을 초기 추정한 후, 장면의 밝기 변화에 따른 최적의 셔터 속도를 시간 변화에 따라 지속적으로 추정하는 기법을 제안한다. 성능 평가를 위해 기존의 고화질 HDR 기법으로 생성한 영상과 제안된 방법으로 취득된 영상간의 유사도를 PSNR (peak signal to noise ratio)로 비교하였으며, 모든 두 장의 조합을 탐색하지 않고도 최적에 근사하는 두 개의 셔터 속도를 얻을 수 있음을 보인다.
본 논문에서는 장면의 밝기에 적합한 셔터 속도를 가진 두 장의 LDR (low dynamic range) 영상을 취득하여 HDR (high dynamic range) 영상을 고속으로 생성하는 효율적인 기법을 제안한다. 즉, 장면의 밝기에 최적인 HDR 영상을 취득하기 위해 본 논문에서는 오직 두 장의 초기 입력 LDR 영상을 이용하여 장면의 밝기에 대한 노출 곡선을 초기 추정한 후, 장면의 밝기 변화에 따른 최적의 셔터 속도를 시간 변화에 따라 지속적으로 추정하는 기법을 제안한다. 성능 평가를 위해 기존의 고화질 HDR 기법으로 생성한 영상과 제안된 방법으로 취득된 영상간의 유사도를 PSNR (peak signal to noise ratio)로 비교하였으며, 모든 두 장의 조합을 탐색하지 않고도 최적에 근사하는 두 개의 셔터 속도를 얻을 수 있음을 보인다.
In this paper, we propose a scene adaptive method to obtain two LDR images with proper shutter speeds which capture the irradiance of scene effectively. The proposed method adaptively selects two shutter speeds across the video frame even when the illumination varies continuously. For the performanc...
In this paper, we propose a scene adaptive method to obtain two LDR images with proper shutter speeds which capture the irradiance of scene effectively. The proposed method adaptively selects two shutter speeds across the video frame even when the illumination varies continuously. For the performance evaluation, we compute the PNSR to the ground truth which is obtained by the state-of-the-art HDR imaging method. It shows that the proposed method is able to select approximately optimal shutter speeds while avoiding the exhaustive search of every possible pair of shutter speeds.
In this paper, we propose a scene adaptive method to obtain two LDR images with proper shutter speeds which capture the irradiance of scene effectively. The proposed method adaptively selects two shutter speeds across the video frame even when the illumination varies continuously. For the performance evaluation, we compute the PNSR to the ground truth which is obtained by the state-of-the-art HDR imaging method. It shows that the proposed method is able to select approximately optimal shutter speeds while avoiding the exhaustive search of every possible pair of shutter speeds.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
후)각화소값과의">각 화소값과의 관계를 구할 수 있다. 따라서 본 논문에서는 각 화소값과 각 화소값 사이의 상대적인 노출 비율의 관계를 표현하는 노출 곡선을 정의한다. 노출 곡선 또한 카메라
본 논문에서는 성능 평가를 위해 장면의 밝기 값이 다른 환경에서 기존의 HDR 영상과 제안한 방법으로 취득된 HDR 영상간의 PSNR 비교와 일몰시간에 장면의 밝기 변화에 따른 방사도의 변화를 비교하였다. 영상 취득은 캐논 EOS 550D를 이용하였으며 카메라
본 논문에서는 장면의 밝기 변화에 적합한 최적의 셔터 속도를 가진 두 장의 LDR 영상을 취득하여 HDR 영상을 고속으로 생성하는 방법을 제안하였다. 이를 위하여 영상의 화소와 입사하는 빛의 양에 대한 관계를 이용하여 영상의 밝기에 대한 셔터 속도의 비율을 나타내는 노출 곡선을 정의하였다.
본 논문에서는 장면의 밝기에 적합한 셔터 속도를 가진 두 장의 LDR (low dynamic range) 영상을 취득하여 HDR (high dynamic range) 영상을 고속으로 생성하는 새로운 기법을 제안한다. 이를 위하여 특정한 비율을 가지는 서로 다른 두 개의 셔터 속도에 의해 취득된 영상의 화소와 장면에서 카메라 센서에
가설 설정
(a) Reference image. (b) Image with shutter speed which is k times longer than the reference image. In this example, k is 2.
후)영상(b)">영상 (b)
기준 영상보다 셔터 속도가 k배 긴 영상. 본 예제의 경우 k=2 이다.
후)(그림2(b))을">(그림 2(b))을 취득하였다고 가정한다.
제안 방법
후)각화소간의">각 화소간의 노출 증가량의 관계를 정의하는 카메라 노출 곡선을 추정한다. 그 후 추정된 노출 곡선을 이용하여 장면의 평균 밝기의 변화에 따라 적응적으로 최적의 셔터 속도를 가진 두 장의 LDR 영상을 취득하는 알고리즘을 제안한다. 그림 1은 제안한 알고리즘의 전체적인 처리 과정을 도시하였다.
후)단위 면적당">단위면적당 입사하는 방사도의 관계를 정의한다. 그리고 이를 바탕으로 화소와 각 화소간의 노출 증가량의 관계를 정의하는 카메라 노출 곡선을 추정한다. 그 후 추정된 노출 곡선을 이용하여 장면의 평균 밝기의 변화에 따라 적응적으로 최적의 셔터 속도를 가진 두 장의 LDR 영상을 취득하는 알고리즘을 제안한다.
이를 위하여 영상의 화소와 입사하는 빛의 양에 대한 관계를 이용하여 영상의 밝기에 대한 셔터 속도의 비율을 나타내는 노출 곡선을 정의하였다. 또한 노출 곡선을 이용하여 기준 영상과의 셔터 속도의 비율을 추정함으로서 두 LDR 영상의 셔터 속도를 취득하였다. 다양한 실험 결과,
후)영상 간의">영상간의 PSNR이 노출이 다른 두 장의 LDR 영상의 모든 조합으로 생성된 HDR 영상들의 PSNR 과 비교하여 거의 최상위에 위치하였다. 또한 주변광의 밝기가 연속적으로 변화는 환경에서도 적응적으로 주변광의 밝기에 적합한 셔터 속도를 가진 두 장의 LDR 영상을 취득하였다.
본 논문에서는 Ihigh와 Ilow을 평균 밝기 값으로 가지는 LDR 영상의 셔터 속도를 추정하기 위해 II장에서 설명한 노출 곡선을 이용한다. 기준 영상의 셔터 속도와 LDRhigh의 (또는 LDRlow의) 셔터 속도 사이의 비율은
후)노출값으로">노출 값으로 취득한 영상의 히스토그램은 전반적인 형태는 비슷하며 평균 밝기 값만 달라진다. 본 논문에서는 사용자의 경험에 의하거나 자동 카메라의 측광에 의해 얻어지는 노출에 의해 얻은 영상을 기준 영상으로서 취득하고, 이로부터 두 장의 셔터 속도를 추정하는 과정을 거친다. 이후 기준 영상은 사용되지 않는다.
">반응함수이다. 본 논문에서는 화소의 포화(saturation)에 대한 영향을 제거하기 위해 본 과정에 이용되는 화소값의 범위를 [10, 245]로 제한하였으며 초기 화소 p1은 다소 어두운 영역에서 추출하여 n의 크기가 충분히 커질 수 있도록 한다.
후)본장에서는">본 장에서는 II장에서 추정한 노출 곡선을 이용하여, 주어진 장면의 방사도에 적응적으로 HDR 영상을 생성하기 위한 두 장의 LDR 영상의 셔터 속도를 추정하는 기법을 제시한다.
후)일몰 시간에">일몰시간에 장면의 밝기 변화에 따른 방사도의 변화를 비교하였다. 영상 취득은 캐논 EOS 550D를 이용하였으며 카메라 제어 SDK인 ED SDK 2.8을 이용하여 컴퓨터에서 카메라 설정을 변경하고 영상을 취득할 수 있도록 환경을 구축하였다.
본 논문의 기술적인 주요 기여 내용은 다음과 같다. 우선 두 장의 초기 영상만을 이용하여 영상의 각 화소값 사이의 상대적인 노출 비율을 나타내는 노출 곡선을 추정한다. 이를 이용하여 주어진 장면의 밝기에 가장 바람직한 두 장의 셔터 속도를 구함으로써 최적에 근사하는 LDR 영상 2장을 선별하여 HDR 영상을 생성한다.
본 논문에서는 장면의 밝기 변화에 적합한 최적의 셔터 속도를 가진 두 장의 LDR 영상을 취득하여 HDR 영상을 고속으로 생성하는 방법을 제안하였다. 이를 위하여 영상의 화소와 입사하는 빛의 양에 대한 관계를 이용하여 영상의 밝기에 대한 셔터 속도의 비율을 나타내는 노출 곡선을 정의하였다. 또한 노출 곡선을 이용하여 기준 영상과의 셔터 속도의 비율을 추정함으로서 두 LDR 영상의 셔터 속도를 취득하였다.
후)각화소값">각 화소값 사이의 상대적인 노출 비율을 나타내는 노출 곡선을 추정한다. 이를 이용하여 주어진 장면의 밝기에 가장 바람직한 두 장의 셔터 속도를 구함으로써 최적에 근사하는 LDR 영상 2장을 선별하여 HDR 영상을 생성한다. 또한,
후)유사함을">유사 함을 그림 7에서 확인할 수 있다. 장면의 밝기 값에 따라 카메라에서 취득된 기준 영상의 셔터 속도는 다르기 때문에 장면의 밝기가 상이한 네 가지 환경에서 실험을 하였다. 또한 참값과의 객관적인
제안한 방법으로 취득된 HDR 영상의 객관적인 화질을 판별하기 위해, 카메라에서 제공하는 모든 셔터 속도로 취득한 영상을 입력으로 Robertson 등의 방법으로 취득된 HDR 영상 [4]을 참값으로 가정하고 이 영상에 대한 PSNR로서 알고리즘의 성능을 측정한다. 또한, 각 실험에서 취득된 HDR 영상을 LDR 영상으로 출력하기 위해 Reinhard 등의
이론/모형
4. Pixel value to the exposure (shutter speed) ratio plot by applying least square estimation method.
제안한 방법으로 취득된 HDR 영상의 객관적인 화질을 판별하기 위해, 카메라에서 제공하는 모든 셔터 속도로 취득한 영상을 입력으로 Robertson 등의 방법으로 취득된 HDR 영상 [4]을 참값으로 가정하고 이 영상에 대한 PSNR로서 알고리즘의 성능을 측정한다. 또한, 각 실험에서 취득된 HDR 영상을 LDR 영상으로 출력하기 위해 Reinhard 등의 톤매핑 방법을 사용하였다[11].
후)식(4)를">식 (4)를
만족하는 곡선에 대한 최적의 계수를 구하기 위해 Mitsunaga 등과 달리 최소제곱근사 (lease square estimation) 알고리즘을 이용하여 그림 4와 같이 각 화소값과 각 화소값 사이의 상대적인 노출 비율에 대한 곡선을 추정한다.
성능/효과
또한 노출 곡선을 이용하여 기준 영상과의 셔터 속도의 비율을 추정함으로서 두 LDR 영상의 셔터 속도를 취득하였다. 다양한 실험 결과, 밝기 값이 다른 여러 환경에서 참값으로 가정한 기존의 HDR 영상과 제안한 방법으로 생성된 HDR 영상간의 PSNR이 노출이 다른 두 장의 LDR 영상의 모든 조합으로 생성된 HDR 영상들의 PSNR 과 비교하여 거의 최상위에 위치하였다. 또한 주변광의 밝기가 연속적으로 변화는 환경에서도 적응적으로
후)카메라센서에">카메라 센서에 단위 면적당 더 많은 빛이 입사한 것을 보여준다. 따라서 제안한 알고리즘은 시간에 따라 주변광의 밝기가 변화는 환경에서, 변화된 밝기에 적합한 셔터 속도를 가진 두 장의 LDR 영상을 적응적으로 취득함을 알 수 있다.
이를 이용하여 주어진 장면의 밝기에 가장 바람직한 두 장의 셔터 속도를 구함으로써 최적에 근사하는 LDR 영상 2장을 선별하여 HDR 영상을 생성한다. 또한, 주변광의 밝기가 연속적으로 변하는 환경에서도 이전 평균 밝기 값과 현재 평균 밝기 값 사이의 상대적인 노출 비율을 이용하여 지속적으로 최적의 LDR 영상을 취득함으로써 HDR 비디오 취득으로 확장할 수 있다.
">8에 도시하였다. 실험 결과에서 보듯이 조도 5,300 lux, 7,000 lux, 7,200 lux, 9,160 lux 환경에서 두 장의 LDR 영상의 모든 조합으로 생성된 HDR 영상들 중 제안한 방법으로 취득된 HDR 영상의 PSNR이 각각 약 98%, 100%, 98%, 97%의 상위에 위치하였다. 특히
후)입력 영상의">입력영상의 모든 조합으로 생성된 HDR 영상 중에 참값 영상과의 PSNR이 가장 높게 나타났다. 이는 제안된 알고리즘이 전역 탐색에 의한 최적의 해에 매우 근사하는 LDR 영상 두 장을 선별하여 HDR 영상을 생성함을 알 수 있다.
실험 결과에서 보듯이 조도 5,300 lux, 7,000 lux, 7,200 lux, 9,160 lux 환경에서 두 장의 LDR 영상의 모든 조합으로 생성된 HDR 영상들 중 제안한 방법으로 취득된 HDR 영상의 PSNR이 각각 약 98%, 100%, 98%, 97%의 상위에 위치하였다. 특히 조도 7,000 lux 환경에서는 두 장의 입력영상의 모든 조합으로 생성된 HDR 영상 중에 참값 영상과의 PSNR이 가장 높게 나타났다. 이는 제안된 알고리즘이 전역 탐색에 의한 최적의 해에 매우 근사하는 LDR 영상
해가">포함한다. 해가 지면서 창문 밖의 주변광의 변화가 실내보다 크기 때문에 제안된 방법으로 취득된 셔터 속도는 밝은 영상보다 어두운 영상에서 보다 크게 변하였다. 그러나 취득한 영상과 거의 비슷한 영역의 정보를 포함하였다.
후속연구
본 연구에서 제안하는 방법은 HDR 영상 취득의 속도를 향상시킴으로써 HDR 비디오 취득에 응용될 수 있고, 향후 감시 카메라에 적용하여 주위환경을 인식하기 어려운 어두운 환경에도 기존의 감시 카메라보다 정확하게 주변 환경을 인식하는데 유용하게 쓰일 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
카메라의 제한된 동적 범위를 향상시키기 위한 HDR 영상 취득 기법에는 어떤 것들이 있는가?
따라서 카메라의 제한된 동적범위를 향상시키기 위한 HDR (high dynamic range) 영상 취득 기법의 연구가 활발히 진행되고 있으며, 그 중 대표적인 기법은 노출시간이 다른 여러 장의 LDR (low dynamic range) 영상을 취득 후 각 영상의 복사량 (radiance) 맵을 생성한 후[1][2], 각 복사량 맵을 결합시켜 한 장의 HDR 영상을 생성한다[3][4][5]. 또한 영상의 화소값과 장면의 방사량(irradiance)의 관계를 이용하여 HDR 영상을 생성하는 방법도 존재한다[6]. 그러나 기존의 기법들은 한 장의 HDR 영상을 생성하기 위해 노출이 다른 여러 장의 LDR 영상을 취득하여야 하므로 실시간 비디오의 프레임율에 비하면 많은 시간이 소요된다.
카메라의 CCD, CMOS 센서가 장면의 밝기 범위를 모두 표현할 수 없는 이유는?
최근 일상생활에서 디지털 카메라의 사용이 급증하고 있으며 디지털 카메라의 화소 수, 화질 등의 성능이 지속적으로 향상되고 있다. 그러나 카메라의 CCD (charge-coupled device) 또는 CMOS (complementary metal-oxide semiconductor)센서의 동적범위는 실세계 장면의 동적 범위보다 매우 낮아 장면의 밝기 범위를 모두 표현할 수 없다. 따라서 카메라의 셔터 속도와 조리개의 조절을 통해 장면의 동적 범위를 조절하지만 동적 범위가 매우 다양한 장면에 대해서는 제한적이다.
기존 영상 취득 기법에서 주변광의 밝기가 변하는 환경이나 움직이는 물체에 대해 적용하기 어려운 문제를 해결하기 위한 선행 연구에는 어떤 것들이 있는가?
최근에는 이러한 문제점을 해결하고 효율적으로 HDR 영상을 취득하기 위한 연구가 진행 중이다[7][8][9][10]. Meylan 등은 Retinex 이론에 근거하여 한 장의 LDR 영상의 명암 대비도를 향상시키며 후광효과를 보완한 HDR 영상을 생성하는 방법을 제안하였다[7]. 하지만 이 방법은 후광효과를 보완하는 대신 에지의 디테일 보존이 어렵다. 박대근 등은 장면의 밝기 값에 대한 두 장의 셔터 속도를 얻기 위해 노출이 다른 3장의 입력 영상을 이용한다[8]. 따라서 한 장의 HDR 영상을 취득하기 위해 총 5장의 영상을 필요로 하므로 고속 HDR 취득이 어려운 단점을 가진다. Barakat 등은 장면의 최대/최소 방사량을 이용하여 최적의 노출 집합을취득하였으며[9], Hirakawa 등은 영상의 화소와 방사량의 관계를 확률 모델을 이용하여 최적의 노출 집합을 취득하였다[10]. 그러나 장면에 대한 최적의 노출 집합을 구하기 위해 초기에 최대/최소 방사량의 범위를 구해야 하는 단점을 가진다.
참고문헌 (11)
M. D. Grossberg and S. K. Nayar, "What is the space of camera response function?," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 602-609, June 2003.
J. Takamatsu, "Estimating camera response functions using probabilistic intensity similarity," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, June 2008.
P. Debevec and J. Malik, "Recovering high dynamic range radiance maps from potographs," Proc. ACM SIGGRAPH, pp. 369-378, August 1997.
M. A. Robertson, S. Borman, and L. Stevenson, "Dynamic range improvement through multiple exposures," Proc. IEEE International Conference on Image Processing, pp. 159-163, October 1999.
T. Mitsunaga and S. K. Nayar, "Radiometric self calibration," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1374-1380, June 1999.
S. Mann and R. W. Picard, "Being 'undigital' with digital cameras : Extending dynamic range by combining differently exposed pictures," Proc. Instructional Systems Technology annual Conference, pp. 422-428, May 1995.
L. Meylan and S. Susstrunk, "High dynamic range image with a Retinex-based adaptive filter," IEEE Trans. on Image Processing, vol. 15, no. 9, pp, 2820-2830, September 2006.
박대근, 박기현, 하영호, "다중 노출 복수 영상에서 장면의 다이내믹레인지 추정을 통한 HDR 영상획득," 전자공학회논문지-SP, vol. 45, no. 2, pp. 10-20, 2008년3월.
N. Barakat, A. N. Hone, and T. E. Darcie, "Minimal-bracketing sets for high-dynamic-range image capture," IEEE Trans. on Image Processing, vol. 17, no. 10, pp, 1864-1875, October 2008.
K. Hirakawa and P. J. Wolfe, "Optimal exposure control for high dynamic range imaging," Proc. IEEE International Conference on Image Processing, pp. 3137-3140, September 2010.
E. Reinhard and K. Devlin, "Dynamic range reduction inspired by photoreceptor physiology," IEEE Trans. on Visualization and Computer Graphics, vol. 11, no. 1, pp. 12-24, January/February 2005.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.