문제 정의

• 후)각화소값과의">각 화소값과의 관계를 구할 수 있다. 따라서 본 논문에서는 각 화소값과 각 화소값 사이의 상대적인 노출 비율의 관계를 표현하는 노출 곡선을 정의한다. 노출 곡선 또한 카메라 본 논문에서는 성능 평가를 위해 장면의 밝기 값이 다른 환경에서 기존의 HDR 영상과 제안한 방법으로 취득된 HDR 영상간의 PSNR 비교와 일몰시간에 장면의 밝기 변화에 따른 방사도의 변화를 비교하였다. 영상 취득은 캐논 EOS 550D를 이용하였으며 카메라 본 논문에서는 장면의 밝기 변화에 적합한 최적의 셔터 속도를 가진 두 장의 LDR 영상을 취득하여 HDR 영상을 고속으로 생성하는 방법을 제안하였다. 이를 위하여 영상의 화소와 입사하는 빛의 양에 대한 관계를 이용하여 영상의 밝기에 대한 셔터 속도의 비율을 나타내는 노출 곡선을 정의하였다.
• 본 논문에서는 장면의 밝기에 적합한 셔터 속도를 가진 두 장의 LDR (low dynamic range) 영상을 취득하여 HDR (high dynamic range) 영상을 고속으로 생성하는 새로운 기법을 제안한다. 이를 위하여 특정한 비율을 가지는 서로 다른 두 개의 셔터 속도에 의해 취득된 영상의 화소와 장면에서 카메라 센서에

  가설 설정

  • (a) Reference image. (b) Image with shutter speed which is k times longer than the reference image. In this example, k is 2.
  • 후)영상(b)">영상 (b) 기준 영상보다 셔터 속도가 k배 긴 영상. 본 예제의 경우 k=2 이다.
  • 후)(그림2(b))을">(그림 2(b))을 취득하였다고 가정한다.

    제안 방법

    • 후)각화소간의">각 화소간의 노출 증가량의 관계를 정의하는 카메라 노출 곡선을 추정한다. 그 후 추정된 노출 곡선을 이용하여 장면의 평균 밝기의 변화에 따라 적응적으로 최적의 셔터 속도를 가진 두 장의 LDR 영상을 취득하는 알고리즘을 제안한다. 그림 1은 제안한 알고리즘의 전체적인 처리 과정을 도시하였다.
    • 후)단위 면적당">단위면적당 입사하는 방사도의 관계를 정의한다. 그리고 이를 바탕으로 화소와 각 화소간의 노출 증가량의 관계를 정의하는 카메라 노출 곡선을 추정한다. 그 후 추정된 노출 곡선을 이용하여 장면의 평균 밝기의 변화에 따라 적응적으로 최적의 셔터 속도를 가진 두 장의 LDR 영상을 취득하는 알고리즘을 제안한다.
    • 이를 위하여 영상의 화소와 입사하는 빛의 양에 대한 관계를 이용하여 영상의 밝기에 대한 셔터 속도의 비율을 나타내는 노출 곡선을 정의하였다. 또한 노출 곡선을 이용하여 기준 영상과의 셔터 속도의 비율을 추정함으로서 두 LDR 영상의 셔터 속도를 취득하였다. 다양한 실험 결과, 후)영상 간의">영상간의 PSNR이 노출이 다른 두 장의 LDR 영상의 모든 조합으로 생성된 HDR 영상들의 PSNR 과 비교하여 거의 최상위에 위치하였다. 또한 주변광의 밝기가 연속적으로 변화는 환경에서도 적응적으로 주변광의 밝기에 적합한 셔터 속도를 가진 두 장의 LDR 영상을 취득하였다.
    • 본 논문에서는 I_high와 I_low을 평균 밝기 값으로 가지는 LDR 영상의 셔터 속도를 추정하기 위해 II장에서 설명한 노출 곡선을 이용한다. 기준 영상의 셔터 속도와 LDR_high의 (또는 LDR_low의) 셔터 속도 사이의 비율은 후)노출값으로">노출 값으로 취득한 영상의 히스토그램은 전반적인 형태는 비슷하며 평균 밝기 값만 달라진다. 본 논문에서는 사용자의 경험에 의하거나 자동 카메라의 측광에 의해 얻어지는 노출에 의해 얻은 영상을 기준 영상으로서 취득하고, 이로부터 두 장의 셔터 속도를 추정하는 과정을 거친다. 이후 기준 영상은 사용되지 않는다.
    • ">반응함수이다. 본 논문에서는 화소의 포화(saturation)에 대한 영향을 제거하기 위해 본 과정에 이용되는 화소값의 범위를 [10, 245]로 제한하였으며 초기 화소 p₁은 다소 어두운 영역에서 추출하여 n의 크기가 충분히 커질 수 있도록 한다.
    • 후)본장에서는">본 장에서는 II장에서 추정한 노출 곡선을 이용하여, 주어진 장면의 방사도에 적응적으로 HDR 영상을 생성하기 위한 두 장의 LDR 영상의 셔터 속도를 추정하는 기법을 제시한다.
    • 후)일몰 시간에">일몰시간에 장면의 밝기 변화에 따른 방사도의 변화를 비교하였다. 영상 취득은 캐논 EOS 550D를 이용하였으며 카메라 제어 SDK인 ED SDK 2.8을 이용하여 컴퓨터에서 카메라 설정을 변경하고 영상을 취득할 수 있도록 환경을 구축하였다.
    • 본 논문의 기술적인 주요 기여 내용은 다음과 같다. 우선 두 장의 초기 영상만을 이용하여 영상의 각 화소값 사이의 상대적인 노출 비율을 나타내는 노출 곡선을 추정한다. 이를 이용하여 주어진 장면의 밝기에 가장 바람직한 두 장의 셔터 속도를 구함으로써 최적에 근사하는 LDR 영상 2장을 선별하여 HDR 영상을 생성한다.
    • 본 논문에서는 장면의 밝기 변화에 적합한 최적의 셔터 속도를 가진 두 장의 LDR 영상을 취득하여 HDR 영상을 고속으로 생성하는 방법을 제안하였다. 이를 위하여 영상의 화소와 입사하는 빛의 양에 대한 관계를 이용하여 영상의 밝기에 대한 셔터 속도의 비율을 나타내는 노출 곡선을 정의하였다. 또한 노출 곡선을 이용하여 기준 영상과의 셔터 속도의 비율을 추정함으로서 두 LDR 영상의 셔터 속도를 취득하였다.
    • 후)각화소값">각 화소값 사이의 상대적인 노출 비율을 나타내는 노출 곡선을 추정한다. 이를 이용하여 주어진 장면의 밝기에 가장 바람직한 두 장의 셔터 속도를 구함으로써 최적에 근사하는 LDR 영상 2장을 선별하여 HDR 영상을 생성한다. 또한, 후)유사함을">유사 함을 그림 7에서 확인할 수 있다. 장면의 밝기 값에 따라 카메라에서 취득된 기준 영상의 셔터 속도는 다르기 때문에 장면의 밝기가 상이한 네 가지 환경에서 실험을 하였다. 또한 참값과의 객관적인 제안한 방법으로 취득된 HDR 영상의 객관적인 화질을 판별하기 위해, 카메라에서 제공하는 모든 셔터 속도로 취득한 영상을 입력으로 Robertson 등의 방법으로 취득된 HDR 영상 [4]을 참값으로 가정하고 이 영상에 대한 PSNR로서 알고리즘의 성능을 측정한다. 또한, 각 실험에서 취득된 HDR 영상을 LDR 영상으로 출력하기 위해 Reinhard 등의

      이론/모형

      • 4. Pixel value to the exposure (shutter speed) ratio plot by applying least square estimation method.
      • 제안한 방법으로 취득된 HDR 영상의 객관적인 화질을 판별하기 위해, 카메라에서 제공하는 모든 셔터 속도로 취득한 영상을 입력으로 Robertson 등의 방법으로 취득된 HDR 영상 [4]을 참값으로 가정하고 이 영상에 대한 PSNR로서 알고리즘의 성능을 측정한다. 또한, 각 실험에서 취득된 HDR 영상을 LDR 영상으로 출력하기 위해 Reinhard 등의 톤매핑 방법을 사용하였다^[11].
      • 후)식(4)를">식 (4)를 만족하는 곡선에 대한 최적의 계수를 구하기 위해 Mitsunaga 등과 달리 최소제곱근사 (lease square estimation) 알고리즘을 이용하여 그림 4와 같이 각 화소값과 각 화소값 사이의 상대적인 노출 비율에 대한 곡선을 추정한다.

        성능/효과

        • 또한 노출 곡선을 이용하여 기준 영상과의 셔터 속도의 비율을 추정함으로서 두 LDR 영상의 셔터 속도를 취득하였다. 다양한 실험 결과, 밝기 값이 다른 여러 환경에서 참값으로 가정한 기존의 HDR 영상과 제안한 방법으로 생성된 HDR 영상간의 PSNR이 노출이 다른 두 장의 LDR 영상의 모든 조합으로 생성된 HDR 영상들의 PSNR 과 비교하여 거의 최상위에 위치하였다. 또한 주변광의 밝기가 연속적으로 변화는 환경에서도 적응적으로 후)카메라센서에">카메라 센서에 단위 면적당 더 많은 빛이 입사한 것을 보여준다. 따라서 제안한 알고리즘은 시간에 따라 주변광의 밝기가 변화는 환경에서, 변화된 밝기에 적합한 셔터 속도를 가진 두 장의 LDR 영상을 적응적으로 취득함을 알 수 있다.
        • 이를 이용하여 주어진 장면의 밝기에 가장 바람직한 두 장의 셔터 속도를 구함으로써 최적에 근사하는 LDR 영상 2장을 선별하여 HDR 영상을 생성한다. 또한, 주변광의 밝기가 연속적으로 변하는 환경에서도 이전 평균 밝기 값과 현재 평균 밝기 값 사이의 상대적인 노출 비율을 이용하여 지속적으로 최적의 LDR 영상을 취득함으로써 HDR 비디오 취득으로 확장할 수 있다.
        • ">8에 도시하였다. 실험 결과에서 보듯이 조도 5,300 lux, 7,000 lux, 7,200 lux, 9,160 lux 환경에서 두 장의 LDR 영상의 모든 조합으로 생성된 HDR 영상들 중 제안한 방법으로 취득된 HDR 영상의 PSNR이 각각 약 98%, 100%, 98%, 97%의 상위에 위치하였다. 특히 후)입력 영상의">입력영상의 모든 조합으로 생성된 HDR 영상 중에 참값 영상과의 PSNR이 가장 높게 나타났다. 이는 제안된 알고리즘이 전역 탐색에 의한 최적의 해에 매우 근사하는 LDR 영상 두 장을 선별하여 HDR 영상을 생성함을 알 수 있다.
        • 실험 결과에서 보듯이 조도 5,300 lux, 7,000 lux, 7,200 lux, 9,160 lux 환경에서 두 장의 LDR 영상의 모든 조합으로 생성된 HDR 영상들 중 제안한 방법으로 취득된 HDR 영상의 PSNR이 각각 약 98%, 100%, 98%, 97%의 상위에 위치하였다. 특히 조도 7,000 lux 환경에서는 두 장의 입력영상의 모든 조합으로 생성된 HDR 영상 중에 참값 영상과의 PSNR이 가장 높게 나타났다. 이는 제안된 알고리즘이 전역 탐색에 의한 최적의 해에 매우 근사하는 LDR 영상 해가">포함한다. 해가 지면서 창문 밖의 주변광의 변화가 실내보다 크기 때문에 제안된 방법으로 취득된 셔터 속도는 밝은 영상보다 어두운 영상에서 보다 크게 변하였다. 그러나 취득한 영상과 거의 비슷한 영역의 정보를 포함하였다.

        후속연구

        • 본 연구에서 제안하는 방법은 HDR 영상 취득의 속도를 향상시킴으로써 HDR 비디오 취득에 응용될 수 있고, 향후 감시 카메라에 적용하여 주위환경을 인식하기 어려운 어두운 환경에도 기존의 감시 카메라보다 정확하게 주변 환경을 인식하는데 유용하게 쓰일 수 있다.