일반적으로 HDR 영상을 얻기 위해서는 장면의 다이내믹 레인지를 충분히 포함하는 노출이 다른 많은 영상이 필요하고, 그 영상을 한 영상으로 합성한다. 본 논문에서는 적은 수의 영상으로 HDR 영상을 얻을 수 있는 효율적인 방법을 제안하였다. 먼저 노출이 다른 두 장의 영상을 사용해 장면의 다이내믹 레인지를 추정하였다. 이 두 영상은 장면의 다이내믹 레인지의 상한점과 하한점을 포함한다. 장면에 상관없이 노출 시간의 변화에 따라 상한점을 포함하는 영상의 최대 그레이레벨과 하한점을 포함하는 영상의 최소 그레이레벨이 일정한 경향이 나타나는 것을 확인하였다. 이런 경향을 모델링하여, 장면의 다이내믹 레인지를 추정하였다 추정한 장면의 다이내믹 레인지는 HDR 영상 획득을 위한 노출 시간을 찾는 데에 사용된다. 카메라의 다이내믹 레인지 세 개로 카메라가 만들 수 있는 전체 다이내믹 레인지를 포함할 수 있기 때문에, 영상 세 장만으로 HDR 영상을 얻을 수 있었다. HDR 영상의 오차를 평가하기 위해 가상의 카메라 영상을 사용하는 실험을 하였다. 실험을 통해 제안한 방법으로 얻은 HDR 영상의 오차가 10장 이상의 영상을 사용하여 얻은 HDR 영상의 오차가 큰 차이가 없음을 확인하였다.
일반적으로 HDR 영상을 얻기 위해서는 장면의 다이내믹 레인지를 충분히 포함하는 노출이 다른 많은 영상이 필요하고, 그 영상을 한 영상으로 합성한다. 본 논문에서는 적은 수의 영상으로 HDR 영상을 얻을 수 있는 효율적인 방법을 제안하였다. 먼저 노출이 다른 두 장의 영상을 사용해 장면의 다이내믹 레인지를 추정하였다. 이 두 영상은 장면의 다이내믹 레인지의 상한점과 하한점을 포함한다. 장면에 상관없이 노출 시간의 변화에 따라 상한점을 포함하는 영상의 최대 그레이레벨과 하한점을 포함하는 영상의 최소 그레이레벨이 일정한 경향이 나타나는 것을 확인하였다. 이런 경향을 모델링하여, 장면의 다이내믹 레인지를 추정하였다 추정한 장면의 다이내믹 레인지는 HDR 영상 획득을 위한 노출 시간을 찾는 데에 사용된다. 카메라의 다이내믹 레인지 세 개로 카메라가 만들 수 있는 전체 다이내믹 레인지를 포함할 수 있기 때문에, 영상 세 장만으로 HDR 영상을 얻을 수 있었다. HDR 영상의 오차를 평가하기 위해 가상의 카메라 영상을 사용하는 실험을 하였다. 실험을 통해 제안한 방법으로 얻은 HDR 영상의 오차가 10장 이상의 영상을 사용하여 얻은 HDR 영상의 오차가 큰 차이가 없음을 확인하였다.
Generally, to acquire an HDR image, many images that cover the entire dynamic range of the scene with different exposure times are required, then these images are fused into one HDR image. This paper proposes an efficient method for the HDR image acquisition with small number of images. First, we es...
Generally, to acquire an HDR image, many images that cover the entire dynamic range of the scene with different exposure times are required, then these images are fused into one HDR image. This paper proposes an efficient method for the HDR image acquisition with small number of images. First, we estimated scenic dynamic range using two images with different exposure times. These two images contain the upper and lower limit of the scenic dynamic range. Independently of the scene, according to varied exposure times, similar characteristics for both the maximum gray levels in images that include the upper limit and the minimum gray levels in images that include the lower limit are identified. After modeling these characteristics, the scenic dynamic range is estimated using the modeling results. This estimated scenic dynamic range is then used to select the proper exposure times for the acquisition of an HDR image. We selected only three proper exposure times because entire dynamic range of the cameras could be covered by three dynamic range of the cameras with different exposure times. To evaluate the error of the HDR image, experiments using virtual digital camera images were carried out. For several test images, the error of the HDR image using proposed method was comparable to that of the HDR image which utilize more than ten images for the HDR image acquisition.
Generally, to acquire an HDR image, many images that cover the entire dynamic range of the scene with different exposure times are required, then these images are fused into one HDR image. This paper proposes an efficient method for the HDR image acquisition with small number of images. First, we estimated scenic dynamic range using two images with different exposure times. These two images contain the upper and lower limit of the scenic dynamic range. Independently of the scene, according to varied exposure times, similar characteristics for both the maximum gray levels in images that include the upper limit and the minimum gray levels in images that include the lower limit are identified. After modeling these characteristics, the scenic dynamic range is estimated using the modeling results. This estimated scenic dynamic range is then used to select the proper exposure times for the acquisition of an HDR image. We selected only three proper exposure times because entire dynamic range of the cameras could be covered by three dynamic range of the cameras with different exposure times. To evaluate the error of the HDR image, experiments using virtual digital camera images were carried out. For several test images, the error of the HDR image using proposed method was comparable to that of the HDR image which utilize more than ten images for the HDR image acquisition.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 HDR 영상을 얻을 때에 필요한 영상의 개수를 줄였다. 장면의 다이내믹 레인지를 추정하고, 영상의 중복되는 다이내믹 레인지를 줄여서 필요한 영상의 개수를 최소한으로 줄이는 방법을 제안하였다.
본 논문에서는 일반 디지털 카메라로 HDR 영상을 얻을 때 기존의 방법에 비해 효율적인 방법을 제안하였다. 기존의 방법에서는 장면의 다이내믹 레인지를 모르기 때문에 많은 수의 영상을 필요로 한다.
Cerman는 위와 같이 가상 영상들을 이용해 기존의 카메라 특성 곡선을 구하는 논문들의 방법이 실제의 카메라 특성 곡선과 비교해 얼마나 정확한지 평가하였다. 본 논문에서는 카메라 특성 곡선의 정확도가 아닌, HDR 영상의 정확도를 평가하였다. 여러 가상 영상을 합성하여 HDR 영상을 만들고, 원본 HDR 영상과 비교하여 재생한 HDR 영상의 오차를 구하였다.
가설 설정
Mam이 이 비선형적인 관계의 문제를 설명하였으나, 카메라 특성 곡선을 추정하는 데에는 다소 제한된 방법을 사용하였다闾 후에 Debevec이 radiance와 노출 시간과의 곱과 그레이 레벨과의 관계를 특이값 분해 (Singular Value Decomposition)를 사용하여 최소 자승법을 풂으로써 카메라 특성 곡선을 추정하는 방법을 개선하였다"I Robertsone Gauss-Seidel relaxation 방법을 이용하여 카메라 특성 곡선을 추정하였고®1, Mitsunaga와 Nayar 는 두 영상의 radiance의 비율이 노출 시간의 비와 같음을 이용하여 카메라 특성 곡선을 다항식으로 모델링하여 추정하였는데, 이 방법에 대해 구체적으로 알아보겠다 回. Mitsunaga와 Nayar는 카메라 특성 곡선을 식 (2)와 같이 다항식으로 가정하였다.
제안 방법
Debevec, Robertson, Nayar의 방법인 노출 시간을 두 배의 차이로 해서 여러 장 합성한 HDR 영상'7~이 중 오차가 가장 작은 HDR 영상과 제안한 방법의 HDR 영상의 오차를 비교하였다. 불빛이 있는 밤의 장면에서 의예를 들면, 노출 시간이 기존의 방법대로 두 배의 차이일 때는 영상의 수가 15장, 제안한 방법은 영상의 수가 장면의 다이내믹 레인지를 추정할 때 2장, 그리고 HDR 영상을 만들 때 3장, 합해서 5장이다.
T, g, b는 각각 RGB 채널을 나타내고, ne 총 픽 셀의 개수, 2는 픽셀의 위치를 나타낸다. RGB 각각의 채널에 대해 원본 HDR 영상의 radiance와 재현한 HDR 영상의 radiance의 차를 원본 HDR 영상의 radiance로 나누고 이를 각각의 채널에 대해 더한 다음 평균하였다. 원본 HDR 영상의 radiance를 나누지 않으면, radiance가 큰 픽 셀에서 는 radiance 추정이 조금만 잘못 되어도 그 오차가 너무 크게 나고, radiance가 작은 픽 셀에서는 radiance 추정이 크게 잘못되더라도 그 오차가 크지 않는 등의 문제가 생긴다.
Debevece 그레이레벨 128에서 최고이며 128을 중심으로 가중치가 선형적으로 작아지도록 했다. Robertsone 128을 중심으로 가우시안 모양으로 가중치가 작아지도록 하였고, Mitsunaga와 Nayar는 카메라 특성 곡선을 카메라 특성 곡선의 도함수로 나눈 것을 가중치 하였다. 이는 카메라 특성 곡선의 기울기가 완만할 때에는 그레이레벨에 대해 radiance 추정이 정밀하지만, 기울기가 급할 때에는 그레이레벨에 대해 radiance 추정 오차가 크다는 것을 이용한 것이다.
하지만 HDR 영상은 단일 패치가 아니기에 측정이 어렵다. 그래서 측정이 아닌 시뮬레이션을 통하여 HDR 영상을 평가하는 방법을 제안하였고, 그림 8에서 흐름도를 나타내었다.
다항식의 차수, 以은 계수를 나타낸다. 그리고 카메라 특성 곡선의 추정은 노출 시간의 비율을 이용하였다.
본 논문에서는 노출이 다른 두 장의 영상 정보를 사용하여 장면의 다이내믹 레인지를 추정하였다. 노출 시간의 변화에 따라 카메라의 다이내믹 레인지가 변하고, 카메라의 다이내믹 레인지가 장면의 다이내믹 레인지를 벗어날 때 영상의 그레이레벨의 최대값과 최소값이 일정한 경향을 가지고 변화하는데, 이런 경향을 모델링함으로써 장면의 다이내믹 레인지를 추정하였다. 그리고 추정한 장면의 다이내믹 레인지를 이용하여 카메라의 다이내믹 레인지가 중복되는 부분을 줄임으로써 필요한 영상의 개수를 줄였다.
노출이 다른 영상 두 장을 찍고, 이 영상의 정보를 이용해 장면의 다이내믹 레인지를 추정하였다. 사진을 찍을 때 노출을 길게 하면 영상은 밝아지고, 노출을 짧게 하면 영상은 어두워지는 등 영상의 그레이레벨이 바뀌게 된다.
기존의 방법에서는 장면의 다이내믹 레인지를 모르기 때문에 많은 수의 영상을 필요로 한다. 본 논문에서는 노출이 다른 두 장의 영상 정보를 사용하여 장면의 다이내믹 레인지를 추정하였다. 노출 시간의 변화에 따라 카메라의 다이내믹 레인지가 변하고, 카메라의 다이내믹 레인지가 장면의 다이내믹 레인지를 벗어날 때 영상의 그레이레벨의 최대값과 최소값이 일정한 경향을 가지고 변화하는데, 이런 경향을 모델링함으로써 장면의 다이내믹 레인지를 추정하였다.
오차를 비교하였다. 불빛이 있는 밤의 장면에서 의예를 들면, 노출 시간이 기존의 방법대로 두 배의 차이일 때는 영상의 수가 15장, 제안한 방법은 영상의 수가 장면의 다이내믹 레인지를 추정할 때 2장, 그리고 HDR 영상을 만들 때 3장, 합해서 5장이다. 표 2에서 결과 오차를 비교하였는데 두 배의 노출 시간의 차이를 가진 영상으로 얻은 HDR 영상과 제안한 방법으로 얻은 HDR 영상이 큰 차이가 없음을 확인할 수 있다.
본 논문에서는 카메라 특성 곡선의 정확도가 아닌, HDR 영상의 정확도를 평가하였다. 여러 가상 영상을 합성하여 HDR 영상을 만들고, 원본 HDR 영상과 비교하여 재생한 HDR 영상의 오차를 구하였다. 재생한 HDR 영상의 오차를 다음 식 (8)과 같이 구하였다.
그림 10에서 노출 시간이 짧아질수록 카메라는 밝기가 밝은 부분의 정보를 얻게 됨을 나타낸다. 영상 세 장으로 HDR 영상을 만들 때 그 세 장의 최적의 노출 시간을 정하기 위해 먼저 임의의 노출 시간 세 개로 HDR 영상을 만들었는데, 이때엔 HDR 영상의 오차가 컸다. HDR 영상의 오차가 작을 때는 영상 한 장의 노출 시간은 카메라의 다이내 믹 레인지가 장면의 다이내믹 레인지 중간이 되도록, 그리고 다른 두 장의 노출 시간은 카메라의 다이내믹레인지가 장면의 다이내믹 레인지 중간에서 대칭이 되도록 했을 때이다.
논문마다 가중치를 구하는 것에서 조금씩의 차이가 있긴 하지만 큰 형태는 비슷했다. 이렇게 그레이레벨에 가중치를 두어 여러 영상을 합성하여 radiance 정보를 가지는 한 장의 HDR 영상을 얻었다.
원본 HDR 영상의 radiance를 나누지 않으면, radiance가 큰 픽 셀에서 는 radiance 추정이 조금만 잘못 되어도 그 오차가 너무 크게 나고, radiance가 작은 픽 셀에서는 radiance 추정이 크게 잘못되더라도 그 오차가 크지 않는 등의 문제가 생긴다. 이에 대한 문제를 해결하기 위해 신호 대 잡음비의 개념을 사용해 원본 HDR 영상의 radiance를 나누어주었다. 실제로식 (8)은 신호에 해당하는 HDR 영상의 radiance는 분모에, 그리고 잡음에 해당하는 재생한 HDR 영상의 radiance와 원본 HDR 영상의 radiance 차이를 분자에 둠으로써 신호 대 잡음비의 역의 개념이 된다.
일반 카메라를 사용하여 기존에 Debevec, Malik, Mitsunaga, Nayar 그리고 Robertson 등이 HDR 영상을 얻는 것에 관한 방법을 제*切 안하였다 모든 방법에서 노출이 다른 사진을 여러 장 찍고, 이 영상을 합성하여 HDR 영상을 얻었다. 이때 노출 시간을 두 배의 차이로 해서 보통 10장 이상의 사진을 찍었는데, 이는 장면의 다이내믹 레인지가 어느 정도 되는지 알기 어렵기 때문에 장면의 다이내믹 레인지를 충분히 포함하는 넓은 노출의 범위를 가진 많은 영상이 필요한 것이다.
개수를 줄였다. 장면의 다이내믹 레인지를 추정하고, 영상의 중복되는 다이내믹 레인지를 줄여서 필요한 영상의 개수를 최소한으로 줄이는 방법을 제안하였다.
대상 데이터
HDR 영상 획득을 위해서 영상 세 장을 사용하였다. 이는 그림 10에서 볼 수 있듯이 일반적으로 카메라에서 노출 시간을 다르게 해서 만들 수 있는 최대의 다이내믹 레인지를 카메라의 다이내믹 레인지 세 개로 포함할 수 있기 때문이다.
실험에는 캐논 10D와 코니카미놀타 Dynax 5D 카메라 두 대를 사용했고, 실외와 실내, 그리고 낮과 밤 등 장면의 다이내믹 레인지가 넓은 장면과 그렇지 않은 장면 등 여 러 장면에서 사진을 찍었다. 그림 14는 어두운 복도에서 창문을 바라보는 장면이다.
그리고 추정한 장면의 다이내믹 레인지를 이용하여 카메라의 다이내믹 레인지가 중복되는 부분을 줄임으로써 필요한 영상의 개수를 줄였다. 카메라에서 노출 시간을 바꿈으로써 만들 수 있는 최대의 다이내믹 레인지를 카메라의 다이내믹레인지 세 개로 포함할 수 있기 때문에 본 논문에서는 영상 세 장으로 HDR 영상을 획득하였다. 가상 카메라 영상을 만들어 HDR 영상을 평가하였는데, 기존의 방법으로 얻은 HDR 영상과 제안한 방법으로 얻은 HDR 영상의 오차의 차가 크지 않으며 제안한 방법이 효율적임을 확인하였다.
이론/모형
노출 시간 감소의 단계가 증가할 때, 영상의 최대 그레이레벨이 장면에 상관없이 일정한 경향을 가지고 감소함을 볼 수 있다. 이러한 경향을 3차 다항 회귀방정식을 이용하여 모델링하였다.
성능/효과
카메라에서 노출 시간을 바꿈으로써 만들 수 있는 최대의 다이내믹 레인지를 카메라의 다이내믹레인지 세 개로 포함할 수 있기 때문에 본 논문에서는 영상 세 장으로 HDR 영상을 획득하였다. 가상 카메라 영상을 만들어 HDR 영상을 평가하였는데, 기존의 방법으로 얻은 HDR 영상과 제안한 방법으로 얻은 HDR 영상의 오차의 차가 크지 않으며 제안한 방법이 효율적임을 확인하였다.
노출 시간의 변화에 따라 카메라의 다이내믹 레인지가 변하고, 카메라의 다이내믹 레인지가 장면의 다이내믹 레인지를 벗어날 때 영상의 그레이레벨의 최대값과 최소값이 일정한 경향을 가지고 변화하는데, 이런 경향을 모델링함으로써 장면의 다이내믹 레인지를 추정하였다. 그리고 추정한 장면의 다이내믹 레인지를 이용하여 카메라의 다이내믹 레인지가 중복되는 부분을 줄임으로써 필요한 영상의 개수를 줄였다. 카메라에서 노출 시간을 바꿈으로써 만들 수 있는 최대의 다이내믹 레인지를 카메라의 다이내믹레인지 세 개로 포함할 수 있기 때문에 본 논문에서는 영상 세 장으로 HDR 영상을 획득하였다.
불빛이 있는 밤의 장면에서 의예를 들면, 노출 시간이 기존의 방법대로 두 배의 차이일 때는 영상의 수가 15장, 제안한 방법은 영상의 수가 장면의 다이내믹 레인지를 추정할 때 2장, 그리고 HDR 영상을 만들 때 3장, 합해서 5장이다. 표 2에서 결과 오차를 비교하였는데 두 배의 노출 시간의 차이를 가진 영상으로 얻은 HDR 영상과 제안한 방법으로 얻은 HDR 영상이 큰 차이가 없음을 확인할 수 있다. 영상의 radiance를 선형적으로 디지털 값으로 사상한 영상을 PSN眼로도 구하였는데, 비교 영상 둘 다 일반적으로 원본 영상과 눈으로 차이를 확인할 수 없다고 하는 30[dB] 이상이며, 그리고 두 영상의 PSNR이 큰 차이가 없다.
참고문헌 (14)
M. Y. Lee, C. H. Son, J. M. Kim, C. H. Lee and Y. H. Ha, 'Illumination-Level Adaptive Color Reproduction Method with Lightness Adaptation and Flare Compensation for Mobile Display,' Journal of Imaging Science and Technology. Vol. 51, No. 1, pp. 44-52, Jan.-Feb., 2007
B. Wandell, P. Catrysse, J. DiCarlo, D. Yang and A. E. Gamal, 'Multiple Capture Single Image with a CMOS Sensor,' Chiba Conference on Multspectral Imaging, pp. 11-17, 1999
A. O. Akyuz and E. Reinhard, 'Color appearance in high-dynamic-range imaging,' Journal of Electronic Imaging Vol. 15, Issue 3, Jul. -Sep. 2006
E. A. Khan, A. O. Akyuz and E. Reinhard, 'Ghost Removal in High Dynamic Range Images,' IEEE International Conference on Image Processing, Atlanta, USA, Oct. 2006
K. Devlin, 'A review of tone reproduction techniques,' Tech. Rep. CSTR-02-005, Department of Computer Science, University of Bristol, Nov. 2002
S. Mann and R. Picard, 'Being 'Undigital' with Digital Cameras: Extending Dynamic Range by Combining Differently Exposed Pictures,' Proc. of IST's 48th Annual Conference, pp. 422-428, May. 1995
P. E. Debevec and J. Malik, 'Recovering High Dynamic Range Radiance Maps from Photographs,' Proc. of ACM SIGGRAPH, pp. 369-378, 1997
M. A. Robertson, S. Borman and R. L. Stevenson, 'Estimation-theoretic approach to dynamic range enhancement using multiple exposures,' Journal of Electronic Imaging Vol. 12, Issue 2, pp. 219-228, Apr. 2003
T. Mitsunaga and S. K. Nayar, 'Radiometric Self Calibration,' Proc. of Computer Vision and Pattern Recognition, pp. 374-380, Jun. 1999
E. Reinhard, G. Ward, P. Debevec, and S. Pattanaik, 'High Dynamic Range Imaging: Acquisition, Display, and Image Based Lighting,' Morgan Kaufmann, San Francisco, CA, 2005
S. Battiato, A. Castorina and M. Mancuso, 'High dynamic range imaging for digital still camera: an overview,' Journal of Electronic Imaging Vol. 12, Issue 3, pp. 459-469, Jul. 2003
H. Haneishi, S. Miyahara and A. Yoshida, 'Image Acquisition Technique for High Dynamic Range Scenes Using a Multiband Camera,' Color research and application Vol. 31, Issue 4, pp. 294-302, Aug. 2006
M. D. Grossberg and S. K. Nayar, 'High Dynamic Range from Multiple Images: Which Exposures to Combine?,' ICCV Workshop on Color and Photometric Methods in Computer Vision, Oct. 2003
L. Cerman and V. Hlavac, 'Exposure time estimation for high dynamic range imaging with hand held camera,' Computer Vision Winter Workshop, Feb. 2006
※ AI-Helper는 부적절한 답변을 할 수 있습니다.