다중 컬러필터 조리개 시스템을 위한 적응적 히스토그램 평활화를 이용한 영상 개선 Image Enhancement Using Adaptive Region-based Histogram Equalization for Multiple Color-Filter Aperture System원문보기
본 논문은 다중 컬러 필터 조리개 (multiple color-filter aperture; MCA) 시스템에서 영역 적응적 히스토그램 평활화를 사용하여 저노출 환경에서도 강건한 새로운 디지털 다중초점 (multifocusing) 방법을 소개한다. MCA 시스템은 획득된 영상의 컬러 채널 간에 발생하는 부정합 (misalignment) 정도를 측정하여 카메라의 거리에 따른 장면의 상대적 심도 정보를 추출한다. 추출된 상대적 심도 정보는 관심영역 (regsion-of-interests; ROIs) 분류 (classification), 정합 (registration), 융합 (fusion) 등의 과정을 통하여 다중초점 영상을 생성한다. 그러나 MCA 시스템은 유한한 구경의 조리개로 때문에 저노출 환경에서 성능의 저하를 초래하게 된다. 이러한 문제를 해결하기 위해 공간 적응적 히스토그램 확장을 이용한다. 실험결과에서 볼 수 있듯이, 제안한 기술은 저노출 환경에서도 콘트라스트가 향상된 다중초점 영상을 복원할 수 있음을 보여준다.
본 논문은 다중 컬러 필터 조리개 (multiple color-filter aperture; MCA) 시스템에서 영역 적응적 히스토그램 평활화를 사용하여 저노출 환경에서도 강건한 새로운 디지털 다중초점 (multifocusing) 방법을 소개한다. MCA 시스템은 획득된 영상의 컬러 채널 간에 발생하는 부정합 (misalignment) 정도를 측정하여 카메라의 거리에 따른 장면의 상대적 심도 정보를 추출한다. 추출된 상대적 심도 정보는 관심영역 (regsion-of-interests; ROIs) 분류 (classification), 정합 (registration), 융합 (fusion) 등의 과정을 통하여 다중초점 영상을 생성한다. 그러나 MCA 시스템은 유한한 구경의 조리개로 때문에 저노출 환경에서 성능의 저하를 초래하게 된다. 이러한 문제를 해결하기 위해 공간 적응적 히스토그램 확장을 이용한다. 실험결과에서 볼 수 있듯이, 제안한 기술은 저노출 환경에서도 콘트라스트가 향상된 다중초점 영상을 복원할 수 있음을 보여준다.
In this paper, we present a novel digital multifocusing approach using adaptive region-based histogram equalization for the multiple color-filter aperture (MCA) system with insufficient amount of incoming light. From the image acquired by the MCA system, we can estimate the depth information of obje...
In this paper, we present a novel digital multifocusing approach using adaptive region-based histogram equalization for the multiple color-filter aperture (MCA) system with insufficient amount of incoming light. From the image acquired by the MCA system, we can estimate the depth information of objects at different distances by measuring the amount of misalignment among the RGB color planes. The estimated depth information is used to obtain multifocused images together with the process of the region-of-interests (ROIs) classification, registration, and fusion. However, the MCA system results in the low-exposure problem because of the limited size of the apertures. For overcoming this problem, we propose adaptive region-based histogram equalization. Based on the experimental results, the proposed algorithm is proved to be able to obtain in-focused images under the low light level environment.
In this paper, we present a novel digital multifocusing approach using adaptive region-based histogram equalization for the multiple color-filter aperture (MCA) system with insufficient amount of incoming light. From the image acquired by the MCA system, we can estimate the depth information of objects at different distances by measuring the amount of misalignment among the RGB color planes. The estimated depth information is used to obtain multifocused images together with the process of the region-of-interests (ROIs) classification, registration, and fusion. However, the MCA system results in the low-exposure problem because of the limited size of the apertures. For overcoming this problem, we propose adaptive region-based histogram equalization. Based on the experimental results, the proposed algorithm is proved to be able to obtain in-focused images under the low light level environment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 MCA 시스템의 출력 영상에 적응적 히스토그램 평활화를 적용하여 디지털 다중초점이 가능한 시스템을 제안하였다.
본 논문에서는 상대적 심도 정보를 추정할 수 있는 다중 컬러필터 조리개 (multiple color-filter aperture; MCA)를 사용한 계산 카메라 시스템을 소개한다. MCA 시스템은 컬러 채널 이동 모델을 기반으로 객체들의 상대적 심도 정보를 추출하고 이를 이용하여 새로운 디지털 다중초점 시스템 구축을 가능하게 한다.
추정된 히스토그램은 기존 입력 영상과 비교하여 콘트라스트가 확장된 형태로 저노출의 입력 영상을 개선할 수 있는 목표 히스토그램이 된다.
가설 설정
이 열화 성분을 제거하기 위해서, 그림 4(c)와 같이 컬러 분포를 이용한 심도 추정을 수행하여 ROI를 분류한다. 지역 윈도우 w 에 속하는 컬러 화소들을 하나의 클러스터 (cluster)로 가정한다. 그리고 같은 컬러 시차 (disparity)를 가지고 있는 컬러 화소의 집합 CPi(x,y,d)를 다음과 같이 계산한다.
제안 방법
식 (6)은 절대 시차 맵을 제공한다. 그리고 보다 정확한 심도 맵을 추출하기 위해서 평균이동 (mean-shift) 분할 (segmentation)알고리듬 공통요소를 추출한다.
ROI 맵의 블록들 안의 각각의 다른 컬러 채널 이동 정보는 주파수 영역에서 RGB 채널의 위상 변위 (phase transition)을 의미한다. 본 연구에서는 ROI 맵 각각의 영상 안의 고주파 성분에 대한 위상 변위를 정합하여 컬러 채널 이동을 추정한다[10].
영상 융합의 전형적인 문제는 경계 영역에서의 부자연스러운 현상을 가지고 있다는 것이다. 본 연구에서는 가우시안 필터링을 사용해서 경계 영역의 문제를 완화시킨다.
MCA 시스템은 각 조리개가 갖는 유한한 구경 때문에 저노출 환경에서 콘트라스트가 낮은 영상을 획득할 수 밖에 없는 구조적 문제점을 가지고 있다. 우리는 MCA 시스템의 근본적인 한계들을 극복하기 위해, 적응적 히스토그램 평활화를 이용하였다. 실험결과에서 볼 수 있듯이, 제안한 MCA 시스템과 단계별로 구성된 알고리듬들은 영상 내의 모든 객체들에 대해서 초점이 맞는 영상을 생성하는 동시에 콘트라스트가 향상된 영상을 보장한다.
특히 광량이 부족한 공간에서는 콘트라스트 저하가 심해지고 이는 컬러 채널 간 영상 정합 과정의 성능까지 저하시키게 된다. 제안하는 알고리듬은 영상 히스토그램의 분할과 특정 영역 히스토그램 확장을 이용하는 적응적 히스토그램으로 광량 부족에 강건한 다중초점 시스템을 구축한다.
MCA 시스템으로 획득된 영상의 저노출 문제는 콘트라스트 저하뿐만 아니라 영상 정합의 성능 저하를 초래한다. 제안하는 알고리듬은 적응적 히스토그램으로 저노출 영상을 개선한다.
특히 광량이 부족한 실내에서의 촬영은 그림 4(a)와 같이 낮은 콘트라스트를 갖게 되어 전체적인 화질 저하를 가져온다. 제안한 시스템에서는 히스토그램의 분할과 특정 영역 히스토그램 확장을 통하여 입력 영상의 성능을 개선한다.
제안한 알고리듬은 화소의 밝기가 갖는 동적 영역 (dynamic range)을 분할하기 위하여 입력 영상 X의 평균 밝기 값 Xm을 사용하여 히스토그램을 분할한다. 식 (1)에서와 같이, 본 논문에서는 평균 밝기 값을 사용하여 히스토그램을 두 영역으로 분할하고, 두 영역의 히스토그램을 동일한 방법으로 다시 분할하여 최종적으로 4개의 영역으로 분리한다.
제안한 컬러 쉬프트 모델 기반 심도 맵 추정은 효과적으로 피사체에 대한 심도 정보와 함께 ROI를 분류할 수 있다.
대상 데이터
제안한 알고리즘의 성능을 평가하기 위해, 초점거리가 150mm인 렌즈를 적용한 MCA 시스템을 사용하여 실험 영상을 생성했다. 실험 영상은 그림 6과 같이 서로 다른 거리에 존재하는 객체를 가지고 있다.
이론/모형
이러한 컬러 채널 부정합을 제거하기 위하여, 컬러 분포 분석을 통한 심도 추정과 이를 이용한 관심영역 (regions-of-interest; ROIs) 분류 (classification), 그리고 각각의 ROI에서 추출한 영상의 고주파 성분에 대한 정합 (registration) 방법을 이용한다. 이렇게 정합된 영상들은 융합 (fusion)되어 최종적으로 초점이 맞는 영상을 생성한다.
성능/효과
우리는 MCA 시스템의 근본적인 한계들을 극복하기 위해, 적응적 히스토그램 평활화를 이용하였다. 실험결과에서 볼 수 있듯이, 제안한 MCA 시스템과 단계별로 구성된 알고리듬들은 영상 내의 모든 객체들에 대해서 초점이 맞는 영상을 생성하는 동시에 콘트라스트가 향상된 영상을 보장한다. 제안한 시스템은 MCA 시스템으로 획득된 영상의 질을 향상시켜 특정 환경에 영향을 받지 않는 다중초점 시스템을 구현할 수 있을 뿐 만 아니라 상용 디지털 카메라, 캠코더, 그리고 EDoF 시스템에 적용 및 응용할 수 있다.
다중 객체에 대한 비슷한 실험 결과를 그림 8에서 볼 수 있다. 실험결과에서 확인 할 수 있듯이, 제안한 알고리듬은 효과적으로 콘트라스트를 개선할 수 있을 뿐만 아니라, 다중 초점 영상을 효과적으로 복원할 수 있다.
본 논문에서는 MCA 시스템의 출력 영상에 적응적 히스토그램 평활화를 적용하여 디지털 다중초점이 가능한 시스템을 제안하였다. 제안한 시스템은 MCA 시스템의 컬러 채널 이동 모델을 이용하여 심도 맵을 추정하고, 이 심도 정보와 블록 분할을 이용하여 관심 영역을 효과적으로 분류 할 수 있다. 이를 기반으로 컬러 정합 및 융합 방법은 근사적으로 초점이 맞는 영상을 생성한다.
후속연구
실험결과에서 볼 수 있듯이, 제안한 MCA 시스템과 단계별로 구성된 알고리듬들은 영상 내의 모든 객체들에 대해서 초점이 맞는 영상을 생성하는 동시에 콘트라스트가 향상된 영상을 보장한다. 제안한 시스템은 MCA 시스템으로 획득된 영상의 질을 향상시켜 특정 환경에 영향을 받지 않는 다중초점 시스템을 구현할 수 있을 뿐 만 아니라 상용 디지털 카메라, 캠코더, 그리고 EDoF 시스템에 적용 및 응용할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
MCA 시스템이 영상 융합 과정에서 부자연스러운 외곽 성분 제거를 위해 거치는 과정은?
MCA 시스템은 영상 융합 과정에서 발생하는 부자연스러운 외곽 성분들을 제거하기 위해 영상 혼합 (blending) 과정을 거치게 된다. 이 과정을 거치면서 영상의 외곽 성분들의 부자연스러움은 제거되지만 디테일의 손실과 함께 잡음의 영향으로 영상의 화질은 더욱 저하된다.
MCA 시스템의 장점은?
MCA 시스템은 카메라의 광학적 특성을 이용하여 피사체의 거리에 따른 심도 정보를 영상의 컬러 채널 이동으로 추정할 수 있다는 장점이 있다. 그러나 심도 정보 추정을 위하여 개발된 조리개의 크기가 유한하여 일반 카메라의 조리개와 비교할 때 센서로 입력되는 빛의 절대량이 부족하게 되고, 이로 인해서 콘트라스트의 손실이 발생한다.
MCA 시스템의 단점은?
MCA 시스템은 카메라의 광학적 특성을 이용하여 피사체의 거리에 따른 심도 정보를 영상의 컬러 채널 이동으로 추정할 수 있다는 장점이 있다. 그러나 심도 정보 추정을 위하여 개발된 조리개의 크기가 유한하여 일반 카메라의 조리개와 비교할 때 센서로 입력되는 빛의 절대량이 부족하게 되고, 이로 인해서 콘트라스트의 손실이 발생한다. 특히 광량이 부족한 실내에서의 촬영은 그림 4(a)와 같이 낮은 콘트라스트를 갖게 되어 전체적인 화질 저하를 가져온다. 제안한 시스템에서는 히스토그램의 분할과 특정 영역 히스토그램 확장을 통하여 입력 영상의 성능을 개선한다.
참고문헌 (12)
V. Mike, D. Cho, D. Har, and J. Paik, "Color shift model-based segmentation and fusion for digital auto focusing," Journal of Imaging Science and Technology, vol. 51, no. 4, pp. 368-379, July/August 2007.
Y. Bando, B. Chen, and T. Nishita, "Extracting depth and matte using a color-filtered aperture," ACM Trans on Graphics, vol. 27, no. 5, pp. 134:1-134:9, December 2008.
E. Lee, W. Kang, S. Kim and J. Paik, "Color shift model-based image enhancement for digital multifocusing based on a multiple color-Filter aperture camera," IEEE Trans on Consumer Electronics, vol. 56, no. 2, pp. 317-323, May 2010.
J. Shin, V. Maik, J. Lee, and J. Paik, "Multi-object digital auto-focusing using image fusion," Proc. ACIVS 2005, LNCS, vol. 3708, pp. 806-813, September 2005.
V. Maik, J. Shin, J. Lee, and J. Paik, "Pattern selective image fusion for multi-focus image reconstruction," Proc. CAIP 2005, LNCS, vol. 3691, pp. 677-684, September 2005.
J. Shin, S. Hwang, S. Lee, and J. Paik, "Isotropic blur identification for fully digital auto-focusing," Proc. ICIAR 2005, LNCS, vol. 3656, pp. 125-132, September 2005.
S. Nayar, "Computational cameras: redefining the image," IEEE Computer Magazine, Special Issue on Computational Photography, pp.30-38, August, 2006.
G. Park, H. Cho and M. Choi, "A contrast enhancement method using dynamic range separate histogram equalization," IEEE Trans on Consumer Electronics, vol. 54, no. 4, pp. 1981-1987, October 2008.
C. Sun, S. Ruan, M. Shie, and T. Pai, " Dynamic contrast enhancement based on histogram specification," IEEE Trans on Consumer Electronics, vol. 51, no. 4, pp. 1300- 1305, November 2005.
E. Castro and C. Morandi "Registration of translated and rotated images using finite fourier transforms," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 9, no. 5, pp. 700-703, September 1987.
R. Achanta, F. J. Estrada, P. Wils, and S. Susstrunk, "Salient region detection and segmentation," in Proc. ICVS, vol. 5008, pp. 66-75, May 2008.
R. Gonzalez and R. Woods, Digital Image Processing, 3rd ed., PrenticeHall, 2007.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.