[논문]시지각적 통계 특성을 활용한 안개 영상의 가시성 예측 모델

최락권; 유재희

doi:10.5573/ieie.2014.51.4.131

시지각적 통계 특성을 활용한 안개 영상의 가시성 예측 모델
No-Reference Visibility Prediction Model of Foggy Images Using Perceptual Fog-Aware Statistical Features 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.51 no.4, 2014년, pp.131 - 143

초록
AI-Helper

본 논문에서는 자연 이미지가 갖는 통계적 일관성과 안개를 인식하는 시지각적 통계 특성을 이용하여 단일 안개 영상에서, 안개가 없는 참조 영상과의 비교 없이, 시지각적으로 안개 영상의 가시성을 예측한다. 제안하는 모델은 기존 안개 영상의 가시성 예측 방법들이 불가피하게 사용했던 추가 정보들, 예를 들면, 다수의 다양한 안개 영상, 차량 탑재 카메라의 지리적 위치 정보, 사람의 가시성 평가에 대한 학습 결과, 도로 선 혹은 교통 신호와 같이 안개 영상의 돋보이는 특정 물체 정보 등을 사용하지 않는다. 본 논문의 모델은 오직 테스트 안개 영상이 자연 현상에 의한 안개 영상 혹은 안개가 전혀 없는 영상에서 일관적으로 발견되는 통계적 특성으로부터 얼마나 떨어져 있는지 측정함으로써 안개 영상의 가시성을 예측한다. 시지각적으로 안개를 인식하여 일관된 통계를 나타내는 특징 인자들은 공간상의 자연 이미지 통계 모델과 안개 영상의 특징 (명암대비의 감소, 색상과 채도의 감소, 밝기의 증가)으로부터 유도된다. 제안하는 모델은 안개 영상의 전체 영역에 대한 가시성뿐만 아니라 각 관심 영역에서 패치 크기에 따른 지역적 안개 영상의 가시성도 예측할 수 있다. 본 모델의 성능분석을 위하여 사람이 직접 인지하는 가시성 측정 실험을 100 장의 다양한 안개 영상에 대해 수행하였다. 본 논문에서 제시한 모델을 통해 예측된 안개 영상의 가시성과 사람이 체감한 안개 영상의 가시성을 비교한 결과, 둘 사이에 매우 높은 상관관계가 있는 것으로 평가되었다. 본 논문이 제안하는 무참조 안개 영상의 가시성 예측 모델은 사람의 시지각적 특성을 활용한 새로운 방법으로, 향후 안개 영상의 가시성 향상 알고리듬 개발과 선 개발된 안개 제거 및 가시성 향상 알고리듬들의 성능을 정확히 평가할 수 있는 새로운 측정방법 개발 등에 매우 유용할 것으로 기대된다.

Abstract ▼ AI-Helper

We propose a no-reference perceptual fog density and visibility prediction model in a single foggy scene based on natural scene statistics (NSS) and perceptual "fog aware" statistical features. Unlike previous studies, the proposed model predicts fog density without multiple foggy images, without salient objects in a scene including lane markings or traffic signs, without supplementary geographical information using an onboard camera, and without training on human-rated judgments. The proposed fog density and visibility predictor makes use of only measurable deviations from statistical regularities observed in natural foggy and fog-free images. Perceptual "fog aware" statistical features are derived from a corpus of natural foggy and fog-free images by using a spatial NSS model and observed fog characteristics including low contrast, faint color, and shifted luminance. The proposed model not only predicts perceptual fog density for the entire image but also provides local fog density for each patch size. To evaluate the performance of the proposed model against human judgments regarding fog visibility, we executed a human subjective study using a variety of 100 foggy images. Results show that the predicted fog density of the model correlates well with human judgments. The proposed model is a new fog density assessment work based on human visual perceptions. We hope that the proposed model will provide fertile ground for future research not only to enhance the visibility of foggy scenes but also to accurately evaluate the performance of defog algorithms.

주제어

질의응답

핵심어	질문	논문에서 추출한 답변
	안개는 카메라를 통해 얻는 영상에 어떤 영향을 미치는가?	그렇지만 안개, 연무, 연기, 비, 눈 등으로 인한 악천 후 시, 대기 중 입자의 산란은 가시성을 급격히 감소시켜 차량의 운전을 방해하거나 원격 모니터링 시스템 및 카메라를 활용하는 시스템의 성능을 저하시킬 수 있다[1]. 특히 안개는 빛의 감쇠와 산란으로 카메라를 통해 얻어진 영상의 명암대비를 저하시키고, 색상 및 채도를 감소시켜 사물의 정확한 형태를 구별하기 어렵게 한다. 이러한 가시성 저하 문제를 극복하기 위해 오랫동안 안개 영상에서 가시성을 정확히 예측하고, 안개 영상의 선명도를 개선하여 가시성을 향상시키려는 다양한 연구가 광범위하게 진행되어 왔다[2～13].
	간소화된 산란 모델에 가정이 적용되지 않을 경우 가시성이 개선되는가?	안개 영상에 대한 가시성 향상 연구[6～14]도 오랫동안 활발히 진행되어 왔으나, 안개의 정확한 밀집도를 추리하여 가시성을 예측하기가 어렵기 때문에, 대부분의 기존 방법들은 Koschmieder의 간소화된 산란 모델[15]에 개별적인 가정[6-14]을 추가함으로써 거리 정보 및 매체의 전달 특성을 예상하여 안개를 제거하고, 가시성을 향상시켰다. 그러나 설정된 가정이 적용되지 않는 경우, 안개 영상에서의 가시성 개선은 제한적이다.
	이득 변수 비교법의 한계점은?	최근, 안개 제거 알고리즘 적용 전 후의 영상에 대한 edge 정보 및 이득 변수의 결과를 비교하거나[12], 이미지 품질평가 방법을 부분적으로 활용하는 연구 방법[10]이 소개되었다. 그러나 사람의 주관적 평가방법은 다수의 영상 처리, 자동화 처리, 원격 평가가 불가능하여 비실용적이며, 이득 변수 비교법은 원 안개 영상과 안개 제거 후의 영상이 동시에 필요하기 때문에 활용이 제한적이고, 부분적으로 활용된 이미지 품질 평가 방법은 안개 영상의 가시성보다는 노이즈에 의해 저하된 품질을 측정하기 때문에 정확한 가시성 평가가 어렵다.

참고문헌 (31)

S. K. Nayar, and S. G. Narasimhan, "Vision in Bad Weather," in Proc. IEEE Int. Conf. Comput. Vis., pp. 820-827, Sep. 1999.
S. G. Narasimhan, and S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 6, pp. 713-724, Jun. 2003.

상세보기
Y. Y. Schechner, S. G. Narasimhan, and S. K. Nayar, "Instant dehazing of images using polarization," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 325-332, 2001.
D. Pomerleau, "Visibility estimation from a moving vehicle using the RALPH vision system," in Proc. IEEE Intell. Transp. Syst., pp. 906-911, 1997.
N. Hautiere, J. -P. Tarel, J. Lavenant, and D. Aubert. "Automatic fog detection and estimation of visibility distance through use of an onboard camera," Mach. Vis. Appl., vol. 17, no. 1, pp. 8-20, Apr. 2006.

상세보기
R. T. Tan, "Visibility in bad weather from a single image," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 1-8, Jun. 2008.
J. Kopf, B. Neubert, B. Chen, M. Cohen, D. Cohen-Or, O. Deussen, M. Uyttendaele, D. Lischinski, "Deep photo: Model-based photograph enhancement and viewing," ACM Trans. Graph., vol. 27, no. 5, pp.116:1-116:10, 2008.

상세보기
R. Fattal, "Single image dehazing," ACM Trans. Graph., SIGGRAPH, vol. 27, no. 3, p. 72, 2008.
K. He, J. Sun, and X. Tang, "Single image haze removal using dark channel prior," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 1956-1963, Jun. 2009.
C. Ancuti, C. Hermans, and P. Bekaert, "A fast semi-inverse approach to detect and remove the haze from a single image," in Proc. Asian Conf. Comput. Vis., pp. 501-514, 2010.
J. -P. Tarel and N. Hautiere, "Fast visibility restoration from a single color or gray level image," in Proc. IEEE Int. Conf. Comput. Vis., pp. 2201-2208, Sep. - Oct. 2009.
N. Hautiere, J. -P. Tarel, D. Aubert, and E. Dumont, "Blind contrast enhancement assessment by gradient ratioing at visible edges," J. Image Anal. Stereol., vol. 27, no. 2, pp. 87-95, Jun. 2008.

상세보기
J. Yu and Q. Liao, "Fast single image fog removal using edge-preserving smoothing," in Proc. IEEE Int. Conf. Acoust. Speech Signal Process., pp. 1245-1248, May 2011.
B. Qi, T. Wu, and H. He, "A new defogging method with nested windows," in Proc. IEEE Int. Conf. Inform. Eng. Comput. Sci., pp. 1-4, 2009.
H. Koschmieder, "Theorie der horizontalen sichtweite," in Beitrage zur Physik der Freien Atmosphare. Munich, Germany: Keim & Nemnich, 1924.
R. O. Duda and P.E. Hart, and D. G. Stork, Pattern classification. Wiley-Interscience, 2012.
D. L. Ruderman, "The statistics of natural images," Netw. Comput. Neural Syst., vol. 5, no. 4, pp. 517-548, 1994.
M. Carandini, D. J. Heeger, and J. A. Movshon, "Linearity and normalization in simple cells of the macaque primary visual cortex," J. Neurosci., vol. 17, no. 21, pp. 8621-8644, 1997.

상세보기
M. J. Wainwright, O. Schwartz, and E. P. Simoncelli, "Natural image statistics and divisive normalization: Modeling nonlinearities and adaptation in cortical neurons," in Statistical Theories of the Brain. Cambridge, MA: MIT Press, 2002, pp. 203-222.
A. Mittal, A. K. Moorthy, and A. C. Bovik, "No-reference image quality assessment in the spatial domain," IEEE Trans. Image Process., vol.21, no.12, pp.4695-4708, Dec. 2012.

상세보기
A. Mittal, R. Soundararajan, and A. C. Bovik, "Making a "Completely Blind" Image Quality Analyzer," Signal Processing Letters, IEEE, vol.20, no.3, pp.209-212, 2013.

상세보기
A. A. Michelson, Studies in Optics, University of Chicago Press, 1927.
C. E. Shannon, "A mathematical theory of communication," Bell Syst. Tech. J., vol. 27, pp.379 -423, 1948.

상세보기
D. Hasler and S. Susstrunk, "Measuring colourfulness in natural images," in Proc. SPIE Human Vision and Electronic Imaging, vol. 5007, pp. 87-95, 2003.
S. Winkler, "Analysis of public image and video databases for quality assessment," IEEE J. Sel. Topics Signal Process., vol. 6, no. 6, pp. 616-625, Oct. 2012.

상세보기
A. C. Bovik, "Perceptual image processing: Seeing the future," Proc. IEEE, vol. 98, no. 11, pp. 1799-1803, 2010.

상세보기
H. R. Sheikh, M. F. Sabir, and A. C. Bovik, "A statistical evaluation of recent full reference image quality assessment algorithms", IEEE Trans. Image Process., vol. 15, no. 11, pp. 3440-3451, Nov. 2006.

상세보기
D. Martin, C. Fowlkes, D. Tal, and J. Malik, "A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics," in Proc. IEEE Int. Conf. Comput. Vis., pp.416-423, Jul. 2001.
E. C. Larson and D. M. Chandler, "Full-reference image quality assessment and the role of strategy," J. Electron. Imag., vol. 19, no. 1, 2010.
ITU-R BT-500-11: Methodology for the subjective assessment of the quality of television pictures, Int. Telecommunication Union Std..
D. H. Brainard, "The psychophysics toolbox," Spatial Vision, vol. 4, no. 4. pp. 433-436, 1997.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증