[논문]안개 제거 기술의 정량적인 성능 평가 기법 조사

이성민; 유제택; 정승원; 나성웅

doi:10.3745/ktsde.2015.4.12.571

안개 제거 기술의 정량적인 성능 평가 기법 조사
Survey on Quantitative Performance Evaluation Methods of Image Dehazing 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.4 no.12, 2015년, pp.571 - 576

이성민 (동국대학교 전자전기공학부) , 유제택 (국방과학연구소) , 정승원 (동국대학교 멀티미디어공학과) , 나성웅 (충남대학교 전기정보통신공학부)

초록
AI-Helper

다양한 안개 제거 기술이 개발되어왔으나 이들의 성능을 정량 정성적으로 평가하는 방식에 대한 연구는 다소 부족하다. 본 논문에서는 안개 제거 기술의 성능을 평가하기 위하여 사용할 수 있는 다양한 척도를 살펴본다. 성능 척도의 신뢰도 검증을 위하여, 고화질 칼라 깊이 영상을 이용하여 안개 영상을 합성하고 안개 제거 영상과 원 영상을 비교하는 방식을 택한다. 한편 안개 제거 기술을 화질을 기준으로 평가하는 방식이 아닌, 안개 제거 전 후 영상에 대한 컴퓨터 비전 기법의 성능을 비교하는 방식을 검토한다. 다양한 안개 제거 기술 성능 척도에 대한 비교 분석 및 문제점에 대한 해결 방안을 토의한다.

Abstract ▼ AI-Helper

Image dehazing has been extensively studied, but the performance evaluation method for dehazing techniques has not attracted significant interest. This paper surveys many existing performance evaluation methods of image dehazing. In order to analyze the reliability of the evaluation methods, synthetic hazy images are first reconstructed using the ground-truth color and depth image pairs, and the dehazed images are then compared with the original haze-free images. Meanwhile we also evaluate dehazing algorithms not by the dehazed images' quality but by the performance of computer vision algorithms before/after applying image dehazing. All the aforementioned evaluation methods are analyzed and compared, and research direction for improving the existing methods is discussed.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

영상의 화질을 정량적으로 측정하는 기술은 화질 개선 및 영상 복원 기술 개발에 필수적이라 할 수 있다. 본 논문에서는 기존 안개 제거 관련 문헌에서 이용된 정량 화질 척도를 조사 및 분석하였다. 또한 칼라 · 깊이 합성 영상을 이용한 정량 화질 평가와의 비교를 통하여 기존 척도의 신뢰도를 살펴보았다.
본 논문에서는 우선 한 장의 안개 제거 영상으로부터 도출된 다양한 성능 척도(no reference quality metric)와 합성 안개 영상으로부터 도출되는 성능 척도(full reference quality metric)의 비교를 수행한다. 실험 결과를 통하여 한 장의 영상으로부터 도출된 성능 척도들의 신뢰도에 대한 정량 평가를 수행한다.
이 경우 결과 영상의 화질을 단순 평가하는 것보다 실제 컴퓨터 비전 기법의 성능을 얼마나 개선시키느냐를 평가하는 것이 더 적합하다. 본 논문에서는 이러한 관점에서 기존에 제안된 척도[6, 8-12]를 포함한 다양한 척도를 안개 제거 영상에 적용하여 활용 가능성을 평가한다.

제안 방법

Equation (3)에서 local patch의 크기에 따라 안개 제거의 결과가 달라지므로, 3×3(Red), 11×11(Green), 15×15(Blue)의 세 가지 크기에 따른 결과를 비교하였다.
Visible edge는 영상의 edge 중 사람의 눈에 보이는 edge 만을 추출한 것을 나타내며, Hautiere는 안개 제거 후 visible edge가 늘어나는 정도를 측정하여 안개 제거 영상의 품질을 평가하였다[12]. Visible edge를 영상으로부터 추출하는 방법은 다음과 같다.
기존 척도의 신뢰도가 크지 않은 것으로 나타났으므로 향후 좀 더 개선된 척도의 개발이 필요한 것으로 판단된다. 끝으로 컴퓨터 비전 응용을 고려한 안개 제거 효과 측정 방식을 검토하였다.
대부분의 문헌에서 안개를 제거한 후 새롭게 보이는 visible edge의 비율 e , visible edge에서의 평균 gradient 비율 # , 완전하게 검정색과 흰색으로 변환된 화소의 비율 σ 이 안개 제거 영상의 정량 화질 평가를 위하여 사용되었다.
본 논문에서는 기존 안개 제거 관련 문헌에서 이용된 정량 화질 척도를 조사 및 분석하였다. 또한 칼라 · 깊이 합성 영상을 이용한 정량 화질 평가와의 비교를 통하여 기존 척도의 신뢰도를 살펴보았다. 기존 척도의 신뢰도가 크지 않은 것으로 나타났으므로 향후 좀 더 개선된 척도의 개발이 필요한 것으로 판단된다.
본 논문에서는 우선 한 장의 안개 제거 영상으로부터 도출된 다양한 성능 척도(no reference quality metric)와 합성 안개 영상으로부터 도출되는 성능 척도(full reference quality metric)의 비교를 수행한다. 실험 결과를 통하여 한 장의 영상으로부터 도출된 성능 척도들의 신뢰도에 대한 정량 평가를 수행한다.
3C를 통해 확인할 수 있다. 안개가 있는 FRIDA 영상을 이용하여 안개가 포함되지 않은 영상과 안개가 포함된 영상(C/H)에 SIFT를 적용하여 매칭이 되는 특징점 쌍의 개수와 안개가 포함되지 않은 영상과 안개 제거 기법[13]으로 안개를 제거한 후의 영상(C/D)의 매칭이 되는 특징점 쌍을 계산하였다.
4는 FRIDA의 66개의 영상에 대해 SIFT 매칭이 되는 특징점 쌍의 개수를 비교한 결과이다. 안개가 포함되지 않은 동일한 두 영상(C/C)에 SIFT를 적용하여 매칭이 되는 특징점 쌍의 개수와 각각 C/H와 C/D의 매칭되는 특징점 쌍의 개수를 비교하였다. 실험 결과를 통하여 안개 제거 기법 적용 시 매칭되는 특징점 쌍의 개수가 크게 증가하는 것을 확인할 수 있으나, 여전히 동일한 안개가 없는 두 영상에서 적용한 결과에는 미치지 못하므로 개선의 여지가 있는 것을 확인할 수 있다.
이에 대한 하나의 예시로 FRIDA 영상에 문자를 삽입하고 안개를 생성한 후, 안개 제거 전·후 영상에 대한 문자 인식의 정확도를 측정하였다.

대상 데이터

그러나 II절에서 살펴본 바와 같이 안개의 세기는 영상의 깊이에 의존하기 때문에, 정확한 깊이 영상이 안개 영상 생성에 필요하다. 본 연구에서는 정밀한 깊이 영상을 제공하는 FRIDA 데이터베이스를 활용하였다[7]. Fig.

데이터처리

이를 위하여 FRIDA로부터 생성한 다양한 안개 영상에 대하여 안개 제거 기법[13]을 적용하고, 3.1절에 열거된 화질 척도와 3.2절에서 이용한 화질 값 (t(x)와 t̃(x)의 Root Mean Square Error(RMSE))의 비교를 수행하였다. Fig.

이론/모형

이에 대한 하나의 예시로 FRIDA 영상에 문자를 삽입하고 안개를 생성한 후, 안개 제거 전·후 영상에 대한 문자 인식의 정확도를 측정하였다. 문자 인식을 위해서 기존에 개발된 Optical Character Recognition(OCR) 기법을 활용하였다[15]. Fig.

성능/효과

3.1절에서 분석한, 한 장의 안개 제거 영상으로부터 화질 척도를 추출하는 방식은 모든 환경에서 다양한 영상에 적용이 가능하다. 반면 3.
이러한 방식으로 생성된 안개 영상에 안개 제거 기술을 적용하고, 안개 제거 영상과 원 영상을 비교하거나, 예측된 안개 세기와 실제 안개 세기 (t(x)와 t̃(x)을 비교)하는 방식을 통하여 안개 제거 기술의 성능 평가가 가능하다. 결과 영상의 화질을 비교할 경우 Peak Signal to Noise Ratio(PSNR), Self Similiarity(SSIM) 등의 여러 가지 화질 평가 측도를 적용할수 있으나, 안개 물리 모델 기반 안개 제거 기술의 성능 평가를 위해서는 t(x)와 t̃(x)을 비교하는 것이 더 적합하다[14].
안개가 포함되지 않은 동일한 두 영상(C/C)에 SIFT를 적용하여 매칭이 되는 특징점 쌍의 개수와 각각 C/H와 C/D의 매칭되는 특징점 쌍의 개수를 비교하였다. 실험 결과를 통하여 안개 제거 기법 적용 시 매칭되는 특징점 쌍의 개수가 크게 증가하는 것을 확인할 수 있으나, 여전히 동일한 안개가 없는 두 영상에서 적용한 결과에는 미치지 못하므로 개선의 여지가 있는 것을 확인할 수 있다.
이 중 Scale Invariant Feature Transform(SIFT)이 가장 널리 사용되는 특징점 추출 방식이다. 안개가 포함되지 않은 영상과 SIFT 매칭이 되는 특징점 쌍의 숫자를 비교하는 방식을 통하여 결과 영상의 컴퓨터 비전응용에 대한 적합성을 평가할 수 있다. 안개가 특징점 검출에 큰 영향을 미치는 것을 Fig.

후속연구

또한 칼라 · 깊이 합성 영상을 이용한 정량 화질 평가와의 비교를 통하여 기존 척도의 신뢰도를 살펴보았다. 기존 척도의 신뢰도가 크지 않은 것으로 나타났으므로 향후 좀 더 개선된 척도의 개발이 필요한 것으로 판단된다. 끝으로 컴퓨터 비전 응용을 고려한 안개 제거 효과 측정 방식을 검토하였다.
본 논문에서 다루는 안개 제거 기술의 성능 평가 방식을 이해하기 위해서는 안개 물리 모델 및 이를 이용한 안개 제거 기술에 대한 기본적인 이해가 필요하다. 본 절에서는 안개 모델을 간략하게 설명한다.
또한 σ도 기본적으로 outlier에 해당하는 화소의 수를 계산하는 방식이기 때문에 정밀한 화질 측정에는 적합하지 않다. 향후 보다 개선된 척도를 고안하여 안개 제거 영상의 화질을 평가할 필요가 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	특징점 추출 방식 중 가장 널리 사용되는 방식은 무엇인가?	특징점 추출(feature extraction)은 컴퓨터 비전 응용 기술의 가장 중요한 요소 기술 중 하나이다. 이 중 Scale Invariant Feature Transform(SIFT)이 가장 널리 사용되는 특징점 추출 방식이다. 안개가 포함되지 않은 영상과 SIFT 매칭이 되는 특징점 쌍의 숫자를 비교하는 방식을 통하여 결과 영상의 컴퓨터 비전응용에 대한 적합성을 평가할 수 있다.
	기존 안개 제거 기술은 어떻게 나눌 수 있는가?	기존 안개 제거 기술은 크게 화질 개선에 기반한 기술[1]과 안개 모델을 이용한 영상 복원 기술[2-5]로 나눌 수 있다. 이 중 안개 열화 모델을 고려한 안개 제거 기술이 안개를 보다 근본적으로 제거할 수 있는 방식이므로 많은 후속 연구들이 안개 모델을 채택하고 있다.
	안개 제거 기술에서 안개 제거 영상의 품질을 직접적으로 평가하기 위한 참조 영상이 존재하지 않는 이유는 무엇인가?	일반적인 안개 제거 기술은 한 장 혹은 여러 장의 안개 영상을 입력으로 사용하여 안개 제거 영상을 생성한다. 그러므로 안개 제거 영상의 품질을 직접적으로 평가하기 위한 참조 영상(reference image)이 존재하지 않는다.

참고문헌 (15)

S. G. Narasimhan and S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Trans. Pattern Anal. Mach. Intell., Vol.25, No.6, pp.713-724, 2003.

상세보기
R. Fattal, "Single image dehazing," ACM Trans. Graph., Vol.27, No.72, pp.1-9, 2008.
R. T. Tan, "Visibility in bad weather from a single image," in Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp.1-8, Anchorage, USA, Jun., 2008.
S. K. Nayar and S. G. Narasimhan, "Vision in bad weather," in Proc. IEEE Conf. Computer Vision, pp.820-827, Kerkyra, Greece, Sept., 1999.
K. He, J. Sun, and X. Tang, "Single image haze removal using dark channel prior," in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, pp.1956-1963, Miami, USA, Jun., 2009.
X. Liu and J. Y. Hardeberg, "Fog removal algorithms: Survey and perceptual evaluation," Visual Information Processing (EUVIP), 2013 4th European Workshop on, pp.118-123, 2013.
J.-P. Tarel, N. Hautiere, L. Caraffa a, H. Halmaoui, and D. Gruyer, "Vision enhancement in homogeneous and heterogeneous," IEEE Trans. Intelligent Transportation Systems Magazine, Vol.4, No.2, pp.6-20, 2012.
Y.-Q. Zhang, Y. Ding, J.-S. Xiao, J. Liu, and Z. Guo, "Visibility enhancement using an image filtering approach," EURASIP Journal on Advances in Signal Processing, Vol.2012, No.1, pp.220, 2012.

상세보기
X. Lan, L. Zhang, H. Shen, Q. Yuan, and H. Li, "Single image haze removal considering sensor blur and noise," EURASIP Journal on Advances in Signal Processing, Vol.2013, No.1, pp.86, 2013.

상세보기
J.-P. Tarel and N. Hautiere, "Fast visibility restoration from a single color or gray level image," ICCV, pp.2201-2208, 2009.
A. K. Tripathi and S. Mukhopadhyay, "Removal of fog from images: A review," IETE Technical Review, 2012.
N. Hautiere, J. P. Tarel, D. Aubert, and E. Dumont, "Blind contrast enhancement assessment by gradient ratioing at visible edges," Image Analysis & Stereology, Vol.27, No.2, pp.87-95, 2008.

상세보기
K. He, J. Sun, and X. Tang, "Guided image filtering," IEEE Tans. Pattern Anal. Mach. Intell., Vol.35, No.6, pp.1397-1409, 2013.

상세보기
Y.-H. Lai, Y.-L. Chen, and C. -T. Hsu, "Single-image dehazing via optimal transmission map under scene priors," IEEE Trans. Circuits Syst. Video Technol., Vol.25, No.1, 2015.

상세보기
S. Mori, H. Nishida, and H. Yamada, "Optical Character Recognition," John Wiley&Sons Inc., 1999.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증