[논문]비디오에서 플리커 현상이 없는 효율적인 안개제거

김용민; 박기태; 이동석; 최원주; 문영식

doi:10.5573/ieie.2014.51.8.051

비디오에서 플리커 현상이 없는 효율적인 안개제거
An Efficient Video Dehazing to Without Flickering Artifacts 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.51 no.8, 2014년, pp.51 - 57

김용민 (한양대학교 컴퓨터공학과) , 박기태 (ETRI 부설연구소) , 이동석 (삼성탈레스 전자광학체계그룹) , 최원주 (삼성탈레스 전자광학체계그룹) , 문영식 (한양대학교 컴퓨터공학과)

초록
AI-Helper

본 논문은 비디오에서 안개 제거로 인한 플리커링(깜빡임) 현상을 효율적으로 제거하기 위한 방법을 제시한다. 단일 영상에서 사용하는 안개 제거 방법을 비디오 시퀀스에 그대로 적용하면, 안개제거를 위한 대기값이 매 프레임 마다 개별적으로 계산되기 때문에 플리커링 현상이 발생할 수 있다. 기존의 플리커링 현상을 제거하는 방법으로는 인접한 프레임간의 전달맵의 높은 상관관계 계수를 이용하는 방법이 존재한다. 하지만, 비디오 시퀀스에서 빈번하게 변경되는 대기값에 의해서도 플리커링 현상이 발생할 수 있기 때문에 인접한 프레임간의 상관관계를 효율적으로 고려한 대기값 추정방법이 필요하다. 본 논문에서는 안정적인 대기값 추정을 위해 평균값을 이용해 플리커링 현상을 제거하는 효율적인 안개 제거 기법을 제안한다. 실험결과 제안하는 방법이 기존의 방법보다 플리커링 현상을 줄여 좋은 성능결과를 보여 주는 것을 확인하였다.

Abstract ▼ AI-Helper

In this paper, we propose a novel method to effectively eliminate flickering artifacts caused by dehazing in video sequences. When applying a dehazing technique directly to each image in a video sequence, flicker artifacts may occur because atmospheric values are calculated without considering the relation of adjacent frames. Although some existing methods reduce flickering artifacts by calculating highly correlated transmission values between adjacent frames, flickering artifacts may still occur. Therefore, in order to effectively reduce flickering artifacts, we propose a novel approach considering temporal averages of atmospheric light values calculated from adjacent frames. Experimental results have shown that the proposed method achieves better performance of video dehazing with less flickering artifact than existing methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 플리커링 현상의 발생원인을 분석한 결과 비디오에서의 매 프레임마다 계산된 전달맵의 변화뿐만 아니라 대기값의 빈번한 변화에 의해서도 플리커링 현상이 발생하는 것을 확인하였다. 그러므로, 본 논문에서 대기값의 빈번한 변화를 인접한 프레임들간의 변화를 고려한 대기 평균값을 이용하여 플리커링 현상을 효과적으로 줄이는 방법을 제안한다. 본 논문의 구성은 다음과 같다.
실험결과 최종 안개 제거된 동영상에서 매 프레임마다 계산된 대기 밝기값에 민감하게 반응하여 플리커링 현상이 발생한 것을 확인하였다. 따라서, 본 논문에서는 동영상에서의 안개제거 방법에서 프레임간의 상관관계를 고려하여 플리커 현상을 제거하기 위한 새로운 방법을 제안하였다. 제안하는 방법을 플리커링 스코어를 통하여 성능을 평가한 결과, 기존 Xiao^[9]방법의 평균 플리커링 스코어는 5.
99%의 성능향상을 보였다. 따라서, 본 논문은 비디오에서 플리커링 현상이 줄어든 효율적인 안개제거 방법을 제안하였다.
본 논문에서는 프레임마다 계산된 대기값의 누적된 평균 대기값을 이용해 이전 프레임들간의 변화량이 적고 안정적인 평균값을 반영하여 프레임간의 지속성을 유지하는 방법을 제안한다. 제안하는 방법의 첫 번째 단계로, 동영상에 i번째 프레임 영상을 이용하여 얻은 Dark Channel을 구하고, 두 번째 단계로 He^[3]가 제안한 대기값 추정방법을 사용하여 대기값을 구한다.

제안 방법

즉, RGB 전 채널의 최소값으로 안개의 짙은 정도를 추정할 수 있다. 그래서 He는 안개의 짙은 정도를 추정하기 위해 Dark Channel Prior(DCP)를 전달량맵 생성에 이용하여 안개 제거에 효과적인 방법을 제안하였다. 하지만 전달량맵을 추정하는 단계에서 Laplasian 연산을 이용한 soft matting(에지 일치기법)의 높은 연산복잡도와 시간이 많이 요구되는 단점이 존재한다^[5～6].
제안하는 방법의 전체 흐름도는 그림1과 같다. 본 논문에서는 soft matting의 단점을 보안하기 위해서, 전달량맵 t에 대한 보정을 Xiao^[9]가 제안한 Guided Joint Bilateral 필터를 이용하여 블록현상의 영역을 보상함으로써 에지부분의 후광효과 및 세밀한 에지의 정보를 복원하여 효과적인 안개제거 방법을 사용하였다. 플리커링 현상을 제거하기 위한 실험 단계에서 평균 프레임의 수 N을 30으로 정의함으로써, 대략 1초의 평균값을 이용하여 현재 프레임보다 앞선 30프레임의 평균값들을 이용하여 안정적인 대기값을 계산한다.
안개 제거된 결과 영상을 기존 방법과 비교하기 위해서 프레임마다 안개가 제거된 영상을 그림 2와 같이 비교하였다. Xiao^[9]가 제안한 방법은 그림2와 3에서 보는 바와 같이 대기값 추정결과 프레임마다 빈번한 대기값의 변화로 인하여 안개가 제거된 결과 영상에서 색상 전반의 변화량이 큰 결과를 확인할 수 있다.
본 논문에서는 프레임마다 계산된 대기값의 누적된 평균 대기값을 이용해 이전 프레임들간의 변화량이 적고 안정적인 평균값을 반영하여 프레임간의 지속성을 유지하는 방법을 제안한다. 제안하는 방법의 첫 번째 단계로, 동영상에 i번째 프레임 영상을 이용하여 얻은 Dark Channel을 구하고, 두 번째 단계로 He^[3]가 제안한 대기값 추정방법을 사용하여 대기값을 구한다. 마지막 단계로, 누적된 대기값의 평균값을 식(4)를 이용하여 현재 i번째 프레임의 대기값로 사용한다.

이론/모형

단일 영상을 이용한 안개 제거 방법은 식(3)과 같이 He^[3]가 제안한 방법을 사용하였다. 안개 제거를 위해 He^[3]는 안개 영역은 빛이 산란하여 대조비가 낮아지는 특성을 이용하여 RGB 각 채널값에서 최소의 값을 Dark Channel이라고 정의하였다.
제안하는 방법에서의 대기값이 125에서 130사이의 안정적인 수치를 나타내는 것을 확인할 수 있으며, Xiao^[9]방법과 비교하여 급격하게 변경되지 않고, 변화는 폭이 상대적으로 적은 것을 확인할 수 있다. 플리커링 현상에 대한 성능 평가 방법으로써, Yang^[10]이 제안한 플리커링 스코어를 이용한다. 객체의 움직임으로 인하여 크게 변경되는 블럭의 Luminance의 비율을 줄이기 위해서 플리커링 현상에 실질적으로 영향을 미치는 이전 프레임과의 임계값 이하의 블럭만을 이용한다.

성능/효과

Xiao^[9]가 제안한 방법은 그림2와 3에서 보는 바와 같이 대기값 추정결과 프레임마다 빈번한 대기값의 변화로 인하여 안개가 제거된 결과 영상에서 색상 전반의 변화량이 큰 결과를 확인할 수 있다. 동영상에서 프레임들의 추정된 대기값 변화를 비교하기 위해서 이웃한 프레임간의 결과 영상을 비교하여 제안하는 방법이 상대적으로 안정된 대기값의 추정한 결과 안개가 제거된 복원 동영상에서 플리커링 현상이 현저하게 줄어든 것을 확인할 수 있었다.
하지만 제안한 방법에서 플리커링 스코어는 2를 유지하면서 변화의 폭이 적은 특성을 보인다. 따라서 제안하는 방법이 플리커링 현상을 현저하게 줄인 것을 확인할 수 있었다.
본 논문은 평균 대기밝기값 연산하는 프레임의 개수 N을 30으로 설정하여 실험하였기 때문에, 초기 30프레임에 해당하는 대기값A는 해당 프레임에서 각각 계산된 대기값을 사용하여 플리커링 스코어가 상대적으로 높게 측정되었다. Xiao^[9]의 방법에서는 5에 가깝게 수렵하였지만 프레임이 증가할수록 다시 플리커링 스코어가 증가하면서 플리커링 현상이 전혀 제거되지 않은 것을 확인할 수 있었다.
기존의 안개제거 알고리즘은 대기 밝기값을 추정하는 단계에서 매 프레임마다 각각 계산한 값을 이용하여 안개를 제거하기 때문에 연산량도 많고, 프레임간의 상관관계가 전혀 고려되지 않은 단점이 존재한다. 실험결과 최종 안개 제거된 동영상에서 매 프레임마다 계산된 대기 밝기값에 민감하게 반응하여 플리커링 현상이 발생한 것을 확인하였다. 따라서, 본 논문에서는 동영상에서의 안개제거 방법에서 프레임간의 상관관계를 고려하여 플리커 현상을 제거하기 위한 새로운 방법을 제안하였다.
방법을 프레임별로 그레이 레벨의 밝기값으로 변환하여 비교하였다. 제안하는 방법에서의 대기값이 125에서 130사이의 안정적인 수치를 나타내는 것을 확인할 수 있으며, Xiao^[9]방법과 비교하여 급격하게 변경되지 않고, 변화는 폭이 상대적으로 적은 것을 확인할 수 있다. 플리커링 현상에 대한 성능 평가 방법으로써, Yang^[10]이 제안한 플리커링 스코어를 이용한다.
따라서, 본 논문에서는 동영상에서의 안개제거 방법에서 프레임간의 상관관계를 고려하여 플리커 현상을 제거하기 위한 새로운 방법을 제안하였다. 제안하는 방법을 플리커링 스코어를 통하여 성능을 평가한 결과, 기존 Xiao^[9]방법의 평균 플리커링 스코어는 5.37로써 비교적 높은 수치를 보이지만, 제안하는 방법은 평균 플리커링 스코어가 2.9로 수치가 낮아짐으로써 45.99%의 성능향상을 보였다. 따라서, 본 논문은 비디오에서 플리커링 현상이 줄어든 효율적인 안개제거 방법을 제안하였다.
Xiao^[9]의 방법에서는 5에 가깝게 수렵하였지만 프레임이 증가할수록 다시 플리커링 스코어가 증가하면서 플리커링 현상이 전혀 제거되지 않은 것을 확인할 수 있었다. 하지만 제안하는 방법인 경우 30프레임 이후부터는 평균 대기값 A_i,avg로 계산하여 플리커링 스코어가 2에 가까운 수치로 수렴하여 플리커링 현상이 현저하게 줄어든 것을 확인할 수 있었다. 표 1은 그림 2의 프레임에 해당하는 RGB 채널값들과 플리커링 스코어이다.
그리고 전달맵의 보정을 통해 플리커링 현상을 제거하는 방법이 제안되었다^[1]. 하지만 플리커링 현상의 발생원인을 분석한 결과 비디오에서의 매 프레임마다 계산된 전달맵의 변화뿐만 아니라 대기값의 빈번한 변화에 의해서도 플리커링 현상이 발생하는 것을 확인하였다. 그러므로, 본 논문에서 대기값의 빈번한 변화를 인접한 프레임들간의 변화를 고려한 대기 평균값을 이용하여 플리커링 현상을 효과적으로 줄이는 방법을 제안한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	안개 제거 방법은 어떠한 분야에서 중요한 문제로 인식되고 있는가?	따라서 선명한 영상을 얻기 위해서는 효과적인 안개제거 방법이 필요하며 최근 고품질의 영상을 얻기 위한 수요가 증가하고 있지만 야외에서 촬영된 영상은 공기 중의 안개나 먼지, 수증기 등에 의해 선명한 영상을 얻기가 쉽지 않다. 그래서 안개 제거 방법은 비디오 감시나 리모트 센싱, 타겟 인식 분야를 포함하는 컴퓨터 비전 연구 분야의 중요한 문제로 인식되고 있다.
	전달맵의 보정을 통해 플리커링 현상을 제거하는 방법은 어떠한 문제점이 있는가?	그리고 전달맵의 보정을 통해 플리커링 현상을 제거하는 방법이 제안되었다[1]. 하지만 플리커링 현상의 발생원인을 분석한 결과 비디오에서의 매 프레임마다 계산된 전달맵의 변화뿐만 아니라 대기값의 빈번한 변화에 의해서도 플리커링 현상이 발생하는 것을 확인하였다. 그러므로, 본 논문에서 대기값의 빈번한 변화를 인접한 프레임들간의 변화를 고려한 대기 평균값을 이용하여 플리커링 현상을 효과적으로 줄이는 방법을 제안한다.
	안개는 영상과 관련하여 어떠한 특성이 있는가?	안개는 대기 중에 포함된 먼지나 연무, 안개 등에 의해 빛을 산란시켜 획득하고자 하는 영상의 실제 밝기값을 왜곡시키며 영상 전반의 명암대비를 낮추는 특성이 있다. 따라서 선명한 영상을 얻기 위해서는 효과적인 안개제거 방법이 필요하며 최근 고품질의 영상을 얻기 위한 수요가 증가하고 있지만 야외에서 촬영된 영상은 공기 중의 안개나 먼지, 수증기 등에 의해 선명한 영상을 얻기가 쉽지 않다.

참고문헌 (10)

J.H. Kim, J.Y. Sim and C.S. Kim, "Single image dehazing based on contrast enhancement," 2011 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), pp. 1273-1276, May 2011.
J. Zhang, L. Li, Y. Zhang, G. Yang, X. Cao, J. Sun, "Video dehazing with spatial and temporal coherence," The Visual Computer, vol. 27, no. 6-8, pp. 749-757, June 2011.

상세보기
K. He, J. Sun, and X. Tang, "Single Image Haze Removal Using Dark Channel Prior," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 12, pp.2341-2353, December 2011.

상세보기
K. Gibson, D. Vo and T. Nguyen, "An Investigation in Dehazing Compressed Images and Video," Proceedings of IEEE OCEANS Conference (OCEANS'10), September 2010.
Taeha Um and Wonha Kim, "Dehazing in HSI Color Space with Color Correction," Journal of broadcast engineering, Vol. 18, No. 2, pp. 140-148, March 2013.

원문보기 상세보기
Hyungjo Park, Dubok Park, and Hanseok Ko, "Novel Defog Algorithm via Evaluation of Local Color Saturation," Journal of The Institute of Electronics and Information Engineers Vol. 51, NO. 3, pp. 585-594, March 2014.
R. Tan, "Visibility in bad weather from a single image," IEEE Conference on Computer Vision and Pattern Recognition, pp.1-8. June 2008.
R. Fattal, "Single image dehazing," ACM Transactions on Graphics, vol.27, no.3, pp.1-9, Auguest 2008.
C. Xiao and J. Gan, "Fast image dehazing using guided joint bilateral filter," The Visual Computer. Vol 28, no 6-8, pp. 713-721, April 2012.

상세보기
J. Yang, J.B. Park, B. Jeon, "Flickering effect reduction for H.264/AVC intra frames," Proc. SPIE, Multimedia Systems and Applications IX, vol. 6391, pp. 639104-639104-9, October 2006.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증