[논문]Domain Shift 문제를 해결하기 위해 안개 특징을 이용한 딥러닝 기반 안개 제거 방법

심휘보; 강봉순

doi:10.9717/kmms.2021.24.10.1319

Domain Shift 문제를 해결하기 위해 안개 특징을 이용한 딥러닝 기반 안개 제거 방법
Deep learning-based de-fogging method using fog features to solve the domain shift problem 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.10, 2021년, pp.1319 - 1325

심휘보 (Dept. of Electronics Engineering, Graduate School, Dong-A University) , 강봉순 (Dept. of Electronics Engineering Dong-A University)

Abstract ▼ AI-Helper

It is important to remove fog for accurate object recognition and detection during preprocessing because images taken in foggy adverse weather suffer from poor quality of images due to scattering and absorption of light, resulting in poor performance of various vision-based applications. This paper proposes an end-to-end deep learning-based single image de-fogging method using U-Net architecture. The loss function used in the algorithm is a loss function based on Mahalanobis distance with fog features, which solves the problem of domain shifts, and demonstrates superior performance by comparing qualitative and quantitative numerical evaluations with conventional methods. We also design it to generate fog through the VGG19 loss function and use it as the next training dataset.

주제어

표/그림 (6)

그림 Fig. 2. Proposed autoencoder structure.
그림 Fig. 1. Proposed model structure.
그림 Fig. 3. Deep Learning Flow Chart.
그림 Fig. 4. Image of fog generation and comparison of results with existing fog removal methods. (a) Hazy image, (b) He et al.[1], (c) Galdran[2], (d) Cai et al.[3], (e) Ren et al.[4], and (f) Proposed Method.
표 Table 1. Average results of O-HAZE datasets.
표 Table 2. Average results of I-HAZE datasets.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 domain shift 문제 해결을 통해 잔여 안개 및 Artifact가 존재하지 않는 U-Net 구조의 end-to-end 학습 가능한 딥러닝 기반 단일 이미지 안개 제거 방법을 제안하였다. domain shift 문제는 안개 유무에 따른 통계적 안개 특징 11가지를 이용한 Mahalanobis distance 기반 손실함수를 적용하여 해결하였다.

제안 방법

Fig. 2는 본 논문에서 제안하는 오토인코더 구성도이며, 5단계 U-net 구조에서 shortcut connection을 추가하여 degradation 문제를 해결한 구조이다. U-net은 인코더-디코더 구조에 skip connection이 추가되어 정교한 픽셀 정보를 인코더에서 디코더로 정보를 전송함으로써 end-to-end로 segmentation 이 가능한 네트워크이다.
Training Dataset을 Train Data와 Validation Data로 나누어 모델을 훈련 및 검증하고, Test Dataset에 Trained Model을 적용하여 생성된 result Data를 통해 모델을 평가한다. Proposed Network의 경우 shortcut connection이 추가된 오토인 코더에 손실함수가 적용된 것을 의미하며, 모델의 성능을 검증하기 위하여 아래에서 설명하는 학습 데이터 및 Parameter 수치를 적용하여 딥러닝 학습을 진행하였다.
3은 딥러닝 학습 흐름을 나타낸다. Training Dataset을 Train Data와 Validation Data로 나누어 모델을 훈련 및 검증하고, Test Dataset에 Trained Model을 적용하여 생성된 result Data를 통해 모델을 평가한다. Proposed Network의 경우 shortcut connection이 추가된 오토인 코더에 손실함수가 적용된 것을 의미하며, 모델의 성능을 검증하기 위하여 아래에서 설명하는 학습 데이터 및 Parameter 수치를 적용하여 딥러닝 학습을 진행하였다.
본 논문에서는 domain shift 문제 해결을 통해 잔여 안개 및 Artifact가 존재하지 않는 U-Net 구조의 end-to-end 학습 가능한 딥러닝 기반 단일 이미지 안개 제거 방법을 제안하였다. domain shift 문제는 안개 유무에 따른 통계적 안개 특징 11가지를 이용한 Mahalanobis distance 기반 손실함수를 적용하여 해결하였다. 제안한 안개 제거 방법은 정성적 평가에서 잔여 안개 및 Artifact 없이 안개가 제거되는 결과를 볼 수 있다.

이론/모형

convolution 가중치는 Glorot initialization을 통해 초기 화하였다. 모델의 고정 학습률은 0.00001, 배치크기 는 1, 총 epoch는 150으로 설정하였고, Adam optimizer 함수를 사용하여 학습하였다. 또한 early stopping 기능을 활용하여 효율적으로 훈련을 완료 하였다.

성능/효과

제안한 안개 제거 방법은 정성적 평가에서 잔여 안개 및 Artifact 없이 안개가 제거되는 결과를 볼 수 있다. 또한 정량적 평가는 O-HAZE에서 다른 안개 제거 방법들에 비해 4가지 측정에서 우수한 결과를 보인다. 하지만 특히 I-HAZE에서 색상 왜곡이 일어나는 단점이 존재한다.
본 논문에서 제안한 방법은 안개 특징 기반 손실함수를 사용함으로써 정량적 평가 O-HAZE에서 MSE, SSIM, TMQI 수치가 최고치를 보이고, 정성적 평가에서도 잔여 안개 없는 우수한 결과를 보인다. I-HAZE에서도 잔여 안개가 없기 때문에 영상 품질 척도인 TMQI가 최고치가 나타난 것을 확인할 수 있다.
domain shift 문제는 안개 유무에 따른 통계적 안개 특징 11가지를 이용한 Mahalanobis distance 기반 손실함수를 적용하여 해결하였다. 제안한 안개 제거 방법은 정성적 평가에서 잔여 안개 및 Artifact 없이 안개가 제거되는 결과를 볼 수 있다. 또한 정량적 평가는 O-HAZE에서 다른 안개 제거 방법들에 비해 4가지 측정에서 우수한 결과를 보인다.

후속연구

하지만 특히 I-HAZE에서 색상 왜곡이 일어나는 단점이 존재한다. 향후 색상 보정 후처리 알고리즘을 통해 이러한 단점을 보완할 수 있는 연구를 이어나갈 예정이다.

참고문헌 (18)

K. He, J. Sun, and X. Tang, "Single Image Haze Removal Using Dark Channel Prior," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 33, No. 12, pp. 2341-2353, 2011.

상세보기
A. Galdran, "Image Dehazing by Artificial Multiple-Exposure Image Fusion," Signal Processing, Vol. 149, pp. 135-147, 2018.

상세보기
B. Cai, X. Xu, K. Jia, C. Qing, and D. Tao, "DehazeNet: An End-to-End System for Single Image Haze Removal," IEEE Transactions on Image Processing, Vol. 25, No. 11, pp. 5187-5198, 2016.

상세보기
W. Ren, S. Liu, H. Zhang, J. Pan, X. Cao, and M. Yang, "Single Image Dehazing via Multiscale Convolutional Neural Networks," 2016 European Conference on Computer Vision, pp. 154-169, 2016.
C.S. No, Y.G. Kim, and U.P, Chong. "A Lab VIEW-based Video Dehazing Using Dark Channel Prior," Journal of Korea Multimedia Society, Vol. 20, No. 2, pp. 101-107, 2017.

원문보기 상세보기
D. Ngo, S. Lee, Q.-H. Nguyen, T. M. Ngo, G.-D. Lee, and B. Kang, "Single Image Haze Removal from Image Enhancement Perspective for Real-Time Vision-Based Systems," Sensors, Vol. 20, No. 18, pp. 5170, Sep. 2020.

상세보기
S.E. Kim and I.K. Eom, "Single Image Dehazing Using Adaptive Saturation Stretching," Journal of the Institute of Electronics and Information Engineers, Vol. 58, No. 7, pp. 39-48, 2021.

상세보기
O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation," 2015 Medical Image Computing and Computer- Assisted Intervention, pp. 234-241, 2015.
Z. Wang, A.C. Bovik, H.R. Sheikh, end E.P. Simoncelli, "Image Quality Assessment: from Error Visibility Tostructural Similarity," IEEE Transactions on Image Process. Vol. 13, No. 4, pp. 600-612, 2014.
L.K. Choi, J. You, and A.C. Bovik, "Referenceless Prediction of Perceptual Fog Density and Perceptual Image Defogging," IEEE Transactions on Image Processing, Vol. 24, No. 11, pp. 3888-3901, 2015.

상세보기
R.O. Duda, P.E. Hart, and D.G. Stork, Pattern Classification. USA: Wiley, 2000.
J. Johnson, A. Alahi, and L. Fei-Fei, "Percep-Tual Losses for Real-Time Style Transfer and Super-Resolution," 2016 European Conference on Computer Vision, pp. 694-711, 2016.
C.O. Ancuti, C. Ancuti, M. Sbert, and R. Timofte, "Dense-Haze: A Benchmark for Image Dehazing with Dense-Haze and Haze-Free Images," 2019 IEEE International Conference on Image Processing, pp. 1014-1018, 2019.
K. Ma, W. Liu, and Z. Wang, "Perceptual Evaluation of Single Image Dehazing Algorithms," 2015 IEEE International Conference on Image Processing (ICIP), pp. 3600-3604, 2015.
C.O. Ancuti, C. Ancuti, R. Timofte, and C. De Vleeschouwer, "HAZE: A Dehazing BenChmark with Real Hazyand Haze-Free Outdoor Images," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 18-22, 2018.
C. Ancuti, C.O. Ancuti, R. Timofte, and C. De Vleeschouwer, "I-HAZE: A Dehazing Benchmark with Real Hazyand Haze-Free Indoor Images," Advanced Concepts for Intelligent Vision Systems, pp. 620-631, 2018.
H. Yeganeh and Z. Wang, "Objective Quality Assessment of Tone-Mapped Images," IEEE Transactions on Image Process. Vol. 22, No. 2, pp. 657-667, 2013.

상세보기
L. Zhang, X. Mou, and D. Zhang, "FSIM: A Feature Similarity Index for Image Quality Assessment," IEEE Transactions on Image Process. Vol 20, No. 8, pp. 2378-2386, 2011.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증