[논문]단일 영상에서 눈송이 제거를 위한 지각적 GAN

이효종

doi:10.3745/ktsde.2019.8.10.403

단일 영상에서 눈송이 제거를 위한 지각적 GAN
Perceptual Generative Adversarial Network for Single Image De-Snowing 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.8 no.10, 2019년, pp.403 - 410

초록
AI-Helper

눈이 내리는 영상에서 눈송이들에 의하여 영상의 질이 저하되고 영상 내에 존재하는 객체들을 명확히 탐지하기 위해서는 눈송이를 제거해야할 필요성이 있다. 이 연구에서는 지각 Generative Adversarial Network에 기반하여 단일 영상으로부터 눈송이를 제거하는 방법을 제시한다. 잔류 U-Net을 눈송이가 제거된 영상을 생성하는 생성기로 설계하였다. 다양한 크기의 눈송이를 처리하기 위하여 다양한 필터 커널의 인셉션 모듈을 설계하고 입력한 눈이 내리는 영상의 다양한 해상도 특징을 추출하기 위하여 적용되었다. 눈송이 제거 영상의 품질을 높이기 위해서 대립손실을 제외하고는, 지각적 손실과 총 변동 손실 함수를 적용하여 제설 이미지와의 유사도를 찾아갈 수 있도록 하였다. 합성 강설 이미지와 실제 강설 이미지를 대상으로 제안 네크워크의 제설 기능을 실험하였다. 실험 결과 제안 알고리즘은 합성 이미지와 강설 이미지 모든 분야에서 육안으로 관찰해본 결과 화질이 우수함을 보여주었고, 객관적 평가를 위하여 신호강도를 나타내는 PSNR과 구조변화를 측정하는 SSIM 인덱스를 비교하였으며, 제안 알고리즘이 지수 상으로도 가장 우수한 성능을 보여주었다.

Abstract ▼ AI-Helper

Image de-snowing aims at eliminating the negative influence by snow particles and improving scene understanding in images. In this paper, a perceptual generative adversarial network based a single image snow removal method is proposed. The residual U-Net is designed as a generator to generate the snow free image. In order to handle various sizes of snow particles, the inception module with different filter kernels is adopted to extract multiple resolution features of the input snow image. Except the adversarial loss, the perceptual loss and total variation loss are employed to improve the quality of the resulted image. Experimental results indicate that our method can obtain excellent performance both on synthetic and realistic snow images in terms of visual observation and commonly used visual quality indices.

주제어

표/그림 (9)

그림 Fig. 1. Object Detection on Realistic Winter Snowy Image (Top) and a Corresponding Snow Removal Image of the Proposed Method (Bottom) by Imageai Library
그림 Fig. 2. The Overall Architecture of the Proposed Snow Removal Method. Left Block is the Generator Network Which is Fed with a Snow Image and Predicts a Snow-Free Image, and Right One is the Discriminator Network Which Distinguish the Snow-Free Image is True or Not
그림 Fig. 3. Structure of an Inception Module
그림 Fig. 4. Architecture of a Residual Block
표 Table 1. The Architecture of Generator Network. “Conv” and “Deconv” Denote Convolution and Deconvolution, Respectively
표 Table 2. The Architecture of Discriminator Network
그림 Fig. 5. Snow Removal Results of Various Methods for Synthetic Snowy Images. (a) Input Image. (b) Zheng et al. [16]. (c) DeblurGAN [11]. (d) The Proposed Method. Best Viewed on Screen
그림 Fig. 6. Snow Removal Results of Various Methods for Realistic Snowy Images. (a) Input Image. (b) Zheng et al. [16]. (c) DeblurGAN [11]. (d) The Proposed Method, which are Viewed Best on Screen
표 Table 3. Objective Comparison of Different Methods

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한 개인적인 선호도에 따라서 이미지의 평가가 다를 수 있다. 따라서 본 연구에서는 이미지의 비교에 사용되는 두 개의 지수, 즉 PSNR과 SSIM을 측정하여 실험결과 영상의 객관적이며 정량적인 비교 방법을 제시하고자 한다.
최근 몇 년 동안 대기 입자들로 인한 영상의 저하를 막기 위하여 다양한 대기 입자 제거 방법이 시도되었다. 보편적인 주제로 영상에서 안개나 빗방울 입자를 제거하는 연구가초기에 시도 되었다. 안개 입자의 제거 방법은 안개 입자가 이미지 위에 균일하게 축적된다는 사실에[4] 착안하여 영상의 특징을 학습시키고 대기의 감쇠현상을 가정하여 개발 되었다.
본 논문에서 지각 GAN 기반 단일 이미지 제설 방법을 제시하였다. GAN 네트워크에서 생성자는 인셉션 모듈을 사용하여 다중해상도 특징값을 추출하도록 하였다.
본 논문에서는 단일 이미지에서 눈송이를 제거하기 위한 새로운 지각적 GAN (generative adversarial network) 프레임워크를 설계하였다. 생성자는 U-net[7] 아키텍처와 인셉션 모듈(inception module)에 기반하여 구축하였다.
본 절에서는 제안 네트워크을 학습시키는데 필요한 구체적인 변수의 설정과 실험방법을 소개한다. Equation (6)의 λ값은 경험에 의하여 우수한 성능을 산출하도록[ 1, 0.
만일 x와 y를 학습에 사용하는 강설 이미지와 눈이 내리지 않는 이미지, 즉 제설된 이미지라 정의하고, y’를 눈이 제거된 예측 제설 이미지라고 하자. 이 조건에서 제안하는 GAN 모델의 학습을 위해 사용되는 손실 함수의 모델을 설명하고자 한다.

가설 설정

보편적인 주제로 영상에서 안개나 빗방울 입자를 제거하는 연구가초기에 시도 되었다. 안개 입자의 제거 방법은 안개 입자가 이미지 위에 균일하게 축적된다는 사실에[4] 착안하여 영상의 특징을 학습시키고 대기의 감쇠현상을 가정하여 개발 되었다. 빗방울 입자의 제거는 빗방울의 모양, 패턴 또는 경계선의 방향성과 같은 일반적인 특징을 모델링하여 시도되었다[5].

제안 방법

본 논문에서 지각 GAN 기반 단일 이미지 제설 방법을 제시하였다. GAN 네트워크에서 생성자는 인셉션 모듈을 사용하여 다중해상도 특징값을 추출하도록 하였다. 또한 지각 손실과 총 변량 손실을 적용하여 설계한 네트워크를 학습하여 네트워크의 종합적인 성능을 향상하였다.
결과 이미지들의 객관적인 평가를 위하여 입력 영상과 제설 이미지들의 PSNR과 SSIM을 계산하였다. Table 3에 정리된 바와 같이 최대신호대잡음비 (PSNR)와 구조적인 안정성 (SSIM)에서 모두 제안 방법이 가장 성능이 좋은 결과를 보여주고 있다.
제안 방법의 성능을 검증하기 위하여 전통적인 방법[16]과 심층학습기반의 방법[11]을 비교하였다. 공정한 비교를 위하여 강설 이미지를 활용하여 제안하는 심층 학습모델을 동일하게 학습시켰다.
그 다음, 눈송이가 제거된 이미지를 얻을 수 있는 피쳐맵으로 변환을 할 수 있도록 컨벌루션층을 사용하였다. 구분자 네트워크는 다섯 층의 순수한 CNN (convolution neural network)으로 구성하였다. 생성자와 구분자 망의 구체적인 구조를 Table 1과 Table 2에 요약하였다.
디코더 부분에서는 반 크기의 스트라이드를 갖는 디컨벌루션 층이 원래 해상도와 같은 피쳐맵(feature map)으로 해상도를 높이기 위하여 적용되었다. 그 다음, 눈송이가 제거된 이미지를 얻을 수 있는 피쳐맵으로 변환을 할 수 있도록 컨벌루션층을 사용하였다. 구분자 네트워크는 다섯 층의 순수한 CNN (convolution neural network)으로 구성하였다.
생성자 네트워크에서는 인셉션 모듈을 입력된 강설 이미지의 다중 해상도 특징을 추출하기 위해 먼저 적용한 다음, 스트라이드 2를 적용한 두 개의 컨벌루션 층이 추출된 다중 해상도 특징을 인코딩하는 인코더로 사용되었다. 그 후 9개의 잔차 블록(residual block)을 학습능력을 증가시키기 위하여 인코더와 디코더 사이에 삽입하였다. 디코더 부분에서는 반 크기의 스트라이드를 갖는 디컨벌루션 층이 원래 해상도와 같은 피쳐맵(feature map)으로 해상도를 높이기 위하여 적용되었다.
입력영상의 종횡비는 통일되지 않아서 정규화를 시킬 필요가 있었다. 따라서 모든 이미지는 종횡비(aspect ratio)를 유지하면서 긴 방향의 크기를 640 화소로 정규화 하였다. 무작위로 10K의 강설 이미지와 정상 이미지 쌍을 선택하여 학습에 사용하였으며, 선택되지 않은 데이터 군에서 무작위로 선택한 2K의 이미지 쌍을 선정하여 시험에 사용하였다.
생성자는 U-net[7] 아키텍처와 인셉션 모듈(inception module)에 기반하여 구축하였다. 또한 눈송이 제거의 성능을 향상시키기 위하여 지각적 손실과 총변동 손실 함수를 제시하였다. 실험결과는 제안된 방법이 합성 영상과 실제 눈 영상 전체에서 다른 알고리즘들과 비교하여 우수한 성능을 갖는 것을 보여주었다.
본 논문에서는 Snow 100K[15] 데이터를 개발한 눈송이 제거용 심층 네트워크의 학습과 실험에 나누어 사용하였다. 사용 데이터는 100K 장의 합성 강설 이미지와 그에 대응하는 100K 장의 눈이 내리지 않는 이미지, 그리고 1329 장의 야외에서 촬영된 실제 눈이 내리는 영상을 포함시켰다.
잔차 네트워크는 심층네트워크를 통해서 역전파를 계산할 때 기울기 값이 소멸되는 문제를 극복할 수 있다. 본 논문에서는 학습능력을 향상하기 위해서 다중 잔차블럭을 적용하였다. 원래 제안된 잔차 모듈과 달리, 배치 정규화 작업을 인스턴스 정규화 작업으로 대치하여 이미지-이미지 변환 작업에서 더 좋은 결과를 얻을 수 있도록 최적화를 시켰다[13].
사실적인 이미지를 생성하기 위하여 2014년 Goodfellow 등[8]은 GAN 심층망을 제안했는데, 생성자 네트워크 G와 구분자 네트워크 D로 구성되었다. 생성자 네트워크는 입력 영상에 기반하여 새로운 이미지를 생성하고, 구분자 네트워크는 그 영상이 참된 영상인지 거짓 영상인지를 구분하였다. GAN 망의 목적은 다음과 같이 표현할 수 있다.

대상 데이터

따라서 모든 이미지는 종횡비(aspect ratio)를 유지하면서 긴 방향의 크기를 640 화소로 정규화 하였다. 무작위로 10K의 강설 이미지와 정상 이미지 쌍을 선택하여 학습에 사용하였으며, 선택되지 않은 데이터 군에서 무작위로 선택한 2K의 이미지 쌍을 선정하여 시험에 사용하였다. 그리고 실제 강설 이미지는 모두 시험에 사용하여 성능을 검증하였다.
본 논문에서는 Snow 100K[15] 데이터를 개발한 눈송이 제거용 심층 네트워크의 학습과 실험에 나누어 사용하였다. 사용 데이터는 100K 장의 합성 강설 이미지와 그에 대응하는 100K 장의 눈이 내리지 않는 이미지, 그리고 1329 장의 야외에서 촬영된 실제 눈이 내리는 영상을 포함시켰다.
0001로 설정하여 모든 네트워크 학습에 적용하였다. 실험은 인텔(R) i7, 8GB 메모리와 NVIDIA GTX Titan-X GPU를 이용하여 수행하였다.
실험은 합성 강설 이미지와 실제 강설 이미지 데이터를 모두 사용하여 진행하였다. 입력 강설 이미지와 예측 제설 이미지의 일부를 Fig.

데이터처리

제안 방법의 성능을 검증하기 위하여 전통적인 방법[16]과 심층학습기반의 방법[11]을 비교하였다. 공정한 비교를 위하여 강설 이미지를 활용하여 제안하는 심층 학습모델을 동일하게 학습시켰다.

이론/모형

강설 이미지는 다양한 크기의 눈송이 때문에 다중 해상도 특징값 추출을 위하여 인셉션 모듈[9]을 사용하였다. 인셉션 모듈은 Fig.

성능/효과

GAN 네트워크에서 생성자는 인셉션 모듈을 사용하여 다중해상도 특징값을 추출하도록 하였다. 또한 지각 손실과 총 변량 손실을 적용하여 설계한 네트워크를 학습하여 네트워크의 종합적인 성능을 향상하였다. 합성 및 실제 강설 이미지를 이용하여 제안 방법의 성능을 측정하였으며, 실험결과 제안 방법이 육안에 의한 시각적 검사방법과 PSNR과 SSIM 지수를 사용하는 정량적인 방법 모두에서 기존 방법에 비하여 가장 우수한 성능을 보이는 것을 증명하였다.
또한 눈송이 제거의 성능을 향상시키기 위하여 지각적 손실과 총변동 손실 함수를 제시하였다. 실험결과는 제안된 방법이 합성 영상과 실제 눈 영상 전체에서 다른 알고리즘들과 비교하여 우수한 성능을 갖는 것을 보여주었다.
Zheng 등의 방법은 번짐현상이 더욱 심각함을 알 수 있다. 제안 알고리즘은 눈송이의 제거도 완전하고 이미지의 화질이 원본 영상과 거의 유사하게 유지되고 있음을 확인 할 수 있다.
5의 합성 강설 이미지의 결과를 세밀히 관찰해보면 Zheng 등의 방법과 DeblurGAB 방법에서는 동일한 학습을 시켰음에도 불구하고 제안 알고리즘과 달리 눈송이의 영상이 곳곳에 남아있는 것을 알 수 있다. 제안 알고리즘은 최상의 제설 결과를 보여주며 이미지의 세세한 부분까지 그대로 보존하고 있는 것을 볼 수 있다.
또한 지각 손실과 총 변량 손실을 적용하여 설계한 네트워크를 학습하여 네트워크의 종합적인 성능을 향상하였다. 합성 및 실제 강설 이미지를 이용하여 제안 방법의 성능을 측정하였으며, 실험결과 제안 방법이 육안에 의한 시각적 검사방법과 PSNR과 SSIM 지수를 사용하는 정량적인 방법 모두에서 기존 방법에 비하여 가장 우수한 성능을 보이는 것을 증명하였다. 향후 연구에서는 제안 네트워크를 개선하여 눈송이 이외에도 빗방울이나 안개 입자 등과 같은 다른 대기 입자의 제거를 실험해보고 전반적인 대기 입자를 양호하게 제거할 수 있는 방법을 연구할 수 있을 것이다.

후속연구

합성 및 실제 강설 이미지를 이용하여 제안 방법의 성능을 측정하였으며, 실험결과 제안 방법이 육안에 의한 시각적 검사방법과 PSNR과 SSIM 지수를 사용하는 정량적인 방법 모두에서 기존 방법에 비하여 가장 우수한 성능을 보이는 것을 증명하였다. 향후 연구에서는 제안 네트워크를 개선하여 눈송이 이외에도 빗방울이나 안개 입자 등과 같은 다른 대기 입자의 제거를 실험해보고 전반적인 대기 입자를 양호하게 제거할 수 있는 방법을 연구할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	안개 입자의 제거 방법은 어떻게 개발 되었는가?	보편적인 주제로 영상에서 안개나 빗방울 입자를 제거하는 연구가초기에 시도 되었다. 안개 입자의 제거 방법은 안개 입자가 이미지 위에 균일하게 축적된다는 사실에[4] 착안하여 영상의 특징을 학습시키고 대기의 감쇠현상을 가정하여 개발 되었다. 빗방울 입자의 제거는 빗방울의 모양, 패턴 또는 경계선의 방향성과 같은 일반적인 특징을 모델링하여 시도되었다[5].
	심층학습기반의 빗방울이나 안개 제거 기법이 가진 한계점은 무엇인가?	심층학습기반의 빗방울이나 안개 제거 기법들이 입자들의 위치를 파악하여 제거할 수 있어도, 그런 방법들을 눈송이의제거에 직접 적용하기는 어렵다. 눈송이들이 가지고 있는 불균일한 분포성, 다양한 크기, 불규칙적인 하강 궤적 및 투명한 특징들은 빗방울과는 다른 방법을 요구한다.
	심층학습기반의 빗방울이나 안개 제거 기법으로 눈송이를 제거하기에 문제되는 눈송이의 특징은 무엇인가?	심층학습기반의 빗방울이나 안개 제거 기법들이 입자들의 위치를 파악하여 제거할 수 있어도, 그런 방법들을 눈송이의제거에 직접 적용하기는 어렵다. 눈송이들이 가지고 있는 불균일한 분포성, 다양한 크기, 불규칙적인 하강 궤적 및 투명한 특징들은 빗방울과는 다른 방법을 요구한다. 따라서 눈송이 제거는 달성하기가 어려우며 새로운 심층학습 기법의 설계가 요구된다.

참고문헌 (17)

X. Fu, B. Liang, Y. Huang, X. Ding, and J. Paisley, "Lightweight pyramid networks for image deraining," arXiv preprint arXiv: 1805.06173, 2018.
L. Deng, T. Huang, X. Zhao, and T. Jiang, "A directional global sparse model for single image rain removal," Applied Mathematical Modelling, Vol.59, pp.662-679, 2018,

상세보기
ImageAI [Internet], http://imageai.org/.
R. Li. J. Pan, Z. Li, and J. Tang, "Single image dehazing via conditional generative adversarial network," in Proceedings of the CVPR, pp.8202-8211, 2018.
W. Yang, R. T. Tan, J. Feng, J. Liu, Z. Guo, and S. Yan, "Deep joint rain detection and removal from a single image," in Proceedings of the CVPR, pp.1357-1366, 2017.
S. Pei, Y. Tsai, and C. Lee, "Removing rain and snow in a single image using saturation and visibility features," IEEE International Conference on Multimedia and Expo Workshops, pp.1-6, 2014.
O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," International Conference on Medical Image Computing and Computer-assisted Intervention, pp.234-241, 2015.
I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial nets. in International Conference on Neural Information Processing Systems," pp.2672-2680, 2014.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.1-9, 2015:
Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu, "Residual dense network for image super-resolution," in Proceedings of the CVPR, pp.2472-2481, 2018.
O. Kupyn, V. Budzan, M. Mykhailych, D. Mishkin, and J. Matas, "Deblurgan: Blind motion deblurring using conditional adversarial networks," in Proceedings of CVPR, pp.8183- 8192, 2018.
Z. Fan, H. Wu, X. Fu, Y. Huang, and X. Ding, "Residualguide network for single image deraining," 2018 ACM Multimedia Conference on Multimedia, pp.1751-1759, 2018.
B. Wu, H. Duan, Z. Liu, and G. Sun, "SRPGAN: Perceptual generative adversarial network for single image super resolution. arXiv preprint arXiv:1712.05927, 2017.
J. Johnson, A. Alahi, L. Fei-Fei, "Perceptual losses for real-time style transfer and super-resolution," European Conference on Computer Vision, pp.694-711, 2016.
Y. F. Liu, D. W. Jaw, S. C. Huang, and J. N. Hwang, "DesnowNet: Context-aware deep network for snow removal," IEEE Transactions on Image Processing, Vol.27, No.6, pp.3064-3073, 2018.

상세보기
X. Zheng, Y. Liao, W. Guo, X. Fu, and X. Ding, "Singleimage-based rain and snow removal using multi-guided filter," in Proc. Int. Conf. Neural Inf. Process, pp.258-265, 2013.
Z. Wang, A. C. Bovik, H. Sheikh, and E. Simoncelli, "Image quality assessment: from error visibility to structural similarity," IEEE Transactions on Image Processing, Vol.13, No.4, pp.600-612, 2004.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증