[논문]Wavelet 기반의 영상 디테일 향상 잡음 제거 네트워크

정군; 위승우; 정제창

doi:10.5909/jbe.2021.26.6.725

Wavelet 기반의 영상 디테일 향상 잡음 제거 네트워크
WDENet: Wavelet-based Detail Enhanced Image Denoising Network 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.6, 2021년, pp.725 - 737

정군 (한양대학교 융합전자공학부) , 위승우 (한양대학교 융합전자공학부) , 정제창 (한양대학교 융합전자공학부)

초록
AI-Helper

현재 카메라 성능이 점점 발전해 왔지만 카메라로부터 얻은 디지털 영상에는 잡음 (Noise)이 존재하고 이는 높은 해상도의 영상을 획득하는 데 있어서 방해요소로 작용한다. 전통적으로 잡음을 제거하기 위하여 필터링 방법을 사용해 왔고 최근 딥 러닝 기법의 하나인 합성곱 신경망 (Convolutional Neural Network)은 영상 잡음 제거 분야에서 전통적인 기법보다 좋은 성능을 나타내고 있어 많은 연구가 진행되고 있다. 하지만 합성곱 신경망으로 학습하는 과정에서 영상 내 디테일한 부분이 손실될 수 있는 문제점이 있다. 본 논문에서는 웨이블릿 변환 (Wavelet Transform)을 기반으로 영상 내 디테일 정보도 같이 학습하여 영상 디테일을 향상하는 잡음 제거 합성곱 신경망 네트워크를 제안한다. 제안하는 네트워크는 디테일 향상 서브 네트워크 (Detail Enhancement Subnetwork)와 영상 잡음 추출 서브 네트워크 (Noise Extraction Subnetwork)를 이용하게 된다. 실험은 가우시안 잡음과 실제 카메라 잡음을 통해 진행했고 제안하는 방법은 기존 알고리듬보다 디테일 손실 문제를 효과적으로 해결할 수 있었고 객관적 품질 평가와 주관적 품질 비교에서 모두 우수한 결과가 나온 것을 확인하였다.

Abstract ▼ AI-Helper

Although the performance of cameras is gradually improving now, there are noise in the acquired digital images from the camera, which acts as an obstacle to obtaining high-resolution images. Traditionally, a filtering method has been used for denoising, and a convolutional neural network (CNN), one of the deep learning techniques, has been showing better performance than traditional methods in the field of image denoising, but the details in images could be lost during the learning process. In this paper, we present a CNN for image denoising, which improves image details by learning the details of the image based on wavelet transform. The proposed network uses two subnetworks for detail enhancement and noise extraction. The experiment was conducted through Gaussian noise and real-world noise, we confirmed that our proposed method was able to solve the detail loss problem more effectively than conventional algorithms, and we verified that both objective quality evaluation and subjective quality comparison showed excellent results.

주제어

표/그림 (12)

그림 그림 1. 기존 합성곱 신경망 네트워크 구조와 잔차 학습 Fig. 1. Architecture of CNN and Residual Learning Block
그림 그림 2. 2D 영상에서 DWT와 IWT의 변환 과정 (Haar 웨이블릿) Fig. 2. Conversion process of DWT and IWT in 2D image (Haar Wavelet)
그림 그림 3. 제안하는 WDENet 모델의 전체 네트워크 구조 Fig. 3. Overall architecture of the proposed WDENet network
그림 그림 4. 웨이블릿 U-Net 구조 Fig. 4. Architecture of the Wavelet U-Net network
그림 그림 5. 가우시안 잡음이 제거된 결과 화질 비교 (Set12, σ = 15) Fig. 5. Gaussian denoising results of the grayscale image "Lena" from Set12 with noise level 15
표 표 1. 다양한 잡음 레벨에 따라 기존 방법과 제안한 방법에 대한 회색 영상 잡음 제거의 평균 PSNR(dB)/SSIM 결과 비교(기존 방법 중 가장 좋은 결과를 초록색으로, 제안한 방법은 빨간색으로, 두 결과의 차이를 파란색으로 강조하여 표시한다.) Table 1. The average PSNR(dB)/SSIM results of gray image denoising for conventional methods and the proposed method with different noise levels(The best result among conventional methods is highlighted in green, the proposed method is highlighted in red, and the difference between the two results is highlighted in blue.)
그림 그림 6. 가우시안 잡음이 제거된 결과 화질 비교 (Set12, σ = 25) Fig. 6. Gaussian denoising results of the grayscale image "Barbara" from Set12 with noise level 25
그림 그림 7. 가우시안 잡음이 제거된 결과 화질 비교 (BSD68, σ = 50) Fig. 7. Gaussian denoising results of the grayscale image "Test044" from BSD68 with noise level 50
표 표 2. AWGN 잡음 레벨이 25인 경우 그레이 잡음 영상의 크기가 256 × 256, 512 × 512와 1024 × 1024에 따라 다양한 방법의 실행 시간(초) 비교 Tabel 2. Run time (in seconds) of different methods on grayscale images of size 256 × 256, 512 × 512 and 1024 × 1024 with noise level 25
표 표 3. SIDD 벤치마크 데이터 셋으로 기존 방법과 제안한 방법에 대한 sRGB 영상 잡음 제거의 평균 PSNR(dB)/SSIM 결과 비교(기존 방법 중 가장 좋은 결과를 초록색으로, 제안한 방법은 빨간색으로, 두 결과의 차이를 파란색으로 강조하여 표시한다.) Table 3. The average PSNR(dB)/SSIM results of sRGB image denoising for conventional methods and proposed method with SIDD benchmark dataset(The best result among conventional methods is highlighted in green, the proposed method is highlighted in red, and the difference between the two results is highlighted in blue.)
그림 그림 8. SIDD 벤치마크 데이터 셋의 11번 예에 대해 실제 잡음이 제거된 결과 화질 비교 (sRGB) Fig. 8. Real image denoising results of the example 11 from the SIDD benchmark dataset (sRGB)
그림 그림 9. SIDD 벤치마크 데이터 셋의 36번 예 실제 잡음이 제거된 결과 화질 비교 (sRGB) Fig. 9. Real image denoising results of the example 36 from the SIDD benchmark dataset (sRGB)

참고문헌 (22)

Buades, B. Coll, and J.M. Morel, "A non-local algorithm for image denoising," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Vol. 2, San Diego, CA, USA, pp. 60-65, 2005.
K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, "Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering," IEEE Transactions on Image Processing, Vol. 16, No. 8, pp. 2080-2095, August 2007.

상세보기
J. Mairal, F. Bach, J. Ponce, G. Sapiro, and A. Zisserman, "Non-local Sparse Models for Image Restoration," IEEE International Conference on Computer Vision, Kyoto, Japan, pp. 2272-2279, 2009.
W. Dong, L. Zhang, G. Shi, and X. Li, "Nonlocally Centralized Sparse Representation for Image Restoration," IEEE Transactions on Image Processing, Vol. 22, No. 4, pp. 1620-1630, April 2013.

상세보기
S. Gu, L. Zhang, W. Zuo, and X. Feng, "Weighted Nuclear Norm Minimization with Application to Image Denoising," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, pp. 2862-2869, 2014.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," Proceedings IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, pp. 770-778, 2016.
S. Ioffe and C. Szegedy, "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift," International Conference on Machine Learning, Lille, France, pp. 448-456, 2015.
V. Nair and G. E. Hinton, "Rectified Linear Units Improve Restricted Boltzmann Machines," International Conference on Machine Learning, Haifa, Israel, pp. 807-812, 2010.
K. Zhang, W. Zuo, Y. Chen, D. Meng, and L. Zhang, "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising," IEEE Transactions on Image Processing, Vol. 26, No. 7, pp. 3142-3155, July 2017.

상세보기
K. Zhang, W. Zuo, and L. Zhang, "FFDNet: Toward a Fast and Flexible Solution for CNN based Image Denoising," IEEE Transactions on Image Processing, Vol. 27, No. 9, pp. 4608-4622, September 2018.

상세보기
K. Zhang, W. Zuo, S. Gu, and L. Zhang, "Learning Deep CNN Denoiser Prior for Image Restoration," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, pp. 3929-3938, 2017.
O. Ronneberger, P. Fischer, and T. Brox, "Unet: Convolutional Networks for Biomedical Image Segmentation," Proceeding of Medical Image Computer-Assisted Intervention, Berlin, Heidelberg, pp. 234-241, 2015.
A. Abdelhamed, S. Lin, and M. S. Brown, "A high-Quality Denoising Dataset for Smartphone Cameras," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, pp.1692-1700, 2018.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going Deeper With Convolutions," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, pp. 1-9, 2015.
K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-scale Image Recognition," Proceeding of the International Conference on Learning Representations, San Diego, CA, USA, pp. 1-14, 2015.
K. H. Talukder and K. Harada, "Haar Wavelet Based Approach for Image Compression and Quality Assessment of Compressed Image," arXiv preprint arXiv:1010.4084, 2010.
R. Timofte, E. Agustsson, L. Van Gool, M. H. Yang, and L. Zhang, "Ntire 2017 Challenge on Single Image Super-Resolution: Methods and Results," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Honolulu, HI, USA, pp. 114-125, 2017.
S. Roth, and M. J. Black, "Fields of Experts: A Framework for Learning Image Priors," 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 2, San Diego, CA, USA, pp.860-867, 2005.
C. Tian, Y. Xu, Z. Li, W. Zuo, L. Fei, and H. Liu, "Attention-guided CNN for Image Denoising," Neural Networks, Vol. 124, pp. 117-129, April, 2020.

상세보기
S. Guo, Z. Yan, K. Zhang, W. Zuo, and L. Zhang, "Toward Convolutional Blind Denoising of Real Photographs," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, pp.1712-1722, 2019.
Z. Yue, H. Yong, Q. Zhao, L. Zhang, and D. Meng, "Variational Denoising Network: Toward Blind Noise Modeling and Removal," arXiv preprint arXiv:1908.11314, 2019.
Y. Kim, J. W. Soh, G. Y. Park, and N. I, Cho, "Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, pp. 3482-3492, 2020.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증