[논문]Over blur를 감소시킨 Deep CNN 구현

이성훈; 이광엽; 정준모

doi:10.7471/ikeee.2018.22.4.1242

Over blur를 감소시킨 Deep CNN 구현
Implementation of Deep CNN denoiser for Reducing Over blur 원문보기

전기전자학회논문지 = Journal of IKEEE, v.22 no.4, 2018년, pp.1242 - 1245

이성훈 (Dept. of Computer Engineering, Seokyeong University) , 이광엽 (Dept. of Computer Engineering, Seokyeong University) , 정준모 (Dept. of Electronics Engineering, Seokyeong University)

초록
AI-Helper

본 논문에서, Gaussian noise를 제거할 때 발생하는 over blurring 현상을 감소시키는 network를 구현하였다. 기존 filtering 방식은 원 영상을 blurring하여 noise를 제거함으로써, edge나 corner 같은 high frequency 성분도 함께 지워지는 것을 확인할 수 있다. CNN (Convolutional Neural Network)기반 denoiser의 경우도 사소한 edge, keypoint를 noise로 인식하여 이러한 정보를 잃게 된다. 우리는 CNN을 기반으로 denoising된 high frequency 성분만을 획득하여 기존 denoiser에 추가함으로써 denoising 성능을 유지하면서 over blurring을 완화하는 network 제안한다.

Abstract ▼ AI-Helper

In this paper, we have implemented a network that overcomes the over-blurring phenomenon that occurs when removing Gaussian noise. In the conventional filtering method, blurring of the original image is performed to remove noise, thereby eliminating high frequency components such as edges and corners. We propose a network that reducing over blurring while maintaining denoising performance by adding denoised high frequency components to denoisers based on CNN.

주제어

표/그림 (9)

그림 Fig. 1. DnCNN’s architecture. 그림 1. DnCNN 구조
그림 Fig. 2. Proposed network’s architecture. 그림 2. 제안하는 network 구조
그림 Fig. 3. ResNet team’s full pre-activation. 그림 3. ResNet team의 full pre-activation
그림 Fig. 4. Low frequency component. 그림 4. Low frequency 성분
그림 Fig. 5. Overall data flow. 그림 5. 전반적인 데이터 흐름
표 Table 1. The PSNR according to subtraction. 표 1. 감산 여부에 따른 PSNR
표 Table 2. The PSNR of each training method. 표 2. 학습방법에 따른 PSNR 결과
그림 Fig. 6. DnCNN’s denoising result. 그림 6. DnCNN의 denoising 결과
그림 Fig. 7. Proposed network’s result. 그림 7. 제안하는 network의 결과

AI 본문요약
AI-Helper

문제 정의

하지만 이 방법 역시 over blurring현상이 발생한다. 본 논문에서는 이러한 over blur를 줄이고자 low frequency를 학습하여 잃어버린 edge, keypoint를 복원하는 방법을 제안하였다. denoiser의 target은 Gaussiannoise이며 noise의 sigma는 25이다.

제안 방법

본 논문에서는 Gaussian noise를 제거하는 filtering,CNN기반 denoiser들에서 찾아볼 수 있는 over blurring현상을 해결하고자 noisy 영상으로부터 noise가 제거된 high frequency 성분을 추출하고 이를 기존 denoiser의 결과에 더하여 잃어버린 edge,corner와 같은 성분을 복원하는 network를 제안하였다. 또한 context information이 많은 low frequency 성분을 학습하여 high frequency를 얻는 것이 더 좋은 성능을 얻을 수 있다는 것도 실험을 통해 확인하였다.
본 논문에서 제시하는 network의 denoising을 담당하는 부분은 DnCNN [3]을 참조하였다. 우리의 주 목적은 기존의 방법보다 월등한 denoising 성능이 아닌 denoising의 성능을 유지하되 잃어버린 edge, keypoint를 복구하기 위함으로 성능이 검증된 DnCNN model을 통해 denoising을 진행하였다. DnCNN의 layer는 총 17개의 layer로 구성되어 있으며 ResNet [4]의 shortcut connection을 통해 추론한 noise와 입력(noisy image)의 차이를 denoising 결과로 출력한다.

대상 데이터

denoiser의 target은 Gaussiannoise이며 noise의 sigma는 25이다. 실험은 i7-4770@ 3.40GHz, NVIDIA GTX 1070, RAM 20GB에서 진행하였으며 training dataset은 CelebA dataset[2]을 10stride 씩 옮겨 크기가 35x35가 되도록 patch를 만들어 사용하였다.

이론/모형

본 논문에서 제시하는 network의 denoising을 담당하는 부분은 DnCNN [3]을 참조하였다. 우리의 주 목적은 기존의 방법보다 월등한 denoising 성능이 아닌 denoising의 성능을 유지하되 잃어버린 edge, keypoint를 복구하기 위함으로 성능이 검증된 DnCNN model을 통해 denoising을 진행하였다.

성능/효과

DnCNN은 기존 연구의 구조나 hyper parameter를 동일하게 적용하여 실험을 진행하였으며 high frequency 성분 복원을 위한 network는 high frequency와 low frequency를 학습할 경우로 나누어 진행하여 화소 정보가 많은 low frequency를 학습하는 것이 직접 high frequency를 학습하는 것보다 더 좋은 high frequency성분을 구할 수 있음을 denoising 결과와 원본과의 PSNR로 증명하였다. 이 실험의 결과는 표 2와 같다.
본 논문에서는 Gaussian noise를 제거하는 filtering,CNN기반 denoiser들에서 찾아볼 수 있는 over blurring현상을 해결하고자 noisy 영상으로부터 noise가 제거된 high frequency 성분을 추출하고 이를 기존 denoiser의 결과에 더하여 잃어버린 edge,corner와 같은 성분을 복원하는 network를 제안하였다. 또한 context information이 많은 low frequency 성분을 학습하여 high frequency를 얻는 것이 더 좋은 성능을 얻을 수 있다는 것도 실험을 통해 확인하였다. 제안한 network는 사람의 주름이나 물체의 edge와 같은 high frequency 성분을 더 잘 관찰할 수 있음을 Fig.

질의응답

핵심어	질문	논문에서 추출한 답변
	대표적인 기존의 denoising 방법은 무엇인가?	대표적인 기존의 denoising 방법들은 filtering을 하여 영상을 blurring을 하는 방식이다. noise가 적을 경우, 원 영상과 품질 차이가 크지 않아 괜찮지만, noise가 많을 경우 영상의 high frequency 성분들이 사라져 형체를 구분하기 쉽지 않다.
	Low frequency를 획득하기 위해 기존 filtering 방식을 사용하지 않고 CNN을 적용한 이유는?	Low frequency를 획득하기 위해 기존이 filtering 방식을 사용하지 않고 CNN을 적용한 이유는 noise에 있다. 우리가 제안하는 network는 noisy영상을 입력받아 denoising된 low frequency를 출력한다.
	filtering을 하여 영상을 blurring을 하는 방식의 단점은?	대표적인 기존의 denoising 방법들은 filtering을 하여 영상을 blurring을 하는 방식이다. noise가 적을 경우, 원 영상과 품질 차이가 크지 않아 괜찮지만, noise가 많을 경우 영상의 high frequency 성분들이 사라져 형체를 구분하기 쉽지 않다. 최근에는 Deep Learning을 base로 한 연구들이 활발하며 기존 방법들과 비교해 성능도 검증되었다.

참고문헌 (5)

Jeon, Yougn-Eun, et al. "Gaussian Noise Reduction Algorithm using Self-similarity," Journal of the Institute of Electronics Engineers of Korea SP, 44, 5, 1-10, 2007.
Multimedia Laboratory, "Large-scale CelebFaces Attributes (CelebA) Dataset," https://mmlab.ie.cuhk.edu.hk
Zhang, K., Zuo, W., Chen, Y., Meng, D., & Zhang, L, "Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising," IEEE Transactions on Image Processing, 26, 7, 3142-3155, 2017. DOI:10.1109/TIP.2017.2662206

상세보기
He, K., Zhang, X., Ren, S., & Sun, J, "Deep residual learning for image recognition," In Proceedings of the IEEE conference on computer vision and pattern recognition. 770-778, 2016.
He, K., Zhang, X., Ren, S., & Sun, J., "Identity mappings in deep residual networks," In European conference on computer vision, (2016, October), 630-645.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증