[논문]RDB 및 웨이블릿 예측 네트워크 기반 단일 영상을 위한 심층 학습기반 초해상도 기법

응우엔 휴중; 김응태

doi:10.5909/jbe.2019.24.5.703

RDB 및 웨이블릿 예측 네트워크 기반 단일 영상을 위한 심층 학습기반 초해상도 기법
Deep Learning-based SISR (Single Image Super Resolution) Method using RDB (Residual Dense Block) and Wavelet Prediction Network 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.5, 2019년, pp.703 - 712

응우엔 휴중 (한국산업기술대학교 전자공학부) , 김응태 (한국산업기술대학교 전자공학부)

초록
AI-Helper

단일 영상 초해상도 (Single Image Super-Resolution - SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 그 대표적인 방법으로 영상의 특징 맵 기반 웨이블릿 계수 학습을 통해 고해상도 영상을 복원하는 WaveletSRNet이 있다. 하지만 복잡한 알고리즘으로 인해 계산량이 증대되어 처리 속도가 늦고 특징 추출할 때 특징 맵을 효율적으로 활용하지 못 한다는 단점을 가지고 있다. 이를 개선하기 위해 본 논문에서는 단일 영상 초해상도 RDB-WaveletSRNet 기법을 제안한다. 제안된 기법은 잔여밀집블록(Residual Dense Block)을 사용하여 저해상도의 특징 맵을 효과적으로 추출하여 초해상도의 성능을 향상시키고 적절한 성장률을 설정하여 복잡한 계산량 문제까지 해결하였다. 또한 웨이블릿 패킷 분해를 사용하여 확대율에 맞게 웨이블릿 계수를 획득하므로 높은 확대율의 단일 영상 초해상도를 얻게 하였다. 다양한 영상에 대한 실험을 통하여, 제안하는 기법이 기존 기법보다 수행시간이 빠르며 영상 품질도 우수함을 입증하였다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.1813dB만큼 우수하며 속도는 1.17배 빠른 것을 실험을 통해 확인하였다.

Abstract ▼ AI-Helper

Single image Super-Resolution (SISR) aims to generate a visually pleasing high-resolution image from its degraded low-resolution measurement. In recent years, deep learning - based super - resolution methods have been actively researched and have shown more reliable and high performance. A typical method is WaveletSRNet, which restores high-resolution images through wavelet coefficient learning based on feature maps of images. However, there are two disadvantages in WaveletSRNet. One is a big processing time due to the complexity of the algorithm. The other is not to utilize feature maps efficiently when extracting input image's features. To improve this problems, we propose an efficient single image super resolution method, named RDB-WaveletSRNet. The proposed method uses the residual dense block to effectively extract low-resolution feature maps to improve single image super-resolution performance. We also adjust appropriated growth rates to solve complex computational problems. In addition, wavelet packet decomposition is used to obtain the wavelet coefficients according to the possibility of large scale ratio. In the experimental result on various images, we have proven that the proposed method has faster processing time and better image quality than the conventional methods. Experimental results have shown that the proposed method has better image quality by increasing 0.1813dB of PSNR and 1.17 times faster than the conventional method.

주제어

표/그림 (12)

그림 그림 1. WaveletSRNet 네트워크 구조 Fig. 1. Architecture of WaveletSRNet
그림 그림 2. 제안된 RDB-WaveletSRNet 네트워크의 구조 Fig. 2. The architecture of proposed network RDB-WaveletSRNet
그림 그림 3. i번째 레벨의 FWT Fig. 3. i level FWT
그림 그림 4. Residual Block 구조 Fig. 4. Architecture of Residual Block
그림 그림 5. 제안된 방식에서 사용되는 개선된 RDB 구조 Fig. 5. The architecture of proposed RDB
그림 그림 6. 학습 반복에 따른 RDB-WaveletSRNet(1),(2),(3)의 PSNR 변환 Fig. 6. PSNR convergence analysis on RDB-WaveletSRNet(1),(2),(3)
그림 그림 7. 학습 반복에 따른 RDB-WaveletSRNet(1),(2),(3)의 PSNR 변환 (확대) Fig. 7. PSNR convergence analysis on RDB-WaveletSRNet(1),(2),(3) models (zoom)
표 표 1. 입/출력 채널수에 따라 RB와 RDB의 파라미터 수 비교 Table 1. Comparing number of parameters of RB and RDB according to the number of input/ output channels
그림 그림 8. 학습 반복에 따른 RDB-WaveletSRNet(1)과 WaveletSRNet의 PSNR 결과 Fig. 8. The PSNR result of RDB-WaveletSRNet(1) and WaveletSRNet according to the learning iterations
표 표 2. RDB-WaveletSRNet(1), (2)와 (3)의 PSNR, SSIM, 파라미터 수와 학습시간 비교 (확대율 r = 8) Table 2. Benchmark results with RDB-WaveletSRNet(1), (2) and (3) models. PSNR, SSIM, number of parameters, training time for scaling facotr r = 8
그림 그림 9. 16 × 16 입력 저해상도, 확대율 r = 8 경우 기존 방식들과 비교 Fig. 9. Visual comparison results with the conventional methods when input image size is 16x16 and scaling factor r = 8
표 표 3. CelebA 데이터 세트 기반 PSNR, SSIM, 파라미터 수와 학습시간 비교 Table 3. Benchmark results compared with the state-of-the-art methods

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이러한 문제를 해결하기 위해 단일 영상초해상도 네트워크인 RDB-WaveletSRNet를 제안한다. 제안된 방식은 저해상도 영상의 특징 맵을 잘 추출해내기 위해 특징 추출 네트워크에 Residual Dense Block(RDB) 기법을 적용한다.
본 논문은 그림 1의 WaveletSRNet의 성능을 개선하기 위해 RDB를 이용하는 WaveletSRNet를 제안한다. 그림 2 는 RDB-WaveletSRNet의 구조를 보여준다

제안 방법

학습 미니배치 와 테스트 미니배치 (3)는 32를 사용 RDB-WaveletSRNet(2)는 특징 추출 망에서 잔여 밀집 블록의 팽창합성곱의 크기를 1x1형태로 사용한다. RDB- WaveletSRNet(3)은 고정 성장률이 아닌 특징 추출 망의 5 개 잔여밀집블록에서 블록 크기의 증가함에 따라 적응적으로 성장률을 32씩 증가를 시켜 사용하여 실험을 진행하였다. 즉, #1 RDB의 성장률은 32, #2 RDB의 성장률은 64, .
RDB-WaveletSRNete 주어진 원본 고해상도 영상을 웨이블릿 패킷 분해(Wavelet Packet Decomposition)을 통해 확대율에 맞는 다양한 레벨의 웨이블릿 계수들과 저해상도 영상으로 분해한다. 저해상도 영상은 특징 추출망(Feature Extraction Net, FEN)의 입력이 되고, 이 네트워크를 통해 저해상도 영상의 특징 맵을 추출하게 된다.
제안된 방식은 저해상도 영상의 특징 맵을 잘 추출해내기 위해 특징 추출 네트워크에 Residual Dense Block(RDB) 기법을 적용한다. RDB의 성장률(growth rate) 계수를 적절히 조절하여 복잡한 계산량 문제를 개선하도록 하였다 또한 영상의 특징 맵 (feature map)으로 부터 웨이블릿 영역의 계수를 학습하고 확대율에 맞게 다중 레벨의 웨이블릿 계수를 구해서 초해상도 영상을 구현하게 된다
Huang et al.[1이은 그림 1에서 보는 바와 같이 저해상도 영상의 특징 맵으로부터 심층 학습으로 웨이블릿 계수를 학습 시켜 고해상도 영상을 추출하는 WaveletSRNet 네트워크를 제안했다 높은 확대율 (8x와 16x)에서도 다른 기법과 비교할 때 상대적으로 좋은 성능을 보여 주었다
그림 5는 본 논문에서 사용하는 RDB 구조이다. 각 RDB를 통해 저해상도 영상의 특징 개수를 확대시키므로 RDB의 입력 채널 개수 m과 출력 채널 개수 ne 서로 다르다 RDB의 addition 연산을 하기 위해 m개 채널 입력을 n개로 확대해 주는 팽창 합성곱(expand convolution, Conv_ex)을 사용하는 것을 제안한다. g는 RDB의 성장률 (growth rate) 이며 잔여블록의 복잡한 계산량 문제를 해결하기 위해 적절한 g = 32를 사용한다.
웨이블릿 변환은 적용되는 웨이블릿 원형함수 (wavelet function/ wavelet mother function)로 분류된다. 따라서 그 중에 가장 간단하고 계산량이 낮으며 에지 성분에 아무 영향도 없이 완벽히 복원할 수 있는 특징을 가지는 Haar 웨이블릿을 선택하였다.
복구할 초해상도 영상의 A;개의 웨이블릿 계수를 M개의 독립적인 서브넷(subnet)으로 웨이블릿 예측 네트워크로 학습한다. 각 서브넷은 2개의 잔여블록으로 구성되며 1024xwXe 특징 맵 입력으로 해당되는 웨이블릿 계수를 생성한다.
하지만 복잡한 알고리즘으로 인해 계산량이 증대되어 처리 속도가 늦고 특징 추출할 때 이전 특징 맵을 효율적으로 활용을 못 한다는 단점을 가지고 있다. 이 문제를 개선하기 위해 본 논문에서는 저해상도의 특징 맵을 효과적으로 추출하여 초해상도의 성능을 향상시키고 적절한 성장률 설정하여 복잡한 계산량 문제까지 해결하는 잔여밀집블록 (RDB)과 웨이블릿 예측 네트워크 기반 초 해상도 RDB-WaveletSRNet 기법을 제안하였다 또한 웨이블릿 패킷 분해 (Wavelet Packet Decomposition)를 사용하여 확대율에 맞게 웨이블릿 계수를 획득하므로 높은 확대율의 단일 영상 초해상도 수행하도록 하였다
각 서브넷은 2개의 잔여블록으로 구성되며 1024xwXe 특징 맵 입력으로 해당되는 웨이블릿 계수를 생성한다. 저해상도 입력 영상과 모든 개의 웨이블릿 계수의 크기는 동일하게 3×a×h로 유지하기 위해 본 논문에서 WPN에 3×3 커널, stride 1, padding 1 가지는 con- volution을 사용한다. Haar 웨이블릿의 웨이블릿 계수들은서로 독립적이기 때문에 A;개의 서브넷을 병렬로 독립적으로 설계한다.
제안된 방식에서 2D 고속 웨이블릿 변환 (fast wavelet transform, FWT)[16〕을 사용하여 입력 고해상도 영상의 개의 웨이블릿 계수를 분해한다. 웨이블릿 변환은 적용되는 웨이블릿 원형함수 (wavelet function/ wavelet mother function)로 분류된다.
획득된 고해상도 영상의 202, 599개 영상 중에 162,770개 학습 영상, 19,867개 validation영상, 나머지 19,962개 테스트 영상으로 사용했다. 학습 데이터 셋을 (0번째 epoch 포함)151 개의 epoch (768k iterations)을 학습한 후 19, 962개의 영상으로 bicubic 보간법, WaveletSRNet[1이과 PSNR 및 SSIM을 비교하여 제안된 RDB-WaveletSRNet의 성능을 검토하였다.

대상 데이터

FEN을 통해 이 저해상도 영상의 특징 세트를 추출한다. 3XwXh 크기인 입력영상을 FEN을 통해 wXh 크기를 가지는 1024개의 특징 맵을 추정한다.
성능을 분석하였다. CelebA 얼굴 영상 데이터 셋은 원본영상 (In-The-Wild)과 얼굴 가운데 정렬된 크기인데 이 터셋이 각 202, 599개의 영상이 있다. 본 실험에서는 얼굴 가운데 정렬된 데이터 셋을 쌍입방 보간법을 통해 다운 스케일하여 사용되는 고해상도 영상을 획득한다.
CelebA 얼굴 영상 데이터 셋은 원본영상 (In-The-Wild)과 얼굴 가운데 정렬된 크기인데 이 터셋이 각 202, 599개의 영상이 있다. 본 실험에서는 얼굴 가운데 정렬된 데이터 셋을 쌍입방 보간법을 통해 다운 스케일하여 사용되는 고해상도 영상을 획득한다. 획득된 고해상도 영상의 202, 599개 영상 중에 162,770개 학습 영상, 19,867개 validation영상, 나머지 19,962개 테스트 영상으로 사용했다.
본 실험에서는 얼굴 가운데 정렬된 데이터 셋을 쌍입방 보간법을 통해 다운 스케일하여 사용되는 고해상도 영상을 획득한다. 획득된 고해상도 영상의 202, 599개 영상 중에 162,770개 학습 영상, 19,867개 validation영상, 나머지 19,962개 테스트 영상으로 사용했다. 학습 데이터 셋을 (0번째 epoch 포함)151 개의 epoch (768k iterations)을 학습한 후 19, 962개의 영상으로 bicubic 보간법, WaveletSRNet[1이과 PSNR 및 SSIM을 비교하여 제안된 RDB-WaveletSRNet의 성능을 검토하였다.

이론/모형

본 모의실험에서는 CelebA[21]의 얼굴 영상 데이터 셋을 기반으로 성능을 분석하였다. CelebA 얼굴 영상 데이터 셋은 원본영상 (In-The-Wild)과 얼굴 가운데 정렬된 크기인데 이 터셋이 각 202, 599개의 영상이 있다.
제안된 방식은 저해상도 영상의 특징 맵을 잘 추출해내기 위해 특징 추출 네트워크에 Residual Dense Block(RDB) 기법을 적용한다. RDB의 성장률(growth rate) 계수를 적절히 조절하여 복잡한 계산량 문제를 개선하도록 하였다 또한 영상의 특징 맵 (feature map)으로 부터 웨이블릿 영역의 계수를 학습하고 확대율에 맞게 다중 레벨의 웨이블릿 계수를 구해서 초해상도 영상을 구현하게 된다

성능/효과

(d) WaveletSRNet[10l과 제안된 RDB-WaveletSRNet의 결과를 보여 준다 그림 9에서 제안된 방식은 원본 영상(HR)과 가장 비슷하게 고해상도 영상을 얻음을 보여 준다 특히 3번째와 4번째 영상의 뒤 배경 글씨나 패턴 등이 더 원 영상에 비슷하고, 전체적으로 얼굴 윤곽에 대해서 좋은 효과를 보이고 있다
다양한 영상에 대한 실험으로 제안하는 기법에 최적 성장률과 가장 효율적인 특징 추출 망을 설계하였다 실험 결과를 통하여, 기존 기법보다 수행시간이 빠르며 영상 화질도 우수함을 입증하였다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.
본 논문에서 제안된 RDB-WaveletSRNet 기법은 실제 어플리케이션에 보다 빠른 처리 속도와 우수한 화질로 디지털 TV, 보안 카메라, 의료 영상, 영상 편집 분야 등에 널리 이용될 수 있다
실험결과를 통해서 기본 네트워크 RDB-WaveletSRNet(1) 에 비해 잔여밀집블록의 1x1크기인 팽창 합성곱을 사용하는 RDB-WaveletSRNet(2)는 PSNR과 SSIM 성능이 저하되지만 계산 량과 학습 시간은 각 86%와 88%로 줄어든 것을 확인하였다. 또한 그림 7을 보면 700k iteration부터 RDB-WaveletSRNet(1)의 PSNRe 거의 변화하지 않는 반면에 RDB-WaveletSRNet(2)의 PSNRe 계속 상승하는 것이 보인다.
제안된 방식에서 확대율 r = 8인 경우, I = log2(r) =3 개의 FWT 레벨로 , 개의 웨이블릿 계수를 분해할 수 있다. 여기서, , =4’=64이다.
우수함을 입증하였다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.1813dB만큼 우수하며 속도는 1.17배 빠른 것을 실험을 통해 확인하였다
얻음을 알 수 있었다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.18dB만큼 우수하며 속도는 1.17배 빠른 것을 모의실험을 통해 확인하였다
표 3에서 19, 962개의 테스트 영상을 대상으로 bicubic 보간법과 WaveletSRNet, RDB-WaveletSRNet(1)을 통해 측정된 PSNR, SSIM, 파라미터 수와 수행시간을 보여준다 GTX 1070 GPU를 사용하여 학습을 진행한 결과, 기존 WaveletSRNet보다 PSNR이나 시간측면에서 개선된 효과를 얻음을 알 수 있었다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.

참고문헌 (22)

X. Zhang and X. Wu, "Image Interpolation by Adaptive 2-D Autoregressive Modeling and Soft-Decision Estimation," in IEEE Trans. Image Process., 2008, https://doi.org/10.1109/tip.2008.924279
Y. Romano, M. Protter and M. Elad, "Single Image Interpolation Via Adaptive Nonlocal Sparsity-Based Modeling," in IEEE Trans. Image Process., 2014, https://doi.org/10.1109/tip.2014.2325774
W. Ye and K. Ma, "Convolutional Edge Diffusion for Fast Contrast-guided Image Interpolation," in IEEE Signal Process. Lett., 2016, https://doi.org/10.1109/lsp.2016.2571738
C. Ji, X. He, Y. Fu, Z. Liang, and L. Qing, ''An edge directed interpolation algorithm based on regularization,'' J. Electron. Inf. Technol., vol. 36, no. 2, pp. 293-297, 2014.
X. Gao and H. Xiong, "A hybrid wavelet convolution network with sparse-coding for image super-resolution," in ICIP, 2016, https://doi.org/10.1109/icip.2016.7532596
K. Zhang, X. Gao, D. Tao and X. Li, "Single Image Super-Resolution With Non-Local Means and Steering Kernel Regression," in IEEE Trans. Image Process., 2012, https://doi.org/10.1109/tip.2012.2208977
V. Papyan and M. Elad, "Multi-Scale Patch-Based Image Restoration," in IEEE Trans. Image Process., 2016, https://doi.org/10.1109/tip.2015.2499698
C. Ren, X. He and T. Q. Nguyen, "Single Image Super-Resolution via Adaptive High-Dimensional Non-Local Total Variation and Adaptive Geometric Feature," in IEEE Trans. Image Process., 2017, https://doi.org/10.1109/tip.2016.2619265
S. Mallat, "Wavelets for a vision," in Proc. IEEE, 1996, https://doi.org/10.1109/5.488702
H. Huang, R. He, Z. Sun and T. Tan, "Wavelet-SRNet: A Wavelet-Based CNN for Multi-Scale Face Super Resolution," in ICCV, 2017, https://doi.org/10.1109/iccv.2017.187
Y. Matsuo and S. Sakaida, "Super-resolution for 2K/8K television using wavelet-based image registration," in IEEE GlobalSIP, 2017, https://doi.org/10.1109/globalsip.2017.8308668
Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu, "Residual dense network for image super-resolution," in CVPR, 2018, https://doi.org/10.1109/cvpr.2018.00262
C. Dong, C. C. Loy, K. He, and X. Tang, "Learning a Deep Convolutional Network for Image Super-Resolution," in ECCV, 2014, https://doi.org/10.1007/978-3-319-10593-2_13
J. Bruna, P. Sprechmann, and Y. LeCun, "Super-Resolution with Deep Convolutional Sufficient Statistics," in ICLR, 2016, https://arxiv.org/abs/1511.05666
S. Hitawala, Y. Li, X. Wang, D. Yang, "Image Super-Resolution Using VDSR-ResNeXt and SRCGAN," in CVPR, 2018, https://arxiv.org/abs/1810.05731
S. G. Mallat, "A theory for multiresolution signal decomposition: the wavelet representation," in TPAMI, 1989, https://doi.org/10.1109/34.192463
H. Chang, D.-Y. Yeung and Y. Xiong, "Super-resolution through neighbor embedding," in CVPR, 2004, https://doi.org/10.1109/CVPR.2004.1315043
W. Zhang, Y. Liu, C. Dong, Y. Qiao, "RankSRGAN: Generative Adversarial Networks with Ranker for Image Super-Resolution," in CVPR, 2019, https://arxiv.org/abs/1908.06382
K. He, X. Zhang, S. Ren and J. Sun, "Deep Residual Learning for Image Recognition," in CVPR, 2015, https://doi.org/10.1109/cvpr.2016.90
T. Tong, G. Li, X. Liu and Q. Gao, "Image Super-Resolution Using Dense Skip Connections," in ICCV, 2017, https://doi.org/10.1109/iccv.2017.514
Z. Liu, P. Luo, X. Wang and X. Tang, "Deep Learning Face Attributes in the Wild," in ICCV, 2015, https://doi.org/10.1109/iccv.2015.425
G. Huang, Z. Liu, L. v. d. Maaten and K. Q. Weinberger, "Densely Connected Convolutional Networks,"in Computer Vision and Pattern Recognition, 2017, https://arxiv.org/abs/1608.06993

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증