[논문]딥 러닝 기반의 초해상도 이미지 복원 기법 성능 분석

이현재; 신현광; 최규상; 진성일

doi:10.14372/iemek.2020.15.2.61

딥 러닝 기반의 초해상도 이미지 복원 기법 성능 분석
Performance Analysis of Deep Learning-based Image Super Resolution Methods 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.15 no.2, 2020년, pp.61 - 70

이현재 (Erae AMS) , 신현광 (Yeungnam University) , 최규상 (Yeungnam University) , 진성일 (Chungnam National University)

Abstract ▼ AI-Helper

Convolutional Neural Networks (CNN) have been used extensively in recent times to solve image classification and segmentation problems. However, the use of CNNs in image super-resolution problems remains largely unexploited. Filter interpolation and prediction model methods are the most commonly used algorithms in super-resolution algorithm implementations. The major limitation in the above named methods is that images become totally blurred and a lot of the edge information are lost. In this paper, we analyze super resolution based on CNN and the wavelet transform super resolution method. We compare and analyze the performance according to the number of layers and the training data of the CNN.

주제어

표/그림 (9)

그림 그림 1. SRCNN의 구조 Fig. 1 Structure of SRCNN
그림 그림 2. VDSR의 구조 Fig. 2 Structure of VDSR
그림 그림 3. 1-레벨 2차원 이산 웨이블릿 변환 절차 Fig. 3 The procedure of 1-level 2dDWT (2d Discrete Wavelet Transformation)
그림 그림 4. DWSR의 구조 Fig. 4 Structure of DWSR
그림 그림 5. ISSR의 구조 Fig. 5 Structure of ISSR
그림 그림 6. 데이터 전처리의 예 Fig. 6 Example of data Pre-processing
그림 그림 7. 계층 수 변화에 따른 스케일 (×2, ×3, ×4)의 성능 비교 Fig. 7 Performance comparison of scale (×2, ×3, ×4) according to the number of layers
그림 그림 8. 학습 데이터 수에 따른 스케일(×2, ×3, ×4)의 성능 비교 Fig. 8 Performance comparison of scale (× 2, × 3, × 4) according to the number of training data
그림 그림 9. 초해상도 복원기법의 결과 (a) 원본 이미지, (b) 고등차수 보간법, (c) VDSR, (d) DWSR, (e) ISSR Fig. 9 Results of Super-resolution methods (a) Original image, (b) Bicubic Interpolation, (c)VDSR, (d) DWSR, (e) ISSR

질의응답

핵심어	질문	논문에서 추출한 답변
	단일 영상 초해상도는 어떠한 역할을 하고 있는가?	고 있다 단일 영상 초해상도는 저해상도 . (Low Resolution) 영상에 비해 다양한 정보를 제공함으로 써 정교한 분석과 처리를 요구하는 분야에서 큰 역 할을 담당하고 있다 그러나 초기에 고가의 장비를 .
	고등차수 보간법은 어떠한 방법인가?	(Bicubic Interpolation) [4]은 하나의 픽셀값을 결 정하기 위해 인접한 개 픽셀을 고려하여 하나의 16 픽셀값을 결정한다 그 외 보간법은 최근접 보간법 .
	단일 영상 초해상도의 단점은 무엇인가?	할을 담당하고 있다 그러나 초기에 고가의 장비를 . 통해 초해상도 영상을 획득할 수 있기 때문에 높은 비용이 요구된다 따라서 높은 비용 문제를 [1, 2]. ,

참고문헌 (20)

S. Park, M. Park, M. Kang, "Super-resolution Image Reconstruction : A Technical Overview," Journal of IEEE Transactions on Signal Processing Magazine, Vol. 20, No. 3, pp. 21-36, 2003.

상세보기
M. Irani, S. Peleg, "Improving Resolution by Image Registration," Journal of Computer Vision Graphical Image Processing : Graphical Models and Image Processing, Vol. 53, No. 3, pp. 231-239, 1991.
R. R. Schultz, R. L. Stevenson, "Extraction of High-resolution Frames from Video Sequences," Journal of IEEE Transactions on Image Processing, Vol. 5, No. 6, pp. 996-1011, 1996.

상세보기
J. Yang, J. Wright, T. S. Huang, Y. Ma, "Image Super-resolution via Sparse Representation," Journal of IEEE Transactions on Image Processing, Vol. 19, No. 11, pp. 2861-2873, 2010.

상세보기
Freeman W. T, Jonesm T. R, Pasztor E. C. "Example-based Super-resolution," Journal of IEEE Transactions on Computer Graphics and Applications, Vol. 22, No. 2, pp. 56-65, 2002.
K. Simonyan, A. Zisserman, "Very Deep Convolutional Networks for Large-scale Image Recognition," pp. 1-14, 2015.
Lim, Bee, "Enhanced Deep Residual Networks for Single Image Super-resolution," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 136-144, 2017.
Dong, Chao, "Image Super-resolution Using Deep Convolutional Networks" Journal of IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 38, No. 2, pp. 295-307, 2016.

상세보기
J. Kim, J. Lee, K. Lee. "Accurate Image Super-resolution Using Very Deep Convolutional Networks" Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1646-1654, 2016.
Guo, Tiantong, "Deep Wavelet Prediction for Image Super-resolution," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 104-113, 2017.
H. Lee, H.Y. Jung, G.S. Choi, "Super-Resolution Based on Convolutional Neural Network Training Wavelet Transform Data," Proceedings of Symposium of the Korean Institute of communications and Information Sciences, pp. 268-269, 2017 (in Korean).
O. Russakovsky, D. Jia, S. Hao, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, F.-F. Li, "ImageNet Large Scale Visual Recognition Challenge," International Journal of Computer Vision, Vol. 115, No. 3, pp. 211-252, 2015.

상세보기
H. D. Nguyen, "Deep Learning-based SISR (Single Image Super Resolution) Method Using RDB (Residual Dense Block) and Wavelet Prediction Network," Korea Polytechnic University M.S thesis, 2019.
Y. Bengio, P. Simard, P. Frasconi, "Learning Long-term Dependencies with Gradient Descent is Difficult. Neural Networks," Journal of IEEE Transactions on Vol. 5, No. 2, pp.157-166, 1994.
D. Martin, C. Fowlkes, D. Tal, J. Malik, "A Database of Human Segmented Natural Images and Its Application to Evaluating Segmentation Algorithms and Measuring Ecological Statistics," Proceedings of IEEE Conference on Computer Vision, pp. 416-423, 2001.
J. Yang, J. Wright, T. S. Huang, Y. Ma, "Image Superresolution via Sparse Representation," Journal of IEEE Transactions on Image Processing, Vol. 19, No. 11, pp. 2861-2873, 2010.

상세보기
C. Bevilacqua, A. Roumy, M. Morel, "Low-complexity Single-image Super-resolution Based on Nonnegative Neighbor Embedding," Proceedings of British Machine Vision, pp. 1-10, 2012.
R. Zeyde, M. Elad, M. Protter, "On Single Image Scale-up Using Sparse-representations. In Curves and Surfaces," Proceedings of International Conference on Curves and Surfaces, pp. 711-730, 2012.
S. Mallat, A Wavelet Tour of Signal Processing: the Sparse Way, Academic press, 2008.
R. Timofte, E. Agustsson, L. Van Gool, M.-H. Yang, L. Zhang, "Ntire 2017 Challenge on Single Image Super-resolution: Methods and Results," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 114-125, 2017.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증