[논문]단일 영상 초해상도를 위한 질감-공간 분리 기반의 특징 분류 네트워크

한현호

doi:10.23149/jdp.2023.2.3.001

단일 영상 초해상도를 위한 질감-공간 분리 기반의 특징 분류 네트워크
Texture-Spatial Separation based Feature Distillation Network for Single Image Super Resolution 원문보기

디지털정책학회지 = Journal of Digital Policy, v.2 no.3, 2023년, pp.1 - 7

한현호 (울산대학교 교양학부)

초록
AI-Helper

본 논문은 단일 영상을 이용하여 초해상도 방법을 수행하기 위해 질감-공간 영역을 분리한 뒤 세부정보를 중심으로 특징을 분류하는 방법을 제안한다. CNN(Convolutional Neural Network) 기반의 초해상도는 세부정보를 개선하기 위한 특징 추정 과정에서의 복잡한 절차와 중복된 특징 정보의 생성으로 인해 초해상도에서 가장 중요한 기준인 품질 저하가 발생할 수 있다. 제안하는 방법은 절차적 복잡성을 줄이고 중복 특징 정보의 생성을 최소화하여 초해상도 결과의 품질을 개선하기 위해 입력 영상을 질감과 공간의 두 채널로 분리하였다. 질감 채널에서는 세부정보 복원을 위해 다중스케일로 변환한 영상에 단계별 skip-connection을 적용한 잔차 블록 구조를 적용하여 특징 정제 과정을 수행함으로써 특징 추출을 개선하였고, 공간 채널에서는 평활화된 형태의 특징을 활용하여 잡음을 제거하고 구조적 특징을 유지하도록 하였다. 제안하는 방법을 이용해 실험한 결과 기존 초해상도 방법대비 PSNR 및 SSIM 성능 평가에서 향상된 결과를 보여 품질이 개선됨을 확인할 수 있었다.

Abstract ▼ AI-Helper

In this paper, I proposes a method for performing single image super resolution by separating texture-spatial domains and then classifying features based on detailed information. In CNN (Convolutional Neural Network) based super resolution, the complex procedures and generation of redundant feature information in feature estimation process for enhancing details can lead to quality degradation in super resolution. The proposed method reduced procedural complexity and minimizes generation of redundant feature information by splitting input image into two channels: texture and spatial. In texture channel, a feature refinement process with step-wise skip connections is applied for detail restoration, while in spatial channel, a method is introduced to preserve the structural features of the image. Experimental results using proposed method demonstrate improved performance in terms of PSNR and SSIM evaluations compared to existing super resolution methods, confirmed the enhancement in quality.

주제어

표/그림 (8)

그림 Fig. 1. Flowchart of proposed method
그림 Fig. 2. Detail of Residual Block(RB)
그림 Fig. 3. Result of proposed method (x4)
그림 Fig. 4. Experimental result (102061 image, scale 4)
그림 Fig. 5. Experimental result (147091 image, scale 4)
그림 Fig. 6. Experimental result (253027 image, scale 4)
표 Table 1. Quantative comparison (PSNR)
표 Table 2. Quantative comparison (SSIM)

참고문헌 (15)

H. Chen, X. He, L. Qing, Y. Wu, C. Ren, R. E.？Sheriff & C. Zhu. (2022). Real-world single image？super-resolution: A brief review. Information？Fusion, 79, 124-145.？DOI : 10.1016/j.inffus.2021.09.005

상세보기
Y. Zhang, Y. Huang, K. Wang, G. Qi & J. Zhu.？(2023). Single image super-resolution？reconstruction with preservation of structure and？texture details. Mathematics, 11(1), 216.？DOI : 10.3390/math11010216

상세보기
Z. Hui, J. Li, X. Gao & X. Wang. (2021).？Progressive perception-oriented network for？single image super-resolution. Information？Sciences, 546, 769-786.？DOI : 10.1016/j.ins.2020.08.114

상세보기
B. Niu et al. (2020). Single image？super-resolution via a holistic attention network.？In Computer Vision-ECCV 2020: 16th European？Conference, Glasgow, UK, August 23-28, 2020,？Proceedings, Part XII 16 (pp. 191-207). Springer？International Publishing.？DOI : 10.1007/978-3-030-58610-2_12
F. Fang, J. Li & T. Zeng. (2020). Soft-edge assisted？network for single image super-resolution. IEEE？Transactions on Image Processing, 29,？4656-4668.？DOI : 10.1109/TIP.2020.2973769

상세보기
M. Haris, G. Shakhnarovich & N. Ukita, (2020).？Deep back-projectinetworks for single image？super-resolution. IEEE Transactions on Pattern？Analysis and Machine Intelligence, 43(12),？4323-4337.？DOI : 10.1109/TPAMI.2020.3002836

상세보기
S. M. A. Bashir, Y. Wang, M. Khan & Y. Niu.？(2021). A comprehensive review of deep？learning-based single image super-resolution.？PeerJ Computer Science, 7, e621.？DOI : 10.1016/j.neucom.2019.09.035

상세보기
B. Liu & D. Ait-Boudaoud, (2020). Effective？image super resolution via hierarchical？convolutional neural network. Neurocomputing,？374, 109-116.？DOI : 10.1016/j.neucom.2019.09.035

상세보기
C. Dong, C. C. Loy, K. He & X. Tang. (2015).？Image super-resolution using deep convolutional？networks. IEEE transactions on pattern analysis？and machine intelligence, 38(2), 295-307.？DOI : 10.1109/TPAMI.2015.2439281

상세보기
J. Kim, J. K. Lee & K. M. Lee. (2016). Accurate？image super-resolution using very deep？convolutional networks. In Proceedings of the？IEEE conference on computer vision and pattern？recognition (pp. 1646-1654).？DOI : 10.1109/CVPR.2016.182
B. Lim, S. Son, Kim, H., Nah, S., & Mu Lee, K.？(2017). Enhanced deep residual networks for？single image super-resolution. In Proceedings of？the IEEE conference on computer vision and？pattern recognition workshops (pp. 136-144).？DOI : 10.48550/arXiv.1707.02921
Y. Zhang, Y. Tian, Y. Kong, B. Zhong & Y. Fu.？(2018). Residual dense network for image？super-resolution. In Proceedings of the IEEE？conference on computer vision and pattern？recognition (pp. 2472-2481).？DOI : 10.48550/arXiv.1802.08797
Y. Huang, J. Li, X. Gao, Y. Hu & W. Lu. (2021).？Interpretable detail-fidelity attention network for？single image super-resolution. IEEE Transactions？on Image Processing, 30, 2325-2339.？DOI : 10.1109/TIP.2021.3050856

상세보기
Z. Lu & Y. Chen. (2022). Single image？super-resolution based on a modified U-net with？mixed gradient loss. signal, image and video？processing, 1-9.？DOI : 10.1007/s11760-021-02063-5

상세보기
G. Wu, J. Jiang & X. Liu. (2023). A practical？contrastive learning framework for single-image？super-resolution. IEEE Transactions on Neural？Networks and Learning Systems.？DOI: 10.1109/TNNLS.2023.3290038？

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증