[논문]경량화된 딥러닝 구조를 이용한 실시간 초고해상도 영상 생성 기술

안세현; 강석주

doi:10.5909/jbe.2021.26.2.167

경량화된 딥러닝 구조를 이용한 실시간 초고해상도 영상 생성 기술
Deep Learning-based Real-Time Super-Resolution Architecture Design 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.2, 2021년, pp.167 - 174

초록
AI-Helper

초고해상도 변환 문제에서 최근 딥러닝을 사용하면서 큰 성능 개선을 얻고 있다. 빠른 초고해상도 합성곱 신경망 (FSRCNN)은 딥러닝 기반 초고해상도 알고리즘으로 잘 알려져 있으며, 여러 개의 합성곱 층로 추출한 저 해상도의 입력 특징을 활용하여 역합성곱 층에서 초고해상도의 영상을 출력하는 알고리즘이다. 본 논문에서는 병렬 연산 효율성을 고려한 FPGA 기반 합성곱 신경망 가속기를 제안한다. 특히 역합성곱 층을 합성곱 층으로 변환하는 방법을 통해서 에너지 효율적인 가속기를 설계했다. 또한 제안한 방법은 FPGA 리소스를 고려하여 FSRCNN의 구조를 변형한 Optimal-FSRCNN을 제안한다. 사용하는 곱셈기의 개수를 FSRCNN 대비 3.47배 압축하였고, 초고해상도 변환 성능을 평가하는 지표인 PSNR은 FSRCNN과 비슷한 성능을 내고 있다. 이를 통해서 FPGA에 최적화된 네트워크를 구현하여 FHD 입력 영상을 UHD 영상으로 출력하는 실시간 영상처리 기술을 개발했다.

Abstract ▼ AI-Helper

Recently, deep learning technology is widely used in various computer vision applications, such as object recognition, classification, and image generation. In particular, the deep learning-based super-resolution has been gaining significant performance improvement. Fast super-resolution convolutional neural network (FSRCNN) is a well-known model as a deep learning-based super-resolution algorithm that output image is generated by a deconvolutional layer. In this paper, we propose an FPGA-based convolutional neural networks accelerator that considers parallel computing efficiency. In addition, the proposed method proposes Optimal-FSRCNN, which is modified the structure of FSRCNN. The number of multipliers is compressed by 3.47 times compared to FSRCNN. Moreover, PSNR has similar performance to FSRCNN. We developed a real-time image processing technology that implements on FPGA.

주제어

표/그림 (8)

그림 그림 1. FSRCNN의 구조 Fig. 1. FSRCNN Structure
그림 그림 2. 하드웨어 아키텍처의 Overview Fig. 2. An Overview of Proposed Hardware Architecture
표 표 1. Optimal-FSRCNN의 구조 Table 1. Optimal-FSRCNN Structure
표 표 2. Optimal-FSRCNN의 성능 비교 Table 2. Comparison of the Optimal-FSRCNN Performance
그림 그림 3. 커널 크기가 3x3인 CLP 구조 Fig. 3. CLP Architecture with Kernel Size of 3x3
그림 그림 4. 커널 크기가 1x1인 CLP 구조 Fig. 4. CLP Architecture with Kernel Size of 1x1
그림 그림 5. 시뮬레이터를 사용한 지연 시간 측정 결과 Fig. 5. Latency Measurement using Simulator
표 표 3. FPGA 하드웨어 리소스 사용량 Table 3. FPGA Hardware Resource Utilization

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 딥러닝 기반 초고해상도 영상을생성하는알고리즘을FPGA 하드웨어플랫폼에서외부메모리사용없이가속하여실시간으로동작하는시스템을설계하는방 법을소개한다. FPGA 리소스를고려하여FSRCNN 알고리즘을성능저하를최소로하여압축하는방법과FPGA의 리소스를충분히사용하면서양자화오류를최소로하는 방법을소개한다.
본논문에서는FSRCNN을타겟FPGA 하드웨어플랫폼에서외부메모리사용없이실시간으로동작하기위한방 법을소개한다. 첫번째, 타겟FPGA 하드웨어리소스를고려하여FSRCNN을성능저하없이압축하는방법을소개 한다.
위 수식(1)-(3)을 통해 FSRCNN을하드웨어에설계하기위한필요한DSP 개수를계산할 수 있다. 본논문에서는하드웨어의DSP 개수를고려하여FSRCNN 모델을압축하여연산복잡도를줄였다. 이때, 하드웨어에 구현할 때 발생할 수 있는 양자화오류를고려했다.

가설 설정

FSRCNN eSRCNN과VDSR과비교하여다음과같은특징을가지 고있다. 첫번째, 모델의입력영상이저해상도영상이다. SRCNN과VDSRe모델입력을쌍입방보간법과같은규 칙기반초고해상도알고리즘을이용하여타겟해상도로변 환후딥러닝기반알고리즘으로디테일을살리는방법이 다.

제안 방법

첫번째, 타겟FPGA 하드웨어리소스를고려하여FSRCNN을성능저하없이압축하는방법을소개 한다. DSP의 개수 및 양자화 오류를 고려하여 가장효율적으로압축하여Optimal-FSRCNN 모델을설계했다. 두 번째, 타겟FPGA 하드웨어에Optimal-FSRCNN 모델을 가장 효율적으로 설계하기 위한 아키텍처를소개한다.
법을소개한다. FPGA 리소스를고려하여FSRCNN 알고리즘을성능저하를최소로하여압축하는방법과FPGA의 리소스를충분히사용하면서양자화오류를최소로하는 방법을소개한다.
Optimal-FSRCNN을 FPGA에서 실시간으로 동작하는 시스템을 위한 가속기를 설계했다. 설계한 가속기의 개요는 그림 2와 같다.
양자화된데이터를사용했다. peak-to-signal ratio (PSNR) 로다양한데이터셋에서초고해상도영상생성성능을평 가했다. 그결과는표2와같다.
두 번째, 타겟FPGA 하드웨어에Optimal-FSRCNN 모델을 가장 효율적으로 설계하기 위한 아키텍처를소개한다. 각layer 의특성을분석하여하드웨어리소스의덜사용하는문제 를해결하기위해다양한형태로CLP를설계하는방법및 DSP를제외한나머지리소스의사용량을줄이고지연시 간을줄이기위한Combined CLP 설계방법을소개한다. 그결과FSRCNN 대비무시할수있는성정저하를가진 Optimal-FSRCNN을Xilinx Kintex7 UltraScale FPGA에 구현하여 60Hz 및74.
커널크기의경우모든합성곱층의커널크기를3이하로하여지연시 간을줄였다. 그결과표1과같이Optimal- FSRCNN을설계했다. 역합성곱층의경우커널크기는TDC 방법이적용된상태에서합성곱층의커널크기를의미하며총4개의 합성곱층를사용한다.
따라서 FSRCNNe 메모리 사용량과 연산량이 적다. 두 번째, FSRCNNe입력영상이저해상도영상이므로저해상도영 상을고해상도영상으로변환하는layer를사용한다. 이를위해SRCNN과VDSR과다르게그림1과같이마지막층 에서저해상도영상을고해상도영상으로변환하기위해 역합성곱층을사용한다.
DSP의 개수 및 양자화 오류를 고려하여 가장효율적으로압축하여Optimal-FSRCNN 모델을설계했다. 두 번째, 타겟FPGA 하드웨어에Optimal-FSRCNN 모델을 가장 효율적으로 설계하기 위한 아키텍처를소개한다. 각layer 의특성을분석하여하드웨어리소스의덜사용하는문제 를해결하기위해다양한형태로CLP를설계하는방법및 DSP를제외한나머지리소스의사용량을줄이고지연시 간을줄이기위한Combined CLP 설계방법을소개한다.
따라서각층마다서로다른CLP를설계해야하드웨어리소스를덜사용하는문제를해결할 수 있다. 따라서각층마다적합한CLP를설계했다.
따라서 음성신호와 출력 영상 사이의 동기화를보장한다. 또한 FPGA 의구동주파수를 148.5MHz로하여60Hz 입력및60Hz 출력으로 시스템을 설계했다.
라인버퍼에서합성곱연산에필요한데이터를읽기하여 병렬연산으로하드웨어리소스사용량을늘리고지연시 간을줄였다. 입력특징맵들의채널방향, 커널방향, 출력특징맵들의채널방향으로루프풀기를하여병렬연산을 수행했다.
2 툴을사용하여아키텍처를구현했다. 베릴로그 언어를 사용해서 회로를 설계했다. 입력 영상의 해상도는 FHD(1920x1080)이며출력해상도는UHD (2840x 2160)로2배up-scaling하는시스템을구현했다.
본논문에서는Xilinx Kintex7 UltraScale FPGA 환경에서 Viv ado 2018.2 툴을사용하여아키텍처를구현했다. 베릴로그 언어를 사용해서 회로를 설계했다.
역합성곱층eTDC 방법으로변환된합성곱층을CLP 로구현했다. 역합성곱층의커널크기를5x5를사용했기때문에TDC 방법으로 커널 크기가 3×3인4개의합성곱층으로변환된다.
베릴로그 언어를 사용해서 회로를 설계했다. 입력 영상의 해상도는 FHD(1920x1080)이며출력해상도는UHD (2840x 2160)로2배up-scaling하는시스템을구현했다.
라인버퍼에서합성곱연산에필요한데이터를읽기하여 병렬연산으로하드웨어리소스사용량을늘리고지연시 간을줄였다. 입력특징맵들의채널방향, 커널방향, 출력특징맵들의채널방향으로루프풀기를하여병렬연산을 수행했다. 추가로 완전 파이프라 이닝을 통해 실시간으로동작하도록했다.
법을소개한다. 첫번째, 타겟FPGA 하드웨어리소스를고려하여FSRCNN을성능저하없이압축하는방법을소개 한다. DSP의 개수 및 양자화 오류를 고려하여 가장효율적으로압축하여Optimal-FSRCNN 모델을설계했다.
입력특징맵들의채널방향, 커널방향, 출력특징맵들의채널방향으로루프풀기를하여병렬연산을 수행했다. 추가로 완전 파이프라 이닝을 통해 실시간으로동작하도록했다.
47배만큼웨이트개수를압축했다. 추가로하드웨어친화적인모델을설계하기위해데이터양자화 를수행했다. 32-bits 부동소수점의데이터타입인경우32- bits와32-bits의데이터곱셈을위해서1개의DSP로부족하 다.
따라서 먼 저층 개수를 줄였으며, 그후필터개수를줄였다. 커널크기의경우모든합성곱층의커널크기를3이하로하여지연시 간을줄였다. 그결과표1과같이Optimal- FSRCNN을설계했다.

대상 데이터

양자화된데이터를사용했다. peak-to-signal ratio (PSNR) 로다양한데이터셋에서초고해상도영상생성성능을평 가했다.

성능/효과

따라서 커널 크기가 1x1인CLP가있을경우이전CLP와결합한Combined CLP를 구현하여 중간에 라인 버퍼사용을 제거할 수 있었다. 그 결과 메모리 사용량 감소 및 지연시간을감소했다.
각layer 의특성을분석하여하드웨어리소스의덜사용하는문제 를해결하기위해다양한형태로CLP를설계하는방법및 DSP를제외한나머지리소스의사용량을줄이고지연시 간을줄이기위한Combined CLP 설계방법을소개한다. 그결과FSRCNN 대비무시할수있는성정저하를가진 Optimal-FSRCNN을Xilinx Kintex7 UltraScale FPGA에 구현하여 60Hz 및74.8 micro 초의 지연시간을 가진 시스템을 구현했다.
이는지연시간증가뿐만아니라메모리사용량증가에따른에 너지소비량이증가한다. 두번째, FSRCNN의총weight 개수는12, 636개이다. 외부메모리를 사용하지 않으면서 실시간으로 동작하기위해서는FPGA 리소스 중에서 디지털신호 처리기(DSP) 개수보다 적은 웨이트 개수를 가진 모델만 설계가가능하다.
즉, 이전 CLP 의 출력데이터가 생성되면 바로 연산이가능하다. 따라서 커널 크기가 1x1인CLP가있을경우이전CLP와결합한Combined CLP를 구현하여 중간에 라인 버퍼사용을 제거할 수 있었다. 그 결과 메모리 사용량 감소 및 지연시간을감소했다.

참고문헌 (16)

A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks," In NIPS, pp. 1097-1105, 2012.
A. Graves and J. Schmidhuber, "Framewise phoneme classification with bidirectional LSTM and other neural network architectures," In IJCNN, pp. 2047-2052, 2005.
R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," In CVPR, pp. 580-587, 2014.
R. Girshick, "Fast R-CNN," In ICCV, 2015.
S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," In NIPS, pp. 91-99, 2015.
K. He, X. Zhang, S. Ren, and J. Sun, "Mask R-CNN," In ICCV, pp. 2980-2988, 2017.
C. Dong, C. C. Loy, K. He, and X. Tang, "Learning a deep convolutional network for image super-resolution," In Proc. ECCV, 2014. pp.184-199.
Dong Chao, Chen Change Loy, and Xiaoou Tang, "Accelerating the super-resolution convolutional neural network," In ECCV, 2016.
A. Radford et al., "Unsupervised representation learning with deep convolutional generative adversarial networks," arXiv, 2015.
S. Williams et al., "Roofline: an insightful visual performance model for multicore architectures," Commun, ACM, 52(4):65-76, Apr. 2009.

상세보기
J.-W. Chang, K.-W. Kang, and S.-J Kang, "SDCNN: An efficient sparse deconvolutional neural network accelerator on FPGA," Proceedings of Design, Automation & Test in Europe (DATE), March. 2019.
Dong C., Loy C. C., He K., and Tang X., "Image superresolution using deep convolutional networks," In TPAMI, pp.295-307, 2015.
Kim J., Kwon Lee J., and Mu Lee K., "Accurate image super-resolution using very deep convolutional networks," In CVPR, 2016.
A. Yazdanbakhsh, K. Samadi, N. S. Kim, and H. Esmaeilzadeh, "GANAX: A unified mimd-simd acceleration for generative adversarial networks," In ISCA, pp. 650-661, 2018.
M. Song, J. Zhang, H. Chen, and T. Li, "Towards efficient microarchitectural design for accelerating unsupervised gan-based deep learning," In HPCA, pp. 66-77, 2018.
D. Xu, K. Tu, Y. Wang, C. Liu, B. He, and H. Li, "FCN-engine: Accelerating deconvolutional layers in classic cnn processors," In ICCAD, 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증