[논문]GPGPU와 Combined Layer를 이용한 필기체 숫자인식 CNN구조 구현

이상일; 남기훈; 정준모

doi:10.17703/jcct.2017.3.4.165

GPGPU와 Combined Layer를 이용한 필기체 숫자인식 CNN구조 구현
Implementation of handwritten digit recognition CNN structure using GPGPU and Combined Layer 원문보기

Journal of the convergence on culture technology : JCCT = 문화기술의 융합, v.3 no.4, 2017년, pp.165 - 169

이상일 (서경대학교 전자컴퓨터공학과) , 남기훈 (서경대학교 컴퓨터공학과) , 정준모 (서경대학교 전자공학과)

초록
AI-Helper

CNN(Convolutional Nerual Network)는 기계학습 알고리즘 중에서도 이미지의 인식과 분류에 뛰어난 성능을 보이는 알고리즘 중 하나이다. CNN의 경우 간단하지만 많은 연산량을 가지고 있어 많은 시간이 소요된다. 따라서 본 논문에서는 CNN 수행과정에서 많은 처리시간이 소모되는 convolution layer와 pooling layer, fully connected layer의 연산수행을 SIMT(Single Instruction Multiple Thread)구조의 GPGPU(General-Purpose computing on Graphics Processing Units)를 통하여 병렬로 연산처리를 수행했다. 또한 convolution layer의 출력을 저장하지 않고 pooling layer의 입력으로 바로 사용함으로 메모리 접근횟수를 줄여 성능 향상을 기대했다. 본 논문에서는 이 실험검증을 위하여 MNIST 데이터 셋을 사용하였고 이를 통하여 제안하는 CNN 구조가 기존의 구조보다 12.38% 더 좋은 성능을 보임을 확인했다.

Abstract ▼ AI-Helper

CNN(Convolutional Nerual Network) is one of the algorithms that show superior performance in image recognition and classification among machine learning algorithms. CNN is simple, but it has a large amount of computation and it takes a lot of time. Consequently, in this paper we performed an parallel processing unit for the convolution layer, pooling layer and the fully connected layer, which consumes a lot of handling time in the process of CNN, through the SIMT(Single Instruction Multiple Thread)'s structure of GPGPU(General-Purpose computing on Graphics Processing Units).And we also expect to improve performance by reducing the number of memory accesses and directly using the output of convolution layer not storing it in pooling layer. In this paper, we use MNIST dataset to verify this experiment and confirm that the proposed CNN structure is 12.38% better than existing structure.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

제안 방법

기계학습 분야 중 인공 신경 회로망의 일종인 CNN은 동물의 두뇌 신경이 동작하는 방법에 기안하여 설계되었다.[2] 본 논문에서는 연산의 가속화를 위하여 GPU를 사용하였다. GPU를 이용한 고속화연구는 CPU성능의 한계극복을 위해서 시작되었으며
GPU가 연산을 수행하는 ALU의 개수가 많기 때문에 대규모 연산에 CPU를 이용하는 것 보다 유리하다.[3] 본 논문에서는 이러한 GPGPU의 특징을 딥러닝의 기술 중 하나인 CNN의 연산을 GPGPU를 통 하여 병렬로 수행하고 Combined Layer라는 구조를 사용하여 속도 향상을 기대했다.
이를 이용하면 사람마다 다른 필기체 인식도 성공할 수 있다. 기계학습은 여러 종류가 있으며 본 논문에서는 CNN이라는 영상 인식과 추론에 특화된 학습 기법을 사용하며 이 구조는 많은 분야에서 적용이 가능 하다. CNN은 생물학적인 시각에서 뉴런과 시냅스들의 조합으로 사물을 인식하는 것이다.
하나의stream multiple processor는 4개의 stream processor로 구성되며 stream processor는 16개의 thread로 이루어져 있다. 따라서 실험에서는 256개의 thread의stream multiple processor를 통하여 제어하며 이를 통하여 연산처리를 수행하였다. thread는 SIMD의 특징을 이용하여 각각의 data에 대하여 같은 연산을 각 thread마다 진행하므로 하나의 thread를 이용하여 연산처리를 수행하는 것보다.
본 논문에서 제안하는 combined layer의 경우 convolution layer의 연산 결과를 메모리에 저장하지 않고 바로 polling layer의 입력으로 사용한다. 결과적으로 메모리에 저장하는 횟수가 감소함으로써 메모리 접근이 줄어들기 때문에 처리속도가 줄어들며, thread하나가 combined layer에서 4개의 convolution연산과 1개의 pooling연산을 수행한다.
[7] 따라서 많지만 간단한 연산들로 이루어지는 CNN구조에 매우 적합하다.본 논문에서는 그림 3과 같은 구조의 convolutionlayer와 pooling layer를 결합한 layer와 fullyconnected layer를 GPGPU를 이용하여 수행했다.
실험에는 MNIST라는 손 글씨 데이터 셋을 사용하였다. 이를 Xilnix사의 VC707 FPGA보드를 이용하여 256개의 Multi thread로 동작하는 GPGPU기술을 이용하여 CNN의 feedfoward 연산처리과정을 수행하였다. 그림 3의 CNN구조의 feed forward과정을 수행 하였을 때 표1과 같은 결과를 보였다.

대상 데이터

실험에는 MNIST라는 손 글씨 데이터 셋을 사용하였다. 이를 Xilnix사의 VC707 FPGA보드를 이용하여 256개의 Multi thread로 동작하는 GPGPU기술을 이용하여 CNN의 feedfoward 연산처리과정을 수행하였다.

성능/효과

또한 많은 연구가 진행되면서 다양한 알고리즘이 나오고 있다. 이는 목적에 따라 학습 구조를 사용하느냐에 따라, 알고리즘 개선을 통한 성능개선의 여지가 있으며, 본 연구에서 보이듯 각 layer에서 사용되는 연산을 GPU에서 수행하고 combined layer라는 구조를 사용함으로ㅆ 성능이 개선됨을 확인하였다. 이를 통해 연산이 많이 필요한 복잡한 알고리즘이라 하더라도 GPGPU기술 등 하드웨어 성능에 따라 연산처리시간이 가속화될 가능성이 많음을 알 수 있다.
그림 3의 CNN구조의 feed forward과정을 수행 하였을 때 표1과 같은 결과를 보였다. 제안한 구조의 CNN은기존의 CNN구조 보다 12.38.% 빠른 속도를 보여 제안하는 구조가 feed forward 과정에서 기존의 구조 보다 더 좋은 성능을 보이는 것을 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	CNN이란 무엇인가?	CNN(Convolutional Nerual Network)는 기계학습 알고리즘 중에서도 이미지의 인식과 분류에 뛰어난 성능을 보이는 알고리즘 중 하나이다. CNN의 경우 간단하지만 많은 연산량을 가지고 있어 많은 시간이 소요된다.
	CNN을 구성하는 각 layer의 역할은 무엇인가?	[6] 또한 필요한 픽셀의 주변 픽셀만을 이용하여연산이 가능하기 때문에 설계자가 원하는 크기의 커널 혹은 필터크기를 설정할 수 있다. convolution layer는convolution연산을 통하여 특징들을 추출해주는 layer이며 일정한 패턴을 가지는 곱의 합으로 이루어진다.pooling layer는 convolution layer의 feature map을 줄여주는 역할을 한다. 마지막으로 fully connected layer는 여러 개의 뉴런으로 구성된 layer와 활성화 함수로 구성되어서 분류 또는 회귀 기능을 수행한다. WX+B의 간단한 연산으로 이루어져있지만 뉴런과 레이어 수가 많아짐에 따라 연산량이 증가하며 입력 이미지의 채널을 늘려 더욱 많은 파라미터들을 학습할 수 있으나 이 또한 연산량 증가를 가져온다.
	CNN의 특징은 무엇인가?	CNN(Convolutional Nerual Network)는 기계학습 알고리즘 중에서도 이미지의 인식과 분류에 뛰어난 성능을 보이는 알고리즘 중 하나이다. CNN의 경우 간단하지만 많은 연산량을 가지고 있어 많은 시간이 소요된다. 따라서 본 논문에서는 CNN 수행과정에서 많은 처리시간이 소모되는 convolution layer와 pooling layer, fully connected layer의 연산수행을 SIMT(Single Instruction Multiple Thread)구조의 GPGPU(General-Purpose computing on Graphics Processing Units)를 통하여 병렬로 연산처리를 수행했다.

참고문헌 (7)

Lee Wan-Joo, "A Study on Implementation of Vehicle Number Plate Recognition Moduler" BUll Nat. Sci, Yong-In Univ, vol.8, no.2, pp.153-159, Feb. 2004.
KimYeonGyu, "Improvement of Korea characters Recognition Performance Using CNN and Feature Extraction", Master thesis, Busan University, 2017
Lee Seonguk, Byeon Gibeom, Kim Kisu, Hong Jiman, "Research of accelerating method of video quality measurement program using GPGPU", Smart Media Journal, vol.5, no4, pp. 66-74, Dec. 2016.
Jeon Sanghui ,Development of multi-pedestrain gender classification algorithm using GPGPGU, Master thesis, KyungSung University, 2017.
Heewon Kye and Junho Kim, "Acceleration techniques for GPGPGU-based Maximum Intensity Projection", Journal of Korea Multimedia Society, vol.1, no.8, pp981-991, 2011.
Ye, Jaehyung, "Scale-invariant CNN for building and road detection from aerial images", Master thesis, Korea University, 2017.
John Nickolls, William J Dally, "The GPU Computing Era", IEEE, vol.30, no.2, pp. 59-69, March-Aprill, 2010.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증