[논문]합성곱 신경망의 학습 가속화를 위한 방법

최세진; 정준모

doi:10.17703/jcct.2017.3.4.171

합성곱 신경망의 학습 가속화를 위한 방법
A Method for accelerating training of Convolutional Neural Network 원문보기

Journal of the convergence on culture technology : JCCT = 문화기술의 융합, v.3 no.4, 2017년, pp.171 - 175

최세진 (서경대학교 컴퓨터공학과) , 정준모 (서경대학교 전자공학과)

초록
AI-Helper

최근 CNN(Convolutional Neural Network)의 구조가 복잡해지고 신견망의 깊이가 깊어지고 있다. 이에 따라 신경망의 학습에 요구되는 연산량 및 학습 시간이 증가하게 되었다. 최근 GPGPU 및 FPGA를 이용하여 신경망의 학습 속도를 가속화 하는 방법에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 NVIDIA GPGPU를 제어하는 CUDA를 이용하여 CNN의 특징추출부와 분류부에 대한 연산을 가속화하는 방법을 제시한다. 특징추출부와 분류부에 대한 연산을 GPGPU의 블록 및 스레드로 할당하여 병렬로 처리하였다. 본 논문에서 제안하는 방법과 기존 CPU를 이용하여 CNN을 학습하여 학습 속도를 비교하였다. MNIST 데이터세트에 대하여 총 5 epoch을 학습한 결과 제안하는 방법이 CPU를 이용하여 학습한 방법에 비하여 약 314% 정도 학습 속도가 향상된 것을 확인하였다.

Abstract ▼ AI-Helper

Recently, Training of the convolutional neural network (CNN) entails many iterative computations. Therefore, a method of accelerating the training speed through parallel processing using the hardware specifications of GPGPU is actively researched. In this paper, the operations of the feature extraction unit and the classification unit are divided into blocks and threads of GPGPU and processed in parallel. Convolution and Pooling operations of the feature extraction unit are processed in parallel at once without sequentially processing. As a result, proposed method improved the training time about 314%.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 NVIDIA GPGPU를 제어하는 CUDA를 이용하여 Convolution 및 Pooling layer에 대한 연산을 결합하여 학습 속도를 향상시키는 방법과 Fully connected layer를 병렬로 처리할 수 있는 방법을 제안한다. CUDA(Compute Unified Device Arcthiecture)는 GPGPU에서 수행하는 병렬 처리 알고리즘을 C 언어와 같은 산업 표준 연어를 사용하여 작성할 수 있도록 하는 프레임워크이다.
기존 Convolution layer와 Pooling layer는 각각 분리되어 연산을 수행하며, 일반적으로 Convolution layer의 결과를 이용하여 Pooling 연산을 수행한다. 본 논문에서는 그림 3과 같이 Convolution 연산을 수행한 뒤 Pooling 연산을 수행하는 순차적인 구조를 개선하여 그림 4와같이 Convolution 연산을 수행하는 과정에서 한번에 Pooling 연산을 수행함으로써 데이터를 읽고 쓰는 동작을 감소시켜 학습 성능을 향상시킬 수 있는 방법을 제안하였다.

제안 방법

본 논문에서는 CNN의 학습 속도를 개선하기 위하여 NVIDIA GPGPU를 제어하는 CUDA를 이용한 병렬 처리를 사용하였다. CNN 학습에서 가장 많은 시간이 소요되는 Convolution layer와 Pooling layer의 연산 방법을 다르게 구현하여 학습 속도에 대한 성능을 향상시켰다. Convolution 및 Pooling layer에 대한 연산을 결합하여 데이터 읽기 및 쓰기 동작을 감소시켰으며 Fully connected layer의 연산을 블록 및 스레드를 할당하였다.
CNN의 특징추출부는 그림 5와 같이 Convolution 연산과 Pooling 연산을 한번에 수행하도록 구현하였다. CUDA를 이용하여 각 출력 특징맵을 블록에 할당하였고 특징맵 내부의 값은 스레드로 할당하여 출력 특징맵을 계산하는 과정을 병렬로 처리될 수 있도록 하였다. 학습을 위한 역전파 과정에서는 오류를 전파하기 위하여 Convolution 및 Pooling 연산을 수행할 때 출력 값의 위치를 미리 저장하여 역전파에 사용하였다.
CNN 학습에서 가장 많은 시간이 소요되는 Convolution layer와 Pooling layer의 연산 방법을 다르게 구현하여 학습 속도에 대한 성능을 향상시켰다. Convolution 및 Pooling layer에 대한 연산을 결합하여 데이터 읽기 및 쓰기 동작을 감소시켰으며 Fully connected layer의 연산을 블록 및 스레드를 할당하였다. 가중치를 갱신하는 과정은 데이터의 일관성을 고려하지 않아도 되기 때문에 모든 가중치에 대한 갱신 연산을 동시에 처리하도록 구현하였다.
Convolution 및 Pooling layer에 대한 연산을 수행한 뒤 생성된 최종 출력 특징맵을 1차원 벡터로 변환한 뒤 Fully-connected layer를 통해 학습을 수행한다. Fully-connected layer는 기존 MLP와 같은 구조로 구성되어 있으며 입력 뉴런과 가중치 간 곱과 합의 반복으로 연산을 수행하게 된다.
Convolution 및 Pooling layer에 대한 연산을 결합하여 데이터 읽기 및 쓰기 동작을 감소시켰으며 Fully connected layer의 연산을 블록 및 스레드를 할당하였다. 가중치를 갱신하는 과정은 데이터의 일관성을 고려하지 않아도 되기 때문에 모든 가중치에 대한 갱신 연산을 동시에 처리하도록 구현하였다.
따라서 그림 6와 같이 각 출력 뉴런을 연산하는 과정을 스레드로 할당하였고, 최종 출력 뉴런의 수가 블록 당 스레드 수를 초과할 경우 다음 블록의 스레드에서 연산을 수행하도록 구현하였다.
본 논문에서는 CNN 학습 알고리즘을 C 언어를 기반으로 하여 구현하였으며 그림 CNN 학습에서 많은 연산이 요구되는 부분을 CUDA를 이용하여 병렬화하여 구현하였다. CUDA를 통해 병렬화 된 부분은 연산에 사용될 데이터를 GPGPU의 메모리에 적재한 뒤 GPGPU 내부의 SM 및 SP 에 할당되어 연산을 병렬로 수행하게 된다.
본 논문에서는 CNN의 학습 속도를 개선하기 위하여 NVIDIA GPGPU를 제어하는 CUDA를 이용한 병렬 처리를 사용하였다. CNN 학습에서 가장 많은 시간이 소요되는 Convolution layer와 Pooling layer의 연산 방법을 다르게 구현하여 학습 속도에 대한 성능을 향상시켰다.
CNN에 사용된 데이터세트는 MNIST를 사용하였고 제안하는 방법으로 학습한 성능과 CPU를 통해 학습한 성능을 실험하여 비교하였다. 성능 비교를 위한 CNN의 구조는 동일한 구조를 사용하였으며, Epoch 당 학습 시간을 비교하였다. 실험 결과는 표 1과 같다.
역전파의 경우도 정방향과 동일한 방법으로 스레드 및 블록을 할당하여 병렬화를 구현하였다.
CUDA를 이용하여 각 출력 특징맵을 블록에 할당하였고 특징맵 내부의 값은 스레드로 할당하여 출력 특징맵을 계산하는 과정을 병렬로 처리될 수 있도록 하였다. 학습을 위한 역전파 과정에서는 오류를 전파하기 위하여 Convolution 및 Pooling 연산을 수행할 때 출력 값의 위치를 미리 저장하여 역전파에 사용하였다.

대상 데이터

제안하는 방법을 검증하기 위한 실험 환경은 다음과 같다. Visual studio 2013, CUDA 7.5, GTX1070,i7-4790를 사용하였다. 구현된 CNN의 구조는 그림 8과 같다.

데이터처리

CNN에 사용된 데이터세트는 MNIST를 사용하였고 제안하는 방법으로 학습한 성능과 CPU를 통해 학습한 성능을 실험하여 비교하였다. 성능 비교를 위한 CNN의 구조는 동일한 구조를 사용하였으며, Epoch 당 학습 시간을 비교하였다.

성능/효과

실험 결과를 통하여 Convolution 및 Pooling layer를 결합한 뒤, 학습을 진행한 방법이 기존 방법과 비교하여 약 314% 정도 학습 속도를 개선하였으며 학습정확도는 차이가 없는 것을 확인할 수 있었다
제안하는 방법과 기존 방법에 대한 학습 속도를 비교한 결과, 본 논문에서 제안하는 방법을 통해 학습 속도를 약 314% 개선하였고 학습 정확도에서는 차이가 없는 것을 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	CUDA의 기능은 무엇인가?	본 논문에서는 NVIDIA GPGPU를 제어하는 CUDA를 이용하여 Convolution 및 Pooling layer에 대한 연산을 결합하여 학습 속도를 향상시키는 방법과 Fully connected layer를 병렬로 처리할 수 있는 방법을 제안한다. CUDA(Compute Unified Device Arcthiecture)는 GPGPU에서 수행하는 병렬 처리 알고리즘을 C 언어와 같은 산업 표준 연어를 사용하여 작성할 수 있도록 하는 프레임워크이다. 그림 1은 CUDA의 실행 모델이다.
	CNN의 레이어는 어떻게 분류되는가?	CNN을 이용한 학습은 CNN의 구조가 확장됨에 따라 연산량 및 학습 시간이 비례하여 증가한다는 단점이 있다. CNN은 Convolution layer와 Pooling layer로 구성된 특징추출부와 Fully connected layer로 구성된 분류부로 나뉜다. 특히 특징추출부의 Convolution layer는 전체 학습 시간에서 차지하는 비중이 80~90% 이상이다.
	CNN의 구조적 특성이 가져오는 단점을 극복하는 방안은 무엇인가?	CNN은 Convolution layer와 Pooling layer로 구성된 특징추출부와 Fully connected layer로 구성된 분류부로 나뉜다. 특히 특징추출부의 Convolution layer는 전체 학습 시간에서 차지하는 비중이 80~90% 이상이다.따라서 특징추출부에 대한 성능을 향상시키는 것을 통하여 학습 속도를 크게 향상 시킬 수 있다. 그림 1은 CNN에서 사용되는 Convolution 연산에 대한 의사 코드이다.

참고문헌 (11)

G. Eason, B. Nobel, and I.N. Sneddon, "On certain integrals of Lipschitz-Hankel type involving products of Bessel functions", Phil. Trans. Roy. Soc. London, vol. A247, pp. 529-551, April 1955.
J. Clerk Maxwell, A Treatise on Electricity and Magnetism, 3rd ed., vol. 2. Oxford: Clarendon, 1892, pp.68-73.
I.S. Jacobs and C.P. Bean, "Fine particles, thin films and exchange anisotropy," in Magnetism, vol. III, G.T. Rado and H. Suhl, Eds. New York: Academic, 1963, pp. 271-350.
K. Elissa, "Title of paper if known," unpublished
R. Nicole, "Title of paper with only first word capitalized," J. Name Stand. Abbrev., in press.
Y. Yorozu, M. Hirano, K. Oka, and Y. Tagawa, "Electron spectroscopy studies on magneto-optical media and plastic substrate interface," IEEE Transl. J. Magn. Japan, vol. 2, pp. 740-741, August 1987 [Digests 9th Annual Conf. Magnetics Japan, p. 301, 1982].

상세보기
M. Young, The Technical Writer's Handbook. Mill Valley, CA: University Science, 1989.
NVIDIA Corporations, CUDA C Programming GUIDE, January, 2017
LeCun, Yann, and Yoshua Bengio. "Convolutional networks for images, speech, and time series." The handbook of brain theory and neural networks 3361, no.10 1995
Nan-Ying Liang, Guang-Bin Huang, "A Fast and Accurate Online Sequential Learning Algorithm for Feedforward Networks," IEEE Transaction on Neural Networks, Vol. 17, Issue 6, pp. 1411-1423, Nov. 2016
Rongqiang Qian, Zhao Wang, Frans Coenen, "Robust Chinese Traffic Sign Detection and Recognition with Deep Convolutional Neural Network," 2015 11th International Conference on Natural Computation(ICNC), 791-796, 2015.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증