[논문]Zero-skipping을 적용한 MNIST 분류 CNN 구현

한성현; 정준모

doi:10.7471/ikeee.2018.22.4.1238

Zero-skipping을 적용한 MNIST 분류 CNN 구현
Implementation of MNIST classification CNN with zero-skipping 원문보기

전기전자학회논문지 = Journal of IKEEE, v.22 no.4, 2018년, pp.1238 - 1241

한성현 (Dept. of Computer Engineering, Seokyeong University) , 정준모 (Dept. of Electronic Engineering, Seokyeong University)

초록
AI-Helper

본 논문에서는 zero-skipping을 적용한 MNIST 분류 CNN을 구현했다. CNN의 activation에서 0이 30~40% 나오고, 0은 MAC 연산에 영향을 끼치지 않기 때문에 0을 branch를 통해 skip하게 되면 성능 향상을 시킬 수 있다. 그러나 컨볼루션 레이어에서는 branch를 통해 skip하게 되면 성능 하락이 발생한다. 그에 따라 컨볼루션 레이어에서는 연산의 영향을 미치지 않는 NOP을 주어 연산을 skip하고 풀리 커넥티드 레이어에서는 branch를 통해 skip했다. 기존의 CNN보다 약 1.5배의 성능 향상을 확인했다.

Abstract ▼ AI-Helper

In this paper, MNIST classification CNN with zero skipping is implemented. Activation of CNN results in 30% to 40% zero. Since 0 does not affect the MAC operation, skipping 0 through a branch can improve performance. However, at the convolution layer, skipping over a branch causes a performance degradation. Accordingly, in the convolution layer, an operation is skipped by giving a NOP that does not affect the operation. Fully connected layer is skipped through the branch. We have seen performance improvements of about 1.5 times that of existing CNN.

주제어

표/그림 (7)

그림 Fig. 1. GPU Architecture. 그림 1. GPU 아키텍처
표 Table 1. MNIST CNN architecture. 표 1. MNIST 분류 CNN 아키텍처
그림 Fig. 3. Thread allocation of the fully connected layer. 그림 3. 풀리 커넥티드 레이어의 스레드 할당
그림 Fig. 2. Thread allocation of the convolution layer. 그림 2. 컨볼루션 레이어의 스레드 할당
표 Table 2. Processing time of conventional CNN, zero-skipping CNN. 표 2. 기존의 CNN, zero-skipping CNN의 연산 시간 비교
그림 Fig. 3. Branch divergence in the convolution layer. 그림 3. 컨볼루션 레이어에서의 branch divergence
표 Table 3. Processing time comparison. 표 3. 연산 시간 비교

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 이전 연구에서 설계한 임베디드GPGPU를 활용하여 연산량을 줄이는 알고리즘인 zero-skipping을 구현하여 연산량을 줄이는 연구를 진행했다.

가설 설정

5. 모든 값을 더하게 되면 활성화 함수를 거친다.

제안 방법

Zero skipping Convolution neural network를 비교하기 위하여 기존의 연구를 분석했다[4]. 기존의 연구는 GPGPU를 활용하여 MNIST를 분류하는 CNN은 다음과 같은 표 1과 같은 구조를 가지고 있다.
기존의 CNN은 다음과 같이 분석했다. Zero skipping convolution neural network는 컨볼루션 레이어와풀리 커넥티드 레이어에만 적용할 수 있으므로 두 개의 레이어의 연산에 대해서만 분석했다.
그에 따라 0을 제외한다면 연산량을 줄일 수 있으며, 연산량이 줄어듬에 따라 소비전력이 감소하게 된다. 그에 따라 0에 대한 연산을 제거하는 zero skipping Convolution neural network을 구현했다.
본 논문에서는 CNN의 activation의 30∼40%가 0이라는 것에 기반하여, 0에 대한 연산을 넘기는 zero-skipping CNN을 구현했다.
실험은 GPGPU를 FPGA에 탑재한 후 진행하였다. 다음 표 2는 기존의 MNIST 분류 CNN과 zeroskipping을 사용한 CNN의 성능을 비교했다.
이러한 branch divergence를 해결하기 위해서 activation이 0인 스레드는 branch 대신 결과값의영향을 미치지 않는 연산(NOP, MOV 등)을 수행하도록 했다.

대상 데이터

본 논문에서는 CNN의 activation의 30∼40%가 0이라는 것에 기반하여, 0에 대한 연산을 넘기는 zero-skipping CNN을 구현했다. 256개의 스레드를 가지는 임베디드 GPGPU를 실험에 사용했다. 기존의 zero-skipping은 activation이 0이라면 가중치 읽기, 곱셈, 덧셈 연산을 skiping하는 알고리즘이다.

성능/효과

연산 시간 결과를 비교하면 풀리 커넥티드 레이어에서는 연산시간이 대폭 감소했으나, 오히려 컨볼루션 레이어에서는 연산시간이 증가한 것을 확인할 수 있다.
컨볼루션 레이어에는 NOP zero-skipping을 적용하고 풀리 커넥티드 레이어에서는 branch zeroskipping을 적용하면 기존의 MNIST 보다 4.41 ms빠르며, 이것은 약 1.5배의 성능 향상을 확인할 수 있다.
컨볼루션 레이어에는 기존의 zero-skipping을 적용하지 않고 분기하지 않는 스레드에게 연산에 영향을 미치지 않는NOP명령어를 주어 성능 하락을 방지했다. 컨볼루션레이어에는 NOP기반 zero-skipping을 적용하고 풀리 커넥티드 레이어에는 branch 기반 zero-skipping을 적용했을 때, 기존의 MNIST 보다 약 1.5배의 성능향상을 확인 했다.

질의응답

핵심어	질문	논문에서 추출한 답변
	MNIST 데이터셋란?	MNIST 데이터셋은 0부터 9까지 숫자 손글씨 데이터셋으로 기존의 이미지 프로세싱 방식으로 분류가 잘 되기 때문에 딥러닝 연구에 많이 사용되고 있다.
	라운드로빈 알고리즘의 명령어 타입별로 우선순위는 어떻게 되는가?	기본적인 알고리즘은 라운드로빈 알고리즘이며, 명령어 타입별로 우선순위를 가진다. 명령어 타입은 시스템, 메모리, 산술 세 가지로 이전 연구로 시스템 > 메모리 > 산술의 우선순위에서 가장 좋은 성능을 낸다[2].
	IF(Instruction Fetch)의 역할은?	IF(Instruction Fetch)는 명령어 캐시(IC, Instruction Cache)에게 주소를 요청해 명령어를 페치 받는다. 어떠한 레지스터를 사용하는지 알기 때문에 데이터 해저드를 체크한다.

참고문헌 (4)

Kwanho Lee, "A Design of a SIMT architecutre based GP-GPU for parallel acceleration of algorithms," Master thesis, Seokyeong University, 2017.
SeongHyun Han, Kwang-Yeob Lee "GPGPU performance enhancement through master scheduler design with priority," 2018 IKEEE Summer Conference. 2018.
Albericio, Jorge, et al. "Cnvlutin: Ineffectualneuron-free deep neural network computing," ACM SIGARCH Computer Architecture News. Vol. 44. No. 3. IEEE Press, 2016.
Sang-il Lee, Jun-Mo Jung, Kwang-Yeob Lee, "Implementation of Numerical CNN using GPGPU," 2017 IKEEE Summer Conference, 2017.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증