초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

BNN(Binarized Neural Network)은 Low precision neural network구조 에서도 극단적인 구조로서 weight와 계층입력 값이 +1/-1로 이진화된 구조이다. BNN에서는 기존CNN의 MAC(Multiplication and Accumulation)연산이 간소화 되며, 저장해야 하는 파라미터용량이 현저히 낮아지기 때문에 하드웨어로 가속시키는데 적합하다. 하지만 기존의 많은 연구들은 자원이 풍부한 FPGA를 기반으로 구현하였기 때문에 ...

BNN(Binarized Neural Network)은 Low precision neural network구조 에서도 극단적인 구조로서 weight와 계층입력 값이 +1/-1로 이진화된 구조이다. BNN에서는 기존CNN의 MAC(Multiplication and Accumulation)연산이 간소화 되며, 저장해야 하는 파라미터용량이 현저히 낮아지기 때문에 하드웨어로 가속시키는데 적합하다. 하지만 기존의 많은 연구들은 자원이 풍부한 FPGA를 기반으로 구현하였기 때문에 임베디드 시스템에 적용하는데는 무리가 있었다.
본 논문에서는 임베디드 시스템과 같은 자원이 제한된 조건의 FPGA에서 BWN(Binarized Weight Network)를 구현하는 방법을 제시한다. 하나의 연산 장치로 다양한 크기의 convolution layer, fully connected layer에 대한 연산을 처리할 수 있도록 제어하였다. 또한 Block RAM 모듈 개수에 의해서 병렬처리를 구현할 수 있는 정도가 제한되기 때문에, 여러 번의 병렬 처리를 순차적으로 하는 loop tiling 방법을 사용해서 출력 값을 계산하였다. 그리고 부동소수점 기반으로 학습된 신경망을 고정소수점으로 근사화 시켜서 하드웨어의 연산단위를 최소화 하였다. 본 논문에서는 CIFAR-10 data set에 대하여 이미지 분류를 하는 ConvNet 신경망을 구현하였으며 임베디드 ARM 프로세서와 비교하였을 때 BWN가속기가 약 210배 더 빠르게 이미지 분류를 하였으며 1% 미만의 정확도 감소가 발생하였다.

Abstract ▼ AI-Helper

The BNN (Binarized Neural Network) is an extreme structure in a low precision neural network structure, in which weight and activation data are binarized to +1 / -1. BNN simplifies the MAC operations of existing CNNs and is suitable for accelerating to hardware because the parameter capacity stored ...

The BNN (Binarized Neural Network) is an extreme structure in a low precision neural network structure, in which weight and activation data are binarized to +1 / -1. BNN simplifies the MAC operations of existing CNNs and is suitable for accelerating to hardware because the parameter capacity stored is significantly
reduced. However, many of the existing researches were based on resource-rich FPGAs, which made it difficult to be applied to embedded systems.
In this paper, we propose a method to implement BWN(Binarized Weight Network) in FPGA with limited resources. Since the degree of parallel processing is limited by the number of Block RAM modules, we performed loop tiling several times to calculate the output feaure map. We also reused processing element that performs calculations for convolution layers and fully connected layers of various sizes. And the calculation unit is minimized by approximating floating point based neural network to the fixed point one. We implemented a ConvNet neural network that classifies images for the CIFAR-10 data set. It shows that the BWN accelerator classifies the image, 210 times faster than the CPU-embeedded in SoC with an accuracy loss of only less than 1%.

주제어