초록 ▼

연구개요
본 연구는 Analog neural processor를 위한 고성능, 저 메모리 사용 quantized neural network 설계 기법에 대한 내용이다. analog 회로는 4-bit 이하의 낮은 해상도 (precision)를 갖기 때문에 기존의 일반적인 Neural network를 바로 연산할 수는 없고 해상도를 낮추는 양자화 기법이 도입되어야한다. 이 과정에서 성능이 많이 낮아지게 되는데 이러한 성능 저하를 피하면서도 양자화 수준을 4 bit 이하로 낮춘 network를 찾아내는 것이 연구의 목표이다. 또한

연구개요
본 연구는 Analog neural processor를 위한 고성능, 저 메모리 사용 quantized neural network 설계 기법에 대한 내용이다. analog 회로는 4-bit 이하의 낮은 해상도 (precision)를 갖기 때문에 기존의 일반적인 Neural network를 바로 연산할 수는 없고 해상도를 낮추는 양자화 기법이 도입되어야한다. 이 과정에서 성능이 많이 낮아지게 되는데 이러한 성능 저하를 피하면서도 양자화 수준을 4 bit 이하로 낮춘 network를 찾아내는 것이 연구의 목표이다. 또한 analog processor의 경우 전력 소모가 memory로부터 많이 발생된다. 이러한 memory의 전력소모량을 줄이기 위해 network 의 변수 숫자를 줄이면서도, memory 접근 수를 줄인 network 설계가 필요하다. 따라서 본 연구에서는 이 모든 것이 고려된 고성능, 저메모리 사용 quantized neural network를 개발한다.

연구 목표대비 연구결과
연구 목표: Memory 사용 최소화된 고성능 quantized neural network 개발 (1년차) 달성도: 100%
연구 결과:　연구 과정을 통해 연구 개발된 고성능, 저 메모리 사용 quantized CNN의 구성 전략은 다음과 같다. 먼저 고성능 Quantized CNN을 위해 (1) Structure-design strategy를 제안하였는데, 이는 Depth보다는 Channel 방향을 늘리는 것이다. 또한 SENet을 활용한다. 한 On-chip memory size와 memory access 숫자를 줄이기 위해 (2) Layer-design strategy를 제안하였는데, 이는 그림 8에 나타낸 데로 input과 가까운 부분(Activation이 큰 부분)은 ResNet의 Block으로, output과 가까운 부분 (Activation이 작은 부분)은 MobileNet의 Block으로 구성하는 것이다.
제안된 기법의 우수성을 확인하기 위해 기존 ResNet을 기반으로 simulation 하였고 그 결과 기존의 network와 비슷한 수준의 성능을 가지면서도 (73%@CIFAR-100, 93.3%@CIFAR-10), on-chip memory size를 최대 82% 줄이고, Memory access number를 writing은 50% 이상, reading은 최대 90% 이상 줄일 수 있음을 확인하였다.

연구발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성)
연구개발 결과의 중요성
해당 연구를 통해 analog 연산 가능한 수준의 network가 좋은 성능을 가질 수 있다는 가능성을 보였으며, Quantized CNN의 가능성뿐만 아니라 Hardware 측면까지 고려하여 Compact 한 processor 설계에 있어서 network design level에서부터 optimization이 가능하다는 것을 보였다. 이는 저전력이면서도 고성능의 인공지능 hardware를 개발할 때 기반 기술로 생각될 수 있는 software 영역에서의 기술이라고 생각된다.
이러한 고성능의 quantize network 같은 경우 인공지능 기술이 사용되는 모든 영역에 적용될 수 있어 수많은 인공지능 algorithm을 경량화시킬 수 있고, 이러한 경량화 된 neural network의 연산에 특화되어있는 analog processor를 가정하여 network를 design 하였기 때문에, Internet-of-Things나 Edge computing 같은 mobile application을 위한 인공지능 hardware 설계에 있어서 매우 필수적인 기술이라 생각된다.

활용계획 및 기대효과
최근 Edge computing과 같은 mobile application에서 Augmented reality (AR, 증강현실), Robot을 이용한 많은 전자제품이 개발되고 있는데, 이 application 같은 경우 일반 현실 이미지에 대한 인식 및 구분이 필요하며 매우 경량화된 CNN이 필요하여 본 연구가 활용 될 수 있을 것으로 보인다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 가. 연구의 목적 ... 4
• 나. 연구의 필요성 ... 4
• 다. 연구가설 및 근거 ... 4
• 라. 연구의 최종목표 ... 4
• 마. 연구의 단계별 목표 ... 5
• 바. 연구의 범위 ... 5
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 6
• 가. 연구의 방법 ... 6
• 나. 연구의 수행 과정 및 내용 ... 6
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 11
• 1) 정성적 연구개발성과(연구개발 결과) ... 11
• 2) 세부 정량적 연구개발성과 ... 14
• 3) 목표 달성 수준 ... 14
• 4) 목표 미달 시 원인 분석 ... 14
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발 결과의 중요성) ... 14
• 5. 연구개발성과의 관리 및 활용 계획 ... 15
• 가. 성과 관리 추진체계 ... 15
• 나. 연구개발성과의 활용 게획 ... 15
• 6. 참고문헌 ... 16
• 끝페이지 ... 16