[논문]멀티모달 신호처리를 위한 경량 인공지능 시스템 설계

김병수; 이재학; 황태호; 김동순

doi:10.13067/jkiecs.2018.13.5.1037

멀티모달 신호처리를 위한 경량 인공지능 시스템 설계
Design of Lightweight Artificial Intelligence System for Multimodal Signal Processing 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.13 no.5, 2018년, pp.1037 - 1042

김병수 (전자부품연구원 SoC플랫폼연구센터) , 이재학 (전자부품연구원) , 황태호 (전자부품연구원) , 김동순 (전자부품연구원)

초록
AI-Helper

최근 인간의 뇌를 모방하여 정보를 학습하고 처리하는 뉴로모픽 기술에 대한 연구는 꾸준히 진행되고 있다. 뉴로모픽 시스템의 하드웨어 구현은 다수의 간단한 연산절차와 고도의 병렬처리 구조로 구성이 가능하여, 처리속도, 전력소비, 저 복잡도 구현 측면에서 상당한 이점을 가진다. 또한 저 전력, 소형 임베디드 시스템에 적용 가능한 뉴로모픽 기술에 대한 연구가 급증하고 있으며, 정확도 손실 없이 저 복잡도 구현을 위해서는 입력데이터의 차원축소 기술이 필수적이다. 본 논문은 멀티모달 센서 데이터를 처리하기 위해 멀티모달 센서 시스템, 다수의 뉴론 엔진, 뉴론 엔진 컨트롤러 등으로 구성된 경량 인공지능 엔진과 특징추출기를 설계 하였으며, 이를 위한 병렬 뉴론 엔진 구조를 제안하였다. 설계한 인공지능 엔진, 특징 추출기, Micro Controller Unit(MCU)를 연동하여 제안한 경량 인공지능 엔진의 성능 검증을 진행하였다.

Abstract ▼ AI-Helper

The neuromorphic technology has been researched for decades, which learns and processes the information by imitating the human brain. The hardware implementations of neuromorphic systems are configured with highly parallel processing structures and a number of simple computational units. It can achieve high processing speed, low power consumption, and low hardware complexity. Recently, the interests of the neuromorphic technology for low power and small embedded systems have been increasing rapidly. To implement low-complexity hardware, it is necessary to reduce input data dimension without accuracy loss. This paper proposed a low-complexity artificial intelligent engine which consists of parallel neuron engines and a feature extractor. A artificial intelligent engine has a number of neuron engines and its controller to process multimodal sensor data. We verified the performance of the proposed neuron engine including the designed artificial intelligent engines, the feature extractor, and a Micro Controller Unit(MCU).

주제어

표/그림 (7)

그림 그림 1. 경량 인공지능 엔진 하드웨어 구조 Fig. 1 Lightweight ai engine hardware architecture
그림 그림 2. 멀티모달 센서 시스템 블록다이어그램 Fig. 2 Multimodal sensor system block diagram
그림 그림 3. 뉴런 엔진 컨트롤러의 상태 다이어그램 Fig. 3 State diagram of the neuron engine controller
그림 그림 4. 뉴런 엔진의 하드웨어 구조 Fig. 4 Neuron engine hardware architecture
그림 그림 5. 뉴런 엔진의 매트랩 시뮬레이션 결과 Fig. 5 Neuron engine MATLAB simulation result
그림 그림 6. 경량 인공지능 시스템 FPGA 검증 플랫폼 Fig. 6 FPGA verification platform of the lightweight artificial intelligence system
표 표 1. 경량 인공지능 엔진 FPGA Utilization Table 1. FPGA utilization of the lightweight artificial intelligence engine

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 멀티모달 센서 데이터를 처리하기 위한 경량 인공지능 시스템 설계에 대한 연구이다. 제안한 경량 인공지능 시스템은 멀티모달 센서 데이터를 처리하기 위한 멀티모달 센서 시스템과 입력 데이터 셋을 가공할 수 있는 특징추출기, 데이터를 학습, 인지할 수 있는 인공지능 병렬 뉴런 엔진으로 구성되어 있다.

제안 방법

제안하는 경량 인공지능 엔진의 검증을 위해 다양한 테스트 셋에 대한 검증을 진행하였다. MATLAB 시뮬레이터로부터 테스트 벡터 파일을 추출하고, 사용하는 뉴런 엔진의 수를 최소화 할 수 있는 최적의 Threshold값을 결정하였다. Threshold값 결정을 위해 일반적인 머신러닝에서 사용되는 데이터 셋을 사용하여 학습을 진행하였으며, 그림 5에 데이터 셋에 따른 정확도와 발화되는 뉴런의 개수가 나타나 있다[10].
MATLAB 시뮬레이터로부터 테스트 벡터 파일을 추출하고, 사용하는 뉴런 엔진의 수를 최소화 할 수 있는 최적의 Threshold값을 결정하였다. Threshold값 결정을 위해 일반적인 머신러닝에서 사용되는 데이터 셋을 사용하여 학습을 진행하였으며, 그림 5에 데이터 셋에 따른 정확도와 발화되는 뉴런의 개수가 나타나 있다[10]. 제안된 하드웨어 구조는 Verilog-HDL을 이용하여 설계하였으며, Xilinx사의 Vivado Too을 사용하며 세부 연산 모듈을 디자인하고 회로를 합성하였다.
각각의 뉴런 엔진은 하나의 체인으로 연결되어 컨트롤러와 가장 근접한 뉴런 엔진부터 순차적으로 학습되며, 각 뉴런 엔진별로 컨트롤러를 통해 다음 뉴런의 활성화 가능 여부를 알려준다. 모든 뉴런 엔진의 출력 값은 발화 뉴런 검출기를 통해 뉴런 엔진과 뉴런 컨트롤러간의 통신이 이루어지며 학습 및 인식 동작을 수행한다.
다양한 센서를 지원하고 인공지능 엔진의 확장성을 위해 제안된 경량 인공지능 시스템에서는 그림 2와 같이 I2C, I2S, UART, SPI, GPIO 등의 다양한 통신 인터페이스를 지원하는 멀티모달 센서 시스템을 설계하였다. 멀티모달 센서 시스템으로 입력된 다양한 센서 데이터는 멀티모달 센서 시스템 내에서 1차적으로보정되며, 이 보정된 센서 데이터는 특징 추출기 또는 뉴런 엔진의 입력으로 사용된다.
각각의 뉴런 엔진은 하나의 체인으로 연결되어 컨트롤러와 가장 근접한 뉴런 엔진부터 순차적으로 학습되며, 각 뉴런 엔진별로 컨트롤러를 통해 다음 뉴런의 활성화 가능 여부를 알려준다. 모든 뉴런 엔진의 출력 값은 발화 뉴런 검출기를 통해 뉴런 엔진과 뉴런 컨트롤러간의 통신이 이루어지며 학습 및 인식 동작을 수행한다. 이 때 출력은 뉴런 컨트롤러 또는 출력 레지스터로 전송되어 MCU에서 그 값을 사용하게 된다.
본 논문에서는 멀티모달 센서 데이터를 처리할 수 있는 센서 시스템, 다양한 어플리케이션을 처리할 수 있는 경량 인공지능 엔진과 이를 위한 특징추출기를 제안하고, 제안된 하드웨어의 성능을 소프트웨어와 비교 검증하였다. 제안하는 경량 인공지능 엔진은 병렬처리 특성으로, 입력 데이터 셋에 관계없이 일정 시간 내에 멀티모달 신호처리(인식, 학습, 등)를 수행하며, 그 성능을 MCU와 FPGA를 연동하여 검증하였다.
Threshold값 결정을 위해 일반적인 머신러닝에서 사용되는 데이터 셋을 사용하여 학습을 진행하였으며, 그림 5에 데이터 셋에 따른 정확도와 발화되는 뉴런의 개수가 나타나 있다[10]. 제안된 하드웨어 구조는 Verilog-HDL을 이용하여 설계하였으며, Xilinx사의 Vivado Too을 사용하며 세부 연산 모듈을 디자인하고 회로를 합성하였다. 타겟 디바이스는 Virtex-7 (xc7v2000t)로 하였으며 RTL 시뮬레이션을 통해 출력 벡터 파일을 추출, 비교하여 로직 검증을 수행하였다.
본 논문에서는 멀티모달 센서 데이터를 처리할 수 있는 센서 시스템, 다양한 어플리케이션을 처리할 수 있는 경량 인공지능 엔진과 이를 위한 특징추출기를 제안하고, 제안된 하드웨어의 성능을 소프트웨어와 비교 검증하였다. 제안하는 경량 인공지능 엔진은 병렬처리 특성으로, 입력 데이터 셋에 관계없이 일정 시간 내에 멀티모달 신호처리(인식, 학습, 등)를 수행하며, 그 성능을 MCU와 FPGA를 연동하여 검증하였다.
제안하는 경량 인공지능 엔진의 검증을 위해 다양한 테스트 셋에 대한 검증을 진행하였다. MATLAB 시뮬레이터로부터 테스트 벡터 파일을 추출하고, 사용하는 뉴런 엔진의 수를 최소화 할 수 있는 최적의 Threshold값을 결정하였다.
제안하는 뉴런 엔진의 하드웨어는 입력 Feature 데이터와 거리를 계산하기 위한 연산기, Threshold, 입력 데이터 셋의 클래스, 타입 등을 저장하는 레지스터, 현재 뉴런의 Feature 데이터를 저장하고 있는 메모리와 뉴런의 상태 및 동작을 제어하는 컨트롤 유닛으로 구성되어있으며, 그림 4는 제안하는 뉴런 엔진의 구조를 나타내고 있다.
본 논문은 멀티모달 센서 데이터를 처리하기 위한 경량 인공지능 시스템 설계에 대한 연구이다. 제안한 경량 인공지능 시스템은 멀티모달 센서 데이터를 처리하기 위한 멀티모달 센서 시스템과 입력 데이터 셋을 가공할 수 있는 특징추출기, 데이터를 학습, 인지할 수 있는 인공지능 병렬 뉴런 엔진으로 구성되어 있다.

대상 데이터

경량 인공지능 엔진은 MCU와의 통신을 위한 인터페이스, 128개의 뉴런 엔진을 제어하기 위한 뉴런 엔진 컨트롤러와 병렬 뉴런 엔진으로 구성되어 있다. MCU에서 버스 인터페이스를 통해 병렬 뉴런 엔진을 제어하가 위한 레지스터 셋, Feature 데이터를 저장하기 위한 레지스터 셋을 설정하면, 병렬 뉴런 엔진 및 컨트롤러에서 설정된 레지스터 값과 입력 Feature 데이터를 읽어 들여 멀티모달 신호에 대하여 학습 및 인식 과정을 수행한다.
본 논문에서 제한하는 멀티모달 신호처리를 위한 경량 인공지능 시스템은 멀티모달 센서 시스템과 경량 인공지능 엔진으로 구성되어 있으며, 하드웨어 구조는 그림 1과 같다. 멀티모달 센서 시스템은 다양한 센서 신호를 입력받아 경량 인공지능 엔진 또는 특징추출기로 보정된 데이터를 전달한다.

데이터처리

제안된 하드웨어 구조는 Verilog-HDL을 이용하여 설계하였으며, Xilinx사의 Vivado Too을 사용하며 세부 연산 모듈을 디자인하고 회로를 합성하였다. 타겟 디바이스는 Virtex-7 (xc7v2000t)로 하였으며 RTL 시뮬레이션을 통해 출력 벡터 파일을 추출, 비교하여 로직 검증을 수행하였다. 표 1은 128개의 뉴런 엔진으로 구성된 인공지능 엔진을 하드웨어로 구현한 결과이며, 그림 6은 경량 인공지능 시스템을 검증하기 위해 제작된 FPGA 플랫폼 보드이다.

성능/효과

제안된 멀티모달 센서 시스템의 설계를 통해 다양한 데이터를 입력받을 수 있으며, 센서 고유의 특성에 의한 출력과 측정값의 차이를 보정하여 보다 정확한 데이터의 취득이 가능하며, 특징추출기를 통해 입력된 데이터의 가공이 가능하여 인공지능 엔진에 적합한 데이터를 제공할 수 있다. 또한 복잡한 연산이 아닌 단순 거리 계산 기반의 뉴런 엔진의 병렬화를 통해 경량 인공지능 엔진을 구현하였으며, 제안하는 경량 인공지능 시스템은 Threshold 조정을 통해 다양한 어플리케이션에 대한 학습 및 인식이 가능함을 검증하였다.
제안된 멀티모달 센서 시스템의 설계를 통해 다양한 데이터를 입력받을 수 있으며, 센서 고유의 특성에 의한 출력과 측정값의 차이를 보정하여 보다 정확한 데이터의 취득이 가능하며, 특징추출기를 통해 입력된 데이터의 가공이 가능하여 인공지능 엔진에 적합한 데이터를 제공할 수 있다. 또한 복잡한 연산이 아닌 단순 거리 계산 기반의 뉴런 엔진의 병렬화를 통해 경량 인공지능 엔진을 구현하였으며, 제안하는 경량 인공지능 시스템은 Threshold 조정을 통해 다양한 어플리케이션에 대한 학습 및 인식이 가능함을 검증하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 논문에서 제안하는 뉴런 엔진의 하드웨어는 어떻게 구성되어 있는가?	제안하는 뉴런 엔진의 하드웨어는 입력 Feature 데이터와 거리를 계산하기 위한 연산기, Threshold, 입력 데이터 셋의 클래스, 타입 등을 저장하는 레지스터, 현재 뉴런의 Feature 데이터를 저장하고 있는 메모리와 뉴런의 상태 및 동작을 제어하는 컨트롤 유닛으로 구성되어있으며, 그림 4는 제안하는 뉴런 엔진의 구조를 나타내고 있다.
	뉴런 엔진 컨트롤러의 상태는 동작에 따라 분류하면 어떤 상태들로 이루어지는가?	상태 머신은 10가지의 상태로 구성되어 있으나 동작에 따라 분류하면 크게 5가지 상태로 이루어졌다. 그 상태는 입력 데이터를 뉴런 엔진에 전송하는 상태, 뉴런 엔진이 입력 데이터를 학습하는 상태, 입력된 데이터를 분류하는 상태, 학습되어진 네트워크 정보를 뉴런 엔진에 전송하는 업데이트 상태, 뉴런 엔진의 정보를 외부로 전송하는 상태이다. 각 상태별로 뉴런 엔진의 연산이 이루어지며, 연산이 종료 하게 되면 IDLE 상태로 돌아오며 Done 신호를 발생하는 구조이다.
	뉴런 엔진 컨트롤러의 상태는 어떤 값에 따라 변화하는가?	뉴런 엔진 컨트롤러의 상태 다이어그램은 그림 3과 같다. 뉴런 엔진 컨트롤러의 상태는 컨트롤 레지스터의 값과 네트워크의 상태를 나타내는 플래그 레지스터 값에 따라서 변화한다. 상태 머신은 10가지의 상태로 구성되어 있으나 동작에 따라 분류하면 크게 5가지 상태로 이루어졌다.

참고문헌 (10)

P. A. Merolla, J. V. Arthur, R. Alvarez-Icaza, A. S. Cassidy, J. Sawada, F. Akopyan, B. L. Jackson, N. Imam, C. Guo, Y. Nakamura, B. Brezzo, I. Vo, S. K. Esser, R. Appuswamy, B. Taba, A. Amir, M. D. Flickner, W. P. Risk, R. Manohar, and D. S. Modha, "A million spiking-neuron integrated circuit with a scalable communication network and interface," Science, vol. 345, no. 6197, 2014, pp. 668-673.

상세보기
B. V. Benjamin, P. Gao, E. McQuinn, S. Choudhary, A. R. Chandrasekaran, J. M. Bussar, R. Alvarez-Icaza, J. V. Arthur, P. A. Merolla, and K. Boahen, "Neurogrid: A mixed-analog-digital multichip system for large-scale neural simulations," Proc. of the IEEE, vol. 102, no. 5, 2014, pp. 699-716.

상세보기
K. Kim, "Optimal Structures of a Neural Network Based on OpenCV for a Golf Ball Recognition," J. of the Korea Institute of Electronic Communication Sciences, vol. 10, no. 2, Feb. 2015, pp. 267-273.

원문보기 상세보기
Y. Lee and P. Moon, "A Comparison and Analysis of Deep Learning Framework," J. of the Korea Institute of Electronic Communication Sciences, vol. 12, no. 1, Feb. 2017, pp. 115-122.
C. Schuman, T. Potok, R. Patton, J. Birdwell, M. Dean, G. Rose, and J. Slank, "A survey of neuromorphic computing and neural networks in hardware," arXiv preprint arXiv:1705.06963, 2017, pp. 1-8.
S. Soman, Jayadeva, and M. Suri, "Recent trends in neuromorphic engineering," Big Data Analytics, vol. 1, no. 15, Dec. 2016, pp. 1-19.
M. Suri, V. Parmar, A. Singla, R. Malviya, and S. Nair, "Neuromorphic hardware accelerated adaptive authentication system," Symp. Series on Computational Intelligence, Dec. 2015, pp. 1206-1213.
T. Baltrusaitis, C. Ahuja, and L. Morency, "Multimodal Machine Learning: A Survey and Taxonomy," arXiv preprint arXiv:1705.09406, 2017, pp. 1-20.
A. Benediktsson and J. Sveinsson. "Feature extraction for neural network classifiers," n Neurocomputation in Remote Sensing Data Analysis, 1997. pp. 97-104.
A. Asuncion and D. Newman, "UCI Machine Learning Repository," 2007.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증