[논문]AI 컴포넌트 추상화 모델 기반 자율형 IoT 통합개발환경 구현

김서연; 윤영선; 은성배; 차신; 정진만

doi:10.7236/jiibc.2021.21.5.71

AI 컴포넌트 추상화 모델 기반 자율형 IoT 통합개발환경 구현
Implementation of Autonomous IoT Integrated Development Environment based on AI Component Abstract Model 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.21 no.5, 2021년, pp.71 - 77

김서연 (한남대학교 정보통신공학과) , 윤영선 (한남대학교 정보통신공학과) , 은성배 (한남대학교 정보통신공학과) , 차신 (한남대학교 정보통신공학과) , 정진만 (인하대학교 컴퓨터공학과)

초록
AI-Helper

최근 이질적인 하드웨어 특성을 고려한 IoT 응용 지원 프레임워크의 효율적인 프로그램 개발이 요구되고 있다. 또한, 인간의 뇌를 모사하여 스스로 학습 및 자율적 컴퓨팅이 가능한 뉴로모픽 아키텍처의 발전으로 하드웨어 지원의 범위가 넓어지고 있다. 하지만 기존 대부분의 IoT 통합개발환경에서는 AI(Artificial Intelligence) 기능을 지원하거나 뉴로모픽 아키텍처와 같은 다양한 하드웨어와 결합된 서비스 지원이 어렵다. 본 논문에서는 2세대 인공 신경망 및 3세대 스파이킹 신경망 모델을 모두 지원하는 AI 컴포넌트 추상화 모델을 설계하고 제안 모델 기반의 자율형 IoT 통합개발환경을 구현하였다. IoT 개발자는 AI 및 스파이킹 신경망에 대한 지식이 없어도 제안 기법을 통해 자동으로 AI 컴포넌트를 생성할 수 있으며 런타임에 따라 코드 변환이 유연하여 개발 생산성이 높다. 제안 기법의 실험을 진행하여 가상 컴포넌트 계층으로 인한 변환 지연시간이 발생할 수 있으나 차이가 크지 않음을 확인하였다.

Abstract ▼ AI-Helper

Recently, there is a demand for efficient program development of an IoT application support frameworks considering heterogeneous hardware characteristics. In addition, the scope of hardware support is expanding with the development of neuromorphic architecture that mimics the human brain to learn on their own and enables autonomous computing. However, most existing IoT IDE(Integrated Development Environment), it is difficult to support AI(Artificial Intelligence) or to support services combined with various hardware such as neuromorphic architectures. In this paper, we design an AI component abstract model that supports the second-generation ANN(Artificial Neural Network) and the third-generation SNN(Spiking Neural Network), and implemented an autonomous IoT IDE based on the proposed model. IoT developers can automatically create AI components through the proposed technique without knowledge of AI and SNN. The proposed technique is flexible in code conversion according to runtime, so development productivity is high. Through experimentation of the proposed method, it was confirmed that the conversion delay time due to the VCL(Virtual Component Layer) may occur, but the difference is not significant.

주제어

표/그림 (6)

그림 그림 1. 컴포넌트 생성 개요 Fig. 1. The structure of generating component.
그림 그림 2. 가상 컴포넌트 계층 구조 Fig. 2. The structure of VCL(Virtual Component Layer).
그림 그림 3. 가상 컴포넌트 모델 클래스 다이어그램 Fig. 3. The class diagram of VCM(Virtual Component Model)
그림 그림 4. 컴포넌트 제너레이터 클래스 다이어그램 Fig. 4. The class diagram of VCI(Virtual Component Generator)
그림 그림 5. NengoFPGA 및 NengoDL 변환시간 비교 Fig. 5. The comparison of NengoFPGA and NengoDL conversion times.
그림 그림 6. NengoDL의 레이어 수에 따른 변환시간 비교 Fig. 6. The comparison of conversion time according to the number of layers in NengoDL.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 2세대 인공 신경망 ANN 및 3세대 스파이킹 신경망 SNN 모델을 모두 지원하는 AI 컴포넌트 추상화 모델을 설계하고 구현하였다. 제안 모델을 통해 IoT 개발자에게 AI 및 스파이킹 신경망에 대한 지식을 크게 요구하지 않아도 자동으로 AI 컴포넌트 생성과 런타임에 대한 변환을 유연하게 제공할 수 있다.
본 논문에서는 2세대 인공 신경망 및 3세대 스파이킹신경망 모델을 모두 지원하는 AI 컴포넌트 추상화 모델을 설계하고 제안 모델 기반의 IoT 응용이 결합된 서비스를 지원한다. IoT 개발자에게 AI 및 스파이킹 신경망에 대한 지식을 크게 요구하지 않고 자동으로 AI 컴포넌트 생성과 런타임에 대한 변환을 유연하게 제공한다.

제안 방법

AI-CG는 AI를 지원하는 추상화 모델에서 이질적인 AI 서비스를 일관된 오퍼레이션으로 제공한다. IoT 개발자로부터 GUI(Graphic User Interface)에 입력받은 파라미터들을 AI-CG를 통해 AI-CM(AI Component Model)에 저장하고 물리적인 뉴로모픽 디바이스 또는 ANN 및 SNN 모델이 수행가능한 AI 컴포넌트로 변환하여준다.
제안 모델은 AI 컴포넌트 추상화 모델의 가상 컴포넌트 계층이 추가되어 변환 지연시간이 발생할 수 있다. 성능 평가를 위해 가상 컴포넌트 계층 VCL을 통해 런타임에 맞는 소스코드로 변환되는 시간과 VCL 없이 네이티브 코드를 직접변환하는 시간의 비교를 진행하였다. 실험 결과 NengoFPGA보드와 NengoDL의 VCL 및 직접변환 시간 차이가 약 0.
제안 기법에서는 그림 1과 같이 그래픽 사용자 인터페이스에서 입력된 파라미터들을 가상 컴포넌트 계층에서 네이티브 코드로 변환하여 시뮬레이션 또는 FPGA 보드에 적용될 수 있는 AI 컴포넌트를 생성할 수 있다. IoT 개발자에게 인공지능의 복잡한 학습 기술을 선행하지 않아도 주요 파라미터의 입력만으로 2세대 신경망 ANN 및 3세대 신경망 SNN 기반 응용 컴포넌트를 개발할 수 있도록 한다.
하지만 가상 컴포넌트 계층 VCL로 인해 약간의 변환시간이 지연될 수 있다. 제안하는 AI 컴포넌트 추상화 모델에서 VCL을 통해 런타임에 맞는 소스코드로 변환되는 지연시간을 실험하였다. 제안 기법으로 적용하였을 때 발생하는 지연시간은 VCL 없이 네이티브 코드를 직접변환하는 시간과 VCL을거쳐 수행코드가 변환되는 시간의 비교를 통해 성능을 측정하였다.

데이터처리

NengoFPGA 보드와 NengoDL의 평균 변환 시간을 측정하고 NengoDL은 레이어 수에 따른 변환시간을 비교하였다. 비교 파라미터는 컨볼루션 신경망을 SNN으로구현하였을 때의 레이어 수로 선정하였다.
제안하는 AI 컴포넌트 추상화 모델에서 VCL을 통해 런타임에 맞는 소스코드로 변환되는 지연시간을 실험하였다. 제안 기법으로 적용하였을 때 발생하는 지연시간은 VCL 없이 네이티브 코드를 직접변환하는 시간과 VCL을거쳐 수행코드가 변환되는 시간의 비교를 통해 성능을 측정하였다.

성능/효과

008ms 정도로 매우 크지 않음을 확인하였다. 또한, NengoDL의 레이어 수에 따른 변환시간이 레이어의 수가 1개일 때 0.004ms 정도 지연되었으며 레이어의 수가 4개일 때는 0.018ms 정도로 가장 큰 차이를 보였지만 성능에는 크게 영향을 끼치지 않는 것을 확인하였다.
성능 평가를 위해 가상 컴포넌트 계층 VCL을 통해 런타임에 맞는 소스코드로 변환되는 시간과 VCL 없이 네이티브 코드를 직접변환하는 시간의 비교를 진행하였다. 실험 결과 NengoFPGA보드와 NengoDL의 VCL 및 직접변환 시간 차이가 약 0.002ms, 0.008ms 정도로 매우 크지 않음을 확인하였다. 또한, NengoDL의 레이어 수에 따른 변환시간이 레이어의 수가 1개일 때 0.
실험 결과 그림 5와 같이 AI 컴포넌트 추상화 모델에서 VCL를 이용하였을 때 직접변환 방법보다 추가지연 시간이 발생함을 확인하였다. NengoFPGA보드는 VCL을이용 하였을 때 발생하는 변환시간은 0.
제안 기법에서 AI 컴포넌트 추상화 모델은 다양한 하드웨어에 유연하게 적용할 수 있다. 하지만 가상 컴포넌트 계층 VCL로 인해 약간의 변환시간이 지연될 수 있다.
제안 모델은 AI 컴포넌트 추상화 모델의 가상 컴포넌트 계층이 추가되어 변환 지연시간이 발생할 수 있다. 성능 평가를 위해 가상 컴포넌트 계층 VCL을 통해 런타임에 맞는 소스코드로 변환되는 시간과 VCL 없이 네이티브 코드를 직접변환하는 시간의 비교를 진행하였다.
본 논문에서는 2세대 인공 신경망 ANN 및 3세대 스파이킹 신경망 SNN 모델을 모두 지원하는 AI 컴포넌트 추상화 모델을 설계하고 구현하였다. 제안 모델을 통해 IoT 개발자에게 AI 및 스파이킹 신경망에 대한 지식을 크게 요구하지 않아도 자동으로 AI 컴포넌트 생성과 런타임에 대한 변환을 유연하게 제공할 수 있다. 특히, IoT 응용과 AI가 결합된 응용 서비스를 쉽고 빠르게 지원할 수 있기 때문에 IoT 개발자 측면에서 편리하고 효율적이다.
제안 모델을 통해 IoT 개발자에게 AI 및 스파이킹 신경망에 대한 지식을 크게 요구하지 않아도 자동으로 AI 컴포넌트 생성과 런타임에 대한 변환을 유연하게 제공할 수 있다. 특히, IoT 응용과 AI가 결합된 응용 서비스를 쉽고 빠르게 지원할 수 있기 때문에 IoT 개발자 측면에서 편리하고 효율적이다.

참고문헌 (15)

Seoyeon Kim, Young-Sun Yun, Jinman Jung, "A Survey of Programming Paradigm for IoT application developer", Proceeding on 2021 Spring conference of Korean Institute of Next Generation Computing, pp.315-316, May 2021.
Choon-Sik Park, "Study on Security Considerations in the Cloud Computing", Journal of the Korea Academia-Industrial cooperation Society(JKAIS), Vol. 12, No. 3 pp. 1408-1416, 2011. DOI:https://doi.org/10.5762/KAIS.2011.12.3.1408

원문보기 상세보기
Seung Je Park, Heeyoul Kim, "Improving Trusted Cloud Computing Platform with Hybrid Security Protocols", The Journal of Korean Institute of Information Technology(KIIT), Vol. 13, No. 5, pp. 65-72, May, 2015. DOI: https://doi.org/10.14801/jkiit.2015.13.5.65

상세보기
Sanglok Yoo, Keonmyung Lee, Young-Sun Yun, Jiman Hong, "An Autonomous IoT Programming Paradigm Supporting Neuromorphic Models and Machine Learning Models", Journal of The Korean Institute of Information Scientists and Engineers, Vol. 47, No. 3, pp. 310-318, Mar 2020. DOI: https://doi.org/10.5626/JOK.2020.47.3.310

상세보기
Eclipse Kura Documentation, Available Online: http://eclipse.github.io/kura/ (accessed on 10 July 2021)
Flogo, Available Online: https://www.flogo.io/ (accessed on 10 July 2021)
Michael Blackstock, Rodger Lea, "Toward a distributed data flow platform for the web of things (distributed node-red)", In Proceedings of the 5th International Workshop on Web of Things, pp. 34-39, Oct 2014. DOI: https://doi.org/10.1145/2684432.2684439
Neuroph & Neuroph Studio, Available Online: http://neuroph.sourceforge.net/ (accessed on 10 July 2021)
Terrence C. Stewart, Bryan Tripp, Chris Eliasmith. "Python scripting in the Nengo simulator", Frontiers in Neuroinformatics, Vol. 3, pp. 1-9, Mar 2009. DOI: https://doi.org/10.3389/neuro.11.007.2009

상세보기
Hananel Hazan, Daniel J. Saunders, Hassaan Khan, Devdhar Patel, Darpan T. Sanghavi, Hava T. Siegelmann and Robert Kozma. "Bindsnet: A machine learning-oriented spiking neural networks library in python", Frontiers in neuroinformatics, Vol. 12, pp. 89, Dec 2018. DOI: https://doi.org/10.3389/fninf.2018.00089

상세보기
Chan Sik Han, Keon Myung Lee. "Spiking Neural Network Transformer for Deploying into a Deep Learning Framework". In Proceedings of the International Conference on Research in Adaptive and Convergent Systems (RACS '20). Association for Computing Machinery, New York, NY, USA, pp. 82- 83, 2020. DOI:https://doi.org/10.1145/3400286.3418272
Kicheol Park, Bongjae Kim. "Dynamic neuromorphic architecture selection scheme for intelligent Internet of Things services." Concurrency and Computation: Practice and Experience (2021): e6357. DOI: https://doi.org/10.1002/cpe.6357

상세보기
Sangmin Park, Junyoung Heo, "Conversion Tools of Spiking Deep Neural Network based on ONNX", The Journal of The Institute of Internet, Broadcasting and Communication (IIBC), Vol. 20, No. 2, pp.165-170, Apr 2020. DOI: https://doi.org/10.7236/JIIBC.2020.20.2.165

원문보기 상세보기
NengoFPGA, Available Online: https://www.nengo.ai/nengo-fpga/ (accessed on 14 July 2021)
NengoDL, Available Online: https://www.nengo.ai/nengo-dl/ (accessed on 14 July 2021)

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증