[논문]오픈신경망 포맷을 이용한 기계학습 모델 변환 및 추론

김선민; 한병현; 허준영

doi:10.7236/jiibc.2021.21.3.107

초록
AI-Helper

최근 다양한 분야에 인공지능 기술이 도입되고, 학계 관심이 늘어남에 따라 다양한 기계학습 모델들이 여러 프레임워크에서 운용되고 있다. 하지만 이러한 프레임워크들은 서로 다른 데이터 포맷을 가지고 있어, 상호운용성이 부족하며 이를 극복하기 위해 오픈 신경망 교환 포맷인 ONNX가 제안되었다. 본 논문에서는 여러 기계학습 모델을 ONNX로 변환하는 방법을 설명하고, 통합된 ONNX 포맷에서 기계학습 기법을 판별할 수 있는 알고리즘 및 추론 시스템을 제안한다. 또한, ONNX 변환 전·후 모델의 추론 성능을 비교하여 ONNX 변환 간 학습 결과의 손실이나 성능 저하가 없음을 보인다.

Abstract ▼ AI-Helper

Recently artificial intelligence technology has been introduced in various fields and various machine learning models have been operated in various frameworks as academic interest has increased. However, these frameworks have different data formats, which lack interoperability, and to overcome this,...

Recently artificial intelligence technology has been introduced in various fields and various machine learning models have been operated in various frameworks as academic interest has increased. However, these frameworks have different data formats, which lack interoperability, and to overcome this, the open neural network exchange format, ONNX, has been proposed. In this paper we describe how to transform multiple machine learning models to ONNX, and propose algorithms and inference systems that can determine machine learning techniques in an integrated ONNX format. Furthermore we compare the inference results of the models before and after the ONNX transformation, showing that there is no loss or performance degradation of the learning results between the ONNX transformation.

주제어

표/그림 (12)

그림 그림 1. protobuf 언어별 적용 과정 Fig. 1. protobuf language-specific application process
그림 그림 2. ONNX 모델 표현 Fig. 2. ONNX Model Representation
그림 그림 3. ONNX 머신러닝 모델 Fig. 3. ONNX Machine-learning Model
그림 그림 4. ONNX 딥러닝 모델 Fig. 4. ONNX Deep-learning Model
그림 그림 5. SNN Graph 정보 및 변환 순서도 Fig. 5. SNN Graph Information and Conversion Flowchart
그림 그림 6. ONNX모델 구조 Fig. 6. Structure of ONNX model
그림 그림 7. ONNX 추론 시스템 Fig. 7. ONNX inference system
표 표 1. SNN과 ONNX 포맷 비교 결과 Table 1. SNN and ONNX format comparison results
표 표 2. 컴포넌트 리스트 Table 2. Component list
표 표 3. ML vs ONNX 모델 추론 소요시간 비교 Table 3. ML vs ONNX model inference time comparison
표 표 4. DL vs ONNX 모델 추론 소요시간 비교 Table 4. DL vs ONNX model inference time comparison
표 표 5. SNN과 ONNX-SNN의 추론 정확도 Table 5. Inference Accuracy for SNN and ONNX-SNN

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 다양한 기계학습 모델을 오픈 신경망 포맷(ONNX)으로 변환하는 방법을 설명하고, 변환된 ONNX 포맷 구조 분석을 통해 사용된 기계학습 기법을 판별할 수 있는 방법을 설명한다. 최종적으로는 이러한 판별을 통해 적절한 프레임워크를 사용할 수 있는 추론시스템을 제안하여 ONNX 라는 공동의 모델 포맷 운용을 통해 인공지능 프레임워크 개발 공동체에 더 나은 개방형 시스템을 기대하게 한다.

제안 방법

의 우측 변환 방법 순서도를 통해 좌측의 SNN의 모델의 ONNX 포맷형태의 그래프를 생성했다. 또한, 모델 변환 과정에서의 가중치를 ONNX 포맷에서도 유지하기 위해, SNN과 ONNX와의 포맷 저장방식을 비교하여 양방향 변환 과정에서 가중치를 해당 포맷에 맞게 shape가 변형되도록 구현하였다.
본 연구에서는 다양한 기계학습 모델의 ONNX 변환과 ONNX 모델 판별에 따른 추론 시스템 선택이 가능한 시스템을 제안하고, 모델 변환 전·후 추론 소요시간 성능과 변환 간의 유효함을 실험하였다
본 논문에서는 다양한 기계학습 모델을 오픈 신경망 포맷(ONNX)으로 변환하는 방법을 설명하고, 변환된 ONNX 포맷 구조 분석을 통해 사용된 기계학습 기법을 판별할 수 있는 방법을 설명한다. 최종적으로는 이러한 판별을 통해 적절한 프레임워크를 사용할 수 있는 추론시스템을 제안하여 ONNX 라는 공동의 모델 포맷 운용을 통해 인공지능 프레임워크 개발 공동체에 더 나은 개방형 시스템을 기대하게 한다.
신경망 딥러닝 모델은 대표적인 딥러닝 라이브러리인 Tensorflow의 Keras를 이용하였다. 해당 변환도 기존 오픈소스로 제공되는 keras2onnx 라이브러리를 설치 및 해당 라이브러리의 API를 통해 해당 딥러닝 모델을 ONNX 모델로 변환하였다. 아래 그림 4.

대상 데이터

DL 모델도 가중치가 그대로 포함되어 변경되었기 때문에, 모델 변환 전·후 정확도 등의 성능 평가지표는 동일하다. 일반 DNN 모델과 CNN 기반의 모델 4종류로 총 5개의 모델을 실험하였다. DNN과 Lenet-1의 모델은 28x28 사이즈의 mnist data 이미지를 10회 추론하는데 걸리는 시간을 측정하였으며, VGGNet, ResNet DenseNet은 이미지넷 가중치를 사용했으며 224x224 사이즈의 이미지를 10회 추론하는데 걸리는 시간을 측정하였다.

데이터처리

4장에서 언급한 변환 방법론에 대한 양방향 변환이 성공적으로 이루어졌는지 확인하기 위해, 변환 전 Nengo-dl에서 학습 후 평가한 추론 정확도와, ONNX 로의 변환 후 그래프 동적 분석을 통해 얻은 가중치를 SNN 모델에 삽입하여 다시 Nengo 모델로 변환하여 얻어낸 모델의 추론 정확도를 비교하였다. 결과는 다음 표 5.
5장에서 제안한 판별 알고리즘을 이용해 다양한 ONNX 모델을 분류하고 추론 엔진 간의 성능 비교 실험을 진행하였다. ML의 경우 학습한 모델을 Scikit-learn 과 ONNX-Runtime 추론 엔진을 사용하였고, DL의 경우 Keras 모델(.
5장에서 제안한 판별 알고리즘을 이용해 다양한 ONNX 모델을 분류하고 추론 엔진 간의 성능 비교 실험을 진행하였다. ML의 경우 학습한 모델을 Scikit-learn 과 ONNX-Runtime 추론 엔진을 사용하였고, DL의 경우 Keras 모델(.h5)과 ONNX-Runtime 추론 엔진을 사용하여 추론기 간의 연산 소요시간을 비교하였다. SNN 모델의 경우에는 ONNX 연산자를 지원하지 않아 ONNX-Runtime 추론 엔진을 사용할 수 없어, Nengo 추론 엔진을 이용한 ONNX 모델로의 변환 전·후의 성능을 평가하여 변환 방법에 대한 유효성을 검증하였다.
SNN 모델의 경우에는 ONNX 연산자를 지원하지 않아 ONNX-Runtime 추론 엔진을 사용할 수 없어, Nengo 추론 엔진을 이용한 ONNX 모델로의 변환 전·후의 성능을 평가하여 변환 방법에 대한 유효성을 검증하였다.
ML 모델과 ONNX 모델은 가중치가 그대로 포함되어 변경되었기 때문에, 모델 변환 전·후 정확도 등의 성능평가지표는 같다. 성능 평가 실험에서는 boston 데이터셋, iris 데이터셋, 클러스터용 blobs 데이터셋을 이용하였고, 모두 해당 데이터셋을 1000회 추론하는데 걸린 시간을 측정 및 비교하였다. 회귀형 선형회귀 모델, 분류형 로지스틱 회귀, 랜덤 포레스트, 군집형 K-Means 모델에서는 ONNX Runtime에서의 소요시간이 더 적었고, 분류형 모델의 KNN의 모델의 경우는 ONNX Runtime이 추론 소요시간이 더 길었다.

이론/모형

신경망 딥러닝 모델은 대표적인 딥러닝 라이브러리인 Tensorflow의 Keras를 이용하였다. 해당 변환도 기존 오픈소스로 제공되는 keras2onnx 라이브러리를 설치 및 해당 라이브러리의 API를 통해 해당 딥러닝 모델을 ONNX 모델로 변환하였다.

성능/효과

ML, DL 모델을 기존의 라이브러리를 통해 ONNX로 변환하였고, 아직 ONNX 포맷으로의 표현이 지원되지 않던 SNN 모델은 ONNX와의 양방향 변환을 직접 구현하고, 변환 전·후의 추론 정확도가 같음을 확인하여 변환법의 유효함을 확인하였다
또한 ONNX 모델의 컴포넌트 정보 동적 분석을 통해 ONNX 모델의 종류(ML, DL, SNN 등)를 구분할 수 있는 판별식을 제안하고, ONNX 모델 변환 전·후 모델의 추론 결과를 비교함으로써 최종적으로 모델 종류에 알맞은 추론 시스템을 제안할 수 있었다.

후속연구

향후 여러 프레임워크에서 ML, DL, SNN 등의 유형과 다양한 모델들의 ONNX 변환 및 추론 실험이 진행되고 그러한 실험결과들이 쌓이게 된다면, 다양한 인공지능 프레임워크들은 ONNX를 통해 프레임워크간 상호운용성을 높일 수 있을 것이다. 또한 그로인해 많은 인공지능 개발자들이 인공지능 프레임워크 선택에 있어 보다 높은 자유도를 가질 수 있을 것이며, 이는 인공지능 개발공동체에 더 나은 생태계 시스템이 구축되는데 기여할 것으로 기대한다.
향후 여러 프레임워크에서 ML, DL, SNN 등의 유형과 다양한 모델들의 ONNX 변환 및 추론 실험이 진행되고 그러한 실험결과들이 쌓이게 된다면, 다양한 인공지능 프레임워크들은 ONNX를 통해 프레임워크간 상호운용성을 높일 수 있을 것이다. 또한 그로인해 많은 인공지능 개발자들이 인공지능 프레임워크 선택에 있어 보다 높은 자유도를 가질 수 있을 것이며, 이는 인공지능 개발공동체에 더 나은 생태계 시스템이 구축되는데 기여할 것으로 기대한다.

참고문헌 (12)

D. Gang."A Study on the Neural Network Standard Format for Deep Learning" TTA.Journal Vol.179 Oct. 2018
"onnx", https://github.com/onnx/onnx
"onnxruntime", https://github.com/microsoft/onnxruntime
"Microsoft open sources breakthrough optimi- zations for transformer inference on GPU and CPU", cloudblogs.microsoft.com, Jan 21. 2020, https://cloudblogs.microsoft.com/opensource/2020/01/21/microsoft-onnx-open-source-optimizations-transformer-inference-gpu-cpu/
Hoon Jung, Moonsung Park. "A Study of Big data-based Machine Learning Techniques for Wheel and Bearing Fault Diagnosis", Korea Academy Industrial Cooperation Society, Vol. 19, No. 1 pp. 75-84, 2018 DOI: https://doi.org/10.5762/KAIS.2018.19.1.75

원문보기 상세보기
Yeong-Hyeon Byeon, Keun-Chang Kwak. "A Transfer Learning and Performance Comparison of Deep Learning Models for Pedestrian Classification under Automobile Driving Environment", The Journal of Korean Institute of Information Technology 16(10), 2018.10, 83-92 (10 pages), Oct. 2018 DOI: http://dx.doi.org/10.14801/jkiit.2018.16.10.83

상세보기
Amirhossein Tavanaei, Masoud Ghodrati, Saeed Reza Kherad pisheh, Timothee Masquelier,Anthony Maida, "Deep Learning in Spiking Neural Networks" arXiv:1804.08150(v4), Apr. 2018 DOI: https://doi.org/10.1016/j.neunet.2018.12.002
P. U. Diehl, M. Cook, "Unsupervised learning of digit recognition using spike-timing-dependent plasticity," Frontiers in Computational Neuroscience, Aug. 2015. DOI:https://doi.org/10.3389/fncom.2015.00099

상세보기
S.M. Park, B.G. Choi, J.J. Lee, S. Yeo, G. Park "The Trend of Neuromorphic Technology Based on Spiking Neural Networks", TTA.Journal, Vol.188 Apr. 2020
T. Bekolay, J. Bergstra, E. Hunsberger, T. DeWolf, T. C. Stewart, D. Rasmussen, X. Choo, A. R. Voelker, and C. Eliasmith. "Nengo: a Python tool for building large-scale functional brain models. Frontiers in Neuroinformatics", vol. 7 no.48 pp. 1-13, Jan, 2014. DOI: https://doi.org/10.3389/fninf.2013.00048

상세보기
Daniel Rasmussen,"NengoDL: Combining deep learning and neuromorphic modelling methods"arXiv.1805.11144(v3), May. 2018 DOI: https://doi.org/10.1007/s12021-019-09424-z
S. Park and J. Heo, "Conversion Tools of Spiking Deep Neural Network based on ONNX," The journal of the institute of internet, broadcasting and communication, vol. 20, no. 2, pp. 165-170, Apr. 2020. DOI:https://doi.org/10.7236/JIIBC.2020.20.2.165

원문보기 상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

오픈신경망 포맷을 이용한 기계학습 모델 변환 및 추론
Model Transformation and Inference of Machine Learning using Open Neural Network Format 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12)

표/그림 (12)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

오픈신경망 포맷을 이용한 기계학습 모델 변환 및 추론 Model Transformation and Inference of Machine Learning using Open Neural Network Format 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12) 모든 표/그림 보기

표/그림 (12) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

허준영 (30)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

오픈신경망 포맷을 이용한 기계학습 모델 변환 및 추론
Model Transformation and Inference of Machine Learning using Open Neural Network Format 원문보기

초록
AI-Helper

표/그림 (12)

표/그림 (12)

AI 본문요약
AI-Helper