[논문]글로벌 큐를 통한 임베디드 멀티코어 프로세서의 멀티 DNN 연산 성능 향상

조호진; 김명선

doi:10.6109/jkiice.2020.24.6.714

글로벌 큐를 통한 임베디드 멀티코어 프로세서의 멀티 DNN 연산 성능 향상
Improving Multi-DNN Computational Performance of Embedded Multicore Processors through a Global Queue 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.6, 2020년, pp.714 - 721

조호진 (Department of Applied IT Engineering, Hansung University) , 김명선 (Department of IT Convergence Engineering, Hansung University)

초록
AI-Helper

DNN은 로봇 및 자율주행차 등의 임베디드 시스템에서 활용 분야가 넓어지고 있다. 최근 높은 인식 정확도를 위하여 연산 복잡도가 크게 증가되고 비주기적으로 다수의 DNN을 사용하는 형태가 증가되고 있다. 따라서 임베디드 환경에서 다수의 DNN을 처리할 수 있는 능력은 중요한 이슈가 되었다. 이에 따라 멀티코어 기반 플랫폼들이 출시되고 있다. 하지만 대부분의 DNN 모델들은 배치 프로세스로 운용되어, 여러 DNN이 함께 멀티코어에서 운용될 때 어떻게 코어에 할당되느냐에 따라 각 DNN 간 수행시간 편차가 클 수 있고 시스템 전체적인 DNN 수행 시간이 길어질 수 있다. 본 논문에서는 각 DNN들을 배치 형태가 아닌 레이어별로 재구성한 후 글로벌 큐를 통하여 멀티코어에 분산시킬 수 있는 프레임워크를 제공하여 이러한 문제를 해결한다. 실험 결과 전체 DNN 수행 시간은 31% 감소하였고 다수의 동일 DNN을 운용 시 그 수행시간 편차는 최대 95.1% 감소하였다.

Abstract ▼ AI-Helper

DNN is expanding its use in embedded systems such as robots and autonomous vehicles. For high recognition accuracy, computational complexity is greatly increased, and multiple DNNs are running aperiodically. Therefore, the ability processing multiple DNNs in embedded environments is a crucial issue. Accordingly, multicore based platforms are being released. However, most DNN models are operated in a batch process, and when multiple DNNs are operated in multicore together, the execution time deviation between each DNN may be large and the end-to-end execution time of the whole DNNs could be long depending on how they are allocated to the cores. In this paper, we solve these problems by providing a framework that decompose each DNN into individual layers and then distribute to multicores through a global queue. As a result of the experiment, the total DNN execution time was reduced by 31%, and when operating multiple identical DNNs, the deviation in execution time was reduced by up to 95.1%.

주제어

표/그림 (12)

그림 Fig. 1 Multiple DNNs on Multicores
그림 Fig. 2 Target System
표 Table. 1 Performance metric[15]
그림 Fig. 3 Multicore DNN framework overview
그림 Fig. 4 ANTT results of identical DNNs
그림 Fig. 5 STP results of identical DNNs
표 Table. 2 Jetson AGX Xavier[6]
그림 Fig. 6 Box plots for the execution time of the identical DNNs
그림 Fig. 8 ANTT results when multiple heterogeneous DNNs are running
그림 Fig. 9 STP results when multiple heterogeneous DNNs are running
그림 Fig. 10 Difference between the maximum execution time and the minimum one
그림 Fig. 7 Normalized total execution times of the identical DNNs

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 소프트웨어플랫폼은 DNN 연산을 배치 프로세스 형태로 수행하여 여러 종류 및 다수의 DNN 간 수행시간 편차를 크게 하고 전체적인 수행시간의 지연을 초래한다. 본 논문에서는 DNN 배치 프로세스를 독립적인 레이어 연산으로 재구성하고 이를 효율적으로 멀티코어에 분산시키는 프레임워크를 제시하였다. 실험 결과 다수의 서로 다른 DNN을 운용 시 전체 수행 시간은 최대 31% 감소하였고 동일 DNN 간 수행시간 편차는 최대 95.
할당할 수 있는 기술이 절실하게 요구된다. 본 논문에서는 자율주행 자동차와 같은 다수의 다양한 DNN 모델이 임베디드 컴퓨팅 환경에서 수행될 때 이에 적합한 모델을 제시한다. 이는 먼저 배치 프로세스 형태로 DNN이 코어에 매핑되는 대신 더 작은 단위인 레이어 단위로 코어에 매핑될 수 있도록 DNN들을 재구성한다.
이는 먼저 배치 프로세스 형태로 DNN이 코어에 매핑되는 대신 더 작은 단위인 레이어 단위로 코어에 매핑될 수 있도록 DNN들을 재구성한다. 이와 더불어 각 DNN의 독립적인 레이어들이 코어에 가장 효율적으로 병렬 처리될 수 있는 메커니즘을 제공한다.
h1 data-page="2">Ⅰ.

제안 방법

있음을 실험을 통하여 증명한다. 대상 시스템 및 사용된 DNN을 설명한 후 실험결과와 분석 내용을 논한다.
DNN 프레임워크에 대하여 설명한다. 먼저 시스템을 모델링하고 프레임워크의 구조와 구체적인 동작 방법에 대하여 기술한다.
먼저 여러 개의 DNN 연산에 소요되는 시간을 보다 직관적으로 파악할 수 있게 동일한 DNN을 사용하여 제안된 프레임워크 적용 전후를 비교한다. 이어서 임의의 수로 구성된 여러 종류의 DNN 연산에 대한 결과를 비교한다.
본 논문에서 제시한 모델은 _ 전체가 하나의 쓰레드 형태로 CFS에 의하여 코어에 할당되지 않고 이를 ^ 각각이 코어에 할당된다. 따라서 보다 작구성하는 _은 연산 단위로 병렬 분산처리 되는 형태를 가지게 되어 _ 값들의 차이를 최소로 줄일 수 있다.
위에서 설명한 프레임워크를 구성하기 위하여 본 연구에서는 먼저 오프라인에서 각 _ ∈_ 를 구 ^≤≤을 재구성하여 글성하는 각 레이어 즉, _로벌 큐에 전달할 수 있는 형태로 변환하였다. 시스템이 시작되면 먼저 응용 프로그램들은 각자가 사용하는 _를 선택하고 _^∈_를 글로벌 큐에 전송한다.
프레임워크 적용 전후를 비교한다. 이어서 임의의 수로 구성된 여러 종류의 DNN 연산에 대한 결과를 비교한다. 본 실험에서는 표 1에 나타난 성능 메트릭을 사용하고 각 실험결과를 나타내는 그림에서 Res, Dens, Alex, VGG는 각각 ResNet152, DenseNet201, AlexNet, VGGNet16을 사용했을 때의 결과를 나타낸다.

대상 데이터

다음 실험으로 AlexNet 5개, VGGNet16 4개, Dense Ne201 11개, ResNet152 8개를 동시에 수행하였다. 그림 8과 9는 각각 이들의  및  결과를 보여주고 있다.
본 논문에서 사용한 임베디드 컴퓨팅 플랫폼은 NVIDIA(사)의 Jetson AGX Xavier이다. 이는 대표적인 로보틱스, 오토노머스 머신용 인공지능 플랫폼이다[6].
표 2는 이의 구체적인 사양을 나타낸다. 실험에 사용된 DNN들은 AlexNet[7], VGGNet16[8], ResNet152[16], DenseNet201[17] 을 사용하고 추론(Inference)을 위하여 임의의 사진(jpg)을 입력으로 하였다.

성능/효과

분포와 평균을 보여주고 있다. 그림에서 알 수 있듯이 프레임워크를 적용했을 때 최대 수행 시간과 최소수행 시간과의 차이는 ResNet152의 경우 약 3.5초에서 약 0.9초로 개선되었고, DensNet201의 경우 약 3.9초에서 약 0.9초로 개선되었다. 그림 7의 (a)와 (b)는 ResNet152 와 DenseNet201을 각각 9/18개 그리고 15/30개 수행했을 때 모든 DNN들이 종료된 시간을 프레임워크의 적용 전 값을 기준으로 정규화(normalized)하여 나타낸 그림이다.
74 배 향상되었다. 상대적으로 DenseNet201보다 전체 연산 요구량이 많고 긴 수행 시간을 나타내는 ResNet152의  및  성능향상이 조금 더 컸고 함께 수행되는 DNN 수가 많을 때 프레임워크의 효과가 조금 더 나타났다.
본 논문에서는 DNN 배치 프로세스를 독립적인 레이어 연산으로 재구성하고 이를 효율적으로 멀티코어에 분산시키는 프레임워크를 제시하였다. 실험 결과 다수의 서로 다른 DNN을 운용 시 전체 수행 시간은 최대 31% 감소하였고 동일 DNN 간 수행시간 편차는 최대 95.1% 감소하였다. 향후 멀티코어와 GPU에 DNN 레이어 연산을 분산시킬 수 있는 연구로 확장할 계획이다.
실험 결과로 알 수 있듯이, 배치 프로세스로 DNN 전체가 코어에 스케줄링 될 때보다 레이어 즉, 더 작은 단위로 분산 할당될 경우 코어의 유휴시간이 감소하여 DNN 간 성능 격차가 더 줄어들고 동시에 전체적인 수행 시간이 감소함을 알 수 있다.
9배 향상되었다. 즉, 연산 요구량이 많은 DNN에서 효과가 더 뚜렷하였다.
이를 통하여 다수의 동일 DNN 연산 실험결과와 마찬가지로 더 고르게 코어들에 DNN 연산이 할당되었음을 알 수 있다. 추가적으로 4종 DNN들의 전체 수행시간 역시 31% 감소했다.
그림 8과 9는 각각 이들의  및  결과를 보여주고 있다. 는 최대 VGGNet16에서 85.5% 감소하였고  역시 동일 DNN에서 최대 6.9배 향상되었다. 즉, 연산 요구량이 많은 DNN에서 효과가 더 뚜렷하였다.

후속연구

1% 감소하였다. 향후 멀티코어와 GPU에 DNN 레이어 연산을 분산시킬 수 있는 연구로 확장할 계획이다.

참고문헌 (17)

S. Lin, Y. Zhang, C. Hong, M. Skach, M. Haque L. Tang and J. Mars, " The Architectural Implications of Autonomous Driving: Constraints and Acceleration," in Proceedings of the 23rd International Conference on Architectural Support for Programming Languages and Operating Systems, Williamsburg, USA, pp. 751-66, 2018.
J. Dyrstad and J. Mathiassen, "Grasping virtual fish: A step towards robotic deep learning from demonstration in virtual reality," in Proceedings of the IEEE International Conference on Robotics and Biomimetics (ROBIO), Macau, China, 2017.
D. Vasisht. Z. Kapetanovic, J. Won, X. Jin, R. Chandra, A. Kapoor, N. sinha, and M. Sudarshan, "FarmBeats: An IoT Platform for Data-Driven Agriculture," in Proceedings of the 14th USENIX Symposium on Networked Systems Design and Implementation, Boston, USA, 2017.
T. Chen, Z. Du, N. Sun, J. Wang, C. Wu, Y. Chen, and O. Temam, "DianNao: A small-footprint high-throughput accelerator for ubiquitous machine-learning," in Proceedings of the 19th International Conference on Architectural Support for Programming Languages and Operating Systems, Salt Lake, Utah, pp. 269-284, 2014.
V. Sze, Y. Chen, T. Yang, and J. S. Emer, "Efficient Processing of Deep Neural Networks: A Tutorial and Survey," in Proceedings of the IEEE, vol. 105, no. 12, pp. 2295-2329, Jan. 2017.

상세보기
Jetson AGX Xavier Developer Kit [Internet]. Available: https://developer.nvidia.com/embedded/jetson-agx-xavier-developer-kit.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet classification with deep convolutional neural networks," in Proceedings of the 26th Conference on Neural Information Processing Systems, Lake Tahoe, pp. 1097-1105, 2012.
K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," in Proceedings of the International Conference on Learning Representations, San Diego, CA, 2015.
H. Kim, J. Kim, and H. Jung, "Convolutional Neural Network Based Image Processing System," Journal of Information and Communication Convergence Engineering, vol. 16, no. 3, pp. 160-165, Sep. 2018.

원문보기 상세보기
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, pp. 770-778, 2016.
Caffe, Deep learning framework by BAIR [Internet]. Available: http://caffe.berkeleyvision.org/.
Torch, [Internet]. Available: http://torch.ch/.
TensorFlow, [Internet]. Available: http://download.tensorflow.org/paper/whitepaper2015.pdf/.
S. Huh, J. Yoo, M. Kim and S. Hong, "Providing Fair Share Scheduling on Multicore Cloud Servers via Virtual Runtime-based Task Migration Algorithm", in Proceedings of the 32nd IEEE International Conference on Distributed Computing Systems (ICDCS), Macau, China pp. 606-614, 2012.
S. Eyerman and L. Eeckhout,"System-Level Performance Metrics for Multiprogram Workloads" in Micro, IEEE. vol. 28, pp. 42-53, 2008.

상세보기
L. Nguyen, D. Lin, Z. Lin and J. Cao, "Deep CNNs for microscopic image classification by exploiting transfer learning and feature concatenation", in Proceedings of the IEEE International Symposium on Circuits and Systems (ISCAS), Florence, Italy, 2018.
X. Yu, N. Zeng, S. Liu and Y. Zhang, "Utilization of DenseNet201 for diagnosis of breast abnormality", in Machine Vision and Applications. vol. 30, Oct. 2019.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증