[논문]클러스터 기반 컨테이너 환경에서 실시간 GPU 작업 모니터링 및 컨테이너 배치를 위한 노드 리스트 관리기법

강지훈; 길준민

doi:10.3745/ktccs.2022.11.11.381

클러스터 기반 컨테이너 환경에서 실시간 GPU 작업 모니터링 및 컨테이너 배치를 위한 노드 리스트 관리기법
Real-Time GPU Task Monitoring and Node List Management Techniques for Container Deployment in a Cluster-Based Container Environment 원문보기

정보처리학회논문지. KIPS transactions on computer and communication systems 컴퓨터 및 통신 시스템, v.11 no.11, 2022년, pp.381 - 394

강지훈 (고려대학교 4단계 BK21 컴퓨터학교육연구단) , 길준민 (대구가톨릭대학교 컴퓨터소프트웨어학부)

초록
AI-Helper

최근 인터넷 기반 서비스는 데이터의 개인화 및 맞춤화로 인해 사용자의 상황이나 요구사항에 따라 즉시 처리해야 하는 실시간 AI 추론 및 데이터 분석과 같은 실시간 처리에 대한 요구사항이 증가하고 있다. 실시간 작업은 각 작업이 시작되고 결과를 반환하기까지의 데드라인이 정해져 있으며, 데드라인의 보장은 서비스의 품질과 직접적으로 연결된다. 하지만, 기존 컨테이너 시스템에서는 컨테이너에서 실행되는 작업의 데드라인을 할당하고 관리하기 위한 기능이 제공되지 않기 때문에 실시간 작업을 운용하는데 제한적이다. 또한, AI 추론 및 데이터 분석과 같은 작업은 GPU(Graphic Processing Unit)를 기본적으로 사용하는데, 일반적으로 GPU 자원은 컨테이너 사이에 성능 격리가 제공되지 않기 때문에 서로 성능 영향을 미치며, 노드의 자원 사용량만으로는 각 컨테이너의 데드라인 보장률이나 새로운 실시간 컨테이너의 배치 여부를 결정할 수 없다. 따라서, 본 논문에서는 컨테이너에서 실행되는 GPU 작업의 실시간 처리를 지원하기 위해 컨테이너의 데드라인 및 실시간 GPU 작업의 실행 상태를 추적하고 관리하기 위한 모니터링 기법과 클러스터 환경에서 실시간 GPU 작업을 실행하는 컨테이너가 데드라인을 보장할 수 있도록 적절한 노드에 배치하기 위한 노드 리스트 관리기법을 제안한다. 또한, 실험을 통해 제안하는 기법이 시스템에 매우 작은 영향을 미친다는 것을 증명한다.

Abstract ▼ AI-Helper

Recently, due to the personalization and customization of data, Internet-based services have increased requirements for real-time processing, such as real-time AI inference and data analysis, which must be handled immediately according to the user's situation or requirement. Real-time tasks have a set deadline from the start of each task to the return of the results, and the guarantee of the deadline is directly linked to the quality of the services. However, traditional container systems are limited in operating real-time tasks because they do not provide the ability to allocate and manage deadlines for tasks executed in containers. In addition, tasks such as AI inference and data analysis basically utilize graphical processing units (GPU), which typically have performance impacts on each other because performance isolation is not provided between containers. And the resource usage of the node alone cannot determine the deadline guarantee rate of each container or whether to deploy a new real-time container. In this paper, we propose a monitoring technique for tracking and managing the execution status of deadlines and real-time GPU tasks in containers to support real-time processing of GPU tasks running on containers, and a node list management technique for container placement on appropriate nodes to ensure deadlines. Furthermore, we demonstrate from experiments that the proposed technique has a very small impact on the system.

주제어

표/그림 (14)

그림 Fig. 1. GPU Sharing in Docker
그림 Fig. 2. GPU and Container Monitoring System
그림 Fig. 3. Increased Task Run Time as GPU Core Loads Increase
그림 Fig. 4. Performance When GPU Core Usage is Less Than 100%
그림 Fig. 5. Overall Structure of the System
그림 Fig. 6. Proposed Real-time GPU Task Run Status Monitoring System
그림 Fig. 7. List of Container with Deadline of Each GPU Tasks
그림 Fig. 8. Deadline Contained in the Container Configuration File
그림 Fig. 9. Performance of Real-time GPU Task Run Status Monitoring System
그림 Fig. 10. Resource Usage of the Real-time GPU Task Run Status Monitoring System
표 Table 1. Experiment Environment
표 Table 2. Actual Execution Time of GPU Tasks and Measured Time Through GPU Tasks Execution Status Monitoring
그림 Fig. 11. Node List Configuration Performance with Simulations and Dummy Data
표 Table 3. Monitoring Information for Node List Configuration

참고문헌 (21)

J. H. Kang and J. M. Gil, "Deadline information management techniques to support real-time GPU tasks in container-based cloud environments," Proceedings of the Annual Spring Conference of Korea Information Processing Society Conference (KIPS) 2022, Vol.29, No.1, pp.56-59, 2022.
Docker, Docker [Internet], https://www.docker.com/
NVIDIA, Compute Unified Device Architecture (CUDA) [Internet], https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
NVIDIA, NVIDIA Docker [Internet], https://github.com/NVIDIA/nvidia-docker
Docker, docker ps [Internet], https://docs.docker.com/engine/reference/commandline/ps/
Docker, docker stats [Internet], https://docs.docker.com/engine/reference/commandline/stats/
Docker, docker top [Internet], https://docs.docker.com/engine/reference/commandline/top/
The Linux Foundation, Prometheus [Internet], https://prometheus.io/
Google, cAdvisor [Internet], https://hub.docker.com/r/google/cadvisor/
NVIDIA, NVIDIA Docker [Internet], https://github.com/NVIDIA/nvidia-docker
NVIDIA, NVIDIA System Management Interface [Internet], https://developer.nvidia.com/nvidia-system-management-interface
J. Ru, Y. Yang, J. Grundy, J. Keung, and L. Hao, "An efficient deadline constrained and data locality aware dynamic scheduling framework for multitenancy clouds," Concurrency and Computation: Practice and Experience, Vol.33, No.5, e6037, 2021.

상세보기
J. Lou, Z. Tang, S. Zhang, W. Jia, W. Zhao, and J. Li, "Cost-effective scheduling for dependent tasks with tight deadline constraints in mobile edge computing," IEEE Transactions on Mobile Computing (Early Access), 2022.
H. Xia, M. Liu, Y. Chen, X. Jin, Z. Wang, and F. Wang, "A load balancing strategy of container virtual machine cloud microservice based on deadline limit," 14th International Conference on Measuring Technology and Mechatronics Automation (ICMTMA), pp.998-1002, 2022.
V. Struhar, S. S. Craciunas, M. Ashjaei, M. Behnam, and A. V. Papadopoulos, "React: Enabling real-time container orchestration," 26th IEEE International Conference on Emerging Technologies and Factory Automation (ETFA), pp.1-8, 2021.
C. Singh, P. Kumari, R. Mishra, H. P. Gupta, and T. Dutta, "Secure industrial iot task containerization with deadline constraint: A stackelberg game approach," IEEE Transactions on Industrial Informatics (Early Access), 2022.
L. Ye, Y. Xia, L. Yang, and C. Yan, "SHWS: Stochastic Hybrid Workflows Dynamic Scheduling in Cloud Container Services", IEEE Transactions on Automation Science and Engineering, Vol.19, No.3, pp.2620-2636, 2021.
K. Dubey and S. C. Sharma, "A novel multi-objective CRPSO task scheduling algorithm with deadline constraint in cloud computing," Sustainable Computing: Informatics and Systems, Vol.32, 100605, 2021.

상세보기
Google Brain, Tensorflow [Internet], https://www.tensorflow.org/
Yann LeCun, Corinna Cortes, and Chris Burges, MNIST handwritten digit database [Internet], http://yann.lecun.com/exdb/mnist/
Docker, Docker CLI [Internet], https://docs.docker.com/engine/reference/commandline/pause/

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증