[논문]통합메모리 장치에서 CPU-GPU 데이터 전송성능 연구

권오경; 구기범

doi:10.3745/ktccs.2022.11.5.133

초록
AI-Helper

최근 고성능컴퓨팅, 인공지능 분야에서 GPU 장치 사용이 일반화되고 있지만, GPU 프로그래밍은 여전히 어렵게 여겨진다. 특히 호스트(host) 메모리와 GPU 메모리를 별도로 관리하기 때문에 성능과 편의성 방면에서 연구가 활발히 진행되고 있다. 이에 따라 여려가지 CPU-GPU 메모리 전송 방법들이 연구되고 있다. 한편 CPU와 GPU 및 통합메모리(Unified memory) 등 하나의 실리콘 패키지로 묶는 SoC(System on a Chip) 제품들이 최근에 많이 출시되고 있다. 본 연구는 이러한 통합메모리 장치에서 CPU, GPU 장치간 데이터를 사용하고 전송시 성능관련 비교를 하고자 한다. 기존 CPU내 호스트 메모리와 GPU 메모리가 분리된 환경과는 다른 특징을 보여준다. 여기서는 통합메모리 장치인 NVIDIA SoC칩들과 NVIDIA SMX 기반 V100 GPU 카드에서 CPU-GPU 간 데이터 전송 프로그래밍 기법별로 성능비교를 한다. 성능비교를 위해 워크로드는 HPC 분야의 수치계산에서 자주 사용하는 2차원 행렬 전치 커널이다. 실험을 통해 CPU-GPU 메모리 전송 프로그래밍 방법별 GPU 커널 성능차이, 페이지 잠긴 메모리와 페이지 가능 메모리를 사용했을 경우 전송 성능차이, 전체(Overall) 성능비교, 마지막으로 워크로드 크기별 성능비교를 하였다. 이를 통해 통합메모리칩인 NVIDIA Xavier에서 I/O 캐시일관성 지원을 통해 SoC 칩내 통합메모리에 대한 이점을 극대화 할 수 있음을 확인할 수 있었다.

Abstract ▼ AI-Helper

Recently, as GPU performance has improved in HPC and artificial intelligence, its use is becoming more common, but GPU programming is still a big obstacle in terms of productivity. In particular, due to the difficulty of managing host memory and GPU memory separately, research is being actively cond...

Recently, as GPU performance has improved in HPC and artificial intelligence, its use is becoming more common, but GPU programming is still a big obstacle in terms of productivity. In particular, due to the difficulty of managing host memory and GPU memory separately, research is being actively conducted in terms of convenience and performance, and various CPU-GPU memory transfer programming methods are suggested. Meanwhile, recently many SoC (System on a Chip) products such as Apple M1 and NVIDIA Tegra that bundle CPU, GPU, and integrated memory into one large silicon package are emerging. In this study, data between CPU and GPU devices are used in such an integrated memory device and performance-related research is conducted during transmission. It shows different characteristics from the existing environment in which the host memory and GPU memory in the CPU are separated. Here, we want to compare performance by CPU-GPU data transmission method in NVIDIA SoC chips, which are integrated memory devices, and NVIDIA SMX-based V100 GPU devices. For the experimental workload for performance comparison, a two-dimensional matrix transposition example frequently used in HPC applications was used. We analyzed the following performance factors: the difference in GPU kernel performance according to the CPU-GPU memory transfer method for each GPU device, the transfer performance difference between page-locked memory and pageable memory, overall performance comparison, and performance comparison by workload size. Through this experiment, it was confirmed that the NVIDIA Xavier can maximize the benefits of integrated memory in the SoC chip by supporting I/O cache consistency.

주제어

표/그림 (8)

그림 Fig. 1. Architecture of NVIDIA Jetson Xavier
그림 Fig 2. Schematic of I/O Coherence [4]
그림 Fig. 3. GPU Kernel Code of Matrix Transpose
그림 Fig. 4. Workload Execution Order
그림 Fig. 5. Performance Comparison of Three GPU Devices According to CPU-GPU Data Transfer Method (Matrix Size: 4096 x 4096): (a) NVIDIA Xavier (b) NVIDA TX2 (c) NVIDIA V100-SMX2
표 Table 1. GPU Device and CUDA Version used in the Experiment
그림 Fig. 6. Performance Evaluation with Matrix Size According to CPU-GPU Data Transfer Method at NVIDIA Xavier Device: (a) 1024 × 1024 (b) 2048 × 2048
그림 Fig. 7. Performance Degradation with Matrix Size According to CPU-GPU Data Transfer Method at NVIDIA Xavier Device: (a) 2048 × 2048 over 1024 × 1024 (b) 4096 × 4096 over 2048 × 2048

참고문헌 (8)

R. S. Santos, D. M. Eler, and R. E. Garcia, "Performance evaluation of data migration methods between the host and the device in CUDA-based programming," Information Technology: New Generations, pp.689-700, 2016.
CUDA C++ Programming Guide [Internet], https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html.
CUDA for Tegra [Internet], https://docs.nvidia.com/cuda/cuda-for-tegra-appnote/index.html.
Anshuman Bhat, CUDA on Xavier, GTC 2018 [Internet], http://on-demand.gputechconf.com/gtc/2018/presentation/s8868-cuda-on-xavier-what-is-new.pdf.
Nikolay Sakharnykh, Everything You Need Toknow about Unified Memory, GTC 2018 [Internet], https://on-demand.gputechconf.com/gtc/2018/presentation/s8430-everythingyou-need-to-know-about-unified-memory.pdf.
O. K. Kwon and G. Gu, "A performance study on CPU-GPU data transfers of NVIDIA tegra and tesla GPUs," Proceedings of Annual Conference of KIPS 2021, pp.39-42, 2021.
S. Chien, I. Peng, and S. Markidis, "Performance evaluation of advanced features in CUDA unified memory," 2019 IEEE/ACM Workshop on Memory Centric High Performance Computing (MCHPC), pp.8-18, Nov. 2019.
P. Wang, J. Wang, C. Li, J. Wang, H. Zhu, and Guo, M. "Grus: Toward unified-memory-efficient high-performance graph processing on GPU," ACM Transactions on Architecture and Code Optimization (TACO), Vol.18, No.2, pp.1-25, 2021.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

통합메모리 장치에서 CPU-GPU 데이터 전송성능 연구
A Performance Study on CPU-GPU Data Transfers of Unified Memory Device 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (8)

표/그림 (8)

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

통합메모리 장치에서 CPU-GPU 데이터 전송성능 연구 A Performance Study on CPU-GPU Data Transfers of Unified Memory Device 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (8) 모든 표/그림 보기

표/그림 (8) 슬라이드로 보기

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

권오경 (5) 구기범 (3)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

통합메모리 장치에서 CPU-GPU 데이터 전송성능 연구
A Performance Study on CPU-GPU Data Transfers of Unified Memory Device 원문보기

초록
AI-Helper

표/그림 (8)

표/그림 (8)