[논문]GPUDirect RDMA 기반의 고성능 암호 분석 시스템 설계 및 구현

이석민; 신영주

doi:10.13089/jkiisc.2022.32.6.1127

GPUDirect RDMA 기반의 고성능 암호 분석 시스템 설계 및 구현
Design and Implementation of High-Performance Cryptanalysis System Based on GPUDirect RDMA 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.32 no.6, 2022년, pp.1127 - 1137

이석민 (고려대학교 정보보호대학원) , 신영주 (고려대학교 정보보호대학원)

초록
AI-Helper

GPU의 병렬 연산을 활용한 암호 분석 및 해독 기술은 암호 분석 시스템의 연산 시간을 단축하는 방향으로 연구되었다. 해당 연구들은 하나의 GPU에서 암호 분석 연산의 속도를 향상시키기 위해 코드를 최적화하거나 또는 단순히 GPU의 수를 늘려 병렬 연산을 강화하는 것에 집중되어 있다. 하지만 다량의 GPU를 데이터 전송에 대한 최적화 없이 사용하는 것은 하나의 GPU를 사용하는 것보다 더 긴 데이터 전송 지연 문제를 발생시키고, 암호 분석 시스템의 전체적인 연산 시간 증가를 야기한다. 이에, 본 논문은 딥러닝 또는 HPC 연구 분야의 GPU Clustering 환경에서 고성능 데이터 처리를 위해 활용되는 GPUDirect RDMA 및 관련 제반 기술들을 조사 및 분석한다. 그리고 해당 기술들을 활용한 고성능 암호 분석 시스템 설계 방법들을 제안한다. 더 나아가, 해당 설계를 기반으로 Password Cracking, GPU Reduction을 활용한 암호 분석 시스템 구현 방법에 대해 제시한다. 최종적으로, GPUDirect RDMA 기술 적용으로 구현된 암호 분석 시스템에 대해서 암호 분석 작업 성능 향상의 실증을 통해 제안한 시스템에 대한 기대효과를 제시한다.

Abstract ▼ AI-Helper

Cryptographic analysis and decryption technology utilizing the parallel operation of GPU has been studied in the direction of shortening the computation time of the password analysis system. These studies focus on optimizing the code to improve the speed of cryptographic analysis operations on a single GPU or simply increasing the number of GPUs to enhance parallel operations. However, using a large number of GPUs without optimization for data transmission causes longer data transmission latency than using a single GPU and increases the overall computation time of the cryptographic analysis system. In this paper, we investigate GPUDirect RDMA and related technologies for high-performance data processing in deep learning or HPC research fields in GPU clustering environments. In addition, we present a method of designing a high-performance cryptanalysis system using the relevant technologies. Furthermore, based on the suggested system topology, we present a method of implementing a cryptanalysis system using password cracking and GPU reduction. Finally, the performance evaluation results are presented according to demonstration of high-performance technology is applied to the implemented cryptanalysis system, and the expected effects of the proposed system design are shown.

주제어

표/그림 (11)

그림 Fig. 1. GPUDirect RDMA performance comparison using perftest
표 Table 1. Configured Hardware Resources
표 Table 2. Installed Driver and Application
그림 Fig. 2. GPUDirect RDMA and CUDA-Aware MPI technology applied system in Remote-MPI Clustering environment
그림 Fig. 3. Overview of the master-worker pattern system
그림 Fig. 4. Master and worker nodes assigned to local servers
그림 Fig. 5. Overview of worker to worker communication system
그림 Fig. 6. Role of master node
그림 Fig. 7. Role of worker nodes
그림 Fig. 8. Matrix multiplication accelerated of high-performance cryptanalysis system applying GPU Reduction technology
그림 Fig. 9. Performance evaluation of high-performance cryptanalysis system based on GPUDirect RDMA

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 고성능 데이터 처리 기술들을 적용한 시스템을 설계 및 구현한다. 해당 설계를 위해 Table 1.

제안 방법

더 나아가, 설계된 암호 분석 시스템에서 워커 노드 간 통신 가능성에 따른 시스템 토폴로지들을 설계하며, 설계한 토폴로지들을 기반으로 적용한 암호 분석 기술들의 사례를 제시한다. 그 예시로 Password Cracking, GPU Reduction 기술들을 소개하고 해당 기술들을 제안했던 시스템 토폴로지에 적용하여, 암호 분석 시스템 구현에 대한 방법을 제시한다.
본 장에서는, GPUDirect RDMA 기술에 대한 소개와 해당 기술을 지원하는 시스템을 구성하는 방법에 대해 기술한다. 그리고 기술 지원 여부에 따른 성능 평가를 통해 GPUDirect RDMA 기술이 적용된 시스템에 대한 기대효과를 기술한다.
그리고 해당 기술들을 활용해, GPU Clustering 환경에서의 고성능 데이터 처리가 가능한 마스터-워커 패턴의 암호 분석 시스템 설계를 제안한다. 더 나아가, 설계된 암호 분석 시스템에서 워커 노드 간 통신 가능성에 따른 시스템 토폴로지들을 설계하며, 설계한 토폴로지들을 기반으로 적용한 암호 분석 기술들의 사례를 제시한다.
이를 통해 마스터 노드는 GPUDirect RDMA 기술을 활용해 리모트 서버의 워커 노드들에게 대용량 데이터와 수행할 일을 분배하여 암호 분석을 진행한다. 두 번째 방식의 경우, 로컬 서버에 사용되는 하드웨어 자원이 마스터 노드의 데이터 분배 역할 이후에도 지속적인 사용을 위해 제안한다. 리모트 서버에게만 부여되었던 워커 노드의 역할을 Fig.
서버용 Intel CPU를 사용하여 안정적인 시스템 환경 구축이 가능하도록 구성하였고, GPUDirect 기술을 시스템에 구성하기 위해서 Amphere 버전의 A40과, A100 GPGPU를 이용하였다. 또한, GPUDirect RDMA를 활용해 CPU 호스트 메모리로의 복사 없이 데이터를 전송을 위해 ConnectX-5의 HCA를 시스템에 구성하였다.
제안한 고성능 기술이 적용된 시스템에 암호 분석 기술을 적용한다. 병렬적으로 암호 분석을 수행하기 위해서, 마스터로부터 분배되는 일을 다수의 워커가 병렬적으로 처리할 수 있는 마스터-워커 패턴의 시스템 토폴로지를 설계한다. Rank 별 역할이 분배된 마스터-워커 패턴 시스템에서 로컬 서버와 리모트 서버에게 두 가지의 방식으로 역할을 부여한다.
에서 확인할 수 있다. 워커 노드가 작업할 일의 수에 대한 지표는 Password Cracking의 정답을 찾는 동작 과정에서 워커 노드가 해시 연산 수행하는 후보 비밀번호의 수를 수치화하여 설정하였다. 그 결과, 워커 노드 별 수행해야 할 작업의 수가 증가할수록 암호 분석 연산 시간이 더 많이 요구되기에 전체적인 암호 분석 연산 시간은 워커 노드의 작업 수가 증가할수록 증가하는 양상임을 확인할 수 있다.
과 같이, 로컬 서버에서 Rank 0는 마스터 노드의 역할을 수행하고, Rank 0 이외의 Rank들은 리모트 서버에서 워커 노드의 역할을 수행한다. 이를 통해 마스터 노드는 GPUDirect RDMA 기술을 활용해 리모트 서버의 워커 노드들에게 대용량 데이터와 수행할 일을 분배하여 암호 분석을 진행한다. 두 번째 방식의 경우, 로컬 서버에 사용되는 하드웨어 자원이 마스터 노드의 데이터 분배 역할 이후에도 지속적인 사용을 위해 제안한다.
m 개의 서버가 있고, 로컬 서버를 제외한 m-1개의 서버가 있을 때, 각각의 서버에서 최대 n개의 워커 노드를 생성할 수 있다면 최대 n*(m-1)개의 워커 노드를 생성할 수 있다. 이에, 추가적으로 로컬 서버에서 생성할 수 있는 n-1개의 워커 노드를 추가하여 총 n*m-1개의 워커 노드를 구성할 수 있는 마스터-워커 패턴의 시스템을 설계한다.
제안한 고성능 기술이 적용된 시스템에 암호 분석 기술을 적용한다. 병렬적으로 암호 분석을 수행하기 위해서, 마스터로부터 분배되는 일을 다수의 워커가 병렬적으로 처리할 수 있는 마스터-워커 패턴의 시스템 토폴로지를 설계한다.
해당 Password Cracking 암호 분석 기술의 동작을 고성능 기술이 적용된 암호 분석 시스템으로 구현한다. 또한 마스터-워커 패턴의 시스템에 동작 과정들을 적용하여 마스터 노드와 워커 노드들에게 암호 분석 동작을 분배한다.

대상 데이터

에 기술된 하드웨어 자원들을 통해 시스템을 구성하였다. 서버용 Intel CPU를 사용하여 안정적인 시스템 환경 구축이 가능하도록 구성하였고, GPUDirect 기술을 시스템에 구성하기 위해서 Amphere 버전의 A40과, A100 GPGPU를 이용하였다. 또한, GPUDirect RDMA를 활용해 CPU 호스트 메모리로의 복사 없이 데이터를 전송을 위해 ConnectX-5의 HCA를 시스템에 구성하였다.
또한 마스터-워커 패턴의 시스템에 동작 과정들을 적용하여 마스터 노드와 워커 노드들에게 암호 분석 동작을 분배한다. 시스템 사용자는 공격자의입장으로 후보 비밀번호들의 집합인 딕셔너리 파일, 해시 암호화된 비밀번호, 그리고 해시 암호화 모듈인 SHA-256을 소유하고 있다. 즉, 해시 연산된 정답 비밀번호의 정답 값을 알아내기 위해 전체 딕셔너리 파일을 해시 연산 모듈로 순차적인 암호화를 진행한다.
제안한 워커 노드 간 통신 가능한 시스템 설계에 적용할 수 있는 암호 분석 기술의 예로 행렬 곱 연산 고속화를 활용한 암호 분석이 있다. 대용량의 행렬 곱 연산의 경우, 워커 노드들의 독립적인 연산 수행과 더불어 워커 노드들끼리의 상호작용이 요구된다.

데이터처리

데이터 전송 벤치마킹 프로그램인 perftest를 활용해 GPUDirect RDMA 지원 여부에 따른 데이터 전송 성능 차이를 평가할 수 있다. Fig.

성능/효과

Fig. 1.와 같이, 전송하는 데이터의 양이 커질수록, 데이터 전송 대역폭(bandwidth)의 크기 차이와 지연시간(latency)의 시간 차이가 약 100배 이상 발생함을 확인할 수 있다.
워커 노드가 작업할 일의 수에 대한 지표는 Password Cracking의 정답을 찾는 동작 과정에서 워커 노드가 해시 연산 수행하는 후보 비밀번호의 수를 수치화하여 설정하였다. 그 결과, 워커 노드 별 수행해야 할 작업의 수가 증가할수록 암호 분석 연산 시간이 더 많이 요구되기에 전체적인 암호 분석 연산 시간은 워커 노드의 작업 수가 증가할수록 증가하는 양상임을 확인할 수 있다. 하지만 GPUDirect RDMA 기술이 적용된 시스템의 경우 적용되지 않은 시스템에 비해 전체 암호 분석 시간에 대해 최대 약 두 배 이상 감소한 것을 확인할 수 있다.
서로 다른 프로세서 간 공유 메모리를 사용하지 않고, 별도의 메시지라는 메모리를 선언하여 태그 값을 프로세스의 고유값으로 활용해 프로세스들을 구분한다. 그리고 MPI API를 활용하여 프로세서 간 데이터를 송∙수신하고 다수의 프로세스에 작업을 할당하여 병렬적으로 작업을 수행해 효율적인 컴퓨터 자원 활용이 가능하다. Remote MPI Clustering 기술은 리모트 서버에게 프로세스를 할당하여 로컬과 리모트 서버가 병렬적으로 동시에 프로그램 실행이 가능하도록 지원한다.
GPUDirect RDMA를 활용하기 위해서 gdr_copy 어플리케이션과 nv_peer_mem 드라이브를 설치하고, GPUDirect RDMA와 MPI 프로그래밍을 연동하기 위해 UCX 드라이버를 설치한다. 마지막으로, 로컬 서버와 리모트 환경이 연동된 Remote MPI Clustering 환경을 구축하기 위해 로컬 서버에서는 nfs-kernel-server 애플리케이션을, 그리고 리모트 서버에서는 nfs-common 애플리케이션을 설치한다.
와 같다. 분배되는 데이터의 양이 증가할수록 전송할 데이터의 양이 증가하기에 GPUDirect RDMA 기술이 적용된 시스템과 적용되지 않은 시스템 모두 전체 연산 시간이 증가하였다. 하지만 GPUDirect RDMA 기술이 적용된 시스템의 경우, 최적화된 데이터 전송에 대한 효과를 통해서 GPUDirect RDMA 기술이 적용되지 않은 시스템에 비해 최대 약 2배 이상의 암호 분석 연산 시간에 대한 감소를 확인할 수 있었다.
이에 따라, GPUDirect RDMA 기술을 활용하여 암호 분석 시스템을 구성할 경우, 하나 이상의 GPU 메모리들이 향상된 전송 속도로 데이터를 송∙수신하여 향상된 병렬 연산 성능을 기대할 수 있다. 그리고 이를 통해, 전체적인 암호 분석 시스템의 연산 시간에 대한 단축된 시간을 기대할 수 있다.
이에 따라, Password Cracking 기술을 활용하여 GPUDirect RDMA 기술이 적용된 고성능 암호 분석 시스템에 대한 전수조사 암호 분석의 성능 향상 실증할 수 있었다. 더 나아가, 제안한 고성능 암호 분석 시스템 설계 방식은 다양한 암호 분석 기술을 적용하는 것에 범용적으로 활용할 수 있을 것이라 기대한다.
그 결과, 워커 노드 별 수행해야 할 작업의 수가 증가할수록 암호 분석 연산 시간이 더 많이 요구되기에 전체적인 암호 분석 연산 시간은 워커 노드의 작업 수가 증가할수록 증가하는 양상임을 확인할 수 있다. 하지만 GPUDirect RDMA 기술이 적용된 시스템의 경우 적용되지 않은 시스템에 비해 전체 암호 분석 시간에 대해 최대 약 두 배 이상 감소한 것을 확인할 수 있다.
분배되는 데이터의 양이 증가할수록 전송할 데이터의 양이 증가하기에 GPUDirect RDMA 기술이 적용된 시스템과 적용되지 않은 시스템 모두 전체 연산 시간이 증가하였다. 하지만 GPUDirect RDMA 기술이 적용된 시스템의 경우, 최적화된 데이터 전송에 대한 효과를 통해서 GPUDirect RDMA 기술이 적용되지 않은 시스템에 비해 최대 약 2배 이상의 암호 분석 연산 시간에 대한 감소를 확인할 수 있었다. 또한 워커 노드 별 분배되는 데이터의 크기가 동일할 때 구성한 워커 노드 수에 따른 성능 비교는 Fig.
이 때문에 암호 분석 전체 연산에 대한 약간의 시간 증가 양상을 확인할 수 있다. 하지만 증가하는 워커 노드의 수에 대해서 GPUDirect RDMA가 적용되는 시스템의 경우 약 9초에서 12초 내외의 전체 연산 시간이 소요되는 반면 GPUDirect RDMA가 적용되지 않는 시스템의 경우 약 21초에서27초 사이의 전체 연산 시간이 소요되는 것을 확인할 수 있다. 마지막으로, 워커 노드가 작업할 일의 수에 따른 성능 평가는 Fig.

후속연구

그리고 해당 기술들을 활용해, GPU Clustering 환경에서의 고성능 데이터 처리가 가능한 마스터-워커 패턴의 암호 분석 시스템 설계를 제안한다. 더 나아가, 설계된 암호 분석 시스템에서 워커 노드 간 통신 가능성에 따른 시스템 토폴로지들을 설계하며, 설계한 토폴로지들을 기반으로 적용한 암호 분석 기술들의 사례를 제시한다. 그 예시로 Password Cracking, GPU Reduction 기술들을 소개하고 해당 기술들을 제안했던 시스템 토폴로지에 적용하여, 암호 분석 시스템 구현에 대한 방법을 제시한다.
이에 따라, Password Cracking 기술을 활용하여 GPUDirect RDMA 기술이 적용된 고성능 암호 분석 시스템에 대한 전수조사 암호 분석의 성능 향상 실증할 수 있었다. 더 나아가, 제안한 고성능 암호 분석 시스템 설계 방식은 다양한 암호 분석 기술을 적용하는 것에 범용적으로 활용할 수 있을 것이라 기대한다. 마스터 노드에서 워커 노드로 데이터 전송 관련 MPI API를 사용할 때, 수신 받는 워커 노드의 위치가 리모트 서버일 경우, GPUDirect RDMA 기술이 사용되어 HCA를 통한 고성능 데이터 송신이 수행된다.
마지막으로, Password Cracking 동작 방식으로 구현한 암호 분석 시스템에 대해서 GPUDirect RDMA 기술의 적용에 따른 성능 향상의 실증으로, 제안된 고성능 기술들을 활용한 암호 분석 시스템 설계에 대해서 기대 효과를 제시한다.

참고문헌 (9)

Cihangir Tezcan, "Key lengths revisited: gpu-based brute force cryptoanalysis of des, 3des, and present," Journal of Systems Architecture, Vol. 124, pp. 102402, Mar. 2022.

상세보기
Alex Biryukov and Johann Grossschadl, "Cryptanalysis of the full aes using gpu-like special-purpose hardware," Fundamenta Informaticae, Vol. 114, pp. 221-237, Apr. 2012.

상세보기
Marco Cianfriglia, and Stefano Guarino, "Cryptanalysison gpus with the cube attack: design, optimization and performances gains," 2017 International Conference on High Performance Computing & Simulation (HPCS), pp. 753-760, Jul. 2017.
NVIDIA GPUDirect - NVIDIA Developer, "GPUDirect RDMA NVIDIA" https://developer.nvidia.com/gpudirect, Oct. 2022.
Open MPI: Open Source High Performance Computing, "Open MPI(Message Passing Interface)" https://www.open-mpi.org/, Oct. 2022.
Mellanox/nv_peer_memory - GPUDirect RDMA - Github, "Mellanoxnv_peer_mem with GPUDirect RDMA" https://github.com/Mellanox/nv_peer_memory, Oct. 2022.
Nathan Hanford, Ramesh Pankajakshan, Edgar A Leon and Ian Karlin. "Challenges of gpu-aware communication in mpi," In 2020 Workshop on Exascale MPI (ExaMPI) IEEE, pp. 1-10, Nov. 2020.
Jaemin Choi, Zane Fink, Sam White, Nitin Bhat, David F. Richards and Laxmikant V. Kale, "Gpu-aware communication with ucx in parallel programming models: charm++, mpi, and python," 2021 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW), pp. 479-488, Jun. 2021.
Optimizing Parallel Reduction in CUDA - NVIDIA, "GPU Reduction" https://developer.download.nvidia.com/assets/cuda/files/reduction.pdf, Oct. 2022.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증