[논문]GPU 기반 행렬 덧셈 및 스칼라 곱셈 알고리즘

박상근

doi:10.22710/jict.2018.8.1.015

GPU 기반 행렬 덧셈 및 스칼라 곱셈 알고리즘
Matrix Addition & Scalar Multiplication on the GPU 원문보기

융ㆍ복합기술연구소 논문집 = Journal of institute of convergence technology, v.8 no.1, 2018년, pp.15 - 20

박상근 (한국교통대학교 기계공학과)

Abstract ▼ AI-Helper

Recently a GPU has acquired programmability to perform general purpose computation fast by running thousands of threads concurrently. This paper presents a parallel GPU computation algorithm for dense matrix-matrix addition and scalar multiplication using OpenGL compute shader. It can play a very important role as a fundamental building block for many high-performance computing applications. Experimental results on NVIDIA Quad 4000 show that the proposed algorithm runs 21 times faster than CPU algorithm and achieves performance of 16 GFLOPS in single precision for dense matrices with size 4,096. Such performance proves that our algorithm is practical for real applications.

주제어

표/그림 (5)

표 Algorithm 1-1
표 Algorithm 1-2
표 Algorithm 2
그림 Fig. 1 Performance comparison of CPU-algorithm and GPU-algorithm
표 Table 1 Performance comparison of CPU and GPU-algorithm

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 GPU 상에서 병렬 처리에 의해 수행되는 OpenGL compute shader 행렬 덧셈 및 스칼라 곱셈 알고리즘을 상세히 서술하였고, 수치 실험을 통하여 본 연구 알고리즘의 계산 성능을 기술하였다. 또한 GPU 메모리 구조 및 쉐이더 invocation 등에 관해 서술하였다.
2017년 5월에 발표된 엔비디아(NVIDIA)사의 GeForce GTX 1080Ti¹⁾는3,584개의 GPU Cores, 11 GB의 비디오 메모리, 484(GB/s)의 메모리 대역폭, 10,609 GFLOPS(초당 부동소수점 연산 회수)의 계산 성능을 바탕으로 대용량 계산을 필요로 하는 과학적 문제를 해결하고 있으며, 저비용 고효율의 병렬처리 플랫폼으로서 많은 가능성을 보여주고 있다. 본 연구는 이러한 GPU을 활용하여 공학 및 과학 분야에서 컴퓨팅 연산을 위해 가장 많이 사용되고 있는 행렬 연산을 신속히 수행할 수 있는 병렬처리 행렬 덧셈 알고리즘 및 그 계산 성능을 소개하고자 한다.

제안 방법

최근에 GPU 뿐만 아니라 CPU에서도 동적으로 BLAS 호출이 가능하도록 지원함으로써 BLAS Level 3을 더욱가속화시킨 NVBLAS 라이브러리가 출시되었다. CUBLAS의 주요 특징으로 응용 프로그램 개발을 지원하기 위해 벡터 및 행렬 데이터를 GPU 메모리에 올리고, 계산 결과를 다시 CPU host 메모리로 가져올 수 있는 CUBLAS API 함수를 제공한다. 단점으로 열-우선(column-major) 방식의 스토리지 구조를 사용하는데, C/C++의 행-우선(row-major) 스토리지 구조와 맞지 않아 기존 C/C++로 작성된 응용 프로그램에서 사용하기에 다소 불편함이 있다.
본 연구는 GPU 상에서 병렬 처리에 의해 수행되는 OpenGL compute shader 행렬 덧셈 및 스칼라 곱셈 알고리즘을 상세히 서술하였고, 수치 실험을 통하여 본 연구 알고리즘의 계산 성능을 기술하였다. 또한 GPU 메모리 구조 및 쉐이더 invocation 등에 관해 서술하였다.
본 연구에서 제안하는 GPU 병렬처리 행렬 덧셈 및 스칼라 곱셈 알고리즘은 크게 CPU 상에서 OpenGL에게 데이터를 전송하고 병렬 계산을 명령하는 CPU 프로그램(알고리즘 1-1 및 1-2)과 명령에 의한 병렬 계산을 수행하는 GPU 프로그램(알고리즘 2)으로 구성된다.
그래서 1회 이상의 측정이 필요하다. 본 연구의 경우 10회 측정하여 평균하였다.
한편 본 연구에서는 구현한 GPU 알고리즘의 성능을 평가하기 위해 Table 1과 같이 CPU 상에서의 수행 결과와 비교하였다. 사용한 행렬은 정방 행렬로써 그 크기가 N = 128, 256, 512, 1024, 2048, 4096일 때 각 경우에 대해 CPU-알고리즘과 GPU-알고리즘의 GFLOPS 값을 측정하였고, 상대적 비교를 위해 CPU 대비 GPU의 GFLOPS 값을 속도비로 표시하였다. Fig.
즉 CPU RAM에 존재하는 데이터를 GPU로 전송하는데 걸린 시간, 전송된 데이터를 가지고 실제 계산하는데 소요된 시간, 마지막으로 계산 결과를 GPU에서 다시 CPU로 전송하는데 걸린 시간, 이 3개의 시간 총합을 milli-seconds단위로 측정한다.

대상 데이터

본 연구에서 사용한 그래픽 카드는 엔디비아 Quadro4000이고, 이 그래픽 카드의 비디오 메모리 크기는 2,048 MB, 코어(core) 개수는 256개, 블록당 스레드 개수는 1024개이다. 본 연구에서 사용한 알고리즘 평가지표는 수행 시간과 유효(effective) GFLOPS이다.

데이터처리

한편 본 연구에서는 구현한 GPU 알고리즘의 성능을 평가하기 위해 Table 1과 같이 CPU 상에서의 수행 결과와 비교하였다. 사용한 행렬은 정방 행렬로써 그 크기가 N = 128, 256, 512, 1024, 2048, 4096일 때 각 경우에 대해 CPU-알고리즘과 GPU-알고리즘의 GFLOPS 값을 측정하였고, 상대적 비교를 위해 CPU 대비 GPU의 GFLOPS 값을 속도비로 표시하였다.

이론/모형

본 연구에서 사용한 그래픽 카드는 엔디비아 Quadro4000이고, 이 그래픽 카드의 비디오 메모리 크기는 2,048 MB, 코어(core) 개수는 256개, 블록당 스레드 개수는 1024개이다. 본 연구에서 사용한 알고리즘 평가지표는 수행 시간과 유효(effective) GFLOPS이다. 일반적으로 총 수행 시간은 다음과 같이 구성된다.

성능/효과

그러나 각 데이터가 아닌 데이터 집합을 한꺼번에 shared memory에 복사한 후 읽어올 경우 메모리 접근 시간이 상당히 절약된다. 본 연구에서 테스트한 결과 shared memory latency가 global memory latency보다 대략 100배 정도 낮다. 또한 shared memory의 크기가 데이터 크기보다 작을 경우 모든 데이터를 한꺼번에 shared memory에 복사할 수 없고, shared memory 사용 시 bank conflict 문제가 존재한다.
1의 왼쪽 축은 GFLOPS 축이고, 오른쪽 축은 속도비 축이다. 예상대로 GPU-알고리즘이 상당히 빠르며, n = 4096일 때 무려 21배의 속도 차이가 나타냄을 확인할 수 있다.

후속연구

따라서 그 활용 가능성은 CUDA보다 높다고 볼 수 있다. 대표적인 활용 분야로서 그래픽 렌더링 분야에서 바로 사용 가능하며, 게임 분야의 물리 엔진에도 기반 기술로서 활용도가 높을 것으로 기대된다.
그러나 OpenGL의 컴퓨터쉐이더를 사용하여 구현된 사례를 관련 문헌에서 찾아보기 힘들다. 즉 본 연구 알고리즘은 저자의 판단으로 첫 시도이며 컴퓨터 쉐이더를 시작하는 독자에게 참고 문헌이 될 것이다. OpenGL 라이브러리는 CUDA 와는 다르게 컴퓨터 OS에 무관하게 인스톨되는 기본라이브러리이며, 특정 그래픽 카드에 의존성이 전혀 없어 어떤 컴퓨터에서도 사용 가능하다.
추후 연구 과제로 본 연구에서 수행한 병렬 처리 방식을 바탕으로 전치 행렬(transposed matrix), 역행렬을 계산하고, 나아가 수치해석 기법으로 널리 알려진PCG, GMRES 등에 관해 GPU가속화 프로그램을 개발할 예정이다. 현재 사용자의 편의성 및 확장성을 위해 DLL형태의 라이브러리를 개발 중에 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	행렬 덧셈의 특징은 무엇인가?	행렬 덧셈은 행렬 곱셈과 더불어 수치 알고리즘을 위한 필수 구성요소로서 계산량 측면에서 큰 부분을 차지하고 있기 때문에 수치 알고리즘의 성능을 좌우한다. 이러한 이유로 대부분의 수치 라이브러리는 보다 빠른 행렬 덧셈 혹은 곱셈을 구현하기 위해 적잖은 시간과 노력을 경주한다.
	GeForce GTX 1080Ti의 특징은 무엇인가?	최근에 출시된 그래픽 카드는 그래픽 처리의 주목적을 넘어서 다양한 공학 분야의 여러 응용 분야에서 새로운 가능성을 제공하고 있다. 2017년 5월에 발표된 엔비디아(NVIDIA)사의 GeForce GTX 1080Ti1)는3,584개의 GPU Cores, 11 GB의 비디오 메모리, 484(GB/s)의 메모리 대역폭, 10,609 GFLOPS(초당 부동소수점 연산 회수)의 계산 성능을 바탕으로 대용량 계산을 필요로 하는 과학적 문제를 해결하고 있으며, 저비용 고효율의 병렬처리 플랫폼으로서 많은 가능성을 보여주고 있다. 본 연구는 이러한 GPU을 활용하여 공학 및 과학 분야에서 컴퓨팅 연산을 위해 가장 많이 사용되고 있는 행렬 연산을 신속히 수행할 수 있는 병렬처리 행렬 덧셈 알고리즘 및 그 계산 성능을 소개하고자 한다.
	수치 라이브러리의 대표적인 종류는 무엇이 있는가?	이러한 이유로 대부분의 수치 라이브러리는 보다 빠른 행렬 덧셈 혹은 곱셈을 구현하기 위해 적잖은 시간과 노력을 경주한다. 대표적인 라이브러리로서BLAS(Basic Linear Algebra Subprograms) 라이브러리가 있으며, 이밖에 인텔(Intel)사의 MKL(Math Kernel Library) 라이브러리, 에이엠디(AMD)사의 ACML(AMDCore Math Library) 라이브러리, 엔디비아(NVIDIA)사의 CUBLAS (CUDA BLAS) 라이브러리 등이 널리 사용되고 있다.

참고문헌 (6)

https://www.nvidia.com/en-us/geforce/products/10series/geforce-gtx-1080-ti/.
http://www.netlib.org/blas.
https://software.intel.com/en-us/mkl.
http://developer.amd.com/tools-and-sdks/archive/acml-product-features/.
https://developer.nvidia.com/cublas.
G. Sellers, R. S. Wright, and N. Haemel, OpenGL SuperBible (7th ed.), Addison-Wesley, 2015.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증