[논문]Bandwidth-aware Memory Placement on Hybrid Memories targeting High Performance Computing Systems

Lee, Jongmin

doi:10.9708/jksci.2019.24.08.001

Bandwidth-aware Memory Placement on Hybrid Memories targeting High Performance Computing Systems 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.24 no.8, 2019년, pp.1 - 8

Lee, Jongmin (Dept. of Computer Engineering, WonKwang University)

Abstract ▼ AI-Helper

Modern computers provide tremendous computing capability and a large memory system. Hybrid memories consist of next generation memory devices and are adopted in high performance systems. However, the increased complexity of the microprocessor makes it difficult to operate the system effectively. In this paper, we propose a simple data migration method called Bandwidth-aware Data Migration (BDM) to efficiently use memory systems for high performance processors with hybrid memory. BDM monitors the status of applications running on the system using hardware performance monitoring tools and migrates the appropriate pages of selected applications to High Bandwidth Memory (HBM). BDM selects applications whose bandwidth usages are high and also evenly distributed among the threads. Experimental results show that BDM improves execution time by an average of 20% over baseline execution.

주제어

표/그림 (12)

그림 Fig. 1. Structure of Intel KNL Processor [1]
그림 Fig. 2. Memory Configurations of KNL Processor
그림 Fig. 3. Structure of Monitored Data
표 Algorithm 1 BDM Algorithm (p)
그림 Fig. 4. Example of Application Selection
표 Algorithm 2 Monitoring(L, W)
표 Algorithm 3. Selection(L, W)
그림 Fig. 5. Migration Example
표 Algorithm 4 Migration(b, W)
그림 Fig. 6. Memory Bandwidth Comparison: bt0 (upper), cg0 (bottom)
그림 Fig. 7. Execution Times Normalized to that of The Baseline
표 Table 1. NAS Parallel Benchmarks (NPB)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

BDM(Bandwidth-aware Data Migration)이라고 명명된 제안된 기법은 MCDRAM과 DRAM에 할당된 응용프로그램의 프로파일링 데이터를 통해 하이브리드 메모리를 효율적으로 사용하는 것을 목표로 한다. BDM은 KNL 프로세서의 성능향상을 위해 세 단계로 나누어 수행된다.
하이브리드 메모리는 고성능 컴퓨팅 시스템의 성능 한계를 극복하기 위한 유망한 기술로 주목받고 있다. 본 논문에서는 BDM(Bandwidth-aware Data Migration)으로 명명된 하드웨어 성능 모니터링 툴을 활용한 동적 데이터 이주 전략을 제안 하였다. BDM은 시스템에서 실행중인 응용프로그램 쓰레드의 메모리 사용 현황을 주기적으로 취합하여 페이지 이주를 수행할 응용프로그램을 선택한다.
본 논문에서는 응용프로그램의 대역폭 정보를 활용한 동적 메모리 관리 기법을 제안한다. 본 연구의 핵심은 하드웨어나 소프트웨어 수정 없이 HPC시스템에서 서로 다른 유형의 메모리를 효율적으로 사용하는 알고리즘이다.
본 논문은 응용프로그램 실행 시 하드웨어 모니터링 툴을 이용하여 추출한 데이터를 기반으로 하여 하이브리드 메모리를 효율적으로 사용할 수 있는 데이터 이주(Migration) 전략을 제안한다. 본 논문에서는 DRAM과 HBM으로 구성된 하이브리드 메모리가 구현되어 있는 Intel사의 KNL 프로세서를 대상으로 하였다.
본 논문에서는 응용프로그램의 대역폭 정보를 활용한 동적 메모리 관리 기법을 제안한다. 본 연구의 핵심은 하드웨어나 소프트웨어 수정 없이 HPC시스템에서 서로 다른 유형의 메모리를 효율적으로 사용하는 알고리즘이다. 본 논문에서는 Intel KNL 프로세서를 주요 대상으로 했지만, 서로 다른 대역폭을 갖는 하이브리드 메모리를 채용한 메모리 시스템이라면 본 논문에서 제안된 기법이 적용가능 하다.
NUMA 시스템에서 메모리를 효율적으로 사용하기 위한 기본적인 방법은 응용프로그램의 데이터 참조 패턴을 분석하여 데이터의 위치를 자주 참조하는 프로세서와 가까운 곳으로 이동하여 메모리 접근 시간을 줄이는 것이다. 본 절에서는 제안된 연구와 관련 있는 하이브리드 메모리 시스템을 대상으로 한 기존의 데이터 이주 기법에 대해 다루도록 하겠다[12-14]. 관련 연구 [12]에서는 DRAM과 비휘발성 플래시 메모리로 구성된 하이브리드 메모리 시스템을 대상으로 페이지 이주 기법을 제안하였다.
본 절에서는, Intel KNL 프로세서에서 메모리와 관련된 주요 특징에 대해 다룬다. KNL 프로세서는 하이브리드 메모리 시스템이 상용 프로세서에 적용된 사례로 TACC(Texas Advanced Computing Center)의 대표 시스템인 Stampede2 및 Berkeley Lab의 CORI 슈퍼컴퓨터와 같은 고성능 컴퓨팅 시스템에서 널리 사용되고 있다.

가설 설정

MCDRAM의 용량보다 큰 메모리 사용량이 필요한 시스템 상황을 가정하기 위해 각 NPB 벤치마크 프로그램을 중복으로 동시에 (즉, bt0, bt1, bt2, bt3) 실행하였고, 모든 실험은 응용 프로그램 당 4개의 쓰레드를 사용하였다. 따라서 32개의 응용 프로그램이 병렬로 실행되고 총 128개의 쓰레드가 생성된다.

제안 방법

BDM의 성능을 평가하기 위해 평균 실행시간을 측정하였다. Fig.
7은 5개의 모니터링 윈도우 크기를 적용하여 벤치마크들을 100회 실행한 결과의 평균 실행시간을 나타낸다. Default는 BDM이 적용되지 않고 MCDRAM과 DRAM을 인터리빙 (interleaving) 모드로 사용하였고, Random은 응용프로그램을 랜덤하게 선택하여 MCDRAM으로 이주한 경우를 나타내고 제안된 BDM의 실행 시간을 비교하기 위해 추가하였다. Default 를 기준으로 실행 시간을 정규화 하였다.
BDM은 KNL 프로세서의 성능향상을 위해 세 단계로 나누어 수행된다. 먼저, 하드웨어 모니터링 툴을 사용하여 응용프로그램을 실시간으로 모니터링하고 그 결과를 저장한다. 다음으로, 모니터링된 데이터를 활용하여 더 많은 메모리 대역폭을 요구하는 응용프로그램을 선택한다.
BDM은 시스템에서 실행중인 응용프로그램 쓰레드의 메모리 사용 현황을 주기적으로 취합하여 페이지 이주를 수행할 응용프로그램을 선택한다. 메모리 대역폭 요구가 큰 응용프로그램의 페이지를 고대역 메모리로 동적으로 이주하여 시스템 의 성능 효율화를 성취하였다. 하이브리드 메모리가 구현된 Intel사의 KNL 프로세서를 대상한 성능 평가를 통해 제안된 BDM이 시스템의 성능을 향상시키는 것을 검증하였다.
본 논문에서 제안한 BDM 기법의 성능결과를 측정하기 위해 KNL 프로세서가 탑재된 시스템을 사용하여 실험을 수행하였다. 실험 시스템에는 Intel Xeon Phi(TM) CPU 7250@1.
타일-구조의 매니 프로세서에서 프로세스와 해당 프로세스가 사용하는 페이지의 할당 위치에 따라 프로세서의 성능이 달라질 수 있는데 KNL 프로세서는 타일들을 논리적으로 그룹화 할 수 있는 All-to-All, Quadrant, SNC의 세 가지 방법을 제공한다. 본 논문에서는 L2 캐시에서 부재가 일어난 경우 지연 시간을 최대한 줄이기 위해 Intel에서 권장하는 Quadrant cluster 설정을 사용하였다 [16]. MCDRAM은 부팅 시 캐시(cache), 플랫(flat), 하이브리드(hybrid)의 세 가지 모드 중 하나를 선택하여 구성할 수 있다.
Intel KNL 프로세서는 타일-구조로 구성되어 있기 때문에 쓰레드가 할당되는 타일 및 코어의 위치에 따라 성능이 달라질 수 있다. 본 연구에서는 기본 시스템 정책을 이용하여 랜덤하게 코어를 할당하였다. 적절한 타일 위치에 쓰레드를 할당하는 방법에 관한 내용은 본 논문의 범위를 벗어나기 때문에 본 논문에서 다루지 않는다.
응용 프로그램의 데이터를 참조횟수에 따라 분류하여 (HOT&COLD) 자주 참조되는 데이터를 상대적으로 접근 속도가 빠른 DRAM에 저장하고 드물게 참조되는 페이지를 플래시 메모리에 저장하는 방법으로 전력소비 감소와 성능향상을 개선하였다.
제안된 BDM은 모니터링 단계에서 수집된 각 응용프로그램의 정보를 기반으로 메모리 대역폭이 더 필요하다고 판단되는 응용프로그램을 선택한다. 알고리즘 3은 응용프로그램을 이주 후보로 선택하는 단계의 동작을 나타낸다.

대상 데이터

본 논문은 응용프로그램 실행 시 하드웨어 모니터링 툴을 이용하여 추출한 데이터를 기반으로 하여 하이브리드 메모리를 효율적으로 사용할 수 있는 데이터 이주(Migration) 전략을 제안한다. 본 논문에서는 DRAM과 HBM으로 구성된 하이브리드 메모리가 구현되어 있는 Intel사의 KNL 프로세서를 대상으로 하였다. BDM(Bandwidth-aware Data Migration)이라 명명된 제안된 기법은 주기적으로 응용프로그램의 실행 상태를 모니터링하고 수집된 메모리 대역폭을 기반으로 메모리 대역폭 요구가 크다고 판단되는 응용프로그램을 선택한다.
하이브리드 모드는 MCDRAM을 두 부분으로 분할하여 마지막-레벨 캐시와 DRAM과 같이 주소 지정 가능한 메모리로 사용한다. 본 논문에서는 사용자가 메모리 주소를 지정하여 MCDRAM을 사용할 수 있는 플랫 모드를 대상으로 한다 [1, 17].
본 논문에서 제안한 BDM 기법의 성능결과를 측정하기 위해 KNL 프로세서가 탑재된 시스템을 사용하여 실험을 수행하였다. 실험 시스템에는 Intel Xeon Phi(TM) CPU 7250@1.40GHz, 소켓 당 68코어, 코어 당 4개 쓰레드, 하이퍼 스레딩 기술로 총 272개의 쓰레드가 장착되어 있다. 또한, 96GB DDR4(DRAM)와 16GB HBM(MCDRAM)이 포함되어 있다.

이론/모형

또한, 96GB DDR4(DRAM)와 16GB HBM(MCDRAM)이 포함되어 있다. 성능 평가를 위한 벤치마크 프로그램으로 전산 유체 역학과 관련된 NAS Parallel Benchmark (NPB)를 사용하였다 [22]. NPB는 5개의 커널 벤치마크(IS, EP, CG, MG, FT)와 3개의 가상 벤치마크(BT, SP, LU)로 구성된다.

성능/효과

특히, CG(42%~45%), FT(13%~17%), SP(14%~17%) 벤치마크는 실행시간이 큰 폭으로 감소하였다. BDM은 더 많은 메모리 요청을 가진 응용프로그램을 효과적으로 선택하여 MCDRAM으로 이주를 수행하기 때문에 Random 보다 성능을 더욱 향상시키는 것을 확인하였다. 그러나 IS와 같은 일부 벤치마크에서는 실행시간이 증가(2%~7%)한 경우가 발생했는데, 해당 벤치 마크는 정수 정렬 연산과 랜덤 메모리 액세스 패턴을 가지고 있으며 짧은 수행시간의 특징을 갖는다.
그 후, 선택된 응용프로그램의 페이지(page)를 HBM 메모리로 이주하여 하이 브리드 메모리를 효과적으로 사용한다. Intel KNL 프로세서를 사용한 실험 환경에서 제안된 기법을 평가한 결과, 기본 실행 시간 대비 제안된 기법이 평균적으로 20% 성능 향상을 보이는 것을 검증하였다.
cg0은 BDM이 페이지 이주를 수행한 후, 메모리 대역폭이 급격하게 상승하는 것을 확인 할 수 있는데 Table 1에 보인 것과 같이 cg벤치마크는 FP연산 대비 메모리 사용량이 많은 벤치마크이다. 따라서 MCDRAM으로 페이지 이주 후 다수의 메모리 요청이 빠르게 처리되어 실행 시간이 크게 감소한 것을 확인할 수 있다.
각각의 메모리는 다음과 같은 특성을 갖는다. 먼저, MCDRAM은 8개의 채널, 16GB의 메모리 용량, 최대 400GB/second 대역폭을 지원한다. DRAM은 DDR4가 사용되었으며 6개의 채널, 384GB의 메모리 용량, 최대 100GB/second 대역폭을 지원한다.
따라서 32개의 응용 프로그램이 병렬로 실행되고 총 128개의 쓰레드가 생성된다. 성능 비교를 위한 실험에서 BDM의 모니터링 주기는 100ms, 각 응용프로그램의 모니터링 정보를 저장하기 위한 윈도우의 수는 5개, MCDRAM의 임계 사용량은 90%로 설정하였다. Intel KNL 프로세서는 타일-구조로 구성되어 있기 때문에 쓰레드가 할당되는 타일 및 코어의 위치에 따라 성능이 달라질 수 있다.
bt0의 경우 Default에서 메모리 대역폭의 상하한 차이가 비교적 크게 발생하는 것을 확인할 수 있다. 제안된 BDM을 통해 MCDRAM으로 페이지 이주가 수행된 후 메모리 대역폭의 상하한 차이가 크게 감소하여 실행 시간이 단축된 것으로 분석할 수 있다. cg0은 BDM이 페이지 이주를 수행한 후, 메모리 대역폭이 급격하게 상승하는 것을 확인 할 수 있는데 Table 1에 보인 것과 같이 cg벤치마크는 FP연산 대비 메모리 사용량이 많은 벤치마크이다.
이주하는 동안 응용프로그램은 중지되어 실행시간이 짧은 경우 이주 오버헤드가 상대적으로 커 보일 수 있으며 메모리 액세스 패턴 상 페이지 부재가 많이 일어나 높은 메모리 대역폭을 지원하는 MCDRAM이 효과적으로 사용되지 않았다. 평균적으로 BDM과 Random은 각각 20%, 14% 실행시간이 감소하였다.
메모리 대역폭 요구가 큰 응용프로그램의 페이지를 고대역 메모리로 동적으로 이주하여 시스템 의 성능 효율화를 성취하였다. 하이브리드 메모리가 구현된 Intel사의 KNL 프로세서를 대상한 성능 평가를 통해 제안된 BDM이 시스템의 성능을 향상시키는 것을 검증하였다.

후속연구

먼저, 하드웨어 모니터링 툴을 사용하여 응용프로그램을 실시간으로 모니터링하고 그 결과를 저장한다. 다음으로, 모니터링된 데이터를 활용하여 더 많은 메모리 대역폭을 요구하는 응용프로그램을 선택한다. 마지막으로, MCDRAM과 DRAM에 응용프로그램의 페이지를 동적으로 이주(migration) 한다.
본 연구의 핵심은 하드웨어나 소프트웨어 수정 없이 HPC시스템에서 서로 다른 유형의 메모리를 효율적으로 사용하는 알고리즘이다. 본 논문에서는 Intel KNL 프로세서를 주요 대상으로 했지만, 서로 다른 대역폭을 갖는 하이브리드 메모리를 채용한 메모리 시스템이라면 본 논문에서 제안된 기법이 적용가능 하다.
향후 연구는 BDM 기법을 다른 구성의 하이브리드 메모리 시스템으로 적용하여 범용성을 높이고, 타일-구조의 단일 프로세서 환경에서 다수의 노드가 결합된 실제 슈퍼컴퓨터 환경인 멀티-노드 환경 시스템에 적용하는 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	STT-RAM이 DRAM을 대체하지 못하는 이유는?	PCM(Phase-change Memory)과 RRAM(Resistive RAM)은 DRAM보다 쉽게 집적할 수 있는 특성을 가지고 있기 때문에 보다 큰 용량의 메모리 설계가 가능하지만, 셀 당 쓰기 가능한 횟수가 제한되어 있어 대체로 메모리 수명이 짧은 것으 로 평가된다. STT-RAM(Spin-Transfer Torque RAM)은 빠른 쓰기 속도와 우수한 쓰기 내구성을 가지고 있지만, DRAM보다 집적하기가 상대적으로 어렵기 때문에 경제성 측면에서 현재까지는 DRAM을 대체할 필요성이 낮다고 볼 수 있다. 현존하는 새로운 메모리 기술들을 고려하였을 때, 범용(universal) 메모리로의 사용은 현재까지는 해결해야할 문제가 많은 것으로 판단된다.
	범용(universal) 메모리의 문제를 해결하기 위해 어떤 메모리를 연구하였는가?	이러한 차세대 메모리를 효과적으로 이용하기 위해 DRAM과 다른 종류의 메모리를 함께 구성하여 운용하는 하이브리드 메모리에 대한 연구가 수행되었다 [9-15]. 하이브리드 메모리는 기존의 DRAM과 차세대 메모리를 구성하는 방법에 따라서 다양한 구조로 구현이 가능하다. 예를 들어, DRAM을 캐시로 사용하고 고용량의 PCM을 메인 메모리로 사용하는 구조가 소개 되었다 [9, 10].
	KNL 프로세서는 무엇인가?	KNL(Knights Landing) 프로세서는 Intel사의 2세대 Xeon Phi 제품군의 코드 네임으로 수십 개의 코어와 MCDRAM (Multi-channel DRAM)이라 명명된 HBM(High bandwidth-memory)를 탑재하고 있다 [1]. DRAM과 MCDRAM은 액세스 시간, 대역폭, 메모리 용량 측면에서 서로 다른 특성을 가지고 있기 때문에 응용프로그램 실행 시 메모리 관리 방법에 따라 시스템 성능이 크게 달라질 수 있다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증