[논문]기계학습을 통한 슈퍼컴퓨터의 자원 성능 분석과 최적화

유우철

제안 방법

기계 학습을 이용하여 자원 사용의 필드만을 가지고 작업엑시트(exit) 상태를 예측하였다. 이 실험은 2014년 12월 30일부터 2015년 1월 31일(PST)까지의 6주간의 데이터를 훈련 데이터로 사용하여 2015년 2월 1일부터 7일까지(PST) 의 작업 엑시트 상태를 예측하였다.
앞서 언급한 슈퍼컴퓨터의 성능 분석과 최적화 어려움들을 해결하기 위해 우리는 기계 학습(machine learning)을 통한 슈퍼컴퓨터의 자원 성능 분석과 최적화를 위한 프레임워크, PATHA(Performance Analysis Tool for HPC Toolkit)를 만들었다. PATHA는 다양한 성능 정보를 저장하는 기록들, 스케쥴러 저장 기록, 병렬 파일 시스템 저장 기록 애플리케이션 저장 기록, 클러스터 저장 기록 등을 분석할 수 있다.
9%를 차지하였다. 우리는 PATHA 를 이용하여 첫번째 그룹에서 생성된 변수들과 첫 번째 그룹의 실행시간을 하나의 변수로 사용하여(총 50개의 변수) 두 번째 그룹의 실행 시간을 예측하였다.
우리는 PATHA를 이용하여 NERSC의 774 노드로 이루어진 Genepool 슈퍼컴퓨터의 작업 저장 로그 분석하였다. 2014년 7월 29일부터 2016 2월 28일까지(GMT) 저장된 로그의 크기는 4.
우리는 PATHS를 이용하여 PTFfPalomar Transient Factory) 애플리케이션 [6]의 NERSC Edison 슈퍼컴퓨터에서의 실행 성능을 분석하였다. PTF 애플리케이션은 하늘의 물체들을 망원경의 카메라로 관찰한 영상을 자동으로 분석하는 물리 천묵한 애플리케이션이다.
것이 점점 어려워지고 있다. 이 어려움을 해결하기 위해 우리는 PATHA(Performance Analysis Tool for HPC Applications)를 개발하여 다양한 성능분석, 예측, 최적화를 위해 이용하였다. 대용량의 데이터 처리를 하기 위해 PATHA에서는 데이터를 파티션하여 분석에 필요한 연산이 복수의 노드에 병렬, 분산적으로 처리하게 한다.

대상 데이터

Gradient boosting [기과 Random forest [8]의 기계학습을 이용하여 2016년 3월과 4월 데이터를 훈련(training) 데이터로 2016년 5월(PDT) 데이터를 시험(test) 데이터를 이용 2가지 방법을 이용하여 실행 시간을 예측하였다. 예측 결과의 RMS顷Root Mean Squared Error) 에러값은 Gradient boosting에서 76.
이용하였다. PTF 애플리케이션은2개의 Intel xeon E5-2695 CPU(24 CPU 코어)와 64 GB의 메모리가 있는 컴퓨트 노드에서 실행되었다.
각각의 레코드는 45개의 필드를 포함하는데, 호스트 이름, 작업 이름, 성공/실패 코드, 자원 사용량들의 정보를 저장한다. 우리는 이중자亳 사용에 관련된 13개의 필드를 이용하였다. - 실행 시간, 사용자/시스템 CPU 시간, 소프트/하드 페이지 폴트 (page fault), 파일 블록 입력/출력, 자발적/비자발적 컨텍스트 스위치(context switch), 메모리 사용량, 입력/출력 (I/O) 사용량, 최대 상주(resident) 메모리, 최대 가상 (virtual) 메모리의 정보를 저장하고 있다.
끝난다. 이 실험에서 2016년 3월 1일부터 5월 31 일(PDT) 까지 실행된 데이터를 이용하였다. 첫 번째 그룹의 평균 실행시간은 16.
상태를 예측하였다. 이 실험은 2014년 12월 30일부터 2015년 1월 31일(PST)까지의 6주간의 데이터를 훈련 데이터로 사용하여 2015년 2월 1일부터 7일까지(PST) 의 작업 엑시트 상태를 예측하였다. 그림 7에서와 같이 (Accuracy, Recall, Precision)의 튜플로 예측 결과를 표현하면 Random forests의 결과가 다른 기 계학습의 방법들보다 정확한 복수 레이블(multi-class label)의 경우(99.
이후 실험에서 우리는 2015년 3월 19일에서 2015 년 7월 18일(PST)에 실행된 PTF 애플리케이션 저장 로그를 이용하였다. PTF 애플리케이션은2개의 Intel xeon E5-2695 CPU(24 CPU 코어)와 64 GB의 메모리가 있는 컴퓨트 노드에서 실행되었다.

데이터처리

PATHA는 다양한 성능 정보를 저장하는 기록들, 스케쥴러 저장 기록, 병렬 파일 시스템 저장 기록 애플리케이션 저장 기록, 클러스터 저장 기록 등을 분석할 수 있다. PATH込는 Apache Spark [5] 를 백엔드(backend)로 사용하여 슈퍼컴퓨터에서 저장된 대용량의 저장 기록들을 기계학습을 이용하여 분산, 병렬 처리하여 분석한다. PATHA 는 사용 시간 분석, 데이터 종속(dependency) 분석, 인 터 랙 티 브(interactive) 시각화 visualization)을 제공하는데, 이러한 분석 도구들을 이용하여 사용자는 애플리케이션이나 슈퍼컴퓨터의 실행 중에 숨겨진 병목현상과 그 원인을 찾아 낼 수 있다.

이론/모형

우리는 k-means [9] 클러스터링 (clustering) 방법을 통해 작업 로그에서 아웃라이어(outher)를 찾아보았다. 2015년 1월의(GMT)의 데이터를 이용하여 k-means의 k 를 4개로 선택하고 클러스터링 한 결과 2.

성능/효과

그림 8에서 볼 수 있듯이 아웃라이어들은 PCA(Principal Component Analysis)를 통해 변환하여 2D공간에 표현하면 대부분의 작업 공간은 원점 근처에 있는 클러스터에 대부분의 작업이 포함되었다. 그리고 다른 클러스터에 비해 작은 크기로 구성된 X축의 양의 값에 있는 클러스터들에서 79개의 아웃라이어들이 발견되었는데, 이 레코드들을 살펴본 결과 메모리 사용량이 실제 가능한 값을 훨씬 초과하는 아웃 라이어들임을 알 수 있었다. 이 원인으로는 작업 스케쥴러나 운영체제(OS)에서 메모리 사용량을 저장할 때 오버플로우가 발생한 것으로 추측하고 있다.
이 실험은 2014년 12월 30일부터 2015년 1월 31일(PST)까지의 6주간의 데이터를 훈련 데이터로 사용하여 2015년 2월 1일부터 7일까지(PST) 의 작업 엑시트 상태를 예측하였다. 그림 7에서와 같이 (Accuracy, Recall, Precision)의 튜플로 예측 결과를 표현하면 Random forests의 결과가 다른 기 계학습의 방법들보다 정확한 복수 레이블(multi-class label)의 경우(99.8%, 79.6%, 94.9%) 이진 레이블(binary class label)의 경우(99.8%, 79.6%, 94.9%)의 정확도를 보여주었다. 이 기계학습을 통한 엑스트 상태 예측 결과는 자원 사용량의 정보를 이용하여 작업의 실행이 실패할 것을 예측할 수 있음을 보여주^, 실제로 실패하기 이전에 예측하여 자원의 낭비를 막고 자주 실패하는 패턴을 찾아 줄 수 있음을 보여준다.
이 실험을 통해표준편차의 66%정도의 에러값들을 보인 우수한 예측값들을 얻을 수 있었다. 또한 PATHA를 통해 기계 학습의 연산들이 병렬, 분산 처리되어 대용량에 데이터를 빠른 시간 안에 처리 할 수 있었다 - 20개 노드를 사용한 Gradient Boosting의 훈련 시간은 94.4초에 처리되었다.
실행 시간 분석을 통해 그림 3과 같이 38개의 체크포인트 중 25, 31, 36이 가장 많은 시간이 걸리는 것을 알 수 있었다. 64일 동안 실행된 저장 로그에서 전체 실행 시간 중에 체크포인트 25는 11.
예측 결과의 RMS顷Root Mean Squared Error) 에러값은 Gradient boosting에서 76.1 초, Random forest 에서 70.초를 얻었다. 이 실험을 통해표준편차의 66%정도의 에러값들을 보인 우수한 예측값들을 얻을 수 있었다.
초를 얻었다. 이 실험을 통해표준편차의 66%정도의 에러값들을 보인 우수한 예측값들을 얻을 수 있었다. 또한 PATHA를 통해 기계 학습의 연산들이 병렬, 분산 처리되어 대용량에 데이터를 빠른 시간 안에 처리 할 수 있었다 - 20개 노드를 사용한 Gradient Boosting의 훈련 시간은 94.
체크포인트 36의 실행을 좀 더 자세히 분석하기 위해 데이터 종속 분석을 수행하였다 그림 5와 그림 6에서 보듯이 실행 시간이 은하 위도(galactic latitude)와 저장된 물체 수와 가장 많은 종속 관계가 있음을 찾을 수 있었다 PTF 애플리케이션의 필드와 변수들이 수백개에 달하기 때문에 데이터 종속 분석을 통해 병목 현상이 발견된 지점과 변수들의 종속 관계를 찾는 것이 어려울 수 있는데 종속 관계분석의 자동화를 통해 빠르게 찾을 수 있었다 또한 데이터 사이즈는 총 16TB의 대용량 데이터인데 이 데이터를 병려처리를 통해 복수의 노드들을 이용해 인터랙티브 분석이 가능할 정도로 빠른 시간 안에 결과를 얻을 수 있었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

기계학습을 통한 슈퍼컴퓨터의 자원 성능 분석과 최적화 원문보기

AI 본문요약
AI-Helper

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

참고문헌 (10)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

기계학습을 통한 슈퍼컴퓨터의 자원 성능 분석과 최적화 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

참고문헌 (10)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper