$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 슈퍼컴퓨터 최적 실행 지원을 위한 하드웨어 성능 카운터 기반 프로파일링 기법의 확장성 연구
A Study on Scalability of Profiling Method Based on Hardware Performance Counter for Optimal Execution of Supercomputer 원문보기

정보처리학회논문지. KIPS transactions on computer and communication systems 컴퓨터 및 통신 시스템, v.9 no.10, 2020년, pp.221 - 230  

최지은 (한국과학기술정보연구원 슈퍼컴퓨터기술개발센터) ,  박근철 (한국과학기술정보연구원 슈퍼컴퓨터기술개발센터) ,  노승우 (한국과학기술정보연구원 슈퍼컴퓨터기술개발센터) ,  박찬열 (한국과학기술정보연구원 슈퍼컴퓨터기술개발센터)

초록
AI-Helper 아이콘AI-Helper

한정된 자원을 여러 사용자에게 공유해야하는 슈퍼컴퓨터와 같은 시스템은 응용프로그램의 실행을 최적화하는 방안이 필요하다. 이를 위해 시스템 관리자가 수행할 응용프로그램에 대한 사전 정보를 파악하는 것이 유용하다. 대부분의 고성능 컴퓨팅 시스템 운영에 있어 작업을 실행할 때 사용자로부터 실행 기간, 자원 요구사항들에 대한 정보를 제공 받거나 시스템 사용 통계 값을 사용하여 필요한 정보를 생성하는 등의 프로파일링 기술을 바탕으로 시스템 활용률을 높이는데 활용하고 있다. 본 논문의 선행연구에서는 하드웨어 성능 카운터를 이용하여 소스코드에 대한 별도의 이해 없이 응용프로그램 특성분석을 실행하고, 이 결과를 바탕으로 작업 스케줄링 알고리즘을 최적화하는 기술을 개발한 바 있다. 본 논문에서는 슈퍼컴퓨터 최적 실행지원을 위한 프로파일링 테스트베드 클러스터를 구축하고 구축한 클러스터 환경에서 하드웨어 성능 카운터를 기반으로 응용프로그램의 특성을 분석하는 프로파일링 기법의 확장성을 실험하였다. 이를 통해 응용프로그램의 문제크기를 축소하거나 프로파일링에 사용되는 노드수를 최소화하여도 개발한 하드웨어 성능 카운터 기반의 프로파일링 기법이 확장성 있게 동작하여 실제 스케줄링 최적화시에 활용될 수 있음을 보이고자 한다. 실험을 통해 프로파일링에 사용되는 노드의 수를 1/4로 줄여도 전체 노드를 사용한 프로파일링 대비 응용프로그램의 실행 시간이 1.08% 증가할 뿐 스케줄링 최적화 성능은 순차실행 대비 최대 37% 향상되었다. 또한 응용프로그램의 문제크기를 축소하여 프로파일링한 결과 프로파일링 데이터 수집 단계의 시간적 비용을 1/4배 이상 낮추면서 최대 35% 성능 향상 효과를 얻었다.

Abstract AI-Helper 아이콘AI-Helper

Supercomputer that shares limited resources to multiple users needs a way to optimize the execution of application. For this, it is useful for system administrators to get prior information and hint about the applications to be executed. In most high-performance computing system operations, system a...

Keyword

표/그림 (10)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문의 선행연구[20]에서는 리눅스 perf를 사용하여 매니코어 형태의 컴퓨팅 시스템에서 응용프로그램을 실행하면서 성능이벤트의 일부를 기록하고 응용프로그램이 실행되는 동안 활용한 시스템 자원에 대한 특성을 도출하는 프로파일링 기법을 개발한 바 있다. 이를 바탕으로 본 논문에서는 슈퍼컴퓨터 최적 실행 지원을 위한 프로파일링 테스트베드를 구축하고 개발한 프로파일링 기법이 확장성 있게 동작함을 실험을 통해 보이고자 한다. 프로파일링 기법의 확장성 실험은 다음과 같이 3가지 방법으로 진행된다.
  • 최적화 단계에서는 계산된 자원 간섭률을 고려한 작업 스케줄링 기법을 제시하여 전체 작업 시간을 줄이는 시스템 최적화 기술을 보인 바 있다. 본 논문에서는 다중 노드의 클러스터로 실험 환경을 확장하여 응용프로그램의 문제크기와 프로파일링에 사용되는 노드 수를 변경하며 프로파일링하고, 그 프로파일링 결과의 효용성을 검증함으로써 프로파일링 기술의 확장성을 보이고자 한다.
  • 본 연구에서는 자체 개발한 KISTI-GVP 시스템 기반 클러스터 환경에서 응용 특성 분석 기법의 스케줄링 최적화 확장성 실험을 진행하였다. 실험 결과 프로파일링 대상 응용과 스케줄링 최적화 대상 응용프로그램의 문제 크기가 다를지라도 시스템 성능 향상의 효과가 유지됨을 보였다.
  • 향후, 응용프로그램의 런타임 전체를 프로파일링 하는 것이 아닌 작업의 일부분만을 프로파일링 하는 경우의 성능 변화를 분석할 예정이다. 또한 쉘 프로그램을 이용하여 리눅스 perf 프로그램을 사용하여 mpi로 작성된 응용프로그램의 성능이벤트를 프로세스 레벨로 수집하는 데에 소모되는 오버헤드를 낮추고 데이터의 정확도를 유지할 수 있는 방법을 연구하고자 한다. 이와 같은 추가적인 연구를 통해 현재 실험에 사용한 자원 간섭률 기반 스케줄링 알고리즘을 개선하고 기초적인 스케줄링 기법이 아닌 최신 연구들에서 제시된 성능이 뛰어난 스케줄링 알고리즘과 비교 가능하도록 발전시키고자 한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
하드웨어 성능 카운터를 통한 성능이벤트 수집은 무엇을 사용하여 수집할 수 있는가? 하드웨어 성능 카운터를 통한 성능이벤트 수집은 리눅스 perf[14]와 OProfile[15], PAPI[16] 등의 대표적인 데이터 수집 프로그램을 사용하여 수집할 수 있으며, 인텔 VTune[17]과 AMD uProf[18], IBM HPCS Toolkit[19] 등은 프로세서 제조사별로 제공되는 하드웨어 성능 카운터 기반 프로파일링 도구로 사용될 수 있다. 그러나 실제 사용자가 요청한 작업이 수행되어야할 대규모 고성능 컴퓨팅 시스템에서 작업의 프로파일링 데이터를 추출하기 위해 데이터 수집 프로그램을 실행하거나 성능 분석을 실행하는 과정은 시스템 활용률을 낮출 수 있으므로 실제 시스템과 유사하면서 적은 규모의 테스트베드 운용의 필요성이 대두된다.
프로파일링 기법의 확장성 실험은 어떤 방법으로 진행되는가? 프로파일링 기법의 확장성 실험은 다음과 같이 3가지 방법으로 진행된다. (1)프로파일링 테스트베드 클러스터의 노드수를 다르게 사용하여 응용프로그램을 프로파일링하고, 그 프로파일링 데이터를 바탕으로 전체 노드를 사용하는 환경에서 스케줄링 최적화 성능 평가를 통해 제시한 프로파일링 기법의 확장성을 검증하였다. (2)응용프로그램의 문제크기를 줄여 프로파일링하고, 그 프로파일링 데이터를 바탕으로 대규모 응용프로그램으로 스케줄링 실험시 최적화 성능 평가를 통해 제시한 프로파일링 기법의 확장성을 검증하였다. (3)프로파일링 데이터 수집시 단일 노드 및 다중 노드에서 데이터를 수집하는 경우의 오버헤드를 측정하고 비용 대비 성능 향상의 효과를 분석한다.
하드웨어 성능 카운터 기반 프로파일링 기법은 어떤 단계로 이루어져 있는가? 하드웨어 성능 카운터 기반 프로파일링 기법은 Fig. 1과 같이 이벤트 수집, 프로파일링, 응용프로그램 특성 분석 및 최적화의 4단계로 이루어져있다. 먼저, 하드웨어 성능 카운터를 수집하는 이벤트 수집 단계에서 성능을 분석할 시스템의 프로세서를 기반으로 하드웨어 성능 카운터 및 이벤트를 식별하고 자원 범주(CPU, Memory, I/O)에 따라 성능이벤트를 분류하는 과정을 수행한다.
질의응답 정보가 도움이 되었나요?

참고문헌 (24)

  1. Top500 [Internet], https://www.top500.org 

  2. B. Yang, X. Ji, X. Ma, X. Wang, T. Zhang, X. Zhu, N. El-Sayed, H. Lan, Y. Yang, J. Zhai, W. Liu, and W. Xue, "End-to-end I/O Monitoring on a Leading Supercomputer," in Proceedings of the 16th USENIX Symposium on Networked Systems Design and Implementation, Boston, MA, USA, pp.379-394, 2019. 

  3. X. Ji, B. Yang, T. Zhang, X. Ma, X. Zhu, X. Wang, N. El-Sayed, J. Zhai, W. Liu, and W. Xue, "Automatic, Application-Aware I/O Forwarding Resource Allocation," in Proceedings of the 17th USENIX Conference on File and Storage Technologies, Boston, MA, USA, pp.265-279, 2019. 

  4. S. Chunduri, S. Parker, P. Balaji, K. Harms, and K. Kumaran, "Characterization of MPI Usage on a Production Supercomputer," in SC18: International Conference for High Performance Computing, Networking, Storage and Analysis, Dallas, TX, USA, pp.386-400, 2018. 

  5. P. Gomez-Sanchez, D. Encinas, J. Panadero, A. Bezerra, S. Mendez, M. Naiouf, A. D. Giusti, D. Rexachs, and E. Luque, "Using AWS EC2 as Test-Bed infrastructure in the I/O system configuration for HPC applications," Journal of Computer Science & Technology, Vol.16, No.2, pp.65-75, 2016. 

  6. B. H. Park, S. Hukerikar, R. Adamson, and C. Engelmann, "Big Data Meets HPC Log Analytics: Scalable Approach to Understanding Systems at Extreme Scale," in 2017 IEEE International Conference on Cluster Computing, Honolulu, HI, USA, pp.758-765, 2017. 

  7. S. Oral, S. S. Vazhkudai, F. Wang, C. Zimmer, C. Brumgard, J. Hanley, G. Markomanolis, R. Miller, D. Leverman, S. Atchley, and V. V. Larrea, "End-to-end I/O Portforlio for the Summit Supercomputing Ecosystem," in SC'19: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, Denver, CO, USA, pp.1-14, 2019. 

  8. G. Wei, H. Yang, Z. Luan, and D. Qian, "iDPL: A Scalable and Flexible Inter-continental Testbed for Data Placement Research and Experiment," in 2017 IEEE Symposium on Computers and Communications, Heraklion, Greece, pp.1158-1163, 2017. 

  9. S. Ilager, R. Muralidhar, K. Rammohanrao, and R. Buyya, "A Data-Driven Frequency Scaling Approach for Deadlineaware Energy Efficient Scheduling on Graphics Processing Units (GPUs), in Proceedings of the 20th IEEE/ACM International Symposium on Cluster, Cloud and Internet, Melbourne, Australia, pp.1-10, 2020. 

  10. S. Wallace, X. Yang, V. Vishwanath, W. E. Allcock, S. Coghlan, M. E. Papka, and Z. Lan, "A Data Driven Scheduling Approach for Power Management on HPC Systems," in SC'16: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, Salt Lake City, Utah, USA, pp.656-666, 2016. 

  11. T. Bridi, "Scalable Optimization-based Scheduling Approaches for HPC Facilities," PhD. Dissertation, University of Bologna, Italy, 2018. 

  12. O. Sarood, A. Langer, A. Gupta, and L. Kale, "Maximizing throughput of Overprovisioned HPC Data Centers Under a strict Power Budget," in SC'14: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, New Orleans, LA, USA, pp.807-818, 2014. 

  13. A. J. Younge, R. E. Grant, J. H. Laros III, M. Levenhagen, S. L. Olivier, K. Pedretti, and L. Ward, "Small Scale to Extreme: Methods for Characterizing Energy Efficiency in Supercomputing Applications," The Sustainable Computing: Informatics and Systems, Vol.21, pp.90-102, 2019. 

  14. Perf [Internet], https://perf.wiki.kernel.org/index.php/Main_Page 

  15. Oprofile [Internet], https://oprofile.sourceforge.io/about/ 

  16. Papi [Internet], http://icl.cs.utk.edu/papi/index.html 

  17. Intel vtune [Internet], https://software.intel.com/content/www/us/en/develop/documentation/vtune-help/top/analyze-performance/hardware-event-based-sampling-collection.html 

  18. AMD uProf [Internet], https://developer.amd.com/wordpress/media/2013/12/User_Guide.pdf 

  19. IBM HPCS Toolkit [Internet], https://researcher.watson.ibm.com/researcher/files/us-hfwen/HPCST_README.pdf 

  20. J. Choi, G. Park, and D. Nam, "Interference-aware coscheduling method based on classification of application characteristics from hardware performance counter using data mining," The Cluster Computing, Vol.23, pp.57-69, 2020. 

  21. PBS Scheduler [Internet], https://www.pbspro.org 

  22. Slurm Scheduler [Internet], https://www.slurm.schedmd.com 

  23. Nurion [Internet], https://www.ksc.re.kr/gsjw/jcs/hd 

  24. Nas Parallel Benchmarks [Internet], https://www.nas.nasa.gov/publiccations/npb.html. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로