$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

하둡 기반 대규모 작업처리 프레임워크에서의 Adaptive Parallel Computability 기술 연구
A Study on Adaptive Parallel Computability in Many-Task Computing on Hadoop Framework 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.6, 2019년, pp.1122 - 1133  

김직수 (명지대학교 공과대학 컴퓨터공학과)

초록
AI-Helper 아이콘AI-Helper

본 연구팀에서는 YARN 기반의 하둡 플랫폼에서 대규모의 태스크들로 구성된 Many-Task Computing(MTC) 응용들을 효율적으로 지원할 수 있는 신규 프레임워크로서 MOHA(Mtc On HAdoop)를 연구/개발해왔다. MTC 응용들은 수십만 개에서 수백만 개 이상의 대규모 태스크들로 구성되고 각 응용별로 자원의 사용 패턴이 다를 수 있기 때문에, 전체적인 시스템 성능 향상을 위해 MOHA-TaskExecutor(MTC 응용 태스크를 실행하는 주체)의 Adaptive Parallel Computability 기술 연구를 수행하였다. 이는 한 번에 하나의 태스크를 실행하던 기존의 처리 모델을 고도화하여 하나의 TaskExecutor가 동시에 여러 개의 태스크들을 실행함으로써 YARN Container의 병렬 컴퓨팅 능력을 극대화하기 위함이다. 이를 위해 각각의 TaskExecutor들이 "독립적이고, 동적으로" 동시에 실행시키는 MTC 응용 태스크들을 조정할 수 있도록 하였으며, 최적의 동시 실행 태스크 숫자를 찾기 위해서 Hill-Climbing 알고리즘을 활용하였다.

Abstract AI-Helper 아이콘AI-Helper

We have designed and implemented a new data processing framework called MOHA(Mtc On HAdoop) which can effectively support Many-Task Computing(MTC) applications in a YARN-based Hadoop platform. MTC applications can be composed of a very large number of computational tasks ranging from hundreds of tho...

주제어

표/그림 (8)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 AutoDock-Vina에 기반한 신약재창출응용을 대상으로 MTC 응용 실행 최적화를 위해 MOHATaskExecutor Adaptive Parallel Computability 기술 연구내용을 제시하였다. 이는 한 번에 하나의 태스크를 실행하던 기존의 처리 모델을 고도화하여 하나의 TaskExecutor가 동시에 여러 개의 태스크들을 실행함으로써 YARN Container의 병렬 컴퓨팅 능력을 극대화하기 위함이다.
  • 본 논문에서는 이러한 신약재창출 응용을 활용하여, MTC응용 실행 최적화를 위한 MOHA-TaskExecutor(MTC 응용 태스크 실행 주체) Adaptive Parallel Computability 기술 연구를 수행하였다. 이는 대규모의 태스크들로 구성된MTC 응용 실행의 최적화를 위해 각각의 TaskExecutor들의 “Parallel Computability”(동시에 실행시키는 태스크의 수)를 동적으로 조정할 수 있는 기술을 의미한다.
  • 본 연구팀에서는 MOHA-TaskExecutor Adaptive Parallel Computability 기술의 타당성을 1차적으로 검증하기 위해 서로 다른 H/W 사양으로 구성된 하둡 클러스터(표 1 MOHA-Testbed 참조)에서 일련의 실험들을 수행하였다. 실험 테스트베드로서 KISTI2)에 설치되어있는 총 6대의 노드들로 구성된 MOHA-Testbed를 활용하였다.
  • 본 연구팀에서는 국가 거대과학 분야의 MTC 응용인 신약 재창출을 활용하여 MTC 응용 실행 최적화를 위한 MOHATaskExecutor Adaptive Parallel Computability 기술 연구를 수행하였다. 아래 신약재창출 응용의 실행 구조도(그림 2 참조)에서 볼 수 있듯이, 실제 MTC 과학 응용들은 다양한 형태의 입력 파라미터(Parameter)들을 가지게 된다.
  • 이러한 신약재창출 응용을 활용하여 대규모의 태스크들로 구성된 MTC 응용 실행의 최적화를 위해 각각의MOHA-TaskExecutor들의 “Parallel Computability”를 동적으로 조정할 수 있는 기술에 대한 연구/개발을 수행하였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
하둡은 무엇을 통해 오픈소스로 개발되고 있는가? 하둡(Hadoop)[10]은 빅데이터 처리 플랫폼의 대명사로서 아파치 프로젝트를 통해 오픈소스로 개발되고 있다. 하둡은 대용량 데이터를 분산 저장할 수 있는 파일시스템(HDFS:Hadoop Distributed File System)과 병렬 처리 프로그래밍모델(MapReduce)을 제공하고 있다.
Many-TaskComputing 응용의 특징은 무엇인가? MTC 응용들은 주로 대규모의 작업 계산(수백만에서 수십억 개의 태스크), 상대적으로 짧은 작업 실행 시간(초/분 단위), 데이터 집적성(태스크 당 수십 MB 정도의 I/O), 상대적으로 큰 작업 수행 시간 편차, 그리고 파일을 통한 통신방식 등의 특징을 가지고 있다. 이는 대규모의 계산 작업들을 상대적으로 짧은 시간 안에 고성능으로 처리해야한다는 점에서 (# of operations/month)가 주요 성능 측정치인 HTC와 차별화되며, MPI에 기반한 통신 방식을 활용하는 HPC 응용들과도 차이점을 가지게 된다.
하둡은 무엇을 제공하는가? 하둡(Hadoop)[10]은 빅데이터 처리 플랫폼의 대명사로서 아파치 프로젝트를 통해 오픈소스로 개발되고 있다. 하둡은 대용량 데이터를 분산 저장할 수 있는 파일시스템(HDFS:Hadoop Distributed File System)과 병렬 처리 프로그래밍모델(MapReduce)을 제공하고 있다. 데이터는 미리 정해진 크기(기본 64MB)의 블록 단위로 HDFS 노드들에 분산 저장되며 고가용성을 위해서 중복저장(기본 3개)하여 데이터 손실 가능성을 극복하고 안정성을 높이고 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (22)

  1. D. Thain, T. Tannenbaum, and M. Livny, "Distributed computing in practice: the Condor experience", Concurrency and Computation: Practice and Experience, Volume 17, Issue 2-4, pp. 323-356, February. 2005. 

  2. B. Bode, D. M. Halstead, R. Kendall, Z. Lei, and D. Jackson, "The Portable Batch Scheduler and the Maui Scheduler on Linux Clusters", Proceedings of the Usenix, Proceedings of the 4th Annual Linux Showcase & Conference, Nov. 2000. 

  3. IBM Tivoli Workload Scheduler LoadLeveler, Available at http://www03.ibm.com/systems/software/loadleveler/ 

  4. W. Gentzsch, "Sun Grid Engine: Towards Creating a Compute Power Grid", Proceedings of the 1st IEEE International Symposium on Cluster Computing and the Grid (CCGrid 2001), May 2001. 

  5. J. J. Dongarra, S. W. Otto, M. Snir, and D. Walker, "A message passing standard for MPP and workstations", Communications of the ACM, Volume 39, Issue 7, pp. 84-90, July 1996. 

  6. I. Raicu, I. Foster and Y. Zhao, "Many-Task Computing for Grids and Supercomputers", Proceedings of the IEEE/ACM Workshop on Many-Task Computing on Grids and Supercomputers (MTAGS'08), 2008. 

  7. Workshop on Many-Task Computing on Clouds, Grids, and Supercomputers, http://datasys.cs.iit.edu/events/MTAGS16/ 

  8. I. Raicu, Y. Zhao, C. Dumitrescu, I. Foster, and M. Wilde, "Falkon: a Fast and Light-weight tasK executiON framework," Proceedings of the 2007 ACM/IEEE conference on Supercomputing (SC'07), Nov. 2007. 

  9. Ioan Raicu et al., "Middleware Support for Many-Task Computing", Cluster Computing, Volume 13 Issue 3, September 2010. 

  10. Apache Hadoop: https://hadoop.apache.org/ 

  11. Vinod Kumar Vavilapalli et. al., "Apache Hadoop YARN: yet another resource negotiator", Proceedings of the 4th annual Symposium on Cloud Computing (SOCC'13), October 2013. 

  12. Arun C. Murthy et. al., "Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2", Addison-Wesley, 2014. 

  13. Lu, X., Liang, F., Wang, B., Zha, L., Xu, Z., "DataMPI: extending MPI to Hadoop-like big data computing", Proceedings of the 28th IEEE International Parallel and Distributed Processing Symposium (IPDPS '14), May 2014. 

  14. Xu, L., Li, M., Butt, A.R., "GERBIL: MPI+YARN", Proceedings of the 15th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid), May 2015. 

  15. Ye, J., Chow, J.H., Chen, J., Zheng, Z., "Stochastic gradient boosted distributed decision trees", Proceedings of the 18th ACM conference on Information and knowledge management (CIKM'09), Nov. 2009. 

  16. Kim, J.S., Nguyen, C., Hwang, S., "MOHA: many-task computing meets the big data platform", Proceedings of the IEEE 12th International Conference on eScience (eScience 2016), Oct. 2016. 

  17. J. Lee, J-W. Choi, J. Shin, K-T. No, "Trends in Computer Aided Drug Discovery, Next Generation", COMMUNICATIONS OF THE KOREA INFORMATION SCIENCE SOCIETY, Vol. 31, No. 8, pp. 35-54, 2013. 

  18. Ashburn, T.T., Thor, K.B., " Drug repositioning: identifying and developing new uses for existing drugs", Nature Reviews Drug Discovery, Volume 3, Issue 8, pp. 673-683, 2004. 

  19. AutoDock Vina: molecular docking and virtual screening program: Available at http://vina.scripps.edu/ 

  20. J. Kreps, N. Narkhede, and J. Rao. "Kafka: A distributed messaging system for log processing", Proceedings of NetDB'11, June 2011. 

  21. Apache Kafka: https://kafka.apache.org/ 

  22. Apache ActiveMQ: http://activemq.apache.org/ 

LOADING...
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로