최소 단어 이상 선택하여야 합니다.
최대 10 단어까지만 선택 가능합니다.
다음과 같은 기능을 한번의 로그인으로 사용 할 수 있습니다.
NTIS 바로가기방송공학회논문지 = Journal of broadcast engineering, v.24 no.6, 2019년, pp.1122 - 1133
김직수 (명지대학교 공과대학 컴퓨터공학과)
We have designed and implemented a new data processing framework called MOHA(Mtc On HAdoop) which can effectively support Many-Task Computing(MTC) applications in a YARN-based Hadoop platform. MTC applications can be composed of a very large number of computational tasks ranging from hundreds of tho...
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
핵심어 | 질문 | 논문에서 추출한 답변 |
---|---|---|
하둡은 무엇을 통해 오픈소스로 개발되고 있는가? | 하둡(Hadoop)[10]은 빅데이터 처리 플랫폼의 대명사로서 아파치 프로젝트를 통해 오픈소스로 개발되고 있다. 하둡은 대용량 데이터를 분산 저장할 수 있는 파일시스템(HDFS:Hadoop Distributed File System)과 병렬 처리 프로그래밍모델(MapReduce)을 제공하고 있다. | |
Many-TaskComputing 응용의 특징은 무엇인가? | MTC 응용들은 주로 대규모의 작업 계산(수백만에서 수십억 개의 태스크), 상대적으로 짧은 작업 실행 시간(초/분 단위), 데이터 집적성(태스크 당 수십 MB 정도의 I/O), 상대적으로 큰 작업 수행 시간 편차, 그리고 파일을 통한 통신방식 등의 특징을 가지고 있다. 이는 대규모의 계산 작업들을 상대적으로 짧은 시간 안에 고성능으로 처리해야한다는 점에서 (# of operations/month)가 주요 성능 측정치인 HTC와 차별화되며, MPI에 기반한 통신 방식을 활용하는 HPC 응용들과도 차이점을 가지게 된다. | |
하둡은 무엇을 제공하는가? | 하둡(Hadoop)[10]은 빅데이터 처리 플랫폼의 대명사로서 아파치 프로젝트를 통해 오픈소스로 개발되고 있다. 하둡은 대용량 데이터를 분산 저장할 수 있는 파일시스템(HDFS:Hadoop Distributed File System)과 병렬 처리 프로그래밍모델(MapReduce)을 제공하고 있다. 데이터는 미리 정해진 크기(기본 64MB)의 블록 단위로 HDFS 노드들에 분산 저장되며 고가용성을 위해서 중복저장(기본 3개)하여 데이터 손실 가능성을 극복하고 안정성을 높이고 있다. |
D. Thain, T. Tannenbaum, and M. Livny, "Distributed computing in practice: the Condor experience", Concurrency and Computation: Practice and Experience, Volume 17, Issue 2-4, pp. 323-356, February. 2005.
B. Bode, D. M. Halstead, R. Kendall, Z. Lei, and D. Jackson, "The Portable Batch Scheduler and the Maui Scheduler on Linux Clusters", Proceedings of the Usenix, Proceedings of the 4th Annual Linux Showcase & Conference, Nov. 2000.
IBM Tivoli Workload Scheduler LoadLeveler, Available at http://www03.ibm.com/systems/software/loadleveler/
W. Gentzsch, "Sun Grid Engine: Towards Creating a Compute Power Grid", Proceedings of the 1st IEEE International Symposium on Cluster Computing and the Grid (CCGrid 2001), May 2001.
J. J. Dongarra, S. W. Otto, M. Snir, and D. Walker, "A message passing standard for MPP and workstations", Communications of the ACM, Volume 39, Issue 7, pp. 84-90, July 1996.
I. Raicu, I. Foster and Y. Zhao, "Many-Task Computing for Grids and Supercomputers", Proceedings of the IEEE/ACM Workshop on Many-Task Computing on Grids and Supercomputers (MTAGS'08), 2008.
Workshop on Many-Task Computing on Clouds, Grids, and Supercomputers, http://datasys.cs.iit.edu/events/MTAGS16/
I. Raicu, Y. Zhao, C. Dumitrescu, I. Foster, and M. Wilde, "Falkon: a Fast and Light-weight tasK executiON framework," Proceedings of the 2007 ACM/IEEE conference on Supercomputing (SC'07), Nov. 2007.
Ioan Raicu et al., "Middleware Support for Many-Task Computing", Cluster Computing, Volume 13 Issue 3, September 2010.
Apache Hadoop: https://hadoop.apache.org/
Vinod Kumar Vavilapalli et. al., "Apache Hadoop YARN: yet another resource negotiator", Proceedings of the 4th annual Symposium on Cloud Computing (SOCC'13), October 2013.
Arun C. Murthy et. al., "Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2", Addison-Wesley, 2014.
Lu, X., Liang, F., Wang, B., Zha, L., Xu, Z., "DataMPI: extending MPI to Hadoop-like big data computing", Proceedings of the 28th IEEE International Parallel and Distributed Processing Symposium (IPDPS '14), May 2014.
Xu, L., Li, M., Butt, A.R., "GERBIL: MPI+YARN", Proceedings of the 15th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid), May 2015.
Ye, J., Chow, J.H., Chen, J., Zheng, Z., "Stochastic gradient boosted distributed decision trees", Proceedings of the 18th ACM conference on Information and knowledge management (CIKM'09), Nov. 2009.
Kim, J.S., Nguyen, C., Hwang, S., "MOHA: many-task computing meets the big data platform", Proceedings of the IEEE 12th International Conference on eScience (eScience 2016), Oct. 2016.
J. Lee, J-W. Choi, J. Shin, K-T. No, "Trends in Computer Aided Drug Discovery, Next Generation", COMMUNICATIONS OF THE KOREA INFORMATION SCIENCE SOCIETY, Vol. 31, No. 8, pp. 35-54, 2013.
Ashburn, T.T., Thor, K.B., " Drug repositioning: identifying and developing new uses for existing drugs", Nature Reviews Drug Discovery, Volume 3, Issue 8, pp. 673-683, 2004.
AutoDock Vina: molecular docking and virtual screening program: Available at http://vina.scripps.edu/
J. Kreps, N. Narkhede, and J. Rao. "Kafka: A distributed messaging system for log processing", Proceedings of NetDB'11, June 2011.
Apache Kafka: https://kafka.apache.org/
Apache ActiveMQ: http://activemq.apache.org/
※ AI-Helper는 부적절한 답변을 할 수 있습니다.