$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

대용량 천문 관측 자료처리를 위한 클라우드 기반 자동화 시스템
Cloud-Based Automation System to Process Data from Astronomy Observation

정보과학회. 컴퓨팅의 실제 논문지 = KIISE transactions on computing practices, v.23 no.1, 2017년, pp.45 - 56  

염재근 (한국과학기술정보연구원 슈퍼컴퓨터개발센터 기술원) ,  유정록 (한국과학기술정보연구원 슈퍼컴퓨터개발센터) ,  임홍서 (한국천문연구원 우주위험감시센터) ,  김명진 (한국천문연구원 우주위험감시센터) ,  박진태 (한국천문연구원 행성과학그룹) ,  이희재 (한국천문연구원 행성과학그룹) ,  문홍규 (한국천문연구원 행성과학그룹) ,  최영준 (한국천문연구원 행성과학그룹) ,  노동구 (한국천문연구원 우주위험감시센터) ,  오영석 (한국천문연구원 행성과학그룹) ,  배영호 (한국천문연구원 우주위험감시센터)

초록
AI-Helper 아이콘AI-Helper

천문학 분야에서 광시야망원경을 통해 관측된 자료들의 양은 기하급수적으로 늘어나고 있다. 그러나 고정된 소규모의 컴퓨팅 환경과 자료 분석 도구들의 복잡성은 대용량 관측 자료들을 효율적으로 처리하는데 어려움을 야기한다. 본 논문에서는 이러한 문제점을 해결하기 위해, 대용량 천문 관측 자료처리를 위한 클라우드 기반의 자동화 시스템을 제안한다. 본 논문에서 제안한 시스템은 관측 자료 분석에 필요한 워크플로우 템플릿의 관리 및 실행 제어를 위한 워크플로우 실행 관리자(Workflow Execution Manager)와 관측 자료 분석 요청 량에 따라 동적으로 계산자원의 할당/반납이 가능한 탄력적 자원 관리자(Elastic Resource Manager)로 구성된다. 또한 동적 자원 할당 추이, 시스템 부하 등의 다양한 실험 및 결과 분석을 통해 제안한 시스템의 유효성을 검증하고, DEEP-SOUTH 스케쥴링 시스템에의 적용 사례를 기술한다.

Abstract ▼ AI-Helper 아이콘AI-Helper

In astronomy, the amount of data generated using wide-field optical telescope has increased exponentially. However, the fixed-size small-scale computing environment and the complexity of data analysis tools, results in difficulties to process the massive observation data collected. To resolve this p...

주제어

#천문학   #클라우드   #동적 할당   #분산처리   #워크플로우  

참고문헌 (13)

  1. C. Lee, S. Kim, and S. Cha, et al., 2014, "Observational Performance of the KMTNet," Proc. of the SPIE, 9145, 91453T. 

  2. H. Moon, M. Kim, H. Yim, Y. Choi, Y. Bae, D. Roh, J. Park, B. Moon, and the DEEP-South Team, "Asteroids: New Observations, New Models," Proc. IAU Symposium, No. 318, 2015. 

  3. H. Yim, M. Kim, D. Roh, J. Park, H. Moon, Y. Choi, Y. Bae, H. Lee, Y. Oh, and the DEEP-South Collaboration, DEEP-South: Preliminary Lightcurve Analysis of Potentially Hazardous Asteroids (PHAs). 

  4. Parviz Deyhim, "Best Practices for Amazon EMR," Aug. 2013. 

  5. D. Thain, T. Tannenbaum, and M. Livny, "Distributed Computing in Practice: The Condor Experience," Concurrency and Computation: Practice and Experience, Vol. 17, No. 2-4, pp. 323-356, Feb.-Apr. 2005. 

    상세보기 crossref

  6. N. Coleman, "Distributed Policy Specification and Interpretation with Classified Advertisements," Practical Aspects of Declarative Languages, Lecture Notes in Computer Science, Vol. 7149, pp. 198-211, Jan. 2012. 

  7. P. Couvares, T. Kosar, A. Roy, J. Weber and K. Wenger, "Workflow in Condor," Workflows for e-Science, Editors: I.Taylor, E.Deelman, D. Gannon, M. Shields, Springer Press, January 2007. (ISBN: 1-84628-519-4) 

  8. OpenStack, OpenStack open source cloud computing software, [Online]. Available: https://www.openstack. org 

  9. E. Deelman, D. Gannon, and M. Shields, "Workflows and e-Science: An overview of workflow system features and capabilities," Future Generation Computer Systems, Vol. 25, Issue 5, pp. 528-540, May. 2009. 

    상세보기 crossref

  10. D. Mosberger, and T.Jin, "httperf-a tool for measuring web server performance," ACM SIGMETRICS Performance Evaluation Review, Vol. 26, Issue 3, Dec. 1998. 

  11. H. Yim, M. Kim, D. Roh, J. Park, H. Moon, Y. Choi, Y. Bae, H. Lee, Y. Oh, and the DEEP-South Collaboration, "DEEP-South: Automated Scheduler and Data Pipeline." 

  12. Slurm, Slurm workload manager, [Online]. Available: http://slurm.schedmd.com/ 

  13. Apache Spark, large-scale data processing engine, [Online]. Available: http://spark.apache.org/ 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로