[논문]천문학에서의 대용량 자료 분석

신민수

doi:10.5351/kjas.2016.29.6.1107

천문학에서의 대용량 자료 분석
Analysis of massive data in astronomy 원문보기

응용통계연구 = The Korean journal of applied statistics, v.29 no.6, 2016년, pp.1107 - 1116

신민수 (한국천문연구원)

초록
AI-Helper

최근의 탐사 천문학 관측으로부터 대용량 관측 자료가 획득되면서, 기존의 일상적인 자료 분석 방법에 큰 변화가 있었다. 고전적인 통계적인 추론과 더불어 기계학습 방법들이, 자료의 표준화로부터 물리적인 모델을 추론하는 단계까지 자료 분석의 전 과정에서 활용되어 왔다. 적은 비용으로 대형 검출 기기들을 이용할 수 있게 되고, 더불어서 고속의 컴퓨터 네트워크를 통해서 대용량의 자료들을 쉽게 공유할 수 있게 되면서, 기존의 다양한 천문학 자료 분석의 문제들에 대해서 기계학습을 활용하는 것이 보편화되고 있다. 일반적으로 대용량 천문학 자료의 분석은, 자료의 시간과 공간 분포가 가지는 비 균질성 때문에 야기되는 효과를 고려해야 하는 문제를 가진다. 오늘날 증가하는 자료의 규모는 자연스럽게 기계학습의 활용과 더불어 병렬 분산 컴퓨팅을 필요로 하고 있다. 그러나 이러한 병렬 분산 분석 환경의 일반적인 자료 분석에서의 활용은 아직 활발하지 않은 상황이다. 천문학에서 기계학습을 사용하는데 있어서, 충분한 학습 자료를 관측을 통해 획득하는 것이 어렵고, 그래서 다양한 출처의 자료를 모아서 학습 자료를 수집해야 는 것이 일반적이다. 따라서 앞으로 준 지도학습이나 앙상블 학습과 같은 방법의 역할이 중요해 질 것으로 예상된다.

Abstract ▼ AI-Helper

Recent astronomical survey observations have produced substantial amounts of data as well as completely changed conventional methods of analyzing astronomical data. Both classical statistical inference and modern machine learning methods have been used in every step of data analysis that range from data calibration to inferences of physical models. We are seeing the growing popularity of using machine learning methods in classical problems of astronomical data analysis due to low-cost data acquisition using cheap large-scale detectors and fast computer networks that enable us to share large volumes of data. It is common to consider the effects of inhomogeneous spatial and temporal coverage in the analysis of big astronomical data. The growing size of the data requires us to use parallel distributed computing environments as well as machine learning algorithms. Distributed data analysis systems have not been adopted widely for the general analysis of massive astronomical data. Gathering adequate training data is expensive in observation and learning data are generally collected from multiple data sources in astronomy; therefore, semi-supervised and ensemble machine learning methods will become important for the analysis of big astronomical data.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 논문에서는, 위에 기술한 최근의 대용량 천문 자료 분석에서 관심이 되고 있는 주제를 중심으로, 최근의 자료 분석의 핵심 문제들과 분석 사례를 소개하고자 한다. 이를 통해서 이 논문이 국내 이">2015). 이 문제는 제한된 수의 은하들에 대해서 그 종류와 적색편이가 알려져 있고, 이들 학습 자료를 이용해서 다수의 종류와 거리가 알려지지 않은 은하들에 대해서 그 종류와 적색편이를 추정하는 것을 목적으로 한다. 이렇게 추정된 적색 편이 정보는 우주의 은하 분포가 가지는 거대 구조를 연구하거나, 거리에 따른 후)천문자료">천문 자료 분석에서 관심이 되고 있는 주제를 중심으로, 최근의 자료 분석의 핵심 문제들과 분석 사례를 소개하고자 한다. 이를 통해서 이 논문이 국내 통계학자들이 대용량 천문학 자료를 분석하는 문제에 참여하는 기회를 모색하는데 도움이 되었으면 한다. 이를 위해서 먼저
가설 설정
- ">결부 된다. 첫째, 측정치에 대한 오차를 추정하기 위해 관측되는 신호가 가지는 통계 분포가 일반적으로 가정되어야 하는데, 흔히 Poisson 분포나 Gaussian 분포가 가정된다. 둘째, 측정치와 물리량 사이의 전환은 측정치가 가지는 오차를 고려하여 회귀분석의 방법으로 흔히 얻어지게 된다.

제안 방법

천문학 대용량 관측 자료의 증가와 더불어서, 다양한 관측 기기 및 환경적인 요소에 의해서 발생하는 문제들과, 불완전한 시간 및 공간 분포를 가지는 자료 획득 문제를 천문학 자료의 특징으로 제시하였다. 이러한 문제들을 고려한 자료 분석 방법들에 대한 필요성은, Large Synoptic Survey Telescope(LSST) (Ivezic 등, 2008)와 같은 미래 대용량
성능/효과
- 셋째,">2015). 셋째, 자동화된 대용량 자료 분석과 그 과정에서 잘못된 검출과 판단의 규모를 정량적으로 추정하는 것의 중요성이 부각되었다. 이 목적을 위하여 기계학습 방법이 다양한 목적을 가지고 활용되기 시작하였는데, 아직까지 천문학에서의 활용은 본격적이지는 않은 상황으로 후)연구환경의">연구 환경의 변화는, 천문학자들이 자연스럽게 대용량 자료 분석에 있어서 몇 가지 현실적인 문제들을 경험하게 하였다. 첫째, 대용량 자료를 분석할 수 있는 컴퓨터 알고리즘과 분석 환경의 중요성이 새롭게 인식되었는데, 이는 컴퓨터 과학자들과의 협업을 통해서 병렬 분산 컴퓨팅 기술이 대용량 천문학 자료 분석에 필수적으로 활용되는 변화로 이어졌다. 둘째, 기존의 다양한 분석 방법을 큰 규모의 자료 분석에 적용하기 위해서, 이들 분석 방법에 대한 새로운 구현의 필요성이 대두되었다.
후속연구
- 후)중요해질">중요해 질 것으로 예상된다. 구체적으로 시계열 자료들에서 특정 유형을 검출하고, 이미 알려져 있는 시계열 변화 형태에 근거해서, 얻어지는 자료를 분류하는 것과 그 분류 정확도를 측정하는 문제가 대두될 것이다. 아주 먼 우주의 천체에서 얻어지는 밝기가 변하는 시계열 자료의 경우, 우주 팽창의 속도를 후)입력자료의">입력 자료의 특성을 계산할 때 관측 자료의 측정 오차를 반영하는 것을 고려할 수 있다. 그러나 이러한 접근법을 유용하게 만들기 위해서는, 자료 특성으로 이용되는 통계치나 다른 측정치를 정의할 때, 어떻게 엄밀하게 자료 측정의 오차를 반영할 수 있는가에 대한 연구가 필요하다.
- 후)적용해야 하는">적용해야하는 문제에 대한 인식이, 천문학 대용량 자료 분석에서 필요하다. 나아가서 관측으로 측정되는 물리량의 측정 오차를 반영한 기계학습법 활용이라는 본질적인 문제에 대해서 방법론적인 연구가 필요할 것이다.
- 또한 움직이는 천체로 검출이 될 태양계 소행성 천체를 발견하고, 그 궤도를 모델과 비교하여 정확히 추정하고 그 정확도 역시 추정할 필요가 있게 된다. 나아가서 시간에 따라 밝기가 변하는 시계열 자료로부터 이러한 소행성의 모양을 추정하는 문제를 풀어야 할 것이다.
- 나아가서 이러한 대용량 자료의 분석과 관련하여 실질적인 분석 환경 구현과 관련된 사례들은, 1991년부터 연례적으로 열리는 ‘Astronomical Data Analysis Software & Systems’ 학회 발표 내용들을 참고하면 도움이 될 것이다.
- 후)천문학관측">천문학 관측 자료의 특징에 대해서 다음 2절에서 간략히 기술하고, 3절에서 핵심 문제들에 대해서 최근 논의의 내용을 제시한다. 마지막으로 4절에서 요약과 결론을 제시하며, 앞으로 응용통계학 연구에서 천문학 대용량 자료 분석을 통한 협력 연구의 가능성을 제시하고자 한다.
- 후)분산환경에서">분산 환경에서 자료 분석이 가능한 데이터베이스와 도구가 마련될 필요가 있다. 특별히 R과 같은 도구를 천문학자들이 거대 자료 분석에 이용하는 것에 있어서, 국내 통계학자들이 협력할 수 있는 부분이 있을 것으로 기대된다.
- 후)학습자료를">학습 자료를 이용하는 경우도 있게 된다. 학습 입력 자료 구성에 따라서 기계학습법 적용의 성패가 다르기 때문에, 불 균질적인 학습 자료나 소수의 학습 자료에서 학습된 결과를 압도적으로 더 큰 적용 자료에 활용하는 방법에 대한 추가적인 연구가 요구되는 상황이다. 이러한 점에서 다양한 출처의 학습

질의응답

핵심어	질문	논문에서 추출한 답변
	대용량 관측 자료의 획득과 공유를 통한 자료 분석이라는 연구 환경의 변화로 천문학자들이 대용량 자료 분석에 있어서 어떤 현실적인 문제들을 겪었는가?	이러한 대용량 관측 자료의 획득과 공유를 통한 자료 분석이라는 연구 환경의 변화는, 천문학자들이 자연스럽게 대용량 자료 분석에 있어서 몇 가지 현실적인 문제들을 경험하게 하였다. 첫째, 대용량 자료를 분석할 수 있는 컴퓨터 알고리즘과 분석 환경의 중요성이 새롭게 인식되었는데, 이는 컴퓨터 과학자들과의 협업을 통해서 병렬 분산 컴퓨팅 기술이 대용량 천문학 자료 분석에 필수적으로 활용되는 변화로 이어졌다. 둘째, 기존의 다양한 분석 방법을 큰 규모의 자료 분석에 적용하기 위해서, 이들 분석 방법에 대한 새로운 구현의 필요성이 대두되었다. 이는 병렬 분산 처리라는 분석 환경에 맞추어 자료 분석을 구현하는 것이다. 이 부분에 있어서 기존에 ‘Astroinformatics’라는 분야로 이루어지던 통계학자 및 전산학자들과의 공동 연구가 가지는 중요성이 새롭게 인식되고 있다 (Zhang과 Zhao, 2015). 셋째, 자동화된 대용량 자료 분석과 그 과정에서 잘못된 검출과 판단의 규모를 정량적으로 추정하는 것의 중요성이 부각되었다. 이 목적을 위하여 기계학습 방법이 다양한 목적을 가지고 활용되기 시작하였는데, 아직까지 천문학에서의 활용은 본격적이지는 않은 상황으로 기계학습 연관 분야와의 공동 연구가 요구되고 있다.
	대용량 천문학 자료의 분석에서 문제점은?	적은 비용으로 대형 검출 기기들을 이용할 수 있게 되고, 더불어서 고속의 컴퓨터 네트워크를 통해서 대용량의 자료들을 쉽게 공유할 수 있게 되면서, 기존의 다양한 천문학 자료 분석의 문제들에 대해서 기계학습을 활용하는 것이 보편화되고 있다. 일반적으로 대용량 천문학 자료의 분석은, 자료의 시간과 공간 분포가 가지는 비 균질성 때문에 야기되는 효과를 고려해야 하는 문제를 가진다. 오늘날 증가하는 자료의 규모는 자연스럽게 기계학습의 활용과 더불어 병렬 분산 컴퓨팅을 필요로 하고 있다.
	앙상블 학습법이란?	학습 입력 자료 구성에 따라서 기계학습법 적용의 성패가 다르기 때문에, 불 균질적인 학습 자료나 소수의 학습 자료에서 학습된 결과를 압도적으로 더 큰 적용 자료에 활용하는 방법에 대한 추가적인 연구가 요구되는 상황이다. 이러한 점에서 다양한 출처의 학습 자료로 부터 얻어지는 개개의 학습 결과를 결합해서 적용하는 앙상블 학습법(ensemble learning; Zhou, 2015)의 활용 가능성이 크다. 또한, 준 지도학습(semi-supervised learning; Chapelle 등, 2010)과 같이 그 정답을 아는 학습 자료의 양이 부족한 경우를 대상으로 하는 방법들의 활용 가능성이 크다.

참고문헌 (38)

Abazajian, K. N. Abazajian, K. N., Adelman-McCarthy, J. K., Agueros, M. A., Allam, S. S., Prieto, C. A., An, D., et al. (2009). The seventh data release of the Sloan Digital Sky survey. The Astrophysical Journal Supplement, 182, 543-558.

상세보기
Al-Jarrah, O. Y., Yoo, P. D., Muhaidat, S., Karagiannidis, G. K., and Taha, K. (2015). Efficient machine learning for big data: a review. Big Data Research, 2, 87-93.

상세보기
Allison, R. and Dunkley, J. (2014). Comparison of sampling techniques for Bayesian parameter estimation. Monthly Notices of the Royal Astronomical Society, 437, 3918-3928.

상세보기
Alonso, D. (2012). CUTE solutions for two-point correlation functions from large cosmological datasets, ArXiv e-prints, 1210.1833. Available from: https://arxiv.org/abs/1210.1833
Ball, N. M. and Brunner, R. J. (2010). Data mining and machine learning in astronomy. International Journal of Modern Physics D, 19, 1049-1106.

상세보기
Bhat, P. C. (2011). Multivariate analysis methods in particle physics. Annual Review of Nuclear and Particle Science, 61, 281-309.

상세보기
Borne, K. (2013). Virtual observatories, data mining, and astroinformatics. In Planets, Stars and Stellar Systems (pp. 403-443), Springer Netherlands
Borra, S. and Di Ciaccio, A. (2010). Measuring the prediction error. A comparison of cross-validation, bootstrap and covariance penalty methods. Computational Statistics & Data Analysis, 54, 2976-2989.

상세보기
Cavuoti, S., Brescia, M., De Stefano, V., and Longo, G. (2015). Photometric redshift estimation based on data mining with PhotoRApToR. Experimental Astronomy, 39, 45-71.

상세보기
Chapelle, O., Schlkopf, B., and Zien, A. (2010). Semi-Supervised Learning, The MIT Press.
Feigelson, E. D. and Babu, J. (2012). Statistical Challenges in Modern Astronomy V, (Volume 902 of Lecture Notes in Statistics), Springer, New York.
Feroz, F., Hobson, M. P., and Bridges, M. (2009). MULTINEST: an efficient and robust Bayesian inference tool for cosmology and particle physics. Monthly Notices of the Royal Astronomical Society, 398, 1601-1614.

상세보기
Foreman-Mackey, D., Hogg, D. W., Lang, D., and Goodman, J. (2013). emcee: The MCMC Hammer. Publications of the Astronomical Society of Pacific, 125, 306-312.
Gebru, I. D., Alameda-Pineda, X., Forbes, F., and Horaud, R. (2015). EM algorithms for weighted-data clustering with application to audio-visual scene analysis, CoRR, Available from: https://arxiv.org/abs/1509.01509
Golombek, D. (2004). Archives, databases and the emerging virtual observatories. Astrophysics and Space Science, 290, 449-456.

상세보기
Gunn, J. E., Siegmund, W. A., Mannery, E. J., Owen, R. E., Hull, C. L., Leger, R. F., et al. (2006). The 2.5 m telescope of the sloan digital sky survey. The Astronomical Journal, 131, 2332-2359.

상세보기
Hahm, J., Kwon, O.-K., Kim, S., Jung, Y.-H., Yoon, J.-W., Kim, J., Kim, M.-K., Byun, Y.-I., Shin, M.-S., and Park, C. (2012). Astronomical time series data analysis leveraging science cloud, In Lecture Notes in Electrical Engineering, 181, 493-500.
Hira, Z. M. and Gillies, D. F. (2015). A review of feature selection and feature extraction methods applied on microarray data, Advances in Bioinformatics, 2015, Article ID 198363.
Ihaka, R. and Gentleman, R. (1996). R: a language for data analysis and graphics. Journal of Computational and Graphical Statistics, 5, 299-314.

상세보기
Ivezic, Z., Tyson, J. A., Abel, B., Acosta, E., Allsman, R., AlSayyad, Y., et al. (2008). LSST: from science drivers to reference design and anticipated data products, ArXiv e-prints, 0805.2366, Available from: https://arxiv.org/abs/0805.2366
Ivezic, Z., Connolly, A. J., VanderPlas, J. T., and Gray, A. (2014). Statistics, Data Mining, and Machine Learning in Astronomy: A Practical Python Guide for the Analysis of Survey Data, Princeton University Press.
Liao, K., Treu, T., Marshall, P., Fassnacht, C. D., Rumbaugh, N., Dobler, G., et al. (2015). Strong lens time delay challenge. II. Results of TDC1. The Astrophysical Journal, 800, 11.

상세보기
Patil, A., Huard, D., and Fonnesbeck, C. (2010). PyMC: Bayesian stochastic modelling in python. Journal of Statistical Software, 35, 4.
Pier, J. R., Munn, J. A., Hindsley, R. B., Hennessy, G. S., Kent, S. M., Lupton, R. H., et al. (2003). Astrometric calibration of the sloan digital sky survey. The Astronomical Journal, 125, 1559-1579.

상세보기
Saeys, Y., Inza, I., and Larra-naga, P. (2007). A review of feature selection techniques in bioinformatics. Bioinformatics, 23, 2507-2517.

상세보기
Shin, M.-S. and Byun, Y.-I. (2004). Efficient period search for time series photometry. Journal of Korean Astronomical Society, 37, 79-85.

원문보기 상세보기
Singh, N., Browne, L.-M,. and Butler, R. (2013). Parallel astronomical data processing with Python: Recipes for multicore machines. Astronomy and Computing, 2, 1-10.

상세보기
Stetson, P. B. (1996). On the automatic determination of light-curve parameters for Cepheid variables. Publications of the Astronomical Society of the Pacific, 108, 851-876.

상세보기
Szalay, A. S., Kunszt, P. Z., Thakar, A. R., Gray, J., and Slutz, D. (2000). The sloan digital sky survey and its archive, Astronomical Data Analysis Software and Systems IX. ASP Conference Proceedings, 216, 405-414.
Szapudi, I., Pan, J., Prunet, S., and Budavari, T. (2005). Fast edge-corrected measurement of the two-point correlation function and the power spectrum. The Astrophysical Journal, 631, L1-L4.

상세보기
Townsend, R. H. D. (2010). Fast calculation of the Lomb-Scargle periodogram using graphics processing units. The Astrophysical Journal Supplement, 191, 247-253.

상세보기
Vio, R., Diaz-Trigo, M., and Andreani, P. (2013). Irregular time series in astronomy and the use of the Lomb-Scargle periodogram. Astronomy and Computing, 1, 5-16.

상세보기
Way, M. J., Scargle, J. D., Ali, K. M., and Srivastava, A. N. (2012). Advances in Machine Learning and Data Mining for Astronomy (1st ed.), Chapman & Hall/CRC.
Zhang, Y. and Zhao, Y. (2015). Astronomy in the big data era. Data Science Journal, 14, 1-9.
Zheng, H. and Zhang, Y. (2008). Feature selection for high-dimensional data in astronomy. Advances in Space Research, 41, 1960-1964.

상세보기
Zhou, Z.-H. (2015). Ensemble learning, Encyclopedia of Biometrics, Springer US, Boston.
Zuntz, J., Paterno, M., Jennings, E., Rudd, D., Manzotti, A., Dodelson, S., Bridle, S., Sehrish, S., and Kowalkowski, J. (2015). CosmoSIS: Modular cosmological parameter estimation. Astronomy and Computing, 12, 45-59.

상세보기
Von Neumann, J. (1941). Distribution of the ratio of mean square successive difference to the variance. The Annals of Mathematical Statistics, 12, 367-395.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증