$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

자연재해 분석을 위한 빅데이터 마이닝 기술
Big data mining for natural disaster analysis 원문보기

Journal of the Korean Data & Information Science Society = 한국데이터정보과학회지, v.26 no.5, 2015년, pp.1105 - 1115  

김영민 (한국과학기술정보연구원) ,  황미녕 (한국과학기술정보연구원) ,  김태홍 (한국과학기술정보연구원) ,  정창후 (한국과학기술정보연구원) ,  정도헌 (한국과학기술정보연구원)

초록
AI-Helper 아이콘AI-Helper

자연재해 빅데이터 분석은 현재 소셜 미디어 데이터 등 텍스트 데이터를 중심으로 시작되고 있으며 이는 재난관리의 네 단계인 예방, 대비, 대응, 복구에서 마지막 두 단계에 주로 해당된다. 반면 기상 데이터 자체에 대한 빅데이터 분석은 사전 관리에 해당하는 예방, 대비 단계에 활용될 수 있어 이와 관련한 연구 사례에 대한 체계적인 정리가 필요하다. 본 논문은 리뷰 논문으로서, 자연재해 영역에서 텍스트 데이터 외의 빅데이터를 다루는 분석 기술들에 대해 소개한다. 이를 위해 기상 관련 분야에서 사용되고 있는 데이터 마이닝 및 기계 학습 기술들을 살피고 각 기상 데이터의 특성에 맞춰 기존의 기술들이 어떻게 변형되는 지 밝힌다. 우선 2절에서 빅데이터, 데이터 마이닝, 기계 학습에 대한 기본 개념을 설명하고 3절에서 데이터 마이닝 및 기계 학습 기술의 실제 적용 사례를 상세히 정리한다. 4절에서는 자연재해 대응에 이러한 기술들이 직접 활용되는 예를 소개하고 마지막에 결론으로 마무리한다.

Abstract AI-Helper 아이콘AI-Helper

Big data analysis for disaster have been recently started especially to text data such as social media. Social data usually supports for the final two stages of disaster management, which consists of four stages: prevention, preparation, response and recovery. Otherwise, big data analysis for meteor...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 3절에서 자연재해 분석의 기반이 될 수 있는 데이터의 종류 및 분석 목적별로 데이터 마이닝 적용 사례를 리뷰했다면 본 장에서는 자연재해에 직접적으로 사용된 마이닝 기법들에 대해 소개한다. 자연재해중 지진, 산불, 폭풍우, 유해적조에 대한 최근의 연구 사례를 리뷰한다.
  • Li 등 (2008)은 메조사이클론 (직경 16km까지의 작은 사이클론) 감지에 ANN과 클러스터링, 이미지 처리 등을 사용하였는데, 입력데이터로는 대규모 실시간 기상 데이터와 시뮬레이션 자료를 사용하였다. 미국 NSF의 지원을 받아 10개의 연구 기관이 참여한 프로젝트인 Linked Environments for Atmospheric Discovery (LEAD)의 일부로, 중간 규모의 기상 관련 실시간 환경에 대응할 수 있는 프레임워크를 만드는 연구를 소개한다. 한편, 유해적조 등 해양생태계 오염도 중요한 자연재해 중 하나이다.
  • 본 논문에서는 자연재해 영역에서 텍스트 데이터 외의 빅데이터 분석이 어떻게 이루어지고 있는지 살펴보기 위해 기상관련 분야에서 활용되고 있는 데이터 마이닝과 기계 학습 기술들을 리뷰하고자 한다. 즉, 빅데이터 분석의 두 가지 키워드인 대규모 데이터와 분석 기술 중 후자에 집중한다.
  • 본 논문은 기상 데이터에 적용된 데이터 마이닝 및 기계 학습 기술들의 현황을 정리함으로써 자연재해 분야의 빅데이터 분석이 나아가야 할 방향에 대한 레퍼런스를 제공한다. 현재 시계열 기상 요소 예측에서는 주로 SVM과 ANN이 사용되고 있으며, 전통적인 기계 학습 기법인 퍼지 시스템, 유전자 알고리즘, 베이지안 방법론 등이 다양하게 활용되고 있다.
  • 본 절에서는 기상 데이터 처리에 기계 학습 기법들이 어떻게 적용되는지 살펴본다. 우선 시계열로 표현되는 다양한 기상 데이터 및 그것들에게 공통으로 적용될 수 있는 기술들을 소개한다.
  • 그러나 기상학에서 일기 예보용으로 사용하고 있는 수치 예측 모델과는 달리 주로 각 기상 요소에 대한 단기 예측용으로 쓰이기 때문에 기계 학습이 수치 모델을 대체할 수 있다는 것은 아니다. 본 절에서는 앞서 언급한 ANN과 SVM을 중심으로 기계 학습 기법들이 기상 데이터 예측에 어떻게 활용되고 있는지 최근 연구 사례를 통해 살펴본다.
  • 본 절에서는 핵심 키워드인 빅데이터, 데이터 마이닝, 기계 학습에 대해 간략하게 소개한다.
  • 본 절에서는 기상 데이터 처리에 기계 학습 기법들이 어떻게 적용되는지 살펴본다. 우선 시계열로 표현되는 다양한 기상 데이터 및 그것들에게 공통으로 적용될 수 있는 기술들을 소개한다. 또한 크게 분석을 예측과 패턴 인식으로 나누어 각 분야의 연구 현황을 밝힌다.
  • 입력값으로는 물세 할인율 (water discount rate), 수문학적 상황에 따른 저수량 초과 확률, 물 유입량이 있으며 예측해야할 값은 물 부족 수준 (water deficiency level)이다. 이와 같은 방법을 사용하여 가뭄에 대비한 최적의 물세 할인율 및 관개시설 운영 정책을 제시했다.
  • 3절에서 자연재해 분석의 기반이 될 수 있는 데이터의 종류 및 분석 목적별로 데이터 마이닝 적용 사례를 리뷰했다면 본 장에서는 자연재해에 직접적으로 사용된 마이닝 기법들에 대해 소개한다. 자연재해중 지진, 산불, 폭풍우, 유해적조에 대한 최근의 연구 사례를 리뷰한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
빅데이터란 무엇인가? 수년 전부터 데이터 분석 분야를 대표하는 하나의 현상을 꼽는다면 단연 빅데이터 일 것이다. 빅데이터란 단순히 대용량 데이터를 처리하고 분석하는 것을 넘어 기하급수적으로 증가하는 데이터에 효과적으로 대응하기 위한 방법론들을 총칭하는 용어이다. 기술적으로는 크게 두 가지 관점으로 나눠볼 수가 있는데, 대용량 데이터를 효율적으로 처리할 수 있는 분산 처리 기술의 관점과 데이터를 효과적으로 분석할 수 있는 방법론적인 관점이다.
빅데이터를 기술적으로 두 가지 관점으로 보면 무엇이 있는가? 빅데이터란 단순히 대용량 데이터를 처리하고 분석하는 것을 넘어 기하급수적으로 증가하는 데이터에 효과적으로 대응하기 위한 방법론들을 총칭하는 용어이다. 기술적으로는 크게 두 가지 관점으로 나눠볼 수가 있는데, 대용량 데이터를 효율적으로 처리할 수 있는 분산 처리 기술의 관점과 데이터를 효과적으로 분석할 수 있는 방법론적인 관점이다. 이 두 가지 모두 빅데이터 분석에 있어서 중요한 요소이지만 한국 빅데이터 연구의 초창기에는전자를 위한 시스템 구축에 치중했다고 볼 수 있다.
기계 학습은 어떤 분야인가? 기계 학습은 인공지능의 한 분야로서 기계가 주어진 데이터로부터 자동으로 학습할 수 있도록 하는 수리적 모델과 알고리즘을 연구하고 개발하는 학문 분야이다. 기계라 함은 컴퓨터와 같이 반복적인 수치 계산이 가능한 도구를 가리키며 협의의 개념으로는 기계 학습 기술이 적용된 소프트웨어라고 볼 수도 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (44)

  1. Alexandridis, A., Chondrodima, E., Efthimiou, E., Papadakis, G., Vallianatos, F., and Triantis, D. (2014). Large earthquake occurrence estimation based on radial basis function neural networks. Geoscience and Remote Sensing, IEEE Transactions on, 52, 5443-5453. 

  2. Angayarkkani, K. and Radhakrishnan, N. (2010). An intelligent system for effective forest fire detection using spatial data. International Journal of Computer Science and Information Security, 7, 202-208. 

  3. Arrue, B. C., Ollero, A. and Matinez de Dios, J. R. (2000). An intelligent system for false alarm reduction in infrared forest-fire detection. Intelligent Systems and their Applications, IEEE, 15, 64-73. 

  4. Chakraborty, P., Marwah, M., Arlitt, M. and Ramakrishnan, N. (2012). Fine-grained photovoltaic output prediction using a bayesian ensemble. Twenty-Sixth Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence, Toronto, Canada. 

  5. Chang, F. J. and Wang, K. W. (2013). A systematical water allocation scheme for drought mitigation. Journal of Hydrology, 507, 124-133. 

  6. Choi, H., Park, H. W. and Park, C. (2013). Support vector machines for big data analysis. Journal of the Korean Data & Information Science Society, 24, 989-998. 

  7. Cortes, C. and Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273-297. 

  8. Cortez, P. and Morais, A. (2007). A data mining approach to predict forest fires using meteorological data. Proceedings of the 13th EPIA2007- Portuguese conference on artificial intelligence, Guimar.aes, Portugal, 512-523. 

  9. Donges, J. F., Zou, Y., Marwan, N. and Kurths, J. (2009). Complex networks in climate dynamics. The European Physical Journal Special Topics, 174, 157-179. 

  10. Dos Santos, J. A., Gosselin, P. H., Philipp-Foliguet, S., Torres, R. S. and Falao, A. X. (2012). Multiscale classification of remote sensing images. Geoscience and Remote Sensing, 50, 3764-3775. 

  11. Drucker, H., Burges, C. J. C., Kaufman, L., Smola, A. and Vapnik, V. (1997). Support vector regression machines. Advances in Neural Information Processing Systems, 9, 155-161. 

  12. Foley, A. M., Leahy, P. G., Marvuglia, A. and McKeogh, E. J. (2012). Current methods and advances in forecasting of wind power generation. Renewable Energy, 37, 1-8. 

  13. He, H., Cao, Y., Cao, Y. and Wen, J. (2011). Ensemble learning for wind profile prediction with missing values. Neural Computing and Applications, 22, 287-294. 

  14. Jursa, R. and Rohrig, K. (2008). Short-term wind power forecasting using evolutionary algorithms for the automated specification of artificial intelligence models. International Journal of Forecasting, 24, 694-709. 

  15. Kalra, A., Miller, W. P., Lamb, K. W., Ahmad, S. and Piechota, T. (2013). Using large-scale climatic patterns for improving long lead time streamflow forecasts for Gunnison and San Juan River Basins. Hydrological Process, 27, 1543-1559. 

  16. Kim, Y. and Cho, K. H. (2013). Big data and statistics. Journal of the Korean Data & Information Science Society, 24, 959-974. 

  17. Kulahci, F., Inceoz, M., Dogrua, M., Aksoyb, E. and Baykara, O. (2009). Artificial neural network model for earthquake prediction with radon monitoring. Applied Radiation and Isotopes, 67, 212-219. 

  18. Kusiak, A., Wei, X., Verma, A.P. and Roz, E. (2012). Modeling and prediction of rainfall using radar reflectivity data: A data-mining approach. IEEE Transactions on Geoscience and Remote Sensing, 51, 2337-2342. 

  19. Li, X., Plale, B., Vijayakumar, N., Ramachandran, R., Graves, S. and Conover, H. (2008). Real-time storm detection and weather forecast activation through data mining and events processing. Earth Science Informatics, 1, 49-57. 

  20. Magoulas, R. and Lorica, B. (2009). Introduction to big data. Release 2.0, 11. 

  21. Mellit, A., Massi Pavan, A. and Benghanem, M. (2012). Least squares support vector machine for shortterm prediction of meteorological time series. Theoretical and Applied Climatology, 111, 297-307. 

  22. Mohandes, M. A., Halawani, T. O., Rehman, S. and Hussain, A. A. (2004). Support vector machines for wind speed prediction. Renewable Energy, 29, 939-947. 

  23. Moustra, M., Avraamides, M. and Christodoulou, C. (2011). Artificial neural networks for earthquake prediction using time series magnitude data or seismic electric signals. Expert Systems with Applications, 38, 15032-15039. 

  24. Muttil, N. and Chau, K. W. (2007). Machine-learning paradigms for selecting ecologically significant input variables. Engineering Applications of Artificial Intelligence, 20, 735-744. 

  25. Ohashi, O. and Torgo, L. (2012). Wind speed forecasting using spatio-temporal indicators. 20th European Conference on Artificial Intelligence, 242, 975-980. 

  26. Panakkat, A. and Adeli, H. (2008). Recent efforts in earthquake prediction (1990-2007). Natural Hazards Review, 9, 70-80. 

  27. Peters, J., Verhoest, N. E. C., Samson, R., Meirvenne, M. V., Cockx, L. and Baets, B. D. (2009). Uncertainty propagation in vegetation distribution models based on ensemble classifiers. Ecological Modelling, 220, 791-804. 

  28. Petropoulos, G. P., Arvanitis, K. and Sigrimis, N. (2012). Hyperion hyperspectral imagery analysis combined with machine learning classifiers for land use/cover mapping. Expert Systems with Applications, 39, 3800-3809. 

  29. Race, C., Steinbach, M, Ganguly, A. R., Semazzi, F. and Kumar, V. (2010). A knowledge discovery strategy for relating sea surface temperatures to frequencies of tropical storms and generating predictions of hurricanes under 21st-century global warming scenarios. Conference on Intelligent Data Understanding, Mountain View, California, USA. 204-212. 

  30. Radhika, Y. and Shashi, M. (2009). Atmospheric temperature prediction using support vector machines. International Journal of Computer Theory and Engineering, 1, 1793-8201. 

  31. Rasouli, K., Hsieha, W. W. and Cannon, A. J. (2012). Daily streamflow forecasting by machine learning methods with weather and climate inputs. Journal of Hydrology, 414, 284-293. 

  32. Sakr, G. E., Elhajj, I. H., Mitri, G. andWejinya, U. C. (2010). Artificial intelligence for forest fire prediction. Advanced Intelligent Mechatronics (AIM), 2010 IEEE/ASME International Conference on, 1311-1316, IEEE. 

  33. Sharma, N., Sharma, P., Irwin, D. and Shenoy, P. (2011). Predicting solar generation from weather forecasts using machine learning. IEEE, 528-533. 

  34. Snell, S. E., Gopal, S. and Kaufmann, R. K. (2000). Spatial interpolation of surface air temperatures using artificial neural networks: evaluating their use for downscaling GCMs. Journal of Climate, 13, 886-895. 

  35. Steinbach, M., Tan, P. N., Kumar, V., Klooster, S. and Potter, C. (2003). Discovery of climate indices using clustering. Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining, Washington, DC, U.S.A. 446-455. 

  36. Steinhaeuser, K., Chawla, N. V. and Ganguly, A. R. (2010). Complex networks as a unified framework for descriptive analysis and predictive modeling in climate. Statistical Analysis and Data Mining: The ASA Data Science Journal, 4, 497-511. 

  37. Steinhaeuser, K., Chawla, N. V. and Ganguly, A. R. (2011). Comparing predictive power in climate data: clustering matters. Advances in Spatial and Temporal Databases, Lecture Notes in Computer Science, 6849, 39-55. 

  38. Storch, H. V. and Zwiers, F. W. (1999). Statistical analysis in climate research, Cambridge University Press, United Kingdom. 

  39. Tasadduq, I., Rehman, S. and Bubshait, K. (2002). Application of neural networks for the prediction of hourly mean surface temperatures in Saudi Arabia. Renew Energy, 25, 545-554. 

  40. Tsonis, A. A., Swanson, K. L. and Roebber, P. J. (2006). What do networks have to do with climate?. BAMS, 87, 585-595. 

  41. Vatsavai, R. R., Bright, E., Varun, C., Budhendra, B., Cheriyadat, A. and Grasser, J. (2011). Machine learning approaches for high-resolution urban land cover classification: A comparative study. 2nd International Conference on Computing for Geospatial Research & Applications, 11, 1-10. 

  42. Vega-Garcia, C., Lee, B. S., Woodard, P. M. and Titus, S. J. (1996). Applying neural network technology to human-caused wildfire occurrence prediction. AI Applications, 10, 9-18. 

  43. Vincenzi, S., Zucchetta, M., Franzoi, P., Pellizzato, M., Pranovi, F., De Leo, G. A. and Torricelli, P. (2011). Application of a random forest algorithm to predict spatial distribution of the potential yield of Ruditapes philippinarum in the Venice lagoon, Italy. Ecological Modelling, 222, 1471-1478. 

  44. Voyant, C., Muselli, M., Paoli, C. and Nivet, M. L. (2011). Optimization of an artificial neural network dedicated to the multivariate forecasting of daily global radiation. Energy, 36, 348-359. 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로