$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

데이터 로딩 자동화를 위한 RESTful 웹서비스 개발 - 일별 기상자료 처리를 중심으로 -
Development of RESTful Web Service for Loading Data focusing on Daily Meteorological Data 원문보기

한국농공학회논문집 = Journal of the Korean Society of Agricultural Engineers, v.56 no.6, 2014년, pp.93 - 102  

김태곤 (Institute of Green Bio Science and Technology, Seoul National University) ,  이정재 (Department of Landscape Architecture and Rural Systems Engineering, Research Institute of Agriculture and Life Sciences, Seoul National University) ,  남원호 (School of Natural Resources, University of Nebraska-Lincoln) ,  서교 (Graduate School of International Agricultural Technology, Institute of Green Bio Science and Technology, Seoul National University)

Abstract AI-Helper 아이콘AI-Helper

Generally data loading is a laborous job to develop models. Meteorological data is basic input data for hydrological models, it is provided through websites of Korea Meteorological Administration (KMA). The website of KMA provides daily meteorological observation data with tabular format classified ...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 따라서 본 연구는 다양한 분야의 연구자가 손쉽게 데이터 로딩을 자동화할 수 있도록 웹서비스를 개발하고, 기상청에서 제공하는 기상자료를 중심으로 개발된 서비스의 활용성을 검증하였다. 개발한 웹서비스는 다양한 형태로 자료를 제공하는 Open API로써 RESTful 기반으로 구현하였으며, 매일 갱신되는 기상청 자료를 자동으로 구득하는 전처리 모듈과 저장된 데이터를 사용자가 이용하기 편리하도록 다양한 형식으로 제공하는 출력 모듈로 구성하였다.
  • 본 연구는 기상청에서 표 형식으로 제공하는 관측 자료를 자료처리와 접근이 용이한 형태로 변환한 웹서비스를 개발함으로써 기상자료 활용에 있어서 편의성을 증대하였다. 기존 정보제공시스템에 사용하기 편리한 웹서비스를 미들웨어로 추가하는 방식이므로, 기상청에서 제공하는 기상자료 외에 수자원공사에서 제공하는 하천 수위자료, 농어촌공사에서 제공하는 저수지 수위 자료와 같이 다양한 정보제공시스템에도 적용가능하다고 판단된다.
  • 본 연구에서는 기상자료를 이용하여 개발 가능한 다양한 매쉬업 중 정보 시각화를 중심으로 검토하고자 한다. Chen (2014)은 D3.
  • 이상에서 살펴본 바와 같이 현재 기상관측정보에 대한 Open API를 제공되고 있지 않는 것으로 판단된다. 본 연구에서는 기상청에서 제공하는 일별 기상관측정보를 구득하여 이를 취합한 후, 연구자에서 Open API를 통해서 편리한 형태로 자료를 제공하고자 한다.
  • 본 연구에서는 연구자가 효율적으로 데이터를 구득하여 이용할 수 있도록 RESTful 기반의 웹서비스를 개발하였다. 개발된 시스템은 기상청에서 제공하는 일별 관측 자료를 구득하여 적용하였으며, 다양한 형태의 자료로 변환한 후 표준 규약인 HTTP을 통하여 자료를 전송하였다.
  • 이에 본 연구에서는 python과 Java 언어를 이용하여, 자동으로 네트워크에서 자료를 수신하여 메모리에 저장하고, 이를 처리하는 프로그램을 개발하고자 하였다. 프로그램을 만들 수 있는 언어는 다양하나, 프로그램 코드의 생산효율이 좋은 python과 가장 널리 쓰이고 있는 언어 중 하나인 Java를 대상 언어로 선정하였으며, c언어는 네트워크로 데이터를 교환 하는 데이터 통신과 문자열 처리가 복잡한 측면이 있어 제외하였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
데이터 로딩이란? 데이터 로딩 (loading)은 컴퓨터를 이용하여 자료처리를 수행하기 위해서 가장 먼저 이루어지는 작업이다. 사용자가 이용하는 프로그램이나 프로그램 개발 환경에 따라 입력 자료의 형태가 다르므로, 다양한 출처에서 제공되는 데이터를 환경에 맞게 변환하는 과정이 필요하다.
데이터 변환작업을 간소화하기 위해 접근할 수 있는 방법은? 이러한 데이터 변환작업을 간소화하기 위해서는 서비스 제공자가 다양한 기능을 제공하거나, 연구자가 전처리를 자동화하여 처리하는 방법으로 접근할 수 있다. 전자의 예로, 통계청은 자체 프로그램을 통하여 검색조건을 설정할 수 있고, 검색된 결과를 엑셀파일, 텍스트파일과 같은 다양한 형식의 파일로 내려받기 기능을 제공한다 (KOSTAT, 2014).
데이터 변환작업에서 자료를 연구자가 개별적으로 전처리하는 방법의 문제점은? , 2012). 하지만 프로그래밍에 익숙하지 않은 연구자가 전처리를 기능을 구현하기는 매우 어렵다. 특히 서비스 제공자가 텍스트 파일 (plain text)이나 csv 파일 (comma separated values)과 같이 프로그램에서 다루기 쉬운 형식으로 제공하지 않는 경우에 데이터 파일에서 일정한 패턴을 찾아서 자료를 추출해야 하므로 자료 변환 작업을 위한 전처리 과정이 필요하다. 형식이 비교적 잘 갖추어져 Excel™과 같은 스프레드 시트 프로그램에서 데이터를 로딩할 수 있더라도, 기계가 아닌 사람에게만 읽기 편하게 정리된 경우, 혹은 여러 개의 파일로 구성되거나 입력 데이터가 수시로 변할 경우에 자동화가 어렵고, 데이터를 사용하기 위한 전처리 과정이 필요하여 번거롭다 (Moon, 2013).
질의응답 정보가 도움이 되었나요?

참고문헌 (28)

  1. Bae, S.-J., D.-S. Kim, and T. Kim, 2010. Development of a web-based information system for rural settlement environment diagnosis. Journal of Korean Society of Rural Planning 16(3): 117-129 (in Korean). 

  2. Byun, C. H. (translator), 2014. D3.js - data-driven documents (author: Scott Murray, 2013. Interactive data visualization for the web). Seoul: insight (in Korean). 

  3. Chen, Wan Qi, 2014. Cal-heatmap. http://kamisama.github.io/cal-heatmap. Assessed 3 February 2014. 

  4. Cho, J., J. A. Chun, S. Mostaghimi, 2009. Development of a comprehensive modeling system for assessing impact of temporally and spatially changing BMP. Journal of the Korean Society of Agricultural Engineers 51(2): 15-27. 

  5. Fielding, Roy T., 2000. Architectural styles and the design of network-based software architectures, Ph.D. dissertation. University of California, Irvine. 

  6. Harrower, Mark, Cynthia A. Brewer. 2003. ColorBrewer.org: An Online Tool for Selecting Colour Schemes for Maps. The Cartographic Journal 40(1): 27-37. 

  7. Hyun, M.-H., W.-J. Kim, H.-J. Lee, H.-S. Kim, 2013. A study on the user satisfaction of open service for sharing of S&T information, using the public-service customer satisfaction index(PCSI). Journal of the Korean society for information management 30(4): 133-154 (in Korean). 

  8. Jeon, J.-H. and S.-B. Lee, 2012. Automatic calibration for noncontinuous observed data using HSPF-PEST. Journal of the Korean Society of Agricultural Engineers 54(6): 111-119 (in Korean). 

  9. Joo, J.-H., N.-S. Jung, M.-C. Seo, 2013. Construction of agricultural meteorological data by the new climate change scenario for forecasting agricultural disaster: for 111 agriculture major station. Journal of the Korean Society of Agricultural Engineers 55(6): 87-99 (in Korean). 

  10. Joo, S. S., S. M. Hong, 2014. Python web programming. Paju, Gyeonggi-do: wikibooks (in Korean). 

  11. Kim, Chul-Jin, 2012. A mashup customization technique of mobile service based on RESTful. Journal of the Korea Academia-Industrial 13(7): 3182-3187 (in Korean). 

  12. Kim, H.D., S.J. Kim, P.S. Kim, 2011. Development of the priority decision system for redevelopment of agricultural reservoir. Journal of the Korean Society of Agricultural Engineers 53(2): 45-52 (in Korean). 

  13. Kim, Young-ju, Kyoung-ju Kim, Young-jung Yu, and Seong-ho Park, 2011. Implementation of XML-based Open API for smartphone middleware. The journal of the Korea Institute of Maritime Information & Communication Sciences 15(4): 869-876 (in Korean). 

  14. KMA, 2014. Korea meteorological administration(KMA). http://kma.go.kr. Accessed 10 Mar. 2014. 

  15. KOSTAT, 2014. Statistics Korea(KOSTAT). http://kostat.go.kr. Accessed 12 Mar. 2014. 

  16. Lee, Yong-Ju, 2012. A semantic-based mashup development tool supporting various Open API types. Journal of Korean Society Internet Information 13(3): 115-126 (in Korean). 

  17. Moon, H. S. (translator), 2013. Bad data handbook - mapping the world of data problems (author: Q. Ethan McCallum, 2012). Chapter 2 Is It Just Me, or Does This Data Smell Funny? and Chapter 3 Data Intended for Human Consumption, Not Machine Consumption. Seoul: B.jpublic (in Korean). 

  18. Nam, W.-H. and J.-Y. Choi, 2013. Development of operation rules in agricultural reservoirs using real-time water level and irrigation vulnerability index. Journal of the Korean Society of Agricultural Engineers 55(6): 77-85 (in Korean). 

  19. Nam, W. H., J.-Y. Choi, M. W. Jang, B. A. Engel, 2007. Web-based GIS for real time hydrologic topographical data extraction for the Geum river watershed in Korea. Journal of the Korean Society of Agricultural Engineers 49(5): 81-90. 

  20. Nam, W. H., J. Y. Choi, E. M. Hong, and H. K. Kim, 2009. Development of web-GIS based SWAT data generation system. Journal of the Korean Society of Agricultural Engineers 51(6): 1-9 (in Korean). 

  21. Nam, W.-H., J.-Y. Choi, S.-H. Yoo, and B. A. Engel, 2012. A real-time online drought broadcast system for monitoring soil moisture index. Journal of Civil Engineering 16(3): 357-365. 

  22. Park, C. E., J. T. Kim, S. T. Oh, 2012. Analysis of stagedischarge relationships in the irrigation canal with automeasuring system. Journal of the Korean Society of Agricultural Engineers 54(1): 109-114 (in Korean). 

  23. Park, Y. M., A. K. Moon, H. K. Yoo, Y. C. Jung, S. K. Kim, 2010. SOAP-based web services vs. RESTful web services. Electronics and telecommunications trends 25(2): 112-120 (in Korean). 

  24. Programmable web, 2014. Fastest Growing Web API Categories Since 2009. http://www.programmableweb.com/apiresearch. Accessed 25 May 2014. 

  25. Public Data Portal, 2014. Data.go.kr - public data portal. http://data.go.kr. Accessed 4 May 2014. 

  26. Seoul, 2014. Seoul open data plaza. http://data.seoul.go.kr. Accessed 5 May 2014. 

  27. Suh, K., T. Kim, J. Lee, J.J. Lee, 2012. Effective classification framework design and implementation for rural regional information using principal component analysis and cluster analysis. Journal of the Korean Society of Agricultural Engineers 54(1): 73-81 (in Korean). 

  28. Wikipedia, 2014. http://en.wikipedia.org/wiki/Mashup_(web_application_hybrid). Accessed 6 June 2014. 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로