[논문]해양 정적 데이터 수집 및 DB 저장 알고리즘 구현

최승환; 박기조; 정기숙; 정우석; 김경석

doi:10.7236/jiibc.2023.23.2.95

초록
AI-Helper

세계적으로 해양공간정보의 활용과 관리에 대한 중요성을 극대화하고 있고, 이러한 데이터를 분석하는 것을 연구 개발의 주요 추진 동력으로 부각하고 있다. 국내에서는 과거부터 현재까지 보유하고 있는 해양 데이터를 수집하고 가치를 추출해내는 것이 향후 우리나라의 과학발전에 중요한 역할을 할 것으로 기대하고 있다. 특히나 해양 정적 데이터는 거대 빅데이터베이스를 이루고 있으며, 높은 데이터 수집 비용과 고난이도 관측기술이 요구됨에 따라 수집된 데이터의 유실 없는 보관 및 저장이 필요로 하다. 또한 재난안전지능화융합센터의 "해양 디지털 트윈 구축 및 활용기반 기술 연구" 과제를 위해 해양 데이터에 대한 수집 및 분석이 필요로 하여, 이에 본 논문에서는 해양 정적 데이터의 현황 조사를 수행하였고 이를 수집하여 DB에 저장하는 일련의 알고리즘을 제시한다.

Abstract ▼ AI-Helper

Globally, the importance of utilization and management of marine spatial information is being maximized, and analyzing such data is emerging as a major driving force for R&D. In Korea, it is expected that collecting marine data from the past to the present and extracting its value will play an impor...

Globally, the importance of utilization and management of marine spatial information is being maximized, and analyzing such data is emerging as a major driving force for R&D. In Korea, it is expected that collecting marine data from the past to the present and extracting its value will play an important role in the development of science in Korea in the future. In particular, marine static data constitutes a huge big database, and it is necessary to store and store the collected data without loss as high data collection costs and high-level observation techniques are required. In addition, the Disaster Safety Intelligence Convergence Center's "Marine Digital Twin Establishment and Utilization-Based Technology Research" task requires collection and analysis of marine data, so this paper conducts a current status survey of static marine data. And we present a series of algorithms that collect and store them in a database.

주제어

표/그림 (13)

그림 그림 1. 국립해양조사원에서 제공하는 16건 해양 정적 데이터 Fig. 1. 16 Cases of marine static data provided by the Korea Hydrographic and Oceanographic Agency
그림 그림 2. 데이터 제공 방식 Fig. 2. Data providing method
그림 그림 3. 해양 정적 데이터의 수집/파싱/저장 흐름도 Fig. 3. Flowchart for collection, parsing and storage of marine static data
그림 그림 4. 해양 정적 데이터 수집 흐름도 Fig. 4. Marine static data collection flowchart
그림 그림 5. 인증키 발급 결과 Fig. 5. Authentication key issuance results
그림 그림 6. 해양 정적 데이터 명칭과 레이어명 Fig. 6. Marine static data names and layer names
그림 그림 7. 해양 정적 데이터 '해수욕장'의 원본 데이터 일부 Fig. 7. Part of the original data from the marine static data 'Beach'
그림 그림 8. 해양 정적 데이터 '해수욕장'의 태그 명과 데이터 Fig. 8. Tag name and data of the marine static data 'Beach'
그림 그림 9. 해양 정적 데이터 파싱 흐름도 Fig. 9. Marine static data parsing flowchart
그림 그림 10. 해양 정적 데이터 '해수욕장'의 '백도해수욕장' 데이터 일부 Fig. 10. Part of the data of 'Baekdo Beach' in marine static data 'Beach'
그림 그림 11. 해양 정적 데이터 저장 흐름도 Fig. 11. Marine static data storage flowchart
그림 그림 12. 해양 정적 데이터 '해수욕장' DB 및 엑셀 저장 Fig. 12. Marine static data 'Beach' DB and Excel storage
그림 그림 13. Python 언어를 이용한 PostgreSQL DB 및 엑셀 저장 Fig. 13. PostgreSQL DB and Excel storage using Python language

AI 본문요약
AI-Helper

문제 정의

현재 재난안전지능화융합센터에서는 “해양 디지털 트윈 구축 및 활용기반 기술 연구”과제를 수행하고 있으며, 해양 디지털 트윈 구축을 위한 해양 데이터에 대한 수집 및 분석이 필요하다. 이에 본 논문에서는 각종 해양 관련 공공 기관에서 제공하고 있는 데이터를 분석하여 해양 디지털 트윈을 위한 기반 데이터로 활용하고자 하는 것을 목적으로 하여 해양 정적 데이터의 현황 조사를 수행하였고 이를 수집하여 DB에 저장하는 일련의 알고리즘을 제시하였다.
데이터 분석이 연구개발의 주요 추진 동력으로 부각되고, 이를 활용한 다분야융합·공동연구가 활성화 됨에 따라 연구데이터 공유·활용체계의 필요성이 나날이 높아지고 이를 위해서 해양 정적 데이터의 유실 없는 보관이 필요로 하다. 해양 디지털 트윈 구축을 위한 해양 데이터에 대한 수집 및 분석이 필요하기에 본 논문에서는 각종 해양 관련 공공 기관에서 제공하고 있는 데이터를 분석하여 해양 디지털 트윈을 위한 기반 데이터로 활용하고자 하는 것을 목적으로 하여 해양 정적 데이터의 현황 조사를 수행하였고 이를 수집하여 DB에 저장하는 일련의 알고리즘을 제시하였다. 그 결과, 국립해양조사원에서 제공하고 있는 16건의 해양 정적 데이터는 각각 고유의 레이어명을 바탕으로 한 Open API 주소로 구성되어 있었고, 각각의 Open API 주소를 웹 브라우저에 입력하여 원본 데이터를 간단히 확인할 수 있었다.

제안 방법

그림 3은 해양 정적 데이터의 수집/파싱/저장에 대한 흐름도이다. 수집/파싱/저장은 Python 언어를 통해 진행하며, 먼저 16건의 Open API 형식 해양 정적 데이터를 수집한 후, 데이터 가공 및 보정 작업인 데이터 파싱을 진행하고 최종적으로 DB에 저장한다.
그 결과, 국립해양조사원에서 제공하고 있는 16건의 해양 정적 데이터는 각각 고유의 레이어명을 바탕으로 한 Open API 주소로 구성되어 있었고, 각각의 Open API 주소를 웹 브라우저에 입력하여 원본 데이터를 간단히 확인할 수 있었다. 이를 Python 언어를 이용하여 Open API 형식의 해양 정적 데이터를 수집하였고, 데이터 파싱 단계에서 태그가 누락된 데이터의 보정 작업을 진행한 뒤에 최종적으로 PostgreSQL DB와 엑셀로 저장하였다.
16건의 해양 정적 데이터는 국립해양조사원의 ‘개방 海’ 사이트에서 제공하고 있다. 해당 사이트에서 각 정적 데이터에 대한 Open API 주소 형식과 레이어명을 확인한 후, requests()와 BeautifulSoup()를 사용하여 Open API 주소를 불러와 원본 데이터를 수집한다. 불러온 원본 데이터는 기본적으로 불필요한 메타 정보가 포함되어 있기에 해당 데이터에 대한 레이어명만 가진 원본 데이터만 찾도록 findAll()을 사용하여 해양 정적 데이터만 따로 분류하여 수집한다.

대상 데이터

16건의 해양 정적 데이터는 국립해양조사원의 ‘개방 海’ 사이트에서 제공하고 있다

성능/효과

해양 디지털 트윈 구축을 위한 해양 데이터에 대한 수집 및 분석이 필요하기에 본 논문에서는 각종 해양 관련 공공 기관에서 제공하고 있는 데이터를 분석하여 해양 디지털 트윈을 위한 기반 데이터로 활용하고자 하는 것을 목적으로 하여 해양 정적 데이터의 현황 조사를 수행하였고 이를 수집하여 DB에 저장하는 일련의 알고리즘을 제시하였다. 그 결과, 국립해양조사원에서 제공하고 있는 16건의 해양 정적 데이터는 각각 고유의 레이어명을 바탕으로 한 Open API 주소로 구성되어 있었고, 각각의 Open API 주소를 웹 브라우저에 입력하여 원본 데이터를 간단히 확인할 수 있었다. 이를 Python 언어를 이용하여 Open API 형식의 해양 정적 데이터를 수집하였고, 데이터 파싱 단계에서 태그가 누락된 데이터의 보정 작업을 진행한 뒤에 최종적으로 PostgreSQL DB와 엑셀로 저장하였다.

참고문헌 (8)

B. G. Kim, H. K. Young, Y. S. Choi, K. S. Min, J. M.？Kim, "A Study on Standard and Conversion for Marine？Spatial Information", Journal of The Korean Cadastre？Information Association, Vol. 18, No. 3, pp. 3-12,？2016
Ministry of Science and ICT. The research data in the？draweris reborn as big data that is used together？[Internet]. Available:？https://eiec.kdi.re.kr/policy/materialView.do?num173274
H. G. Han, C. Y. Lee, Y. G. Park, "A Plan to Build an？Integrated Data Platform for Real-Time Data？Collection and Analysis of Extreme Ocean Spaces",？Journal of Digital Contents Society, Vol. 22, No. 6, pp.？989-998, 2021？DOI: https://doi.org/10.9728/dcs.2021.22.6.989

상세보기
H. G. Han, C. Y. Lee, T. H. Kim, J. R. Han, H. W.？Choi, "Establishment of A WebGIS-based Information？System for Continuous Observation during Ocean？Research Vessel Operation", Journal of the Korean？Association of Geographic Information Studies, Vol.？24, No. 1, pp. 40-53, 2016？DOI: https://doi.org/10.11108/kagis.2021.24.1.040

원문보기 상세보기
S. W. Oh, J. M. Park, S. H. Suh, "A Study on？Developing XML Marine GIS metadata", Journal of？Korean Navigation and Port Research, Vol. 28, No. 3,？pp. 247-252, 2004？DOI: https://doi.org/10.5394/KINPR.2004.28.3.247

원문보기 상세보기
S. T. Kim, T. Y. Lee, Y. Kim, "Deriving the？Determining Factor for the Management of？Oceanographic Data", Journal of Information Science？Theory and Practice, Vol. 43, No. 3, pp. 97-115, 2012？DOI: https://doi.org/10.1633/JIM.2012.43.3.097

원문보기 상세보기
I. S. Lee, "A Study on Geospatial Information Role in？Digital Twin", Journal of the Korea Academia-Industrial,？Vol. 22, No. 3, pp. 268-278, 2021？DOI: https://doi.org/10.5762/KAIS.2021.22.3.268

원문보기 상세보기
S. M. Kim, J. S. Kim, "A Study on the Evaluation？Model for Reliability of Public Data", Journal of？Korean Institute of Information Technology, Vol. 21,？No. 1, pp. 21-28, 2023？DOI: http://dx.doi.org/10.14801/jkiit.2023.21.1.21

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

해양 정적 데이터 수집 및 DB 저장 알고리즘 구현
Implementation of marine static data collection and DB storage algorithms 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (13)

표/그림 (13)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

해양 정적 데이터 수집 및 DB 저장 알고리즘 구현 Implementation of marine static data collection and DB storage algorithms 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (13) 모든 표/그림 보기

표/그림 (13) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

김경석 (91)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

해양 정적 데이터 수집 및 DB 저장 알고리즘 구현
Implementation of marine static data collection and DB storage algorithms 원문보기

초록
AI-Helper

표/그림 (13)

표/그림 (13)

AI 본문요약
AI-Helper