$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

천리안해양관측위성 산출물 활용성 향상을 위한 오픈소스 R 기반 데이터 처리기술 연구
A Study on Data Processing Technology based on a open source R to improve utilization of the Geostationary Ocean Color Imager(GOCI) Products 원문보기

한국지리정보학회지 = Journal of the Korean Association of Geographic Information Studies, v.22 no.4, 2019년, pp.215 - 228  

오정희 (한국해양과학기술원 해양빅데이터센터) ,  최현우 (한국해양과학기술원 해양빅데이터센터) ,  이철용 (한국해양과학기술원 해양빅데이터센터) ,  양현 (한국해양과학기술원 해양위성센터) ,  한희정 (한국해양과학기술원 해양위성센터)

초록
AI-Helper 아이콘AI-Helper

해양관측 정지궤도 위성인 GOCI(Geostationary Ocean Color Imager) 데이터는 대용량 산출물을 효과적으로 저장, 배포하기 위해 HDF5 자료 형식을 사용하고 있다. 해양위성센터에서는 HDF5(Hierarchical Data Format version5) 포맷에 익숙지 않은 일반 사용자를 위해 GDPS(GOCI Data Processing System)를 개발하여 관측자료와 함께 제공하고 있다. 그럼에도 불구하고 위성데이터 특성에 대한 이해와 GDPS의 사용법을 익혀야 하는 점, 그리고 위치정보와 속성정보가 분리되어 있는 HDF5 형식의 자료를 병합하고 가공하는 일은 쉽지 않은 일이다. 따라서 본 연구에서는 오픈소스 R과 rhdf5, data.table, matrixStats 패키지를 이용하여 GDPS를 이용하는 과정 없이도 HDF5 형식의 위성데이터를 손쉽게 활용할 수 있는 알고리즘을 개발하였다.

Abstract AI-Helper 아이콘AI-Helper

HDF5 data format is used to effectively store and distribute large volume of Geostationary Ocean Color Imager(GOCI) satellite data. The Korea Ocean Satellite Center has developed and provided a GOCI Data Processing System(GDPS) for general users who are not familiar with HDF5 format. Nevertheless, i...

주제어

표/그림 (15)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 따라서 기존 처리 방법과 본 연구에서 사용한 방법과의 직접적인 성능 비교는 크게 의미가 없다고 판단하여 본 연구에서는 고려하지 않았다. rhdf5라는 R패키지를 공개한 이유도 이러한 제한요건과 불편함을 줄이고 오픈소스 기술로도 데이터를 직접 활용할 수 있도록 하기 위한 통로를 제공한 것이므로 본 논문을 통하여 그 실효성을 GOCI 데이터에 최초로 적용하여 실험 및 검토하였다.
  • 따라서 이러한 한계와 문제점들을 극복하고 대용량의 위성데이터를 좀 더 친숙한 데이터 형태로 활용하고자 하는 사용자 요구가 증가하고 있어 관련 기술개발이 필요한 실정이다. 본 연구에서는 GOCI 산출물 중 활용도가 높은 대용량 Chlorophyll-a(Chl-a) 데이터를 대상으로 빠른 합성과 통계 산출, 위치정보 병합, 데이터를 경량화 할 수 있는 오픈소스 기반의 데이터 처리, 분석 알고리즘을 구현하여 제시하고자 한다.
  • 본 연구에서는 HDF5 포맷을 직접 다룰 수 있는 오픈소스 소프트웨어인 rhdf5 패키지와 data.table, matrixStats 패키지, R 등을 이용하여 GOCI 2차 산출물인 Chl-a 데이터셋을 빠르게 처리하고 위치정보와 통계값을 모두 포함한 활용성 높은 오픈데이터 형태로 제공하기 위한 데이터 처리, 분석 알고리즘을 실험, 구현하였다. 일간 3개의 데이터를 합성, 병합하는 데 약 30초가 소요되었고, 27일간의 월간데이터로 합성, 병합하는 데 약 10분이 소요되었다.
  • 바인딩시킨 데이터프레임을 통계산출에 최적화 되어 있는 matrixStats 패키지를 이용하여 각 시간대별, 픽셀별 행 방향 기준(row-wise) Chl-a의 중앙값(median)을 산출하여 항목(컬럼)을 추가한 후, 다시 교차 매트릭스 형태로 환원시켜 HDF5의 데이터셋을 재생성하였다. 중앙값을 일간 대표값으로 사용함으로써 이상값(outlier)에 대한 영향을 최대한 배제하고자 하였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
GDPS의 특징은 무엇인가? 해양위성센터에서는 촬영된 영상에 대해 대기보정과 기하보정 등을 거친 후 각종 해색 분석을 통해 생산한 2차 산출물들을 비영리 목적에 한하여 웹에서 서비스하고 있으며 자료 활용과 배포를 위해 전용 소프트웨어인 GDPS(GOCI Data Processing System)를 개발하여 제공하고 있다(한국해양위성센터, 2019). GDPS는 Windows기반 Visual C++로 개발되었으며 대기보정 및 해양광학 알고리즘, 해양 환경 분석 알고리즘을 실시간으로 처리할 수 있다(Ryu et al., 2012).
GOCI 영상의 자료 종류인 Raw, Level 1, Level 2는 각각 무엇을 의미하는가? GOCI 영상의 자료처리는 크게 수신, 처리, 저장, 배포로 구분되며, 자료의 종류는 Raw, Level 1, Level 2 등으로 나눠진다. Raw 자료는 위성으로부터 수신한 직후의 자료로 구조화 되기 이전의 자료를 의미하고 Level 1 자료는 방사보정 및 기하보정을 통하여 2차원으로 구조화한 반사도 자료를 의미하며, Level 2 자료는 Level 1 반사도 자료에 대해 해색 알고리즘을 적용하여 Chl-a, 부유물질농도 등을 추출한 해색자료를 의미한다(Yang et al., 2017).
GOCI란 무엇인가? 세계 최초의 정지궤도위성 GOCI는 한반도 주변 해양생태계, 장·단기 해양환경 및 기후 변화, 연안·해양 환경, 연안·해양자원관리를 위한 모니터링 및 해양·수산정보의 생산을 위해 운영되고 있는 정지궤도 위성으로써 매일 오전 9시~오후 4시까지 매 시간마다 8회씩 한반도 근해와 동북아시아의 해양환경을 관측하고 있다. GOCI 영상은 대용량 데이터 특성에 따라 효과적인 저장, 배포를 위하여 데이터패키지 형태의 HDF5를 기본 자료포맷으로 채택하였다.
질의응답 정보가 도움이 되었나요?

참고문헌 (13)

  1. Fischer, C.M. and M.L. Smith. 2019. rhdf5-HDF5 inteface for R. https://www.bioconductor.org/packages/release/bioc/vignettes/rhdf5/inst/doc/rhdf5.html(Accessed October 10, 2019) 

  2. Fomferra, N. and C. Brockmann. 2005. BEAM-The ENVISAT MERIS and (A)ATSR toolbox. Proceeding of the MERIS(A) ATSR Workshop. Vol.1, pp.1-3. 

  3. Fu, G., K. Settle, and C. R. McClain. 1998. SeaDAS:The SeaWiFS Data Analysis System. Proc of the Ocean Remote Sensing. Conference. pp.73-77. 

  4. Han, H.J., J.H. Ryu and Y.H. Ahn. 2010. Development the Geostationary Ocean Color Imager(GOCI) Data Processing System(GDPS). Korean Journal of Remote Sensing. 26(2):239-249. 

  5. Henrik, B. 2019. Package 'matrixStats'. https://cran.r-project.org/web/packages/matrixStats/matrixStats.pdf(Accessed October 10, 2019) 

  6. Matt, D. 2019. Package 'data.table'. https://cran.r-project.org/web/packages/data.table/vignettes/datatable-intro.html(Accessed October 10, 2019) 

  7. Park, K.A., H.J. Woo and J.H. Ryu. 2012. Spatial Scales of Mesoscale Eddies from GOCI Chlorophyll-a Concentration Images in the East/Japan Sea. Ocean Science Journal. 47(3):347-358. 

  8. Ryu, J.H., H.J. Han, S.I. Cho, Y.J. Park, and Y.H. Ahn. 2012. Overview of geostationary ocean color imager (GOCI) and GOCI data processing system (GDPS). Ocean Science Journal. 47(3):223-233. 

  9. The HDF Group. 2019. INTRODUCTION TO HDF5. https://portal.hdfgroup.org/display/HDF5/Introduction+to+HDF5(Accessed October 10, 2019) 

  10. Wikipedia. 2019. Hierarchical Data Format. https://en.wikipedia.org/wiki/Hierarchical_Data_Format(Accessed October 10, 2019). 

  11. Yang, H., J.M. Ryu, H.J. Han, J.H. Ryu and Y.J. Park. 2012. Ocean Disaster Detection System(OD2S) using Geostationary Ocean Color Imager(GOCI). Korea Society of IT Services. 11:1-13. 

  12. Yang, H., S. Yoon, H.J. Han, M.J. Heo and Y.J. Park. 2017. Data Processing System for the Geostationary Ocean Color Imager (GOCI). KIISE Transactions on Computing Practices. 23(1):74-79. 

  13. 한국해양위성센터. http://kosc.kiost.ac.kr(Accessed October 10, 2019) 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로