국립해양조사원 해양예측시스템 소개 (I): 현업 운영 전략, 외부 해양·기상 자료 내려 받기 및 오류 알림 기능 A Technical Guide to Operational Regional Ocean Forecasting Systems in the Korea Hydrographic and Oceanographic Agency (I): Continuous Operation Strategy, Downloading External Data, and Error Notification원문보기
이 노트는 국립해양조사원이 5년(2012~2016년)간에 걸쳐 지역해(동해, 황 동중국해) 수치예측시스템을 구축하여 자동으로 끊임없이 운영하면서 확보한 기술들 중 다음 3가지를 담고 있다. (1) 끊임없이 3일 해양예측 자료를 생산하기 위한 전략, (2) 매일 특정시각에 외부 해양 기상자료(HYCOM, NOAA/NCEP GFS)를 안정적으로 내려 받는 방법과 (3) 해양예측시스템 운영자들이 휴대전화 단문 메시지 서비스(Short Message Service)를 이용하여 해양예측시스템 수행 시 발생하는 시스템 오류를 신속하게 파악할 수 있는 기능에 관하여 기술하였다. 이들 기본 기술과 운영시스템 구성의 기본 개념은 지역해와 연안 해양 수치예측시스템을 자동으로 운영하는 체계를 구축하는 데 있어서 유용하게 사용될 것이다.
이 노트는 국립해양조사원이 5년(2012~2016년)간에 걸쳐 지역해(동해, 황 동중국해) 수치예측시스템을 구축하여 자동으로 끊임없이 운영하면서 확보한 기술들 중 다음 3가지를 담고 있다. (1) 끊임없이 3일 해양예측 자료를 생산하기 위한 전략, (2) 매일 특정시각에 외부 해양 기상자료(HYCOM, NOAA/NCEP GFS)를 안정적으로 내려 받는 방법과 (3) 해양예측시스템 운영자들이 휴대전화 단문 메시지 서비스(Short Message Service)를 이용하여 해양예측시스템 수행 시 발생하는 시스템 오류를 신속하게 파악할 수 있는 기능에 관하여 기술하였다. 이들 기본 기술과 운영시스템 구성의 기본 개념은 지역해와 연안 해양 수치예측시스템을 자동으로 운영하는 체계를 구축하는 데 있어서 유용하게 사용될 것이다.
This note provides technical guide on three issues associated with establishing and automatically running regional ocean forecasting systems: (1) a strategy for continuous production of hourly-interval three-day ocean forecast data, (2) the daily download of ocean and atmospheric forecasting data (i...
This note provides technical guide on three issues associated with establishing and automatically running regional ocean forecasting systems: (1) a strategy for continuous production of hourly-interval three-day ocean forecast data, (2) the daily download of ocean and atmospheric forecasting data (i.e., HYCOM and NOAA/NCEP GFS data), which are provided by outside institutions and used as initial condition, surface forcing, and boundary data for regional ocean models, and (3) error notifications to numerical model managers through the Short Message Service (SMS). Guidance on dealing with these three issues is illustrated via solutions implemented by the Korea Hydrographic and Oceanographic Agency, since in embarking on this project we found that this procedural information was not readily available elsewhere. This technical guide is based on our experiences and lessons learned during the process of establishing and operating regional ocean forecasting systems for the East Sea and the Yellow and East China Seas over the 5 year period of 2012-2016. The fundamental approach and techniques outlined in this guide are of use to anyone wanting to establish an automatic regional and coastal ocean forecasting system.
This note provides technical guide on three issues associated with establishing and automatically running regional ocean forecasting systems: (1) a strategy for continuous production of hourly-interval three-day ocean forecast data, (2) the daily download of ocean and atmospheric forecasting data (i.e., HYCOM and NOAA/NCEP GFS data), which are provided by outside institutions and used as initial condition, surface forcing, and boundary data for regional ocean models, and (3) error notifications to numerical model managers through the Short Message Service (SMS). Guidance on dealing with these three issues is illustrated via solutions implemented by the Korea Hydrographic and Oceanographic Agency, since in embarking on this project we found that this procedural information was not readily available elsewhere. This technical guide is based on our experiences and lessons learned during the process of establishing and operating regional ocean forecasting systems for the East Sea and the Yellow and East China Seas over the 5 year period of 2012-2016. The fundamental approach and techniques outlined in this guide are of use to anyone wanting to establish an automatic regional and coastal ocean forecasting system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이 노트에서는 국립해양조사원에서 2012년부터 2016년까지 동해와 황동중국해 해역(Fig. 1)에서 매일 1시간 간격의 3일 (72시간) 해류, 수온, 염분 등 수치예측자료를 생산하기 위한 자동수행 수치예측모델 운영체계의 구축과 운영 과정에서 발생한 문제점과 한계를 해결하면서 확보한 주요 기술 노하우(know-how)를 소개하고자 한다. 이를 위해, 3차원 지역해(regional ocean) 수치예측모델 운영에 있어서 기본적으로 필요한 작업 스케줄러(job scheduler)에 의해 외부자료를 내려 받는 방법과 수치예측시스템 오류 발생 즉시 해양 예측시스템 운영자들이 자동으로 상황을 파악할 수 있도록 하는 휴대전화 문자알림 기능에 관해 기술하였다.
이 노트에서는 쉘 스크립트에서 Ferret과 MATLAB 프로그램들을 이용하여 원하는 시간, 영역과 예측변수들을 내려 받는 방법에 관해 제시하고자 한다. 첫번째로 현재 국립해양조사원에서 사용하고 있는 방법인 Ferret 프로그램(http://www.
이 경우 지역해 수치예측모델을 매일 자동으로 수행하기 위해서는 광역 해양·기상예측자료를 매일 정해진 시간에 내려 받고, 예측을 수행하고자 하는 지역해양의 영역에 맞게 해양·기상예측자료를 처리하여 입력자료를 생산한다. 이와 관련하여 세 가지 측면, 즉 작업 스케줄러, 시간 동기화, 끊임없는 해양수치모델 구동전략을 살펴보고자 한다.
지역해 해양예측시스템의 무중단 운영과 관련한 구동 체계에 관해 살펴보고자 한다. 작업 스케줄러가 정확한 시각에 해양 예측모델 수행이 필요한 자료를 내려 받을 수 있는 시스템을 구축하였다 하더라도 예기치 못한 문제가 발생할 수 있다.
제안 방법
gov/Ferret/)을 쉘 스크립트에서 이용하는 방법이다. NetCDF 파일형식의 예측결과 출력파일 중 원하는 시간, 영역과 예측변수들을 받는 경우에 대해, Table 4에 Ferret의 실행 스크립트 파일을 이용하여 HYCOM 예측자료를 내려 받을 때 사용되는 기본적인 명령어를 제시하였다. ‘use’ 명령어를 통해 불러온 자료는 기본적으로 4차원 배열의 형태를 갖고 있으며 I열은 경도, J열은 위도, K열은 높이, L열은 시간을 의미한다.
2016년 12월 말 현재 국립해양조사원에서는 ROMS 수치모델을 사용한 15종의 광역·지역해·연안 수치모델들이 구축·운영되고 있다. 각 수치모델에서 출력되는 NetCDF 파일의 개수와 크기로 수치모델 정상작용 여부를 확인하여 이상이 있을 경우에 SMS를 이용하여 메시지를 발송하도록 하였다
그 후‘save/clobber/file’ 명령어를 사용하여 기존에 같은 이름으로 존재하는 파일 유무를 확인한 후 날짜를 파일 이름으로 하는 NetCDF 파일 형식으로 결과를 저장하였다
그럼에도 불구하고 외부 예측자료들을 장기간 내려 받지 못할 경우, 지역해 해양예측모델 수행이 중단될 수밖에 없다. 따라서 외부에서 받는 광역예측자료들이 공급되지 않는 최악의 상황을 가정하여 잘 알려진 해양 ․ 기상 기후장을 이용하여 사전에 수치예측모델에 필요한 입력자료를 제작하여 사용하도록 고안하였다. 개방경계 해양 입력자료와 기상 외력자료는 각각 WOA (World Ocean Atlas)자료와 COADS (Comprehensive Ocean-Atmosphere Data Set)자료로 미리 만들어 놓은 해양·기상 기후장을 사용한다(Fig.
비록 ‘ntp’에 비해서 정밀도가 떨어지더라도 해양예측시스템은 고정밀 시간 동기화를 필요로 하지 않을 뿐만 아니라 연산에 시스템 자원을 투입하는 것이 더 효율적이기 때문에 상대적으로 시스템 자원을 적게 사용하는 ‘rdate’를 사용하여 시간 동기화를 수행하였다.
이 명령어는 shell 명령 호환이 가능한 ‘crontab’을 통해서 1분 단위까지 주기적인 작업을 설정하여 실행할 수 있으며, 시스템에서는 ‘crond’라는 데몬(daemon)이 항상 상주하면서 예약된 작업을 확인하고 실행한다
그러나 이렇게 설정한 경우 이상이 있는 노드가 정상으로 복구될 때까지 매 시간마다 SMS를 발송하는 문제가 발생하였다. 이 문제를 해결하기 위하여 이전과 활성노드의 개수가 같을 경우에는 SMS를 발송하지 않도록 하였다(Table 7).
보통 유닉스(UNIX) 계열의 운영체제를 사용하는 컴퓨터들은 주로 cron을 이용하여 수치모델들을 예약된 시각에 실행되도록 하는데 이를 설정, 수정하는 명령어가 ‘crontab’이다. 이 작업 스케줄러를 이용하여 클러스터 컴퓨터로부터 수치모델 결과를 신속하게 얻기 위해 여러 대의 컴퓨터를 사용하는 병렬처리 방법을 사용하여 수치모델을 수행한다. ‘crontab’ 작업 스케줄러를 이용한 방법은 별도의 다른 프로그램 사용 없이 손쉽게 수치모델을 수행 할 수 있으나 여러 클러스터 컴퓨터 중 사용 중인 한 노드(node)에 이상이 있을 경우에 수치모델이 수행되지 않는 단점이 있다.
이때 계산 노드(compute node)의 정보는 마스터 노드 (master node)에 저장되는데, 이러한 점을 이용하여 마스터 노드에서는 정시마다(1시간마다) 노드의 상태를 확인하여 계산 노드에 문제가 발생할 시 ‘check node number'라는 메시지를 SMS를 이용하여 발송하도록 설정하였다(Table 7).
이러한 문제를 미연에 방지하기 위해 매 시간마다 클러스터 컴퓨터의 앞쪽에 설치되어 있는 흡입 온도 감지기(inlet temperature sensor)를 통해 흡입공기의 온도가 설정한 임계값(38°C) 이상일 경우에 담당자에게 문자 메시지를 발송하도록 하였다(Table 8).
이를 위해 ‘cron’을 이용하여 매일 0시에 타임 서버(time server)로부터 정확한 시간을 가져와 시스템에 적용하는 시간 동기화(time synchronization)를 수행한다.
1)에서 매일 1시간 간격의 3일 (72시간) 해류, 수온, 염분 등 수치예측자료를 생산하기 위한 자동수행 수치예측모델 운영체계의 구축과 운영 과정에서 발생한 문제점과 한계를 해결하면서 확보한 주요 기술 노하우(know-how)를 소개하고자 한다. 이를 위해, 3차원 지역해(regional ocean) 수치예측모델 운영에 있어서 기본적으로 필요한 작업 스케줄러(job scheduler)에 의해 외부자료를 내려 받는 방법과 수치예측시스템 오류 발생 즉시 해양 예측시스템 운영자들이 자동으로 상황을 파악할 수 있도록 하는 휴대전화 문자알림 기능에 관해 기술하였다.
이처럼, 클러스터 컴퓨터 중 노드들(nodes)의 작동 이상 유무를 파악하기 위하여 ‘crontab’를 이용하여 매 정시 후50분에 각 노드의 상태(status)를 점검할 수 있도록 설정해 놓았다(Table 6).
하드웨어적인 문제 발생 시 SMS 전달체계에 이어서, 수치모델인 소프트웨어의 정상작동 여부를 확인하기 위해 Table 9과 같이 수치모델의 정상작동 상태를 확인하는 스크립트를 통해 수치예측자료 정상 생산 유무를 확인할 수 있도록 하였다. 2016년 12월 말 현재 국립해양조사원에서는 ROMS 수치모델을 사용한 15종의 광역·지역해·연안 수치모델들이 구축·운영되고 있다.
대상 데이터
개방경계 해양 입력자료와 기상 외력자료는 각각 WOA (World Ocean Atlas)자료와 COADS (Comprehensive Ocean-Atmosphere Data Set)자료로 미리 만들어 놓은 해양·기상 기후장을 사용한다(Fig. 2).
또한 조위와 조류 입력용 자료는 Oregon 주립대학에서 생산․ 제공하고 있는 TPXO7.2 (http://volkov.oce.orst.edu/ tides/global.html) 조화상수 데이터베이스(database)에서 얻어 사용하고, 자체적으로 ROMS에 탑재시킨 조석·조류 예측모듈을 통해 예측이 가능하기 때문에 별도로 외부 자료를 내려 받을 필요가 없다.
실제로 해양 예측시스템에 입력자료로 사용되는 자료 중 미국 HYCOM (HYbrid Coordinate Ocean Model) 컨소시엄(consortium)에서 제공하는 예측자료는 미국 GODAE (Global Ocean Data Assimilation Experiment) 주도로 서비스되고 있으나 자료제공이 종종 중단되는 경우가 있다. 실례로 미 해군의 자료보관서버(data archive server) 문제로 인하여 2016년에 10월6일부터 11 일까지 6일간이나 자료제공이 중단되었다.
데이터처리
이러한 문제점을 해결하기 위하여 grib2 파일에 담겨 있는 여러 자료 중 특정 변수를 확인할 수 있는 ‘wgrib2’ 프로그램을 사용하였다.
후속연구
이 연구에서 제시한 기술적 방법은 향후 연안 해양 예측시스템을 구축하고자 하는 기관들이나 연구자들에게 유용한 참고자료가 될 것이다. 다음 기술노트는 국립해양조사원에서 구축하여 운용 중인 해양예측모델 자료동화 체계와 함께 수치예측모델 코딩 최적화에 관해 소개할 계획이다.
이들 지역해 해양예측모델에 인공위성 표면수온자료와 인공위성 고도계 자료, 그 밖에 국립해양조사원과 국립수산과학원에서 관측한 연직 층별 수온염분(CTD)자료, 아르고 플로트(Argo float) 자료를 동화하여 수행하는 체계가 확립되어 있다. 앞으로 우리나라 주변해역에 대한 정확도 높은 고해상도 지역해 예측자료가 매일 생산되어 제공될 것이다. 이 연구에서 제시한 기술적 방법은 향후 연안 해양 예측시스템을 구축하고자 하는 기관들이나 연구자들에게 유용한 참고자료가 될 것이다.
앞으로 우리나라 주변해역에 대한 정확도 높은 고해상도 지역해 예측자료가 매일 생산되어 제공될 것이다. 이 연구에서 제시한 기술적 방법은 향후 연안 해양 예측시스템을 구축하고자 하는 기관들이나 연구자들에게 유용한 참고자료가 될 것이다. 다음 기술노트는 국립해양조사원에서 구축하여 운용 중인 해양예측모델 자료동화 체계와 함께 수치예측모델 코딩 최적화에 관해 소개할 계획이다.
이 연구가 해양 수치예측 연구자와 실무자들이 현업용 해양예측시스템 운영하는 데에 필요한 기술적인 내용을 처음으로 구체적으로 다루었다는 점에서 의의가 있다. 해양 수치예측시스템을 구축할 때 이 연구에서 제시한 방법들을 활용한다면 시행착오를 줄일 수 있어 유용할 것으로 생각된다
질의응답
핵심어
질문
논문에서 추출한 답변
국립해양조사원은 어떠한 수치예측시스템을 구축하였는가?
국립해양조사원은 ROMS (Regional Oceanic Modeling System) 수치모델을 기반으로 4년(2011∼2014년)에 걸쳐 고해상도(3 km 수평 격자 간격) 3차원 동해(The East Sea; ES) 수치예측시스템을 구축하였으며, 2년(2013∼2014년)에 걸쳐 동일 해상도의 황 ․ 동중국해(The Yellow and East China Seas; YES) 수치예측시스템 구축을 완료하였다. 현재 이들 지역해 (YES, ES) 수치예측모델들의 자체 예측 성능 개선과 해양 자료동화 적용 등 예측 정확도 향상을 위한 고도화 연구를 수행 중에 있다.
작업 스케줄러란 무엇인가?
작업 스케줄러는 앞서 언급한 수치모델 입력자료용 파일 내려 받기(download), 자료처리, 입력자료 생산, 해양예측모델 수행 등을 매일 정해진 시각에 자동으로 수행하는데 필요한 스크립트이다. 국립해양조사원은 유닉스(UNIX) 계열의 운영 체제에서 사용되는 시간 기반의 작업 스케줄러인 ‘cron’ 명령어를 이용하여 스케줄링을 수행하고 있다.
국립해양조사원의 수치예측시스템은 현재 어떤 연구를 수행 중에 있는가?
국립해양조사원은 ROMS (Regional Oceanic Modeling System) 수치모델을 기반으로 4년(2011∼2014년)에 걸쳐 고해상도(3 km 수평 격자 간격) 3차원 동해(The East Sea; ES) 수치예측시스템을 구축하였으며, 2년(2013∼2014년)에 걸쳐 동일 해상도의 황 ․ 동중국해(The Yellow and East China Seas; YES) 수치예측시스템 구축을 완료하였다. 현재 이들 지역해 (YES, ES) 수치예측모델들의 자체 예측 성능 개선과 해양 자료동화 적용 등 예측 정확도 향상을 위한 고도화 연구를 수행 중에 있다. 이들 연구 성과는 예측자료를 매일 생산하는 현업 해양예측시스템에 반영되어 운용되고 있다.
참고문헌 (4)
Kim, Y.H., B.-J. Choi, J.-S. Lee, D.-S. Byun, K.R. Kang, Y.-G. Kim and Y.-K. Cho, 2013. Korean Ocean Forecasting System: Presnet and Future. J. Oceanogr. Soc. Korea, 18: 89-103.
Lee, D.-Y., K.-S. Park and J. Shi, 2009. Establishment of an Operational Oceanographic System for regional seas around Korea. Ocean Polar Res., 31: 361-368.
Park, K.-S., K.-Y. Heo, K.C. Jun, J.-I. Kwon, J.N. Kim, J.-Y. Choi, K.-H. Cho, B.-J. Choi, S.-N. Seo, Y.-H. Kim, S.-D. Kim, C.-S. Yong, J.-C. Lee, S.-I. Kim, S.J. Kim, J.-W. Choi and S.-H. Jeong, 2015. Development of the Operational Oceanographic System of Korea. Ocean Sci. J., 50: 353-369.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.