미기상해석모듈 출력물의 정확성에 대한 객체기반 검증법: 한반도 풍속예측모형의 정확성 검증에의 응용 An Object-Based Verification Method for Microscale Weather Analysis Module: Application to a Wind Speed Forecasting Model for the Korean Peninsula원문보기
미기상해석모듈(microscale weather analysis module)은 복사에너지, 열, 습도 등의 순환을 시-공간적으로 세밀하게 설명하고 모의실험 할 수 있도록 개발한 초고분해능($1km{\times}1km$ 이내)의 기상모델이다. 본 논문은 미기상해석모듈의 정확성을 시공간적으로 검증할 수 있도록 고안한 객체기반 검증법을 제안한다. 이 검증법은 통계그래픽을 사용하는 시각적인 방법이며, 미기상해석모듈의 평가통계출력장 구축단계, 객체식별 및 병합단계, 모듈의 정확성 검증단계로 이루진다. 이를 위해 두 가지 통계를 사용하여 삼차원의 평가통계출력장을 구축하였고, 구축된 출력장에서 정의되는 시계열통계들에 대해 합성(convolution), 가면화(masking) 및 병합작업(merging)을 시행하여 출력장에서 모듈검증대상 지역인 객체를 식별하는 알고리즘을 개발하였다. 또한, 사례연구를 통해 제안된 객체기반 검증법의 유용성을 보였다.
미기상해석모듈(microscale weather analysis module)은 복사에너지, 열, 습도 등의 순환을 시-공간적으로 세밀하게 설명하고 모의실험 할 수 있도록 개발한 초고분해능($1km{\times}1km$ 이내)의 기상모델이다. 본 논문은 미기상해석모듈의 정확성을 시공간적으로 검증할 수 있도록 고안한 객체기반 검증법을 제안한다. 이 검증법은 통계그래픽을 사용하는 시각적인 방법이며, 미기상해석모듈의 평가통계출력장 구축단계, 객체식별 및 병합단계, 모듈의 정확성 검증단계로 이루진다. 이를 위해 두 가지 통계를 사용하여 삼차원의 평가통계출력장을 구축하였고, 구축된 출력장에서 정의되는 시계열통계들에 대해 합성(convolution), 가면화(masking) 및 병합작업(merging)을 시행하여 출력장에서 모듈검증대상 지역인 객체를 식별하는 알고리즘을 개발하였다. 또한, 사례연구를 통해 제안된 객체기반 검증법의 유용성을 보였다.
A microscale weather analysis module (about 1km or less) is a microscale numerical weather prediction model designed for operational forecasting and atmospheric research needs such as radiant energy, thermal energy, and humidity. The accuracy of the module is directly related to the usefulness and q...
A microscale weather analysis module (about 1km or less) is a microscale numerical weather prediction model designed for operational forecasting and atmospheric research needs such as radiant energy, thermal energy, and humidity. The accuracy of the module is directly related to the usefulness and quality of real-time microscale weather information service in the metropolitan area. This paper suggests an object based verification method useful for spatio-temporal evaluation of the accuracy of the microscale weather analysis module. The method is a graphical method comprised of three steps that constructs a lattice field of evaluation statistics, merges and identifies objects, and evaluates the accuracy of the module. We develop lattice fields using various evaluation spatio-temporal statistics as well as an efficient object identification algorithm that conducts convolution, masking, and merging operations to the lattice fields. A real data application demonstrates the utility of the verification method.
A microscale weather analysis module (about 1km or less) is a microscale numerical weather prediction model designed for operational forecasting and atmospheric research needs such as radiant energy, thermal energy, and humidity. The accuracy of the module is directly related to the usefulness and quality of real-time microscale weather information service in the metropolitan area. This paper suggests an object based verification method useful for spatio-temporal evaluation of the accuracy of the microscale weather analysis module. The method is a graphical method comprised of three steps that constructs a lattice field of evaluation statistics, merges and identifies objects, and evaluates the accuracy of the module. We develop lattice fields using various evaluation spatio-temporal statistics as well as an efficient object identification algorithm that conducts convolution, masking, and merging operations to the lattice fields. A real data application demonstrates the utility of the verification method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
MODE는 미기상연구소의 DTC에서 개발되었고 선진기상국가의 기상관련기관과 기상모델 연구자들에 의해 많이 사용되고 있으며, 1km × 1km 이상의 해상도의 WRF모델에 의해 얻어지는 횡단면 출력물(또는 예측자료)의 정확성을 평가하는 도구이다. 따라서 도시 및 농림지역을 대상으로 국지규모의 기상정보 및 수요자 맞춤형 실시간 기상정보서비스를 목적으로 개발될 미기상 해석모듈의 성능을 시-공간적으로 검증하기에는 MODE의 기능이 부족하여 EMODE를 개발하였다. EMODE의 개발을 위해 네 종류의 시계열 평가통계와 평가통계출력장의 해상도보정법을 소개하였으며, 보정된 출력장에 대해 합성, 가면화 및 합병작업을 통해 최종적으로 객체를 통계적으로 식별하는 절차도 제안하였다.
미기상해석모듈은 서울과 같은 대도시의 복사에너지, 열, 습도 등의 순환을 초고분해능 (1km × 1km 이하의 해상도)으로 설명하고 모의실험 할 수 있게 개발한 모델이다. 본 논문은 MODE를 확장시켜 미기상해석모듈이 출력하는 시-공간적인 예측 값들에 대한 정확도 평가 및 모듈의 진단방법인 EMODE를 개발하여 제시하였다. MODE는 미기상연구소의 DTC에서 개발되었고 선진기상국가의 기상관련기관과 기상모델 연구자들에 의해 많이 사용되고 있으며, 1km × 1km 이상의 해상도의 WRF모델에 의해 얻어지는 횡단면 출력물(또는 예측자료)의 정확성을 평가하는 도구이다.
본 연구는 미기상해석모듈이 생산하는 출력물의 정확성과 변동성을 시-공간적으로 진단·평가하는 기능을 개발하여 MODE을 개량 및 확장시킨 객체기반-진단평가법(extended MODE; 이하 EMODE로 표기)를 제안하고, 실증적 자료 분석 예를 통해 개발된 EMODE가 미기상해석모듈 출력물의 시-공간적인 특성을 반영시켜 모듈을 검증하는데 유용한 것임을 보이고자 한다.
이 장은 Ha 등 (2010)이 개발하여 현재 기상청에서 사용하고 있는 초단기 기상분석 및 예측 시스템(Korea local analysis and prediction system; 이하 KLAPS로 표기)의 정확성 검증을 통해 EMODE의 유용성을 보이고자 한다. 이를 위해 한반도 지역(남한)에서 KLAPS으로 예측한 풍속시계열과 동일한 지역에서 관측된 풍속시계열 자료를 EMODE에 적용시켜 KLAPS의 정확성을 평가하였다.
가설 설정
귀무가설 (2.4)하에서 검정통계량 Tn은 0에 점근적으로 수렴하는 성질을 가져, 가설검정은 기각역을 Tn 분포의 우측에 두는 우 단측검정을 한다. 또한, 검정에 사용될 p-값 (또는 유의수준 α인 임계값)은 Dette와 Pararoditis (2007)가 제안한 붓스트랩 방법을 사용하여 계산한다.
일정기간 동안 격자점 s에서 미기상해석모듈이 출력한 예측시계열을 {X1,t(s), t ∈ T} 그리고 관측시계열을 {X2,t(s), t ∈ T}라 하고, 그들의 평균을 각각 0이라 가정하자.
제안 방법
(단계 1) 한반도 남한 지역의 관측망인 670개 격자점에서 7월 초와 8월 말에 관측한 풍속시계열자료에 결측값이 존재하여 (7월 초 98개 지점, 8월 말 86개 지점), 이들을 이동평균대체법으로 보정하였다.
(단계 3) (i) RMSE 출력장의 해상도 향상 및 합성: [단계 2]에서 얻은 출력장들의 해상도 향상을위해 기존의 것을 0.1 × 0.1 위도-경도 출력장으로 세분화 시켰다.
3.1절에서 제안된 방법으로 얻어진 시범지역의 평가통계 출력장을 대상으로 다음에 설명되는 합성작업과 분계점(threshold level)을 사용한 가면화 작업을 실시하여 객체를 식별한다.
따라서 도시 및 농림지역을 대상으로 국지규모의 기상정보 및 수요자 맞춤형 실시간 기상정보서비스를 목적으로 개발될 미기상 해석모듈의 성능을 시-공간적으로 검증하기에는 MODE의 기능이 부족하여 EMODE를 개발하였다. EMODE의 개발을 위해 네 종류의 시계열 평가통계와 평가통계출력장의 해상도보정법을 소개하였으며, 보정된 출력장에 대해 합성, 가면화 및 합병작업을 통해 최종적으로 객체를 통계적으로 식별하는 절차도 제안하였다. 또한 EMODE를 사용하여 한반도 KLAPS의 예측 정확성을 검증하는 사례연구를 통해 EMODE의 유용성을 보였다.
1절에서 해상도를 향상시켜 얻은 평가통계출력장의 값을 지점별로 곱하면 객체가 m개 얻어진다. 그리고 식별된 객체들을 대상으로 병합작업을 실시하여 서로 인접해 있으면서 평가통계값들이 유사한 객체들을 찾아 한 개의 객체로 묶는 병합작업을 실시한다. 인접한 지역에서 식별된 객체1과 객체2에 속한 지점들의 수가 각각 N1과 N2이고, 이들 지점에서 미기상해석모듈에서 출력된 객체1과 객체2 지점의 예측시계열 그룹을 각각 {X11k,t ; k = 1, .
본 연구에서 제안하는 객체기반의 진단·평가방법은 미기상해석모듈의 시-공간적 출력물의 특성에 맞게 고안된 것이다. 또한, 기존의 방법과는 달리 제안된 방법은 시범지역에 속한 모든 지점(또는 위-경도 격자점)에 대해 일일이 모듈의 성능을 검정하는 방법을 택하지 않고, 식별된 객체만을 대상으로 모듈의 성능을 심층적으로 분석하는 방법이다. 여기서 객체란 시범지역에 속한 지점들 중에서 모듈의 예측값이 관측값과 유의한 차이를 보이는 지점들의 군집을 의미한다.
본 연구에서 제안하는 객체기반의 진단·평가방법은 미기상해석모듈의 시-공간적 출력물의 특성에 맞게 고안된 것이다.
(s), t ∈ T}라 하고, 그들의 평균을 각각 0이라 가정하자. 본 연구에서는 다음에서 설명되는 검정통계와 검정결과값(p-값)을 시계열 변동패턴의 동일성측도로 사용한다. 편의상 수식에서 격자점을 나타내는 표현 “(s)”는 생략하고 이들 측도를 설명한다.
이 장은 Ha 등 (2010)이 개발하여 현재 기상청에서 사용하고 있는 초단기 기상분석 및 예측 시스템(Korea local analysis and prediction system; 이하 KLAPS로 표기)의 정확성 검증을 통해 EMODE의 유용성을 보이고자 한다. 이를 위해 한반도 지역(남한)에서 KLAPS으로 예측한 풍속시계열과 동일한 지역에서 관측된 풍속시계열 자료를 EMODE에 적용시켜 KLAPS의 정확성을 평가하였다. 참고로 KLAPS는 풍속시계열 예측에 Christian 등 (2004)이 제안한 최근접 규칙(nearest-neighbor rule)을 사용하고 있다.
5)의 검정통계량(Tn)으로 두 시계열의 스펙트럼 밀도함수의 동일성 검정을 시행하였다. 지점별로 계산한 RMSE값을 모든 격자점에 반영시켜 670개 격자점으로 구성된 RMSE 출력장(또는 격자장)을 얻었고, 변동패턴의 동일성 검정통계값인 Tn 값들을 사용하여 Tn 출력장을 얻었다.
대상 데이터
KLAPS의 정확성검증에 사용된 자료는 남한 지역인 0.1 × 0.1 위도-경도 격자점(670개 지점)에서 2013년 7월 초(7월 9일 21시부터 7월 12일 21시까지)와 2013년 8월 말(8월 23일 21시부터 8월 26일 21시까지)에 AWS(automated weather station)에서 관측된 시간별 평균풍속(http://www.kma.go.kr/ weather/observation/currentweather.jsp)와 KLAPS를 사용하여 동 시간대에 예측한 시간별 평균풍속(m/s)자료(http://www.nimr.go.kr)이다.
세분화된 출력장은 총 4070개(위도 55×경도 74개) 격자지점들로 구성되며, 원래의 격자지점(670개 지점)을 포함한다.
데이터처리
(단계 2) 각 격자점 별로 관측풍속시계열과 예측풍속시계열 간에 차이를 측정하기 위해 식 (2.1)으로 RMSE을 계산하고, 식 (2.5)의 검정통계량(Tn)으로 두 시계열의 스펙트럼 밀도함수의 동일성 검정을 시행하였다. 지점별로 계산한 RMSE값을 모든 격자점에 반영시켜 670개 격자점으로 구성된 RMSE 출력장(또는 격자장)을 얻었고, 변동패턴의 동일성 검정통계값인 Tn 값들을 사용하여 Tn 출력장을 얻었다.
먼저 7월 초의 두 Figure 4.1(d)와 4.2(d)에서 식별된 객체들을 대상으로 병합작업을 위해 Table 4.2에 분류된 인접한 두 객체지역의 평균적 변동패턴과 평균시계열의 동일성 검정을 시행하였다(유의수준 α = 0.01).
이론/모형
(1) 결측값 보정: 시범 관측망(총 S지점)을 통해 s지점에서 관측한 시계열자료 {X2,t(s), t = 1, . . . , n} 의 특정시점들에서 한 개 또는 다수의 결측값이 발생되었으면, R = 2인 식 (3.1)을 사용하여 결측 값을 보정하는 이동평균대체법을 사용한다 (Davis 등, 2006a). 이동평균대체법 사용할 수 있는 대체법에는 다중대체법(multiple imputation), 미래예측값(forecasts)과 과거예측값(backcasts)의 평균대체법 등이 있다 (Little과 Rubin, 2002).
또한, 검정에 사용될 p-값 (또는 유의수준 α인 임계값)은 Dette와 Pararoditis (2007)가 제안한 붓스트랩 방법을 사용하여 계산한다.
성능/효과
(3) 객체식별 및 병합: 평가통계출력장의 모든 격자지점의 평가통계값들을 모두 0이나 1값으로 대체시켜 얻은 가면화된 출력장의 값과 3.1절에서 해상도를 향상시켜 얻은 평가통계출력장의 값을 지점별로 곱하면 객체가 m개 얻어진다. 그리고 식별된 객체들을 대상으로 병합작업을 실시하여 서로 인접해 있으면서 평가통계값들이 유사한 객체들을 찾아 한 개의 객체로 묶는 병합작업을 실시한다.
EMODE의 개발을 위해 네 종류의 시계열 평가통계와 평가통계출력장의 해상도보정법을 소개하였으며, 보정된 출력장에 대해 합성, 가면화 및 합병작업을 통해 최종적으로 객체를 통계적으로 식별하는 절차도 제안하였다. 또한 EMODE를 사용하여 한반도 KLAPS의 예측 정확성을 검증하는 사례연구를 통해 EMODE의 유용성을 보였다.
본 연구는 대략 10km × 10km의 해상도를 가진 KLAPS의 예측 정확성 검증사례를 통해 EMODE의 유용성을 간접적으로 보였다.
후속연구
앞으로 WISE 미기상해석모듈의 개발과 시범관측사업이 완료되면, 1km × 1km 이하의 해상도를 가진 미기상해석모듈출력물의 정확도를 EMODE에 의해 실증적으로 검증할 예정이다.
앞으로 WISE 미기상해석모듈의 개발과 시범관측사업이 완료되면, 1km × 1km 이하의 해상도를 가진 미기상해석모듈출력물의 정확도를 EMODE에 의해 실증적으로 검증할 예정이다. 한편, EMODE에서 사용되는 다중검정의 유의수준 결정문제와 평가통계보정값의 이론적 성질 등 EMODE의 개발에서 해결되어야할 사항들이 있으나, 이들에 대한 연구는 추가적인 연구과제로 남겨둔다.
질의응답
핵심어
질문
논문에서 추출한 답변
미기상해석모듈이란?
WISE개발에는 초고분해능에 적합한 WRF(weather research and forecasting model)기반의 도시미기상모델의 개발이 필요하며 (Kim 등, 2008; Boo와 Oh, 2000; Toshiaki 등, 1999), 이러한 모델은 초고속 물리과정모듈 및 자료동화모듈을 포함하는 다양한 미기상해석모듈을 기반으로 개발된다. 미기상해석모듈이란 복사에너지, 열, 습도 등의 순환을 시-공간적으로 세밀하게 설명하고 모의실험 할 수 있도록 개발한 초고분해능(1km × 1km 이내)의 기상모델이다. 따라서 WISE의 정확성과 신뢰성을 담보하기 위해서는 먼저 WISE개발에 사용되는 미기상해석모듈의 결과물(진단 및 예측 정보)의 정확도를 검증할 수 있는 진단 및 평가도구가 필요하다.
객체기반 검증법의 정의와 단계는?
본 논문은 미기상해석모듈의 정확성을 시공간적으로 검증할 수 있도록 고안한 객체기반 검증법을 제안한다. 이 검증법은 통계그래픽을 사용하는 시각적인 방법이며, 미기상해석모듈의 평가통계출력장 구축단계, 객체식별 및 병합단계, 모듈의 정확성 검증단계로 이루진다. 이를 위해 두 가지 통계를 사용하여 삼차원의 평가통계출력장을 구축하였고, 구축된 출력장에서 정의되는 시계열통계들에 대해 합성(convolution), 가면화(masking) 및 병합작업(merging)을 시행하여 출력장에서 모듈검증대상 지역인 객체를 식별하는 알고리즘을 개발하였다.
기존에 사용되고 있는 기상모델 진단·평가 방법에는 어떤 것이 있는가?
기존에 사용되고 있는 기상모델 진단·평가 방법에는 Wilks (1995)와 Doswell 등 (1990)이 개발한 기술통계에 의해 기상모델을 검증하는 측도지향접근법(measure-oriented approach)과 Davis 등 (2006a, 2006b), Skok 등 (2009, 2010), Hitchens 등 (2012), Li 등 (2015) 외 여러 학자에 의해 여러 형태로개발된 객체기반-진단·평가법(method for object-based diagnostic and verification; MODE)이 있다. 전자는 예측모델의 성능을 총체적으로 점검하기에는 유용하나 특정 예측오차들에 대한 구체적인 정보를 제공하는 기능이 없으며 예보관이나 기상분석관의 경험적인 판단과도 상당히 불일치하여, 간헐적이고 국지적인 기상정보의 품질에 대한 검증을 할 수 없는 약점을 가지고 있다 (Davis 등, 2006a).
참고문헌 (24)
Boo, K. O. and Oh, S. N. (2000). Characteristics of spatial and temporal distribution of air temperature in Seoul, Journal of the Korean Meteorological Society, 36, 499-506.
Christian, B., David, R. H. and Pierre, H. (2004). Medical image computing and computer-assisted intervention-MICCAI 2004, In Proceeding of the 7th International Conference, 26-29.
Davis, C. A., Brown, B. G. and Bullock, R. G. (2006a). Object-based verification of precipitation forecasts. Part I: Methodology and application to mesoscale rain areas, Monthly Weather Review, 134, 1772-1784.
Davis, C. A., Brown, B. G. and Bullock, R. G. (2006b). Object-based verification of precipitation forecasts. Part II: Application to convective rain systems, Monthly Weather Review, 134, 1785-1795.
Dette, H. and Pararoditis, E. (2007). Testing equality of spectral densities (Technical Report), Komplexitatsreduktion in Multivariaten Datenstrukturen, Universitat Dortmund.
Developmental Testbed Center (2013). Model evaluation tools version 4.1 (MET v4.1), Boulder, Colorado, USA.
Doswell, C. A., Davies-Jones, R. and Keller, D. L. (1990). On summary measures of skill in rare event forecasting based on contingency tables, Weather and Forecasting, 5, 576-585.
Giri, N. (1965). On the complex analogues of and tests, The Annals of Mathematical Statistics, 36, 664-670.
Gomez, R. M. P. and Drouiche, K. (2002). A test of homogeneity for autoregressive processes, International Journal of Adaptive Control and Signal Processing, 16, 231-242.
Ha, J. C., Lee, D. H., Lee, J. S., Lee, H. C. and Chang, D. E. (2010). Korea local analysis and prediction system, In Proceedings of the Autumn Meeting of Korean Meteorological Society, 218-219.
Hannan, E. J. (1970). Multiple Time Series, Wiley, New York.
Hitchens, N. M., Baldwin, M. E. and Trapp, R. J. (2012). An object-oriented characterization of extreme precipitation-producing convective systems in the midwestern United States, Monthly Weather Review, 140, 1356-1366.
Kim, Y. H., Ryoo, S. B., Park, I. S., Koo, H. J. and Nam, J. C. (2008). Does the restoration of an inner-city stream in Seoul affect local thermal environment, Theoretical and Applied Climatology, 92, 239-248.
Korea Meteorological Administration (2011). Public satisfaction survey on national weather service in 2011, Korea Meteorological Administration, Korea.
Li, J., Hsu, K., AghaKouchak, A. and Sorooshian, S. (2015). An object-based approach for verification of precipitation estimation, International Journal of Remote Sensing, 36, 513-529.
Mora-Ramirez, M. A. and Garcia, A. R. (2012). Evaluation of WRF-CHEM simulations with the unified post processor (UPP) and model evaluation tool (MET), In Proceeding of the 11th Annual CMAS Conference, 15-17.
Shumway, R. H. and Stoffer, D. S. (2010). Time Series Analysis and Its Applications With R Examples, 3nd ed., Springer.
Skok, G., Tribbia, J., Rakovec, J. and Brown, B. (2009). Object-based analysis of satellite-derived precipitation systems over the low and midlatitude Pacific Ocean, Monthly Weather Review, 137, 3196-3218.
Skok, G., Tribbia, J. and Rakovec, J. (2010). Object-based analysis and verification of WRF model precipitation in the low and midlattitude Pacific Ocean, Monthly Weather Review, 138, 4561-4575.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.