선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- Table 4는 혼동 행렬로부터 계산할 수 있는 대표적인 메트릭이다. 본 연구에서는 각 메트릭을 계산해서 모델의 우수한 정도를 평가하고자 한다. Precision은 Y로 예측된 것 중 실제로도 Y인 경우의 비율이고, Accuracy는 전체 예측에서 옳은 예측의 비율이다.
- 본 연구에서는 다양한 기계적 학습을 위한 새로운 패키지들의 추가 지원이 가능하고, 차후 다른 기상요소들 간의 예측 시스템 연계를 위해 CUI (character user interface) 방식의 R을 사용한 데이터마이닝 기법들에 의해 안개 발생 여부의 예측 정확도를 높이고자 하였다. 안개 발생 메카니즘을 학습시키기 위해 사용한 데이터 마이닝 기법들로는 의사결정나무(tree models)와 조건부 추론 나무(conditional inference tree), 앙상블 학습기법인 랜덤포레스트(random forest), 다항 로지스틱회귀 분석(multinomial logistic regression), 신경망(neural network), 서포트 벡터 머신(support vector machine, SVM) 등이다.
- 데이터마이닝 기법에 의해 안개 예측을 한 연구로는 대표적으로 Kim(2009)에 의한 자기구성신경망을 이용한 안개 예측이 있으며, 그 외 회귀분석과 의사결정나무등에 의해 이루어진 바가 있지만 다양한 기법들의 비교를 통한 검증 연구가 미비한 상황이다. 이에 본 연구에서는 다양한 데이터마이닝 기법을 이용하여 우리나라 제주지역을 중심으로 위험 기상 요소인 안개 발생에 대한 예측을 개선함으로써 안전한 도로 주행과 수상레저활동,선박 항해 등이 이루어질 수 있도록 기여하고자 한다.
- 제주도 포함 한반도 주변에 나타나는 안개의 경우 이류안개가 가장 일반적이며, 이류안개는 주로 따뜻하고 습한 공기가 충분히 차가운 지표 위를 지날 때, 습윤한 공기가 포화점까지 냉각되면서 응결되어 형성되는 안개이다. 이에 우선적으로 제주도에서 일사량 관측이 이루어지고 있는 제주(184지점)와 고산(185지점) 지역의 automatic synoptic observation system (ASOS) 기상관측자료들을 분석하여 제주도 안개 특성과 발생 메카니즘을 밝히고자 하며, 이 결과들을 기계 학습시켜서 안개 발생 여부를 예측해 내는 데이터 마이닝 기법들의 우수한 안개 예측모형을 개발하고자 한다.
제안 방법
- 제주와 고산지역의 기상관측자료 중 시정값을 도출하여 1 km 미만일 때를 안개가 발생한 경우(fog), 1 km 이상일 때를 안개가 발생하지 않은 경우(non_fog)로 설계하여 분석하였다. 2005년부터 2014년의 기상관측자료를 통해 안개 발생 유무 즉, fog와 non_fog를 예측하는 통계 예측 모형을 도출하고, 2015년의 시정값과 기상관측자료를 통해 검증하였다. 기상관측자료는 기온(이하 temp), 노점온도(이하 dtemp), 상대습도(이하 rh), 풍속(이하 ws), 현지기압(이하 pres), 일사량(이하 radi) 그리고 기온과 노점온도의 차(기온노점차, 이하 t-dt)의 총 7개 요소이다.
- 2015년 관측값을 기계학습모델들 결과와 검증해볼 뿐만 아니라, 실제 안개 예측을 위해서 각 통계모델에 사용되어지는 기상입력자료 생성을 위하여 중규모 기상모델인 WRF ver 3.5를 사용하여 기상장을 생성시키고 그 자료들을 입력값으로 사용하여 실제 72시간 이후까지 안개를 예측할 수 있도록 하였다. 초기 및 경계조건은 NCEP/NCAR (national centers for environmental prediction/national centers for atmospheric research)에서 제공하는 FNL (final analyses)자료를 이용하였다.
- 4에 나타내었다. 7개의 입력변수 중 t-dt를 통해가장 먼저 안개 발생 유무를 분류하였으며, 기온과 노점 온도 차가 1.65 이하일 때는 습윤한 정도가 크기 때문에 첫 번째 분류 척도로 사용되었다.
- R을 통한 6가지 통계 패키지를 활용하여 2015년 제주와 고산지역의 안개 발생 유무를 예측하고 2015년에 대해 검증하여 예측률을 비교하였다. 입력변수는 temp,dtemp, rh, ws, pres, radi 그리고 t-dt로 7개 모든 변수를 사용하였으며, 6개 데이터 마이닝 기법 모두 동일하다(Table 5).
- 2005년 1월 1일 2014년 12월 31일 자료는 학습과 통계 예측 모형 도출을 위해 사용되었고, 2015년 1월 1일 2015년 12월 31일까지 자료로 각 모델을 통해 예측된 안개 결과를 검증하였으며, 학습 시 구성되는 입력자료에 결측값이 있는 경우는 그 전체 레코드를 제거함으로써 우수한 학습을 위한 필터링된 데이터셋을 구성하였다. 각 데이터 마이닝 기법으로 예측된 모델을 통해 검증 기간 동안의 안개 발생 유무를 예측하였고 실제 안개 발생 유무와의 검증이 이루어졌다.
- 구축한 신경망 모델구조에서는 3개의 은닉층(hidden layer)을 가지고 28 가중치로 분석하였으며, 각 은닉층의 노드 수에 따른 훈련 횟수를 100번으로 고정하였다. 예측 모델의 예측값과 실측값의 정확도는 고산지역이 92.
- 안개 발생 메카니즘을 분석하고 도로, 관광 등의 기상정보로 제공하고자 안개 예측 정확도 개선을 위해 다양한 데이터마이닝 기법을 이용하여 기계학습을 실시하였다. 본 연구에서 시행한 학습으로는 의사결정나무, 조건부 추론 나무, 랜덤포레스트, 다항 로지스틱 회귀 분석,신경망, 서포트 벡터 머신의 6가지 기법들이다.
- 본 연구에서는 다양한 데이터 마이닝 기법을 통해 안개 발생을 예측하고 검증하고자 R을 통한 6가지의 통계 패키지를 구성하였다. 제주와 고산지역의 기상관측자료 중 시정값을 도출하여 1 km 미만일 때를 안개가 발생한 경우(fog), 1 km 이상일 때를 안개가 발생하지 않은 경우(non_fog)로 설계하여 분석하였다.
- 안개 발생 메카니즘을 분석하고 도로, 관광 등의 기상정보로 제공하고자 안개 예측 정확도 개선을 위해 다양한 데이터마이닝 기법을 이용하여 기계학습을 실시하였다. 본 연구에서 시행한 학습으로는 의사결정나무, 조건부 추론 나무, 랜덤포레스트, 다항 로지스틱 회귀 분석,신경망, 서포트 벡터 머신의 6가지 기법들이다.
- 의사결정나무를 통해 고산지역에서의 안개 발생 유무 예측 결과를 확인하였다. 의사결정나무의 경우 조건부추론 나무와 마찬가지로 입력변수의 분류를 통해 예측을 시도했으며, 본 연구에서 진행한 의사결정나무의 분류도를 Fig.
- R을 통한 6가지 통계 패키지를 활용하여 2015년 제주와 고산지역의 안개 발생 유무를 예측하고 2015년에 대해 검증하여 예측률을 비교하였다. 입력변수는 temp,dtemp, rh, ws, pres, radi 그리고 t-dt로 7개 모든 변수를 사용하였으며, 6개 데이터 마이닝 기법 모두 동일하다(Table 5).
- 제주와 고산지역에서 안개 발생 유무를 예측한 데이터 마이닝 기법을 분석하고 입력변수들 간의 안개 예측 효과를 파악하였다. 다항 로지스틱 회귀분석은 안개 발생 유무를 예측하는 상관계수 중 pres에 의한 영향이 두 지역에서 모두 가장 높았으며, radi에 의한 영향이 가장 낮았다.
- 본 연구에서는 다양한 데이터 마이닝 기법을 통해 안개 발생을 예측하고 검증하고자 R을 통한 6가지의 통계 패키지를 구성하였다. 제주와 고산지역의 기상관측자료 중 시정값을 도출하여 1 km 미만일 때를 안개가 발생한 경우(fog), 1 km 이상일 때를 안개가 발생하지 않은 경우(non_fog)로 설계하여 분석하였다. 2005년부터 2014년의 기상관측자료를 통해 안개 발생 유무 즉, fog와 non_fog를 예측하는 통계 예측 모형을 도출하고, 2015년의 시정값과 기상관측자료를 통해 검증하였다.
대상 데이터
- 학습과 모델 구축, 또한 예측된 결과의 검증을 위해 제주도 연안지역에서의 안개를 예측하기에 적합한 제주와 고산 ASOS 지점의 3시간 간격 기상관측자료를 이용하였다(Table 2). 2005년 1월 1일 2014년 12월 31일 자료는 학습과 통계 예측 모형 도출을 위해 사용되었고, 2015년 1월 1일 2015년 12월 31일까지 자료로 각 모델을 통해 예측된 안개 결과를 검증하였으며, 학습 시 구성되는 입력자료에 결측값이 있는 경우는 그 전체 레코드를 제거함으로써 우수한 학습을 위한 필터링된 데이터셋을 구성하였다. 각 데이터 마이닝 기법으로 예측된 모델을 통해 검증 기간 동안의 안개 발생 유무를 예측하였고 실제 안개 발생 유무와의 검증이 이루어졌다.
- 2005년부터 2014년의 기상관측자료를 통해 안개 발생 유무 즉, fog와 non_fog를 예측하는 통계 예측 모형을 도출하고, 2015년의 시정값과 기상관측자료를 통해 검증하였다. 기상관측자료는 기온(이하 temp), 노점온도(이하 dtemp), 상대습도(이하 rh), 풍속(이하 ws), 현지기압(이하 pres), 일사량(이하 radi) 그리고 기온과 노점온도의 차(기온노점차, 이하 t-dt)의 총 7개 요소이다.
- 2). 대상지역의 지형과 지표면 상태를 현실적으로 반영하기 위하여 고해상도 지형고도(shuttle radar topography mission 3sec, SRTM3sec)와 토지피복자료(environmental geographic infor-mation system, EGIS)를 사용하였다. 모델링 수행 시 사용된 물리옵션 중 구름미세물리 모수화 과정은 WSM(WRF single momentum) 6-Class graupel scheme을 적용하였고, 복사과정에서 장파복사기법과 단파복사기법은 RRTM (rapid radiative transfer model)과 Dudhiascheme을 사용하였다.
- 모델링 영역은 Two-way nesting기법을 이용하여 동아시아영역(27 km, D1), 영·호남권영역(09 km, D2), 제주 및 한반도 남해안영역(03km, D3), 그리고 제주도영역(01 km, D4)으로 총 4개의 도메인으로 구성하였다(Fig. 2).
- 안개 발생이 가장 많았던 고산지역의 2015년 4월 안개 발생 유무를 wrf output을 이용하여 예측하였다. 입력변수와 분석 모델은 동일한 6개의 데이터 마이닝 기법을 활용하였으며, 예측 결과를 Table 5에 관측값 검증 결과와 함께 나타내었다.
- 5를 사용하여 기상장을 생성시키고 그 자료들을 입력값으로 사용하여 실제 72시간 이후까지 안개를 예측할 수 있도록 하였다. 초기 및 경계조건은 NCEP/NCAR (national centers for environmental prediction/national centers for atmospheric research)에서 제공하는 FNL (final analyses)자료를 이용하였다.
- 학습과 모델 구축, 또한 예측된 결과의 검증을 위해 제주도 연안지역에서의 안개를 예측하기에 적합한 제주와 고산 ASOS 지점의 3시간 간격 기상관측자료를 이용하였다(Table 2). 2005년 1월 1일 2014년 12월 31일 자료는 학습과 통계 예측 모형 도출을 위해 사용되었고, 2015년 1월 1일 2015년 12월 31일까지 자료로 각 모델을 통해 예측된 안개 결과를 검증하였으며, 학습 시 구성되는 입력자료에 결측값이 있는 경우는 그 전체 레코드를 제거함으로써 우수한 학습을 위한 필터링된 데이터셋을 구성하였다.
이론/모형
- 로지스틱 회귀분석은 단순회귀분석과 다중회귀분석이 선형으로 가정하는데 비해 로지스틱 회귀분석은 S자형으로 가정하며, 일반적으로 종속변수의 범주가 두 개인 경우에 적용된다. 또한 분류가 두 개가 아닌 여러 개가 될 수 있는 경우, 다항 로지스틱 회귀분석을 사용한다(Annette and Adrian, 2008).
- 대상지역의 지형과 지표면 상태를 현실적으로 반영하기 위하여 고해상도 지형고도(shuttle radar topography mission 3sec, SRTM3sec)와 토지피복자료(environmental geographic infor-mation system, EGIS)를 사용하였다. 모델링 수행 시 사용된 물리옵션 중 구름미세물리 모수화 과정은 WSM(WRF single momentum) 6-Class graupel scheme을 적용하였고, 복사과정에서 장파복사기법과 단파복사기법은 RRTM (rapid radiative transfer model)과 Dudhiascheme을 사용하였다. 행성 경계층(planetary boundary layer, PBL)은 YSU (yonsei university) scheme을 사용하였으며, 적운 모수화과정은 Kain-Fritsch scheme을 동아시아영역(D1)에만 적용하였다.
- 본 연구에서 개발된 다양한 모델들 중 어떤 모델이 좋은지의 평가 방법으로는 평가 메트릭을 활용하였다. 분류가 Y, N 두 종류가 있다고 할 때 분류 모델에서의 모델평가 메트릭은 모델에서 구한 분류의 예측값과 데이터의 실제 분류인 실제 값의 발생 빈도를 Table 3과 같은 혼동행렬(confusion matrix)로부터 계산한다.
- 커널 함수에 따라 동일한 데이터를 분석한 결과가 서로 상이하므로 데이터의 종류와 분포에 따라 적절한 커널 함수를 선택하여 사용하거나 필요에 따라 변형하여 사용한다(Cristianini and Taylor, 2000). 본 연구에서는 비선형 데이터의 패턴 구분에 가장 널리 사용 되고 있는가우시안 RBF (radial basis function) 커널 함수를 사용하여 비선형 문제를 해결하고 기존 데이터를 분석 하고자 하며(Cherkassky and Ma, 2004), 이 연구에서 사용할 RBF 커널은 식 (2)와 같이 표현되어진다
- 안개 발생이 가장 많았던 고산지역의 2015년 4월 안개 발생 유무를 wrf output을 이용하여 예측하였다. 입력변수와 분석 모델은 동일한 6개의 데이터 마이닝 기법을 활용하였으며, 예측 결과를 Table 5에 관측값 검증 결과와 함께 나타내었다. 예측률은 6개 모델 모두 80% 이상으로 나타났으나, 안개 발생 유무를 제대로 예측하지 못하여, 예측률 자체를 판단하는 데 있어 특별한 의미를 가지지 못하는 것으로 판단된다.
- 모델링 수행 시 사용된 물리옵션 중 구름미세물리 모수화 과정은 WSM(WRF single momentum) 6-Class graupel scheme을 적용하였고, 복사과정에서 장파복사기법과 단파복사기법은 RRTM (rapid radiative transfer model)과 Dudhiascheme을 사용하였다. 행성 경계층(planetary boundary layer, PBL)은 YSU (yonsei university) scheme을 사용하였으며, 적운 모수화과정은 Kain-Fritsch scheme을 동아시아영역(D1)에만 적용하였다.
성능/효과
- 고산의 경우도 살펴보면, 제주에 비해 안개 발생 예측률을 알 수 있는 Precision, Recall 수치가 더 높은 것으로 보이며, 이는 제주에 비해 고산의 안개 발생 빈도가 높아서 안개 발생 메카니즘에 대한 학습이 더 잘 이루어진 것으로 보인다. Accuracy는 0.97로 서포트 벡터 머신이가장 높았으나, Precision, Recall, Specificity 그리고 F1도 높고 FP Rate는 낮으며, 정확도 Accuracy도 0.94로 두 번째로 높은 신경망의 결과가 종합적으로 봤을 때 가장 좋은 것으로 나타났다.
- 고산의 경우도 살펴보면, 제주에 비해 안개 발생 예측률을 알 수 있는 Precision, Recall 수치가 더 높은 것으로 보이며, 이는 제주에 비해 고산의 안개 발생 빈도가 높아서 안개 발생 메카니즘에 대한 학습이 더 잘 이루어진 것으로 보인다. Accuracy는 0.
- 변수 정확도를 의미하는 MeanDecreaseAccuracy는 두 지역 모두 t-dt가 가장 높은 값을 보여 중요도가 큰 변수로 인식되었고, 제주의 경우는 radi, 고산의 경우는 dtemp가 낮은 값을 보였다. 노드 불순도 개선을 의미하는 MeanDecreaseGini의 경우 pres가 두 지역 모두에서 가장 중요하였으며, radi의 불순도가 가장 낮은 값으로 분석되었다(Fig. 3).
- 제주와 고산지역에서 안개 발생 유무를 예측한 데이터 마이닝 기법을 분석하고 입력변수들 간의 안개 예측 효과를 파악하였다. 다항 로지스틱 회귀분석은 안개 발생 유무를 예측하는 상관계수 중 pres에 의한 영향이 두 지역에서 모두 가장 높았으며, radi에 의한 영향이 가장 낮았다.
- 랜덤포레스트의 경우는 변수 정확도와 노드 불순도를 통해 입력변수 중요도를 측정한다. 변수 정확도를 의미하는 MeanDecreaseAccuracy는 두 지역 모두 t-dt가 가장 높은 값을 보여 중요도가 큰 변수로 인식되었고, 제주의 경우는 radi, 고산의 경우는 dtemp가 낮은 값을 보였다. 노드 불순도 개선을 의미하는 MeanDecreaseGini의 경우 pres가 두 지역 모두에서 가장 중요하였으며, radi의 불순도가 가장 낮은 값으로 분석되었다(Fig.
- 서포트 벡터 머신은 Vanilla kernel 함수를 기본으로 하여 예측 및 검증을 실시하였는데, 제주 지역의 Training error값이 0.095, 고산 지역은 0.109로 분석되었으며, 두 지역 모두 예측률은 높게 나타났으나 안개 발생 유무는 예측하지 못했다.
- 구축한 신경망 모델구조에서는 3개의 은닉층(hidden layer)을 가지고 28 가중치로 분석하였으며, 각 은닉층의 노드 수에 따른 훈련 횟수를 100번으로 고정하였다. 예측 모델의 예측값과 실측값의 정확도는 고산지역이 92.24%로 나타났다.
- 입력변수와 분석 모델은 동일한 6개의 데이터 마이닝 기법을 활용하였으며, 예측 결과를 Table 5에 관측값 검증 결과와 함께 나타내었다. 예측률은 6개 모델 모두 80% 이상으로 나타났으나, 안개 발생 유무를 제대로 예측하지 못하여, 예측률 자체를 판단하는 데 있어 특별한 의미를 가지지 못하는 것으로 판단된다. 이는 수치모델 결과에서 습도장을 제대로 모사하지 못함에 따른 결과로 보이며, 우수한 습도장 예측을 위한 자료동화 등의 부가적인 작업이 수행되어야 할 것으로 사료된다
- Sohn(2010)은 고산, 서귀포, 제주 등의 관측소를 포함하고 있는 제주 지역에서는 여름, 봄 순으로 안개가 많이 발생하였고, 가을과 겨울에는 안개가 거의 발생하지 않았음을 밝혔다. 제주 지역은 운량, 상대습도, 강수량의 값이 클수록 그 해의 안개 발생빈도가 증가하였고, 일교차와 해면기압은 반대로 그 값이 작을 때 안개 발생이 많았다. 이는 제주도에서 발생한 안개 사례의 70%는 서쪽의 고산과 남쪽의 서귀포에서 발생한 것이며, 전선 및 저기압 통과에 연관된 것이 60%라고 한 Heo and Ha(2004)의 연구와 일치하는 내용이다.
- 제주도의 제주와 고산지역의 10년간 관측값으로 학습하여 만든 모든 모델들의 2015년 관측값과의 검증에 의하면 모델 모두 92%를 넘는 예측률을 보여주었고, 안개 발생이 가장 많았던 고산의 2015년 4월의 수치모델 결과를 입력장으로 사용한 예측률 또한 80%을 넘는 것으로 분석되었다. 최종적으로 모델들의 종합적 평가를 위해 혼동 행렬로부터 계산한 메트릭 평가를 시행하였고,모두 Accuracy는 높은 편이나 다른 통계분석 결과들을 통합적으로 봤을 때 신경망이 데이터 마이닝 기법 중 안개 발생 유무 예측에 가장 효과적이라고 판단된다.
- 제주와 고산지역 모두 데이터 마이닝 기법 중 실제 안개 발생을 가장 정확히 예측한 다항 로지스틱 회귀분석의 제주지역 안개 발생 유무 예측률은 98.87%, 고산지역은 93.28%로 다른 분석 기법과 유사하게 높은 예측률을 나타내었다. 의사결정나무와 신경망 모델의 경우 고산지역의 안개 발생 유무만을 예측할 뿐, 제주지역의 안개 발생을 제대로 예측하지 못하였다.
- 99로 가장 높은 값을 보였으나 코헨의 Kappa수가 높으면서,Precision, Recall, F1 점수가 제일 높은 것은 랜덤포레스트로 나타났다. 종합적으로 분석한 결과로는 조건부추론나무가 정확도는 0.98로 FP Rate는 0.009로 낮음으로 인해 안개발생이 없는데 안개로 예측되는 비율도 낮으면서 안개 발생 유, 무 전체를 예측하는 정확도는 높은 것으로 보인다.
- 제주도의 제주와 고산지역의 10년간 관측값으로 학습하여 만든 모든 모델들의 2015년 관측값과의 검증에 의하면 모델 모두 92%를 넘는 예측률을 보여주었고, 안개 발생이 가장 많았던 고산의 2015년 4월의 수치모델 결과를 입력장으로 사용한 예측률 또한 80%을 넘는 것으로 분석되었다. 최종적으로 모델들의 종합적 평가를 위해 혼동 행렬로부터 계산한 메트릭 평가를 시행하였고,모두 Accuracy는 높은 편이나 다른 통계분석 결과들을 통합적으로 봤을 때 신경망이 데이터 마이닝 기법 중 안개 발생 유무 예측에 가장 효과적이라고 판단된다.
- 흔히 정확도로 사용되어지는 Accuracy의 경우는 제주에서는 의사결정나무, 신경망, SVM이 0.99로 가장 높은 값을 보였으나 코헨의 Kappa수가 높으면서,Precision, Recall, F1 점수가 제일 높은 것은 랜덤포레스트로 나타났다. 종합적으로 분석한 결과로는 조건부추론나무가 정확도는 0.
후속연구
- 결론적으로 제주 지역에서의 안개 발생 유무 예측을 위해서는 신경망 기법을 활용하면 빠르고 정확한 안개예측이 가능하리라 본다. 하지만 제주도의 경우는 연안보다도 중산간 지역에서의 복사안개 및 활승안개 발생 빈도가 높은 것으로 나타나 실제 도로기상 예보로 활용 가능한 모형을 개발하기에는 기계 학습할 관측자료 수집에 한계가 있다.
- 예측률은 6개 모델 모두 80% 이상으로 나타났으나, 안개 발생 유무를 제대로 예측하지 못하여, 예측률 자체를 판단하는 데 있어 특별한 의미를 가지지 못하는 것으로 판단된다. 이는 수치모델 결과에서 습도장을 제대로 모사하지 못함에 따른 결과로 보이며, 우수한 습도장 예측을 위한 자료동화 등의 부가적인 작업이 수행되어야 할 것으로 사료된다
- 하지만 제주도의 경우는 연안보다도 중산간 지역에서의 복사안개 및 활승안개 발생 빈도가 높은 것으로 나타나 실제 도로기상 예보로 활용 가능한 모형을 개발하기에는 기계 학습할 관측자료 수집에 한계가 있다. 향후 중산간 지역의 시정 관측 등을 추가함으로써 확보된 기상 자료들의 데이터베이스 구축을 통해 제주 지역에서 안개로 인해 발생하는 교통사고 등의 위험을 줄이기 위한, 더 개선된 데이터 마이닝 기법의 안개 예측모델을 개발하고자 한다
※ AI-Helper는 부적절한 답변을 할 수 있습니다.