[논문]기상 데이터에서 대기 오염도 요소의 결측치 보완 기법 제안

조동철; 한희일

doi:10.7236/jiibc.2021.21.1.181

기상 데이터에서 대기 오염도 요소의 결측치 보완 기법 제안
Proposal to Supplement the Missing Values of Air Pollution Levels in Meteorological Dataset 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.21 no.1, 2021년, pp.181 - 187

조동철 (한국외국어대학교 공과대학 정보통신공학과) , 한희일 (한국외국어대학교 공과대학 정보통신공학과)

초록
AI-Helper

최근 들어 대기오염으로 인한 피해를 줄이기 위하여 다양한 대기오염 요소를 측정, 분석하고 있다. 이 과정에서 다양한 원인으로 인하여 적지 않은 결측치가 발생한다. 이를 보완하기 위해서는 방대한 크기의 학습 데이터를 필요로 한다. 본 논문에서는 적은 양의 학습 데이터를 이용하여 오존, 이산화탄소, 초미세먼지 등을 측정하는 과정에서 발생하는 결측치를 효과적으로 보완하는 통계적 기법을 제안한다. 제안 알고리즘은 우선 기상데이터와 대기오염도 요소 간의 상관관계, p-값 등의 통계정보 분석을 통해 결측치 보완에 긍정적인 영향을 줄 것이라 예상되는 기상데이터 그룹을 추출한 다음, 이들을 분석하여 효율적이고 효과적으로 결측치를 보완하는 기법이다. 제안 알고리즘의 성능을 확인하기 위하여 다양한 실험을 통하여 널리 알려진 대표적인 알고리즘들과 그 특성을 비교분석한다.

Abstract ▼ AI-Helper

Recently, various air pollution factors have been measured and analyzed to reduce damages caused by it. In this process, many missing values occur due to various causes. To compensate for this, basically a vast amount of training data is required. This paper proposes a statistical techniques that effectively compensates for missing values generated in the process of measuring ozone, carbon dioxide, and ultra-fine dust using a small amount of learning data. The proposed algorithm first extracts a group of meteorological data that is expected to have positive effects on the correction of missing values through statistical information analysis such as the correlation between meteorological data and air pollution level factors, p-value, etc. It is a technique that efficiently and effectively compensates for missing values by analyzing them. In order to confirm the performance of the proposed algorithm, we analyze its characteristics through various experiments and compare the performance of the well-known representative algorithms with ours.

주제어

표/그림 (7)

표 표 1. 기상데이터 요소 간 상관관계, p-값에 따른 데이터 그룹 분류 Table 1. Division into groups of the elements in weather dataset according to the correlation and the p-values among their elements.
표 표 2. 기상데이터 그룹 간 상관관계 Table 2. Correlation among the elements in weather dataset.
표 표 3. 대기오염도 요소의 결측치 수 및 비율 Table 3. The numbers of missing values and their rates in the elements of the air pollution levels.
표 표 4. 기상데이터 요소의 결측치 수 및 비율 Table 4. The numbers of missing values and their rates in the elements of the weather dataset.
표 표 5. 결측치 비율에 따른 오존에 대한 결측치 보완 성능 비교 (단위 : ppm) Table 5. Performances of supplementing missing values for the ozon data when the MICE, MissForest, Amelia and our proposed model are applied. (Unit : ppm)
표 표 6. 결측치 비율에 따른 이산화탄소에 대한 결측치 보완 성능 비교 (단위 : ppm) Table 6. Performances of supplementing missing values for the dioxide data when the MICE, MissForest, Amelia and our proposed model are applied. (Unit : ppm)
표 표 7. 결측치 비율에 따른 초미세먼지에 대한 결측치 보완 성능 비교 (단위 : ㎍/㎥) Table 7. Performances of supplementing missing values for the ultra fine dust data when the MICE, MissForest, Amelia and our proposed model are applied. (Unit : ppm)

AI 본문요약
AI-Helper

가설 설정

과정 2: 선형회귀모델의 그래프와 오존, 이산화탄소, 초미세먼지의 잔차와 기울기를 비교하여 잔차가 가장 낮고, 기울기가 큰 선형회귀 모델의 그래프를 추출한다. 추출한 그래프가 정규분포를 따르는지 확인한다.
과정 4: 위 과정이 끝난 후 선형회귀모델의 그룹을 선정하여 오존, 이산화탄소, 초미세먼지의 결측치 보완에 사용하고 다중선형회귀분석을 통해 결측치를 보완한다.
그런 다음 선정된 그룹의 자료를 이용하여 대기오염도 요소의 결측치를 보완한다. 이 때, 선정된 그룹에 따라 관련성이 높고 신뢰도가 높은 그룹에서는 결측치 보완의 성능이 높고 관련성이 낮고 신뢰도가 낮은 그룹에서는 결측치보완의 성능이 낮을 것이라는 가설을 세운다. 이후 제시한 기법을 적용하여 대기 오염도 데이터에서 발생한 결측치를 추정하고 널리 알려진 알고리즘들과 성능을 비교분석한다.

제안 방법

그리고 상관성, 계절성, 정상성 등에 따라 나눈 그룹과 대기오염도 요소의 관계를 파악하여 특정관계가 결측치 추정과정에 긍정적인 영향을 주는지 여부를 파악한다. 제안 알고리즘은 다음과 같이 네 개의 과정에 따라 동작한다.
기상 데이터 간 상관관계와 계절성 등을 파악하여 기상 데이터를 그룹으로 나누고, 나눈 그룹을 이산화탄소, 오존, 초미세먼지 등의 대기오염도 요소의 결측치를 통계기법을 적용하여 추정한다. 나눈 그룹을 대기오염도 요소에 적용할 때 상관도와 계절성을 파악하여 적용하여야 하는데, 상관도를 파악하기 위해 피어슨 상관계수를 사용하고, 피어슨 상관계수의 신뢰도를 측정하기 위해 다음과 같은 p-값을 이용한다.
Ⅲ. 제안 기법

기상데이터의 요소 간 상관계수, p-값, ACF, PACF 등의 분석을 통해 상관성, 계절성, 정상성 등에 따라 데이터 그룹을 나눈다. 표 1은 본 논문에서 이용한 기상 데이터를 이용하여 구한 데이터 그룹을 보여 준다.
본 논문에서는 기상데이터들을 분석하여 상관도, 신뢰도, 계절성 등에 따라 네 개의 그룹으로 나누고 대기 오염도 요소와 기상 데이터 그룹 간의 관계를 파악하여 통계적으로 결측치를 구하는 알고리즘을 제안하였다. 제안 알고리즘은 딥러닝 기법을 이용하는 알고리즘들에 비하여 월씬 적은 양의 학습 데이터로 모수를 추정할 수 있는 장점이 있다.
회귀모형에 포함되는 예측변수는, 종속변수와는 상관관계가 높지만 예측 변수들 간에는 낮은 상관관계를 갖도록 선정된다. 선정된 예측변수와 종속변수들 간에 선형회귀를 각각 적용한 후, 상관계수와와 변화율이 크고 잔차가 작은 순서로 두 개의 예측변수를 최종 선정하여 다중선형회귀에 적용함으로써 결측치를 보완한다.
이 때, 선정된 그룹에 따라 관련성이 높고 신뢰도가 높은 그룹에서는 결측치 보완의 성능이 높고 관련성이 낮고 신뢰도가 낮은 그룹에서는 결측치보완의 성능이 낮을 것이라는 가설을 세운다. 이후 제시한 기법을 적용하여 대기 오염도 데이터에서 발생한 결측치를 추정하고 널리 알려진 알고리즘들과 성능을 비교분석한다.
본 논문에서는 대기오염도 요소에서 발생하는 결측치를 보완하기 위해 기상 데이터를 이용한다. 제안하는 방식은 우선 대기 오염도 요소와 기상 데이터의 상관도, 계절성 등을 파악하여 기상데이터를 여러 그룹으로 나눈 후 관련성이 높은 그룹과 낮은 그룹을 선정한다. 그런 다음 선정된 그룹의 자료를 이용하여 대기오염도 요소의 결측치를 보완한다.

대상 데이터

본 논문에서는 2016년 1월 1일부터 2018년 12월 31일까지 3년간 서울시 강남구의 평균 대기오염도 정보를 이용하여 다음과 같은 데이터셋을 구축한다. 대기오염도 요소 중 오존, 이산화탄소, 초미세먼지를 선정하여 사용하는데, 그 데이터는 총 3,288개로 구성된다. 그리고 동일한 장소와 동일한 기간 동안 기상청에서 공개한 종관기상관측 자료로부터 다음과 같은 데이터셋을 추출하여 구성한다.
본 논문에서는 2016년 1월 1일부터 2018년 12월 31일까지 3년간 서울시 강남구의 평균 대기오염도 정보를 이용하여 다음과 같은 데이터셋을 구축한다. 대기오염도 요소 중 오존, 이산화탄소, 초미세먼지를 선정하여 사용하는데, 그 데이터는 총 3,288개로 구성된다.
본 논문에서는 대기오염도 요소에서 발생하는 결측치를 보완하기 위해 기상 데이터를 이용한다. 제안하는 방식은 우선 대기 오염도 요소와 기상 데이터의 상관도, 계절성 등을 파악하여 기상데이터를 여러 그룹으로 나눈 후 관련성이 높은 그룹과 낮은 그룹을 선정한다.
실험을 위하여 오존, 이산화탄소, 초미세먼지 데이터에서 각각 3%, 10%, 20%의 결측치를 무작위로 발생시킨다. 표 1에 제시한 네 개의 그룹 중에서 그룹 D는 다른 세 그룹과의 상관관계가 불규칙적이므로 그룹 D를 제외한 나머지 그룹으로 실험군을 구성한다.
그리고 동일한 장소와 동일한 기간 동안 기상청에서 공개한 종관기상관측 자료로부터 다음과 같은 데이터셋을 추출하여 구성한다. 이 데이터셋은 평균기온, 일 강수량, 평균 풍속, 평균 이슬점 온도, 평균 상대습도, 평균 증기압, 평균 현지 기압, 평균 해면 기압, 합계 일조시간, 합계 일사량, 평균 지면온도 등을 포함하며 총 12,056개로 구성된다. 대기오염도 요소와 기상 데이터의 결측치 수와 그 비율은 표 3과 표 4에 각각 제시한다.

데이터처리

기상 데이터를 구성하는 평균기온, 일 강수량, 평균 풍속, 평균 이슬점 온도 등, 11 가지 요소에 대해 상관관계와 p-value 값을 분석하는데 피어슨 상관계수와 단측 검정을 기준으로 유의수준을 0.05로 정하여 분석한다. 표 2는 각 그룹 간의 상관관계를 보여준다.
기상 데이터 간 상관관계와 계절성 등을 파악하여 기상 데이터를 그룹으로 나누고, 나눈 그룹을 이산화탄소, 오존, 초미세먼지 등의 대기오염도 요소의 결측치를 통계기법을 적용하여 추정한다. 나눈 그룹을 대기오염도 요소에 적용할 때 상관도와 계절성을 파악하여 적용하여야 하는데, 상관도를 파악하기 위해 피어슨 상관계수를 사용하고, 피어슨 상관계수의 신뢰도를 측정하기 위해 다음과 같은 p-값을 이용한다.
제안 기법의 성능을 확인하기 위하여 Amelia, Mice, MissForest 알고리즘의 결과와 비교한다. 이 때, 평균제곱근오차(Root Mean Square Error : RMSE)를 평가지표로 이용한다. 표 5는 오존 데이터에 대하여 결측치 보완을 수행한 다음 실측 정보(ground-truth)와의 RMSE 계산 결과를 보여준다.
제안 기법의 성능을 확인하기 위하여 Amelia, Mice, MissForest 알고리즘의 결과와 비교한다. 이 때, 평균제곱근오차(Root Mean Square Error : RMSE)를 평가지표로 이용한다.
제안 알고리즘은 딥러닝 기법을 이용하는 알고리즘들에 비하여 월씬 적은 양의 학습 데이터로 모수를 추정할 수 있는 장점이 있다. 제안 알고리즘의 성능을 확인하기 위하여 R에서 제공하는 대표적인 결측치 보완기법인 MICE, MisForest, Amelia 등과 RMSE 관점에서 성능을 비교하였다. 결측치 비율에 따라 성능차이가 다르게 나타나지만 기존의 대표적인 세 알고리즘들에 비하여 전체적으로 대등한 성능을 보여주고 있음을 확인하였다.
통계분석의 방법 중 본 논문에서는 추론통계 기법을 이용한다. 추론통계란 단순히 숫자를 요약하는 것이 아닌 어떤 값이 발생할 확률을 계산하는 통계기법이다.

성능/효과

마찬가지로 이산화탄소, 초미세먼지에 대하여 동일한 실험을 수행하였을 때 RMSE 성능은 각각 표 6과 표 7에 제시한다. 결측치 비율에 따라 성능 차이가 다르게 나타나지만 널리 알려진 대표적인 세 알고리즘들에 비하여 전체적으로 대등한 성능을 보여주고 있음을 알 수 있다.
제안 알고리즘의 성능을 확인하기 위하여 R에서 제공하는 대표적인 결측치 보완기법인 MICE, MisForest, Amelia 등과 RMSE 관점에서 성능을 비교하였다. 결측치 비율에 따라 성능차이가 다르게 나타나지만 기존의 대표적인 세 알고리즘들에 비하여 전체적으로 대등한 성능을 보여주고 있음을 확인하였다.
본 논문에서는 기상데이터들을 분석하여 상관도, 신뢰도, 계절성 등에 따라 네 개의 그룹으로 나누고 대기 오염도 요소와 기상 데이터 그룹 간의 관계를 파악하여 통계적으로 결측치를 구하는 알고리즘을 제안하였다. 제안 알고리즘은 딥러닝 기법을 이용하는 알고리즘들에 비하여 월씬 적은 양의 학습 데이터로 모수를 추정할 수 있는 장점이 있다. 제안 알고리즘의 성능을 확인하기 위하여 R에서 제공하는 대표적인 결측치 보완기법인 MICE, MisForest, Amelia 등과 RMSE 관점에서 성능을 비교하였다.

후속연구

향후에는 결측치 추정의 정확도를 향상시키기 위하여 기상 데이터와 대기 오염도 간의 상호 관련성을 보다 세분화하여 구하는 알고리즘 개발을 위한 연구를 계속 진행할 계획이다.

참고문헌 (16)

Jihoon Yoo, Dongil Shin, Dongkyoo Shin, "Prediction System of Fine Particulate Matter Concentration Index by Meteorological and Air Pollution Material Factors Based on Apache Spark and Machine Learning", SoICT 2019: Proceedings of the Tenth International Symposium on Information and Communication Technology, pp 479-485, December 2019. DOI: https://doi.org/10.1145/3368926.3369684
Kyunghak Cho, Byoung-young Lee, Myeongheum Kwon, and Seogcheol Kim, "Air Quality Prediction Using a Deep Neural Network Model", Journal of Korean Society for Atmospheric Environment, Vol.35, No.2, pp 214-225, April 2019. DOI: https://doi.org/10.5572/KOSAE.2019.35.2.214

상세보기
Taehee Kim, Jisu Myoung, Yonghee Lee, Insuk Suh, and Limsuk Jang, "A Study on Influence of Meteorological Patterns on Data Assimilation Effect Using the Air Quality Prediction Model", Journal of Korean Society for Atmospheric Environment, Vol. 35, No. 1, pp 49-59, Feb 2019. DOI: https://doi.org/10.5572/KOSAE.2019.35.1.049

상세보기
Myungsik Jeon and Seungjun Shin, "Comparison Study for Missing Imputation Methods: A Focus on Canonical Discriminant Analysis", Journal of the Korean Data Analysis Society, Vol. 9, No. 2, pp. 673-685, Sep. 2007. UCI: G704-000930.2007.9.2.023
Sung Cheol Yun, "Imputation of Missing Values", Journal of Preventive Medicine and Public Health, Vol. 37, Issue 3, pp 209-211, 2004. URI:https://www.jpmph.org/journal/view.php?number1772
Yeonjin Kim, Heonjin Park, "Comparison of Missing Imputation Methods In Fine Dust Data", Journal of Big Data, Vol. 4, No. 2, pp. 105-110, 2019. DOI: https://doi.org/10.36498/kbigdt.2019.4.2.105
YoungJun Lee, Susik Yoon, and Jae-Gil Lee, "A Survey on Handling Missing Values in Multivariate Time Series Data Using Deep Learning", Communications of the Korean Institute of Information Scientists and Engineers, Vol. 35, No. 3, pp. 54-65, 2019. URI: https://koasas.kaist.ac.kr/handle/10203/271398
Zhengping Che, Sanjay Purushotham, Kyunghyun Cho, DWavid Sontag, and Yan Liu, "Recurrent Neural Networks for Multivariate Time Series with Missing Values", Scientific Reports 8, 6085, 2018. DOI: https://doi.org/10.1038/s41598-018-24271-9

상세보기
Joon-Mook Lim, "An Estimation Model of Fine Dust Concentration Using Meteorological Environment Data and Machine Learning", Journal of Information Technology Services, Vol. 18, Issue 1, pp. 173-186, Mar. 2019. DOI: https://doi.org/10.9716/KITS.2019.18.1.173

원문보기 상세보기
Patrick Royston and Ian R. White, "Multiple Imputation by Chained Equations (MICE): Implementation in Stata", Journal of Statistical Software, Vol. 45, Issue 4, Dec. 2011. DOI: https://doi.org/10.18637/jss.v045.i04
Daniel J.Stekhoven and Peter Buhlmann, "MissForest Nonparametric Missing Value Imputation for Mixed-Type Data", Bioinformatics, Vol. 28, Issue 1, pp. 112-118, 1 Jan. 2012. DOI: https://doi.org/10.1093/bioinformatics/btr597

상세보기
James Honaker, Garay King, and Matthew Blackwell, "Amelia 2: A Program for Missing Data", Journal of Statistical Software, Vol. 45, Issue 7, Dec. 2011. DOI: https://doi.org/10.18637/jss.v045.i07
Yeonsu Lee and Dongwook Son, "An Analysis of the Relationships between the Characteristics of Urban Physical Environment and Air Pollution in Seoul", Journal of the Urban Design Institute of Korea, Vol. 16, No. 3, pp. 5-19, Jun. 2015. UCI: G704-001620.2015.16.3.002
SooHyun Eom, Chul-Ghi Lee, and Wookey Lee, "An Analysis of Relation between Climate and Air Pollution in Incheon", Journal of Information Technology and Architecture, Vol. 12. No. 2, pp. 271-276, Jun. 2015. UCI: G704-SER000010357.2015.12.2.004
Gyoo Seok Choi, Jong jin Park, Ha-Nam Nguyen, "A Study on Feature Selection Method based on Random Forest for Cancer Diagnosis System", Journal of Korean Institute of Information Technology, Vol. 6, No. 3, pp. 53-61, 2008. UCI: G704-001947.2008.6.3.004

상세보기
Han Sang-Seok, "The Correlation Study of Factors which effect on Insulation Reliability of Inverter Motor Using Statistical Analysis", Journal of Korea Academia-Industrial cooperation Society, Vol. 11, No. 4, pp.1216-1221, 2010. UCI: G704-001653.2010.11.4.044

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증