[논문]부유분진(PM10) 측정기 상태 코드 분석을 통한 자동 품질검사 알고리즘 개선 및 평가

김미경; 박영산; 류상범; 조정훈

doi:10.14191/atmos.2019.29.4.501

부유분진(PM10) 측정기 상태 코드 분석을 통한 자동 품질검사 알고리즘 개선 및 평가
Improvement and Evaluation of Automatic Quality Check Algorithm for Particulate Matter (PM10) by Analysis of Instrument Status Code 원문보기

대기 = Atmosphere, v.29 no.4, 2019년, pp.501 - 509

김미경 (국립기상과학원 환경기상연구과) , 박영산 (국립기상과학원 환경기상연구과) , 류상범 (국립기상과학원 환경기상연구과) , 조정훈 (국립기상과학원 환경기상연구과)

Abstract ▼ AI-Helper

Asian Dust is a meteorological phenomenon that sand particles are raised from the arid and semi-arid regions-Taklamakan Desert, Gobi Desert and Inner Mongolia in China-and transported by westerlies and deposited on the surface. Asian dust results in a negative effect on human health as well as environmental, social and economic aspects. For monitoring of Asian Dust, Korea Meteorological Administration operates 29 stations using a continuous ambient particulate monitor. Kim et al. (2016) developed an automatic quality check (AQC) algorithm for objective and systematic quality check of observed PM10 concentration and evaluated AQC with results of a manual quality check (MQC). The results showed the AQC algorithm could detect abnormal observations efficiently but it also presented a large number of false alarms which result from valid error check. To complement the deficiency of AQC and to develop an AQC system which can be applied in real-time, AQC has been modulated. Based on the analysis of instrument status codes, valid error check process was revised and 6 status codes were further considered as normal. Also, time continuity check and spike check were modified so that posterior data was not referred at inspection time. Two-year observed PM10 concentration data and corresponding MQC results were used to evaluate the modulated AQC compared to the original AQC algorithm. The results showed a false alarm ratio decreased from 0.44 to 0.09 and the accuracy and the probability of detection were conserved well in spite of the exclusion of posterior data at inspection time.

주제어

표/그림 (10)

표 Table 1. Status codes for three modes (Thermo Fisher Scientific Inc., 2010).
표 Table 2. Description of AQC algorithm.
표 Table 3. Station information and number of significant data and percentage of false alarm, normal data considered at MQC and AQC, and result of AQC.
표 Table 4. Frequency for each status code and its ratio of false alarm from 2013 to 2014.
표 Table 5. Status codes which frequency records high false alarm for each station.
그림 Fig. 1. Hourly frequencies of each status code; (a) 000800, (b) 002000, (c) 004000, (d) 080000, (e) 100000 and (f) 200000.
그림 Fig. 2. Seasonal frequencies of 6 status codes.
표 Table 6. Mean and standard deviation of observed PM10 concentration for the normal status code and six status codes at the representative stations.
표 Table 7. Dropout rates of 6 status codes on each AQC step in using revised algorithm.
표 Table 8. Skill scores of AQC algorithms for all stations.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

선행 연구에서 제기한 문제점을 해결하기 위하여 본 연구는 기기 상태 코드별 분석을 통해 상태 코드 처리 기준을 보완하여 허위경보율을 감소시키는 방법을 제안한다. 또한 기존에는 준실시간으로 적용 가능했던 자동 품질검사를 실시간으로 적용할 수 있도록 알고리즘을 수정하여 자동 품질검사 알고리즘을 개선하고 성능을 평가하고자 한다.
그러나 선행 연구는 기기 상태 코드에 대한 추가 분석을 통해 AQC의 성능 개선이 필요 함을 제시한 바 있다. 본 연구는 기기 상태 코드를 분석하고 기기에러 검사의 처리 기준을 개선하여 AQC 의 높은 허위경보율을 개선하였다. 또한, 준실시간으로 적용할 수 있던 기존의 알고리즘을 실시간으로 적용할 수 있도록 수정하고 선행 연구의 성능 평가 결과와 비교하였다.
본 연구는 상태 코드 분석을 통해 허위경보가 높게 나타났던 6개의 상태 코드를 정상 자료로 처리함으로써 AQC를 사용할 때 실시간 감시 효율을 높일수 있는 방안을 제시하였다. 관측 장비의 상태 코드 분석 자료는 관측 시기별 주요 점검 사항 제작 등 효율적인 장비 운영 지침을 작성하기 위한 기반 자료로 활용될 수 있다.
선행 연구에서 제기한 문제점을 해결하기 위하여 본 연구는 기기 상태 코드별 분석을 통해 상태 코드 처리 기준을 보완하여 허위경보율을 감소시키는 방법을 제안한다. 또한 기존에는 준실시간으로 적용 가능했던 자동 품질검사를 실시간으로 적용할 수 있도록 알고리즘을 수정하여 자동 품질검사 알고리즘을 개선하고 성능을 평가하고자 한다.

제안 방법

예외적으로 온도 측정 오류 상태의 경우 정상 자료의 범위 보다 낮은 값이 관측 되었으나, 황사 현상 감시는 고농도 PM₁₀ 의 관측 여부가 중요하므로 정상 자료 범위보다 낮은 측정값은 정상 자료로 간주하였다. 다음으로 시간연속성 검사와 튀는 값 검사 단계에서 검사 기준 시각 5분 후의 미래 자료를 참조하는 부분을 수정하여 실시간으로 품질검사가 가능하도록 하였다.
본 연구는 검사 시각 기준으로 미래 자료를 참조 하지 않고 실시간으로 적용하기 위해 검사 시각(t) 이전 5분(t – 1)과 10분(t – 2) 자료를 사용하여 미래 자료를 사용하지 않도록 선행 연구에서 제시한 검사 식을 다음 식(3), (4)와 같이 변경하였다.
한편, 기존 알고리즘은 4, 5단계 검사 과정에서 검사 시각으로부터 5분 후의 자료를 참조하도록 설계되어 있었다. 본 연구의 분석 과정에서는 AQC 수행 시미래 자료를 참조하지 않고 실시간으로 수행할 수 있도록 알고리즘을 변경하였다. 실시간 AQC 알고리즘을 적용한 결과, 허위경보율은 0.
허위경보가 높게 나타나는 6개의 상태 코드의 지점별 출현 빈도는 Table 5에 제시된 바와 같다. 상태 코드 처리 기준을 변경하기 위하여 허위경보가 높게 나타난 코드를 경고, 오류 상태의 범주 따라 살펴보았다. 각 상태 코드별 발생 빈도를 시간과 계절에 따라 분석하여 Fig.
상태 코드는 16진수로 표현되는 여섯 자리의 코드이며, 앞에서부터 두 자리는 종합 오류 상태, 가운데 두 자리는 경고 상태, 마지막 두 자리는 관측기 작동 상태를 나타낸다. 오류 상태는 세부 오류 사항을 종합적으로 나타내지만 세부 오류 코드에 대한 정보가 부족하여 본 연구에서는 종합 오류 상태 자료만 분석하였다. 각 상태별로 사용되는 코드는 Table 1에 제시하였다.
이를 바탕으로 6개의 상태 코드가 정상으로 처리되도록 알고리즘을 수정하였다. 6개의 상태 코드를 정상으로 처리했을 때 AQC 단계별 플래그를 조사한 결과 평균적으로 약 83% 자료가 정상으로 분류되고 나머지 17% 자료만이 비정상 자료로 검출되었다(Table 7).
결과를 보면, 특정 기기 상태 코드에서 높은 발생 빈도와 허위경보 발생률이 집중적으로 나타났다. 이를 바탕으로 관측기의 정상 작동 중에 발생하는 작동 상태 코드를 제외한 출현 빈도가 5000회 이상이며 허위경보 발생률이 70% 이상인 6개의 기기 상태 코드의 특성을 분석하고 처리 기준을 조정하였다.
전 지점에서 발생하는 기기 상태 코드 중 발생 빈도가 5000회 이상이며 허위경보 발생률이 70% 이상인 6개의 코드(Table 4)를 대상으로 지점별 발생빈도와 코드별 시간 당 발생 횟수를 분석하였다. 각코드별 PM₁₀ 평균 농도 및 표준편차는 대부분 정상 자료의 범위 내에 있는 것으로 나타났다.

대상 데이터

)를 운영하고 있다. 본 연구는 황사 감시를 목적으로 관측하고 있는 PM₁₀ 질량 농도 5분 평균 측정값을 사용하였다. 품질검사 알고리즘의 기기에러 검사를 개선하기 위해 부유분진 측정기의 기기 상태 코드 자료를 사용하였다.
또한 자동 품질검사 알고리즘의 성능을 평가하기 위해 관측자가 수행하는 수동 품질검사(Manual Quality Check, MQC) 정보를 사용하였다. 알고리즘 개선 후 선행 연구와 비교하기 위해 2013년부터 2014년까지 동일한 기간의 자료를 대상으로 분석하였으며, 현재는 관측이 종료된 지점을 제외한 총 27개 지점의 자료를 사용하였다.
본 연구는 황사 감시를 목적으로 관측하고 있는 PM₁₀ 질량 농도 5분 평균 측정값을 사용하였다. 품질검사 알고리즘의 기기에러 검사를 개선하기 위해 부유분진 측정기의 기기 상태 코드 자료를 사용하였다. 상태 코드는 16진수로 표현되는 여섯 자리의 코드이며, 앞에서부터 두 자리는 종합 오류 상태, 가운데 두 자리는 경고 상태, 마지막 두 자리는 관측기 작동 상태를 나타낸다.

데이터처리

6개의 상태 코드가 가장 많이 나타났던 지점을 각각 선택하여 상태 코드가 ‘정상’일 때와 허위경보가 높은 상태 코드가 발생했을 때의 관측 PM10 평균 농도와 표준편차를 비교하였다(Table 6).
본 연구는 기기 상태 코드를 분석하고 기기에러 검사의 처리 기준을 개선하여 AQC 의 높은 허위경보율을 개선하였다. 또한, 준실시간으로 적용할 수 있던 기존의 알고리즘을 실시간으로 적용할 수 있도록 수정하고 선행 연구의 성능 평가 결과와 비교하였다.

이론/모형

각 상태별로 사용되는 코드는 Table 1에 제시하였다. 또한 자동 품질검사 알고리즘의 성능을 평가하기 위해 관측자가 수행하는 수동 품질검사(Manual Quality Check, MQC) 정보를 사용하였다. 알고리즘 개선 후 선행 연구와 비교하기 위해 2013년부터 2014년까지 동일한 기간의 자료를 대상으로 분석하였으며, 현재는 관측이 종료된 지점을 제외한 총 27개 지점의 자료를 사용하였다.

성능/효과

이를 바탕으로 6개의 상태 코드가 정상으로 처리되도록 알고리즘을 수정하였다. 6개의 상태 코드를 정상으로 처리했을 때 AQC 단계별 플래그를 조사한 결과 평균적으로 약 83% 자료가 정상으로 분류되고 나머지 17% 자료만이 비정상 자료로 검출되었다(Table 7). 유량 조절 오류(‘080000’)의 경우 오류 상태에서 비정상을 나타내는 다른 코드와 동시에 발생하여 2단계에서 비정상 자료로 분류되었다.
AQC의 기기 상태 코드 처리 기준을 개선한 결과, 전 지점 정확도는 0.997, 허위경보율은 0.088로 나타 났으며 정상 자료 판별률은 MQC의 정상 자료 판별률(96%)에 근접한 94%로 나타났다. 또한 실시간 품질검사를 수행할 수 있도록 수정한 알고리즘을 적용한 결과, 허위경보율은 0.
선행 연구의 분석에 사용된 유효 자료 수, 허위경보 횟수, MQC, AQC 결과 및 관측 환경 정보는 Table 3에 제시된 바와 같다. AQC의 성능을 평가한 결과 허위경보는 0.1%에서 13.5%로 나타났으며 평균적으로 2.1%의 허위경보가 발생하였다. Kim et al.
Table 4는 기기 상태 코드의 출현 빈도와 출현 시 허위경보 발생률을 분석한 결과이다. 결과를 보면, 특정 기기 상태 코드에서 높은 발생 빈도와 허위경보 발생률이 집중적으로 나타났다. 이를 바탕으로 관측기의 정상 작동 중에 발생하는 작동 상태 코드를 제외한 출현 빈도가 5000회 이상이며 허위경보 발생률이 70% 이상인 6개의 기기 상태 코드의 특성을 분석하고 처리 기준을 조정하였다.
경고 상태에서는 상대습도 관련, 질량 신호 보정 관련, Plateau check 관련 코드에서 허위경보가 높게 나타났다. 상대습도와 관련된 경고 상태 코드는 ‘000800’ 이며, 부유분진 측정기의 온도 센서를 통해 계산된 상대습도가 설정값의 10%를 초과하면 경고 상태가 발생한다(Thermo Fisher Scientific Inc.
관측 환경의 변화로 인해 정상 작동 외의 다른 상태 코드가 발생할 수 있으며, 이는 전체 자료 중 약 4%로 나타났다. 정상 작동이 아닌 다른 코드가 계속해서 발생하는 경우 기기 점검 및 유지 보수가 이루 어지며, 관측 장비 점검과 유지 보수가 완료되기까지 소요되는 시간이 있기 때문에 얼마 간은 이러한 상태 코드가 발생한다.
그러나 관측 환경이 유사한 다른 관측소와 비교하였을 때 평균 상대습도와 표준편차(77 ± 9%)는 큰 차이를 보이지 않는 것으로 나타났다.
088로 나타 났으며 정상 자료 판별률은 MQC의 정상 자료 판별률(96%)에 근접한 94%로 나타났다. 또한 실시간 품질검사를 수행할 수 있도록 수정한 알고리즘을 적용한 결과, 허위경보율은 0.080으로 감소하였고 임계성 공지수는 0.899로 증가하였다. 이를 통해 실시간 AQC 알고리즘을 적용하여도 성능 저하가 일어나지 않음을 확인하였다.
Plateau check는 부유분진 측정 기의 입자 검출기가 베타선을 이용하여 PM₁₀을 측정 하는 과정에서 알파선의 간섭을 최소화하도록 설정되어 있는지 확인하는 과정이며 자동으로 필터가 교체 되는 과정에서 수행된다. 시간별 발생 빈도는 뚜렷한 특징이 없었으나 계절별로는 봄철과 겨울철에 거의 발생하지 않고 주로 여름철에 발생하는 것으로 나타났다. 이러한 경고 상태 코드가 계속해서 나타난다면 장비 점검이 필요한 신호로 생각할 수 있다.
본 연구의 분석 과정에서는 AQC 수행 시미래 자료를 참조하지 않고 실시간으로 수행할 수 있도록 알고리즘을 변경하였다. 실시간 AQC 알고리즘을 적용한 결과, 허위경보율은 0.088에서 0.080으로 감소하고 임계성공지수는 0.891에서 0.899로 증가하여 실시간 알고리즘을 적용하여도 성능 저하가 일어나지 않음을 확인하였다.
899로 증가하였다. 이를 통해 실시간 AQC 알고리즘을 적용하여도 성능 저하가 일어나지 않음을 확인하였다.
979로 높게 나타났다. 자동 품질검사에서 비정상으로 판별하였으나 수동 품질검사는 정상으로 판정한 비율을 의미하는 허위경보율(False alarm ratio, FAR)은 0.423로 높게 나타났고, 종합적인 숙련도 지수인 임계성공지수(Critical success index, CSI)는 0.572로 낮게 나타났다. Kim et al.

후속연구

본 연구는 상태 코드 분석을 통해 허위경보가 높게 나타났던 6개의 상태 코드를 정상 자료로 처리함으로써 AQC를 사용할 때 실시간 감시 효율을 높일수 있는 방안을 제시하였다. 관측 장비의 상태 코드 분석 자료는 관측 시기별 주요 점검 사항 제작 등 효율적인 장비 운영 지침을 작성하기 위한 기반 자료로 활용될 수 있다. 추후 장비 상태 코드의 주기적인 통계 분석을 통해 체계적인 장비 관리 지침을 작성할 수 있을 것으로 기대한다.
관측 장비의 상태 코드 분석 자료는 관측 시기별 주요 점검 사항 제작 등 효율적인 장비 운영 지침을 작성하기 위한 기반 자료로 활용될 수 있다. 추후 장비 상태 코드의 주기적인 통계 분석을 통해 체계적인 장비 관리 지침을 작성할 수 있을 것으로 기대한다.

참고문헌 (20)

Chung, Y.-S., T.-K. Kim, and J.-S. Chung, 1992: On relationship of low visibility to air pollution in cities. J. Korean Soc. Atmos. Environ., 8, 1-6 (in Korean with English abstract).
Easterling, D. R., and T. C. Peterson, 1995: A new method for detecting undocumented discontinuities in climatological time series. Int. J. Climatol., 15, 369-377.

상세보기
Eguchi, K., I. Uno, K. Yumimoto, T. Takemura, A. Shimizu, N. Sugimoto, and Z. Liu, 2009: Trans-pacific dust transport: integrated analysis of NASA/CALIPSO and a global aerosol transport model, Atmos. Chem. Phys., 9, 3137-3145.

상세보기
Goudie, A. S., 2014: Desert dust and human health disorders. Environ. Int., 63, 101-113, doi:10.1016/j.envint.2013.10.011.

상세보기
Husar, R. B., and Coauthors, 2001: Asian dust events of April 1998. J. Geophys. Res., 106, 18317-18330.

상세보기
Iwasaka, Y., H. Minoura, and K. Nagaya, 1983: The transport and spacial scale of Asian dust-storm clouds: a case study of the dust-storm event of April 1979. Tellus B, 35B, 189-196.

상세보기
Jiang, Z., Z. Liu, T. Wang, C. S. Schwartz, H.-C. Lin, and F. Jiang, 2013: Probing into the impact of 3DVAR assimilation of surface PM10 observations over China using process analysis. J. Geophys. Res., 118, 6738-6749, doi:10.1002/jgrd.50495.
Kim, J., 2008. Transport routes and source regions of Asian dust observed in Korea during the past 40 years (1965-2004). Atmos. Environ., 42, 4778-4789.

상세보기
Kim, S., H. C. Lee, and S.-B. Ryoo, 2016: Development and assessment of real-time quality control algorithm for PM10 data observed by continuous ambient particulate monitor. Atmosphere, 26, 541-551 (in Korean with English abstract).

원문보기 상세보기
Lee, E.-H., and B.-J. Sohn, 2011: Recent increasing trend in dust frequency over Mongolia and Inner Mongolia regions and its association with climate and surface condition change. Atmos. Environ., 45, 4611-4616, doi:10.1016/j.atmosenv.2011.05.065.

상세보기
Lee, H., H. Kim, Y. Honda, Y.-H. Lim, and S. Yi, 2013: Effect of Asian dust storms on daily mortality in seven metropolitan cities of Korea. Atmos. Environ., 79, 510-517, doi:10.1016/j.atmosenv.2013.06.046.

상세보기
Lee, J., and K.-Y. Kim, 2018: Analysis of source regions and meteorological factors for the variability of spring $PM_{10}$ concentrations in Seoul, Korea. Atmos. Environ., 175, 199-209, doi:10.1016/j.atmosenv.2017.12.013.

상세보기
Lim, J.-Y., and Y. Chun, 2006: The characteristics of Asian dust events in Northeast Asia during the springtime from 1993 to 2004. Global Planet. Change, 52, 231-247.

상세보기
Murayama, T., and Coauthors, 2001: Groundbased network observation of Asian dust events of April 1998 in east Asia. J. Geophys. Res., 106, 18345-18359.

상세보기
Onishi, K., Y. Kurosaki, S. Otani, A. Yoshida, N. Sugimoto, and Y. Kurozawa, 2012: Atmospheric transport route determines components of Asian dust and health effects in Japan. Atmos. Environ., 49, 94-102, doi:10.1016/j.atmosenv.2011.12.018.

상세보기
Papale, D., and Coauthors, 2006: Towards a standardized processing of Net Ecosystem Exchange measured with eddy covariance technique: algorithms and uncertainty estimation. Biogeosciences, 3, 571-583.

상세보기
Thermo Fisher Scientific Inc., 2010: FH62C14 Continuous Ambient Particulate Monitor Instruction Manual. Part N. 100230-00, 136 pp.
Yoon, J.-E., J.-H. Lim, J.-M. Shim, J.-I. Kwon and I.-N. Kim, 2019: Spring 2018 Asian Dust Events: Sources, Transportation, and Potential Biogeochemical Implications. Atmosphere, 10, 276-293, doi:10.3390/atmos10050276.

상세보기
Yu, Y., O. V. Kalashnikova, M. J. Garay, and M. Notaro, 2019: Climatology of Asian dust activation and transport potential based on MISR satellite observations and trajectory analysis. Atmos. Chem. Phys., 19, 363-378, doi: 10.5194/acp-19-363-2019.

상세보기
Zahumensky, I., 2004: Guidelines on quality control procedures for data from automatic weather stations. 10 pp [Available online at https://www.wmo.int/pages/prog/www/IMOP/publications/IOM-82-TECO_2005/Papers/3(14)_Slovakia_2_Zahumensky.pdf.].

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증