[논문]어림과 나머지 성분을 이용한 연안 수온자료의 이상자료 감지

조홍연; 오지희

doi:10.7846/jkosmee.2012.15.2.156

[국내논문] 어림과 나머지 성분을 이용한 연안 수온자료의 이상자료 감지
Outlier Detection of the Coastal Water Temperature Monitoring Data Using the Approximate and Detail Components 원문보기

한국해양환경공학회지 = Journal of the Korean society for marine environmental engineering, v.15 no.2, 2012년, pp.156 - 162

조홍연 (한국해양연구원 해양환경보전연구부) , 오지희 (한국해양연구원 해양환경보전연구부)

초록
AI-Helper

연안 환경모니터링 사업이 확대되면서 방대하게 축적되어 있는 연안 환경모니터링 자료의 통계적 분석을 위해서는 모니터링 자료에서 빈번하게 발생하는 이상 자료의 감지 처리가 우선적으로 필요하다. 본 연구에서는 연안 환경모니터링 자료의 어림성분과 나머지(또는 잔차)성분을 이용한 이상자료 진단기법을 제안하였다. 주기함수를 이용한 조화분석 방법과 국지 회귀함수추정 방법을 이용하여 각각 어림성분과 나머지성분을 추출한 후, 추출된 나머지성분 자료에 범용적인 Grubbs 검정기법 및 수정표본점수기법을 적용하여 이상자료를 진단 제거한 후 이상자료가 제거된 자료로 재구성하는 방법이다. 제안된 이 기법을 국립수산과학원 실시간어장정보시스템 제공하는 연안 수온 연속 모니터링 자료에 적용한 결과 이상자료가 성공적으로 제거되는 양상을 보이는 것으로 파악되었다.

Abstract ▼ AI-Helper

Outlier detection and treatment process is highly required as the first step for the statistical analysis of the monitoring data having many outliers frequently occurred in the coastal environmental monitoring projects. In this study, the outlier detection method using the approximate and detail (or residual) components of the (raw) data is suggested. The approximate and detail components of the data can be separated by the diverse filtering and smoothing methods. The decomposition of the data is carried out by the harmonic analysis and local regression curve, respectively. Then, the Grubbs' test and modified z-score method widely used to detect outliers in the data are applied to the detail components of the water temperature data. The new data set is reconstructed after removed the outliers detected by these methods. It can be shown that the suggested process is successfully applied to the outlier detection of the coastal water temperature monitoring data provided by the Real-time Information System for Aquaculture Environment, National Fisheries Research and Development Institute (NFRDI).

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 최근 연안 환경모니터링 사업이 확대되면서 방대하게 축적되어 있는 연안 환경모니터링 자료의 통계적 분석을 위한 전처리 과정중의 하나에 해당하는 이상 자료 감지·처리 기법을 제안하는 것을 목적으로 한다.
시계열 자료에서 바로 이상 자료를 제거하는 연구가 활발하게 수행되고 있으나, 자료가 가지는 구조적인 특성이 관측항목별로 서로 상이하기 때문에 적용에 제한이 따른다. 본 연구에서는 시계열자료가 아닌 이론적으로 IID(independent, identically distributed) 조건을 따르는 자료에 대한 다양한 이상 자료 제거기법이 활발하게 이용되고 있기 때문에 IID 조건에 유사한 자료를 도출하기 위한 과정으로 관측된 시계열 자료를 전체적인 변화양상을 표현하는 어림(approximate, smooth) 성분과 나머지(잔차, residual) 성분으로 구분하기 위한 과정이다. 이 방법의 적용단계에서는 아직 이상 자료가 제거되지 않은 상태이기 때문에 Robust 기법 적용이 필요하다.
본 연구에서는 연안 환경모니터링 자료의 어림성분과 나머지성분을 이용한 이상자료 진단기법을 제안하였다. HA 방법과 RLOESS 방법을 이용하여 어림성분과 나머지성분을 추출한 후, 추출된 나머지성분 자료에 Grubbs 검정기법 및 수정표본점수 방법을 적용하여 나머지성분을 진단·제거한 후 이상 자료가 제거된 자료를 재구성하였다.

가설 설정

국립수산과학원 자료포털에서 다운로드한 자료 그대로를 원자료(raw data)로 가정하고, 제3절에서 제시한 단계를 따라 이상자료를 감지하였다. 제1단계는 가장 기본적인 범위지정에 의한 이상 자료 제거 단계로 범위지정에 의한 이상자료 제거 전·후의 비교 그림이다(Fig.

제안 방법

본 연구에서는 최근 연안 환경모니터링 사업이 확대되면서 방대하게 축적되어 있는 연안 환경모니터링 자료의 통계적 분석을 위한 전처리 과정중의 하나에 해당하는 이상 자료 감지·처리 기법을 제안하는 것을 목적으로 한다. 환경모니터링 자료 중에서 가장 중요한 인자 중의 하나에 해당하는 수온자료(국립수산과학원 제공자료)를 대상으로 본 연구에서 제안한 기법을 적용하고, 이상 자료 제거 기법을 적용한 경우와 적용하지 않은 경우의 통계정보를 비교 분석하여 전처리 기법 적용 효과를 분석하였다.
따라서 본 연구에서 제안하는 방법은 모니터링 자료로부터 어림 성분과 나머지 성분을 추출하여, 나머지 성분을 대상으로 범용적으로 이용되는 Grubbs 검정기법(Grubbs[1950]) 등을 이용하여 이상 자료를 판단하는 방법이다. 본 연구에서 제안하는 처리 기법은 실질적인 상황과 통계기법을 조합한 방법으로 다음과 같은 단계로 구성되어 있다.
이 방법의 적용단계에서는 아직 이상 자료가 제거되지 않은 상태이기 때문에 Robust 기법 적용이 필요하다. 본 연구에서는 아래에 제시된 방법을 이용하여 어림 성분과 나머지 성분을 각각 추출하였다.
제 2단계에서 추출한 나머지 성분을 대상으로, 기존에 제시된 기본적인 이상 자료 감지 기법을 적용하여 이상 자료를 추출하였다. 이상 자료의 제거 여부는 연구자의 경험에 의존하여야 한다.
1 참조). 본 연구에서는 비교적 장기간의 자료가 가용한 상태에 있는 백령도, 완도(청산), 영덕(거무역) 지점의 수온 자료를 대상으로 본 연구에서 제안한 이상 자료 감지기법을 적용하였다. 관측 자료는 30분 또는 1시간 간격으로 제공되고 있으며, 관측지점에 따라 이상 자료 및 결측자료(missing data), 관측기간이 크게 차이가 나고 있다.
나머지성분에서 이상자료를 감지·제거하고, 어림 성분을 합하여 이상자료가 제거된 원자료를 재구성하였다.
나머지 성분은 독립적이고, 정규분포를 따르는 조건을 만족하여야 한다. 제2단계에서 추출된 나머지 성분의 빈도분포와 정규분포를 비교하여 도시하였다(Fig. 4 참조). 그 결과, 나머지 성분이 정규분포와 어느 정도 일치하는 양상을 보이고 있으며, 적절한(robust) 분산매개변수를 선정하는 경우보다 정규분포에 근사한 분포로 간주할 수 있다고 판단된다.
다음은 제3단계에 해당하면서, 가장 핵심이 되는 나머지 성분의 이상자료 감지·제거과정이다. 제2단계의 RLOESS 방법과 HA 방법을 이용하여 추출된 나머지 성분을 Grubbs 기법과 수정 표본점수(z-score) 방법, Dixon 방법 등 범용적으로 이용되는 방법을 이용하여 이상자료 감지에 적용하였으나, 그 감지 결과 차이는 미미하여 Grubbs TEST 적용결과를 대표로 제시하였다. 나머지성분에서 이상자료를 감지·제거하고, 어림 성분을 합하여 이상자료가 제거된 원자료를 재구성하였다.
이상 자료를 제거한 경우, 자료의 통계적인 정보변화를 비교·분석하였다. 간단한 통계정보를 정리하였으며, 각각의 단계에 따라 본 연구에서 이용한 수온자료의 평균, 표준편차, 중간값, 평균절대편차 등의 통계정보의 변화를 표에 제시하였다(표 1 참조). 표에서 보이는 바와 같이, 영덕(거무역) 지점의 경우 -5℃ 이하의 수온자료가 1,000개 정도 포함되어 있어 표준편차가 제1단계 범위지정 제거과정 이전·이후에 각각 6.
HA 방법과 RLOESS 방법을 이용하여 어림성분과 나머지성분을 추출한 후, 추출된 나머지성분 자료에 Grubbs 검정기법 및 수정표본점수 방법을 적용하여 나머지성분을 진단·제거한 후 이상 자료가 제거된 자료를 재구성하였다.

데이터처리

이상 자료를 제거한 경우, 자료의 통계적인 정보변화를 비교·분석하였다.

이론/모형

어림 성분을 추정하는 방법은 자료 Smoothing 과정으로, 자료의 변화양상을 국지적으로 가중치를 부여하여 적절한 함수곡선으로 맞추어가는 LOESS 또는 LOWESS (locally weighted regression procedure) 방법이 널리 이용되고 있으며, 이상자료의 영향을 줄이기 위한 Robust LOESS, 즉 RLOESS 방법도 있다(Martinez and Martinez[2005]). 본 연구에서는 이상자료의 영향을 줄이기 위한 RLOESS 방법을 이용하여 수온자료의 어림성분을 추정하였다.
이 방법은 조석에 의한 영향이 우세하지 않고, 연 변화 및 계절변화 또는 그 이하의 변동성분이 포함되어 있는 환경인자 및 기상인자의 어림 성분 추정에 유용한 방법이다. 본 연구에서는 뚜렷한 연 변화 양상을 가지는 수온 성분의 어림 성분추정으로 이 방법을 이용하였다.
이상 자료의 제거 여부는 연구자의 경험에 의존하여야 한다. 본 연구에서는 매우 전통적이고 널리 이용되고 있는 Grubbs 진단기법 (95% 유의수준)을 이용하여 나머지 성분의 이상 자료를 진단하였다. 이상 자료로 진단된 자료는 모두 제거하였다.
5. Outlier and data plots using the harmonic analysis and RLOESS method.

성능/효과

이상 자료는 기존의 수동(manual) 방식 또는 휴대용 관측 장비를 이용한 간헐적인 관측에서는 인간의 실수 및 기기 검교정(calibration) 문제 등으로 발생하지만, 관측 장비의 계류에 의한 연속관측 과정에서는 주기적인 센서관리 미흡, 안정적인 전원공급 제한, 센서의 오작동 등의 문제로 빈번하게 발생한다.
4 참조). 그 결과, 나머지 성분이 정규분포와 어느 정도 일치하는 양상을 보이고 있으며, 적절한(robust) 분산매개변수를 선정하는 경우보다 정규분포에 근사한 분포로 간주할 수 있다고 판단된다. 나머지 성분자료의 분포함수가 반드시 정규분포를 따라야 할 필요는 없고 따르지 않는 경우도 빈번하나, 정규분포에서 크게 벗어나는 경우에는 본 연구에서 사용한 방법에 제한이 따를 것으로 판단된다.
이상자료가 적절하게 제거되었는가 하는 정량적인 판단은 곤란하지만, 이러한 판단이 통계적인 의미의 “가장 그럴듯한(most likely)”진단 관점에서 보면, 자료도시에서 보이는 눈에 거슬리는 이상자료는 상당부분 제거되어 본 연구에서 제안한 방법이 성능을 발휘하고 있는 것으로 판단된다.
통계적인 의미의 “가장 그럴듯한(most likely)” 진단 관점에서 보면, 자료도시에서 보이는 눈에 거슬리는 이상자료는 상당부분 제거되어 본 연구에서 제안한 방법이 성능을 발휘하고 있는 것으로 판단된다.
또한, 이상자료 제거 전·후의 나머지 성분의 표준편차 변화를 보면, 이상자료 제거전보다 이상자료 제거 후에 표준편차가 감소하게 되는 예측가능한 양상을 보이고 있어, 본 연구에서 제시한 이상자료 제거방법의 효과가 타당함을 보여준다고 할 수 있다.
이상자료의 개수가 많지 않은 경우, 완도 (청산) 및 백령도 지점의 경우 및 범위지정에 의한 이상자료 제거 (제1단계) 과정 이후에는 전체적인 통계정보 변화에 미치는 영향은 크지 않은 것으로 파악되었다. 이상자료 제거를 통한 표준편차 및 MAD 감소경향은 미미한 수준이나 예상할 수 있는 바와 같이 감소하는 경향을 보였다. 한편 HA 방법에 의한 방법은 RLOESS 방법보다 큰 표준편차를 보이고 있는 것으로 추정되었으나, 이는 각각의 방법의 영향보다는 기법의 적용을 위한 매개변수(근사성분의 개수 및 Robust 추정구간의 범위)의 영향으로 판단된다.
HA 방법과 RLOESS 방법을 이용하여 어림성분과 나머지성분을 추출한 후, 추출된 나머지성분 자료에 Grubbs 검정기법 및 수정표본점수 방법을 적용하여 나머지성분을 진단·제거한 후 이상 자료가 제거된 자료를 재구성하였다. 제안된 이 기법을 국립수산과학원에서 제공하는 연안의 수온 연속 모니터링 자료에 적용한 결과, 이상자료가 성공적으로 제거되는 양상을 보이는 것으로 파악되었으며, 본 기법의 적용성능이 우수한 것으로 파악되었다. 영덕(거무역) 지점의 경우 -5℃ 이하의 수온자료가 1,000개 정도 포함되어 있어 표준편차가 제1단계 범위 지정 제거과정 이전·이후에 각각 6.

후속연구

다양한 분야에서 다양한 이상 자료 진단 방법이 제시되고 있으나, 모든 자료에서 적용되는 방법은 어떤 특정한 자료보다는 정규분포를 따르는 독립적인 자료조건을 충족하는 경우의 진단방법이 유일하며, 가장 활발하게 연구가 추진되어 그 기준도 매우 유사한, 정립된 단계에 해당한다고 할 수 있다. 따라서 특정한 분야의 특정한 자료에 국한되어 사용되는 매우 복잡한 통계도구 및 모형을 이용한 방법보다는 본 연구 분야 또는 특정 연구 분야에서 분석하고자 하는 자료로부터 범용적인 이상 자료 진단기준을 적용할 수 있는 자료를 추출하는 과정을 추가하여, 추출된 자료를 이용하여 이상 자료를 판단하는 기법이 체계적인 접근방법이라고 판단되며, 활용범위의 확장도 가능할 것으로 판단된다.
따라서 본 연구에서는 이상자료를 적절하게 감지하기 위해서는 이상자료의 영향을 줄이기 위한 모형 매개변수의 Robust 추정이 필요하다(Rousseeuw & Leroy[2003]).
그 결과, 나머지 성분이 정규분포와 어느 정도 일치하는 양상을 보이고 있으며, 적절한(robust) 분산매개변수를 선정하는 경우보다 정규분포에 근사한 분포로 간주할 수 있다고 판단된다. 나머지 성분자료의 분포함수가 반드시 정규분포를 따라야 할 필요는 없고 따르지 않는 경우도 빈번하나, 정규분포에서 크게 벗어나는 경우에는 본 연구에서 사용한 방법에 제한이 따를 것으로 판단된다.
통계적인 의미의 “가장 그럴듯한(most likely)” 진단 관점에서 보면, 자료도시에서 보이는 눈에 거슬리는 이상자료는 상당부분 제거되어 본 연구에서 제안한 방법이 성능을 발휘하고 있는 것으로 판단된다. 한편 이상자료와 더불어 통계적인 정보의 편이(bias)를 유발하는 결측자료 보충(missing data filling-in or imputation) 등의 처리기법에 대한 연구도 수행되어져야 할 것으로 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	원(原) 자료(raw data) 분석을 선호하는 전문가가 자료 분석을 위한 전처리과정을 불가피하게 거쳐야 하는 이유는 무엇인가?	기본적으로 원(原) 자료(raw data) 분석을 선호하는 전문가는 연속적인 환경 모니터링 자료로부터 정보를 추출하고자 하기 때문에 자료 분석을 위한 전처리과정을 불가피하게 거쳐야 한다. 특히, 대부분의 연속 환경모니터링 자료에서 빈번하게 관찰되는 이상자료를 감지하고 처리하는 과정이 필수적으로 요구된다.
	이상 자료의 가장 기본적인 정의는 무엇인가?	한편 언어를 이용한 정의와 더불어 이상 자료에 대한 통계적인 기준도 구체적으로 제시되고 있다. 가장 기본적인 정의는 정규분포 또는 기준이 되는 어떤 분포를 가정하고, 평균(m)과 표준편차(SD) 의 함수로 정의되는 영역을 벗어나는 자료로 정의한다. 예를 들면, Hair 등[2010]은 표본의 개수가 80개 정도 또는 그 이하에 해당하는 소표본의 경우와 그 이상에 해당하는 대표본의 경우를 구분하여 다음과 같이 이상자료를 정의하고 있다.
	Dixon 방법은 어떤 방법인가?	기본적으로 이상자료의 판단기준은평균을 중심으로 일정 한계범위를 벗어나는 자료를 이상자료로 간주하는 개념에 기초하고 있다. Grubbs 방법은 Extreme Studentized Deviate(# = 각각 자료 xi의 평균 및 표준편차) 수치를 한계수치와 비교하여 판단하는 방법이며, Dixon 방법은 자료를 정렬하여 전체 구간에 대한 부분비율 수치를 계산하여 판단하는 방법이다. 수정 표본점수방법은 z-score 계산(#)과정에서 표준편차 대신에 MAD(median absolute deviation about the median, #) 수치로 계산한 z-score (z = 0.

참고문헌 (10)

국립수산과학원, 2012, 실시간 어장정보시스템. http://portal.nfrdi.re.kr/risa/.
Agresti, A. and Franklin, C., 2007, Statistics, The Art and Science of Learning from Data, Pearson Education, Inc. pp.693.
Barnett, V. and Lewis, T., 1994, Outliers in Statistical Data, Third Edition, John Wiley & Sons, Ltd., Chichester, UK, pp.584.
Cho, H.Y., Suzuki, K. and Nakamura, Y., 2010, Hysteresis loop model for the estimation of the coastal water temperatures, -by using the buoy monitoring data in Mikawa Bay, Japan-, Report of the Port and Airport Research Institute, 49(2), pp.123-153.
Dixon, W.J., 1950, Analysis of Extreme Values, The Annals of Mathematical Statistics, 21(4), pp.488-506.

상세보기
Garcia, F.A.A., 2010, Tests to identify outliers in data series, http://www.se.mathworks.com/matlabcentral/fileexchange/28501, MATLAB Central File Exchange. Retrieved January 19th, 2012.
Grubbs, F.E., 1950, Sample Criteria for Testing Outlying Observations, The Annals of Mathematical Statistics, 21(1), pp.27-58.

상세보기
Hair, J.F. Jr., Black, W.C., Babin, B.J. and Anderson, R.E., 2010, Multivariate Data Analysis, A Global Perspective, Seventh Edition, Chapter 2, Pearson Education, Inc., New Jersey, USA, pp.800.
Martinez, W.L. and Martinez, A.R., 2005, Exploratory Data Analysis with MATLAB, Computer Science and Data Analysis Series, Chapman & Hall/CRC. pp.405.
Rousseeuw, P.J. and Leroy, A.M., 2003, Robust Regression and Outlier Detection, John Wiley & Sons. pp.329.

저자의 다른 논문 :

LOADING...

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증