[논문]건설 계측 데이터에 대한 통합 이상치 분석 시스템 개발

전제성

doi:10.14481/jkges.2020.21.5.5

건설 계측 데이터에 대한 통합 이상치 분석 시스템 개발
Development of Integrated Outlier Analysis System for Construction Monitoring Data 원문보기

한국지반환경공학회논문집 = Journal of the Korean Geoenvironmental Society, v.21 no.5, 2020년, pp.5 - 11

전제성 (Department of Construction and Safety Engineering, Induk University)

초록
AI-Helper

구조물의 이상징후 판단 및 장단기 안정성, 장래 거동 등의 판단에 다양한 계측결과가 효율적으로 이용되기 위해서는 계측 데이터 내에 포함한 각종 이상치의 판정 및 제거가 필요하다. 본 연구에서는 장기 시계열 데이터에 대한 이상치 평가를 수행하기 위한 통합 이상치 분석 시스템을 개발하였다. 이상치 평가는 시계열 분석법에 의한 단일 데이터셋 대상의 1차 이상치 분석과 합성신호 기반의 다중 데이터셋에 대한 2차 이상치 분석으로 구분하여 단계별로 수행되었다. 통합 이상치 분석 시스템은 구조물에 대한 종합 안전관리 플랫폼과 실시간 연동되어 구조물의 각종 안전성 평가 및 거동 예측 등을 위한 기초자료를 제공할 수 있도록 개발되었다. 현장 적용을 통해 일정 경향을 보이는 동종의 다수 센서들의 합성신호와 개별 데이터셋 간의 상관성이 크게 증가함을 확인할 수 있었으며, 상관성에 대한 가중치 적용을 통해 차별 거동을 보이는 다양한 센서 계측치들도 모두 통합 이상치 분석에 활용될 수 있음을 확인 할 수 있었다.

Abstract ▼ AI-Helper

Outliers detection and elimination included in field monitoring datum are essential for effective foundation of unusual movement, long and short range forecast of stability and future behavior to various structures. Integrated outlier analysis system for assessing long term time series data was developed in this study. Outlier analysis could be conducted in two step of primary analysis targeted at single dataset and second multi datasets analysis using synthesis value. Integrated outlier analysis system presents basic information for evaluating stability and predicting movement of structure combined with real-time safety management platform. Field application results showed increased correlation between synthesis value including similar sort of sensor showing constant trend and each single dataset. Various monitoring data in case of showing different trend can be used to analyse outlier through correlation-weighted value.

주제어

표/그림 (9)

그림 Fig. 1. Assessment error of adjacent outlier in single data set
그림 Fig. 2. Composed signal value in moving dataset block (Jeon, 2018)
그림 Fig. 3. F-distribution acceptance region
그림 Fig. 4. Procedure for integrated outlier detection and correction in Data-Inspector system
그림 Fig. 5. Integrated outlier detection and correction software (Data Inspector)
그림 Fig. 6. Filtering process for monitoring data
그림 Fig. 7. Operating system of developed outlier analysis software
그림 Fig. 8. Outlier analysis in measurement data for pore water pressure using Data Inspector software
그림 Fig. 9. Outlier analysis in measurement data for horizontal displacement using Data Inspector software

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

합성신호 생성에 많은 수의 유사 시계열 모델이 사용될수록 그 판정 정확도는 증가하였으며, 이는 실제 동종의 계측기가 많을수록 최종적인 합성신호 분석법의 이상치 판정 정확도가 높아짐을 의미한다. 본 연구에서는 OO지역에 설치된 간극수압계 및 지중경 사계를 통해 취득된 실 계측 데이터를 대상으로 통합 이상치 분석 시스템에 의한 이상치 평가 및 보정을 수행하였다.
그러나, 건설분야에서는 시계열 형태로 축적되는 방대한 규모의 계측 데이터를 대상으로 한 이상치 판정 및 신뢰도 분석에 대한 연구가 거의 전무한 실정이며, 대부분 계측 데이터의 시계열 패턴에 대한 기술자의 주관적 판단에 따른 분석이 일부 계측 항목을 대상으로 수행되고 있는 바, 구조물의 이상징후 판단 및 장단기 안정성, 장래 거동 등의 판단에 계측결과가 효율적으로 이용되지 못하고 있는 실정이다. 본 연구에서는 건설관련 구조물에서 생성되는 단일 항목의 계측 데이터 및 다수 이종 계측 데이터들에 대한 이상치 분석기법을 이용하여 오류 데이터의 선별 및 보정을 자동으로 수행할 수 있는 통합 데이터 분석 시스템을 개발하였다.
본 연구에서는 단일 센서 데이터에 대한 시계열 이상치 평가 기법 및 다수 센서 데이터에 대한 다중 합성신호 기반의 복합 이상치 평가 기법을 적용한 통합 이상치 분석 시스템(Data Inspector)을 개발하였다. Fig.
동종 및 이종의 다양한 계측결과가 구조물의 안전관리에 효율적으로 이용되기 위해서는 계측 데이터 내에 포함한 각종 이상치의 판정 및 제거가 필요하다. 본 연구에서는 동종 및 이종 계측 데이터들에 대한 단계별 이상치 분석기법을 포함하는 통합 이상치 분석 시스템 및 운용기법을 개발하였으며 그 결과를 요약하면 다음과 같다.
합성신호 기반의 이상치 분석기법에 대한 성능평가와 검증은 기 연구를 통해 수행되었다. Jeon(2018)은 시계열 모델을 통해 생성된 데이터에 가상 오류 데이터를 포함시킨인공 데이터 및 실 계측 데이터를 대상으로 합성신호 기반의 이상치 분석기법에 대한 평가와 검증을 수행하였는데, 가상 오류 데이터의 백색잡음 표준편차가 1.

제안 방법

본 연구에서는 Eq. (3)과 같이 t 분포를 따르는 정규화 예측 잔차인 스튜던트 잔차를 사용하여 최종적인 이상치 판정을 수행하였다(Jeon, 2018). 전체적인 데이터셋의 이상치 보정은 크게 2단계를 통해 수행하였다.
시계열 분석법에 의해 큰 오류강도를 갖는 이상치로 판정된 데이터는 시계열 분석법에 의한 예측치를 보정치로 대체하는 1단계 보정 과정을 수행하였다. 1단계 보정 데이터를 이용하여 합성 신호법을 적용하고, 이에 의한 이상치를 합성 신호법 상의 예측치로 대체하는 최종적인 2단계 보정 과정을 수행하였다.
단일 센서 또는 다수 동종 센서를 통해 생성되는 모든 시계열 데이터는 계측 항목별로 원시 데이터셋 DB에 저장되며 이들을 대상으로 단일 데이터셋 별로 시계열 분석법(TSA)에 의한 1차 이상치 분석을 수행하게 된다. 1차 이상치 분석을 통해 각각의 단일 데이터셋 내에 포함된 이상치 중, 오류 강도가 매우 큰 초기 이상치를 탐지하고 이에 대한 예측치를 이용하여 데이터 보정을 실시하게 된다. 이러한 1차 필터링 과정을 거친 데이터들을 이용하여 합성신호 기반의 2차 이상치 분석(ASCS)을 수행하게 된다.
(1)과 같은 기존의 지수평활법을 적용하였다. 단, 특정 데이터 개수를 포함하는 블록을 설정하여 블록 내에서의 최적 평활계수를 산정하여 적용하는 방식을 적용하였다.
는 추정표준오차, n은 계측 데이터의 개수를 나타낸다. 본 시계열 분석법을 적용한 이상치 분석 시, 오류 강도가 큰 이상치 영향으로 인해 인접한 차시간 데이터가 무조건 이상치로 오판되는 현상이 관찰되었으며(Fig. 1), 이러한 현상을 고려하여 특정 데이터가 이상치로 판명되었을 경우, 예측치로 이상 데이터를 교체한 후 일련의 시계열 분석을 순차적으로 재수행하였다. 단일 센서 시계열 데이터에 대한 이상치 분석과 보정은 전체적인 이상치 분석의 가장 기본 단계로서 큰 범위의 이상 치를 평가하고 보정하는데 이용되었다.
본 연구에서의 통합 이상치 분석 시스템은 각각의 이상치 분석기법과 보정기법을 포함하고 있으며, Fig. 5와 같이 데이터 입출력 및 각종 분석기능을 추가한 통합 플랫폼 탑재용 이상치 분석 소프트웨어로서 파스칼 코드 기반의 Delphi XE8 프로그램을 이용하여 개발하였다. 통합 이상치 분석 시스템 내에는 동종 및 이종의 다양한 센서에서 생성된 시계열 데이터셋을 대상으로 1단계 이상치 분석 시의 대상 데이터셋 선택, 블록 크기, 구간별 최적 평활계수 선정 등에 대한 기능이 적용되어 있다.
시계열 분석법에 의해 큰 오류강도를 갖는 이상치로 판정된 데이터는 시계열 분석법에 의한 예측치를 보정치로 대체하는 1단계 보정 과정을 수행하였다. 1단계 보정 데이터를 이용하여 합성 신호법을 적용하고, 이에 의한 이상치를 합성 신호법 상의 예측치로 대체하는 최종적인 2단계 보정 과정을 수행하였다.
1차 이상치 분석을 통해 각각의 단일 데이터셋 내에 포함된 이상치 중, 오류 강도가 매우 큰 초기 이상치를 탐지하고 이에 대한 예측치를 이용하여 데이터 보정을 실시하게 된다. 이러한 1차 필터링 과정을 거친 데이터들을 이용하여 합성신호 기반의 2차 이상치 분석(ASCS)을 수행하게 된다. 각각의 데이터셋을 이용하여 합성신호를 생성하게 되며 합성신호 데이터셋과 특정 데이터셋간의 회귀 모델을 추정하게 된다.
각각의 데이터셋을 이용하여 합성신호를 생성하게 되며 합성신호 데이터셋과 특정 데이터셋간의 회귀 모델을 추정하게 된다. 이렇게 추정되 회귀모델은 유의성 평가 과정를 거치게 되는데, 유의하지 않은 회귀모델을 나타내는 데이터셋은 단일 데이터셋을 대상으로 한 시계열 분석방법만을 적용하여 최종적인 이상치 평가와 보정을 실시하도록 하였고, 유의한 회귀모델을 나타내는 데이터셋들은 합성신호 기법를 활용한 다중분석 방법을 적용하여 최종적인 이상치 평가와 보정을 수행하도록 하였다. 합성신호와 각 데이터셋들 간의 회귀모델에 대한 유의성 평가는 분산분석(analysis of variance)을 통해 수행하였는데, Fig.

대상 데이터

간극수압계의 경우, OO지역 하천 인근의 옹벽 2개소 및 제방 9개소에 설치된 센서를 대상으로 하였으며, 총 22개월간 취득된 계측결과를 이용하였다. 시계열 분석법에 의한 1차 이상치 평가 및 합성신호 기반의 2차 이상치 평가에 적용된 데이터셋은 11개이며, 전체 총 데이터수는 4,653개이다.
간극수압계의 경우, OO지역 하천 인근의 옹벽 2개소 및 제방 9개소에 설치된 센서를 대상으로 하였으며, 총 22개월간 취득된 계측결과를 이용하였다. 시계열 분석법에 의한 1차 이상치 평가 및 합성신호 기반의 2차 이상치 평가에 적용된 데이터셋은 11개이며, 전체 총 데이터수는 4,653개이다. Fig.
지중경사계의 경우, 대상지역 내에 설치된 다양한 심도별 센서 계측결과에 대한 통합 분석을 실시하였다. 이상치 평가에 적용된 데이터셋은 36개이며, 계측기간 2개월 동안의 전체 총 데이터수는 6,300개 이다. 하천수위 변동에 따라 어느정도 일정 경향을 보이는 간극수압계와 달리, 지중 경사계는 각 심도별로 상이한 거동을 보이는 것이 일반적이다.

데이터처리

(2) 및 Eq. (3)과 같은 방식의 추정표준오차(Se : standard error of the estimate)를적용하였다.
지중경사계의 경우, 대상지역 내에 설치된 다양한 심도별 센서 계측결과에 대한 통합 분석을 실시하였다. 이상치 평가에 적용된 데이터셋은 36개이며, 계측기간 2개월 동안의 전체 총 데이터수는 6,300개 이다.
합성신호와 각 데이터셋들 간의 회귀모델에 대한 유의성 평가는 분산분석(analysis of variance)을 통해 수행하였는데, Fig. 3과 같이 F통계량 산정 후 F분포상 유의수준 α에서의 임계치를 F통계량과 비교하여 임계치보다 크면 유의하다는 최종 평가를 하였다.

이론/모형

본 연구에서는 단일 센서 데이터의 이상치 분석에 있어 Eq.(1)과 같은 기존의 지수평활법을 적용하였다. 단, 특정 데이터 개수를 포함하는 블록을 설정하여 블록 내에서의 최적 평활계수를 산정하여 적용하는 방식을 적용하였다.
4에서 볼 수 있듯이 통합 이상치 분석 시스템을 통한 이상치 평가와 보정은 각각 2단계를 통해 수행되었다. 단일 센서 또는 다수 동종 센서를 통해 생성되는 모든 시계열 데이터는 계측 항목별로 원시 데이터셋 DB에 저장되며 이들을 대상으로 단일 데이터셋 별로 시계열 분석법(TSA)에 의한 1차 이상치 분석을 수행하게 된다. 1차 이상치 분석을 통해 각각의 단일 데이터셋 내에 포함된 이상치 중, 오류 강도가 매우 큰 초기 이상치를 탐지하고 이에 대한 예측치를 이용하여 데이터 보정을 실시하게 된다.
이러한 합성신호와 특정한 단일 데이터셋 간에는 더욱 상관성이 높아지게 됨을 확인할 수 있었으며, 이들 간의 회귀분석 모델을 통해 특정 데이터셋 내의 이상치를 분석할 수 있었다. 본 연구에서도 다수 계측 데이터셋에 대한 이상치 분석 시 적응적 합성신호 기반의 이상치 분석기법(Adaptive Synthesis using Correlation-based Summation, ASCS)을 적용하였으며, 이러한 기법은 전체 시계열 데이터 내에서 블록을 이동시켜 가며 순차적으로 적용 되었다(Fig. 2).

성능/효과

(2) 시계열 모델을 적용하되 추정표준오차를 통한 기존 거동 대비 순간적 급변동 데이터에 대한 1차 이상치 판정이 가능하였다. 추정표준오차 적용 시 이용되는 이상치 판정계수는 오류 데이터의 강도에 따라 그 최적값이 달라질 수 있으나, 실내 인공데이터 및 실 계측 데이터 적용을 통해 3.
(3) 이상치 판정에 있어 동종 혹은 이종의 다수 데이터들을 동시에 활용한다면 이는 단일 데이터셋 내의 데이터만을 이용하는 방식 대비 판단 정도와 효율성 측면에서 매우 효과적 방법임을 확인할 수 있었으며, 각 데이터셋 마다의 상관계수를 가중치로 적용한 합성신호 데이터셋과 특정 단일 데이터셋들 간의 상관성이 높아지는 것을 확인할 수 있었다.
(4) 구조물별 다양한 동종 및 이종 계측 데이터들에 대한 단계별 이상치 분석이 가능하였으며, 이를 기반으로 한통합 이상치 분석 시스템을 개발하였다. 개발 시스템은 각종 구조물의 포괄적 안전관리를 총괄하는 종합 플랫폼과 연동되어 종합적인 실시간 계측 데이터 관리 및 제공이 가능하도록 개발되었으며, 현장 시험적용을 통해 특정 외력조건에 유사한 거동을 보이는 다수 동종 계측기 및 차별 거동을 보이는 다수 이종 계측기들에 대한 효율적 통합 이상치 분석이 가능함을 확인할 수 있었다.
(4) 구조물별 다양한 동종 및 이종 계측 데이터들에 대한 단계별 이상치 분석이 가능하였으며, 이를 기반으로 한통합 이상치 분석 시스템을 개발하였다. 개발 시스템은 각종 구조물의 포괄적 안전관리를 총괄하는 종합 플랫폼과 연동되어 종합적인 실시간 계측 데이터 관리 및 제공이 가능하도록 개발되었으며, 현장 시험적용을 통해 특정 외력조건에 유사한 거동을 보이는 다수 동종 계측기 및 차별 거동을 보이는 다수 이종 계측기들에 대한 효율적 통합 이상치 분석이 가능함을 확인할 수 있었다. 단, 실시간 이상치 분석은 태풍, 호우, 지진과 같은 특정 이벤트 발생 시 그 운용을 제한하고 기존 시계열 데이터를 활용한 이상치 판정을 수행하는 것이 효과적이라 판단된다.
개발 시스템은 각종 구조물의 포괄적 안전관리를 총괄하는 종합 플랫폼과 연동되어 종합적인 실시간 계측 데이터 관리 및 제공이 가능하도록 개발되었으며, 현장 시험적용을 통해 특정 외력조건에 유사한 거동을 보이는 다수 동종 계측기 및 차별 거동을 보이는 다수 이종 계측기들에 대한 효율적 통합 이상치 분석이 가능함을 확인할 수 있었다. 단, 실시간 이상치 분석은 태풍, 호우, 지진과 같은 특정 이벤트 발생 시 그 운용을 제한하고 기존 시계열 데이터를 활용한 이상치 판정을 수행하는 것이 효과적이라 판단된다.
(2)와 같은 별도의 합성신호를 생성할수 있다. 이러한 합성신호와 특정한 단일 데이터셋 간에는 더욱 상관성이 높아지게 됨을 확인할 수 있었으며, 이들 간의 회귀분석 모델을 통해 특정 데이터셋 내의 이상치를 분석할 수 있었다. 본 연구에서도 다수 계측 데이터셋에 대한 이상치 분석 시 적응적 합성신호 기반의 이상치 분석기법(Adaptive Synthesis using Correlation-based Summation, ASCS)을 적용하였으며, 이러한 기법은 전체 시계열 데이터 내에서 블록을 이동시켜 가며 순차적으로 적용 되었다(Fig.
(2) 시계열 모델을 적용하되 추정표준오차를 통한 기존 거동 대비 순간적 급변동 데이터에 대한 1차 이상치 판정이 가능하였다. 추정표준오차 적용 시 이용되는 이상치 판정계수는 오류 데이터의 강도에 따라 그 최적값이 달라질 수 있으나, 실내 인공데이터 및 실 계측 데이터 적용을 통해 3.0 적용이 적정함을 확인할 수 있었다.
(3) 이상치 판정에 있어 동종 혹은 이종의 다수 데이터들을 동시에 활용한다면 이는 단일 데이터셋 내의 데이터만을 이용하는 방식 대비 판단 정도와 효율성 측면에서 매우 효과적 방법임을 확인할 수 있었으며, 각 데이터셋 마다의 상관계수를 가중치로 적용한 합성신호 데이터셋과 특정 단일 데이터셋들 간의 상관성이 높아지는 것을 확인할 수 있었다. 합성신호 데이터셋과 각 개별 데이터셋 간의 회귀모델을 구성한 뒤 최종적인 2차 이상치 판정을 수행하였으며, 회귀모델의 유의성 판단 및 이상치 판정에 있어서는 F 통계량과 t-분포 활용이 적정함을 확인할 수 있었다.
5 이상에서는 이상치 판정 정확도가 80∼90%로 나타남을 제시하였다. 합성신호 생성에 많은 수의 유사 시계열 모델이 사용될수록 그 판정 정확도는 증가하였으며, 이는 실제 동종의 계측기가 많을수록 최종적인 합성신호 분석법의 이상치 판정 정확도가 높아짐을 의미한다. 본 연구에서는 OO지역에 설치된 간극수압계 및 지중경 사계를 통해 취득된 실 계측 데이터를 대상으로 통합 이상치 분석 시스템에 의한 이상치 평가 및 보정을 수행하였다.

참고문헌 (12)

Jeon, J. S., Koo, J. K. and Park, C. M. (2015), Outlier detection in time series monitoring datasets using rule based and correlation analysis method, Journal of the Korean Geo-Environmental Society, Vol. 16, No. 5, pp. 43-53 (In Korean).
Jeon, J. S. (2016), Development of Outlier Evaluation Technique and Operation System for Monitoring Data, KSCE 2016 Convention, Jeju, Korea, pp. 355-356 (In Korean).
Jeon, J. S. (2018), Compound outlier assessment and verification for multiple field monitoring data, Journal of the Korean Geo-Environmental Society, Vol. 19, No. 1, pp. 5-14 (In Korean).
Kailath, T. (1975), Square-root algorithms for least-squares estimation, IEEE Trans. Automatic Control, Vol. 20, No. 4, pp. 487-497.

상세보기
Kang, P. S., Kim, D. I., Lee, S. K., Doh, S. Y. and Cho, S. J. (2012), Estimating the reliability of virtual metrology predictions in semiconductor manufacturing : a novelty detection-based approach, Journal of Korean Institute of Industrial Engineers, Vol. 38, No. 1, pp. 46-56 (In Korean).

원문보기 상세보기
Ki, Y. K., Ahn, G. H., Kim, E. J., Jeong, J. H., Bae, K. S. and Lee, C. K. (2010), Error filtering algorithm for accurate travel speed measurement using UTIS, Journal of The Korea Institute of Intelligent Transport Systems, Vol. 9, No. 6, pp. 33-42 (In Korean).
Lim, H. S., Oh, C., Park, J. H. and Lee, G. W. (2009), Correction of erroneous individual vehicle speed data using locally weighted regression, Journal of Korean Society of Transportation, Vol. 27, No. 2, pp. 47-56 (In Korean).
Mourad, M. and Bertrand-Krajewski, J.-L. (2002), A method for automatic validation of long time series of data in urban hydrology, Water Science and Technology, Vol. 45, No. 4-5, pp. 263-270.
Ni, k., Ramanathan, N., Chehade, M., Balzano, L., Nair, S., Zahedi, S., Pottie, G., Hansen, M. and Srivastava, M. (2009), Sensor network data fault types, ACM Transactions on Sensor Networks, Vol. 5, No. 3, Article 25. pp. 1-29.

상세보기
Ramanathan, N., Balzano, L., Burt, M., Estrin, D., Kohler, E., Harmon, T., Harvey, C., Jay, J., Rothenberg, S. and Srivastava, M. (2006), Rapid Deployment with Confidence: Calibration and Fault Detection in Environmental Sensor Networks. Tech. Rep. 62, CENS. pp. 1-14.
Sharma, A. B., Golubchik, L. and Govindan, R. (2010), Sensor faults: detection methods and prevalence in real-world datasets, ACM Transactions on Sensor Networks, Vol. 6, No. 3, Article 23. pp. 1-39.

상세보기
Williams, G. J., Baxter, R. A., He, H. X., Hawkins, S. and Gu, L. (2002), A Comparative Study of RNN for Outlier Detection in Data Mining, IEEE International Conference on Data-mining (ICDM'02), Maebashi City, Japan, CSIRO Technical Report CMIS-02/102. pp. 1-709.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증