[논문]다변량 시계열 이상 탐지 과업에서 비지도 학습 모델의 성능 비교

임주완; 이재구

doi:10.13089/jkiisc.2023.33.1.1

다변량 시계열 이상 탐지 과업에서 비지도 학습 모델의 성능 비교
A Survey on Unsupervised Anomaly Detection for Multivariate Time Series 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.33 no.1, 2023년, pp.1 - 12

임주완 (국민대학교) , 이재구 (국민대학교)

초록
AI-Helper

다변량 시계열 이상 탐지 과업에서 정답 값이 존재하는 데이터를 얻는 것은 매우 시간 집약적인 일이다. 따라서 최근 정답 값이 필요 없는 비지도 학습법(unsupervised learning)에 관한 많은 연구가 진행되었다. 하지만 다변량 시계열 이상 탐지 과업에 특화된 주요 구조와 세부적인 특성에 대한 심화 있는 논의는 이루어지지 않았다. 본 논문에서는 비지도 학습 기반의 다변량 시계열 이상 탐지 모델과 특장점을 포괄적으로 분석하여 분류하였다. 전력 계통(power grid) 또는 Cyber Physical System(CPS)과 같은 현실 세계 데이터 집합에서 현실적인 이상 상황을 고려하여 학습을 진행하였고, 실험 결과를 바탕으로 각 모델의 정량적 성능을 비교 분석하였다. 성능 지표로는 정밀도(precision), 재현율(recall)과 F1 점수를 사용하여 성능을 측정하였다.

Abstract ▼ AI-Helper

It is very time-intensive to obtain data with labels on anomaly detection tasks for multivariate time series. Therefore, several studies have been conducted on unsupervised learning that does not require any labels. However, a well-done integrative survey has not been conducted on in-depth discussion of learning architecture and property for multivariate time series anomaly detection. This study aims to explore the characteristic of well-known architectures in anomaly detection of multivariate time series. Additionally, architecture was categorized by using top-down and bottom-up approaches. In order toconsider real-world anomaly detection situation, we trained models with dataset such as power grids or Cyber Physical Systems that contains realistic anomalies. From experimental results, we compared and analyzed the comprehensive performance of each architecture. Quantitative performance were measured using precision, recall, and F1 scores.

주제어

표/그림 (15)

그림 Fig. 1. Examples of time series (a) Univariate, (b) Multivariate
그림 Fig. 2. Taxonomy of Multivariate Time Series Unsupervised Anomaly Detection. * denotes models using pre-filtering strategy
그림 Fig. 3. MSCRED[3] architecture
그림 Fig. 4. USAD[5] architecture
그림 Fig. 5. OmniAnomaly[7] architecture
그림 Fig. 6. InterFusion[10] architecture
그림 Fig. 7. MTAD-GAT[12] architecture
그림 Fig. 8. GDN[14] architecture
그림 Fig. 9. Anomaly Transformer[17] architecture
표 Table 1. Experiment results on four public original dataset. Underline is the best performance in main architecture. Bold is the overall best performance. * denotes models using pre-filtering method. OOM denotes out of memory
표 Table 2. Dataset description
표 Table 3. Experiment results on four public dataset with random perturbation. Underline is the best performance in main architecture. Bold is the overall best performance. * denotes models using pre-filtering method. OOM denotes out of memory
표 Table 4. Confusion matrix
표 Table 5. Experiment results on four public dataset with real anomalies. Underline is the best performance in main architecture. Bold is the overall best performance. * denotes models using pre-filtering method.
표 Table 6. Average F1 score and standard deviation on four datasets. * denotes models using pre-filtering method.

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 다변량 시계열 이상 탐지 과업에서 최신 비지도 학습 기반 모델을 살펴보고, 모델의 구조에 따른 특장점을 분석한다. 나아가 현실 공공 데이터 집합에 대한 정량적 성능 비교와 분석을 제시한다.

제안 방법

첫 번째로 잡음에 대한 각 모델의 강건성을 확인하기 위해 학습 집합에 일정 시간 간격으로 잡음을 추가하여 실험하였다. 두 번째로, 실제 이상 데이터를 포함하여 학습했을 때, 각 모델의 성능을 비교하기 위해 원본 데이터의 시험 집합을 6:2:2 비율로 나누어 다시 학습, 검증, 시험 집합으로 분배하여 실험하였다. 분배 시에는 시간 정보의 손실을 막기 위해 무작위로 추출하거나 데이터를 섞지 않았으며 이상 데이터의 비율보다는 시계열 데이터 길이 비율에 중점을 두어 분배하였다.
특히, 모델의 구조를 하향식(top-down)과 상향식(bottom-up) 양 접근을 통해 세부적 특성까지 세분화하였다. 또한, 현실 세계의 실질적 이상 데이터 또는 잡음(noise)의 존재를 고려하여 모델의 포괄적인 성능을 측정하였다. 정량적 지표로는 정밀도(precision)와 재현율(recall), F1 점수를 이용하여 이상 데이터 탐지 성능을 측정하였다.
본 연구에서는 비지도 학습 기반의 다변량 시계열 이상 탐지 모델들을 주 역할 구조 및 사전 필터링 여부와 같은 기법에 따라 세분화하였고, 기존 이상 탐지 실험 환경과 다르게, 학습 시 잡음 또는 이상 데이터가 존재하는 현실적 데이터 집합으로 실험을 진행하였다. 실험 결과, Transformer 기반 모델을 제외하고 사전 필터링을 적용한 모델들이 적용하지 않은 모델들보다 4개의 데이터 집합에 대한 평균 F1 점수가 높았다.
또한, 현실 세계의 실질적 이상 데이터 또는 잡음(noise)의 존재를 고려하여 모델의 포괄적인 성능을 측정하였다. 정량적 지표로는 정밀도(precision)와 재현율(recall), F1 점수를 이용하여 이상 데이터 탐지 성능을 측정하였다.
본 논문에서는 학습 집합에도 잠재적인 이상 데이터 또는 잡음이 존재한다는 현실적인 조건의 실험을 진행하기 위해 다음과 같은 두 가지 추가 실험을 진행하였다. 첫 번째로 잡음에 대한 각 모델의 강건성을 확인하기 위해 학습 집합에 일정 시간 간격으로 잡음을 추가하여 실험하였다. 두 번째로, 실제 이상 데이터를 포함하여 학습했을 때, 각 모델의 성능을 비교하기 위해 원본 데이터의 시험 집합을 6:2:2 비율로 나누어 다시 학습, 검증, 시험 집합으로 분배하여 실험하였다.

성능/효과

특히, Anomaly Transformer 모델은 정상 데이터에 의한 지배 가능성을 고려하여 단순 순환 신경망이 아닌 기본 Transformer에 지역적 특성을 고려한 prior association을 추가하여 가장 좋은 탐지 성능을 보였다. 결과적으로 거대 신경망일수록 다변량 시계열의 표현을 효율적으로 학습하여 이상 탐지에 효과적임을 확인할 수 있었다.
그러나 Transformer의 경우 현재 시점 전까지의 정보를 압축하지 않고 입력값에 대한 모든 토큰을 병렬적으로 계산한다. 따라서 시간 정보에 대한 학습 능력이 뛰어나 AE나 VAE, GNN 모델들보다 더 좋은 성능을 보인 것으로 해석할 수 있다. 하지만 명시적으로 사전 필터링을 하지 않았기 때문에, 사전 필터링을 적용하여 더 좋은 성능을 기대해볼 수 있다.
또한 전반적인 VAE 성능이 AE 모델들보다 좋은 것으로 보아, VAE가 시계열 데이터의 확률적(stochastic) 특성을 반영하기에도 유리한 것으로 해석할 수 있다.
본 연구에서는 비지도 학습 기반의 다변량 시계열 이상 탐지 모델들을 주 역할 구조 및 사전 필터링 여부와 같은 기법에 따라 세분화하였고, 기존 이상 탐지 실험 환경과 다르게, 학습 시 잡음 또는 이상 데이터가 존재하는 현실적 데이터 집합으로 실험을 진행하였다. 실험 결과, Transformer 기반 모델을 제외하고 사전 필터링을 적용한 모델들이 적용하지 않은 모델들보다 4개의 데이터 집합에 대한 평균 F1 점수가 높았다. 이를 통해 사전 필터링이 학습 집합 내에 존재하는 잠재적인 이상 데이터 또는 잡음에 효과적임을 정량적으로 증명하였다.
실험 결과, Transformer 기반 모델을 제외하고 사전 필터링을 적용한 모델들이 적용하지 않은 모델들보다 4개의 데이터 집합에 대한 평균 F1 점수가 높았다. 이를 통해 사전 필터링이 학습 집합 내에 존재하는 잠재적인 이상 데이터 또는 잡음에 효과적임을 정량적으로 증명하였다.
특히, Anomaly Transformer 모델은 정상 데이터에 의한 지배 가능성을 고려하여 단순 순환 신경망이 아닌 기본 Transformer에 지역적 특성을 고려한 prior association을 추가하여 가장 좋은 탐지 성능을 보였다. 결과적으로 거대 신경망일수록 다변량 시계열의 표현을 효율적으로 학습하여 이상 탐지에 효과적임을 확인할 수 있었다.

후속연구

본 연구를 통해 다변량 시계열 이상 탐지 과업에서 사전 필터링과 Transformer 기반 거대 신경망의 효과성을 확인함으로써, Transformer 기반의 거대 신경망에 사전 필터링 전략을 갖춰 잠재적인 이상 또는 잡음 데이터에 강건하며 탐지 성능이 좋은 모델에 관한 연구가 이루어질 것을 기대한다.

참고문헌 (21)

B. Scholkopf, J.C. Platt, J. Shawe-Taylor, A. J. Smola and R.C. Williamson. "Estimating the support of a high-dimensional distribution,"？Neural computation, vol.13 no. 7, pp.1443-1471, Jul. 2001.

상세보기
K. Choi, J. Yi, C. Park and S. Yoon,"Deep learning for anomaly detection in time-Series data: review, analysis, and guidelines," IEEE Access, vol. 9, pp. 120043-120065, Aug. 2021.

상세보기
C. Zhang, D. Song, Y. Chen, X. Feng,C. Lumezanu, W. Cheng, J. Ni, B. Zong, H. Chen and N.V. Chawla, "Adeep neural network for unsupervised？anomaly detection and diagnosis in？multivariate time series data,"？Proceedings of the AAAI conference？on artificial intelligence, vol. 33, no.？1, pp. 1409-1416, Jul. 2019.
X. Shi, Z.Chen, H.Wang, D.Y. Yeung,？W.K. Wong and W.C. Woo,？"Convolutional lstm network: a？machine learning approach for？precipitation nowcasting," Advances in？neural information processing systems,？vol. 28, Dec. 2015.
J. Audibert, P. Michiardi,, F. Guyard,？S. Marti and M.A. Zuluaga, "Usad:？unsupervised anomaly detection on？multivariate time series," Proceedings？of the 26th ACM SIGKDD International Conference on Knowledge？Discovery & Data Mining, pp.？3395-3404, Aug. 2020.
A. Shafahi, M. Najibi, M.A. Ghiasi,？Z. Xu, J. Dickerson, C. Studer, L.S.？Davis, G. Taylor and T. Goldstein,？"Adversarial training for free!,"？Advances in Neural Information？Processing Systems, vol. 32, Dec.？2019.
Y. Su, Y. Zhao, C. Niu, R. Liu, W.？Sun, and D. Pei, "Robust anomaly？detection for multivariate time series？through stochastic recurrent neural？network," Proceedings of the 25th？ACM SIGKDD international conference on knowledge discovery &？data mining, pp. 2828-2837, Jul.？2019.
J. Chung, C. Gulcehre, K. Cho and？Y. Bengio, "Empirical evaluation of？gated recurrent neural networks on？sequence modeling," in NIPS 2014？Workshop on Deep Learning, Dec.？2014.
D. Rezende and S. Mohamed,？"Variational inference with normalizing flows," Proceedings of the 32nd International Conference on Machine Learning, vol. 37 pp. 1530-1538, Jun.2015.
Z. Li, Y. Zhao, J. Han, Y. Su, R. Jiao, X. Wen and D. Pei, "Multivariate time series anomaly detection and interpretatio nusing hierarchical inter-metric and temporal？embedding," Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining, pp. 3220-3230, Aug. 2021.
L. Dinh, J. Sohl-Dickstein and S. Bengio, "Density estimation using real nvp," NIPS 2016 Deep Learning Symposium, Dec. 2016.
H. Zhao, Y. Wang, J. Duan, C.Huang, D. Cao and Y. Tong, "Multivariate time-series anomaly detection via graph attention network," IEEE International Conference on Data Mining (ICDM), pp.841-850, Nov. 2019.
H. Ren, B. Xu, Y. Wang, C. Yi, C.Huang, X. Kou, T. Xing, M. Yang, J. Tong and Q. Zhang, "Time-seriesanomaly detection service atmicrosoft," Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 3009-3017, Jul. 2019.
A. Deng and B. Hooi. "Graphneural？network-based anomaly detection in multivariate time series", Proceedings of the AAAI Conference on Artificial？Intelligence vol. 35, no. 5, pp.4027-4035, May. 2021.
A. Rawashdeh, M. Rawashdeh, I. Diaz and A. Ralescu, "Measures of？semantic similarity of nodes inasocial network." International？Conference on Information Processing？and Management of Uncertainty in？Knowledge-Based Systems, vol. 443,？pp. 76-85,Jul. 2014.
A. Vaswani, N. Shazeer, N. Parmar,？J. Uszkoreit, L. Jones, A.N. Gomez,？T. Kaiser and I. Polosukhin,？"Attention is all you need," Advances？in neural information processing？systems, vol. 30, Dec. 2017.
J. Xu, H. Wu, J. Wang and M. Long,？"Anomaly transformer: time series？anomaly detection with association？discrepancy," Tenth International？Conference on Learning Representations, Apr. 2022.
A.P. Mathur and N.O. Tippenhauer,？"Swat: a water treatment testbed for？research and training on ICS？security," 2016 International Workshop？on Cyber-physical Systems for Smart？Water Networks, pp. 31-36, May.？2016.
C.M. Ahmed, V.R. Palleti and A.P.？Mathur, "Wadi: a water distribution？testbed for research in the design of？secure cyber physical systems," 2017？International Workshop on？Cyber-physical Systems for Smart？Water Networks, pp. 25-28, Apr.？2017.
D. Entekhabi, E.G. Njoku, P.E. O'Neill, K.H. Kellog, W.T. Crow, W.N. Edelstein, J.K. Entin, S.D. Goodman, T.J. Jackson, J. Johnson, J. Kimball, J.R. Piepmeier, R.D. Koster, N. Martin, K.C. McDonald, M. Moghaddam, S. Moran, R. Reichle, and J.C. Shi, M.W. Spencer, S.W. Thurman, L. Tsang and J.V. Zyl, "Thesoil moisture active passive (smap)mission," Proceedings of the IEEE, vol. 98, no.5, pp. 704-716, May. 2010.

상세보기
J.P. Grotzinger, J. Crisp, A.R. Vasavada, R.C. Anderson, C.J. Baker, R. Barry, D.F. Blake, P. Conrad, K.S. Edgett, B. Ferdowski, R. Gellert, J.B. Gilbert, M. Golombek, J. Gomez-Elvira, D.M. Hassler, L.Jandura, M. Litvak, P. Mahaffy, J. Maki, M. Meyer, M.C. Malin, I. Mitrofanov, J.J Simmonds, D. Vaniman, R.V. Welch and R.C.Wiens, "Mars science laboratorymission and science investigation,"？Space Science Reviews, vol. 170, no.1, pp. 5-56, Jul. 2012.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증