[논문]산업제어시스템의 이상 탐지 성능 개선을 위한 데이터 보정 방안 연구

전상수; 이경호

doi:10.13089/jkiisc.2022.32.4.691

[국내논문] 산업제어시스템의 이상 탐지 성능 개선을 위한 데이터 보정 방안 연구
Research on Data Tuning Methods to Improve the Anomaly Detection Performance of Industrial Control Systems 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.32 no.4, 2022년, pp.691 - 708

초록
AI-Helper

머신러닝과 딥러닝의 기술이 보편화되면서 산업제어시스템의 이상(비정상) 탐지 연구에도 적용이 되기 시작하였다. 국내에서는 산업제어시스템의 이상 탐지를 위한 인공지능 연구를 활성화시키기 위하여 HAI 데이터셋을 개발하여 공개하였고, 산업제어시스템 보안위협 탐지 AI 경진대회를 시행하고 있다. 이상 탐지 연구들은 대개 기존의 딥러닝 학습 알고리즘을 변형하거나 다른 알고리즘과 함께 적용하는 앙상블 학습 모델의 방법을 통해 향상된 성능의 학습 모델을 만드는 연구가 대부분 이었다. 본 연구에서는 학습 모델과 데이터 전처리(pre-processing)의 개선을 통한 방법이 아니라, 비정상 데이터를 탐지하여 라벨링 한 결과를 보정하는 후처리(post-processing) 방법으로 이상 탐지의 성능을 개선시키는 연구를 진행하였고, 그 결과 기존 모델의 이상 탐지 성능 대비 약 10%이상의 향상된 결과를 확인하였다.

Abstract ▼ AI-Helper

As the technology of machine learning and deep learning became common, it began to be applied to research on anomaly(abnormal) detection of industrial control systems. In Korea, the HAI dataset was developed and published to activate artificial intelligence research for abnormal detection of industrial control systems, and an AI contest for detecting industrial control system security threats is being conducted. Most of the anomaly detection studies have been to create a learning model with improved performance through the ensemble model method, which is applied either by modifying the existing deep learning algorithm or by applying it together with other algorithms. In this study, a study was conducted to improve the performance of anomaly detection with a post-processing method that detects abnormal data and corrects the labeling results, rather than the learning algorithm and data pre-processing process. Results It was confirmed that the results were improved by about 10% or more compared to the anomaly detection performance of the existing model.

주제어

표/그림 (33)

그림 Fig. 1. Industrial Control System network structure and service scenario
표 Table 1. HAI dataset summary
표 Table 2. Public ICS Datasets
표 Table 3. HAICon Baseline model vs ORIDORI Model(1st winner)
그림 Fig. 2. Unsupervised Learning Workflow
그림 Fig. 3. Unsupervised Learning Work flow withpost-processing
그림 Fig. 4. Anomaly detection(AD) graph of HAI 2.0 dataset
그림 Fig. 5. An enlarged part of AD graph
그림 Fig. 6. difference of detection by threshold and actual attack interval
그림 Fig. 7. extension of start/end point of abnormal graph
그림 Fig. 8. Extension procedure of start/end point of abnormal graph
그림 Fig. 11. Interval difference of actual attack and AD
그림 Fig. 9. (failure) finding outliers of abnormal graph
그림 Fig. 10. (success) finding outliers code of abnormal graph
그림 Fig. 12. Classification by width of AD
그림 Fig. 13. Classification by height of AD
그림 Fig. 14. Anomaly graph with multi-peak
그림 Fig. 15. Interval difference of actual attack and AD (with classification)
그림 Fig. 16. Interval difference of multi-peak
그림 Fig. 17. Interval difference of high-height
그림 Fig. 18. eTaPR comparison, tuning before and after of HAI 2.0
그림 Fig. 19. eTaPR comparison of WINDOW size 40 and 20 (same condition of HAI 2.0)
그림 Fig. 20. Anomaly graph with incorrect end point
그림 Fig. 21. Interval difference of actual attack and AD (with classification, HAI 1.1)
그림 Fig. 22. eTaPR comparison, tuning before and after (tuning value of HAI 2.0)
그림 Fig. 23. Interval difference of multi-peak of HAI 1.1
그림 Fig. 24. eTaPR comparison, tuning before and after (new tuning value)
그림 Fig. 25. eTaPR comparison, tuning before and after (HAI 2.0 tuning value applied to HAICon 2021)
그림 Fig. 26. eTaPR comparison, tuning before and after (new tuning value applied to HAICon 2021)
그림 Fig. 29. Individual anomaly graph after start/end point extension(SWaT)
그림 Fig. 27. Total anomaly graph of SWaT
그림 Fig. 28. Interval difference of SWaT Dataset
그림 Fig. 30. eTaPR comparison, tuning before and after (SWaT)

AI 본문요약
AI-Helper

문제 정의

본 연구에서 제안하고자 방법은 산업제어시스템의 데이터셋을 통해 이상 탐지 성능을 향상시키기 위한 방법으로, 적절한 학습 알고리즘을 변경하는 방법이 아닌, 추론 단계 이후의 결과 데이터를 보정하여 이상 탐지 성능을 향상시키고자 하였다. 학습 알고리즘의 개선을 통한 접근 방법이 아닌 데이터 후처리 보정을 통해 접근하고자 하였다.

제안 방법

HAI 2.0 과 HAICon 2021 데이터셋은 데이터의 종류(필드 디바이스)가 추가 되었고, 공격의 종류가 추가되었고, 훈련데이터에 대한 학습 결과 등의 여러 다른 부분이 있지만, 우선적으로는 HAI 2.0 데이터셋에서 적용하였던 보정1, 2, 3의 보정 형태와 보정값을 동일하게 적용하여 탐지성능을 확인한 후, 추가적으로 최고의 F1 Score를 나타내는 보정값을 찾기 위한 실험을 진행하였다.
HAICon 2021 경진대회 웹사이트의 리더보드 게시판에는 Public Score 순위와 Private Score 순위, 그리고 최종 순위가 있는데, 본 검증에서는 확인이 가능한 Public Score의 비교를 통해 추론 데이터 보정에 의한 탐지 성능 개선 효과를 확인하도록 한다.
Window size를 축소하였을 때의 탐지 결과 및 비정상 형태 분류의 비교를 위해 기존 Window size 40을 20으로 1/2로 줄여서 동일한 과정의 실험을 진행하였다. 결과는 그림19와 같다.
이 보정의 방법을 검증하기 위해서 HAICon 2021 경진대회에서 제공된 데이터셋을 사용하여 실제 경진대회의 진행방식과 동일한 방법을 통해 검증하고자 한다. 또한, 특정 데이터셋에만 특화된 보정의 방법인지 확인을 위해 HAI 데이터셋이 아닌 해외의 SWaT 데이터셋을 사용하여 검증을 진행하였다.
본 논문에서는 산업제어시스템 데이터셋으로 국가보안연구소에서 공개한 HAI 2.0과 HAI 1.1 데이터셋을 이용하여 비지도학습에 의한 이상 탐지 성능을 향상시키기 위해 후처리(Post-processing) 데이터 보정의 과정을 추가하는 방법을 적용하였고, 보정 전과 후의 성능을 평가하고 비교하였다.
1 데이터셋을 사용하여 실제 공격 구간을 알고 있는 상태에서 보정할 비정상 형태와 보정값을 찾는 방식에 대해 실험하였다. 이 보정의 방법을 검증하기 위해서 HAICon 2021 경진대회에서 제공된 데이터셋을 사용하여 실제 경진대회의 진행방식과 동일한 방법을 통해 검증하고자 한다. 또한, 특정 데이터셋에만 특화된 보정의 방법인지 확인을 위해 HAI 데이터셋이 아닌 해외의 SWaT 데이터셋을 사용하여 검증을 진행하였다.
정상 데이터를 가지고 있는 훈련 데이터셋 파일을 불러온 후, 데이터 전처리 과정에서 데이터를 Normalization 한 후, 딥러닝 학습 모델을 통해 학습을 진행하고, 검증데이터를 통해 추론한 후, 공격에 의한 비정상 그래프의 탐지 결과에 대해 가장 높은 eTaPR의 F1 Score가 나오는 Threshold를 찾아낸다. 테스트 데이터셋에 동일한 Threshold를 설정하여 탐지한 비정상의 구간을 라벨링 하여 Public Score를 구하는 과정으로 진행된다.
진행된 과정은 HAI 데이터셋의 진행과정과 동일하게 진행하였으나, 기존의 학습 모델에서 사용한 LSTM 알고리즘이 아닌 GRU 알고리즘으로 바꾸어 진행하였다. LSTM을 사용했을 때의 F1 Score보다 GRU를 사용했을 때의 결과가 더 좋게 나왔기 때문이다.
본 연구에서 제안하고자 방법은 산업제어시스템의 데이터셋을 통해 이상 탐지 성능을 향상시키기 위한 방법으로, 적절한 학습 알고리즘을 변경하는 방법이 아닌, 추론 단계 이후의 결과 데이터를 보정하여 이상 탐지 성능을 향상시키고자 하였다. 학습 알고리즘의 개선을 통한 접근 방법이 아닌 데이터 후처리 보정을 통해 접근하고자 하였다. 그림3에 추가된 과정을 도식화 하였다.

대상 데이터

HAI 2.0(21.03) 데이터셋은 정상 데이터를 가진 11일간의 훈련 데이터 파일 3개와 공격 포인트 50개를 가진 5일간의 테스트 파일 5개로 구성되어 있다.
HAICon 2021에서 제공된 데이터셋은 훈련 데이터셋, 검증 데이터셋, 테스트 데이터셋으로 구성되어 있다. 검증 데이터셋에 포함된 7개의 공격 포인트를 통해 하이퍼파라미터를 튜닝하고, 이상 탐지를 위한 Threshold를 정하게 된다.
SWaT(Secure Water Treatment) 데이터셋은 SUTD(Singapore University of Technology and Design)의 iTrust 연구소에서 테스트베드를 만들어 수집한 데이터셋이며, HAI 데이터셋과 유사하게 제어시스템의 필드 디바이스로부터 수집한 데이터셋을 가지고 있다.
경진대회를 주최한 국가보안연구소 담당자에 문의하여 HAICon 2021에서 사용한 Public Score 데이터셋을 확보하였다. HAI 3.
csv)도 포함하고 있다. 공격 구간을 라벨링하지 않은 비지도 학습으로 진행하였기에 훈련 데이터셋은 train1.csv 파일 1개만 사용하였다. 그리고 HAI 1.
데이터 보정의 과정을 위해 HAICon 2021의 1위 수상작으로 공개된 오리도리팀의 모델을 일부 변경하여 사용하였고, 데이터셋은 HAICon 2021에서 제공한 데이터셋이 아닌, HAI 2.0(21.03) 데이터셋을 이용하였다.
본 논문에서는 HAI 2.0(21.03)과 1.1(20.07)을 사용하여 제안 내용을 정리하고, HAICon 2021 경진대회에서 제공된 데이터셋과 해외의 SWaT 데이터셋을 사용하여 검증한다.

데이터처리

HAI 2.0 데이터셋에서 사용하였던 보정 형태와 보정값을 변경 없이 그대로 사용하여 검증을 진행하였다.
03)의 데이터셋에는 테스트 데이터셋이 50개의 공격 포인트를 포함하고 있다. 각 공격 포인트에서 보인 비정상의 형태를 분석하여 보정의 방향을 잡고 최종적으로는 HAICon 2021의 데이터셋을 적용하여 eTaPR의 F1 Score로 수상작들과 비교하도록 한다.
검증 데이터셋에 포함된 7개의 공격 포인트를 통해 하이퍼파라미터를 튜닝하고, 이상 탐지를 위한 Threshold를 정하게 된다. 테스트 데이터를 통해 탐지한 비정상의 구간을 라벨링 하여 제출하면 주최 측에서 실제 공격 구간이 라벨링 된 데이터를 사용하여 eTaPR로 탐지성능을 평가하게 된다.

이론/모형

본 논문에서도 eTaPR을 이용하여 이상 탐지 성능을 평가한다.

성능/효과

22%의 탐지성능 개선이 있었다. HAI 2.0 데이터셋을 사용한 실험결과(12.52%)와 유사한 비율의 이상 탐지 성능의 개선효과를 확인하였다.
77%의 성능 향상이 나타났다. HAI 2.0 데이터셋의 12.52%에 비해 작은 비율 이지만 성능 개선의 효과가 있음을 확인하였다.
HAI 2.0의 보정에서와 마찬가지로 보정3까지 적용하였을 때, F1 Score 0.708로 보정 전과 비교하여 약 11.15%의 탐지 성능 개선이 있었다. 다음으로는 HAI 1.
본 연구는 학습 알고리즘과 데이터 전처리(pre-processing)의 과정이 아닌, 정상 데이터를 학습하여 추론한 결과의 비정상 데이터를 좀 더 세밀하게 보정하는 후처리(post-processing) 방법이며, 탐지한 공격의 시작과 끝의 정확도를 높이고 미탐지를 최소화하는 방법이다. 각 비정상 데이터가 보이는 그래프의 형태에 따라 실제 공격 구간과의 차이가 발생되는 것을 확인하고 이를 HAI 2.0(21.04) 데이터셋을 통해 보정값을 확인 한 후, HAICon 2021에서 제공된 데이터셋과 해외의 SWaT 데이터셋을 사용하여 탐지성능에 효과가 있는 것을 검증하였다.
동일 학습모델과 파라미터를 적용하여 공격 구간이 라벨링 되어 있는 테스트 데이터셋의 추론 결과를 확인해 보니, 데이터셋의 특성 때문인지, 학습과정이 부족한 이유인지는 알 수 없으나, 데이터셋의 앞부분과 뒷부분의 일정 영역에서 이상 패턴을 보이는 현상이 발생하였다. 그래서 앞부분은 약 13000초(1.
동일한 방법으로 HAICon 2021 경진대회에서 제공하였던 데이터셋을 사용하여 보정을 한 후의 탐지성능이 향상된 것을 확인할 수 있었고, 다른 종류의 SWaT 데이터셋에 동일한 보정 방법을 적용하여 성능 개선 효과를 확인하였다.
보정 전과 대비하여, F1 Score 0.725 이면서 약 13.81% 개선을 한 것으로 결과가 나왔고, 탐지개수는 1개 증가하였다.
보정 전과 비교하여 13.1%의 이상탐지 성능 개선이 있으며, 탐지 개수는 2개 증가하였다.
보정 전의 F1 Score 0.695와 비교하여 보정 후의 F1 Score는 0.782로 약 12.52%의 이상 탐지 성능 개선이 있었고, 탐지 개수도 4개 증가하였다.
보정1 ~ 보정3 까지 적용하였을 때, F1 Score가 0.766으로 보정 전의 값에 비해 약 10.22%의 탐지성능 개선이 있었다. HAI 2.
보정을 수행한 결과는 보정 전과 대비하여 약 7.77%의 성능 향상이 나타났다. HAI 2.
본 연구를 통해 보정 이후에 이상 탐지 개수가 증가할 뿐만 아니라, 공격의 시작점과 종료 시점을 좀더 정확하게 파악할 수 있게 되었다.
탐지된 비정상의 개수가 적어서 비정상 그래프의 형태 분류에 의한 추가 보정은 할 수 없었지만, 기본 보정만으로도 후처리 보정의 효과를 확인할 수 있었다.
확인 결과, HAI3.0의 테스트 데이터셋은 경진대회의 테스트 데이터셋과 동일하였고, Public Score의 F1 Score를 측정할 수 있는 라벨링을 가지고 있었다.

참고문헌 (26)

Shalyga, Dmitry, Pavel Filonov, and Andrey Lavrentyev. "Anomaly detection for water treatment system based on neural network with automatic architecture optimization." arXiv preprint arXiv:1807.07282 (2018).
Xu, Jiehui, et al. "Anomaly transformer: Time series anomaly detection with association discrepancy." arXiv preprint arXiv:2110.02642 (2021).
Blazquez-Garcia, Ane, et al. "A review on outlier/anomaly detection in time series data." ACM Computing Surveys (CSUR) 54.3 (2021): 1-33.

상세보기
Braei, Mohammad, and Sebastian Wagner. "Anomaly detection in univariate time-series: A survey on the state-of-the-art." arXiv preprint arXiv:2004.00433 (2020).
Filonov, Pavel, Andrey Lavrentyev, and Artem Vorontsov. "Multivariate industrial time series with cyber-attack simulation: Fault detection using an lstm-based predictive data model." arXiv preprint arXiv:1612.06676 (2016).
Shin, Hyeok-Ki, et al. "HAI 1.0: HIL-based Augmented ICS Security Dataset." 13th USENIX Workshop on Cyber Security Experimentation and Test (CSET 20). 2020.
HAI v3.0(22.04), "hai dataset technical details v3.0", Retrieved from https://github.com/icsdataset/hai/blob/master/hai_dataset_technical_details_v3.0.pdf. Last accessed 15 Jun. 2022
Hwang, Won-Seok, et al. "Do you know existing accuracy metrics overrate time-series anomaly detections?." Proceedings of the 37th ACM/SIGAPP Symposium on Applied Computing. 2022.
Audibert, Julien, et al. "Usad: Unsupervised anomaly detection on multivariate time series." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.
Choi, Seungoh, Jeong-Han Yun, and Sin-Kyu Kim. "A comparison of ICS datasets for security research based on attack paths." International Conference on Critical Information Infrastructures Security. Springer, Cham, 2018.
Lee, Jong-Hu, Kim, U-Nyeon, "Industrial Control System Security Requirements Standard Introduction", TTA, 2017
Hyeok-Ki Shin, Woomyo Lee, Jeong-Han Yun and Byung-Gil Min, "ICS security dataset", 2022. GitHub, Available at: https://github.com/icsdataset.
DACON, Industrial Control Systems Security Threat Detection AI Competition https://dacon.io/competitions/official/235624. Last accessed 23 Jun. 2022
iTrust: Swat datasets. https://itrust.sutd.edu.sg/itrust-labs_datasets/. Last accessed 23 Jun. 2022
Morris, T.H.: Industrial control system (ics) cyber attack datasets. https://sites.google.com/a/uah.edu/tommy-morris-uah/ics-data-sets. Last accessed 23 Jun. 2022
Lemay, A.: Scada network datasets. https://github.com/antoine-lemay/Modbus_dataset. Last accessed 23 Jun. 2022
Rodofile, N.R.: S7comm datasets. https://github.com/qut-infosec/2017QUT_S7comm. Last accessed 23 Jun. 2022
Into The Data, data sciense wiki - an omaly detection, https://intothedata.com/02.scholar_category/anomaly_detection. Last accessed 25 Jun. 2022
Mahesh, Batta. "Machine learning algorithms-a review." International Journal of Science and Research (IJSR).[Internet] 9 (2020): 381-386.
DATA SCIENCE BLOG, 2018, https://www.datascienceblog.net/post/commentary/inference-vs-prediction. Last accessed 25 Jun. 2022
Bian, Xingchao. "Detecting Anomalies in Time-Series Data using Unsupervised Learning and Analysis on Infrequent Signatures." Journal of IKEEE 24.4 (2020): 1011-1016.

원문보기 상세보기
Bae, Sungho, Chanwoong Hwang, and Taejin Lee. "Research on Improvement of Anomaly Detection Performance in Industrial Control Systems." International Conference on Information Security Applications. Springer, Cham, 2021.
Seong, ChangMin, et al. "Towards Building Intrusion Detection Systems for Multivariate Time-Series Data." Silicon Valley Cybersecurity Conference. Springer, Cham, 2021.
HyoSeok Kim, Yong-Min Kim. "Abnormal Detection for Industrial Control Systems Using Ensemble Recurrent Neural Networks Model." Journal of The Korea Institute of Information Security & Cryptology 31.3 (2021).
Kim, Doyeon, Chanwoong Hwang, and Taejin Lee. "Stacked-autoencoder based anomaly detection with industrial control system." International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing. Springer, Cham, 2021.
ORIDORI, DACON, https://dacon.io/competitions/official/235757/codeshare/4600?page1&dtyperecent. Last accessed 3 Jul. 2022

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증