[논문]준 지도 이상 탐지 기법의 성능 향상을 위한 섭동을 활용한 초구 기반 비정상 데이터 증강 기법

정병길; 권준형; 민동준; 이상근

doi:10.13089/jkiisc.2022.32.4.647

준 지도 이상 탐지 기법의 성능 향상을 위한 섭동을 활용한 초구 기반 비정상 데이터 증강 기법
Abnormal Data Augmentation Method Using Perturbation Based on Hypersphere for Semi-Supervised Anomaly Detection 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.32 no.4, 2022년, pp.647 - 660

정병길 (고려대학교) , 권준형 (고려대학교) , 민동준 (고려대학교) , 이상근 (고려대학교)

초록
AI-Helper

최근 정상 데이터와 일부 비정상 데이터를 보유한 환경에서 딥러닝 기반 준 지도 학습 이상 탐지 기법이 매우 효과적으로 동작함이 알려져 있다. 하지만 사이버 보안 분야와 같이 실제 시스템에 대한 알려지지 않은 공격 등 비정상 데이터 확보가 어려운 환경에서는 비정상 데이터 부족이 발생할 가능성이 있다. 본 논문은 비정상 데이터가 정상 데이터보다 극히 작은 환경에서 준 지도 이상 탐지 기법에 적용 가능한 섭동을 활용한 초구 기반 비정상 데이터 증강 기법인 ADA-PH(Abnormal Data Augmentation Method using Perturbation based on Hypersphere)를 제안한다. ADA-PH는 정상 데이터를 잘 표현할 수 있는 초구의 중심으로부터 상대적으로 먼 거리에 위치한 샘플에 대해 적대적 섭동을 추가함으로써 비정상 데이터를 생성한다. 제안하는 기법은 비정상 데이터가 극소수로 존재하는 네트워크 침입 탐지 데이터셋에 대하여 데이터 증강을 수행하지 않았을 경우보다 평균적으로 23.63% 향상된 AUC가 도출되었고, 다른 증강 기법들과 비교했을 때 가장 높은 AUC가 또한 도출되었다. 또한, 실제 비정상 데이터에 유사한지에 대한 정량적 및 정성적 분석을 수행하였다.

Abstract ▼ AI-Helper

Recent works demonstrate that the semi-supervised anomaly detection method functions quite well in the environment with normal data and some anomalous data. However, abnormal data shortages can occur in an environment where it is difficult to reserve anomalous data, such as an unknown attack in the cyber security fields. In this paper, we propose ADA-PH(Abnormal Data Augmentation Method using Perturbation based on Hypersphere), a novel anomalous data augmentation method that is applicable in an environment where abnormal data is insufficient to secure the performance of the semi-supervised anomaly detection method. ADA-PH generates abnormal data by perturbing samples located relatively far from the center of the hypersphere. With the network intrusion detection datasets where abnormal data is rare, ADA-PH shows 23.63% higher AUC performance than anomaly detection without data augmentation and even performs better than the other augmentation methods. Also, we further conduct quantitative and qualitative analysis on whether generated abnormal data is anomalous.

주제어

표/그림 (11)

표 Table 1. Comparison of data augmentation methods.
그림 Fig. 1. Algorithm of ADA-PH.
그림 Fig. 2. Illustration of the CNN-LSTM model architecture and data generated from ADA-PH.
표 Table 2. The number of data points for the CICIDS-2017 dataset and the TON-IoT dataset.
표 Table 3. Hyperparameters of each augmentation method.
그림 Fig. 3. ROC curve of different augmentation methods on CICIDS-2017 (top) and TON-IoT (bottom) datasets.
표 Table 4. AUC performance on each augmentation method for the CICIDS-2017 dataset and TON-IoT dataset.
그림 Fig. 4. 2-dimensional t-SNE of embedded data from GAN (left), BadGAN (middle), and ADA-PH (right) for the CICIDS-2017 dataset.
표 Table 5. KL divergence between normal and abnormal (N and A), normal and generated (N and G), and abnormal and generated examples (A and G) for the CICIDS-2017 dataset.
그림 Fig. 5. AUC change of each data augmentation method according to the proportion of abnormal data in the training dataset for the CICIDS-2017 dataset (left) and the TON-IoT dataset (right).
표 Table 6. AUC scores of ADA-PH according to hyperparameters alpha(α) and epsilon(ϵ) for CICIDS-2017 dataset.

AI 본문요약
AI-Helper

문제 정의

본 연구는 준 지도 이상 탐지 기법의 성능 향상을 위한 비정상 데이터 증강 기법에 관한 것이다. 이에 따라, 본 장에서는 이와 관련된 기존의 이상 탐지 기법들과 종래 비정상 데이터 생성을 위한 연구들을 간략하게 소개한다.
본 연구에서는 소수의 비정상 데이터가 존재하는 환경에서 준 지도 이상 탐지 기법의 성능 증대를 위한 효과적인 데이터 증강 기법인 ADA-PH를 제안하였다. ADA-PH를 통해 신뢰도가 낮은 정상 데이터에 섭동을 가해 적대적 예제를 생성할 수 있으며, 이를 준 지도 이상 탐지 기법의 학습을 위한 비정상 데이터로써 활용할 수 있다.

제안 방법

은 사이버 보안 데이터셋에 대해 활용될 수 있는 종래 데이터 증강 기법들 및 ADA-PH와의 다양한 기준에서의 비교를 나타낸다. 구체적으로, 데이터 생성 시 비정상 데이터의 필요 여부, 이상 탐지기법을 고려한 증강 기법인지에 대한 여부, 그리고 모델 학습 시 요구되는 연산량에 대해 비교하였다. ADA-PH의 경우, 학습 시 비정상 데이터가 요구되지 않으며, 생성 모델 기반 데이터 증강 기법 대비 연산량이 적다는 장점이 있다.
본 논문에서 제안하는 기법인 ADA-PH는 정상 데이터를 잘 표현할 수 있는 초구를 학습한 뒤, 초구로부터 거리가 먼 데이터에 섭동을 첨가하여 비정상 데이터를 생성할 수 있다. Fig.
본 연구에서 제안하는 비정상 데이터 증강 기법인 ADA-PH의 유효성을 입증하기 위하여 상기 언급한 비교군인 GAN, BadGAN과의 성능 비교를 수행하였다. 본 실험에서는 각 증강 기법들로부터 생성된 데이터를 활용하여 준 지도 이상 탐지 기법 중 하나인 DeepSAD를 기반으로 이상 탐지를 수행하였으며, 각 기법에 대한 이상 탐지 성능은 Table 4.
본 연구에서는 데이터를 생성할 수 있는 생성 모델들인 GAN, BadGAN을 비교군으로 ADA-PH와의 성능 비교를 수행하였다. Table 3.
는 CICIDS-2017 데이터셋 및 TON-IoT 데이터셋에 대해 학습 데이터셋 내 비정상 데이터의 포함 비율에 따른 AUC 성능 변화 그래프를 각각 나타낸다. 우리는 학습 데이터셋 내 비정상 데이터의 포함 비율을 1% 부터 5%까지 증가시켜가며 각 증강 기법들의 AUC 성능 변화를 분석하였다. CICIDS-2017 데이터셋과 TON-IoT 데이터셋에 대해서 학습 데이터셋 내 비정상 데이터의 포함 비율이 1%에서 3%까지 증가함에 따라 다른 증강 기법들의 경우 AUC 수치가 평균적으로 각각 22.

대상 데이터

- TON-IoT: TON-IoT는 DoS, DDoS, 백도어 공격 등 9가지 유형의 공격 타입으로 구성되어 있으며 총 21,523,641개의 악성 데이터와 796,380개의 양성 데이터가 포함되어 있다.
본 연구에서는 비정상 데이터의 수가 극히 적은 환경을 설정하고 있으므로, 실험을 위해 각 데이터셋이 보유한 악성 데이터의 일부만을 사용하였다. 본 실험에서는 학습 데이터셋 내 비정상 데이터 수가 정상 데이터 수 대비 3%만을 포함하도록 설정하였다.
- CICIDS-2017: CICIDS-2017 데이터셋은 5일동안 수집된 네트워크 트래픽 데이터들로 구성되어 있으며, 총 14종의 공격 타입으로 이루어져 있다. 전체 공격 데이터의 수는 655,364개이며 정상 데이터 수는 2,271,397개이다.

이론/모형

본 연구에서 제안하는 비정상 데이터 증강 기법인 ADA-PH의 유효성을 입증하기 위하여 상기 언급한 비교군인 GAN, BadGAN과의 성능 비교를 수행하였다. 본 실험에서는 각 증강 기법들로부터 생성된 데이터를 활용하여 준 지도 이상 탐지 기법 중 하나인 DeepSAD를 기반으로 이상 탐지를 수행하였으며, 각 기법에 대한 이상 탐지 성능은 Table 4.의 AUC 점수와 Fig. 3.

성능/효과

우리는 학습 데이터셋 내 비정상 데이터의 포함 비율을 1% 부터 5%까지 증가시켜가며 각 증강 기법들의 AUC 성능 변화를 분석하였다. CICIDS-2017 데이터셋과 TON-IoT 데이터셋에 대해서 학습 데이터셋 내 비정상 데이터의 포함 비율이 1%에서 3%까지 증가함에 따라 다른 증강 기법들의 경우 AUC 수치가 평균적으로 각각 22.0%, 8.2% 증가하였다. 반면, ADA-PH의 경우 AUC 수치가 두 데이터셋에 대해 각각 52.
실험 결과에 따르면, ADA-PH로부터 생성된 비정상 데이터를 학습에 활용했을 경우 다른 증강 기법들의 경우보다 높은 AUC 수치가 도출된 것을 확인할 수 있었다. 또한, KL divergence와 t-SNE를 기반으로 수행한 분석을 통해, ADA-PH로부터 생성된 데이터의 분포가 다른 증강 기법들의 경우보다 실제 비정상 데이터의 분포와 가장 유사함을 확인할 수 있었다. 또한, 학습 데이터셋 내 비정상 데이터의 비율이 변화함에 따라서도 ADA-PH가 타 증강 기법들보다 가장 높은 AUC 수치가 도출되었으며, 이는 ADA-PH가 성능 확보의 측면에서 다른 증강 기법들보다 강건하다고 볼 수 있다.
또한, KL divergence와 t-SNE를 기반으로 수행한 분석을 통해, ADA-PH로부터 생성된 데이터의 분포가 다른 증강 기법들의 경우보다 실제 비정상 데이터의 분포와 가장 유사함을 확인할 수 있었다. 또한, 학습 데이터셋 내 비정상 데이터의 비율이 변화함에 따라서도 ADA-PH가 타 증강 기법들보다 가장 높은 AUC 수치가 도출되었으며, 이는 ADA-PH가 성능 확보의 측면에서 다른 증강 기법들보다 강건하다고 볼 수 있다. 하지만, 학습 데이터셋 내 비정상 데이터가 일정 비율 이상 확보된 환경의 경우, ADA-PH로부터 생성된 데이터는 성능 향상에 큰 도움을 주지 않는다.
실험 결과에 따르면, ADA-PH로부터 생성된 비정상 데이터를 학습에 활용했을 경우 다른 증강 기법들의 경우보다 높은 AUC 수치가 도출된 것을 확인할 수 있었다. 또한, KL divergence와 t-SNE를 기반으로 수행한 분석을 통해, ADA-PH로부터 생성된 데이터의 분포가 다른 증강 기법들의 경우보다 실제 비정상 데이터의 분포와 가장 유사함을 확인할 수 있었다.
5%만큼 각각 증가한다. 이는 ADA-PH를 기반으로 신뢰도가 낮은 정상 데이터에 섭동을 첨가하여 생성한 데이터가 GAN 기반의 다른 증강 기법들로부터 생성된 데이터보다 이상 탐지 성능 향상에 더 유효함을 보여준다. 특히, GAN의 경우, CICIDS-2017 데이터셋에 대해서 데이터 증강을 수행하지 않았을 때 보다 AUC 수치가 7.

후속연구

하지만, 학습 데이터셋 내 비정상 데이터가 일정 비율 이상 확보된 환경의 경우, ADA-PH로부터 생성된 데이터는 성능 향상에 큰 도움을 주지 않는다. 따라서 이를 개선하기 위해, 우리는 군집화 알고리즘 등을 활용하여 비정상 데이터가 충분한 상황에서도 성능 개선에 유효한 데이터를 생성할 수 있도록 향후 연구를 수행할 예정이다.
본 논문에서 제안하는 기법은 소수의 비정상 데이터가 존재하는 상황에서의 네트워크 침입 탐지 및 시스템 이상 행동 탐지 등에 효과적으로 사용될 수 있음을 기대하며, 향후 실제 운용 환경에서 보다 유용하게 활용될 수 있도록 추가적인 연구를 진행할 필요가 있다.

참고문헌 (33)

N. Shone, N. N. Tran, V. Dinh Phai and Q. Shi, "A Deep Learning Approach to Network Intrusion Detection," IEEE Transactions on Emerging Topics in Computational Intelligence, vol. 2, no. 1, pp. 41-50, Jan. 2018.

상세보기
J. Audibert, P. Michiardi, F. Guyard, S. Marti, and M. A. Zuluaga, "USAD: UnSupervised Anomaly Detection on Multivariate Time Series," Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 3395-3404, Aug. 2020.
S. M. Anwar, M. Majid, A. Qayyum, M. Awais, M. Alnowami and M. K. Khan, "Medical Image Analysis using Convolutional Neural Networks: A Review," Journal of Medical Systems, vol. 42, no. 11, pp. 226, Oct. 2018.

상세보기
D. J. Atha and M. R. Jahanshahi, "Evaluation of deep learning approaches based on convolutional neural networks for corrosion detection," Structural Health Monitoring, vol. 17, no. 5, pp. 1110-1128, Sep. 2018.

상세보기
D. Denning and P. G. Neumann, "Requirements and model for IDES-a real-time intrusion-detection expert system," SRI International Menlo Park, vol. 8, Aug. 1985.
K. Ilgun, R. A. Kemmerer, and P. A. Porras, "State Transition Analysis: A Rule-Based Intrusion Detection Approach," IEEE Transactions on Software Engineering, vol. 21, no. 3, pp. 181-199, Mar. 1995.

상세보기
B. Scholkopf, R. C. Williamson, A. J. Smola, J. Shawe-Taylor, and J. C. Platt, "Support Vector Method for Novelty Detection," Proceedings of the 12th Neural Information Processing Systems, pp. 582-588, Dec. 1999.
D. M. J. Tax and R. P. W. Duin, "Support Vector Data Description," Machine Learning, vol. 54, no. 1, pp. 45-66, Jan. 2004.

상세보기
L. Ruff, R. Vandermeulen, N. Goernitz, L. Deecke, S. A. Siddiqui, A. Binder, E. Muller, and M. Kloft, "Deep One-Class Classification," Proceedings of the 35th International Conference on Machine Learning, vol. 80, pp. 4393-4402, Jul. 2018.
D. Hendrycks, M. Mazeika, and T. G. Dietterich, "Deep Anomaly Detection with Outlier Exposure," 7th International Conference on Learning Representations, May 2019.
W. Yan, L. K. Mestha, and M. Abbaszadeh, "Attack Detection for Securing Cyber Physical Systems," IEEE Internet of Things Journal, vol. 6, no. 5, pp. 8471-8481, Oct. 2019.

상세보기
J. Wang, D. Shi, Y. Li, J. Chen, H. Ding, and X. Duan, "Distributed Framework for Detecting PMU Data Manipulation Attacks With Deep Autoencoders," IEEE Transactions on Smart Grid, vol. 10, no. 4, pp. 4401-4410, Jul. 2019.

상세보기
A. Liu, Y. Wang, and T. Li, "SFE-GACN: A novel unknown attack detection under insufficient data via intra categories generation in embedding space," Computers and Security, vol. 105, pp. 102262, Jun. 2021.

상세보기
I. J. Goodfellow, J. P. Abadie, M. Mirza, B. Xu, D. W. Farley, S. Ozair, A. Courville and Y. Bengio, "Generative Adversarial Nets," Proceedings of the 27th Neural Information Processing Systems, pp. 2672-2680, Dec 2014.
J. Lee and K. Park, "GAN-based imbalanced data intrusion detection system," Personal and Ubiquitous Computing 25.1, pp. 121-128, Nov. 2021.

상세보기
I. J. Goodfellow, J. Shlens, and C. Szegedy, "Explaining and Harnessing Adversarial Examples," Proceedings of the 3rd International Conference on Learning Representations, Mar. 2015.
L. Ruff, R. A. Vandermeulen, N. Gornitz, A. Binder, E. Muller, K. R. Muller, and M. Kloft, "Deep Semi-Supervised Anomaly Detection," In 8th International Conference on Learning Representations, Apr. 2020.
N. V. Chawla, K. W. Bowyer, L. O. Hall, and W. P. Kegelmeyer, "SMOTE: synthetic minority over-sampling technique," Journal of Artificial Intelligence, vol. 16, pp. 321 -357, Jun. 2002.
T. Karras, M. Aittala, J. Hellsten, S. Laine, J. Lehtinen, and T. Aila, "Training Generative Adversarial Networks with Limited Data," Advances in Neural Information Processing Systems 33, pp. 12104-12114, Dec. 2020.
Z. Dai, Z. Yang, F. Yang, W. W. Cohen, and R. Salakhutdinov, "Good Semi-supervised Learning That Requires a Bad GAN," Proceedings of the 30th Neural Information Processing Systems, pp. 6510-6520, Dec. 2017.
P. Zheng, S. Yuan, X. Wu, J. Li, and A. Lu, "One-Class Adversarial Nets for Fraud Detection," Proceedings of the AAAI Conference on Artificial Intelligence 33, pp. 1286-1293, Jul. 2019.
S. T. K. Jan, Q. Hao, T. Hu, J. Pu, S. Oswa, G. Wang, and B. Viswanath, "Throwing Darts in the Dark? Detecting Bots with Limited Data using Neural Data Augmentation," In IEEE Symposium on Security and Privacy (SP), pp. 1190-1206, Jul. 2020.
T. Salimans, I. J. Goodfellow, W. Zaremba, V. Cheung, A. Radford, X. Chen, and X. Chen, "Improved 정보보호학회논문지 (2022. 8) 659 Techniques for Training GANs," Advances in Neural Information Processing Systems 29, Dec. 2016.
L. Mescheder, A. Geiger, and S. Nowozin, "Which training methods for GANs do actually converge?," In International Conference on Machine Learning, pp. 3481-3490, Jul. 2018.
A. Madry, A. Makelov, L. Schmidt, D. Tsipras, and A. Vladu, "Towards Deep Learning Models Resistant to Adversarial Attacks," Proceedings of the 6th International Conference on Learning Representations, Feb. 2018.
S. Goyal, A. Raghunathan, M. Jain, H. V. Simhadri, and P. Jain, "DROCC: Deep Robust One-Class Classification," Proceedings of the 37th International Conference on Machine Learning, vol. 119, pp. 3711 -3721, Jul. 2020.
G. Pang, C. Shen, L. Cao, and A. V. D. Hengel, "Deep learning for anomaly detection: A review," ACM Computing Surveys, vol. 54(2), pp. 1-38, Mar. 2022.
I. Sharafaldin, A. H. Lashkari and A. A. Ghorbani, "Toward generating a new intrusion detection dataset and intrusion traffic characterization," In Proceedings of the 4th International Conference on Information Systems Security and Privacy, pp. 108-116, Jan. 2018
A. Alsaedi, N. Moustafa, Z. Tari, A. Mahmood, and A. Anwar, "TON_IoT telemetry dataset: A new generation dataset of IoT and IIoT for data-driven intrusion detection systems," IEEE Access, vol. 8, pp. 165130-165150, Sep. 2020.

상세보기
Y. Zhang, X. Chen, L. Jin, X. Wang, and D. Guo, "Network Intrusion Detection: Based on Deep Hierarchical Network and Original Flow Data," IEEE Access, vol. 7, pp. 37004-37016, Mar. 2019.

상세보기
A. P. Bradley, "The use of the area under the ROC curve in the evaluation of machine learning algorithms," Pattern Recognition, vol. 30, no. 7, pp. 1145-1159, Jul. 1997.

상세보기
S. Kullback and R. A. Leibler, "On Information and Sufficiency," The Annals of Mathematical Statistics, vol. 22, no. 1, pp. 79-86, Mar. 1951.

상세보기
L. van der Maaten and G. Hinton, "Visualizing Data using t-SNE," Journal of Machine Learning Research, vol. 9, no. 86, pp. 2579- 2605, Nov. 2008.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증