[논문]오토 인코더 기반의 단일 클래스 이상 탐지 모델을 통한 네트워크 침입 탐지

민병준; 유지훈; 김상수; 신동일; 신동규

doi:10.7472/jksii.2021.22.1.13

오토 인코더 기반의 단일 클래스 이상 탐지 모델을 통한 네트워크 침입 탐지
Network Intrusion Detection with One Class Anomaly Detection Model based on Auto Encoder. 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.22 no.1, 2021년, pp.13 - 22

민병준 (Dept. of Computer Science, Sejong University) , 유지훈 (Dept. of Computer Science, Sejong University) , 김상수 (Agency for Defense Development) , 신동일 (Dept. of Computer Science, Sejong University) , 신동규 (Dept. of Computer Science, Sejong University)

초록
AI-Helper

최근 네트워크 환경에 대한 공격이 급속도로 고도화 및 지능화 되고 있기에, 기존의 시그니처 기반 침입탐지 시스템은 한계점이 명확해지고 있다. 지능형 지속 위협(Adavanced Persistent Threat; APT)과 같은 새로운 공격에 대해서 시그니처 패턴은 일반화 성능이 떨어지는 문제가 존재한다. 이러한 문제를 해결하기 위해 기계학습 기반의 침입 탐지 시스템에 대한 연구가 활발히 진행되고 있다. 하지만 실제 네트워크 환경에서 공격 샘플은 정상 샘플에 비해서 매우 적게 수집되어 클래스 불균형(Class Imbalance) 문제를 겪게 된다. 이러한 데이터로 지도 학습 기반의 이상 탐지 모델을 학습시킬 경우 정상 샘플에 편향된 결과를 가지게 된다. 본 논문에서는 이러한 불균형 문제를 해결하기 위해서 오토 인코더(Auto Encoder; AE)를 활용해 One-Class Anomaly Detection 을 수행하여 이를 극복한다. 실험은 NSL-KDD 데이터 셋을 통해 진행되었으며, 제안한 방법의 성능 평가를 위해 지도 학습된 모델들과 성능을 비교한다.

Abstract ▼ AI-Helper

Recently network based attack technologies are rapidly advanced and intelligent, the limitations of existing signature-based intrusion detection systems are becoming clear. The reason is that signature-based detection methods lack generalization capabilities for new attacks such as APT attacks. To solve these problems, research on machine learning-based intrusion detection systems is being actively conducted. However, in the actual network environment, attack samples are collected very little compared to normal samples, resulting in class imbalance problems. When a supervised learning-based anomaly detection model is trained with such data, the result is biased to the normal sample. In this paper, we propose to overcome this imbalance problem through One-Class Anomaly Detection using an auto encoder. The experiment was conducted through the NSL-KDD data set and compares the performance with the supervised learning models for the performance evaluation of the proposed method.

주제어

표/그림 (13)

그림 (그림 1) 오토인코더의 구조 (Figure 1) Architecture of AutoEncoder
그림 (그림 2) t-SNE 기법을 통한 NSL-KDD 시각화 (Figure 2) Visualization using t-SNE for NSL-KDD
표 (표 1) NSL-KDD 데이터 셋의 공격 유형 (Table 1) Attack type of NSL-KDD Dataset
그림 (그림 3) 학습된 적층 오토 인코더의 재구성 손실 분포 (Figure 3) Reconstruction Loss Distribution of trained Stacked Auto Encoder
표 (표 2) 실험에 사용된 NSL-KDD 데이터 셋 (Table 2) NSL-KDD Dataset for Experiment
표 (표 3) 실험에 사용된 학습 파라미터 (Table 3) Experiment Parameters for Train
표 (표 4) 혼동 행렬 (Table 4) Confusion Matrix
표 (표 5) Code 파라미터에 따른 오토인코더의 성능 비교(Table 5) Performance Comparison of Auto-Encoder by Code value.
표 (표 6) 지도학습 모델들과의 실험 결과 비교 (Table 6) Experiment Results compared with Supervised Model
그림 (그림 4) 오토 인코더와 지도 학습 모델들의 성능 비교 (Figure 4) Performance comparison between Auto Encoder and Supervised Learning models.
그림 (그림 5) 오토인코더의 수신자 조작 특성 곡선 (Figure 5) ROC Curve for Auto Encoder
표 (표 7) 제안하는 모델의 세부 분류 결과 (Table 7) Detailed Classification Results for Proposed Models
그림 (그림 6) 제안된 모델의 이상 탐지 혼동 행렬 (Figure 6) Anomaly detection confusion matrix for proposed models

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 오토 인코더(Auto Encoder)모델을 통한 One-Class Anomaly Detection 모델을 제안하여 네트워크침입 탐지에 대한 연구를 진행하였다. 실제 네트워크 침입 데이터는 매우 불균형함에 따라 기존의 지도 학습 기반의 분류 방법은 적합하지 않음을 알 수 있었으며, 다수클래스에 해당하는 Normal-Class 데이터만을 통해 학습한오토 인코더 기반의 이상 탐지 모델이 매우 좋은 성능을 보이는 것을 실험을 통해 확인하였다.

제안 방법

본 논문에서는 One-Class Anomaly Detection based Auto Encoder 방법을 제안한다. One-Class 학습 방법은 특정 종류의 클래스 데이터만을 가지고 학습시키는 방법으로, 네트워크 침입 탐지 문제와 같이 클래스 불균형이 일반적인 상황에서 적용한다.

대상 데이터

학습에 사용된 데이터는 Table 2와 같이 KDDTrain+ 데이터 셋과 KDDTest+ 데이터 셋을 사용하였다. One-Class Learning을 진행하였기에 KDDTrain 데이터 셋에는 공격데이터의 샘플들을 모두 제거하여 모델의 학습에 사용하였다. 실험에 사용된 오토인코더 모델은 Code 계층을 기점으로 좌우 대칭한 형태로 구성되며, 인코더와 디코더의 각 은닉층은 Code 크기로부터 512까지 배수로 늘어나며 구성된다.
One-Class 학습 방법은 특정 종류의 클래스 데이터만을 가지고 학습시키는 방법으로, 네트워크 침입 탐지 문제와 같이 클래스 불균형이 일반적인 상황에서 적용한다. 따라서 학습에 사용된 오토 인코더는 Normal-Class 데이터들만을 사용하여 재구성 오류를 최소화 하도록 훈련된다. Normal-Class 샘플의 특징들에 대해서만 오토 인코더가 학습을 진행하였음에 따라서 학습에 사용되지 않은 샘플들에 대해서는 비교적 높은 오류 값들의 분포를 가질 것으로 기대할 수 있다.
이를 통해 정상 샘플들과 공격 샘플들이 선형 분리가 불가능 한 것을 확인할 수 있으며, 정상 샘플들로부터 비선형 관계들을 모델링 가능한 학습모델을 사용해야 함을 알 수 있다. 본 논문에서 실험에 사용되는 학습 모델들은 모두 비선형 분리가 가능한 모델들로 구성되며, 오토 인코더의 활성함수 또한 선형 함수가 아닌 비선형 함수로 사용해야 정상 데이터들에 대한 올바른 모델링이 가능한 것으로 확인된다.
One-Class Learning을 진행하였기에 KDDTrain 데이터 셋에는 공격데이터의 샘플들을 모두 제거하여 모델의 학습에 사용하였다. 실험에 사용된 오토인코더 모델은 Code 계층을 기점으로 좌우 대칭한 형태로 구성되며, 인코더와 디코더의 각 은닉층은 Code 크기로부터 512까지 배수로 늘어나며 구성된다. 이외 학습에 사용된 파라미터 값은 Table 3과 같다.
1 절에서 언급한 학습 데이터로 사용된 Normal-Class 샘플들의 재구성 손실의 백분위 값을 이용하여 설정하였다. 학습에 사용된 데이터는 Table 2와 같이 KDDTrain+ 데이터 셋과 KDDTest+ 데이터 셋을 사용하였다. One-Class Learning을 진행하였기에 KDDTrain 데이터 셋에는 공격데이터의 샘플들을 모두 제거하여 모델의 학습에 사용하였다.

데이터처리

본 실험에서는 오토인코더의 모델 구조 변화에 따른 실험을 진행하였으며, 추후 지도학습 기반의 모델들과 성능을 비교하였다. 각 모델들의 분류를 위한 임계값 θ는 3.
본 연구에서는 모델의 성능을 평가하기 위해 혼동 행렬(Confusion Matrix)을 사용한다. 오차행렬을 통해서 정확도(Accuracy), 정밀도 (Precision), 재현율(Recall), F1 스코어(F1 score)를 계산하고 이를 바탕으로 모델별 성능을 비교 분석한다. 혼동 행렬은 데이터 셋에 대해 모델이 분류한 결과를 나타내는 표로, 네트워크 이상 징후 탐지 모델의 오차행렬은 Table 4와 같이 나타낼 수 있다.

이론/모형

numeric type 데이터들에 대해서는 속성 값들의 범위의 차이를 왜곡하지 않고 공통 스케일로 변경하기 위해 식 4와 같이 최소 최대 정규화(Min-max Normalization)를 진행하였으며, binary type데이터들의 경우 모두 0과 1로 구성되기 때문에 별다른 전처리 과정을 수행하지 않았다. 이를 통해 40차원의 feature dimension에서 121차원의 feature dimension으로 최종 변환되어 모델의 입력으로 사용하게 된다.
정확도는 분류 모델의 성능을 평가하는데 일반적으로 사용되는 지표이지만, 불균형 데이터 셋에 대해서는 왜곡된 결과를 야기한다. 따라서 이러한 문제점을 보조하기 위한 지표로 정밀도(Precision)와 재현율(Recall) 그리고 F1 Score를 보조 지표로 사용한다.
본 연구에서는 모델의 성능을 평가하기 위해 혼동 행렬(Confusion Matrix)을 사용한다. 오차행렬을 통해서 정확도(Accuracy), 정밀도 (Precision), 재현율(Recall), F1 스코어(F1 score)를 계산하고 이를 바탕으로 모델별 성능을 비교 분석한다.

성능/효과

실험은 KDD Test+ 데이터 셋을 통해 진행되었으며, 결과는 Table 5와 같다. 4가지 병목 구간의 크기를 가진 모델 모두 90% 에 근접하는 지표들을 출력하는 것을 확인할 수 있었으며, 본 실험에서는 16 크기의 병목 구간을 가지는 적층 오토 인코더 모델이 가장 좋은 성능을 보이는 것을 알 수 있었다.
또한 현재 많은 도메인에서 사용되고 있는 심층 신경망 분류기 모델은 Random Forest 모델과 비교해 제법 우수한 성능을 보이고 있지만, 그럼에도 불구하고 본 논문에서 제시한 모델의 성능에는 미치지 못하는 것을 알 수 있다. 기존의 지도학습 모델들 중에서는 KNN(K-Neighbors) 분류기 모델이 가장 좋은 성능을 보이고 있음을 알 수 있었다. 이들 모델들을 F1 Score를 기준으로 비교시 본 논문에서 제시한 모델은 가장 성능이 낮은 모델과 비교해 약 10% 의 성능 차이가 나는 것을 확인할 수 있다.
실제 네트워크 침입 데이터는 매우 불균형함에 따라 기존의 지도 학습 기반의 분류 방법은 적합하지 않음을 알 수 있었으며, 다수클래스에 해당하는 Normal-Class 데이터만을 통해 학습한오토 인코더 기반의 이상 탐지 모델이 매우 좋은 성능을 보이는 것을 실험을 통해 확인하였다. 또한 적층 오토 인코더의 재구성 손실로부터 공격 행위를 탐지하는 방법에 대해서 서술하였으며, 학습에 사용된 샘들의 재구성 손실만을 사용하여 적합한 임계값을 찾을 수 있음을 보였다. 적층 오토 인코더의 최적의 모델 구조를 찾기 위해서 병목 구간의 크기를 변경하며, 모델의 성능을 평가하였으며 16 사이즈를 가지는 모델이 가장 좋은 성능을 가지는 것을 확인할 수 있었다.
트리 기반의 앙상블 모델인 Random Forest 모델은 최근까지도 많이 사용되고 있는 모델이지만, 현재 주어진 실험에서는 좋은 결과를 보이지 못하였다. 또한 현재 많은 도메인에서 사용되고 있는 심층 신경망 분류기 모델은 Random Forest 모델과 비교해 제법 우수한 성능을 보이고 있지만, 그럼에도 불구하고 본 논문에서 제시한 모델의 성능에는 미치지 못하는 것을 알 수 있다. 기존의 지도학습 모델들 중에서는 KNN(K-Neighbors) 분류기 모델이 가장 좋은 성능을 보이고 있음을 알 수 있었다.
본 논문에서는 오토 인코더(Auto Encoder)모델을 통한 One-Class Anomaly Detection 모델을 제안하여 네트워크침입 탐지에 대한 연구를 진행하였다. 실제 네트워크 침입 데이터는 매우 불균형함에 따라 기존의 지도 학습 기반의 분류 방법은 적합하지 않음을 알 수 있었으며, 다수클래스에 해당하는 Normal-Class 데이터만을 통해 학습한오토 인코더 기반의 이상 탐지 모델이 매우 좋은 성능을 보이는 것을 실험을 통해 확인하였다. 또한 적층 오토 인코더의 재구성 손실로부터 공격 행위를 탐지하는 방법에 대해서 서술하였으며, 학습에 사용된 샘들의 재구성 손실만을 사용하여 적합한 임계값을 찾을 수 있음을 보였다.
기존의 지도학습 모델들 중에서는 KNN(K-Neighbors) 분류기 모델이 가장 좋은 성능을 보이고 있음을 알 수 있었다. 이들 모델들을 F1 Score를 기준으로 비교시 본 논문에서 제시한 모델은 가장 성능이 낮은 모델과 비교해 약 10% 의 성능 차이가 나는 것을 확인할 수 있다.
좌측에 위치한 분포는 Normal-Class의 분포이며, 우측에 분포는 Attack- Class의 재구성 손실 분포로 두 분포가 매우 동떨어진 것을 확인할 수 있다. 이를 통해 본 논문에서 제안한 One-Class Anomaly Detection based Auto Encoder 방법이 네트워크 트래픽을 손실 값을 통해 분류하는데 있어 매우 효과적임을 알 수 있으며, 손실 값들로부터 임계 값을 사용하면 두 클래스를 Figure 3과 같이 분류할 수 있음을 알 수 있다. Table 5의 분류 결과는 Figure 3에 표시된 임계 값을 사용한 결과로 θ값은 5.
적층 오토 인코더의 최적의 모델 구조를 찾기 위해서 병목 구간의 크기를 변경하며, 모델의 성능을 평가하였으며 16 사이즈를 가지는 모델이 가장 좋은 성능을 가지는 것을 확인할 수 있었다. 이후 비교군 모델들과의 성능 비교에서는 F1 score를 기준으로 가장 낮은 탐지 모델은 81% 의 성능을 보여주었으며, 본 논문에서 제시한 모델은 10%나 성능이 개선된 91% 우수한 성능을 보임을 알 수 있었다.
또한 적층 오토 인코더의 재구성 손실로부터 공격 행위를 탐지하는 방법에 대해서 서술하였으며, 학습에 사용된 샘들의 재구성 손실만을 사용하여 적합한 임계값을 찾을 수 있음을 보였다. 적층 오토 인코더의 최적의 모델 구조를 찾기 위해서 병목 구간의 크기를 변경하며, 모델의 성능을 평가하였으며 16 사이즈를 가지는 모델이 가장 좋은 성능을 가지는 것을 확인할 수 있었다. 이후 비교군 모델들과의 성능 비교에서는 F1 score를 기준으로 가장 낮은 탐지 모델은 81% 의 성능을 보여주었으며, 본 논문에서 제시한 모델은 10%나 성능이 개선된 91% 우수한 성능을 보임을 알 수 있었다.

참고문헌 (13)

M. Thottan and C. Ji, "Anomaly detection in IP networks", IEEE Transactions on signal processing, vol. 51, no. 8, pp. 2191-2204, 2003. https://doi.org/10.1109/tsp.2003.814797

상세보기
M. Ahmed, A. N. Mahmood and J. Hu, "A survey of network anomaly detection techniques", Journal of Network and Computer Applications, vol 60, pp. 19-31, 2016. https://doi.org/10.1016/j.jnca.2015.11.016

상세보기
J. Song, H. Takakura, Y. Okabe and Y. Kwon, "Correlation analysis between honeypot data and IDS alerts using one-class SVM", Intrusion Detection Systems, pp. 173-192, 2011. https://doi.org/10.5772/13951
R. Longadge and S. Dongre, "Class imbalance problem in data mining review", 2013. Preprint at https://arxiv.org/abs/1305.1707
S. Barua, M. M. Islam, X. Yao and K. Murase, "MWMOTE--majority weighted minority oversampling technique for imbalanced data set learning", IEEE Transactions on Knowledge and Data Engineering, vol. 26, no. 2, pp. 405-425, 2012. https://doi.org/10.1109/tkde.2012.232

상세보기
L. M. Manevitz and M. Yousef, "One-class SVMs for document classification", Journal of machine Learning research, vol 2, pp. 139-154, 2001. https://dl.acm.org/doi/10.5555/944790.944808
A. Borghesi, A. Bartolini, M. Lombardi, M. Milano and L. Benini, "Anomaly detection using autoencoders in high performance computing systems", In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, pp. 9428-9433, 2019. https://doi.org/10.1609/aaai.v33i01.33019428

상세보기
T. Luo and S. G. Nagarajan, "Distributed anomaly detection using autoencoder neural networks in wsn for iot", IEEE International Conference on Communications (ICC), pp. 1-6, 2018. https://doi.org/10.1109/icc.2018.8422402
M. Tavallaee, E. Bagheri, W. Lu and A. A. Ghorbani, "A detailed analysis of the KDD CUP 99 data set", IEEE symposium on computational intelligence for security and defense applications, pp. 1-6, 2009. https://doi.org/10.1109/cisda.2009.5356528
Y. Yang, K. Zheng, C. Wu and Y. Yang, "Improving the classification effectiveness of intrusion detection by using improved conditional variational autoencoder and deep neural network", Sensors, vol. 19, no. 11, pp. 2528, 2019. https://doi.org/10.3390/s19112528

상세보기
A. Javaid, Q. Niyaz, W. Sun, and M. Alam, "A deep learning approach for network intrusion detection system", In Proceedings of the 9th EAI International Conference on Bio-inspired Information and Communications Technologies (formerly BIONETICS), pp. 21-26, 2016. https://dl.acm.org/doi/10.4108/eai.3-12-2015.2262516
D. S. Kim, H. N. Nguyen and J. S. Park, "Genetic algorithm to improve SVM based network intrusion detection system", In 19th International Conference on Advanced Information Networking and Applications (AINA papers), vol. 2, pp. 155-158, 2005. https://doi.org/10.1109/aina.2005.191
C. Yin, Y. Zhu, J. Fei and X. He, "A deep learning approach for intrusion detection using recurrent neural networks", Ieee Access, vol. 5, pp. 21954-21961, 2017. https://doi.org/10.1109/access.2017.2762418

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증