소프트맥스 함수 특성을 활용한 침입탐지 모델의 공격 트래픽 분류성능 향상 방안 Improvement of Attack Traffic Classification Performance of Intrusion Detection Model Using the Characteristics of Softmax Function원문보기
현실 세계에서는 기존에 알려지지 않은 새로운 유형의 변종 공격이 끊임없이 등장하고 있지만, 인공신경망과 지도학습을 통해 개발된 공격 트래픽 분류모델은 학습을 실시하지 않은 새로운 유형의 공격을 제대로 탐지하지 못한다. 기존 연구들 대부분은 이러한 문제점을 간과하고 인공신경망의 구조 개선에만 집중한 결과, 다수의 새로운 공격을 정상 트래픽으로 분류하는 현상이 빈번하게 발생하여 공격 트래픽 분류성능이 심각하게 저하되었다. 한편, 다중분류 문제에서 각 클래스에 대한 분류가 정답일 확률을 결과값으로 출력하는 소프트맥스(softmax) 함수도 학습하지 않은 새로운 유형의 공격 트래픽에 대해서는 소프트맥스 점수를 제대로 산출하지 못하여 분류성능의 신뢰도 또는 정확도를 제고하는데 한계를 노출하고 있다. 이에 본 논문에서는 소프트맥스 함수의 이러한 특성을 활용하여 모델이 일정 수준 이하의 확률로 판단한 트래픽을 공격으로 분류함으로써 새로운 유형의 공격에 대한 탐지성능을 향상시키는 방안을 제안하고, 실험을 통해 효율성을 입증한다.
현실 세계에서는 기존에 알려지지 않은 새로운 유형의 변종 공격이 끊임없이 등장하고 있지만, 인공신경망과 지도학습을 통해 개발된 공격 트래픽 분류모델은 학습을 실시하지 않은 새로운 유형의 공격을 제대로 탐지하지 못한다. 기존 연구들 대부분은 이러한 문제점을 간과하고 인공신경망의 구조 개선에만 집중한 결과, 다수의 새로운 공격을 정상 트래픽으로 분류하는 현상이 빈번하게 발생하여 공격 트래픽 분류성능이 심각하게 저하되었다. 한편, 다중분류 문제에서 각 클래스에 대한 분류가 정답일 확률을 결과값으로 출력하는 소프트맥스(softmax) 함수도 학습하지 않은 새로운 유형의 공격 트래픽에 대해서는 소프트맥스 점수를 제대로 산출하지 못하여 분류성능의 신뢰도 또는 정확도를 제고하는데 한계를 노출하고 있다. 이에 본 논문에서는 소프트맥스 함수의 이러한 특성을 활용하여 모델이 일정 수준 이하의 확률로 판단한 트래픽을 공격으로 분류함으로써 새로운 유형의 공격에 대한 탐지성능을 향상시키는 방안을 제안하고, 실험을 통해 효율성을 입증한다.
In the real world, new types of attacks or variants are constantly emerging, but attack traffic classification models developed through artificial neural networks and supervised learning do not properly detect new types of attacks that have not been trained. Most of the previous studies overlooked t...
In the real world, new types of attacks or variants are constantly emerging, but attack traffic classification models developed through artificial neural networks and supervised learning do not properly detect new types of attacks that have not been trained. Most of the previous studies overlooked this problem and focused only on improving the structure of their artificial neural networks. As a result, a number of new attacks were frequently classified as normal traffic, and attack traffic classification performance was severly degraded. On the other hand, the softmax function, which outputs the probability that each class is correctly classified in the multi-class classification as a result, also has a significant impact on the classification performance because it fails to calculate the softmax score properly for a new type of attack traffic that has not been trained. In this paper, based on this characteristic of softmax function, we propose an efficient method to improve the classification performance against new types of attacks by classifying traffic with a probability below a certain level as attacks, and demonstrate the efficiency of our approach through experiments.
In the real world, new types of attacks or variants are constantly emerging, but attack traffic classification models developed through artificial neural networks and supervised learning do not properly detect new types of attacks that have not been trained. Most of the previous studies overlooked this problem and focused only on improving the structure of their artificial neural networks. As a result, a number of new attacks were frequently classified as normal traffic, and attack traffic classification performance was severly degraded. On the other hand, the softmax function, which outputs the probability that each class is correctly classified in the multi-class classification as a result, also has a significant impact on the classification performance because it fails to calculate the softmax score properly for a new type of attack traffic that has not been trained. In this paper, based on this characteristic of softmax function, we propose an efficient method to improve the classification performance against new types of attacks by classifying traffic with a probability below a certain level as attacks, and demonstrate the efficiency of our approach through experiments.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본논문에서는인공신경망을기반으로생성한침입탐지모델의공격트래픽분류성능을향상하기위해 모델의시험세트에대한최대소프트맥스점수를확 인하고, 일정 수준이 하로 판단한 샘플을 공격 트래픽으로 재분류하는 기법을 제안하였다. 제안된 기법을구현하기위해NSL-KDD데이터세트을16비트그레 이 스케일 이미지로 변환하고, SGAN의 분류모델을학습후사용하였다.
097%의확률로정상트래픽으로잘못 분류하였는데 공격 트래픽일 확률과의 차이가 다른샘플에비해낮은것을확인할 수 있다.본논문의핵 심아이디어는이와같이모호한확률로분류된샘플 을공격트래픽으로재분류하는것이다.
제안 방법
수가 사용된다. CNN 계층의 활성화 함수로 LeakyReLU를사용하고, 과적합방지를위해완전연결계층이후Drop-Out계층(0.4)을배치하였다.
NSL-KDD 데이터세트의42개의속성(feature) 중 ‘num_outbound-cmds’은모든데이터가‘0’의값을가 지기때문에모델의분류성능에영향을미치지않는 속성으로판단하여삭제하였다. ‘protocol_type’, ‘flag’, ‘service’ 3개 속성은 숫자가 아닌 범주형 데이터이므로 원-핫-인코딩(one hot encoding)을 통해 기호를 숫자로 매핑하였다.
이러한 결과는 제안된 침입 탐지 모델이 탐지를 회피하여 네트워크 내부로 침투하는 공격 트래픽을 획기적으로 줄일 수 있음을 확인시켜준다. 또한 제안된 기법 eSGAN의 분류 모델뿐만 아니라 출력층에 소프트맥스를 사용하는 다 른 형태의 신경망으로 구현된 침입탐지 모델이나 NSL-KDD 이외의 다른 데이터 세트에도 적용할 수 있는방법이다.
제안하는침입탐지모델성능향상방안의전반적인개념은다음과같다.먼저NSL-KDD의원시데이 터를인공신경망의입력에적합하도록이미지로변환 후SGAN의분류모델을학습시킨다.여기서SGAN의 분류모델을 선택한 이유는 인공신경망을 이용하여 NSL-KDD분류를시도한연구중SGAN의분류모델 이가장뛰어난성능을보였기때문이다.
본 논문의 모든 실험eWindow10Home64비트운영체제, Intel Core i7-9700F CPU, 16.0GB RAM, NVIDIAGeForceRTX2070SUPER8GBGPU사양 의PC에서Python및Keras를이용하여진행하였다.
본논문에서는NSL-KDD데이터세트에서공격에 해당하는4개의클래스(DoS, Probe, U2R, R 2L)를모두‘Attack’ 클래스로재구성하고, ‘Normal’ 클래스와 함께 이진 분류를 시도한다.
여기서SGAN의 분류모델을 선택한 이유는 인공신경망을 이용하여 NSL-KDD분류를시도한연구중SGAN의분류모델 이가장뛰어난성능을보였기때문이다.이어서시험 데이터세트의각샘플별소프트맥스점수를확인하 고 이 점수가 일정 수준을 넘지 못하면 분류모델이모호하게분류한것으로간주하여해당샘플을공격 트래픽으로분류한다.
재분류하는 기법을 제안하였다. 제안된 기법을구현하기위해NSL-KDD데이터세트을16비트그레 이 스케일 이미지로 변환하고, SGAN의 분류모델을학습후사용하였다.실험을통해분류성능을확인한 결과, 정상트래픽에비해공격트래픽이, 학습세트에존재하던기존의공격유형보다시험세트에서새롭게 등장한 공격 유형의 최대 소프트맥스 점수가 낮고 넓 은 범위에 분포한다는 사실을 확인하였다.
이론/모형
딥러닝을침입탐지에적용한연구중가장뛰어난지표를보인연구중하나는Y.Chuanlong등[18]이 SGAN(Semi-supervised Generative Adversarial Network)을 침입탐지 모델 생성에 적용한 것으로, NSL-KDD데이터세트에대해84.75%의높은이진분 류정확도를달성하였다.원래GAN의구분모델은샘 플이실제데이터세트에서나온것인지아닌지만판 단하는이진분류기로샘플의클래스를구분하는능 력은없다[19].
rate), FAR(falsealarmrate)등의지표를사용하기도한다. 본논문에서도성능평가지표로AC, DR, FAR을 사용하며, 이를설명하기위해먼저이진분류에서오차행렬과요소들의관계를살펴보면(그림7)과(그림8) 에서보는바와같다[6].
성능/효과
실험을통해분류성능을확인한 결과, 정상트래픽에비해공격트래픽이, 학습세트에존재하던기존의공격유형보다시험세트에서새롭게 등장한 공격 유형의 최대 소프트맥스 점수가 낮고 넓 은 범위에 분포한다는 사실을 확인하였다. 그리고 정 답일 확률을 일정 수준 이하로 판단한 샘플을 공격트래픽으로 재분류함으로써 AC는 2.77%P, DRe 9.33%P 상승한 효과를 거두었다.이러한 결과는 제안된 침입 탐지 모델이 탐지를 회피하여 네트워크 내부로 침투하는 공격 트래픽을 획기적으로 줄일 수 있음을 확인시켜준다.
제안된 기법을구현하기위해NSL-KDD데이터세트을16비트그레 이 스케일 이미지로 변환하고, SGAN의 분류모델을학습후사용하였다.실험을통해분류성능을확인한 결과, 정상트래픽에비해공격트래픽이, 학습세트에존재하던기존의공격유형보다시험세트에서새롭게 등장한 공격 유형의 최대 소프트맥스 점수가 낮고 넓 은 범위에 분포한다는 사실을 확인하였다. 그리고 정 답일 확률을 일정 수준 이하로 판단한 샘플을 공격트래픽으로 재분류함으로써 AC는 2.
33%P 상승한 효과를 거두었다.이러한 결과는 제안된 침입 탐지 모델이 탐지를 회피하여 네트워크 내부로 침투하는 공격 트래픽을 획기적으로 줄일 수 있음을 확인시켜준다. 또한 제안된 기법 eSGAN의 분류 모델뿐만 아니라 출력층에 소프트맥스를 사용하는 다 른 형태의 신경망으로 구현된 침입탐지 모델이나 NSL-KDD 이외의 다른 데이터 세트에도 적용할 수 있는방법이다.
이는모델이비교적모호하게잘못분류 한샘플이다수존재함을의미한다.이러한분석결과 를통해소프트맥스점수를이용하여샘플을재분류 할경우모델의탐지정확도를높일수있다는가능 성을확인할 수 있다.
그러나 학습하지 않은새로운유형의공격트래픽에대해서는클래스간소 프트맥스점수의차이가이미학습한유형의트래픽 에비해크지않다.이러한현상eNSL-KDD데이터 세트를대상으로한식별성능검증실험에서명확하게 확인하였다.즉모델이학습하지않은유형의공격트 래픽은모델자신도어떤클래스인지를확신할수없 는경우가확연하게증가하는것이다.
제안하는방법이기존연구에비해AC는0.68 ∼3.77%P, DRe5.72∼8.93%P까지전반적으로높으므로충분히효용성을가진다고할 수 있다.특히기 존연구중가장뛰어난성능을보인[18]의모델과 비교하여DR이5.
학습결과는(그림2)에서보는바와같이Epoch 70에서학습세트99.45%, 시험 세트 82.69%의가장높은정확도를달성하였으며, 해당모델로이후실험을진행하였다.분류모델의KDDTest+에대한오차행렬 (그림3)을보면, 정상 트래픽은 대부분 정상으로 정확하게 분류하는반면, 공격트래픽은총12, 833개중 3, 575개를 정상 트래픽으로 잘못 분류한 것을확인할 수 있다.
후속연구
향후에는 SGAN 이외의 신경망과 데이터 세트를 활용하고 이진분류 이상의 다중분류문제에 적용가능 한방법으로연구를확장할예정이다.
국경완, 공병철, "인공지능을 활용한 보안기술 개발 동향", 정보통신기획평가원 주간기술동향, 1913호, pp 5, 2019.
박형근, "정보보안에서의 인공지능 도입 분야와 주요 사업자", 시큐리티플러스, pp.3-9, 2018.
A. Khraisat, I. Gondal, P. Vamplew, J. Kamruzzaman, "Survey of intrusion detection systems: techniques, datasets and challenges", Cybersecurity, pp.1-22, 2019.
Y. Lecun, Y. Bengio, G. Hinton, "Deep learning", Nature, vol.521, no.7553, pp.436-444, 2015.
W. Kehe, C. Zuge, L. Wei, "A Novel Intrusion Detection Model for a Massive Network Using Convolutional Neural Networks", IEEE Access, vol.6, pp.50850-50859, 2018.
M. A. Salama, H. F. Eid, R. A. Ramadan, A. Darwish, A. E. Hassanien, "Hybrid intelligent intrusion detection scheme", Soft Computing in Industrial Applications, Berlin, Germany:Springer, pp.293-303, 2011.
U. Fiore, F. Palmieri, A. Castiglione, A. De Santis, "Network anomaly detection with the restricted Boltzmann machine", Neurocomputing, vol.122, pp.13-23, Dec, 2013.
J. Kim, J. Kim, H. L. T. Thu, H. Kim, "Long short term memory recurrent neural network classifier for intrusion detection", Proc. Int. Conf. Platform Service, pp.1-5, 2016.
T. T. H. Le, J. Kim, H. Kim, "An effective intrusion detection classifier using long short-term memory with gradient descent optimization", Proc. Int. Conf. Platform Technol. Service, pp.1-6, 2017.
R. Vinayakumar, K. P. Soman, P. Poornachandran, "Applying convolutional neural network for network intrusion detection", Proc. Int. Conf. Adv. Comput. Commun. Inform., pp.1222-1228, 2017.
W. Wang, M. Zhu, X. Zeng, X. Ye, Y. Sheng, "Malware traffic classification using convolutional neural network for representation learning", Proc. Int. Conf. Inf. Netw., pp.712-717, Jan. 2017.
M. Wang, J. Li, "Network intrusion detection model based on convolutional neural network", J. Inf. Secur. Res., vol.3, pp.990-994, 2017.
E. Min, J. Long, Q. Liu, J. Cui, W. Chen, "TR-IDS: Anomaly-based intrusion detection through text-convolutional neural network and random forest", Secur. Commun. Netw., vol. 2018, Jul. 2018.
W. Wang, "HAST-IDS: Learning hierarchical spatial-temporal features using deep neural networks to improve intrusion detection", IEEE Access, vol.6, pp.1792-1806, 2018.
L. Peng, H. Zhang, Y. Chen, B. Yang, "Imbalanced traffic identification using an imbalanced data gravitation-based classification model", Comput. Commun., vol. 102, pp. 177-189, 2016.
Y. Liu, S. Liu, X. Zhao, "Intrusion detection algorithm based on convolutional neural network", Beijing Ligong Daxue Xuebao/Trans. Beijing Inst. Technol., vol.37, no.12, pp.1271-1275, 2017.
Chuanlong Y., Yuefei Z., Shengli L., Jinlong F., Hetong Z, "Enhancing network intrusion detection classifiers using supervised adversarial training", The Journal of Supercomputing, pp. 6690-6719, 2020.
G. Ian, P. Jean, M. Mehdi, X. Bing, W. David, O. Sherjil, C. Aaron, B. Yoshua, "Generative Adversarial Nets", Neural Information Processing Systems, pp.2672-2680, 2014.
O. Augustus, "Semi-Supervised Learning with Generative Adversarial Networks", arXiv preprint arXiv:1606.01583, 2016.
T. Mahbod, B. Ebrahim, L. Wei, A. AlI, "A Detailed Analysis of the KDD CUP 99 Data Set", 2009 IEEE Symposium on Computational Intelligence for Security and Defense Applications, 2009.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.