[논문]Intrusion Detection System based on Packet Payload Analysis using LightGBM

Gun-Nam Kim; Han-Seok Kim; Soo-Jin Lee

doi:10.9708/jksci.2023.28.06.047

Intrusion Detection System based on Packet Payload Analysis using LightGBM 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.6, 2023년, pp.47 - 54

Gun-Nam Kim (Dept. of Defense Science, Korea National Defense University) , Han-Seok Kim (Dept. of Defense Science, Korea National Defense University) , Soo-Jin Lee (Dept. of Defense Science, Korea National Defense University)

초록
AI-Helper

기계학습 기반의 침입탐지시스템에 대한 연구는 대부분 메타데이터를 활용한다. 그러나 메타데이터는 패킷을 분석해서 생성되는 정보이기 때문에, 실제 네트워크 환경에서 실시간 침입탐지를 보장하기는 어렵다. 이에 본 논문에서는 패킷의 페이로드(payload)를 직접 분석하여 신속하게 네트워크 침입을 탐지할 수 있는 기계학습 기반의 침입탐지시스템을 제안하였다. 제안하는 기법의 성능을 검증하기 위해 UNSW-NB15 데이터세트와 LightGBM 모델을 활용하였다. 먼저 'Payload-Byte' 기법을 활용하여 데이터세트 내의 PCAP 파일에 대한 라벨링을 실시한 후 LightGBM 모델로 학습을 실시하고 탐지성능을 분석하였다. 실험 결과 이진 분류는 정확도 99.33%, F1-score 98.73%를 달성하여 탐지성능이 크게 향상됨을 확인하였다. 그러나 다중 분류는 정확도 85.63%, F1-score 85.68%로 선행연구와 유사한 탐지성능을 보였다.

Abstract ▼ AI-Helper

Most studies on machine learning-based intrusion detection systems use metadata. However, since metadata is information generated by analyzing packets, it is difficult to ensure real-time intrusion detection in a real network environment. Therefore, in this paper, we proposed a machine learning-based intrusion detection system that can quickly detect network intrusions by directly analyzing the payload of packets. The UNSW-NB15 Dataset and the LightGBM model were used to verify the detection performance of the proposed technique. We first used the 'Payload-Byte' technique to label PCAP files in the Dataset, then conducted learning with the LightGBM model and analyzed detection performance. Experimental results showed that our approach can achieve a significant improvement in the binary classification with accuracy of 99.33% and F1-score of 98.73%. However, Multi-class classification showed similar detection performance to previous studies with accuracy of 85.63% and F1-score of 85.68%.

주제어

표/그림 (9)

표 Table 1. Configuration of UNSW-NB15 Dataset
표 Table 2. Configuration of Experimental Dataset
그림 Fig. 1. Concept of Payload-Byte
그림 Fig. 2. Experimental Design
표 Table 3. Hyperparameters of LightGBM Model
표 Table 4. Experimental Results(Binary Classification)
표 Table 5. Experimental Results(Multi-class Classification)
그림 Fig. 3. Comparison of Detection Process
그림 Fig. 4. Confusion Matrix of Multi-class Classification

AI 본문요약
AI-Helper

문제 정의

최근 증가하는 통신량만큼 네트워크를 통한 공격 또한 빠르게 증가하고 있다. 따라서 본 연구에서는 네트워크 침입탐지시스템에서 가장 중요한 요소들인 실시간성과 성능을 동시에 보장하기 위해 패킷의 페이로드를 특성 공간에 두고 이를 학습하여 침입을 탐지하는 기계학습 기반 침입탐지시스템을 제안하였다.
이에 본 연구에서는 침입탐지의 실시간성을 보장하면서 탐지성능도 개선하기 위해 네트워크로 유입되는 패킷의 페이로드를 특성 공간에 두고 이를 직접 학습하여 침입을 탐지하는 기계학습 기반 침입탐지시스템을 제안한다.

제안 방법

제안된 접근방법에 대한 성능평가 실험은 PCAP 형식의 파일을 제공하는 UNSW-NB15 데이터세트를 사용하였으며, Payload-Byte 기법을 적용하여 PCAP 파일에 대한 라벨링을 수행하였다. 데이터를 라벨링 한 이후에는 16진수 형태로 표현된 각 패킷의 페이로드를 10진수로 변환하고, 1,500개의 특성을 가지도록 변환된 데이터를 LightGBM 모델에 적용하여 학습 및 탐지성능 분석을 수행하였다.
한편, PCAP 파일 내의 데이터 중 가장 큰 페이로드의 크기는 1,380바이트이기 때문에, Payload-Byte 기법을 통해 변환된 데이터세트 내의 모든 데이터는 최소 120개 이상의 특성이 null 값을 가진다. 따라서 null 특성이 모델 학습이나 성능에 어떤 영향을 미칠 수 있는지 확인하기 위해 성능 평가 실험은 2단계로 구분하여 진행하였다. 초도실험은 null 값을 포함하여 1,500개의 특성을 모두 학습시킨 경우와 120개의 특성을 삭제한 후 학습시킨 경우의 탐지성능을 비교하는 형태로 진행하였으며 10회 반복 실험을 통해 확인한 결과 탐지성능이 거의 동일하게 나타났다.
본 연구에서는 학습에 사용될 데이터세트의 특성이 1,500개로 특성 공간이 크다는 점, 그리고 빠른 실행속도 및 높은 탐지성능을 가진다는 점을 고려하여 LightGBM 모델만을 적용하였다. 그러나 향후에는 보다 다양한 분류모델을 적용하고 데이터세트도 다양화하면서 제안된 접근방법의 탐지성능을 분석할 예정이다.
초도실험은 null 값을 포함하여 1,500개의 특성을 모두 학습시킨 경우와 120개의 특성을 삭제한 후 학습시킨 경우의 탐지성능을 비교하는 형태로 진행하였으며 10회 반복 실험을 통해 확인한 결과 탐지성능이 거의 동일하게 나타났다. 이에 본 실험에서는 특성을 삭제하지 않고, 변환된 데이터 세트를 원본 형태 그대로 LightGBM 분류 모델에 적용하여 성능평가를 수행하였고, 세부적인 실험 과정은 Fig 2에서 보는 바와 같다.

대상 데이터

반복 실험을 통해 LightGBM 모델이 가장 우수한 성능을 달성하는 최적의 하이퍼파라미터를 선정하였으며, 실험에 적용한 하이퍼파라미터는 Table 3에서 보는 바와 같다.
실험은 Windows 11 Pro 기반에 11세대 Gen Intel i5-11300H CPU와 40GB RAM이 탑재된 데스크탑 환경에서 진행하였고, 사용된 개발언어는 Python 3.10이다.

데이터처리

제안된 접근방법에 대한 성능평가 실험은 PCAP 형식의 파일을 제공하는 UNSW-NB15 데이터세트를 사용하였으며, Payload-Byte 기법을 적용하여 PCAP 파일에 대한 라벨링을 수행하였다. 데이터를 라벨링 한 이후에는 16진수 형태로 표현된 각 패킷의 페이로드를 10진수로 변환하고, 1,500개의 특성을 가지도록 변환된 데이터를 LightGBM 모델에 적용하여 학습 및 탐지성능 분석을 수행하였다.

성능/효과

61%로 나타나 선행연구와 거의 유사한 수준임을 확인하였다. 그러나 본 연구에서 제안된 접근방법은 패킷 페이로드를 직접 분석하여 침입을 탐지하기 때문에 메타데이터를 생성해야만 하는 기존 접근 방법들보다 실시간성 측면에서 큰 장점을 가진다.
본 연구에서 사용한 UNSW-NB15 데이터세트의 특성은 총 45개이지만, Payload-Byte 기법을 적용하여 새롭게 생성된 데이터세트는 1,500개의 특성을 가지기 때문에 특성 공간이 매우 크다고 볼 수 있다. 그리고 실시간 침입탐지를 보장하기 위해서는 모델의 실행 속도 역시 빨라야 하므로 본 연구에서는 LIghtGBM 모델을 가장 적합한 학습 모델로 판단하였다.
변환된 원본 형태의 데이터세트 그대로를 LightGBM 분류 모델에 적용하여 실험한 결과, 이진 분류에서는 정확도 99.33%, F1-score 98.73%, Precision 98.16%, Recall 99.31%를 달성하여 선행연구 대비 탐지성능이 향상됨을 확인하였다. 한편, 다중 분류에서는 정확도 85.
본 연구에서 사용한 UNSW-NB15 데이터세트의 특성은 총 45개이지만, Payload-Byte 기법을 적용하여 새롭게 생성된 데이터세트는 1,500개의 특성을 가지기 때문에 특성 공간이 매우 크다고 볼 수 있다. 그리고 실시간 침입탐지를 보장하기 위해서는 모델의 실행 속도 역시 빨라야 하므로 본 연구에서는 LIghtGBM 모델을 가장 적합한 학습 모델로 판단하였다.
따라서 null 특성이 모델 학습이나 성능에 어떤 영향을 미칠 수 있는지 확인하기 위해 성능 평가 실험은 2단계로 구분하여 진행하였다. 초도실험은 null 값을 포함하여 1,500개의 특성을 모두 학습시킨 경우와 120개의 특성을 삭제한 후 학습시킨 경우의 탐지성능을 비교하는 형태로 진행하였으며 10회 반복 실험을 통해 확인한 결과 탐지성능이 거의 동일하게 나타났다. 이에 본 실험에서는 특성을 삭제하지 않고, 변환된 데이터 세트를 원본 형태 그대로 LightGBM 분류 모델에 적용하여 성능평가를 수행하였고, 세부적인 실험 과정은 Fig 2에서 보는 바와 같다.

후속연구

본 연구에서는 학습에 사용될 데이터세트의 특성이 1,500개로 특성 공간이 크다는 점, 그리고 빠른 실행속도 및 높은 탐지성능을 가진다는 점을 고려하여 LightGBM 모델만을 적용하였다. 그러나 향후에는 보다 다양한 분류모델을 적용하고 데이터세트도 다양화하면서 제안된 접근방법의 탐지성능을 분석할 예정이다.

참고문헌 (19)

Ministry of Science and ICT, "Statistics Information", https://www.msit.go.kr/bbs/list.do?sCodeuser&mPid74&mId99
N. Moustafa and J. Slay, "UNSW-NB15: a comprehensive data？set for network intrusion detection systems (UNSW-NB15 network？data set)," 2015 Military Communications and Information？Systems Conference (MilCIS), pp. 1-6, Nov 2015. DOI: 10.1109/milcis.2015.7348942
Australian Center for Cyber Security, "UNSW-NB15 Data Set,"？https://www.unsw.adfa.edu.au/unsw-canberra-cyber/cybersecurity/ADFA-NB15-Datasets/
N. Moustafa and J. Slay, "The evaluation of Network Anomaly？Detection Systems: Statistical analysis of the UNSW-NB15 data？set and the comparison with the KDD99 data set," Information？Security Journal: A Global Perspective, vol. 25, no. 1-3, pp. 18-31, Jan 2016. DOI: 10.1080/19393555.2015.1125974

상세보기
K. H. Jung, B. H. Lee, D. Yang, "Performance Analysis of？Detection Algorithms for the Specific Pattern in Packet Payloads,"？Journal of the Korea Institute of Information and Communication？Engineering 22, 5, pp.794-804, 2018. DOI: https://doi.org/10.6109/jkiice.2018.22.4.794

원문보기 상세보기
K. Wang and S. J. Stolfo, "Anomalous Payload-Based Network？Intrusion Detection," Recent Advances in Intrusion Detection: 7th？International Symposium, pp. 203-222, Sep 2004. DOI: 10.1007/978-3-540-30143-1_11

상세보기
M. V. Mahoney and P. K. Chan, "Learning nonstationary models？of normal network traffic for detecting novel attacks," Proceedings？of the eighth ACM SIGKDD international conference on？Knowledge discovery and data mining, pp. 376-385, Jul 2002.？DOI: 10.1145/775047.775102
W. Wang et al., "HAST-IDS: Learning Hierarchical Spatial-Temporal？Features Using Deep Neural Networks to Improve Intrusion？Detection," IEEE Access, vol. 6, pp. 1792-1806, 2018. DOI: 10.1109/access.2017.2780250

상세보기
B. A. Pratomo, P. Burnap, and G. Theodorakopoulos, "Unsupervised？Approach for Detecting Low Rate Attacks on Network Traffic with？Autoencoder," 2018 International Conference on Cyber Security？and Protection of Digital Services (Cyber Security), pp. 1-8, Jun？2018. DOI: 10.1109/cybersecpods.2018.8560678.
H. Liu, B. Lang, M. Liu, and H. Yan, "CNN and RNN based？payload classification methods for attack detection,"？Knowledge-Based Systems, vol. 163, pp. 332-341, Jan 2019.？DOI: 10.1016/j.knosys.2018.08.036.

상세보기
T. W. Kim, J. l. Jung, J. Y. Lee, "DoS/DDoS attacks Detection？Algorithm and System using Packet Counting," Journal of the？Korea Society for Simulation, vol.19, no.4, pp. 151-159, 2010.
B. H Lee, "Deep Learning LSTM Model based TCP SYN Flood？Detection System," Thesis for the Degree of Master of？Agriculture. Graduate School, KNU. Korea. 2020.
D. Jing and H.-B. Chen, "SVM Based Network Intrusion？Detection for the UNSW-NB15 Dataset," 2019 IEEE 13th？International Conference on ASIC (ASICON), pp. 1-4, Oct 2019.？DOI: 10.1109/asicon47005.2019.8983598.
M. H. Kabir, M. S. Rajib, A. S. M. T. Rahman, Md. M. Rahman,？and S. K. Dey, "Network Intrusion Detection Using UNSW-NB15？Dataset: Stacking Machine Learning Based Approach," 2022？International Conference on Advancement in Electrical and？Electronic Engineering (ICAEEE), pp. 1-6, Feb 2022. DOI:？10.1109/icaeee54957.2022.9836404
F. Meghdouri, T. Zseby, and F. Iglesias, "Analysis of Lightweight？Feature Vectors for Attack Detection in Network Traffic,"？Applied Sciences, vol. 8, no. 11, pp 2196, Nov 2018. DOI:？10.3390/app8112196.

상세보기
Y. A. Farrukh, I. Khan, S. Wali, D. Bierbrauer, and N. Bastian,？"Payload-Byte: A Tool for Extracting and Labeling Packet？Capture Files of Modern Network Intrusion Detection Datasets,",？pp 58-67, Sep. 2022. DOI: 10.36227/techrxiv.20714221.v1.
KE, Guolin, et al, "Lightgbm: A highly efficient gradient boosting？decision tree," Advances in neural information processing systems？30, pp.3149-3157, Dec 2017. DOI: 10.5555/3294996.3295074
J. Li, C. Wu, J. Ye, J. Ding, Q. Fu, Q, and J. Huang, "The？comparison and verification of some efficient packet capture and？processing technologies,." IEEE Intl Conf on Dependable,？Autonomic and Secure Computing, Intl Conf on Pervasive？Intelligence and Computing, Intl Conf on Cloud and Big Data？Computing, Intl Conf on Cyber Science and Technology？Congress (DASC/PiCom/CBDCom/CyberSciTech), pp. 967-973,？2019. DOI: 10.1109/DASC/PiCom/CBDCom/CyberSciTech.2019.00177.
T. W. Nam, D. G. Oh, "Study on the Semantic Extension of？the Concept of Metadata, Journal of the Korean Society for？Library and Information Science, vol. 44, no. 4, pp. 373-393,？Nov 2010. DOI: https://doi.org/10.4275/KSLIS.2010.44.4.373

원문보기 상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증