[논문]특징선택 기법에 기반한 UNSW-NB15 데이터셋의 분류 성능 개선

이대범; 서재현

doi:10.15207/jkcs.2019.10.5.035

특징선택 기법에 기반한 UNSW-NB15 데이터셋의 분류 성능 개선
Classification Performance Improvement of UNSW-NB15 Dataset Based on Feature Selection 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.10 no.5, 2019년, pp.35 - 42

초록
AI-Helper

최근 사물인터넷과 다양한 웨어러블 기기들이 등장하면서 인터넷 기술은 보다 편리하게 정보를 얻고 업무를 수행하는데 기여하고 있으나 인터넷이 다양한 부분에 이용되면서 공격에 노출되는 Attack Surface 지점이 증가하고 있으며 개인정보 획득, 위조, 사이버 테러 등 부당한 이익을 취하기 위한 목적의 네트워크 침입 시도 또한 증가하고 있다. 본 논문에서는 네트워크에서 발생하는 트래픽에서 비정상적인 행동을 분류하기 위한 희소클래스의 분류 성능을 개선하는 특징선택을 제안한다. UNSW-NB15 데이터셋은 다른 클래스에 비해 상대적으로 적은 인스턴스를 가지는 희소클래스 불균형 문제가 발생하며 이를 제거하기 위해 언더샘플링 방법을 사용한다. 학습 알고리즘으로 SVM, k-NN 및 decision tree를 사용하고 훈련과 검증을 통하여 탐지 정확도와 RMSE가 우수한 조합의 서브셋들을 추출한다. 서브셋들은 래퍼 기반의 실험을 통해 재현률 98%이상의 유효성을 입증하였으며 DT_PSO 방법이 가장 우수한 성능을 보였다.

Abstract ▼ AI-Helper

Recently, as the Internet and various wearable devices have appeared, Internet technology has contributed to obtaining more convenient information and doing business. However, as the internet is used in various parts, the attack surface points that are exposed to attacks are increasing, Attempts to invade networks aimed at taking unfair advantage, such as cyber terrorism, are also increasing. In this paper, we propose a feature selection method to improve the classification performance of the class to classify the abnormal behavior in the network traffic. The UNSW-NB15 dataset has a rare class imbalance problem with relatively few instances compared to other classes, and an undersampling method is used to eliminate it. We use the SVM, k-NN, and decision tree algorithms and extract a subset of combinations with superior detection accuracy and RMSE through training and verification. The subset has recall values of more than 98% through the wrapper based experiments and the DT_PSO showed the best performance.

주제어

표/그림 (17)

표 Table 1. Comparisons of related works
그림 Fig. 1. UNSW-NB15 Testbed
그림 Fig. 2. Formula of class imbalance ratio
표 Table 2. Class imbalance ratio for each class
표 Table 3. The number of instances according to the class imbalance ratio
표 Table 4. Recalls according to the number of instances of Normal class
표 Table 5. Recalls according to the number of instances of Generic class
그림 Fig. 3. Flowchart of data pre-processing and feature selection
그림 Fig. 4. Features selected by the wrapper-based experiments (A:SVM_GA, B:3NN_GA, C:DT_GA, D:DT_ANT, E:DT_PSO)
표 Table 6. Features used in the proposed method
표 Table 9. Comparison of experimental results with other study
그림 Fig. 8. Comparison of experimental results with other study (subset2, ROC curve)
그림 Fig. 5. Comparison of classification performance of rare classes by feature subset (Recall)
그림 Fig. 6. Comparison of classification performance of rare classes by feature subset (ROC curve)
그림 Fig. 7. Comparison of experimental results with other study (subset1, ROC curve)
표 Table 7. Comparison of classification performance of rare classes by feature subset (Recall)
표 Table 8. Comparison of classification performance of rare classes by feature subset (ROC curve)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 희소 클래스의 분류 성능을 개선하는 특징선택을 하고자 한다. 제안 방법에서 희소 클래스는 다른 클래스들에 비해 상대적으로 적은 인스턴스 수를 갖거나 낮은 분류 성능을 보이는 클래스를 기준으로 한다.
2의 수식 1에 의해 계산된 클래스 불균형 조절 전·후의 비율 및 인스턴스 수를 나타낸다. 상대적으로 클래스 불균형 비율이 높은 Normal과 Generic 클래스의 불균형 비율을 조절하여 특징선택을 하는데 소요되는 연산시간을 줄이고자 한다. 모든 클래스 중에서 Normal 및 Generic 클래스가 차지하는 비율의 순위를 바꾸지 않는 범위 내에서 언더샘플링 (undersampling)[13]을 시도하였다.
Tcpdump 도구는 시뮬레이션 가동 시간 동안 Pcap 파일을 캡처하기 위해 라우터1에 설치한다. 이 테스트베드의 목표는 IXIA 툴에서 시작되어 네트워크 노드(예: 서버 및 클라이언트)들로 퍼져나가는 정상 또는 비정상 트래픽을 수집하는 것이다.

제안 방법

IXIA 도구를 사용하여 첫번째 시뮬레이션에서 초당 1번의 공격이 포함되도록 구성하였고, 두 번째 시뮬레이션에서는 초당 10번의 공격이 포함되도록 구성하였다. 시뮬레이션 과정에서 캡처한 데이터는 각각 50GB이다.
UNSW_NB15 데이터셋의 특징 중 srcIP와 dstIP 속성을 네트워크 클래스 별로 구분하여 53개의 특징들로 구성한다. 54번 attack_cat 속성은 1-10의 값으로 클래스 구분에 사용한다.
본 연구에서는 클래스 불균형의 정도가 심한 클래스에 대해 언더샘플링을 적용하여 연산시간을 단축시키고 래퍼 기반의 특징선택을 시도한다. 다양한 알고리즘을 사용하여 특징서브셋을 추출하고 가장 우수한 특징서브셋을 추출한 알고리즘을 제시하였다. 이 중 의사결정트리와 PSO 알고리즘을 사용한 특징서브셋이 가장 우수한 분류 성능을 보였다.
다양한 조합에 의해 추출된 특징 서브셋들은 분류 알고리즘을 사용하여 평가한 후, 희소 클래스의 분류에 우수한 성능을 보이는 특징추출기법을 제안한다.
상대적으로 클래스 불균형 비율이 높은 Normal과 Generic 클래스의 불균형 비율을 조절하여 특징선택을 하는데 소요되는 연산시간을 줄이고자 한다. 모든 클래스 중에서 Normal 및 Generic 클래스가 차지하는 비율의 순위를 바꾸지 않는 범위 내에서 언더샘플링 (undersampling)[13]을 시도하였다.
본 논문에서는 KDD’99 데이터셋을 계량한 UNSW-NB15 데이터셋을 이용하였고 네트워크에서 발생하는 트래픽에서 비정상적인 행동을 분류하기 위한 최적의 탐지모델을 제안하고자 머신러닝 기술의 SVM, k-NN 및 Decision Tree를 사용하였다.
본 연구에서는 클래스 불균형의 정도가 심한 클래스에 대해 언더샘플링을 적용하여 연산시간을 단축시키고 래퍼 기반의 특징선택을 시도한다. 다양한 알고리즘을 사용하여 특징서브셋을 추출하고 가장 우수한 특징서브셋을 추출한 알고리즘을 제시하였다.
훈련 및 검증 데이터와 래퍼 기반의 특징선택 알고리즘을 사용하여 모델 및 특징서브셋을 생성한 후, 모델에 테스트 데이터를 입력하여 결과를 도출한다. 이 중 가장 우수한 성능을 보이는 특징선택 기법을 제안한다.
본 연구에서는 희소 클래스의 분류 성능을 개선하는 특징선택을 하고자 한다. 제안 방법에서 희소 클래스는 다른 클래스들에 비해 상대적으로 적은 인스턴스 수를 갖거나 낮은 분류 성능을 보이는 클래스를 기준으로 한다. 희소 클래스는 Reconnaissance(3), DoS(4), Worms(8), Backdoor(9) 및 Analysis(10)의 다섯 클래스로 정한다.
특징선택은 크게 필터(filter) 기반의 방법과 래퍼(wrapper) 기반의 방법으로 구분할 수 있다. 제안 방법에서는 래퍼 기반의 방법을 사용하여 가장 우수한 성능을 보이는 특징 서브셋(subset)을 찾는다. WEKA의 특징 선택 방법인 WrapperSubsetEval[12, 14]을 사용한다.
특징선택에 사용한 데이터셋은 훈련(train)과 검증(validation) 데이터셋이다. 평가 알고리즘과 탐색 알고리즘의 다양한 조합을 통해 우수한 성능을 보이는 특징 서브셋들을 추출한다.
UNSW_NB15 데이터셋 중 Normal 클래스와 Generic 클래스에 대한 클래스 불균형 비율을 조절한 후, StratifiedRemoveFolds[12] 방법을 사용하여 훈련, 검증 및 테스트 데이터셋으로 나눈다. 훈련 및 검증 데이터와 래퍼 기반의 특징선택 알고리즘을 사용하여 모델 및 특징서브셋을 생성한 후, 모델에 테스트 데이터를 입력하여 결과를 도출한다. 이 중 가장 우수한 성능을 보이는 특징선택 기법을 제안한다.
향후, 제안방법에서 선택한 특징을 사용하여 희소 클래스에 대한 성능을 높이는 연구를 하고자 한다. 희소클래스들에 적합한 데이터 전처리 알고리즘을 개발하고, 다양한 머신러닝 및 딥러닝 기법을 적용하여 희소클래스에 대한 분류 성능을 최대화한다.

데이터처리

이 중 의사결정트리와 PSO 알고리즘을 사용한 특징서브셋이 가장 우수한 분류 성능을 보였다. 제안방법의 객관적 성능을 입증하기 위해 제안기법과 기존의 다른 연구[1]의 실험결과를 비교하였다.

이론/모형

UNSW_NB15 데이터셋 전처리에 관계형 데이터베이스 도구인 MYSQL을 사용하고, 특징선택을 위해 데이터 마이닝 도구인 WEKA (Waikato Environment for Knowledge Analysis)[12]를 사용한다.
3은 실험에 사용하는 데이터 처리 및 실험 과정에 대한 흐름도이다. UNSW_NB15 데이터셋 중 Normal 클래스와 Generic 클래스에 대한 클래스 불균형 비율을 조절한 후, StratifiedRemoveFolds[12] 방법을 사용하여 훈련, 검증 및 테스트 데이터셋으로 나눈다. 훈련 및 검증 데이터와 래퍼 기반의 특징선택 알고리즘을 사용하여 모델 및 특징서브셋을 생성한 후, 모델에 테스트 데이터를 입력하여 결과를 도출한다.
제안 방법에서는 래퍼 기반의 방법을 사용하여 가장 우수한 성능을 보이는 특징 서브셋(subset)을 찾는다. WEKA의 특징 선택 방법인 WrapperSubsetEval[12, 14]을 사용한다. 특징서브셋에 대한 평가 알고리즘은 SVM, k-NN, 의사 결정트리(decision tree)를 사용하고, 탐색 알고리즘은 GA(genetic algorithm)[15], ANT(ant colony)[16], PSO(particle swarm optimization)[17]을 사용한다.
특징서브셋에 대한 평가 알고리즘은 SVM, k-NN, 의사 결정트리(decision tree)를 사용하고, 탐색 알고리즘은 GA(genetic algorithm)[15], ANT(ant colony)[16], PSO(particle swarm optimization)[17]을 사용한다. 특징 서브셋에 대한 측정치(measure)는 정확도 (accuracy)와 RMSE(root mean square error)를 사용한다. 특징선택에 사용한 데이터셋은 훈련(train)과 검증(validation) 데이터셋이다.
WEKA의 특징 선택 방법인 WrapperSubsetEval[12, 14]을 사용한다. 특징서브셋에 대한 평가 알고리즘은 SVM, k-NN, 의사 결정트리(decision tree)를 사용하고, 탐색 알고리즘은 GA(genetic algorithm)[15], ANT(ant colony)[16], PSO(particle swarm optimization)[17]을 사용한다. 특징 서브셋에 대한 측정치(measure)는 정확도 (accuracy)와 RMSE(root mean square error)를 사용한다.

성능/효과

7-8은 기존의 다른 연구[1]와 제안 방법의 실험 결과를 비교한 ROC 곡선 결과이다. SUBSET1과 SUBSET2는 기존연구에서 제안한 특징선택 실험 결과를 나타내고, DT_PSO는 본 연구에서 제안하는 방법의 실험 결과를 나타낸다. 실험결과는 제안 방법의 성능이 기존의 다른 연구에 비해 우수하거나 유사한 성능을 보인다.
본 논문에서는 KDD’99 데이터셋을 계량한 UNSW-NB15 데이터셋을 이용하였고 네트워크에서 발생하는 트래픽에서 비정상적인 행동을 분류하기 위한 최적의 탐지모델을 제안하고자 머신러닝 기술의 SVM, k-NN 및 Decision Tree를 사용하였다. 데이터 전처리를 위해 정상과 비정상 데이터의 클래스 불균형을 조정하였고 위에서 언급한 3가지 특징선택 알고리즘을 적용하여 탐지 정확도와 오탐지율, 오탐률을 평가함으로써 ROC curve 의 탐지정확도에서 98% 이상의 유효성을 입증하였다.
5는 다섯 가지 특징선택 실험 조합에 대한 비교 실험 결과를 재현율로 나타낸다. 이 중 DT_PSO 실험을 통해 추출한 특징서브셋이 전반적으로 우수한 성능을 보인다. DT_PSO 실험을 통해 선택된 특징 번호는 2, 3, 10, 14, 15, 16, 18, 20, 25, 29, 32, 35, 41, 44, 46이다.
다양한 알고리즘을 사용하여 특징서브셋을 추출하고 가장 우수한 특징서브셋을 추출한 알고리즘을 제시하였다. 이 중 의사결정트리와 PSO 알고리즘을 사용한 특징서브셋이 가장 우수한 분류 성능을 보였다. 제안방법의 객관적 성능을 입증하기 위해 제안기법과 기존의 다른 연구[1]의 실험결과를 비교하였다.

후속연구

향후, 제안방법에서 선택한 특징을 사용하여 희소 클래스에 대한 성능을 높이는 연구를 하고자 한다. 희소클래스들에 적합한 데이터 전처리 알고리즘을 개발하고, 다양한 머신러닝 및 딥러닝 기법을 적용하여 희소클래스에 대한 분류 성능을 최대화한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	이상탐지를 높이기 위한 방법은 무엇인가?	물론 새로운 공격을 탐지하는 효율성을 볼 때 이상탐지에 집중하는 것이 합리적이다. 이상탐지를 높이기 위해 네트워크 침입탐지 개선방법으로 기계 학습 및 데이터마이닝 기술이 널리 사용되고 있다. 이러한 기술을 통해 네트워크 트래픽 이상 탐지를 자동화할 수 있지만 연구목적으로 사용할 수 있는 게시된 데이터가 부족하다.
	침입 탐지 시스템은 무엇인가?	이러한 인터넷 서비스에 대한 지능화되고 있는 침입을 대응하기 위한 일반적인 방법에는 방화벽과 침입탐지시스템 등이 대표적인 대응방법으로 알려져 있다. 방화벽은 침입으로 의심되는 패킷을 차단하는 역할을 하지만 모든 침입을 차단할 수 없기 때문에 침입탐지시스템에서의 역할이 많은 요구사항을 위해 증가하고 있으며 공격을 식별하고 네트워크 관리자에게 경고함으로써 네트워크 활동을 모니터하고 필터링하는 침입 탐지 시스템 (IDS)이 개발되었다. 데이터 마이닝, 기계 학습, 통계 분석, 유전자 알고리즘, 인공 신경망, 퍼지 논리, 군단 지능 등과 같은 인공 지능 기법을 사용하여 다양한 IDS 접근 방식이 등장하였다.
	공격수법을 막는 대표적인 대응방법은?	시간이 지남에 따라 공격수법이 지능화되는 추세를 보이고 있어 이에 대응하기 위한 많은 연구자들이 다양한 대응 방법을 연구하고 있다. 이러한 인터넷 서비스에 대한 지능화되고 있는 침입을 대응하기 위한 일반적인 방법에는 방화벽과 침입탐지시스템 등이 대표적인 대응방법으로 알려져 있다. 방화벽은 침입으로 의심되는 패킷을 차단하는 역할을 하지만 모든 침입을 차단할 수 없기 때문에 침입탐지시스템에서의 역할이 많은 요구사항을 위해 증가하고 있으며 공격을 식별하고 네트워크 관리자에게 경고함으로써 네트워크 활동을 모니터하고 필터링하는 침입 탐지 시스템 (IDS)이 개발되었다.

참고문헌 (17)

T. Janarthanan & S. Zargari. (2017). Feature selection in UNSW-NB15 and KDDCUP'99 datasets. In Industrial Electronics (ISIE), IEEE 26th International Symposium on. (pp. 1881-1886). IEEE.
C. Khammassi & S. Krichen. (2017). A GA-LR wrapper approach for feature selection in network intrusion detection. computers & security, 70, 255-277.

상세보기
N. Moustafa & J. Slay. (2015). A hybrid feature selection for network intrusion detection systems: Central points. arXiv preprint arXiv:1707.05505.
M. Kamarudin, C. Maple, T. Watson, & N. Safa. (2017). A logitboost-based algorithm for detecting known and unknown web attacks. IEEE Access, 5, 26190-26200.

상세보기
K. Mwitondi & S. Zargari. (2017). A Repeated Sampling and Clustering Method for Intrusion Detection. In International Conference in Data Mining (DMIN'17). (pp. 91-96). CSREA Press.
M. Belouch, S. E. Hadai, & M. Idhammad. (2017). A two-stage classifier approach using reptree algorithm for network intrusion detection. International Journal of Advanced Computer Science and Applications (ijacsa), 8(6), 389-394.
S. Guha. (2016). Attack detection for cyber systems and probabilistic state estimation in partially observable cyber environments. Arizona State University.
N. Moustafa, G. Creech & J. Slay. (2017). Novel geometric area analysis technique for anomaly detection using trapezoidal area estimation on large-scale networks. IEEE Transactions on Big Data.
M. Idhammad, K. Afdel, & M. Belouch. (2017). Dos detection method based on artificial neural networks. International Journal of Advanced Computer Science and Applications, 8(4), 465-471.
The UNSW-NB15 dataset. (2018). www.unsw.adfa.edu.au/unsw-canberra-cyber/cybersecurity/ADFA-NB15-Datasets.
CVE (Common Vulnerabilities and Exposures). (2018). cve.mitre.org.
WEKA. (2018). www.cs.waikato.ac.nz/ml/weka.
N. V. Chawla. (2009). Data mining for imbalanced datasets: An overview. In Data mining and knowledge discovery handbook. (pp. 875-886). Springer, Boston, MA.
R. Kohavi & H. J. George. (1997). Wrappers for feature subset selection. Artificial Intelligence, 97(1-2), 273-324.

상세보기
J. rey Horn, N. Nafpliotis, & D. E. Goldberg. (1994). A niched Pareto genetic algorithm for multiobjective optimization. In Proceedings of the first IEEE conference on evolutionary computation, IEEE world congress on computational intelligence, (pp. 82-87).
M. Dorigo, M. Birattari, C. Blum, M. Clerc, T. Stutzle, & A. Winfield. (2008). Ant Colony Optimization and Swarm Intelligence. The 6th International Conference, ANTS 2008, Springer.
Y. Shi. (2001). Particle swarm optimization: developments, applications and resources. In evolutionary computation, 2001. Proceedings of the 2001 Congress on. (pp. 81-86). IEEE.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증