[논문]SVM을 이용한 네트워크 기반 침입탐지 시스템에서 새로운 침입탐지에 관한 연구

양은목; 서창호

doi:10.14400/jdc.2018.16.5.399

SVM을 이용한 네트워크 기반 침입탐지 시스템에서 새로운 침입탐지에 관한 연구
A Study on Intrusion Detection in Network Intrusion Detection System using SVM 원문보기

디지털융복합연구 = Journal of digital convergence, v.16 no.5, 2018년, pp.399 - 406

초록
AI-Helper

인공지능을 이용한 침입탐지 연구는 KDDCup99 데이터 세트를 사용하여 많은 연구가 이루어졌다. 이전 연구에서 SMO(SVM)알고리즘의 성능이 우수하다고 알려져 있다. 하지만 훈련에 사용되지 않은 새로운 침입유형의 침입탐지연구는 미비하다. 본 논문에서는 웨카(weka)의 SMO와 KDDCup99 훈련 데이터 세트인 kddcup.data.gz의 인스턴스를 이용하여 모델을 생성하였다. corrected.gz 파일의 인스턴스 중 기존 침입(292,300개)과 새로운 침입(18,729개)을 테스트하였다. 일반적으로 훈련에 사용되지 않은 침입 라벨은 테스트 되지 않기 때문에 새로운 침입라벨을 normal.로 변경하여 테스트하였다. 새로운 침입 18,729개의 인스턴스 중 1,827개는 침입으로 분류하였다. 새로운 침입으로 분류한 1,827개의 인스턴스는 buffer_overflow. 3개, neptune. 392개, portsweep. 164개, ipsweep. 9개, back. 511개, imap. 1개, satan. 개, 645 개, nmap. 102개로 분류되었다.

Abstract ▼ AI-Helper

Much research has been done using the KDDCup99 data set to study intrusion detection using artificial intelligence. Previous studies have shown that the performance of the SMO (SVM) algorithm is superior. However, intrusion detection studies of new intrusion types not used in training are insufficient. In this paper, a model was created using the instances of weka's SMO and KDDCup99 training data set, kddcup.data.gz. We tested existing instances(292,300) of the corrected.gz file and new intrusions(18,729). In general, intrusion labels not used in training are not tested, so new intrusion labels were changed to normal. Of the 18,729 new intrusions, 1,827 were classified as intrusions. 1,827 instances classified as new intrusions are buffer_overflow. Three, neptune. 392, portsweep. 164, ipsweep. 9, back. 511, imap. 1, satan. Dogs, 645, nmap. 102.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

gz 파일의 새로운 침입에 대한 탐지결과에 대한 논문은 미비하였다. 본 논문에서는 corrected.gz 파일의 침입 카테고리가 아닌 침입라벨로 결과를 제시하였고, 새로운 침입에 대한 탐지결과를 제시하였다. 새로운 침입의 라벨은 훈련 시 존재하지 않는 침입라벨이므로 탐지할 수 없었다.

가설 설정

gz 데이터 인스턴스를 테스트할 경우 훈련에 존재하는 침입라벨은 탐지가 되지만, 새로운 침입라벨은 새로운 침입이므로 훈련할 사용된 라벨로는 탐지할 수 없으므로 탐지가 되지 않았다. 새로운 침입라벨은 침입이 아닌 정상데이터 인스턴스로 가정하여 라벨을 normal.로 변경한 후 테스트를 하였다.

제안 방법

전처리 단계로 KDDCUP99 데이터에는 칼럼명 없이 실제 데이터만 존재하기 때문에 데이터에 42개의 칼럼명을 추가하였다. kddcup.data.gz 데이터 인스턴스의 용량이 크기 때문에 MySQL을 사용하여 칼럼명을 추가하고 웨카의 입력 으로 사용하기 위해 확장자가 csv 파일로 저장하였다.
데이터 세트는 KDD-99 제5차 국제회의와 함께 개최된 제3회 국제 지식발견 및 데이터 마이닝 도구 공모전에 사용된 데이터이다. 공모전 과제는 네트워크 침입탐지기를 구축하기였다. 이 데이터는 군대 네트워크 환경에서 시뮬레이션 된 다양한 침입과 정상데이터를 포함하고 있다[17].
csv 파일을 웨카 입력으로 사용하면 숫자는 Numeric 으로 인식하기 때문에 Nominal로 변경해야 한다. 그래서 Preprocess탭에서 Filter의 unsupervised.attribute를 사용하여 7, 12, 21, 22번째 칼럼 land, logged_in, is_host_login, is_guest_login을 Numeric에서 Nominal으로 변환하였다. Classify탭에서는 학습할 알고리즘과 옵션을 선택하게 되어있다.
기존 침입탐지 연구는 KDDCup99 데이터 세트의 침입을 4개의 카테고리(DoS, U2R, R2L, Probe)로 탐지결과를 나타내거나 알고리즘별로 성능을 비교하였다 [8-11]. 또한, 전체 데이터 세트를 사용하여 훈련하는 것이 아니고 10% 데이터 세트로 훈련하여 침입을 탐지하였다.
기존 침입탐지 연구는 KDDCup99 데이터 세트의 침입을 4개의 카테고리(DoS, U2R, R2L, Probe)로 탐지결과를 나타내거나 알고리즘별로 성능을 비교하였다 [8-11]. 또한, 전체 데이터 세트를 사용하여 훈련하는 것이 아니고 10% 데이터 세트로 훈련하여 침입을 탐지하였다.
새로운 침입이기 때문에 라벨을 정상 인스턴스인 normal.로 변경하여 새로운 침입에 대한 탐지를 시도하였다.
본 논문에서는 10% 데이터 세트가 아닌 전체 데이터로 침입을 훈련하였고, 침입라벨별로 침입을 탐지하였다. 새로운 침입은 라벨을 normal.
새로운 침입은 라벨을 normal.으로 변경하여 학습 모델이 새로운 침입에 대한 대응 여부를 분석하였다.
침입탐지에 관한 연구는 KDDCUP’99 데이터 세트와 웨카, 텐서플로, 사이킷런 등 다양한 방법으로 진행되었다.

대상 데이터

645 개, nmap. 102개로 탐지되었다.
3개, neptune. 392개, portsweep. 164개, ipsweep.
과 DoS로 구성되어 있다. Probe, R2L, U2L 데이터는 2,803개로 2.7%로 매우 적은 부분으로 구성되어 있다. 하지만 corrected.
과 DoS로 구성되어 있다. Probe, R2L, U2L 데이터는 5,285 개로 1.1%로 적은 비율은 구성되어 있다. 하지만 kddcup.
데이터 세트는 KDD-99 제5차 국제회의와 함께 개최된 제3회 국제 지식발견 및 데이터 마이닝 도구 공모전에 사용된 데이터이다. 공모전 과제는 네트워크 침입탐지기를 구축하기였다.
8%이고 normal. 데이터가 60,593개로 19.5%로 구성되어 있다. 대부분의 데이터 인스턴스가 normal.
웨카(Version 3.8.2)로 실험을 진행하였다. 전처리 단계로 KDDCUP99 데이터에는 칼럼명 없이 실제 데이터만 존재하기 때문에 데이터에 42개의 칼럼명을 추가하였다.
2)로 실험을 진행하였다. 전처리 단계로 KDDCUP99 데이터에는 칼럼명 없이 실제 데이터만 존재하기 때문에 데이터에 42개의 칼럼명을 추가하였다. kddcup.
알고리즘은 smo를 선택하고 옵션 (Cross-Validation 10 Folds)은 기본으로 사용하였다. 학습은 kddcup.data.gz 데이터 인스턴스를 사용하여 훈련하였고, 테스트는 새로운 침입이 포함된 corrected.gz 데이터를 사용하였다. 웨카를 사용하여 corrected.

이론/모형

Classify탭에서는 학습할 알고리즘과 옵션을 선택하게 되어있다. 알고리즘은 smo를 선택하고 옵션 (Cross-Validation 10 Folds)은 기본으로 사용하였다. 학습은 kddcup.
웨카에서 서포터벡터머신(SVM) 분류자를 훈련하기 위해 John Platt의 순차적 최소 최적화 알고리즘으로 구현하였다. 이 구현은 누락 된 값을 전역적으로 대체하고 명목 속성을 2진 값으로 변환한다.

성능/효과

corrected.gz 파일의 기존 침입에 대한 탐지결과 Accuracy는 0.9742로 나타났지만, 새로운 침입을 포함한 corrected.gz 파일 전체 인스턴스에 대한 탐지결과는 0.9062로 나타났다. 새로운 침입 18,729개의 인스턴스 중 1,827개의 인스턴스는 침입으로 탐지하였고 16,902개의 인스턴스는 normal.

질의응답

핵심어	질문	논문에서 추출한 답변
	웨카는 무엇인가?	웨카((Waikato Environment for Knowledge Analysis)는 뉴질랜드 Waikato Hamilton 대학에서 만들어 배포하는 데이터마이닝 공개 프로그램이다.
	본 논문에서 제안한 인공지능을 이용한 침입탐지 연구를 통해 어떤 결과를 얻을 수 있는가?	corrected.gz 파일의 기존 침입에 대한 탐지결과 Accuracy는 0.9742로 나타났지만, 새로운 침입을 포함한 corrected.gz 파일 전체 인스턴스에 대한 탐지결과는 0.9062로 나타났다. 새로운 침입 18,729개의 인스턴스 중 1,827개의 인스턴스는 침입으로 탐지하였고 16,902개의 인스턴스는 normal.로 탐지하였다.
	인공지능은 어느 분야에서 사용하는가?	기계학습의 체계적 연구는 이전의 기계학습 연구를 보완하고 기계학습 긍정적인 측면을 부각한 연구가 있었고[2], 그 후 예제를 통한 학습은 인스턴스 기반 및 사례 기반 추론 같은 방법으로 일반적인 지식을 습득하거나 구체적인 문제를 해결하는 방법으로 인공지능을 사용하였다[3]. 인공지능은 공학 및 의학 사회과학, 자연과학 등학문의 모든 분야에서 다양하게 사용한다.

참고문헌 (18)

Yugal kumar & G. Sahoo, (2012). Analysis of Parametric & Non Parametric Classifiers for Classification Technique using WEKA, IJITCS, 4(7), 43-49. DOI: 10.5815/ijitcs.2012.07.06
DUTTON, D. & CONROY, G. (1997). A review of machine learning. The Knowledge Engineering Review,12(4), 341-367. DOI: 10.1017/S026988899700101X

상세보기
De Mantaras & Armengol E. (1998). Machine learning from example: Inductive and Lazy methods, Data & Knowledge Engineering, 25, 99-123. DOd: 10.1016/S0169-023X(97)00053-0

상세보기
Jing, L. & Bin, W. (2016, December). Network Intrusion Detection Method Based on Relevance Deep Learning. In Intelligent Transportation, Big Data & Smart City (ICITBS), 2016 International Conference on (pp. 237-240). IEEE. DOI: 10.1109/icitbs.2016.132
Rani, N. & Purwar, R. K. (2017). Performance Analysis of various classifiers using Benchmark Datasets in Weka tools. International Journal of Engineering Trends and Technology (IJETT), 47(5), May. DOI: 10.14445/22315381/IJETT-V47P247

상세보기
Garg, T. & Khurana, S. S. (2014, May). Comparison of classification techniques for intrusion detection dataset using WEKA. In Recent Advances and Innovations in Engineering (ICRAIE), pp. 1-5. IEEE. DOI: 10.1109/ICRAIE.2014.6909184
Ouyang, Z., Zhou, M., Wang, T. & Wu, Q. (2009, November). Mining concept-drifting and noisy data streams using ensemble classifiers. In Artificial Intelligence and Computational Intelligence. AICI'09. International Conference on (Vol. 4, pp. 360-364). IEEE. DOI: 10.1109/AICI.2009.153
Ertam, F., & Yaman, O. (2017, September). Intrusion detection in computer networks via machine learning algorithms. In Artificial Intelligence and Data Processing Symposium (IDAP), 2017 International (pp. 1-4). IEEE. DOI: 10.1109/IDAP.2017.8090165
Kabir, M. R., Onik, A. R., & Samad, T. (2017). A Network Intrusion Detection Framework based on Bayesian Network using Wrapper Approach. International Journal of Computer Applications, 166(4). DOI: 10.5120/ijca2017913992

상세보기
Garg, T., & Khurana, S. S. (2014, May). Comparison of classification techniques for intrusion detection dataset using WEKA. In Recent Advances and Innovations in Engineering (ICRAIE), 2014 (pp. 1-5). IEEE. DOI: 10.1109/ICRAIE.2014.6909184
Modi, M. U., & Jain, A. (2015). A survey of IDS classification using KDD CUP 99 dataset in WEKA. Int. J. Sci. Eng. Res, 6(11), 947-954.
Zeng, Z. Q., Yu, H. B., Xu, H. R., Xie, Y. Q., & Gao, J. (2008, November). Fast training support vector machines using parallel sequential minimal optimization. In Intelligent System and Knowledge Engineering, 2008. ISKE 2008. 3rd International Conference on (Vol. 1, pp. 997-1001). IEEE DOI: 10.1109/iske.2008.4731075
S.S. Keerthi, S.K. Shevade, C. Bhattacharyya, K.R.K. Murthy (2001). Improvements to Platt's SMO Algorithm for SVM Classifier Design. Neural Computation, 13(3), 637-649. DOI: 10.1162/089976601300014493

상세보기
Trevor Hastie, Robert Tibshirani. (1998). Classification by Pairwise Coupling. In: Advances in Neural Information Processing Systems. DOI: 10.1214/aos/1028144844

상세보기
Srivastava, S. (2014). Weka: a tool for data preprocessing, classification, ensemble, clustering and association rule mining. International Journal of Computer Applications, 88(10). DOI: 10.5120/15389-3809
E. M. Yang, H. J. Lee & C. H. Seo. (2017). Comparison of Detection Performance of Intrusion Detection System Using Fuzzy and Artificial Neural Network. Journal of Digital Convergence, 15(6), 391-398. DOI: 10.14400/JDC.2017.15.6.391
http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html
https://www.cs.waikato.ac.nz/-ml/weka/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증