선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 그러나 아무리 좋은 인공 신경망을 구성하여도 부적절한 데이터로 학습을 진행하면 모델의 탐지성능이 심각하게 저하되는 문제가 발생할 수 있다. 본 연구는 최신 경향을 반영한 Dataset을 활용하여 다양한 학습 데이터를 구성하고 실험을 통해 학습 데이터가 탐지성능에 미치는 부정적인 영향을 식별하고 그에 대한 개선 방안을 제안하였다.
- 그러나 기계학습 과정에서 적용한 학습 데이터에 문제가 있는 경우에는 다양한 문제가 발생할 수 있음에도 기존 연구들은 그러한 문제점을 제대로 다루지 못하고 있다. 이에 본 논문에서는 학습 데이터가 기준점 생성과 탐지 성능에 미치는 영향을 실험을 통해 분석하고 학습 데이터의 잘못된 구성으로 인해 발생할 수 있는 문제점들을 해결할 수 있는 방안을 제시한다.
제안 방법
- MATLab R2019a으로 인공 신경망을 구성하였으며, 첫 번째 은닉층에 Sigmoid, 두 번째 층에 Softmax를 적용하였다. 학습에는 역전파알고리즘의 일종인 SCG(Scaled Conjugate Gradient)를 사용하였다.
- 9%로 낮게 나타나, 모델의 업데이트가 지속적으로 수행되지 않으면 탐지성능이 심각하게 저하될 수 있음을 확인하였다. 그래서 과거 공격과 새로운 공격 모두를 탐지할 수 있도록 Train-1과 Train-6을 합쳐 Train-7을 만들어 학습을 시키고, Test-1과 Test-3으로 탐지성능을 평가하는 실험5를 진행하였다. 실험의 세부 결과는 <표 13>, <표 14>에서 보는 바와 같다.
- 실험을 위해 CSE-CIC-IDS2018을 사용하여 새로운 데이터인 Train-6과 Test-3을 만들었고, 세부 정보는<표 10>과 같다. 실험4는 구축된 모델이 새로운 공격을 탐지할 수 있는지를 알아보기 위해 2017년 자료인 Train-1로 학습을 시키고 2018년 자료인 Test-3을 사용하여 모델의 탐지성능을 평가하였고, 과거 공격에 대한 탐지성능을 알아보기 위해 2018년 자료인 Train-6로 학습을 하고 2017년 자료인 Test-1을 사용하여 모델의 탐지성능을 평가하였다. 실험4의 세부결과는 <표 11>, <표 12>에서 보는 바와 같다.
- 클래스가 전체 데이터에서 차지하는 비율이 모델의 탐지성능에 어떠한 영향을 미치는지 알아보기 위해 실험2를 진행하였다. 이를 위해 클래스별로 데이터 개수가 균등하게 분포되어 있는 Train-2, Train-3을 생성하였으며. 세부 정보는 <표 4>와 같다.
- 그리고 infiltration 클래스는 CIC-IDS2017에 36개만 포함되어 있어 정보 부족으로 제외하였고, Heartbleed attack은 CSE-CIC-IDS2018에는 포함되어 있지 않아 제외하였으며, DDoS는 침입탐지가 아닌 다른 방식으로도 효율적인 탐지가 가능함을 고려하여 제외하였다. 이상의 과정을 거쳐 정상과 4개의 공격(botnet, brute-force attack, DoS, web attacks) 클래스만 활용하여 Dataset을 생성하고 구축된 Anomaly 기반 침입탐지시스템 모델로 학습시켜 탐지성능을 평가하였다.
- 실험의 진행을 위해서는 4개의 클래스로 구별되어 있는 공격 패킷을 모두 합쳐 1개의 공격 클래스로 구성할 필요가 있다. 이에 Train-2를 바탕으로 새로운 데이터를 생성하였으며, 정상 패킷의 정보만 포함된 Train-4와 공격 패킷의 정보만 포함된 Train-5로 구분하였다.
- 기존 연구들은 동일 기간에 수집된 데이터를 활용하여 모델의 성능을 평가하였고, 다른 기간에 수집한 데이터를 대상으로 성능을 비교한 경우가 없었다. 이에 본 연구에서는 2017년도 데이터인 CIC-IDS2017과 2018년도 데이터인 CSE-CIC-IDS2018을 활용하여 모델을 생성하고 성능을 비교하는 실험4를 진행하였다. 실험을 위해 CSE-CIC-IDS2018을 사용하여 새로운 데이터인 Train-6과 Test-3을 만들었고, 세부 정보는<표 10>과 같다.
- 정상 패킷은 랜덤하게 일부를 추출하였고, 공격 패킷 역시 랜덤하게 반을 나눠서 포함시켰으며, Train-1과 Test-1의 세부 정보는 에서 보는 바와 같다.
- 클래스가 전체 데이터에서 차지하는 비율이 모델의 탐지성능에 어떠한 영향을 미치는지 알아보기 위해 실험2를 진행하였다. 이를 위해 클래스별로 데이터 개수가 균등하게 분포되어 있는 Train-2, Train-3을 생성하였으며.
대상 데이터
- Train-1과 Test-1을 활용하여 실험1을 진행하였다. Train-1은 학습 데이터로 사용하였고, Test-1은 기계학습을 통해 생성된 모델의 탐지성능을 평가하는데 사용하였다. 실험1의 세부 결과는 <표 2>, <표 3>에서 보는 바와 같다.
- 그러나 NSL-KDD Dataset은 현재의 공격 추세가 제대로 반영되어 있지 않기 때문에 최신 침입탐지시스템의 성능평가에는 부적절하며, 실세계에서의 발생한 네트워크 트래픽을 표현하지 못한다[8][9]. 따라서 본 연구에서는 비교적 최신 공격 추세가 반영된 CIC-IDS2017[10]과 CSE-CIC-IDS2018 Dataset[11]을 활용하였다.
- 모델 생성 및 침입탐지 성능평가를 위한 데이터는 CIC-IDS2017과 CSE-CIC-IDS2018을 사용하여 만들었으며, 속성정보는 두 데이터에 공통으로 존재하는 77개의 속성만 사용하였다. 그리고 infiltration 클래스는 CIC-IDS2017에 36개만 포함되어 있어 정보 부족으로 제외하였고, Heartbleed attack은 CSE-CIC-IDS2018에는 포함되어 있지 않아 제외하였으며, DDoS는 침입탐지가 아닌 다른 방식으로도 효율적인 탐지가 가능함을 고려하여 제외하였다.
- 성능평가를 위해 Test-1의 공격 클래스를 합쳐서 새로운 Test-2 데이터를 생성하였다. 실험3에서는 Train-4와 Train-5로 학습을 시키고 Test-2로 성능을 평가하였으며, 데이터에 대한 세부 정보와 실험 결과는 <표 7>, <표 8>, <표9>에서 확인할 수 있다.
- 실험 데이터로 Train-1과 Test-1을 생성했다. 정상 패킷은 랜덤하게 일부를 추출하였고, 공격 패킷 역시 랜덤하게 반을 나눠서 포함시켰으며, Train-1과 Test-1의 세부 정보는 <표 1>에서 보는 바와 같다.
- 실험을 위해 CSE-CIC-IDS2018을 사용하여 새로운 데이터인 Train-6과 Test-3을 만들었고, 세부 정보는과 같다.
데이터처리
- 그리고 Train-2와 Train-3을 통해 생성된 모델의 탐지성능을 분석하기 위해 Test-1을 사용하였으며, 그 결과는, 에서 보는 바와 같다.
- 실험3에서는 Train-4와 Train-5로 학습을 시키고 Test-2로 성능을 평가하였으며, 데이터에 대한 세부 정보와 실험 결과는 , , 에서 확인할 수 있다.
이론/모형
- MATLab R2019a으로 인공 신경망을 구성하였으며, 첫 번째 은닉층에 Sigmoid, 두 번째 층에 Softmax를 적용하였다. 학습에는 역전파알고리즘의 일종인 SCG(Scaled Conjugate Gradient)를 사용하였다.
성능/효과
- Train-2와 Train-3에서 각 클래스의 구성 비율은 benign, botnet, brute-force, DoS, web이 4:1:1:1:1로 유사하나 데이터 개수는 Train-3이 Train-2보다 약 2배 정도 더 많다. 그러나 Test-1에 대한 성능평가 결과, Train-2와 Train-3 모델이 비슷한 탐지결과를 나타내어 학습 데이터가 많아진다고 무조건 모델의 탐지성능이 향상되지는 않음을 확인하였다. 그리고 Train-2에서 botnet, brute-force, web의 데이터 수가 Train-1보다 적지만 Test-1에 대한 성능평가 결과 Train-2 모델이 더 높은 탐지결과를 나타내 학습 시 데이터의 개수뿐만 아니라 데이터의 구성비율도 탐지 성능에 영향을 미칠 수 있음을 확인하였다.
- 실험1의 결과를 살펴보면, 학습 결과와 성능평가 결과가 비슷하게 나타나 학습이 제대로 이뤄졌다고 볼 수 있다. 그러나 클래스별로 탐지된 결과에서는 유의미한 차이가 나타났는데, 특히 전체 학습 데이터에서 클래스가 차지하는 비율과 유사한 탐지결과가 나타남을 확인하였다. 큰 비율을 차지하는 benign은 98.
- 그러나 Test-1에 대한 성능평가 결과, Train-2와 Train-3 모델이 비슷한 탐지결과를 나타내어 학습 데이터가 많아진다고 무조건 모델의 탐지성능이 향상되지는 않음을 확인하였다. 그리고 Train-2에서 botnet, brute-force, web의 데이터 수가 Train-1보다 적지만 Test-1에 대한 성능평가 결과 Train-2 모델이 더 높은 탐지결과를 나타내 학습 시 데이터의 개수뿐만 아니라 데이터의 구성비율도 탐지 성능에 영향을 미칠 수 있음을 확인하였다.
- 둘째, 학습하지 않은 클래스는 식별하지 못하기 때문에 학습 시 모든 클래스를 포함하여 학습이 될 수 있도록 데이터를 구성해야 한다. 셋째, 기존 학습 데이터에 새로운 학습 데이터를 추가하여 업데이트하고 학습을 지속적으로 수행하는 것이 과거 공격과 새로운 공격 모두를 탐지하는데 효과적이다.
- 실험4의 결과에서 확인할 수 있듯이 새로운 공격에 대한 탐지능력은 23.9%이고, 과거 공격에 대한 탐지 능력도 63.9%로 낮게 나타나, 모델의 업데이트가 지속적으로 수행되지 않으면 탐지성능이 심각하게 저하될 수 있음을 확인하였다. 그래서 과거 공격과 새로운 공격 모두를 탐지할 수 있도록 Train-1과 Train-6을 합쳐 Train-7을 만들어 학습을 시키고, Test-1과 Test-3으로 탐지성능을 평가하는 실험5를 진행하였다.
- 실험5의 결과, Test-3에 대한 탐지능력은 23.9%에서 87.6%로 높아졌고, Test-1에 대한 탐지능력도 63.9%에서 75.1%로 높아짐을 확인하였다. 즉 과거와 현재의 공격을 망라하여 효과적인 탐지를 수행하기 위해서는 과거의 학습 데이터에 새로운 공격에 대한 정보를 지속적으로 추가하여 업데이트하면서 침입탐지 모델에 학습을 시켜나가는 것이 필요하다.
- 그러나 클래스별로 탐지된 결과에서는 유의미한 차이가 나타났는데, 특히 전체 학습 데이터에서 클래스가 차지하는 비율과 유사한 탐지결과가 나타남을 확인하였다. 큰 비율을 차지하는 benign은 98.85%, DoS는 97.3%의 높은 탐지결과를 보인 반면 비율이 낮은 botnet의 경우 32.5%로 낮은 탐지성능을 보였고, Web은 0%로 전혀 탐지하지 못하였다.
후속연구
- 향후에는 학습 데이터에서 개별 속성이 탐지성능에 어떠한 영향을 미치는지 조사하고, 정상 패킷과 공격 패킷의 구성비율도 추가적인 실험을 통해 분석하여 탐지성능을 극대화할 수 있는 최적의 학습 데이터를 구성하는 방안을 모색해 나갈 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.