Yeo, Seung-Yeon
(Dept. of Information Security, Seoul Women's University)
,
Jo, So-Young
(Dept. of Information Security, Seoul Women's University)
,
Kim, Jiyeon
(Dept. of Computer Engineering, Daegu University)
본 논문은 다수의 사물인터넷 단말에서 보편적으로 수집할 수 있는 시스템 및 네트워크 메트릭을 학습하여 각 사물의 경험데이터를 기반으로 서비스거부 및 분산반사 서비스거부 공격을 탐지하는 침입 탐지 모델을 제안한다. 먼저, 공격 시나리오 유형별로 각 사물에서 37종의 시스템 및 네트워크 메트릭을 수집하고, 이를 6개 유형의 머신러닝 모델을 기반으로 학습하여 사물인터넷 공격 탐지 및 분류에 가장 효과적인 모델 및 메트릭을 분석한다. 본 논문의 실험을 통해, 랜덤 포레스트 모델이 96% 이상의 정확도로 가장 높은 공격 탐지 및 분류 성능을 보이는 것을 확인하였고, 그 다음으로는 K-최근접 이웃 모델과 결정트리 모델의 성능이 우수한 것을 확인하였다. 37종의 메트릭 중에는 모든 공격 시나리오에서 공격의 특징을 가장 잘 반영하는 CPU, 메모리, 네트워크 메트릭 5종을 발견하였으며 큰 사이즈의 패킷보다는 빠른 전송속도를 갖는 패킷이 사물인터넷 네트워크에서 서비스거부 및 분산반사 서비스거부 공격 특징을 더욱 명확히 나타내는 것을 실험을 통해 확인하였다.
본 논문은 다수의 사물인터넷 단말에서 보편적으로 수집할 수 있는 시스템 및 네트워크 메트릭을 학습하여 각 사물의 경험데이터를 기반으로 서비스거부 및 분산반사 서비스거부 공격을 탐지하는 침입 탐지 모델을 제안한다. 먼저, 공격 시나리오 유형별로 각 사물에서 37종의 시스템 및 네트워크 메트릭을 수집하고, 이를 6개 유형의 머신러닝 모델을 기반으로 학습하여 사물인터넷 공격 탐지 및 분류에 가장 효과적인 모델 및 메트릭을 분석한다. 본 논문의 실험을 통해, 랜덤 포레스트 모델이 96% 이상의 정확도로 가장 높은 공격 탐지 및 분류 성능을 보이는 것을 확인하였고, 그 다음으로는 K-최근접 이웃 모델과 결정트리 모델의 성능이 우수한 것을 확인하였다. 37종의 메트릭 중에는 모든 공격 시나리오에서 공격의 특징을 가장 잘 반영하는 CPU, 메모리, 네트워크 메트릭 5종을 발견하였으며 큰 사이즈의 패킷보다는 빠른 전송속도를 갖는 패킷이 사물인터넷 네트워크에서 서비스거부 및 분산반사 서비스거부 공격 특징을 더욱 명확히 나타내는 것을 실험을 통해 확인하였다.
We propose an intrusion detection model that detects denial-of-service(DoS) and distributed reflection denial-of-service(DRDoS) attacks, based on the empirical data of each internet of things(IoT) device by training system and network metrics that can be commonly collected from various IoT devices. ...
We propose an intrusion detection model that detects denial-of-service(DoS) and distributed reflection denial-of-service(DRDoS) attacks, based on the empirical data of each internet of things(IoT) device by training system and network metrics that can be commonly collected from various IoT devices. First, we collect 37 system and network metrics from each IoT device considering IoT attack scenarios; further, we train them using six types of machine learning models to identify the most effective machine learning models as well as important metrics in detecting and distinguishing IoT attacks. Our experimental results show that the Random Forest model has the best performance with accuracy of over 96%, followed by the K-Nearest Neighbor model and Decision Tree model. Of the 37 metrics, we identified five types of CPU, memory, and network metrics that best imply the characteristics of the attacks in all the experimental scenarios. Furthermore, we found out that packets with higher transmission speeds than larger size packets represent the characteristics of DoS and DRDoS attacks more clearly in IoT networks.
We propose an intrusion detection model that detects denial-of-service(DoS) and distributed reflection denial-of-service(DRDoS) attacks, based on the empirical data of each internet of things(IoT) device by training system and network metrics that can be commonly collected from various IoT devices. First, we collect 37 system and network metrics from each IoT device considering IoT attack scenarios; further, we train them using six types of machine learning models to identify the most effective machine learning models as well as important metrics in detecting and distinguishing IoT attacks. Our experimental results show that the Random Forest model has the best performance with accuracy of over 96%, followed by the K-Nearest Neighbor model and Decision Tree model. Of the 37 metrics, we identified five types of CPU, memory, and network metrics that best imply the characteristics of the attacks in all the experimental scenarios. Furthermore, we found out that packets with higher transmission speeds than larger size packets represent the characteristics of DoS and DRDoS attacks more clearly in IoT networks.
단, 네트워크 메트릭뿐 아니라, 공격에 의한증상을 관찰할 수 있는 IoT 단말의 시스템 메트릭도 함께 수집하고, 이들을 머신러닝 기반으로 학습하여 공격 탐지에 가장 효과적인 모델과 메트릭을 제안한다. IoT 공격으로는 DoS 공격, 그리고 공개 IoT 침입 데이터셋에 포함되지 않았던 분산반사 서비스거부(Distributed Reflection Denial of Service, 이하 DRDoS) 공격을 다양한 시나리오하에 주입하여 데이터셋을 생성한다. DRDoS는 DDoS보다 발전된 공격으로서 반사체(reflector) 경유를 통해 공격자를 은닉하고 공격 증폭 효과를 누릴 수 있다.
DRDoS는 DDoS보다 발전된 공격으로서 반사체(reflector) 경유를 통해 공격자를 은닉하고 공격 증폭 효과를 누릴 수 있다. IoT 네트워크에서도 DRDoS가 발생될 수 있기 때문에 이를 효과적으로탐지하기 위한 지능형 모델 개발이 필요하며 본 연구에서는 DRDoS 데이터셋을 직접 생성하여 머신러닝 기반 IoT 침입탐지 연구에 활용한다.
본연구에서는 직접 IoT 네트워크를 구축하고 공격을 주입하면서 공격을 탐지하기 위해 필요한 메트릭 데이터를 실시간 수집한다. 단, 네트워크 메트릭뿐 아니라, 공격에 의한증상을 관찰할 수 있는 IoT 단말의 시스템 메트릭도 함께 수집하고, 이들을 머신러닝 기반으로 학습하여 공격 탐지에 가장 효과적인 모델과 메트릭을 제안한다. IoT 공격으로는 DoS 공격, 그리고 공개 IoT 침입 데이터셋에 포함되지 않았던 분산반사 서비스거부(Distributed Reflection Denial of Service, 이하 DRDoS) 공격을 다양한 시나리오하에 주입하여 데이터셋을 생성한다.
본 논문에서는 IoT 네트워크에서 발생하는 DoS 및 DRDoS 공격을 머신러닝 기반으로 탐지하는 침입탐지 모델을 개발하기 위하여 공격 강도(패킷 크기, 패킷 속도)를 다양하게 하여 공격을 주입하고, 총 37종의 시스템 및 네트워크 메트릭을 실시간 수집하여 IoT 침입 데이터셋을 생성하였다. 생성된 데이터셋을 RF, KNN, LR, DT, SVM, NB와 같은 6개 유형의 머신러닝 모델을 활용하여 학습한 결과, 모든 공격 시나리오에서 RF 모델이 이진분류(공격 탐지) 및 다중분류(정상 및 공격 강도 세부 분류)에 가장 좋은 성능을 보이는 것으로 분석되었다.
본 연구에서는 네트워크 메트릭뿐 아니라, 시스템 메트릭을 DoS 및 DRDoS 공격을 주입하면서 실시간 수집하 고, 이를 다양한 머신러닝 기반으로 학습하여 공격에 효과적인 모델을 제안한다. 2장에서 살펴본 대표적인 IoT 공격데이터셋과 본 논문에서 수집하는 데이터셋의 메트릭 및공격 유형을 비교하면 Table 1과 같다.
시스템 메트릭 및 네트워크 메트릭을 데이터셋의 특징으로 구성하는 IoT 침입 데이터셋을 생성하기 위하여 본 논문에서는 IoT 네트워크 공격 환경을 구축한 후, IoT 기기에서 시스템 및 네트워크 메트릭을 정상상태 및 공격상태에서 실시간 수집한다. IoT 네트워크 공격으로는 IoT 환경에서 발생빈도가 높은 DoS 공격과 DDoS 공격이 진화된 DRDoS(Distributed Reflection DoS) 공격을 주입하여 생성한다.
대상 데이터
등의 IoT 단말로부터 IoT 트래픽의 송·수신지 주소, 접근노드 주소 등을 데이터셋의 특징(feature)으로 수집하였다
TP(True Positive)는 정상 트래픽을 정상으로 올바르게 분류한 샘플 개수이고, FP(False Positive)는 공격 트래픽을 정상으로 잘못 분류한 샘플 개수, FN(False Negative)은정상 트래픽을 공격으로 잘못 분류한 샘플의 개수를 의미한다. 본 논문에서는 각 데이터셋의 70%는 침입탐지 모델 개발을 위한 학습 데이터셋으로 사용하고, 30%는 개발된 모델의 성능을 측정하기 위한 평가 데이터셋으로 사용하였다.
본 장에서는 3장에서 수집한 데이터셋을 6개의 머신러닝 모델(RF, KNN, LR, DT, SVM, NB)을 활용하여 학습하고, 공격 탐지 및 공격 강도 분류에 있어 F1-score가 높은 머신러닝 모델을 분석한다. F1-score는 모델의 정밀도(precision)와 재현율(recall)을 이용하여 계산한 조화 평균의 값으로서 분류된 데이터의 수가 불균형을 이룰 때 사용하는 성능 지표이다.
또한, 공개 데이터셋에서 수집한 네트워크 메트릭 외에도 공격 탐지에 효과적인 메트릭을 발견하는 것도 침입탐지 연구에서 중요한 과제이다. 본연구에서는 직접 IoT 네트워크를 구축하고 공격을 주입하면서 공격을 탐지하기 위해 필요한 메트릭 데이터를 실시간 수집한다. 단, 네트워크 메트릭뿐 아니라, 공격에 의한증상을 관찰할 수 있는 IoT 단말의 시스템 메트릭도 함께 수집하고, 이들을 머신러닝 기반으로 학습하여 공격 탐지에 가장 효과적인 모델과 메트릭을 제안한다.
실험환경은 IoT 기기와 공격 및 피해 시스템으로 구성되며 IoT 기기로는 라즈베리파이를 사용하였다. DoS 공격에서는 IoT 기기가 대량의 공격 트래픽을 피해 시스템에 전송하고, DRDoS 공격에서는 공격 시스템이 공격 트래픽을 반사체인 IoT 기기를 통해 피해 시스템에 전송한다.
이론/모형
MNB는 NB 모델의 한 유형으로서 본 논문에서는 MNB, Gaussian Naive Bayes(GNB), Bernoulli Naive Bayes(BNB) 모델을 사용하여 데이터셋을 학습하고, 이 중, 가장 정확도가 높은 모델을 NB 모델의 정확도로 반영한다. MNB 모델의 정확도가 낮은 이유는 두 공격 탐지에 있어 정상 트래픽을 공격 트래픽으로 잘못 분류하는 비율이 높았기 때문이다.
성능/효과
생성된 데이터셋을 RF, KNN, LR, DT, SVM, NB와 같은 6개 유형의 머신러닝 모델을 활용하여 학습한 결과, 모든 공격 시나리오에서 RF 모델이 이진분류(공격 탐지) 및 다중분류(정상 및 공격 강도 세부 분류)에 가장 좋은 성능을 보이는 것으로 분석되었다. 또한, 공격 패킷의 크기보다 공격 패킷을 전송하는 속도가 공격 특징을 더욱 잘 반영하기 때문에 머신러닝 기반의 공격 탐지율이 더 높은 것으로 나타났고, 모든 공격 시나리오에서 메모리 메트릭인 kbbuffers, kbinact 메트릭이 DoS 및 DRDoS 공격 증상을 가장 잘 반영하는 메트릭으로 확인되었다. 이 밖에도 네트워크 메트릭 중에는 rxkB/s가 DoS 공격 탐지에 효과적이고, rxpck/s는 DRDoS 탐지에 효과적인 것으로 나타났고, CPU 메트릭 중에서는 nice 메트릭이 공격속도에 따른 DoS 및 DRDoS 공격 탐지에 효과적임을 확인하였다.
마지막으로 다중분류에 있어 가장 중요성이 높은 메트릭을 분석한 결과, 모든 데이터셋에서 메모리 메트릭인 kbbuffers, kbinact가 공격 강도에 따른 증상을 가장 잘 반영하는 것으로 분석되었고, 추가적으로 DoS 공격에서는 rxkB/s, DRDoS 공격에서는 rxpck/s, nice 메트릭이 공격 증상을 잘 반영하는 것으로 확인되었다. 즉, 공격 발생 여부뿐 아니라, 공격 강도에 따른 정확한 트래픽 진단을 위해서는 위 메트릭들을 모니터링 하는 것이 효과적임을 실험을 통해 확인할 수 있었다.
본 논문에서는 IoT 네트워크에서 발생하는 DoS 및 DRDoS 공격을 머신러닝 기반으로 탐지하는 침입탐지 모델을 개발하기 위하여 공격 강도(패킷 크기, 패킷 속도)를 다양하게 하여 공격을 주입하고, 총 37종의 시스템 및 네트워크 메트릭을 실시간 수집하여 IoT 침입 데이터셋을 생성하였다. 생성된 데이터셋을 RF, KNN, LR, DT, SVM, NB와 같은 6개 유형의 머신러닝 모델을 활용하여 학습한 결과, 모든 공격 시나리오에서 RF 모델이 이진분류(공격 탐지) 및 다중분류(정상 및 공격 강도 세부 분류)에 가장 좋은 성능을 보이는 것으로 분석되었다. 또한, 공격 패킷의 크기보다 공격 패킷을 전송하는 속도가 공격 특징을 더욱 잘 반영하기 때문에 머신러닝 기반의 공격 탐지율이 더 높은 것으로 나타났고, 모든 공격 시나리오에서 메모리 메트릭인 kbbuffers, kbinact 메트릭이 DoS 및 DRDoS 공격 증상을 가장 잘 반영하는 메트릭으로 확인되었다.
또한, 공격 패킷의 크기보다 공격 패킷을 전송하는 속도가 공격 특징을 더욱 잘 반영하기 때문에 머신러닝 기반의 공격 탐지율이 더 높은 것으로 나타났고, 모든 공격 시나리오에서 메모리 메트릭인 kbbuffers, kbinact 메트릭이 DoS 및 DRDoS 공격 증상을 가장 잘 반영하는 메트릭으로 확인되었다. 이 밖에도 네트워크 메트릭 중에는 rxkB/s가 DoS 공격 탐지에 효과적이고, rxpck/s는 DRDoS 탐지에 효과적인 것으로 나타났고, CPU 메트릭 중에서는 nice 메트릭이 공격속도에 따른 DoS 및 DRDoS 공격 탐지에 효과적임을 확인하였다.
총 37종의 시스템 및 네트워크 메트릭 중, DoS 및 DRDoS 공격 트래픽을 탐지하는 데에 있어 가장 중요성이 높은 메트릭을 분석한 결과, 메모리 메트릭에 속하는 kbbuffers (커널에서 사용하는 메모리 버퍼의 양), 네트워크 메트릭에 속하는 rxkB/s(초당 수신 패킷 크기)가 공격으로 인한 증상을 가장 잘 반영하는 것으로 나타났다. 즉, DoS 및 DRDoS 공격 탐지를 위해서는 공격에 의해 증가하는 메모리 버퍼 크기 및 초당 수신되는 패킷 크기를 모니터링 하는것이 효과적임을 실험을 통해 확인할 수 있다.
마지막으로 다중분류에 있어 가장 중요성이 높은 메트릭을 분석한 결과, 모든 데이터셋에서 메모리 메트릭인 kbbuffers, kbinact가 공격 강도에 따른 증상을 가장 잘 반영하는 것으로 분석되었고, 추가적으로 DoS 공격에서는 rxkB/s, DRDoS 공격에서는 rxpck/s, nice 메트릭이 공격 증상을 잘 반영하는 것으로 확인되었다. 즉, 공격 발생 여부뿐 아니라, 공격 강도에 따른 정확한 트래픽 진단을 위해서는 위 메트릭들을 모니터링 하는 것이 효과적임을 실험을 통해 확인할 수 있었다.
또한, KNN 모델을 제외한 5개 모델의 경 우, DoS 탐지 정확도가 DRDoS 탐지 정확도에 비해 높은것으로 나타났는데 이 역시 정상 트래픽을 공격 트래픽으로 잘못 탐지하는 비율이 DRDoS가 더 높았기 때문이다. 총 37종의 시스템 및 네트워크 메트릭 중, DoS 및 DRDoS 공격 트래픽을 탐지하는 데에 있어 가장 중요성이 높은 메트릭을 분석한 결과, 메모리 메트릭에 속하는 kbbuffers (커널에서 사용하는 메모리 버퍼의 양), 네트워크 메트릭에 속하는 rxkB/s(초당 수신 패킷 크기)가 공격으로 인한 증상을 가장 잘 반영하는 것으로 나타났다. 즉, DoS 및 DRDoS 공격 탐지를 위해서는 공격에 의해 증가하는 메모리 버퍼 크기 및 초당 수신되는 패킷 크기를 모니터링 하는것이 효과적임을 실험을 통해 확인할 수 있다.
후속연구
향후에는 본 논문에서 식별한 중요 메트릭들을 활용하여 경량이면서도 정확도가 높은 IoT 침입탐지 솔루션을 구현할 예정이며 6개 유형의 머신러닝 모델 외에도 다양한 딥러닝 모델을 활용하여 DoS 및 DRDoS 공격 탐지에 효과적인 모델을 개발하는 연구를 수행할 계획이다.
참고문헌 (24)
Patel Keyur, Patel Sunil Scholar P, and Salazar Carlos, "Internet of Things-IOT: Definition, Characteristics, Architecture, Enabling Technologies, Application & Future Challenges," IJESC, Vol. 6, NO. 5, May 2016. DOI: 10.4010/2016.1482
Knud Lasse Lueth, "State of the IoT 2020: 12 billion IoT connections, surpassing non-IoT for the first time", https://iot-analytics.com/state-of-the-iot-2020-12-billion-iot-connections-surpassing-non-iotfor-the-first-time
Paloaltonetworks,"2020 Unit 42 IoT Threat Report", https://unit42.paloaltonetworks.com/iot-threat-report-2020, 2020.03.10.
IoTnews, "Kaspersky: Attacks on IoT devices double in a year", https://www.iottechnews.com/news/2021/sep/07/kaspersky-attacks-on-iot-devices-double-in-a-year, 2021.09.07
KDD Cup 1999 Data, http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html
Koroniotis Nickolaos, Moustafa Nour, Sitnikova Elena, and Turnbull Benjamin, "Towards the Development of Realistic Botnet Dataset in the Internet of Things for Network Forensic Analytics: Bot-IoT Dataset," Future Generation Computer Systems, Volume 100, pp. 779-796, Nov. 2019.
Sebastian Garcia, Agustin Parmisano, and Maria Jose Erquiaga, IoT-23: A labeled dataset with malicious and benign IoT network traffic, https://www.stratosphereips.org/blog/2020/1/22/aposematiot-23-a-labeled-dataset-with-malicious-and-benign-iot-network-traffic
Ullah Imtiaz, and Mahmoud Qusay. "A Scheme for Generating a Dataset for Anomalous Activity Detection in IoT Networks," Advances in Artificial Intelligence, pp. 508-520, May 2020. DOI: 10.1007/978-3-030-47358-7_52
Booij Tim, Chiscop Irina, Meeuwissen Erik, Moustafa Nour, and den Hartog Frank, "ToN_IoT: The Role of Heterogeneity and the Need for Standardization of Features and Attack Types in IoT Network Intrusion Datasets," IEEE Internet of Things Journal, Vol. 9, NO. 1, pp. 485-496, Jan 2022. DOI: 10.1109/JIOT.2021.3085194
Strecker Sam, Dave Rushit, Siddiqui Nyle, and Seliya Naeem, "A Modern Analysis of Aging Machine Learning Based IoT Cybersecurity Methods," Journal of Computer Sciences and Applications, Vol. 9, NO. 1, pp. 16-22, Oct 2021. DOI: 10.12691/jcsa-9-1-2
Nicolas-Alin Stoian, "Machine Learning for Anomaly Detection in IoT networks: Malware analysis on the IoT-23 Data set," Jul 2020.
Islam Nahida, Farhin Fahiba, Sultana Ishrat, Kaiser M. Shamim, Rahman Md, Hosen A. S. M., Cho Gi, and Hwan Gi, "Towards Machine Learning Based Intrusion Detection in IoT Networks," Computers, Materials and Continua, Vol. 69, NO. 2, pp. 1801-1821, Aug 2021. DOI:10.32604/cmc.2021.018466
Raneem Qaddoura, Ala'M. Al-Zoubi, Hossam Faris, and Iman Almomani, "A Multi-Layer Classification Approach for Intrusion Detection in IoT Networks Based on Deep Learning", Sensors, Vol. 21, NO. 9, Apr 2021. DOI: 10.3390/s21092987
Hasan Alkahtani, and Theyazn H. H. Aldhyani, "Intrusion Detection System to Advance Internet of Things Infrastructure-Based Deep Learning Algorithms", Complexity, Vol. 2021, NO. 3, Jul 2021. DOI: 10.1155/2021/5579851
Shahin Rawan, and Sabri Khair Eddin, "A Secure IoT Framework Based on Blockchain and Machine Learning," International Journal of Computing and Digital Systems, Vol. 11, NO. 1, pp. 671-683, Jan 2022. DOI: 10.12785/ijcds/110154
Hasan Mahmudul, Islam Md, Islam Ishrak, and Hashem M.M.A., "Attack and Anomaly Detection in IoT Sensors in IoT Sites Using Machine Learning Approaches," Internet of Things, Sep 2019. DOI: 10.1016/j.iot.2019.100059
Reddy Dukka, Behera Dr. H., Nayak Janmenjoy, Vijayakumar P, Naik Bighnaraj, and Singh Pradeep, "Deep neural network based anomaly detection in Internet of Things network traffic tracking for the applications of future smart cities," Transactions on Emerging Telecommunications Technologies, Vol. 32, NO. 6, Oct 2020. DOI: 10.1002/ett.4121
Shafiq Muhammad, Tian Zhihong, Sun Yanbin, Du Xiaojiang, and Guizani Mohsen, "Selection of effective machine learning algorithm and Bot-IoT attacks traffic identification for internet of things in smart city," Future Generation Computer Systems, Vol. 107, NO. 4, Jun 2020. DOI: 10.1016/j.future.2020.02.017
Das Anurag, Ajila Samuel, and Lung Chung-Horng, "A Comprehensive Analysis of Accuracies of Machine Learning Algorithms for Network Intrusion Detection," Machine Learning for Networking, pp. 40-57, Apr 2020. DOI: 10.1007/978-3-030-45778-5_4
※ AI-Helper는 부적절한 답변을 할 수 있습니다.