[논문]PageRank 특징을 활용한 RDP기반 내부전파경로 탐지 및 SHAP를 이용한 설명가능한 시스템

윤지영; 김동욱; 신건윤; 김상수; 한명묵

doi:10.7472/jksii.2021.22.4.1

PageRank 특징을 활용한 RDP기반 내부전파경로 탐지 및 SHAP를 이용한 설명가능한 시스템
RDP-based Lateral Movement Detection using PageRank and Interpretable System using SHAP 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.22 no.4, 2021년, pp.1 - 11

윤지영 (Department of Software, Gachon University) , 김동욱 (Department of Computer Engineering, Gachon University) , 신건윤 (Department of Computer Engineering, Gachon University) , 김상수 (Agency for Defense Development) , 한명묵 (Department of Software, Gachon University)

초록
AI-Helper

인터넷이 발달함에 따라 다양하고 복잡한 사이버공격들이 등장하기 시작했다. 공격들을 방어하기 위해 네트워크 외부에서 다양한 방식의 탐지 시스템들이 활용되었으나 내부에서 공격자를 탐지하는 시스템 및 연구는 현저히 드물어 내부에 들어온 공격자를 탐지하지 못해 큰 문제를 야기하기도 했다. 이를 해결하고자 공격자의 움직임을 추적하고 탐지하는 내부전파경로 탐지 시스템에 대한 연구가 등장하기 시작했다. 특히 그중에서도 Remote Desktop Protocol(RDP) 내 특징을 추출해 탐지하는 방식은 간편하면서도 매우 좋은 결과를 나타내었다. 하지만 그럼에도 불구하고 이전 연구들은 각 로그온 된 노드들 자체의 영향 및 관계성을 고려하지 않았으며, 제시된 특징 또한 일부 모델에서는 떨어지는 결과를 제공하기도 했다. 또한 왜 그렇게 판단했는지 판단에 대해 설명하지 못한다는 문제점도 존재했다. 이는 결과적으로 모델의 신뢰성 및 견고성 문제를 야기하게 된다. 이를 해결하기 위해 본 연구에서는 PageRank 특징을 활용한 RDP기반 내부전파경로 탐지 및 SHAP를 이용한 설명가능한 시스템을 제안한다. 페이지랭크 알고리즘과 여러 통계적인 기법을 활용해 여러 모델에서 활용 가능한 특징들을 생성하고 SHAP을 활용해 모델 예측에 대한 설명을 제공한다. 본 연구에서는 이전 연구에 비해 대부분의 모델에서 더 높은 성능을 보여주는 특징을 생성했고 이를 SHAP을 이용해 효과적으로 증명했다.

Abstract ▼ AI-Helper

As the Internet developed, various and complex cyber attacks began to emerge. Various detection systems were used outside the network to defend against attacks, but systems and studies to detect attackers inside were remarkably rare, causing great problems because they could not detect attackers inside. To solve this problem, studies on the lateral movement detection system that tracks and detects the attacker's movements have begun to emerge. Especially, the method of using the Remote Desktop Protocol (RDP) is simple but shows very good results. Nevertheless, previous studies did not consider the effects and relationships of each logon host itself, and the features presented also provided very low results in some models. There was also a problem that the model could not explain why it predicts that way, which resulted in reliability and robustness problems of the model. To address this problem, this study proposes an interpretable RDP-based lateral movement detection system using page rank algorithm and SHAP(Shapley Additive Explanations). Using page rank algorithms and various statistical techniques, we create features that can be used in various models and we provide explanations for model prediction using SHAP. In this study, we generated features that show higher performance in most models than previous studies and explained them using SHAP.

주제어

표/그림 (15)

그림 (그림 1) 내부전파경로 단계[7] (Figure 1) Process of lateral movement[7]
그림 (그림 2) 제안연구 프레임워크 (Figure 2) Framework of proposed model
그림 (그림 3) source_pagerank 상위 1,000 노드 그래프 (Figure 3) Top 1,000 source_pagerank node in graph
그림 (그림 4) 로그온 시간차의 히스토그램 (Figure 4) Histogram of logon time difference
그림 (그림 5) 로그온 시간차 정규분포 (Figure 5) Gaussian distribution of logon time difference
표 (표 1) 사용된 특징집합 (Table 1) Used feature set
그림 (그림 6) 10-fold cross validation F1score 결과 (Figure 6) Result of 10-fold cross validation in F1score
표 (표 2) 제안연구와 이전연구 성능비교 (Table 2) Comparison of performance in proposed model and previous model
표 (표 3) 페이지랭크와 연결횟수를 활용한 성능평가(Table 3) Comparison of performance in pagerank algorithm and the number of links
표 (표 4) 신뢰구간 포함횟수를 활용한 성능평가 (Table 4) Comparison of performance in the "prod_diff_source"(confidence level included)
그림 (그림 7) XGBoost의 SHAP summary plot (Figure 7) SHAP summary plot in XGBoost
그림 (그림 8) 가우시안 나이브 베이즈 SHAP summary plot (Figure 8) SHAP summary plot in GNB
그림 (그림 9) 모델마다 "prod_diff_source" 영향도 (Figure 9) Impact of "prod_diff_source" in model
그림 (그림 10) 정상 인스턴스에 대한 특징 영향도 평가 (Figure 10) Feature impact on normal instance
그림 (그림 11) compromised 인스턴스에 대한 특징 영향도 평가 (Figure 11) Feature impact on compromised instance

AI 본문요약
AI-Helper

문제 정의

이를 해결하기 위해 본 연구는 페이지랭크(PageRank) 특징을 활용한 RDP기반 내부전파경로 탐지 및 SHAP를 이용한 설명가능한 시스템을 제안한다. 제안 모델은 크게 3단계로 나눠진다.
제안연구는 내부전파경로탐지로 내부전파 의심노드 (의심노드)를 찾아 중요서버로 침입하기 전 공격을 탐지하는 것을 목표로 한다. 제안연구의 전체적인 프레임워크는 그림 2와 같이 이벤트 전처리 단계, 특징 추출 단계, 예측 및 설명제공 단계 총 3 단계로 나눠진다.

제안 방법

첫 번째로 호스트 이벤트 데이터들에 전처리를 진행해 RDP 기반의 로그온 이벤트 데이터를 추출한다. 두 번째로 이를 이용해 사용자-수신 호스트와 송신호스트-수신호스트 입장의 그래프를 생성해 페이지랭크 알고리즘을 이용한 각각의 노드 중요도를 추출하고 이를 특징으로 활용한다. 이와 함께 기존의 이벤트에서 수집될 수 있는 기본적인 특징인 로그온 시간차와 로그온 횟수를 이용해 통계적인 처리를 거쳐 특징으로 활용한다.
이와 함께 기존의 이벤트에서 수집될 수 있는 기본적인 특징인 로그온 시간차와 로그온 횟수를 이용해 통계적인 처리를 거쳐 특징으로 활용한다. 마지막으로 추출된 특징들을 이용해 다양한 모델에 적용시켜보고 이들의 결과에 SHAP를 적용해 설명을 제공한다. 실험 결과 제안 연구의 특징을 활용할 경우 모든 모델에서 평균 97.
제안 모델은 크게 3단계로 나눠진다. 첫 번째로 호스트 이벤트 데이터들에 전처리를 진행해 RDP 기반의 로그온 이벤트 데이터를 추출한다. 두 번째로 이를 이용해 사용자-수신 호스트와 송신호스트-수신호스트 입장의 그래프를 생성해 페이지랭크 알고리즘을 이용한 각각의 노드 중요도를 추출하고 이를 특징으로 활용한다.

대상 데이터

전처리를 통해 생성된 7, 505개의 데이터를 활용해 RDP 그래프를 생성했으며 그림 3은 송신 호스트-수신 호스트 그래프 중 송신 호스트의 페이지랭크 값을 기준으로 높은 페이지랭크 값을 가진 상위 1, 000개 노드의 연결을 나타낸다. 붉은 노드는 의심노드, 하얀 노드는 정상 노드를 나타내며 1, 000개 중 의심노드 701개, 정상노드 299 개로 이루어져있다.

이론/모형

마지막으로 본 연구에서 제안한 특징들의 유효성을 확인한다. 본 연구에서는 노드의 중요도를 위해 페이지랭크 알고리즘을 활용했으며 통계적 특징으로 시간차 신뢰구간 포함횟수를 활용했다. 가장 먼저 표 3을 통해 페이지랭크 알고리즘이 일반적인 연결횟수에 비해 더 정확한 중요도를 제공해준다는 것을 증명한다.

성능/효과

마지막으로 추출된 특징들을 이용해 다양한 모델에 적용시켜보고 이들의 결과에 SHAP를 적용해 설명을 제공한다. 실험 결과 제안 연구의 특징을 활용할 경우 모든 모델에서 평균 97.50%정도의 F1score 를 기록했으며, SHAP로 설명을 생성해 확인해 본 결과, 해당 연구에서 제안한 특징들이 매우 큰 영향을 끼침을 확인했다.
특히 대부분의 모델에서 큰 분산없이 평균 근처에서 존재함으로 써본 연구에서 제안한 특징의 일반성(generalization)도 확인할 수 있다. 표 2는 제안연구와 기존 연구를 비교한 결과로서 표에서 확인할 수 있듯 제안 연구가 LB를 제외한 대부분의 모델에서 더 좋은 성능을 보여줌을 확인할 수 있다.

참고문헌 (21)

BA Powell, "Detecting malicious logins as graph anomalies.", Journal of Information Security and Applications, Vol. 54, No. 102557, 2020. https://doi.org/10.1016/j.jisa.2020.102557.

상세보기
H Siadati, and M Nasir, "Detecting structurally anomalous logins within enterprise networks.", Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security., pp. 1273-1284, 2017. https://doi.org/10.1145/3133956.3134003
Q Liu, J W Stokes, R Mead, T Burrell, I Hellen, J Lambert et al, "Latte: Large-scale lateral movement detection." MILCOM 2018-2018 IEEE Military Communications Conference (MILCOM) pp. 1-6, 2018 https://doi.org/10.1109/MILCOM.2018.8599748
T Bai, H Bian, M. A. Salahuddin, A. A. Daya, N Limam, R Boutaba, "RDP-based Lateral Movement detection using Machine Learning", Computer Communications, Vol. 165, pp. 9-19., 2021. https://doi.org/10.1016/j.comcom.2020.10.013

상세보기
G Kaiafas, G Varisteas, S Lagraa, R State, and C. D. Nguyen et al, "Detecting malicious authentication events trustfully", NOMS 2018 - 2018 IEEE/IFIP Network Operations and Management Symposium, Taipei, pp. 1-6, 2018. https://doi.org/10.1109/NOMS.2018.8406295.
M. Hind, "Explaining explainable AI." XRDS: Crossroads, The ACM Magazine for Students, Vol.25 No.3 pp. 16-19, 2019, https://doi.org/10.1145/3313096

상세보기
M Soria-Machado, D Abolins, C Boldea, and K Socha, "Detecting Lateral Movements in Windows Infrastructure", CERT-EU Security Whitepaper 17-002, 2017. https://media.cert.europa.eu/static/WhitePapers/CERT-EU_SWP_17-002_Lateral_Movements.pdf
L Page, S Brin, R Motwani, and T Winograd, "The PageRank citation ranking: Bringing order to the web", Stanford InfoLab., 1999. http://ilpubs.stanford.edu:8090/422/
S Lundberg, and SI Lee, "A Unified Approach to Interpreting Model Predictions", arXiv preprint arXiv:1705.07874, 2017. https://arxiv.org/abs/1705.07874v2
MT Ribeiro, S Singh, and C Guestrin, "" Why should i trust you?" Explaining the predictions of any classifier", Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, pp. 1135-1144, 2016. https://doi.org/10.1145/2939672.2939778
L Schmetterer, "Introduction to mathematical statistics", Springer Science & Business Media, Vol. 202., 2012. https://doi.org/10.1007/978-3-642-65542-5
L Breiman, "Random forests", Machine learning Vol. 45, No. 1, pp. 5-32, 2001. https://doi.org/10.1023/A:1010933404324
JH Friedman, "Greedy Function Approximation: A Gradient Boosting Machine", The Annals of Statistics, Vol. 29, No. 5, pp. 1189-1232, 2001. https://www.jstor.org/stable/2699986

상세보기
JR Quinlan, "Induction of decision trees", Machine learning, Vol. 1, No. 1, pp. 81-106, 1986. https://doi.org/10.1007/BF00116251

상세보기
DJ Hand, and K Yu, "Idiot's Bayes-not so stupid after all?", International statistical review, Vol. 69, No. 3, pp. 385-398, 2001, https://doi.org/10.1111/j.1751-5823.2001.tb00465.x

상세보기
J Friedman, T Hastie, and R Tibshirani, "Additive logistic regression: a statistical view of boosting (with discussion and a rejoinder by the authors)", Annals of statistics, Vol. 28, No.2, pp. 337-407, 2000. https://doi.org/10.1214/aos/1016218223

상세보기
T Chen and C Guestrin, "Xgboost: A scalable tree boosting system", Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining, pp. 785-794, 2016. https://doi.org/10.1145/2939672.2939785
MJM Turcotte, AD Kent, and C Hash, "Unified Host and Network Data Set", Data Science for Cyber-Security, pp. 1-22, 2018. https://doi.org/10.1142/9781786345646_001
AD Kent, "Comprehensive, multi-source cyber-security events data set", No. LA-UR-15-23810. Los Alamos National Lab.(LANL), Los Alamos, NM (United States), 2015. https://doi.org/10.17021/1179829
H He, and Y Ma, "Imbalanced Learning: Foundations, Algorithms, and Applications", 2013. https://doi.org/10.1002/9781118646106
C Rudin, "Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead." Nature Machine Intelligence Vol. 1, No. 5, pp. 206-215, 2019. https://doi.org/10.1038/s42256-019-0048-x

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증