[논문]머신러닝 기반 악성 URL 탐지 기법

한채림; 윤수현; 한명진; 이일구

doi:10.13089/jkiisc.2022.32.3.555

머신러닝 기반 악성 URL 탐지 기법
Machine Learning-Based Malicious URL Detection Technique 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.32 no.3, 2022년, pp.555 - 564

한채림 (성신여자대학교) , 윤수현 (성신여자대학교) , 한명진 (성신여자대학교) , 이일구 (성신여자대학교)

초록
AI-Helper

최근 사이버 공격은 지능적이고 고도화된 악성코드를 활용한 해킹 기법을 활용하여 재택근무 및 원격의료, 자동산업설비를 공격하고 있어서 피해 규모가 커지고 있다. 안티바이러스와 같은 전통적인 정보보호체계는 시그니처 패턴 기반의 알려진 악성 URL을 탐지하는 방식이어서 알려지지 않은 악성 URL을 탐지할 수 없다. 그리고 종래의 정적 분석 기반의 악성 URL 분석 방식은 동적 로드와 암호화 공격에 취약하다. 본 연구에서는 악성 URL 데이터를 동적으로 학습하여 효율적으로 악성 URL 탐지하는 기법을 제안한다. 제안한 탐지 기법에서는 머신러닝 기반의 특징 선택 알고리즘을 사용해 악성 코드를 분류했고, 가중 유클리드 거리(Weighted Euclidean Distance, WED)를 활용하여 사전처리를 진행한 후 난독화 요소를 제거하여 정확도를 개선한다. 실험 결과에 따르면 본 연구에서 제안한 머신러닝 기반 악성 URL 탐지 기법은 종래의 방법 대비 2.82% 향상된 89.17%의 정확도를 보인다.

Abstract ▼ AI-Helper

Recently, cyberattacks are using hacking techniques utilizing intelligent and advanced malicious codes for non-face-to-face environments such as telecommuting, telemedicine, and automatic industrial facilities, and the damage is increasing. Traditional information protection systems, such as anti-virus, are a method of detecting known malicious URLs based on signature patterns, so unknown malicious URLs cannot be detected. In addition, the conventional static analysis-based malicious URL detection method is vulnerable to dynamic loading and cryptographic attacks. This study proposes a technique for efficiently detecting malicious URLs by dynamically learning malicious URL data. In the proposed detection technique, malicious codes are classified using machine learning-based feature selection algorithms, and the accuracy is improved by removing obfuscation elements after preprocessing using Weighted Euclidean Distance(WED). According to the experimental results, the proposed machine learning-based malicious URL detection technique shows an accuracy of 89.17%, which is improved by 2.82% compared to the conventional method.

주제어

표/그림 (10)

그림 Fig. 1. Number of Ransomware Attacks and Ransomware Damage Costs
그림 Fig. 2. Statistics of Malicious Code Hidden Site Detection
표 Table 1. Previous Research on Blacklist Detection
표 Table 2. Previous Research on Machine Learning Model
그림 Fig. 3. Structure of Malicious URL Detection Framework
표 Table 3. Significance of Entire Data and the Data Affected by Feature Extracted from Preprocessing
그림 Fig. 4. The Cumulative Distribution Function (CDF) of runtime overhead of the Proposed Malicious URL Detection Technique and HomDroid
표 Table 4. Comparison of Positive and Malicious Data Sorting Rates of the Proposed Malicious URL Detection Technique and HomDroid
그림 Fig. 5. Correlation Between Accuracy, Recall and F1 Score According to the Decision Threshold for the Proposed Malicious URL Detection Framework
그림 Fig. 6. ROC Curve of the Proposed Malicious URL Detection Technique and HomDroid

AI 본문요약
AI-Helper

문제 정의

이와 같이 정적 분석 기법은 모델의 탐지율이 낮고, 탐지 대상이 난독화된 경우에는 탐지하는데 오래 걸린다. 그러므로 본 논문에서는 악성 URL을 효율적으로 탐지하기 위한 머신러닝 기반의 탐지 기법을 제안하였다. 제안하는 기법은 특징 선택 알고리즘을 사용해 악성 코드를 효과적으로 분류하고, 가중 유클리드 거리(Weighted Euclidean Distance, WED)를 활용하여 사전처리한 후 난독화 요소를 제거하는 3단계의 과정을 거쳐 탈독화를 진행한다.
본 논문에서는 머신러닝 기반 악성 URL 탐지 프레임워크를 제안하였다. 기존 연구에서 제안하고 있는 블랙리스트, 다중 머신러닝 기반의 악성 URL 분석 엔진은 난독화가 어렵고, 신·변종 악성 URL 및 암호화 공격에 대처하지 못한다는 한계가 있다.

제안 방법

정밀도와 재현율은 서로 보완적인 지표(Trade-off)이기 때문에 극단적인 수치 조작이 가능하다. 단적인 예로, 둘 중 하나만 점수가 좋고 다른 하나가 나쁜 분류는 성능이 좋지 않은 분류로 간주할 수 있으므로 정밀도와 재현율을 결합한 F1 점수를 활용해 평가한다.
신·변종 악성 URL 및 암호화 공격에 대한 분류 정확도를 향상하기 위해 Native API 시퀀스 가중치를TF-IDF 값으로 표현하여 1차 분류를 진행하고, 각 특징벡터의 평균치를 계산하여 가중 유클리드 거리를 통해 2차 분류를 진행한다
그러므로 본 논문에서는 악성 URL을 효율적으로 탐지하기 위한 머신러닝 기반의 탐지 기법을 제안하였다. 제안하는 기법은 특징 선택 알고리즘을 사용해 악성 코드를 효과적으로 분류하고, 가중 유클리드 거리(Weighted Euclidean Distance, WED)를 활용하여 사전처리한 후 난독화 요소를 제거하는 3단계의 과정을 거쳐 탈독화를 진행한다.

대상 데이터

그리고 VXHeavens에서 수집한 1414개의 악성 데이터를 실험에 활용했다[21]. 1414개의 악성 데이터에 대해 1298개의 데이터를 악성으로 판단하였으며, 946개의 정상 데이터 중 932개의 데이터를 정상으로 판단하였다. 이는 Preprocessing단계에서 추출한 특징이 91.
Windows XP 운영 체제 및 Program Files 디렉토리에서 946개의 양성 소프트웨어 샘플을 수집하였다. 본 양성 데이터는 PE 형식이며 그래픽, 멀티미디어, 사무용 등 다양한 유형의 소프트웨어로 구성되어있다.
본 양성 데이터는 PE 형식이며 그래픽, 멀티미디어, 사무용 등 다양한 유형의 소프트웨어로 구성되어있다. 그리고 VXHeavens에서 수집한 1414개의 악성 데이터를 실험에 활용했다[21]. 1414개의 악성 데이터에 대해 1298개의 데이터를 악성으로 판단하였으며, 946개의 정상 데이터 중 932개의 데이터를 정상으로 판단하였다.
Windows XP 운영 체제 및 Program Files 디렉토리에서 946개의 양성 소프트웨어 샘플을 수집하였다. 본 양성 데이터는 PE 형식이며 그래픽, 멀티미디어, 사무용 등 다양한 유형의 소프트웨어로 구성되어있다. 그리고 VXHeavens에서 수집한 1414개의 악성 데이터를 실험에 활용했다[21].

데이터처리

본 장에서는 속도, 정밀도, 재현율, AUC 점수의 평가지표를 이용하여 제안한 악성 URL 탐지 기법과 최신이면서 가장 정확도가 높았던 HomDroid모델의 성능을 동일한 환경에서 시뮬레이션하여 비교·분석한다.
효율적인 난독화 요소 수집을 위해서는 최적의 Native API 시퀀스를 통해 악성코드를 분류해야 한다. 분석 플랫폼을 사용하여 실험 샘플에 대한 자동 분석을 수행하였고, 각 샘플의 Native API 호출 시퀀스를 기록하였다. Native API 호출 시퀀스는 분류 알고리즘으로 직접 처리할 수 없으므로 이를 특징 벡터로 변환하는 N-grams를 적용하였다.
속도에 대한 평가는 평가 환경에서 수집한 샘플데이터의 분류 처리 속도와 런타임 오버헤드로 측정한다.
학습한 모델은 파이썬(Python)의 사이킷런(Scikit learn) 라이브러리의 로지스틱회귀(LogisticRegression) 클래스로 정확도를 평가하였다. 평가 기준은 오차 행렬(Confusion Matrix)를 활용해 제안한 기법이 예측한 값과 실제 데이터값을 비교하여 평가를 진행하였다.
학습한 모델은 파이썬(Python)의 사이킷런(Scikit learn) 라이브러리의 로지스틱회귀(LogisticRegression) 클래스로 정확도를 평가하였다. 평가 기준은 오차 행렬(Confusion Matrix)를 활용해 제안한 기법이 예측한 값과 실제 데이터값을 비교하여 평가를 진행하였다.

이론/모형

분석 플랫폼을 사용하여 실험 샘플에 대한 자동 분석을 수행하였고, 각 샘플의 Native API 호출 시퀀스를 기록하였다. Native API 호출 시퀀스는 분류 알고리즘으로 직접 처리할 수 없으므로 이를 특징 벡터로 변환하는 N-grams를 적용하였다. 각 짧은 시퀀스 특징의 가중치는 TermFrequency–Inverse Document Frequency(TF-IDF) 값으로 표현한다.
각 짧은 시퀀스 특징의 가중치는 TermFrequency–Inverse Document Frequency(TF-IDF) 값으로 표현한다. 최적의 Native API 시퀀스 길이를 찾기 위해 특징 선택 알고리즘을 사용하였고, 특징 부분 집합을 시퀀스와 결합하여 최종적으로 14개의 특징으로 분류하였다[15].

성능/효과

• 실험 결과에 따르면 제안한 방법은 종래의 방법대비 2.82% 향상된 89.17%의 높은 정확도를 달성할 수 있다.
표 4는 제안한 악성 URL 탐지 기법과 HomDroid 모델의 분류 처리 속도를 비교한 표이다. 1초당 4.1의 평가 환경에서 수집한 양성 및 악성 프로그램을 분류하는 속도를 측정하였을 때, 제안한 악성 URL 탐지 기법은 31.81MB/s,HomDroid는 26.2MB/s로 측정되었다.
기존 연구에서 제안하고 있는 블랙리스트, 다중 머신러닝 기반의 악성 URL 분석 엔진은 난독화가 어렵고, 신·변종 악성 URL 및 암호화 공격에 대처하지 못한다는 한계가 있다. 그러나 본 논문에서 제안한 악성 URL 탐지 기법은 계층 탐지, 사전처리, 난독화 요소를 해제한다. 신·변종 악성 URL 및 암호화 공격에 대한 분류 정확도를 향상하기 위해 Native API 시퀀스 가중치를TF-IDF 값으로 표현하여 1차 분류를 진행하고, 각 특징벡터의 평균치를 계산하여 가중 유클리드 거리를 통해 2차 분류를 진행한다.
악성 URL 탐지 프레임워크를 통해 정밀도, 재현율, AUC 점수를 측정할 수 있으며, 효율성을 정량적으로 입증할 수 있다.
F1 점수는 정밀도와 재현율의 오차가 작을수록 증가하는 양상을 보였다. 이를 통해 본 논문에서 제안하는 악성 URL 탐지 프레임워크의 정밀도와 재현율, F1 점수의 최적 결정 임계값은 약 0.4임을 도출하였다.
신·변종 악성 URL 및 암호화 공격에 대한 분류 정확도를 향상하기 위해 Native API 시퀀스 가중치를TF-IDF 값으로 표현하여 1차 분류를 진행하고, 각 특징벡터의 평균치를 계산하여 가중 유클리드 거리를 통해 2차 분류를 진행한다. 제안 기법은 종래의 방법에 비해 2.82% 향상된 89.17%의 탐지율을 보이는 것을 확인하였다.
그래프에서 x축은 초 단위의 런타임 오버헤드 시간, y축은 누적분포라고 설정하였다. 제안한 기법과 HomDroid에서 제시한 각각의 4단계의 악성코드 탐지 런타임을 기준으로 설정하였을 때, 제안한 악성 URL 탐지 기법의 평균 런타임은 11.02초, HomDroid는 13.38초로 측정되었다.

후속연구

기존 연구에서 제안하고 있는 블랙리스트, 다중 머신러닝 기반의 악성 URL 분석 엔진은 난독화가 어렵고, 신·변종 악성 URL 및 암호화 공격에 대처하지 못한다는 한계가 있다
정적 분석은 프로그램을 실행하지 않고 악성코드를 식별하는 것을 의미한다. 본 장에서는 기존 악성 URL 분석 방식인 블랙리스트와 머신러닝 모델을 이용하는 방식에 대한 연구를 분석하고 한계점을 제시한다. 표 1은 블랙리스트 기반 악성 URL 분석 엔진에 대한 선행 연구를 분석한 내용이다.
악성 URL을 활용한 공격이 점점 지능화되고, 그 피해도 급증하는 추세임에 따라 악성 URL을 효율적으로 탐지하고 차단하는 연구가 필요하다.
향후 제안한 4단계 프레임워크를 기반으로 탐지의 정확도 및 속도를 더 향상시킬 수 있는 방안을 탐구할 것이며, 나아가 신규 gLTD 관련 악성 URL 탐지 기법에 대한 후속 연구를 진행할 예정이다.

참고문헌 (21)

Nisar, K., Iqbal, M.W., Sarwar, M.I., Ahmad, S., and Arfan, M.T., "Ransomware Dissemination and Mitigation Techniques-A Review." The 7th International Conference on Next Generation Computing 2021, pp. 173-177, Dec. 2021.
N. Caporusso, S. Chea and R. Abukhaled, "A game-theoretical model of ransomware." International Conference on Applied Human Factors and Ergonomics, pp. 69-78, July 2018.
C. Bansal, P. Deligiannis, C. Maddila and N. Rao, "Studying ransomware attacks using web search logs." Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1517-1520, July 2020.
Omer Aslan Aslan and Refik Samet, "A Comprehensive Review on Malware Detection Approaches," IEEE Access, vol. 8, pp. 6249-6271, Jan. 2020.

상세보기
David S. Wall, "The Transnational Cybercrime Extortion Landscape and the Pandemic: changes in ransomware offender tactics, attack scalability and the organisation of offending." European Law Enforcement Research Bulletin SCE 5, pp. 45-60, Aug. 2021.
Korea Internet & Security Agency, "Report on the detection trend of malicious code hidden sites in the second half of 2019", https://www.krcert.or.kr/data/reportView.do?bulletin_writing_sequence35248, accessed Jan.7,2022, 2020
Korea Internet & Security Agency, "Report on the detection trend of malicious code hidden sites in the first half of 2020", https://www.krcert.or.kr/data/reportView.do?bulletin_writing_sequence35537, accessed Jan. 7, 2022, 2020
Korea Internet & Security Agency, "Report on the detection trend of malicious code hidden sites in the second half of 2020", https://www.krcert.or.kr/data/reportView.do?bulletin_writing_sequence35872, accessed Jan. 7, 2022, 2021
Korea Internet & Security Agency, "Report on the detection trend of malicious code hidden sites in the first half of 2021", https://krcert.or.kr/data/reportView.do?bulletin_writing_sequence36189, accessed Jan.7,2022, 2021
P. Prakash, M. Kumar, R. R. Kompella and M. Gupta, "PhishNet: Predictive Blacklisting to Detect Phishing Attacks," 2010 Proceedings IEEE INFOCOM, pp. 1-5, Mar. 2010.
B. Sun, M. Akiyama, T. Yagi, M. Hatada and T. Mori, "AutoBLG: Automatic URL blacklist generator using search space expansion and filters," 2015 IEEE Symposium on Computers and Communication (ISCC), pp. 625-631, Jul. 2015.
Chang, H.Y., Kim, M.J., Kim, D.J., Lee, J.Y., Kim, H.K., and Cho, S.J., "An implementation of system for detecting and filtering malicious URLs." Journal of KIISE: Computing Practices and Letters, 16(4), pp. 405-414, Apr. 2010.
Z. Zuo, R. Gu, X. Jiang, Z. Wang, Y. Huang, L. Wang and X. Li, "BigSpa: An Efficient Interprocedural Static Analysis Engine in the Cloud," 2019 IEEE International Parallel and Distributed Processing Symposium (IPDPS), pp. 771-780, May 2019.
Y. Wu, D. Zou, W. Yang, X. Li and H. Jin, "HomDroid: detecting Android covert malware by social-network homophily analysis." Proceedings of the 30th ACM SIGSOFT International Symposium on Software Testing and Analysis, pp. 216-229, Jul. 2021.
Jinrong Bai, Qibin Shi, "Malware Detection Method based on Dynamic Variable Length API Sequence," 2019 12th International Symposium on Computational Intelligence and Design (ISCID), pp. 285-288, Dec. 2019.
Choi, Y.S., Kim, I.K., Oh, J.T., and Ryu, J.C., "PE Header Characteristics Analysis Technique for Malware Detection." Convergence Security Journal, 8(2), pp. 63-70, Jun. 2008.
D. Ugarte, D. Maiorca, F. Cara and G. Giacinto, "PowerDrive: Accurate de-obfuscation and analysis of powershell malware." International Conference on Detection of Intrusions and Malware, and Vulnerability Assessment, pp. 240-259, Jun. 2019.
Song, J., Kim, J., Choi, S., Kim, J., and Kim, I., "Evaluations of AI-based malicious PowerShell detection with feature optimizations." ETRI Journal, 43(3), pp. 549-560, Apr. 2021.

원문보기 상세보기
Carolyn J. Holz, "Investigating representations of obfuscated malicious PowerShell", Ph.D. Thesis, Massachusetts Institute of Technology, 2019.
Giuseppe Mario Malandrone, Giovanni Virdis, Giorgio Giacinto and Davide Maiorca, "PowerDecode: a PowerShell Script Decoder Dedicated to Malware Analysis." Proceedings of the Italian Conference on Cybersecurity 2021, pp. 219-232, Apr. 2021.
Pengtao Zhang, Ying Tan, "Class-wise information gain," 2013 IEEE Third International Conference on Information Science and Technology (ICIST), pp. 972-978, Mar. 2013.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증