[논문]Adaptive Boosting을 사용한 패커 식별 방법 연구

장윤환; 박성준; 박용수

doi:10.13089/jkiisc.2020.30.2.169

[국내논문] Adaptive Boosting을 사용한 패커 식별 방법 연구
Packer Identification Using Adaptive Boosting Algorithm 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.30 no.2, 2020년, pp.169 - 177

장윤환 (한양대학교) , 박성준 (한양대학교) , 박용수 (한양대학교)

초록
AI-Helper

악성코드 분석은 컴퓨터 보안의 중요한 관심사 중 하나로 분석 기법의 진보는 컴퓨터 보안의 중요 사항이 되었다. 기존에는 악성코드를 탐지할 때 Signature-based 방식을 사용하였으나 패킹된 악성코드의 비율이 높아지면서 기존 Signature-based 방식으로는 탐지에 어려움이 많아 졌다. 이에, 본 논문에서는 머신러닝을 사용하여 패킹된 프로그램의 패커를 식별하는 방법을 제안한다. 제안한 방법은 패킹된 프로그램을 파싱하여 패커를 특정 지을 수 있는 특정 PE 정보를 추출하고 머신러닝 모델 중 Adaptive Boosting 알고리즘을 사용하여 패커를 식별한다. 제안한 방법의 정확도를 확인하기 위해 12가지 종류의 패커로 패킹된 프로그램 391개를 수집하여 실험하였으며, 약 99.2%의 정확도로 패커를 식별하는 것을 알 수 있었다. 또한, Signature-based PE 식별 도구인 PEiD와 기존 머신러닝을 사용한 방법으로 식별한 결과를 제시하였으며, 본 논문에서 제안한 방법이 기존의 방법보다 패커를 식별하는데 정확도와 속도면에서 더 뛰어난 성능을 발휘하는 것을 알 수 있다.

Abstract ▼ AI-Helper

Malware analysis is one of the important concerns of computer security, and advances in analysis techniques have become important for computer security. In the past, the signature-based method was used to detect malware. However, as the percentage of packed malware increased, it became more difficult to detect using the conventional method. In this paper, we propose a method for identifying packers of packed programs using machine learning. The proposed method parses the packed program to extract specific PE information that can identify the packer and identifies the packer using the Adaptive Boosting algorithm among the machine learning models. To verify the accuracy of the proposed method, we collected and tested 391 programs packed with 12 types of packers and found that the packers were identified with an accuracy of about 99.2%. In addition, we presented the results of identification using PEiD, a signature-based PE identification tool, and existing machine learning method. The proposed method shows better performance in terms of accuracy and speed in identifying packers than existing methods.

주제어

표/그림 (12)

그림 Fig. 1. Overview of the proposed method
표 Table 1. Ratio of Packer to train and test dataset.
그림 Fig. 2. Packer identification visualization in PEiD.
표 Table 2. Experimental results on the accuracy of the PEiD, [9]'s method and the proposed method.
표 Table 3. Execution time for [9]'s method and the proposed method.
표 Table 4. Execution time for pre-processing 1 item in [9]'s method and the proposed method.
그림 Fig. 3. Accuracy according to 'Estimators' value in [9]'s method.
그림 Fig. 4. Packer identification visualization in [9]'s method.
그림 Fig. 5. Accuracy according to 'Estimators' value in proposed method.
그림 Fig. 6. Packer identification visualization in proposed method using Adaptive boosting.
그림 Fig. 7. ROC curve in [9]'s method.
그림 Fig. 8. ROC curve in proposed method using Adaptive boosting.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이는 패킹된 원본 프로그램과 패커의 종류나 옵션에 따라 압축 데이터가 변경될 수 있다는 문제점이 존재한 다. 따라서 본 논문에서는 패킹된 프로그램의 PE header 정보와 머신러닝을 사용하여 패커를 식별하는 방법을 제안한다.
본 논문에서는 프로그램에서 PE 정보를 이용하여 패커를 식별하는 새로운 방법을 제안하였다. 제안한 방법에서는 머신러닝을 사용하였으며, 식별에 대한 정확도를 확인하기 위해서 12가지 종류의 패커로 패킹된 Windows 32bit 프로그램을 사용하였다.

제안 방법

MSA로 서명을 생성하기 위해서는 프로그램을 OllyDbg 디버거[13]를 사용하여 디스어셈블 하고, Two molecular sequences 알고리즘을 이용하여 Score matrix와 Traceback matrix를 계산하기 위한 Local alignment를 한다. Traceback matrix의 최댓값위치에서 0이 될 때까지 추적하여 Aligned sequences를 생성하고, MSA를 사용하여 패커의 특정 클래스 유사성을 나타내는 서명을 생성한다. 생성된 Score와 서명으로 패커를 식별한다.
“Most likely” 매칭을 위해 PEiD의 서명 기법을 사용하여 프로그램에 서명이 포함되어 있는지 확인하고, k-NN 알고리즘(K=1)으로 거리가 가장 가까운패커 그룹의 종류로 식별한다. 다만, k-NN 알고리즘은 복잡한 프로그램에 대해서는 성능이 저하 될 수 있기 때문에 유사도 matrix를 Levenshtein Distance 커널의 SVM(Support Vector Machine) 알고리즘을 사용하여 서명 매칭에서 발생하는 오류허용 방법을 제안하였다.
은 머신러닝을 사용하는 기법에 대한 실행 속도를 측정한 것이다. 머신러닝을 사용하는 기법은 전처리 과정과 학습(Learning) 과정으로 분할하여 측정하였으며, 전처리 과정과 학습 과정에 소요된 시간을 합하여 전체 소요시간을 측정하였다. 제안한 기법의 경우 학습 과정은 Random forest와 Adaptive Boosting 알고리즘 모두 미세한 속도차이(0.
에뮬레이터인 BE-PUM(Binary Emulator for Pushdown Model)[11]에서 Concolic Testing을 사용하여 패킹된 프로그램을 디스어셈블한 정보와 제어 흐름그래프(Control Flow Graph)를 추출한다. 미리 정의한 난독화 기법(14가지 종류)의 기준과 제어 흐름 그래프의 난독화 기법(특정 Instruction)을 비교하여 난독화 기법을 식별한다. 식별한 난독화 기법의 빈도수를 측정한 빈도수에 Chi-square test를 적용하여 포함된 값의 임계점을 기준으로 패커를 식별한다.
암호화된 섹션을 탐지는 프로그램의 헤더(header) 정보를 이용하여 섹션(section)을 식별한다. 식별한 섹션별로 시스템에서 장애 또는 불확실성의 정도를 나타내는 엔트로피 값을 이용한 N-Byte sliding windows를 기반으로 한 Byte sequence를 구하여 엔트로피 스코어를 계산한다. 계산된 엔트로피 스코어가 가장 높은 섹션을 암호화된 섹션으로 간주한다.
[10]은 패킹된 프로그램에서 난독화 기법의 발생 빈도를 메타데이터화 해서 패커를 식별하는 방법을 제안한다. 에뮬레이터인 BE-PUM(Binary Emulator for Pushdown Model)[11]에서 Concolic Testing을 사용하여 패킹된 프로그램을 디스어셈블한 정보와 제어 흐름그래프(Control Flow Graph)를 추출한다. 미리 정의한 난독화 기법(14가지 종류)의 기준과 제어 흐름 그래프의 난독화 기법(특정 Instruction)을 비교하여 난독화 기법을 식별한다.
머신러닝을 사용하는 기법은 전처리 과정과 학습(Learning) 과정으로 분할하여 측정하였으며, 전처리 과정과 학습 과정에 소요된 시간을 합하여 전체 소요시간을 측정하였다. 제안한 기법의 경우 학습 과정은 Random forest와 Adaptive Boosting 알고리즘 모두 미세한 속도차이(0.01초 이하)를 보였기에 Adaptive Boosting 알고리즘을 기준을 하였다.
본 논문에서는 프로그램에서 PE 정보를 이용하여 패커를 식별하는 새로운 방법을 제안하였다. 제안한 방법에서는 머신러닝을 사용하였으며, 식별에 대한 정확도를 확인하기 위해서 12가지 종류의 패커로 패킹된 Windows 32bit 프로그램을 사용하였다. 391개의 수집된 프로그램을 사용하여 99.
제안한 방법은 PE를 파싱하는 파서 프로그램과 머신러닝으로 학습하는 두 개의 프로그램으로 구현되었으며, 파서 프로그램의 경우 Python을 사용하여 구현하였으며, Random forest 알고리즘과 Adaptive Boosting 알고리즘의 경우 Scikit-learn 라이브러리[18]의 Sklearn 패키지를 사용하여 구현하였다.
제안한 방법은 패킹된 프로그램의 PE 정보 중 패커의 정보와 관련된 특정한 필드의 값을 추출하고, 추출한 데이터를 전처리 과정을 적용한 후, Adaptive Boosting 알고리즘으로 학습하여 패커를 식별한다. 본 논문에서 제안한 방법의 정확성을 확인하기 위해서 Tuts4You[6]와 VIRUSTOTAL[7]에서 12종의 패커로 패킹된 391개의 Windows 32bit 프로그램을 수집하여 패커 식별 실험을 수행 하였다.
제안한 방법은 학습한 사전 정보와 유클리드 거리의 유사성 매트릭스의 “Most likely” 매칭을 사용하여 패커를 식별한다.
과 같다. 패킹된 프로그램을 파싱하여 unpacking code 및 섹션과 관련된 특징에 대한정보를 추출하고, 추출한 정보에 필드를 확인하여 NON-ASCII 또는 ASCII 데이터를 16진수 Byte 값으로 변환하는 전처리 과정을 수행한다. 이후, 추출된 데이터를 머신 러닝 알고리즘인 Random forest와 Adaptive Boosting 모델을 사용하여 패커를 식별한다.

대상 데이터

본 논문에서 제안한 방법의 정확성을 확인하기 위해 Tuts4You[6]와 VIRUSTOTAL[7]에서 12종의 패커로 패킹된 Windows 32bit PE 프로그램 391개를 수집하여 실험을 진행하였다. 실험을 한 환경의 CPU는 Intel Xeon E5-i7이며 메모리는 DDR3 64GB, 그래픽 카드는 NVIDIA GeForce 1050을 사용하였다.
제안한 방법은 패킹된 프로그램의 PE 정보 중 패커의 정보와 관련된 특정한 필드의 값을 추출하고, 추출한 데이터를 전처리 과정을 적용한 후, Adaptive Boosting 알고리즘으로 학습하여 패커를 식별한다. 본 논문에서 제안한 방법의 정확성을 확인하기 위해서 Tuts4You[6]와 VIRUSTOTAL[7]에서 12종의 패커로 패킹된 391개의 Windows 32bit 프로그램을 수집하여 패커 식별 실험을 수행 하였다. 또한, 기존 Signature-based 식별 방법인 PEiD[8]와 Jung ByeongHo et al.
수집된 391개의 패킹된 PE 프로그램은 실험을 위해 학습 Dataset과 테스트 Dataset로 각 273개, 118개(학습 Dataset : 70%, 테스트 Dataset : 30%)로 분할하였다. 분할된 학습 Dataset과 테스트 Dataset에 대한 패커별 비율은 아래 Table 1.

이론/모형

[12]의 방법은 MSA (Multiple Sequence Alignment)로 프로그램에 대한 서명을 생성하고 식별한다. MSA로 서명을 생성하기 위해서는 프로그램을 OllyDbg 디버거[13]를 사용하여 디스어셈블 하고, Two molecular sequences 알고리즘을 이용하여 Score matrix와 Traceback matrix를 계산하기 위한 Local alignment를 한다. Traceback matrix의 최댓값위치에서 0이 될 때까지 추적하여 Aligned sequences를 생성하고, MSA를 사용하여 패커의 특정 클래스 유사성을 나타내는 서명을 생성한다.
Byte plot을 Markov plot으로 변환 할 때에는 상태 전환을 나타내는 Markov chain을 사용하며, 256*256의 크기로 변환한다. Markov plot의 가중치와 방향 벡터에 대한 데이터를 SVM 알고리즘으로 학습하여 패커를 식별한다.
Ban Tao et al.[14]의 방법은 Signaturebased 접근법과 Machine Learning-based 접근법을 사용하여 패커를 식별한다. 제안한 방법은 학습한 사전 정보와 유클리드 거리의 유사성 매트릭스의 “Most likely” 매칭을 사용하여 패커를 식별한다.
또한, 기존 Signature-based 식별 방법인 PEiD[8]와 Jung ByeongHo et al.[9]의 방법을 사용하여 식별 실험을 수행한 결과를 제시하였다. 제안한 방법의 정확도가 PEiD보다 39.
패커 식별에는 암호화된 섹션탐지에서 구한 엔트로피 값의 시퀀스에 대해 표준 편차, 평균 점수 및 최소 및 최댓값을 계산한다. 또한, Byte frequency를 계산하여 Feature vectors를 생성하고, Feature vectors와 Random forest 및 Gradient boosting 알고리즘을 사용하여 패커를 식별한다.
머신러닝을 기반으로 한 학습 모델은 파싱 후 전처리 과정을 수행한 데이터를 이용하여 생성된다. 머신러닝 모델은 Random forest 알고리즘과 Adaptive Boosting 알고리즘을 사용하였다. 실험 결과는 Random forest 알고리즘과 Adaptive Boosting 알고리즘의 성능이 큰 차이는 존재하지 않았다.
미리 정의한 난독화 기법(14가지 종류)의 기준과 제어 흐름 그래프의 난독화 기법(특정 Instruction)을 비교하여 난독화 기법을 식별한다. 식별한 난독화 기법의 빈도수를 측정한 빈도수에 Chi-square test를 적용하여 포함된 값의 임계점을 기준으로 패커를 식별한다.
패킹된 프로그램을 파싱하여 unpacking code 및 섹션과 관련된 특징에 대한정보를 추출하고, 추출한 정보에 필드를 확인하여 NON-ASCII 또는 ASCII 데이터를 16진수 Byte 값으로 변환하는 전처리 과정을 수행한다. 이후, 추출된 데이터를 머신 러닝 알고리즘인 Random forest와 Adaptive Boosting 모델을 사용하여 패커를 식별한다.

성능/효과

제안한 방법에서는 머신러닝을 사용하였으며, 식별에 대한 정확도를 확인하기 위해서 12가지 종류의 패커로 패킹된 Windows 32bit 프로그램을 사용하였다. 391개의 수집된 프로그램을 사용하여 99.2%의 정확도를 갖는 것을 알 수 있다.
실험 결과는 Random forest 알고리즘과 Adaptive Boosting 알고리즘의 성능이 큰 차이는 존재하지 않았다. 다만, Adaptive Boosting 알고리즘이 약 1% 높은 성능을 보였다.
1% 더 정확한 것을 알 수 있었다. 또한, 제안한 기법을 Random forest 알고리즘과 Adaptive boosting 알고리즘을 사용하여 실험한 결과 각 98.3%와 99.2%의 정확도로 인하여 특정 머신러닝 모델에 의해 정확도가 높아지는 것이 아니라는 것을 알 수 있다. 뿐만 아니라 식별 속도에서도 기존 Machine Learning-based 식별 방법보다 매우 빠르게 동작하는 것을 알 수 있다.
307초가 소요되었다. 반면 제안한 기법은 전처리 과정에서 0.127초, 학습 과정에서는 0.040초로 총 0.167초가 소요되었다.
본 논문에서 제안한 방법은 PEiD보다 패커를 식별하는데 39.7% 더 정확한 것을 알 수 있었으며, 기존 Machine Learning-based 식별 방법인 [9]의 기법보다 11.1% 더 정확한 것을 알 수 있었다. 또한, 제안한 기법을 Random forest 알고리즘과 Adaptive boosting 알고리즘을 사용하여 실험한 결과 각 98.
머신러닝 모델은 Random forest 알고리즘과 Adaptive Boosting 알고리즘을 사용하였다. 실험 결과는 Random forest 알고리즘과 Adaptive Boosting 알고리즘의 성능이 큰 차이는 존재하지 않았다. 다만, Adaptive Boosting 알고리즘이 약 1% 높은 성능을 보였다.
7%, Jung ByeongHo et al.의 방법보다 11.1% 높은 99.2%로 패커를 식별하는 것을 확인하였다.
제안한 기법은 Random forest(RF) 알고리즘을 사용한 경우 평균 98.3%의 정확도를 보였으며, Adaptive Boosting(AB) 알고리즘을 사용한 경우평균 99.2%의 정확도를 보였다. 제안한 기법은 머신러닝에 사용된 알고리즘에 큰 영향을 받지 않으며 대부분의 패커에 대하여 높은 식별률을 보이는 것을 알 수 있다.
2%의 정확도를 보였다. 제안한 기법은 머신러닝에 사용된 알고리즘에 큰 영향을 받지 않으며 대부분의 패커에 대하여 높은 식별률을 보이는 것을 알 수 있다.
는 1개의 패킹된 프로그램에 대해 전처리 과정을 수행할 때 소요된 시간이다. 제안한 기법의 경우 최대 0.001초이지만, [9]의 기법은 패킹된 프로그램의 크기가 커짐에 따라 소요 시간이 증가하는 것을 알 수 있다.
8은 [9]의 기법과 제안한 기법에서 Adaptive boosting 알고리즘으로 패커를 식별하였을 때의 ROC curve이다. 제안한 기법이 [9]의 기법보다 ROC 그래프의 커브가 좌측 상단으로 밀집되어 있는 것을 알 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Machine Learning-based 식별 방법에서는 PE 프로그램의 전체 Byte 값을 이용하는데, 이에 발생하는 문제점과 본 논문이 제안하는 방법은 무엇인가?	기존의 Machine Learning-based 식별 방법에 서는 PE 프로그램의 전체 Byte 값을 이용한다. 이는 패킹된 원본 프로그램과 패커의 종류나 옵션에 따라 압축 데이터가 변경될 수 있다는 문제점이 존재한 다. 따라서 본 논문에서는 패킹된 프로그램의 PE header 정보와 머신러닝을 사용하여 패커를 식별하는 방법을 제안한다.
	패커란?	패커(Packer)는 원본 프로그램을 다양한 방법의 압축 기술과 난독화, 안티-리버싱(Anti-Reversing) 기법을 적용하여 동일한 동작을 수행하는 새로운 파일로 변환하는 소프트웨어 프로그램이다. 패커는 일반적으로 상용 프로그램의 중요한 정보를 보호하기 위해 사용되지만 악성코드 개발자는 분석과 탐지를 회피하기 위해 사용한다[1].
	패커는 어떻게 사용되는가?	패커(Packer)는 원본 프로그램을 다양한 방법의 압축 기술과 난독화, 안티-리버싱(Anti-Reversing) 기법을 적용하여 동일한 동작을 수행하는 새로운 파일로 변환하는 소프트웨어 프로그램이다. 패커는 일반적으로 상용 프로그램의 중요한 정보를 보호하기 위해 사용되지만 악성코드 개발자는 분석과 탐지를 회피하기 위해 사용한다[1]. 많은 종류의 패커가 온라인에 존재하며 동일한 원본 프로그램으로 패커의 설정만 변경하여 많은 변형된 파일을 생성 할 수 있다.

참고문헌 (18)

Improving proactive detection of packed malware, "detection packed malware", https://www.virusbulletin.c om/virusbulletin/2006/03/improving-proactive-detection-packed-malware, 10, Jun, 2019
T. Brosch and M. Morgenstern. "Runtime packers: The hidden problem," Black Hat USA, 2006
R. Isawa, D. Inoue and K. Nakao. "An original entry point detection method with candidate-sorting for more effective generic unpacking," IEICE TRANSACTIONS on Information and Systems, vol. E98-D, no. 4, pp. 883-893, Apr. 2015

상세보기
S. D'ALESSIO and S. MARIANI. "PinDemonium: a DBI- based generic unpacker for Windows executables," Black hat, Apr. 2016
Kim Gyeong-Min, Park Juhyun, Jang Yun-Hwan and Park Yongsu. "Efficient Automatic Original Entry Point Detection," Journal of Information Science & Engineering, vol. 35, no. 4, pp. 887-902, Jul. 2019
Tuts4You, https://tuts4you.com, 02, May, 2019
VIRUSTOTAL, https://www.virustotal.com, 31, May, 2019
PEiD, "peid", https://www.aldeid.com/wiki/PEiD, 13, Dec, 2019
B. Jung, S.I. Bae, C. Choi and E.G. Im. "Packer identification method based on byte sequences," Concurrency and Computation: Practice and Experience, 32.8, e5082, Oct. 2018

상세보기
N.M. Hai, M. Ogawa and Q.T. Tho. "Packer identification based on metadata signature," In: Proceedings of the 7th Software Security, Protection, and Reverse Engineering/ Software Security and Protection Workshop, pp. 1-11, Dec. 2017
BE-PUM, "BE-PUM", https://github.com/NMHai/BE-PUM, 13, Dec, 2019
S. Naval, V. Laxmi, M.S. Gaur and P. Vinod. "Spade: Signature based packer detection," In Proceedings of the First International Conference on Security of Internet of Things. ACM, pp. 96-101, Aug. 2012
OllyDbg Debugger, "ollydbg", http://www.ollydbg.de, 13, Dec, 2019
T, Ban, R. Isawa, S. Guo, D. Inoue and K. Nakao. "Application of string kernel based support vector machine for malware packer identification," In The 2013 International Joint Conference on Neural Networks (IJCNN). IEEE, pp. 1-8, Aug. 2013
K. Kancherla, J. Donahue and S. Mukkamala. "Packer identification using Byte plot and Markov plot," Journal of Computer Virology and Hacking Techniques, vol. 12, no. 2, pp. 101-111, Sep. 2016

상세보기
UPX, "upx", https://upx.github.io, 19, Dec, 2019
VMProtect, "vmprotect", https://vmpsoft.com, 19, Dec, 2019
scikit-learn, "sklearn", https://scikit-learn.org/stable, 20, Dec, 2019

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증