[논문]악성코드 패킹유형 자동분류 기술 연구

김수정; 하지희; 이태진

doi:10.13089/jkiisc.2018.28.5.1119

악성코드 패킹유형 자동분류 기술 연구
A Study on Automatic Classification Technique of Malware Packing Type 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.28 no.5, 2018년, pp.1119 - 1127

초록
AI-Helper

대부분의 침해공격은 악성코드를 통해 발생하고 있으며, 침해공격으로 인한 피해는 사물인터넷/사이버 물리 시스템과 연결되면서 사이버공간에만 국한되지 않고 실생활에 큰 위협이 되고 있다. 이에 따라, 다양한 악성코드 동적분석, 정적분석기술들이 연구되었는데, 악성코드 동적분석들은 결과적인 악성행위를 쉽게 확인할 수 있어 널리 사용되었으나 VM 환경탐지 시 동작하지 않는 anti-VM 악성코드가 증가하면서 어려움을 겪고 있고, 악성코드 정적분석기술들은 코드자체를 해석할 수 있어 많은 정보를 얻을 수 있으나 난독화, 패킹 기술들이 적용되어 분석가를 어렵게 하고 있다. 본 논문에서는 정적분석기술의 주요 장애물인 난독화 유형을 자동식별, 분류하는 기술을 제안한다. 특히, 제안하는 모델을 통해 알려진 패커나 알려지지 않은 패커와 상관없이 일정한 기준에 의해 모든 악성코드를 분류할 수 있는 것이 가능하다. 악성코드 분류는 다양한 활용이 가능하지만, 예를 들면 악성코드 정적 feature에 기반하여 머신러닝 기반 분석을 할 때, 전체 파일에 대해 학습 및 분석하는 방식보다 악성코드 유형별 학습 및 분석이 더욱 효과적일 것이다. 이를 위해, PE구조에서 활용 가능한 feature에 대해 지도 학습 및 비지도 학습 방식의 모델을 설계했고, 98,000여개 샘플을 통해 결과 검증을 진행하였다.

Abstract ▼ AI-Helper

Most of the cyber attacks are caused by malicious codes. The damage caused by cyber attacks are gradually expanded to IoT and CPS, which is not limited to cyberspace but a serious threat to real life. Accordingly, various malicious code analysis techniques have been appeared. Dynamic analysis have been widely used to easily identify the resulting malicious behavior, but are struggling with an increase in Anti-VM malware that is not working in VM environment detection. On the other hand, static analysis has difficulties in analysis due to various packing techniques. In this paper, we proposed malware classification techniques regardless of known packers or unknown packers through the proposed model. To do this, we designed a model of supervised learning and unsupervised learning for the features that can be used in the PE structure, and conducted the results verification through 98,000 samples. It is expected that accurate analysis will be possible through customized analysis technology for each class.

주제어

표/그림 (9)

표 Table 1. Distribution of Section by Packing Technique
그림 Fig. 1. System configuration
그림 Fig. 2. List of known and unknown section names
그림 Fig. 3. An example of n-gram techniques using unknown section names
표 Table 2. The number of experimental data
그림 Fig. 4. Heatmap graph according to machine learning accuracy
표 Table 3. Distribution of packers by class
표 Table 4. Accuracy of packers by class
표 Table 5. Accuracy of detection techniques by class

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

취약한 유형의 파일에만 강력한 탐지기법을 적용하면 탐지정확도를 높이면서도 탐지시간을 크게 늘이지 않을 수 있다. 또한 파일들이 알려지지 않은 패커로 패킹된 경우에도 특정 유형으로 분류되어 해당 유형의 파일에 적합한 탐지기법을 적용할 수 있도록 하는 취약한 class 식별 연구를 진행한다.
본 논문에서는 유형별 class 분류기법을 활용하여 파일에 사용된 패킹기술 등을 알지 못하더라도 유사한 파일들을 유형별로 분류하여 취약한 class를 파악할 수 있는 기법을 제안하였다. 제안된 방법은 8만여개의 사전학습데이터를 활용하여 클러스터링으로 좌표값을 부여할 수 있는 모델을 생성하고, 2만여 개의 실험데이터의 class 값으로 파일을 분류하였다.
패킹기술이 적용된 악성코드의 탐지를 개선하기 위해서는 패킹기술의 유형별 분류가 필요하다. 본 장에서는 다양한 악성코드를 유형에 따라 파일을 구분할 수 있도록 2차원 좌표값을 이용하여 class 값을 생성하고 이에 따른 유형별 분류에 대해 시각적으로 확인하고 분석하는 모델을 제안한다.
PE파일은 프로그램의 안정성을 고려하여 속성이 서로 다른 코드와 데이터들을 구분하기 위해 각각의 섹션으로 나눠서 저장한다. 섹션의 여러 가지 특징 중 섹션명은 사용된 패킹기술과 데이터의 구성과 밀접한 관련이 있으므로 본 논문에서는 섹션명으로 생성한 feature를 이용하여 정적분석기술의 주요 장애물인 난독화 유형을 자동식별, 분류하는 악성코드 유형별 분류기술을 제안한다.
악성코드 분석 시 패킹기술이 적용된 변종 악성코드들은 섹션명을 이용하여 클러스터링하면 데이터의 유형별로 분류할 수 있다. 패커 종류에 따라 생성되는 섹션명에 일정한 규칙이 존재함을 확인하고 이를 활용하여 파일을 패킹기술을 기준으로 유형별 분류하여 취약한 유형을 파악하고자 한다. Table 1.

제안 방법

class별 정확도를 분석하기 위하여 ssdeep과 TLSH(Trend micro Locality Sensitive Hashing), 기계 학습을 이용하였다. ssdeep과 TLSH는 파일이 유사할수록 해쉬값도 유사하게 계산되는 퍼지 해싱 방식을 이용하여 파일의 해시 시그니처를 생성하고 실험데이터에 대해 생성된 시그니처와 유사한 정도를 판단해주는 도구이다.
섹션들 중 파일의 코드와 데이터에 관련된 섹션 9개를 알려진 섹션, 나머지 섹션은 알려지지 않은 섹션으로 정하고 각각 x축과 y축값을 생성하는 feature로 이용한다. x축, y축의 값을 이용하여 class 값을 생성하고 2차원 형태로 파일을 시각화하여 분류된 파일의 취약한 유형을 파악하고 개선책을 제안한다.
파일의 분류만으로는 탐지분석이 완벽하게 완료되지 않으므로 2단계 분석 설계로 기계 학습을 이용한 탐지기법을 적용한다. 결과적으로 1 단계에서 경량화한 탐지기법으로 악성코드 여부를 판단하며, 충분한 탐지결과가 나타나지 않는 판단이 어려운 유형에 강력한 기계 학습 모델을 이용하여 2단계 분석을 진행한다.
실 환경에서는 알려지지 않은 패킹을 포함한 다양한 기법이 존재할 것으로 예상하나, class는 패커와 별개의 일정한 기준으로 분류되며, 추후 class별 맞춤형 보안 대책을 위해서는 너무 많은 분류가 오히려 부담될 수 있다. 따라서 k값을 10으로 설정하여 x축과 y축을 0부터 9 사이의 값으로 추출하고 class값을 0부터 99까지 총 100개로 분류하였다. class는 수식(1)로 값을 구한다.
분류된 파일에서 특정 패킹기술이 사용된 파일들은 특정한 class에 분류되는 것을 확인하여, 파일의 유형별 분류가 가능함을 검증했다. 또한, 파일이 분포된 정도와 여러 탐지기법의 커버리지와 정확도를 이용하여 취약한 class를 파악하였다.
최근에는 악성코드 탐지를 위해 여러 탐지기법이 연구되고 있다. 본 논문에서는 시그니처 기반 방식이나 기계 학습과 같은 여러 종류의 탐지기법들을 파일의 유형별로 적용할 수 있도록 파일을 유형별로 분류 한다. 취약한 유형의 파일에만 강력한 탐지기법을 적용하면 탐지정확도를 높이면서도 탐지시간을 크게 늘이지 않을 수 있다.
ssdeep과 TLSH는 해쉬값을 비교하여 파일의 유사도를 계산하며, 유사도 값은 ssdeep의 경우 100에 가까울수록 TLSH의 경우 0에 가까울수록 유사한 파일임을 나타낸다. 유사하지 않은 파일의 분석 결과를 적용하는 것은 결과의 신뢰도를 하락시키기 때문에 본 논문의 실험에서는 ssdeep의 유사도는 90이상인 경우, TLSH의 유사도는 10이하인 경우의 결과에 대해서만 탐지한다. 기계 학습의 경우 입력되는 모든 파일의 결과를 도출하므로 커버리지는 100이 된다.
Kaspersky Lab은 유사한 파일을 분류하기 위해 LSH을 기반으로 한 해시 매핑 기법을 이용하여 파일을 분류한다[2]. 유사한 데이터 해시를 같은 bucket에 매핑하는 기법인 LSH를 이용하여 유사한 파일을 근접한 위치로 매핑하는 1단계 파일 분류를 진행한다. 악성코드와 정상파일이 다른 경향을 띄는 경우에 1단계 방식에서 충분히 분류가 되지만 악성코드와 정상파일이 유사한 경우 이러한 방식으로는 구분이 어렵다.
Kaspersky Lab은 악성코드 탐지를 위해 기계 학습(machine learning)을 적용할 때 유사한 파일에 대한 분류작업을 수행한다. 이를 위해 LSH(Locality Sensitive Hashing)와 유사한 방식의 유사성 해싱 접근법을 구현하고 2단계 분석을 설계하여 2단계에서 보다 강력한 기계 학습 적용한다[2].
본 논문에서는 유형별 class 분류기법을 활용하여 파일에 사용된 패킹기술 등을 알지 못하더라도 유사한 파일들을 유형별로 분류하여 취약한 class를 파악할 수 있는 기법을 제안하였다. 제안된 방법은 8만여개의 사전학습데이터를 활용하여 클러스터링으로 좌표값을 부여할 수 있는 모델을 생성하고, 2만여 개의 실험데이터의 class 값으로 파일을 분류하였다. 분류된 파일에서 특정 패킹기술이 사용된 파일들은 특정한 class에 분류되는 것을 확인하여, 파일의 유형별 분류가 가능함을 검증했다.
악성코드와 정상파일이 다른 경향을 띄는 경우에 1단계 방식에서 충분히 분류가 되지만 악성코드와 정상파일이 유사한 경우 이러한 방식으로는 구분이 어렵다. 파일의 분류만으로는 탐지분석이 완벽하게 완료되지 않으므로 2단계 분석 설계로 기계 학습을 이용한 탐지기법을 적용한다. 결과적으로 1 단계에서 경량화한 탐지기법으로 악성코드 여부를 판단하며, 충분한 탐지결과가 나타나지 않는 판단이 어려운 유형에 강력한 기계 학습 모델을 이용하여 2단계 분석을 진행한다.
학습에 사용된 78,630개 실험데이터를 분석한 결과 99종류의 packer가 사용된 것을 확인하여 파일을 100여개의 유형으로 분류할 수 있다고 판단하여 본 논문에서는 class를 100개로 분류한다. 실 환경에서는 알려지지 않은 패킹을 포함한 다양한 기법이 존재할 것으로 예상하나, class는 패커와 별개의 일정한 기준으로 분류되며, 추후 class별 맞춤형 보안 대책을 위해서는 너무 많은 분류가 오히려 부담될 수 있다.

대상 데이터

4.1 실험환경

실험데이터는 KISA에서 제공하는 대용량 정상, 악성파일 샘플 15,000개와 G사의 샘플 83,128개를 이용하여 총 98,128개의 데이터로 진행하였다. 실험에 사용한 데이터의 개수는 악성코드 58,277개, 정상 39,851개이며, 이 중 학습을 위해 사용한 사전학 습데이터는 악성코드 43,715개, 정상 34,915개이고 나머지 악성코드 14,562개와 정상 4,936개는 실험 데이터로 사용했다.
기계 학습에서 악성코드와 정상 파일의 비율이 비슷해야 오탐율이 높아지지 않기 때 문에 사전학습데이터의 정상파일이 실험데이터의 정상파일보다 비중이 클 수 있도록 분류했다. 실험데이터들은 패킹기술인 upx와 pecompact, aspack 등을 적용한 파일들과 패킹 되지 않은 언패킹, 컴파일러가 사용된 msvisualC 및 borland가 주를 이룬다. Table 2.
실험데이터는 KISA에서 제공하는 대용량 정상, 악성파일 샘플 15,000개와 G사의 샘플 83,128개를 이용하여 총 98,128개의 데이터로 진행하였다. 실험에 사용한 데이터의 개수는 악성코드 58,277개, 정상 39,851개이며, 이 중 학습을 위해 사용한 사전학 습데이터는 악성코드 43,715개, 정상 34,915개이고 나머지 악성코드 14,562개와 정상 4,936개는 실험 데이터로 사용했다. 기계 학습에서 악성코드와 정상 파일의 비율이 비슷해야 오탐율이 높아지지 않기 때 문에 사전학습데이터의 정상파일이 실험데이터의 정상파일보다 비중이 클 수 있도록 분류했다.

이론/모형

알려지지 않은 섹션명으로 y축을 구성하기 위해서는 카운트가 가능한 형태로 가공이 필요하며, 가공법으로 n-gram기법을 활용하였다.
파일의 그룹을 분류하고 특정 기준으로 분류된 파일 목록에 label을 붙이는 방식으로 좌표값을 생성 하기 위해 클러스터링 기법의 하나인 k-means알고리즘을 이용한다. k-means는 k개의 클러스터로 데이터를 그룹 지어 분류시키는 알고리즘으로, 각 클러 스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다.

성능/효과

제안된 방법은 8만여개의 사전학습데이터를 활용하여 클러스터링으로 좌표값을 부여할 수 있는 모델을 생성하고, 2만여 개의 실험데이터의 class 값으로 파일을 분류하였다. 분류된 파일에서 특정 패킹기술이 사용된 파일들은 특정한 class에 분류되는 것을 확인하여, 파일의 유형별 분류가 가능함을 검증했다. 또한, 파일이 분포된 정도와 여러 탐지기법의 커버리지와 정확도를 이용하여 취약한 class를 파악하였다.

후속연구

ssdeep, TLSH 과 같은 LSH 기법을 활용하는 방식은 파일의 유사도를 완화하여 적용할 수 있으며, 분석탐지 정책 측면에서 여러 기법을 앙상블하는 경우 적합한 탐지기법별 가중치를 부여할 수 있다. 전체 파일들을 대상 으로 강력한 기술을 적용하기에는 탐지 정확도의 상승에 비례해 탐지시간이 커질 수 있으나 이처럼 특정 취약한 class에만 적용한다면 탐지 성능이 개선될 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	AV-Test사의 통계에 따르면 2017년 기준 모든 운영체제의 전체 악성 프로그램 수는 어떠한가?	AV-Test사의 통계에 따르면 2017년 기준 모든 운영체제의 전체 악성 프로그램 수는 6.4억 개 이상 존재한다. AV-Test사의 분석시스템에서는 하루 평균 35만 개의 새로운 악성코드가 발생한다[1].
	AV-Test사의 분석시스템에서는 하루에 평균 몇 개의 새로운 악성코드가 발생하나?	4억 개 이상 존재한다. AV-Test사의 분석시스템에서는 하루 평균 35만 개의 새로운 악성코드가 발생한다[1].
	악성 코드를 탐지하기 위한 분석에 한계가 존재하는 이유는?	악성코드들의 대부분은 탐지를 회피하기 위해 기존의 악성코드를 조작한 변종 악성코드가 차지한다. 악성코드를 탐지하기 위한 분석이 한계가 존재하는 이유는 신규 악성코드의 등장도 있겠지만 악성코드가 패킹과 난독화로 발생하는 변종 악성코드들이 기존과 다른 유형을 가지기 때문이다. 패커(packer)는 파일의 크기를 축소시키기 위해 압축을 수행하며, 패커에 의해 패킹된 파일은 언패킹을 수행하지 않으면 코드를 수정하거나 확인할 수 없고 파일을 실행하는 경우에만 코드의 패킹이 해제되면서 메모리에 로드된다.

참고문헌 (13)

AV-TEST, The AV-TEST security report 2016/2017, AV-TEST report, Jul. 2017.
Kaspersky Lab, Machine learning for malware detection, Kaspersky Lab, 2017.
Deok-jo Jeon and Dong-gue Park, "Real-time malware detection method using machine learning," The Journal of Korean Institute of Information Technology, 16(3), pp. 101-113, Mar. 2018.

상세보기
M.G. Schultz, E. Eskin, F. Zadok, and S.J. Stolfo, "Data mining methods for detection of new malicious executables," Proceedings of the 2001 IEEE Symposium on Security and Privacy, pp. 38-49, Aug. 2001.
U. Bayer, P.M. Comparetti, C. Hlauschek, C. Kruegel, and E. Kirda, "Scalable, Behavior-based malware clustering," NDSS, vol. 9, pp. 8-11, Feb. 2009.
Chang-wook Park, Hyun-ji Chung, Kwang-seok Seo and Sang-jin Lee, "Research on the classification model of similarity malware using fuzzy hash," Journal of the Korea Institute of Information Security & Cryptology, 22(6), pp. 1325-1336, Jan. 2012.
Hee-jun Kwon, Sun-woo Kim and Eul-gyu Im, "An malware classification system using multi n-gram," Journal of Security Engineering, 9(6), pp. 531-542, Dec. 2012.
J. Saxe, and K. Berlin, "Deep neural network based malware detection using two dimensional binary program features," Proceedings of the 10th International Conference on Malicious and Unwanted Software, pp. 11-20, Oct. 2015.
D. Gibert, "Convolutional neural networks for malware classification," master's thesis, Computer Science Department, Universitat Politecnica de Catalunya, Oct. 2016.
Ho-dong Lee, Reverse engineering 1 (file structure section), Hanbit Media, Oct. 2016.
Ho-dong Lee, Structure and principles of windows system executables, Hanbit Media, May 2005.
Hea-eun Moon, Joon-young Sung, Hyun-sik Lee, Gyeong-ik Jang, Ki-yong Kwak and Sang-tae Woo, "Identification of Attack Group using Malware and Packer Detection," Journal of KIISE, 45(2), pp. 106-112, Feb. 2018.

원문보기 상세보기
Seon-gyun Kim, "Design and Implementation of PE File Unpacking Automatic System for Malware Analysis," master's thesis, Kangwon National University, Feb. 2018

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증