[논문]대용량 악성코드의 특징 추출 가속화를 위한 분산 처리 시스템 설계 및 구현

이현종; 어성율; 황두성

doi:10.3745/ktccs.2019.8.2.35

대용량 악성코드의 특징 추출 가속화를 위한 분산 처리 시스템 설계 및 구현
Distributed Processing System Design and Implementation for Feature Extraction from Large-Scale Malicious Code 원문보기

정보처리학회논문지. KIPS transactions on computer and communication systems 컴퓨터 및 통신 시스템, v.8 no.2, 2019년, pp.35 - 40

이현종 (단국대학교 소프트웨어학과) , 어성율 (단국대학교 소프트웨어학과) , 황두성 (단국대학교 소프트웨어학과)

초록
AI-Helper

기존 악성코드 탐지는 다형성 또는 난독화 기법이 적용된 변종 악성코드 탐지에 취약하다. 기계학습 알고리즘은 악성코드에 내재된 패턴을 학습시켜 유사 행위 탐지가 가능해 기존 탐지 방법을 대체할 수 있다. 시간에 따라 변화하는 악성코드 패턴을 학습시키기 위해 지속적으로 데이터를 수집해야한다. 그러나 대용량 악성코드 파일의 저장 및 처리 과정은 높은 공간과 시간 복잡도가 수반된다. 이 논문에서는 공간 복잡도를 완화하고 처리 시간을 가속화하기 위해 HDFS 기반 분산 처리 시스템을 설계한다. 분산 처리 시스템을 이용해 2-gram 특징과 필터링 기준에 따른 API 특징 2개, APICFG 특징을 추출하고 앙상블 학습 모델의 일반화 성능을 비교했다. 실험 결과로 특징 추출의 시간 복잡도는 컴퓨터 한 대의 처리 시간과 비교했을 때 약 3.75배 속도가 개선되었으며, 공간 복잡도는 약 5배의 효율성을 보였다. 특징 별 분류 성능을 비교했을 때 2-gram 특징이 가장 우수했으나 훈련 데이터 차원이 높아 학습 시간이 오래 소요되었다.

Abstract ▼ AI-Helper

Traditional Malware Detection is susceptible for detecting malware which is modified by polymorphism or obfuscation technology. By learning patterns that are embedded in malware code, machine learning algorithms can detect similar behaviors and replace the current detection methods. Data must collected continuously in order to learn malicious code patterns that change over time. However, the process of storing and processing a large amount of malware files is accompanied by high space and time complexity. In this paper, an HDFS-based distributed processing system is designed to reduce space complexity and accelerate feature extraction time. Using a distributed processing system, we extract two API features based on filtering basis, 2-gram feature and APICFG feature and the generalization performance of ensemble learning models is compared. In experiments, the time complexity of the feature extraction was improved about 3.75 times faster than the processing time of a single computer, and the space complexity was about 5 times more efficient. The 2-gram feature was the best when comparing the classification performance by feature, but the learning time was long due to high dimensionality.

주제어

표/그림 (8)

그림 Fig. 1. Architecture of OpenDPU
그림 Fig. 2. Data processing steps of OpenDPU
그림 Fig. 3. API Call Statement in Assembly Code
그림 Fig. 4. Example of APICFG
그림 Fig. 5. Space Complexity of 2-gram Features
그림 Fig. 6. Scalability of OpenDPU
표 Table 1. Processing Time Per Features
표 Table 2. Performance Comparison

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기계 학습을 이용한 악성코드 탐지 시스템의 설계를 다룬다. 수집된 대용량 악성코드로부터 분산 처리를 이용한 특징 추출과 앙상블 모델 학습 및 평가를 수행하여 악성코드 탐지 성능을 분석한다.

가설 설정

클러스터의 공간 복잡도는 하나의 노드에서 요구되는 저장 용량의 평균치로 계산됐다. 데이터 수가 증가할수록 필요 용량은 선형적으로 증가된다. 5대의 컴퓨터 클러스터에서 데이터를 분산시켜 저장할 경우 약 5배의 저장 효율을 보였다.
6은 노드 수에 따른 처리 시간의 감소율을 보여준다. 슬레이브 노드 수 증가에 따라 감소한다. 컴퓨터 한 대의 처리 시간과 클러스터를 이용한 분산 처리 시간을 비교했을 때 평균 3.
Mansour Ahmadi 외 4명은 malware challenge 데이터[16]를 악성코드 탐지 모델 학습에 사용했다. 학습에 사용된 특징은 바이트 기반 특징과 디스어셈블리 기반 특징으로 나눠진다. 바이트 기반 특징으로는 n-gram, 엔트로피 정보, 바이트 이미지를 포함해 5개의 특징을 사용했다.

제안 방법

다수의 스레드(thread)를 이용해 연산을 수행하면 I/O 작업에 따라 CPU가 휴식(idle) 상태로 빈번히 전환되기 때문에 최대 성능을 내지 못한다. 그러므로 분산 처리를 기반으로 IOPS(Input/Output Operations Per Second) 시간을 단축시키는 방법을 제안한다.
데이터로부터 정적 분석을 이용해 16진수 바이트 정보와 어셈블리코드를 추출한다. 디스어셈블리 툴은 radare2를 사용 한다[25].
본 논문에서는 OpenDPU를 설계해 데이터 훈련 특징 처리를 가속화시켰다. 특징 추출 속도는 평균 3.
본 논문에서는 기계 학습을 이용한 악성코드 탐지 시스템의 설계를 다룬다. 수집된 대용량 악성코드로부터 분산 처리를 이용한 특징 추출과 앙상블 모델 학습 및 평가를 수행하여 악성코드 탐지 성능을 분석한다. 2장에서는 악성코드 분석 방법과 관련 연구를 서술한다.

대상 데이터

Igor Santos 외 4명은 VX Heavens[18]로부터 17,000개의 악성코드 데이터에서 1,000개 데이터를 선택하고 정상 코드는 상용 소프트웨어 1,000개를 수집해 악성코드 데이터와 학습 데이터 집합을 구성했다. OP 코드에 대한 WTF(Weighted Term Frequency)와 2-gram 구조를 특징 벡터로 구성했다.
Steven Strandlund Hansen 외 3명은 VXHeaven[18], VirusShare[19]에서 약 270,000개의 악성코드 데이터를 제공받고 Ninite [20], Lupo PenSuite[21]에서 837개의 정상코드 데이터를 수집해 총 270,837개의 데이터로 학습 데이터 집합을 구성했다. Cuckoo sandbox[15]를 이용한 동적 분석을 통해 API 호출 정보와 호출 빈도, DLL 호출 빈도를 추출했다.
Mansour Ahmadi 외 4명은 malware challenge 데이터[16]를 악성코드 탐지 모델 학습에 사용했다. 학습에 사용된 특징은 바이트 기반 특징과 디스어셈블리 기반 특징으로 나눠진다.
악성코드 분류 모델을 구축하기 위해 멀웨어스닷컴[27]으로 부터 악성코드 20,000개와 정상코드 20,000개를 확보했다. 데이터의 클래스 레이블은 악성코드와 정상코드로 정의해 이진 분류 문제로 학습 데이터 집합을 구성했다.
바이트 기반 특징으로는 n-gram, 엔트로피 정보, 바이트 이미지를 포함해 5개의 특징을 사용했다. 디스어셈블리 기반 특징으로는 OP 코드, 레지스트리, 특정 키워드 빈도 특징을 포함해 8개의 특징을 사용했다. 총 13개의 특징 벡터에 대한 XGBoost 모델[17]의 성능을 5차 교차 검증으로 평가했다.
학습에 사용된 특징은 바이트 기반 특징과 디스어셈블리 기반 특징으로 나눠진다. 바이트 기반 특징으로는 n-gram, 엔트로피 정보, 바이트 이미지를 포함해 5개의 특징을 사용했다. 디스어셈블리 기반 특징으로는 OP 코드, 레지스트리, 특정 키워드 빈도 특징을 포함해 8개의 특징을 사용했다.
분산 처리 실험에 사용된 컴퓨터는 총 5대이며 마스터 노드인 컴퓨터는 CPU Intel Core i3-3220@3.30GHz, RAM 4GB, HDD 476GB이며 슬레이브 노드는 CPU Intel Core i3-3220@2.93GHz, RAM 4GB, HDD 476GB으로 구성되었고 운영체제는 Linux Mint를 사용한다. 분산 처리 작업에서 마스터 노드는 슬레이브 노드 역할을 같이 수행한다.
악성코드 분류 모델을 구축하기 위해 멀웨어스닷컴[27]으로 부터 악성코드 20,000개와 정상코드 20,000개를 확보했다. 데이터의 클래스 레이블은 악성코드와 정상코드로 정의해 이진 분류 문제로 학습 데이터 집합을 구성했다.

데이터처리

Steven Strandlund Hansen 외 3명은 VXHeaven[18], VirusShare[19]에서 약 270,000개의 악성코드 데이터를 제공받고 Ninite [20], Lupo PenSuite[21]에서 837개의 정상코드 데이터를 수집해 총 270,837개의 데이터로 학습 데이터 집합을 구성했다. Cuckoo sandbox[15]를 이용한 동적 분석을 통해 API 호출 정보와 호출 빈도, DLL 호출 빈도를 추출했다. 여러 개의 특징을 같이 사용함에 따라 높은 차원을 축소하기 위해 IGR (Information Gain Ratio)를 사용해 특징을 선택했다.
특징의 일반화 성능을 비교하기 위해 XGBoost[17]와 Random Forest 학습 알고리즘[22]을 사용했다. 실험에 사용된 두 알고리즘의 파라미터는 트리 수 50, 최대 트리 깊이 15으로 설정했으며 평가로 5-식 교차 검정(5-way cross validation)을 사용했다.
디스어셈블리 기반 특징으로는 OP 코드, 레지스트리, 특정 키워드 빈도 특징을 포함해 8개의 특징을 사용했다. 총 13개의 특징 벡터에 대한 XGBoost 모델[17]의 성능을 5차 교차 검증으로 평가했다. 엔트로피 특징이 0.
75배 단축시켰다. 추출된 특징에 대해 특징 벡터를 구성하고 XGBoost와 Random Forest 모델을 학습해 분류 정확도와 학습 시간을 비교했다. 2-gram 특징은 API 특징보다 분류 성능이 우수했지만 최대 65,536 차원으로 구성되기 때문에 시간 복잡도가 더 높게 나타났다.

이론/모형

분산 저장된 대량의 악성코드 데이터에 대한 특징 추출 시간을 단축시키기 위해 HDFS 기반 분산 처리 시스템 Open DPU(Open Distributed Processing Unit)를 설계한다.
Hodge 외 2명은 고차원 학습 데이터를 위한 특징 선택 알고리즘을 분산 설계했다. 분산 처리는 Hadoop Yarn 기반 프레임워크 AURA(Advanced Uncertain Reasoning Architecture)를 이용했다. 상호 정보(mutual information)기반, 상관관계 기반(correlation-based), 득실 비율(gain ratio) 기반 특징 선택과 Chi-square 알고리즘을 병렬화했다[23].
분산 처리는 Hadoop Yarn 기반 프레임워크 AURA(Advanced Uncertain Reasoning Architecture)를 이용했다. 상호 정보(mutual information)기반, 상관관계 기반(correlation-based), 득실 비율(gain ratio) 기반 특징 선택과 Chi-square 알고리즘을 병렬화했다[23].
특징의 일반화 성능을 비교하기 위해 XGBoost[17]와 Random Forest 학습 알고리즘[22]을 사용했다. 실험에 사용된 두 알고리즘의 파라미터는 트리 수 50, 최대 트리 깊이 15으로 설정했으며 평가로 5-식 교차 검정(5-way cross validation)을 사용했다.

성능/효과

추출된 특징에 대해 특징 벡터를 구성하고 XGBoost와 Random Forest 모델을 학습해 분류 정확도와 학습 시간을 비교했다. 2-gram 특징은 API 특징보다 분류 성능이 우수했지만 최대 65,536 차원으로 구성되기 때문에 시간 복잡도가 더 높게 나타났다. 고차원 특징을 저차원으로 축소할 수 있는 방법이 필요하다.
API 특징은 필터링 기준에 따라서 2개로 나눠 실험을 진행했다. 분류 실험 결과로 2-gram, API(DLL), API (API), APICFG 순으로 성능이 좋았으며 2-gram으로 학습한 모델의 성능이 0.94 이상으로 가장 높았지만 차원이 커 학습 시간이 가장 오래 소요됐다.
분산 처리 실험에서 노드를 늘릴수록 처리 시간이 단축되었으나 시간 단축 비율도 감소했다. Fig.
슬레이브 노드 수 증가에 따라 감소한다. 컴퓨터 한 대의 처리 시간과 클러스터를 이용한 분산 처리 시간을 비교했을 때 평균 3.75배 가속화되었다. 2-gram의 경우 3.

질의응답

핵심어	질문	논문에서 추출한 답변
	악성코드는 무엇인가?	악성코드(malware, malicious software)는 컴퓨터, 서버 또는 네트워크에 손상을 주기 위해 고안된 소프트웨어로 대상 컴퓨터에 침입한 후에 사용자의 이익에 반하는 행위를 수행한다. 안티 바이러스 소프트웨어가 악성코드 공격에 대비하고 있지만 다형성(polymorphism), 변형(metamorphism), 난독화(obfuscation) 등의 변형 기술에 따라서 변종 악성코드가 존재해 실질적 대비가 어려운 실정이다[1].
	악성코드의 변형 기술은?	악성코드(malware, malicious software)는 컴퓨터, 서버 또는 네트워크에 손상을 주기 위해 고안된 소프트웨어로 대상 컴퓨터에 침입한 후에 사용자의 이익에 반하는 행위를 수행한다. 안티 바이러스 소프트웨어가 악성코드 공격에 대비하고 있지만 다형성(polymorphism), 변형(metamorphism), 난독화(obfuscation) 등의 변형 기술에 따라서 변종 악성코드가 존재해 실질적 대비가 어려운 실정이다[1].
	서명 기반 탐지 방법으로 악성코드를 탐지할 시에 문제점은 무엇인가?	서명 기반 탐지 방법은 악성코드의 행위 규칙, 해쉬 값을 추출하고 비교분석을 통해 탐지하는 방법이다. 빠른 분석 및 탐지가 가능해 널리 사용되고 있으나, 새로운 악성코드 또는 변종 악성코드는 탐지가 어렵다. 행위 기반 탐지 방법은 악성코드에서 사용하는 함수, 라이브러리 또는 어셈블리코드 등으로부터 행위 특징을 추출하여 분석하는 방법이다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증