[논문]악성코드 침입탐지시스템 탐지규칙 자동생성 및 검증시스템

김성호; 이수철

doi:10.7472/jksii.2019.20.2.9

악성코드 침입탐지시스템 탐지규칙 자동생성 및 검증시스템
Automatic Malware Detection Rule Generation and Verification System 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.20 no.2, 2019년, pp.9 - 19

김성호 (Security Technology Research Division, National Security Research Institute) , 이수철 (Dept. of Computer Science and Information Engineering, Korea National University of Transportation)

초록
AI-Helper

인터넷을 통한 서비스 및 사용자가 급격하게 증가하고 있다. 이에 따라 사이버 공격도 증가하고 있으며, 정보 유출, 금전적 피해 등이 발생하고 있다. 정부, 공공기관, 회사 등은 이렇게 급격한 사이버 공격 중 알려진 악성코드에 대응하기 위하여 시그니처 기반의 탐지규칙을 이용한 보안 시스템을 사용하고 있지만, 시그니처 기반의 탐지규칙을 생성하고 검증하는 데 오랜 시간이 걸린다. 이런 문제를 해결하기 위하여 본 논문에서는 잠재 디리클레 할당 알고리즘을 통한 시그니처 추출과 트래픽 분석 기술 등을 이용하여 시그니처 기반의 탐지규칙 생성 및 검증 시스템을 제안하고 개발하였다. 개발한 시스템을 실험한 결과, 기존보다 훨씬 신속하고, 정확하게 탐지규칙을 생성하고 검증하였다.

Abstract ▼ AI-Helper

Service and users over the Internet are increasing rapidly. Cyber attacks are also increasing. As a result, information leakage and financial damage are occurring. Government, public agencies, and companies are using security systems that use signature-based detection rules to respond to known malicious codes. However, it takes a long time to generate and validate signature-based detection rules. In this paper, we propose and develop signature based detection rule generation and verification systems using the signature extraction scheme developed based on the LDA(latent Dirichlet allocation) algorithm and the traffic analysis technique. Experimental results show that detection rules are generated and verified much more quickly than before.

주제어

표/그림 (7)

표 (표 1) 스노트 탐지규칙 구성 및 예 (Table 1) Snort rule syntax and examples
표 (표 2) 일반 문서와 네트워크 트래픽 (Table 2) Natural language documents and network traffic
그림 (그림 1) 탐지규칙 생성 시스템 GUI (Figure 1) Rule Generation System GUI
그림 (그림 2) 탐지규칙 검증 시스템 GUI (Figure 2) Rule Verification System GUI
표 (표 3) 실험에 사용한 공격 트래픽 (Table 3) Attack traffic used in experiment
그림 (그림 3) 시그니처 추출 결과 (Figure 3) Signature extraction result
표 (표 4) 자동 생성된 탐지규칙 샘플 (Table 4) Sample of automatically generated detection rule

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

토픽모델링 알고리즘은 벡터 공간 모델(VSM: Vector Space Model)[15], 잠재 의미 분석(LSA: Latent Semantic Analysis)[16], 확률 잠재 의미 분석(pLSA: Probabilistic Latent Semantic Analysis)[17], 잠재 디리클레 할당(LDA : Latent Dirichlet Allocation)[18]이 있다. 본 논문에서는 [21]에서 잠재 디리클레 할당 알고리즘을 기반으로 개발된 LARGen 기법을 활용하여 탐지규칙 생성에 필요한 시그니처 추출을 수행하고 이를 이용해 스노트 탐지규칙을 자동생성하고 생성한 스노트 탐지규칙을 검증하는 시스템을 제안한다.
스노트 탐지규칙을 생성하는 데 가장 중요한 것은 정상 패킷 페이로드에는 포함되어 있지 않고 악성 패킷 페이로드에만 포함된 악성 시그니처를 추출하는 것과 악성 시그니처를 포함하고 있는 패킷의 IP, Port, 프로토콜 등 패킷 세부정보 분석이다. 본 논문에서는 [21]에서 제안한 악성 시그니처 정보 추출기법을 활용하여 payload detection 탐지규칙 옵션을 자동으로 생성할 수 있는 시스템을 제안한다. 나아가 제안시스템은 분석한 패킷 상세정보를 이용하여 탐지규칙 헤더와 non-payload detection 탐지규칙 옵션을 자동으로 생성한다.
본 논문에서는 급격히 증가하고 있는 악성코드에 효율적으로 대응하기 위하여 보안 전문가뿐만 아니라 준전문가들도 신속하고 정확하게 탐지규칙을 생성하고 검증할 수 있는 시스템을 제안한다. 제안 기법은 기존에 수행하였던 시그니처를 추출한 연구[21]와 트래픽 분석 결과를 이용하여 스노트 탐지규칙을 자동으로 생성하고, 가상 환경의 IDS 서버를 구축하여 생성한 탐지규칙을 검증하는 것이다.
본 논문에서는 급증하는 악성코드에 대응하는 데 필요한 시그니처 기반의 탐지규칙 생성을 전문가뿐만 아니라 준전문가도 신속하고, 정확하게 탐지규칙을 생성하고 검증할 수 있는 시스템을 제안하고, 실제 개발을 통하여 실험까지 진행하였다.
본 논문에서는 스노트 탐지규칙 자동생성 시스템(RGS: Rule Generation System)과 검증 시스템(RVS: Rule Verification System)을 제안한다. 악성 트래픽에서 잠재 디리클레 할당 알고리즘을 이용하여 악성 시그니처를 추출하고[21], 추출한 악성 시그니처 및 트래픽 분석 정보를 이용하여 스노트 탐지규칙을 준 전문가도 신속하게 생성하고 검증할 수 있는 시스템이다.
시그니처 기반 탐지규칙 중 세계적으로 가장 많이 사용되고 있으며, TTA 표준[4]으로 채택되어 국내 네트워크 보안 장비에서 대부분 지원하는 스노트 탐지규칙을 분석하였다. 본 논문에서는 채택된 TTA 표준을 기반으로 스노트 탐지규칙을 자동으로 생성하고 검증하는 시스템을 설계하는데 필요한 요구사항을 정의하였다.
잠재 디리클레 할당 알고리즘의 목적은 수집된 문서들에서 자동으로 숨어있는 주제를 추론하는 것이다. 이것은 관측 불가능한 사후 확률 분포(ø_k, θ_i, )를 계산하는 것을 의미하며 수식으로 표현하면 다음과 같다.

가설 설정

(가정 1) 모든 문서(θi)는 한 개 이상의 주제를 내포하고 있으며, 어떤 문서가 특정 주제를 내포할 확률은 디리클레 분포를 따른다.
(가정 2) 모든 주제(øk)는 한 개 이상의 관련된 단어를 포함하고 있으며, 특정 주제가 특정단어를 내포할 확률은 디리클레 분포를 따른다.

제안 방법

4장에서 설계한 잠재 디리클레 할당 알고리즘을 이용한 스노트 탐지규칙 생성/검증 시스템을 개발하고, 실험을 진행하였다.
5) 가이드 검사 모듈은 불필요한 연산이나 과부하가 발생 가능한 연산의 수행 가능성이 있는지 분석한다. 예를 들면, 불필요한 연산 가능성은 스노트 탐지규칙 옵션에서 payload detection 탐지규칙 옵션과 non-payload detection 탐지규칙 옵션의 적용 순서를 분석한다.
6) 유사도 검사 모듈은 생성한 탐지규칙을 기존에 등록된 탐지규칙들과 유사도 분석을 수행한다.
1) 트래픽 분석 모듈은 .pcap 파일을 플로우별로 조립하고, 플로우별 패킷의 개수, 연결시간, 데이터 처리를 위한 데이터전송 대역폭, 포함된 세그먼트 수, 긴급데이터 수, 평균 지연시간, 비정상 패킷 포함 여부를 분석한다. 그리고 패킷별로 L2/L3/L4 및 페이로드 정보를 분석한다.
그리고 탐지규칙을 분석한 결과 많은 옵션의 사용은 탐지하는 트래픽에 따라 탐지 성능을 높일 수도 있지만, 반대로 오탐률을 증가시킬 수도 있다. 그래서 자동으로 생성되는 옵션은 최소화하고, 사용자가 임의로 추가할 수 있도록 구현하였다.
pcap 파일을 플로우별로 조립하고, 플로우별 패킷의 개수, 연결시간, 데이터 처리를 위한 데이터전송 대역폭, 포함된 세그먼트 수, 긴급데이터 수, 평균 지연시간, 비정상 패킷 포함 여부를 분석한다. 그리고 패킷별로 L2/L3/L4 및 페이로드 정보를 분석한다.
본 논문에서는 [21]에서 제안한 악성 시그니처 정보 추출기법을 활용하여 payload detection 탐지규칙 옵션을 자동으로 생성할 수 있는 시스템을 제안한다. 나아가 제안시스템은 분석한 패킷 상세정보를 이용하여 탐지규칙 헤더와 non-payload detection 탐지규칙 옵션을 자동으로 생성한다.
논문에서는 이 중에서 실행 파일명이 포함된 “LOAD[br]http://www.missboston.org/wp-includes/images/wlw/win.exe[br]1137” 시그니처를 선택하여 탐지규칙을 생성하였다.
첫째, [21] 알고리즘을 활용하여 실제로 정보보안 체계에서 사용 가능한 시스템을 제안하고, 구현하였다. 둘째, 기존 탐지규칙 생성과 검증 방식과 비교하여 탐지규칙 생성 작업 시간을 획기적으로 줄일 수 있는 자동화 시스템을 제안하고, 구현하였다. 비 보안 전문가는 제안하는 시스템을 통해 적절한 탐지규칙을 자동으로 생성하고, 생성한 탐지규칙의 성능을 검증할 수 있다.
01 값을 도출하였다. 본 논문에서는 이 최적의 매개변수를 이용하여 실험을 진행하였다.
소프트웨어는 가상화 솔루션 VMware ESXi 4.0을 이용하여 탐지규칙 생성/검증 시스템, 패킷 발송 서버, 스노트 서버, 윈스 IDS, 안랩 IDS, 시큐아이 IDS, 인프니스 네트웍스 IDS를 구성하고 가상 네트워크를 사용하는 환경으로 구축하였다.
시그니처 기반 탐지규칙 중 세계적으로 가장 많이 사용되고 있으며, TTA 표준[4]으로 채택되어 국내 네트워크 보안 장비에서 대부분 지원하는 스노트 탐지규칙을 분석하였다. 본 논문에서는 채택된 TTA 표준을 기반으로 스노트 탐지규칙을 자동으로 생성하고 검증하는 시스템을 설계하는데 필요한 요구사항을 정의하였다.
자동으로 생성된 탐지규칙을 탐지규칙 검증 시스템에서 스노트 서버, 가상 안랩 IDS 서버, 가상 윈스 IDS 서버, 가상 시큐아이 IDS 서버, 가상 인프니스 네트웍스 IDS 서버와 [24] 정상 트래픽 중 3GB를 이용하여서 탐지규칙을 검증하였다. 검증 결과 모든 가상 IDS 서버에서 정탐 100%, 오탐 0%, 미탐 0%가 나오는 것을 확인하였다.
잠재 디리클레 할당 알고리즘을 통하여 탐지규칙을 생성하려고 하는 악성 트래픽만 가지고 있으면 악성 트래픽에서 추출된 시그니처 중에서 오탐률이 낮은 상위 10%의 시그니처 중에서 문자열이 가장 긴 시그니처 또는 한 개의 패킷에서 두 개의 시그니처가 추출된 시그니처를 이용하였다. 탐지규칙 헤더는 선택된 시그니처의 패킷 분석을 통하여 자동으로 생성이 되게 하였다.
본 논문에서는 급격히 증가하고 있는 악성코드에 효율적으로 대응하기 위하여 보안 전문가뿐만 아니라 준전문가들도 신속하고 정확하게 탐지규칙을 생성하고 검증할 수 있는 시스템을 제안한다. 제안 기법은 기존에 수행하였던 시그니처를 추출한 연구[21]와 트래픽 분석 결과를 이용하여 스노트 탐지규칙을 자동으로 생성하고, 가상 환경의 IDS 서버를 구축하여 생성한 탐지규칙을 검증하는 것이다.
본 논문의 공헌은 다음과 같다. 첫째, [21] 알고리즘을 활용하여 실제로 정보보안 체계에서 사용 가능한 시스템을 제안하고, 구현하였다. 둘째, 기존 탐지규칙 생성과 검증 방식과 비교하여 탐지규칙 생성 작업 시간을 획기적으로 줄일 수 있는 자동화 시스템을 제안하고, 구현하였다.
토픽의 개수(K)는 모든 공격들과 응용 프로그램별로 분류가 될 수 있도록 10, 30, 50, 100으로 K의 값을 변경하면서 실험을 진행하였다.
345초이다. 패킷에 포함된 모든 플로우를 선택한 후 [22]의 정상 트래픽과 잠재 디리클레 할당 알고리즘을 이용하여 최소 단어의 길이를 16으로 설정하고 악성 시그니처를 추출하였다.

대상 데이터

그리고 생성된 탐지규칙을 검증하기 위한 정상 데이터로 인터넷 데이터 분석을 위한 협동조합 연합 CAIDA[24]에서 공개하고 있는 2012년부터 2017년까지의 정상 트래픽 2TB를 이용하였다.
기계학습인 잠재 디리클레 할당 알고리즘을 이용하기 위하여 실험 데이터를 수집하였다. 정상 트래픽은 미국 국립 CyberWatch 중부 대서양 대학 사이버 방어 대회(MACCDC : National CyberWatch Mid-Atlantic Collegiate Cyber Defense Competition)[22]에서 공개하고 있는 익명화된 트래픽 30GB를 이용하였다.
실험에는 RX2540 M1 서버를 사용하였고, 서버의 세부 사양은 다음과 같다.
개발한 시스템을 이용하여 탐지규칙을 생성하고 검증을 하였다. 예제로 사용된 악성코드는 2009년에 발견된 이후 현재까지도 활동 중이며 수많은 변형된 악성코드가 발견되고 있는 스파이아이(SpyEye)이다[25]. 스파이아이는 윈도우, iOS의 환경에서 다양한 웹 브라우저(사파리, 크롬, 파이어폭스, 익스플로우)에서 동작하는 악성코드로 키 로깅, 트로이 목마 등 다양한 공격 기능이 있다.
기계학습인 잠재 디리클레 할당 알고리즘을 이용하기 위하여 실험 데이터를 수집하였다. 정상 트래픽은 미국 국립 CyberWatch 중부 대서양 대학 사이버 방어 대회(MACCDC : National CyberWatch Mid-Atlantic Collegiate Cyber Defense Competition)[22]에서 공개하고 있는 익명화된 트래픽 30GB를 이용하였다. 이 트래픽은 네트워크 관리와 방어 훈련을 위해 공개된 데이터이다.

데이터처리

개발한 시스템을 이용하여 탐지규칙을 생성하고 검증을 하였다. 예제로 사용된 악성코드는 2009년에 발견된 이후 현재까지도 활동 중이며 수많은 변형된 악성코드가 발견되고 있는 스파이아이(SpyEye)이다[25].

이론/모형

악성코드 또는 악성 트래픽에서 자동으로 악성 시그니처를 추출하는 연구가 많이 진행됐다. [5]는 메타스플로잇(Metasploit)를 이용하여 생성된 웜에서 발생하는 트래픽에서 악성 시그니처를 추출하기 위하여 두 개의 허니팟을 구축한 후, 송수신하는 트래픽에서 LCS(Longest Common Substring) 알고리즘을 이용하였다. [6][7]은 악성코드에서 사용되는 함수를 분석하여 시그니처를 추출하였는데 [6]은 함수의 엔트로피 분석을 통한 시그니처 추출, [7]은 유클리드 거리를 이용한 확률기법 및 엔트로피를 이용하여 시그니처를 추출하였다.
이 트래픽은 네트워크 관리와 방어 훈련을 위해 공개된 데이터이다. 악성 트래픽은 화이트 해커인 Mila Parkour가 공개한 82개의 악성 트래픽[23]을 이용하였다. 악성 트래픽의 구성은 표 3과 같이 서비스 거부 공격, 트로이 목마, SQL 삽입 공격, 익스플로잇 공격 등이다.
토픽 모델링 알고리즘은 소셜 네트워크의 키워드를 추출하여 변화하는 이슈를 추적[12], 논문지에 게재된 논문을 분석하여 시기별 주목받는 주제를 파악[13], 신문기사의 주제를 추출하여 시기별 이슈 변화의 분석[14] 등에 활용되었다. 이처럼 토픽 모델링 기법은 특정 분야에 대한 동향 분석에 사용되어 그 성능이 입증된 알고리즘이다.

성능/효과

3) 가상 IDS 서버 관리 모듈은 탐지규칙 검증시 사용할 가상 IDS 서버를 추가/삭제/변경하는 기능을 하고 있다. 스노트 서버를 기본적으로 탑재하고 있으며 윈스 IDS, 안랩 IDS, 시큐아이 IDS, 인프니스 네트웍스 IDS와 연동을 할 수 있도록 개발되어 있다.
4) 문법 오류검사 모듈은 작성한 스노트 탐지규칙의 문법적 오류 여부를 검사하며, 문법적으로 오류가 존재할 경우 하이라이팅 하여 사용자에게 알려준다.
4) 탐지 결과 분석 모듈은 생성한 검증용 트래픽을 가상 네트워크 환경을 통하여 가상 IDS 서버로 전송이 완료되면, 가상 IDS 서버들의 탐지 결과를 분석하여 탐지규칙별 정탐율, 오탐율, 미탐율을 계산하여 그래프로 보여준다.
개발한 탐지규칙 생성/검증 시스템을 이용하면 전문가들은 기존보다 훨씬 빠른 속도로 탐지규칙을 생성하고 검증할 수 있을 것이며, 아직 숙련되지 않은 준전문가들도 기존보다 더 쉽게 탐지규칙을 생성하고 검증할 수 있을 것으로 예상한다.
자동으로 생성된 탐지규칙을 탐지규칙 검증 시스템에서 스노트 서버, 가상 안랩 IDS 서버, 가상 윈스 IDS 서버, 가상 시큐아이 IDS 서버, 가상 인프니스 네트웍스 IDS 서버와 [24] 정상 트래픽 중 3GB를 이용하여서 탐지규칙을 검증하였다. 검증 결과 모든 가상 IDS 서버에서 정탐 100%, 오탐 0%, 미탐 0%가 나오는 것을 확인하였다.
네 번째 검증 결과 창은 각 가상 IDS 서버로 검증 트래픽 전송이 완료되면 탐지 결과를 분석하여 각 IDS 시스템별 정탐, 오탐, 미탐 결과를 보여준다.
다섯 번째 검증 완료 탐지규칙 목록 창은 기존에 검증을 수행했던 탐지규칙들의 목록 관리 창으로 탐지규칙을 선택하면 기존의 검증 결과를 확인할 수 있다.
둘째, 기존 탐지규칙 생성과 검증 방식과 비교하여 탐지규칙 생성 작업 시간을 획기적으로 줄일 수 있는 자동화 시스템을 제안하고, 구현하였다. 비 보안 전문가는 제안하는 시스템을 통해 적절한 탐지규칙을 자동으로 생성하고, 생성한 탐지규칙의 성능을 검증할 수 있다.
시스템 실험 결과 정상적으로 탐지규칙을 생성하고 검증할 수 있었으며, 이 시스템을 이용할 경우 시스템 사용자와 탐지규칙에 따라 차이는 존재하지만, 1시간 이내에 탐지규칙 생성 및 검증을 할 수 있었다.
그리고 악성 트래픽이 포함된 주제 그룹에 포함된 단어(이진 코드)를 분석하면 해당 악성 트래픽 시그니처의 추출이 가능하다. 제안 시스템은 시그니처 기반으로 동작하는 침입탐지시스템에 기반을 두고 있어, 악성코드의 다형성, 난독화 등에 원천적으로 취약하다. 최근 10여 년간 시그니처 기반 탐지연구에서의 이 문제에 대한 연구동향을 [21]에서 정리하고 있다.
제안하고 개발한 시스템은 탐지규칙을 생성하고자 하는 악성 트래픽에 페이로드만 존재한다면 악성코드의 종류와는 상관이 없이 탐지규칙 생성이 가능하다.
pcap“ 파일을 이용하였다. 탐지규칙 생성 시스템에서 트래픽을 분석한 결과 총 397개의 패킷으로 구성이 되어있으며 40개 이상의 플로우로 구성이 되어있지만, 통신한 IP는 총 7개(192.168.242.131, 192.168.242.2, 64.38.48.114, 60.12.117.147, 66.147.242.97, 207.46.18.94, 65.55.275.26)이며, 총 접속 시간은 86.345초이다. 패킷에 포함된 모든 플로우를 선택한 후 [22]의 정상 트래픽과 잠재 디리클레 할당 알고리즘을 이용하여 최소 단어의 길이를 16으로 설정하고 악성 시그니처를 추출하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	탐지규칙의 정의란?	시그니처 기반의 탐지기법은 탐지규칙이라 불리는 악성코드에 대한 추상화된 정의를 필연적으로 내포한다. 탐지규칙을 효과적으로 정의하기 위해서는 네트워크, 보안, 운영체제 등에 대한 전문적인 지식이 필요하다.
	탐지규칙 생성 검증 절차의 과정은 무엇인가?	현재 전문가에 의한 탐지규칙 생성 검증 절차는 일반적으로 시그니처 분석, 탐지규칙 생성, 탐지/차단 테스트, 보안장비 엔진파트 검토, 실망 테스트의 과정으로 대략 2~3일 걸리는 것으로 알려져 있다[21].
	신속하고 정확하게 탐지규칙을 생성하고 검증할 수 있는 시스템의 기법은?	본 논문에서는 급격히 증가하고 있는 악성코드에 효율적으로 대응하기 위하여 보안 전문가뿐만 아니라 준전문가들도 신속하고 정확하게 탐지규칙을 생성하고 검증할 수 있는 시스템을 제안한다. 제안 기법은 기존에 수행하였던 시그니처를 추출한 연구[21]와 트래픽 분석 결과를 이용하여 스노트 탐지규칙을 자동으로 생성하고, 가상 환경의 IDS 서버를 구축하여 생성한 탐지규칙을 검증하는 것이다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증