[논문]N-gram을 활용한 DGA-DNS 유사도 분석 및 APT 공격 탐지

김동현; 김강석

doi:10.13089/jkiisc.2018.28.5.1141

[국내논문] N-gram을 활용한 DGA-DNS 유사도 분석 및 APT 공격 탐지
DGA-DNS Similarity Analysis and APT Attack Detection Using N-gram 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.28 no.5, 2018년, pp.1141 - 1151

초록
AI-Helper

APT(Advanced Persistent Threat) 공격에서 감염 호스트와 C&C(Command and Control) 서버 간 통신은 공격 대상의 내부로 침입하기 위한 핵심단계이다. 공격자는 C&C 서버를 통해 다수의 감염 호스트를 제어하고, 침입 및 공격 행위를 지시하는데, 이 단계에서 C&C 서버가 노출되면 공격은 실패할 수 있다. 따라서 최근의 경우 DGA(Domain Generation Algorithm)를 통해 C&C 서버의 DNS를 짧은 시간 간격으로 교체하여 탐지를 어렵게 하고 있다. 특히 하루에도 500만개 이상 새로 등록되는 DNS 전부를 검증하고 탐지하는 것은 매우 어렵다. 이러한 문제점을 해결하기 위해 본 논문에서는 정상 DNS와 DGA를 통해 생성된 DNS(DGA-DNS)의 형태적 유사도(similarity) 분석을 이용한 DGA-DNS 탐지와 이를 통해 APT 공격 징후로 판단하는 모델을 제시하고 유효성을 검증한다.

Abstract ▼ AI-Helper

In an APT attack, the communication stage between infected hosts and C&C(Command and Control) server is the key stage for intrusion into the attack target. Attackers can control multiple infected hosts by the C&C Server and direct intrusion and exploitation. If the C&C Server is exposed at this stage, the attack will fail. Therefore, in recent years, the Domain Generation Algorithm (DGA) has replaced DNS in C&C Server with a short time interval for making detection difficult. In particular, it is very difficult to verify and detect all the newly registered DNS more than 5 million times a day. To solve these problems, this paper proposes a model to judge DGA-DNS detection by the morphological similarity analysis of normal DNS and DGA-DNS, and to determine the sign of APT attack through it, then we verify its validity.

주제어

표/그림 (14)

표 Table 1. Example of n-gram creation (n=5)
표 Table 2. Comparison of normal DNS and DGA-DNS
표 Table 3. Example of n-gram dictionary (n=4)
표 Table 4. DNS similarity analysis code
표 Table 5. Experimental environment
표 Table 6. DNS patterns generated from DGA
표 Table 7. N-gram generation symbol strings
표 Table 8. Experimental group (DGA-DNS) concordance rate according to N
그림 Fig. 1. Concordance rate cumulative distribution curve according to N
그림 Fig. 2. Concordance rate cumulative distribution curve in case of n=4 and 10,000 data
표 Table 9. Comparison of normal DNS and DGA-DNS according to N
표 Table 10. Experimental group (Locky DGA-DNS) concordance rate (n=4)
표 Table 11. Results of applying 14 DGA algorithms
그림 Fig. 3. Results of applying 14 DGA algorithms: concordance rate and number of symbol strings

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

2단계 실험을 통해 정상 DNS와 DGA가 생성한 DNS를 모두 포함하는 데이터 내에서 DGA-DNS를 얼마나 잘 판별할 수 있는지 확인하였다. 특히, 일치율(%)에 따른 DGA-DNS 판별을 위한 임계점을 결정하기 위해 표본 데이터 Locky(DGA-DNS)를 1000개에서 10,000개로 증가 시켰고, 평균적으로 15.
따라서 본 논문은 [3단계] C&C 서버 통신단계에서 반드시 발생하는 C&C 서버 은폐시도 탐지를 통해 APT 공격 징후를 탐지하는 것을 목표로 한다.
이를 해결하기 위해 본 논문에서는 두 집합 중 최소 원소수(Min)가 아닌, 최대 원소수(Max)를 분모로 사용하여 정상 DNS를 공격에 활용한 경우에도 탐지할 수 있도록 개선하였다. 아래는 개선한 유사도 식을 나타낸다.

제안 방법

2 단계: Locky의 DGA로 부터 생성된 DGA-DNS를 n-gram 알고리즘에 적용하고, 1 단계 에서 구축된 Dictionary에 적용하여 유사도를 분석한다.
3 단계: Locky 외 다른 악성코드 14개의 DGA에 적용하여 탐지모델의 유효성을 확인한다.
그러므로 특이점을 찾기 힘든 APT 공격을 탐지하기 위해서는 공격을 구성하는 각 단계의 특징을 고려한 맞춤형 탐지 방법을 설계하는 것이 필요하다. APT 공격 단계 구분을 명확히 정한 바는 없지만 본 논문에서는 트렌드마이크로[2]에서 제시한 6단계로 나눠 다룬다. 공격 탐지를 위한 주요 단계로 2, 3, 4단계를 주목할 필요성이 있다.
APT 공격에 사용된 악성코드들을 대상으로 Reverse Engineering에 의해 밝혀진 DGA를 통해 DGA-DNS 리스트를 생성하고 이를 정상 DNS 리스트와 유사도를 분석한다.
실험 환경은 Table 5와 같다. C++를 이용해 n-gram 알고리즘을 구현하였고 Python으로 구현된 Malware의 DGA를 통해 DGA-DNS를 추출하였다. Table 6은 실험에 사용된 DGA-DNS의 패턴과 특징을 나타낸다.
다양한 은폐시도 방법 중 DNS를 통한 은폐시도를 중심으로 연구를 진행하였다.
본 논문에서 제안한 모델은 DNS의 형태적 관점에서 기존 정상 DNS와의 유사도 분석을 통해 공격자가 생성한 DNS 여부를 판별하는 것이 핵심이다.
두 번째는 주기적인 화이트 리스트 추가가 필요 하다. 본 논문의 모델은 ALEXA의 100만개 DNS를 사용하였지만, 새로운 DNS가 출현했을 시 해당 DNS가 정상적인 DNS인지 공신력 있는 데이터베이스를 통해 화이트 리스트에 반영함으로써 지속적으로 DGA-DNS를 판별할 Dictionary를 업데이트 시켜야 한다. 이를 통해 제시된 모델의 탐지 유효율을 지속적으로 확보할 수 있을 것으로 기대한다.
실험은 3단계로 구성되어지며, 1단계에서 실험을 위한 모델을 구축하고, 2단계에서 정상 DNS와 DGA-DNS 사이에 유사도를 정상 판별하는지 검증을 실시하였으며 3단계에서 14개 Malware로 부터 얻은 DGA-DNS를 탐지 모델에 적용하여 탐지 능력을 확인하였다.
이 결과를 분석하여 공격에 사용가능한 DNS인지 판별하는 모델을 설계하였다.
최초에는 C&C 서버의 IP를 하드코딩 하는 방식으로 숨기는 방식을 적용하였지만 고정된 IP를 사용하는 점에서 쉽게 차단되었다. 이러한 약점을 보완하기 위해 IP / DNS Fast Flux 방식을 적용하여 매 10초마다 DNS와 IP의 맵핑을 변경하였다. 하지만 [6,7]과 같이 Fast Flux 탐지 관련 연구들이 많이 진행되면서 이상(anomaly) DNS에 대한 블랙리스트 관리 등 접근통제 정책을 마련할 수 있게 되었다.
하지만 형태적 관점에서는 정상 운용중인 DNS와의 유사도 분석을 실시 할 경우 예시의 DNS와 유사한 기존 데이터가 없으므로 낮은 유사율로 인해 비정상 DNS로 판별할 것이다. 이와 같은 한계점으로 인해본 논문에서는 언어적 측면을 제외하고 형태적 측면을 중심으로 연구를 진행하였다. 텍스트 분석 알고리즘(n-gram)을 활용하여 화이트 리스트 DNS 형태를 기준으로 유사도 분석을 통해 DGA-DNS를 판별하기 위한 모델을 제안한다.
즉, 신뢰성이 보장되고, 정상적으로 운영되고 있는 사이트의 DNS 리스트인 Alexa Top 1M을 화이트 리스트로 활용하여, 이를 기준으로 DGA에 의해 생성된 DNS인지 판별하도록 설계하였다.
지금까지 실험을 통해 n- gram을 활용한 DGA-DNS 탐지를 확인해 보았다. 실험 결과를 통해 실제 악성코드의 DGA로부터 생성된 DNS를 판별할 수 있음을 확인하였고, 이를 통해 공격자 의도에 의한 C&C 서버 은폐 시도를 탐지할 수 있었다.
최초 유사도 실험을 위해 실험군으로 랜섬웨어 (Locky)의 DGA-DNS를 사용하고 대조군으로 위의 Dictionary(Alexa Top 1M)를 사용하였다.
탐지모델은 정상 DNS를 기준으로 DGA-DNS(DGA에 의해 생성된 DNS)를 비교하여 유사도를 측정하였다.
텍스트 분석 알고리즘(n-gram)을 활용하여 화이트 리스트 DNS 형태를 기준으로 유사도 분석을 통해 DGA-DNS를 판별하기 위한 모델을 제안한다.

대상 데이터

3단계 실험은 1단계에서 설계한 모델 및 2단계에서 설정한 임계점을 적용하여 Locky 포함 14개 악성코드의 DGA로부터 생성한 DGA-DNS를 실험군으로 사용하였다. 14개의 DGA로부터 각각 10,000개의 DGA-DNS를 추출하였고, 결과적으로 총 140,000개의 데이터를 실험군으로 사용하였다. 실험 조건은 n=4, 임계점(66.
3단계 실험은 1단계에서 설계한 모델 및 2단계에서 설정한 임계점을 적용하여 Locky 포함 14개 악성코드의 DGA로부터 생성한 DGA-DNS를 실험군으로 사용하였다.
n-gram 알고리즘에 적용할 기준(정상) DNS 데이터셋(dataset)은 Amazon에서 제공하는 Alexa Top 1 Million Site[17]의 데이터를 활용하였다.
분절된 DNS 기호열은 n-gram 알고리즘이 적용된 DGA-DNS 기호열을 비교하는 대조군(기준) 데이터로 사용하였다.

이론/모형

유사도 분석에는 텍스트마이닝에 사용하는 알고리즘인 n-gram을 활용하였으며, 최종적으로 DGA-DNS 판별 임계점을 제시하였다.
이를 위해 먼저 Alexa Top 1M을 입력한 n-gram 알고리즘을 적용하여 분절된 DNS 기호열을 생성하였다.

성능/효과

1단계 실험모델 구축을 위해 Alexa Top 1M 1,000,000개 데이터를 n=4 조건으로 n-gram 알고리즘에 입력한 결과, 총 기호열(Dictionary) 12,063,010개를 얻었으며, 결과를 얻는데 까지 실험 환경 기준 약 11초 정도 소요되었다.
결론적으로 (일치율(%) ∝ 1 / DGA-DNS 탐지율(%))의 관계로 설명되며 일치율이 높을 때 탐지율은 낮고, 탐지율이 높으면 일치율은 낮게 나타난다.
56(%)인 것은 동일한 원인에 따른 것이다. 결론적으로 n-gram을 이용한 DGA-DNS 탐지는 일치율은 낮으면서, 탐지율은 높은 n을 선택하는 것이 가장 유리하다. 이를 위해 본 논문에서 제시하는 조건은 2가지이다.
결론적으로 임계점은 Locky DGA의 최대-일치율 66.67%로 결정하였다.
위 실험에서 주목할 점은, 1단계 실험에서 n-gram 알고리즘을 적용하는 과정에서 n 값에 따라 유사도 판별 결과가 크게 달라질 수 있기 때문에 어떤 n 값을 사용할지를 결정해야한다. 그러므로 DGA-DNS 판별에 가장 적절한 n 값을 찾는 과정이 실험에서 수반되었다. 단계별 실험 목표는 아래와 같으며 전 단계에서 사용되는 n-gram 알고리즘은 Table 4와 같다.
실험 결과를 통해 실제 악성코드의 DGA로부터 생성된 DNS를 판별할 수 있음을 확인하였고, 이를 통해 공격자 의도에 의한 C&C 서버 은폐 시도를 탐지할 수 있었다. 따라서 APT 공격 징후 탐지에 사용할 수 있는 유효한 지표임을 확인하였다. 특히, APT 공격이 정상 네트워크 행위로 가장하는 등 그 방식이 매우 은밀하여 공격 징후 탐지가 어렵기 때문에 공격 단계 중 반드시 발생하는 C&C 서버와 감염 호스트 간 통신 단계의 특징을 탐지에 활용했다는 점에서 의미가 있다.
또한, 새로운 θ 값인 일치율 78.02(%)에 포함되는 DNS는 3개이며 임계점에 가까울수록 DNS의 분포 수는 크게 감소한다.
실험 결과를 통해 실제 악성코드의 DGA로부터 생성된 DNS를 판별할 수 있음을 확인하였고, 이를 통해 공격자 의도에 의한 C&C 서버 은폐 시도를 탐지할 수 있었다.
67%)일 때 DGA 판별로 설정하였다. 실험 결과에 따른, True Positive는 99.9965(%), False Positive는 0.0035(%)로, 신뢰도 99.9(%)를 보장함을 확인하였다. Fig.
특히, 일치율(%)에 따른 DGA-DNS 판별을 위한 임계점을 결정하기 위해 표본 데이터 Locky(DGA-DNS)를 1000개에서 10,000개로 증가 시켰고, 평균적으로 15.90(%) 이하의 일치율을 보이는 것을 확인하였다.

후속연구

본 논문의 모델은 ALEXA의 100만개 DNS를 사용하였지만, 새로운 DNS가 출현했을 시 해당 DNS가 정상적인 DNS인지 공신력 있는 데이터베이스를 통해 화이트 리스트에 반영함으로써 지속적으로 DGA-DNS를 판별할 Dictionary를 업데이트 시켜야 한다. 이를 통해 제시된 모델의 탐지 유효율을 지속적으로 확보할 수 있을 것으로 기대한다.
특히 C&C 서버 은폐를 위한 시도가 반드시 일어나게 되므로, 악성코드 분석을 통해 해당 시도를 탐지할 수 있다면 APT 공격 징후로 판단할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	최근 사이버 위협의 특징은?	최근 사이버 위협은 특정 목표를 대상으로 한 공격이 대표적이며 침입한 시스템에서 오랫동안 발견되지 않고 은폐한 채 정보를 수집 또는 악용하는 것이 특징 이다. 대표적인 예로 2016년 5월, 인터넷 쇼핑몰 인터파크가 1,030만 고객정보를 탈취당한 사고가 발생 했다[1].
	APT 공격의 탐지 및 대응이 어려운 이유는?	이처럼 지속적으로 은밀히 공격하며 정보를 탈취하는 방법을 지능형 지속 위협(APT, Advanced Persistent Threat) 이라 한다. APT 공격은 다양한 공격기법을 활용하여 기존의 보안 솔루션을 우회하고 장기간에 걸쳐 취약점을 찾아 지속적으로 공격하므로 탐지 및 대응이 매우 어렵다. 특히 공격임에도 불구하고 마치 네트워크 정상행위로 가장함으로써 피해 발생 후에 식별되는 경우가 대부분이다.
	최근 사이버 위협의 대표적인 예시는 무엇이 있는가?	최근 사이버 위협은 특정 목표를 대상으로 한 공격이 대표적이며 침입한 시스템에서 오랫동안 발견되지 않고 은폐한 채 정보를 수집 또는 악용하는 것이 특징 이다. 대표적인 예로 2016년 5월, 인터넷 쇼핑몰 인터파크가 1,030만 고객정보를 탈취당한 사고가 발생 했다[1]. 이는 이메일을 통한 특정 목표 공격을 시작 으로 네트워크 내부의 관련자 간 지속적인 감염을 통해 대규모 개인정보를 탈취당한 사례이다. 또 다른 예로, 2011년 ESTsoft의 업데이트 서버가 해킹을 당했고 해당 기업 소프트웨어를 사용하던 SK컴즈가 3,100만 건에 달하는 개인정보를 탈취 당했다.

참고문헌 (18)

Sul-Hwa Im, Jong-Soo Kim, Jun-Keun Yang and Chae-Ho Lim, "APT status and new malicious code countermeasures," Review of KISSC(Korea Institute of Information Security and Cryptology), 24(2), pp. 63-72, Apr. 2014.
S. Hsieh, "Building threat intelligence to detect APTs in lateral movement," Trend Micro, July, 2013. https://blog.trendmicro.com/trendlabs-security-intelligence/building-threat-intelligence-to-detect-apts-in-lateral-movement/
Dae-Sung Moon, Han-Sung Lee and Ik-Kyun Kim, "Host based feature description method for detecting APT attack," Journal of The Korea Institute of Information Security and Cryptology, 24(5), pp. 839-850, Oct. 2014.

원문보기 상세보기
P. Rascagneres, "CCleanup: A vast number of machines at risk," Cisco Talos Report, Sept. 2017. https://www.cecyf.fr/wp-content/uploads/2018/01/2018-RASCAGNERES-CCleaner.pdf
Jun-Woo Park, "Security trend analysis with DNS," Information Sharing Cyber Infringement Accident Seminar in Korea Internet and Security Agency, Sept. 2017. https://www.boho.or.kr/data/reportView.do?bulletin_writing_sequence26711
D. Truong and G. Cheng, "Detecting domain-flux botnet based on DNS traffic features in managed network," Security and Communication Networks, vol.9, no.14, pp.2338-2347, May 2016.

상세보기
R. Sharifnya and M. Abadi, "DFBotKiller: domain-flux botnet detection based on the history of group activities and failures in DNS traffic," Digital Investigation, vol.12, pp.15-26, Mar. 2015.

상세보기
Sun-Hee Lim, Jong-Hyun Kim and Byung-Gil Lee, "Detecting cyber threats domains based on DNS traffic," Journal of Korea Information and Communications Society, 37(11), pp.1082-1089, Nov. 2012.
J. Raghuram, D.J. Miller, and G. Kesidis, "Unsupervised, low latency anomaly detection of algorithmically generated domain names by generative probabilistic modeling," Journal of Advanced Research, vol.5, no.4, pp.423-433, July 2014.

상세보기
Z. Wei-wei, G. Jian, and L. Qian, "Detecting machine generated domain names based on morpheme features," Proceedings of the 1st International Workshop on Cloud Computing and Information Security (CCIS 2013), pp.408-411, Oct. 2013.
H. Crawford and J. Aycock, "Kwyjibo: automatic domain name generation," Software: Practice and Experience, vol.38, no.14, pp.1561-1567, Apr. 2008.

상세보기
S. Marchal, J. Francois, R. State, and T. Engel, "Semantic based DNS forensics," IEEE International Workshop on Information Forensics and Security (WIFS 2012), pp.91-96, Dec. 2012. DOI: 10.1109/WIFS.2012.6412631
H. Wallach, "Topic modeling: beyond bag-of-words," Proceedings of the 23rd International Conference on Machine Learning (ICML 2006), pp.977-984, June 2006. DOI:10.1145/1143844.1143967
Hyun-il Lim, "Comparing binary programs using approximate matching of k-grams," Journal of KIISE: Computing Practices and Letters, 18(4), pp.288-299, Apr. 2012.
Hee-Jun Kwon, Sun-Woo Kim and Eul-Gyu Im, "An Malware classification system using multi n-gram," Journal of Security Engineering, 9(6), pp.531-542, Dec. 2012.
Myung-Gwon Hwang, Dong-Jin Choi, Hyo-Gap Lee, Chang Choi, Byeong-Kyu Ko and Pan-Koo Kim, "Domain n-gram construction and its application," Proceedings of the Korea Information Science Society Conference, 37(2C), pp.47-51, Nov. 2010.
Amazon Alexa Top Sites, https://aws.amazon.com/ko/alexa-top-sites/
A. Sood and S. Zeadally, "A taxonomy of domain-generation algorithms,"IEEE Security & Privacy Magazine, vol.14, no.4, pp.46-53, Aug. 2016.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증