[논문]TF-IDF를 이용한 침입탐지이벤트 유효성 검증 기법

김효석; 김용민

doi:10.13089/jkiisc.2018.28.6.1489

TF-IDF를 이용한 침입탐지이벤트 유효성 검증 기법
A Validation of Effectiveness for Intrusion Detection Events Using TF-IDF 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.28 no.6, 2018년, pp.1489 - 1497

김효석 (전남대학교 정보보안협동과정) , 김용민 (전남대학교 전자상거래전공)

초록
AI-Helper

웹 애플리케이션 서비스의 종류가 다양해짐과 동시에 사이버 위협이 급증하여 침입탐지에 대한 연구가 계속되고 있다. 기존의 단일 방어체계에서 다단계 보안으로 진행됨에 따라 대량의 보안이벤트 연관성을 분석하여 명확한 침입에 대해 대응하고 있다. 그러나 대상시스템의 OS, 서비스, 웹 애플리케이션 종류 및 버전을 실시간으로 점검하기 어려운 측면이 있고, 네트워크 기반의 보안장비에서 발생하는 침입탐지 이벤트만으로는 대상지의 취약여부와 공격의 성공여부를 확인 할 수 없는 문제점과 연관성 분석이 되지 않은 위협의 사각지대가 발생할 수 있다. 본 논문에서는 침입탐지이벤트의 유효성을 검증하기 위한 기법을 제안한다. 제안된 기법은 공격에 상응하는 대상시스템의 반응을 사상(mapping)하여 응답트래픽을 추출하고, TF-IDF를 통해 라인(line)기반으로 가중치를 환산하고 높은 수치부터 순차적으로 확인하여 대상시스템의 취약여부와 유효성이 높은 침입탐지이벤트를 검출하였다.

Abstract ▼ AI-Helper

Web application services have diversified. At the same time, research on intrusion detection is continuing due to the surge of cyber threats. Also, As a single-defense system evolves into multi-level security, we are responding to specific intrusions by correlating security events that have become vast. However, it is difficult to check the OS, service, web application type and version of the target system in real time, and intrusion detection events occurring in network-based security devices can not confirm vulnerability of the target system and success of the attack A blind spot can occur for threats that are not analyzed for problems and associativity. In this paper, we propose the validation of effectiveness for intrusion detection events using TF-IDF. The proposed scheme extracts the response traffics by mapping the response of the target system corresponding to the attack. Then, Response traffics are divided into lines and weights each line with an TF-IDF weight. we checked the valid intrusion detection events by sequentially examining the lines with high weights.

주제어

표/그림 (13)

그림 Fig. 1. Hierarchical security practices for Web-centric business[7].
그림 Fig. 2. HTTP Response Traffics Extraction Diagram
그림 Fig. 3. Preprocessing HTTP Response Traffics
표 Table 1. TCP status in HTTP (Compare Sequence Number with Acknowledgement)
그림 Fig. 4. Responses of server with status code '4xx' by attack
그림 Fig. 5. Validation through line segmentation of response page
그림 Fig. 6. Distribution of lines in the experiments with Appscan tool
그림 Fig. 7. Analysis of vulnerable lines (ex. XSS, 496 : 2604(line : term weight) in Fig. 6.)
표 Table 2. Intrusion detection events detected in the experiment
표 Table 3. Details of detected intrusion detection events in experiments using the Appscan tool
그림 Fig. 8. Distribution of lines in the experiments with Sqlmap tool
그림 Fig. 9. Analysis of vulnerable lines (ex. SQLi, 455 : 413(line : term weight) in Fig. 8.)
표 Table 4. Number of Lines per status code for each experiment

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구에서는 Fig.2.의 구성으로 공격에 상응하는 대상시스템의 반응을 사상하고 확보한 응답트래픽에 TF-IDF 가중치를 환산하여 유효성이 높은 침입탐지이벤트를 검출하고자 한다.
본 논문에서 웹 응답트래픽을 확보하고 TF-IDF를 이용해서 침입탐지이벤트의 유효성을 검증하여 신속하게 대응할 수 있는 기법을 제안하였다. 가중치가 높은 라인부터 대응순서를 자동적으로 지정할 수 있기 때문에 웹 서버의 취약여부를 빠르게 확인할 수 있었고, 응답트래픽과 위협트래픽을 사상시킴으로써 유효한 침입탐지이벤트를 즉각 확인 할 수 있었다.
본 논문에서는 웹 관련 침입탐지이벤트에 상응하는 대상시스템의 응답트래픽을 추출한다. 저장한 응답트래픽을 TF-IDF를 이용하여 공격에 대한 서버의 반응에 높은 가중치를 부여하고 침입탐지이벤트의 유효성을 검증하여 자산(assets)에 영향을 미칠 수 있는 이벤트를 구분하고 순차적으로 검증 할 수 있는 기법을 제안한다.
그리고 비정상행위에 대해서는 실시간 분석이 가능하여야 한다. 본 논문에서는 웹에서 발생하는 침입 탐지이벤트의 비정상행위에 대한 반응들을 실시간 추출한다. 추출한 데이터를 텍스트마이닝 기법을 사용하여 비정상행위의 대표반응에 높은 가중치를 산출하고 가중치가 높게 부여된 라인을 순차적 분석하여 이벤트 검증과 취약여부를 확인한다.

제안 방법

와 같이 나타났다. TF-IDF를 사용하여 라인들을 분석한 결과, 같은 가중치를 갖는 라인들이 특정 구간들에 포함되는 것을 확인하였고 가중치가 높은 구간부터 순차적으로 분석하였다.
하나의 방어 메커니즘이 뚫린 경우라도 또 다른 방어 메커니즘이 전체 시스템을 방어할 수 있는 구조로 단일실패지점(single point of failure)과 약한 고리 이론(weakest link of the chain)을 예방할 수 있다[6,7]. 계층적 방어 체계에서 위협트래픽이 자산에 도달하였을 때, 단일보안 장비들의 이벤트를 확인하여 침해여부를 판단한다. 그러나 발생된 모든 보안이벤트를 확인하는 것이 비효율적이고 많은 비용이 발생하게 한다.
공격도구를 이용하여 트래픽을 발생시켰을 때,Snort에서 탐지된 내용인 트래픽 발생 건수, 탐지된 규칙의 수, 탐지 수, 과잉탐지(over-detection)의 수를 Table 2.에 표기하였으며, 과잉탐지 항목은 Snort의 유사규칙에 의해 동일한 트래픽을 다수 탐지하게 되는 경우를 합산하였다. Appscan의 실험은 OWASP Top10[19]의 항목을 기준으로 Table 3.
또한, 웹을 통해 서비스를 제공하는 모든 기업의 인프라 구조가 동일하지 않고 서버환경설정, 보안장비, 시큐어코딩 등 보호조치가 상이하기 때문에 제안기법의 객관적인 결과를 도출하는 것에 제약이 있다. 그리하여 본 실험에서는 취약한 웹 서버인 DVWA[16]에 Appscan과 Sqlmap 2가지의 공격도구로 트래픽을 발생시키고 이를 침입탐지시스템으로 잘 알려진 Snort를 이용하여 탐지한다. 이후 제안한 기법을 이용하여 웹서버의 취약점 여부와 유효한 침입탐지이벤트를 검출한다.
가중치가 높은 라인부터 대응순서를 자동적으로 지정할 수 있기 때문에 웹 서버의 취약여부를 빠르게 확인할 수 있었고, 응답트래픽과 위협트래픽을 사상시킴으로써 유효한 침입탐지이벤트를 즉각 확인 할 수 있었다. 또한, 웹 서버에 영향이 없는 침입탐지이벤트는 불필요한 트래픽으로 자동 분류하였다. 그러나 인증, 접근제어와 관련된 웹 취약점은 탐지규칙을 생성하기 어려운 측면이 있으며, 응답트래픽이 클라이언트로 전송되지 않는 경우(서버 내부 동작, 제 3자로의 접근 등)는 별도의 검증이 필요하여 공격유형의 분류를 세분화하여 검증할 수 있는 방안이 필요할 것으로 나타났다.
HTTP 응답은 브라우저에서 해석 가능한 웹문서의 구조를 가지고 있다. 이 구조의 특성을 이용하여 같은 페이지 또는 서로 다른 페이지에서 라인을 비교하고 TF-IDF 가중치를 부여하여 취약하지 않은 라인을 구별하고, 서로 다른 라인을 갖는 내용들에 대해서는 높은 가중치를 부여하여 취약반응이 일어날 수 있는 구간을 정의하도록 하였다.
그리하여 본 실험에서는 취약한 웹 서버인 DVWA[16]에 Appscan과 Sqlmap 2가지의 공격도구로 트래픽을 발생시키고 이를 침입탐지시스템으로 잘 알려진 Snort를 이용하여 탐지한다. 이후 제안한 기법을 이용하여 웹서버의 취약점 여부와 유효한 침입탐지이벤트를 검출한다. Appscan 도구(release.
본 논문에서는 웹 관련 침입탐지이벤트에 상응하는 대상시스템의 응답트래픽을 추출한다. 저장한 응답트래픽을 TF-IDF를 이용하여 공격에 대한 서버의 반응에 높은 가중치를 부여하고 침입탐지이벤트의 유효성을 검증하여 자산(assets)에 영향을 미칠 수 있는 이벤트를 구분하고 순차적으로 검증 할 수 있는 기법을 제안한다.
본 논문에서는 웹에서 발생하는 침입 탐지이벤트의 비정상행위에 대한 반응들을 실시간 추출한다. 추출한 데이터를 텍스트마이닝 기법을 사용하여 비정상행위의 대표반응에 높은 가중치를 산출하고 가중치가 높게 부여된 라인을 순차적 분석하여 이벤트 검증과 취약여부를 확인한다.

이론/모형

12)를 이용한 실험은 웹 서버에서 제공하는 모든 페이지(page)를 공격하였다. Sqlmap 도구(release. 2018. 01)를 이용한 실험은 하나의 특정 파라미터(parameter)로만 SQL Injection을 수행하며 실험에서 사용한 웹 관련 규칙(14,255개)은 Snort와Suricata 엔진에 적용되는 Community, ET Rule[17,18]을 사용하였다.

성능/효과

Appscan 도구를 이용한 실험에서 상태코드가‘2xx’인 경우에는 123,029개의 라인들 중 높은 가중치의 845개의 라인이 포함된 13개의 비신뢰 구간에서 취약한 반응을 확인 할 수 있었다.
그러나‘3xx’와 ‘4xx’인 경우의 라인들은 낮은 가중치를 가지고 있었고 모두 신뢰구간 내에 포함되어 취약한 반응이 나타나지 않았다. Sqlmap 도구를 이용한 실험에서는 가장 낮은 가중치의 80개 라인은 하나의 페이지를 구성하는 정상라인으로 1개의 신뢰구간에 포함되었고, 나머지 높은 가중치의 457개 라인에서 취약반응을 확인하였다. 서버의 반응인 응답트래픽을 정제하여 공격의 복잡성과 대상지 서버 변화(업데이트, 추가되는 서비스 등)에도 유연하게 서버의 취약유무와 침입탐지이벤트의 유효성을 검증할 수 있음을 확인하였다.
본 논문에서 웹 응답트래픽을 확보하고 TF-IDF를 이용해서 침입탐지이벤트의 유효성을 검증하여 신속하게 대응할 수 있는 기법을 제안하였다. 가중치가 높은 라인부터 대응순서를 자동적으로 지정할 수 있기 때문에 웹 서버의 취약여부를 빠르게 확인할 수 있었고, 응답트래픽과 위협트래픽을 사상시킴으로써 유효한 침입탐지이벤트를 즉각 확인 할 수 있었다. 또한, 웹 서버에 영향이 없는 침입탐지이벤트는 불필요한 트래픽으로 자동 분류하였다.
‘2xx’응답에서 실제 공격에 성공한 요청건수는 135건이다. 공격구문이 포함된 응답 중 DB 정보가 확인된 라인은 132건이고 Mysql 매뉴얼의 내용이 반환된 라인은 155건으로 확인되었다. DB 오류와 관련된 내용은 2건이 탐지되어 해당 라인들은 높은 가중치를 가지고 있었다.
Sqlmap 도구를 이용한 실험에서는 가장 낮은 가중치의 80개 라인은 하나의 페이지를 구성하는 정상라인으로 1개의 신뢰구간에 포함되었고, 나머지 높은 가중치의 457개 라인에서 취약반응을 확인하였다. 서버의 반응인 응답트래픽을 정제하여 공격의 복잡성과 대상지 서버 변화(업데이트, 추가되는 서비스 등)에도 유연하게 서버의 취약유무와 침입탐지이벤트의 유효성을 검증할 수 있음을 확인하였다.

후속연구

또한, 웹 서버에 영향이 없는 침입탐지이벤트는 불필요한 트래픽으로 자동 분류하였다. 그러나 인증, 접근제어와 관련된 웹 취약점은 탐지규칙을 생성하기 어려운 측면이 있으며, 응답트래픽이 클라이언트로 전송되지 않는 경우(서버 내부 동작, 제 3자로의 접근 등)는 별도의 검증이 필요하여 공격유형의 분류를 세분화하여 검증할 수 있는 방안이 필요할 것으로 나타났다. 제안된 기법은 대량의 침입 탐지이벤트의 분석 및 대응방향, 자동검증의 지표로써 활용할 수 있을 것으로 기대한다.
계층적 방어체계의 인프라에서 발생하는 보안이벤트를 상관관계분석 할 때, 유해트래픽의 탐지에 대한 명확한 근거를 갖게 하는 점은 우수하지만 실제 대응과 관련된 정보를 확인하는 것은 어려운 점이 있다. 대상시스템에 트래픽이 유입될 때, 발생하는 이벤트들은 제한적이고 상관관계분석으로 공격의 성공여부를 알 수 없는 측면이 있어 동일한 트래픽을 재생(reply)하거나, 네트워크 덤프솔루션에서 추가적인 분석을 요구하게 된다. 재생하여 분석하는 경우에는 공격자와 분석자가 획득하는 응답은 서로 상이할 수 있고, 이벤트마다 네트워크 덤프솔루션에서 트래픽을추출하여 검증하는 것은 많은 시간과 비용을 투자하게 된다.
이에 따라 기업들은 네트 워크 기반의 보안장비(IPS, IDS, 방화벽 등)를 이용하여 내부 네트워크를 보호하고 있다. 위협트래픽을 자동차단하는 비율이 20~30% 정도이며[2], 차 단되지 않는 경우는 위협 트래픽이 내부 네트워크로 유입되었다는 것을 의미하여 추가적인 분석이 필요하다. 기존의 네트워크 보안장비는 침입탐지의 내용을 알림 형태로 경고를 생성하기 때문에 대응과 관련된 절차에는 관여하기 어렵다.
그러나 인증, 접근제어와 관련된 웹 취약점은 탐지규칙을 생성하기 어려운 측면이 있으며, 응답트래픽이 클라이언트로 전송되지 않는 경우(서버 내부 동작, 제 3자로의 접근 등)는 별도의 검증이 필요하여 공격유형의 분류를 세분화하여 검증할 수 있는 방안이 필요할 것으로 나타났다. 제안된 기법은 대량의 침입 탐지이벤트의 분석 및 대응방향, 자동검증의 지표로써 활용할 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	위협 트래픽을 방어할 수 있는 침입대응시스템의 문제점은 무엇인가?	기존의 네트워크 보안장비는 침입탐지의 내용을 알림 형태로 경고를 생성하기 때문에 대응과 관련된 절차에는 관여하기 어렵다. 위협트래픽을 자동으로 방어할 수 있는 침입대응시스템(IRS)이 연구되고 있으나 오탐대응, 불확실성, 대응과 의사결정의 메커 니즘 개발비용 요구, 부적절한 대응이 실행될 수 있다[3,4]. 이러한 문제들은 서비스에 직접적인 영향을 미칠 수 있기 때문에, 현재까지 사람이 모니터링 및 대응하고 있다.
	계층적 방어체계란?	1.과 같이 전체 시스템의 보안 수준을 강화하기 위한 계층의 단계적 보안 메커니즘이다. 하나의 방어 메커니즘이 뚫린 경우라도 또 다른 방어 메커니즘이 전체 시스템을 방어할 수 있는 구조로 단일실패지점(single point of failure)과 약한 고리 이론(weakest link of the chain)을 예방할 수 있다[6,7].
	계층적 방어체계는 어떠한 것들을 예방할 수 있는가?	과 같이 전체 시스템의 보안 수준을 강화하기 위한 계층의 단계적 보안 메커니즘이다. 하나의 방어 메커니즘이 뚫린 경우라도 또 다른 방어 메커니즘이 전체 시스템을 방어할 수 있는 구조로 단일실패지점(single point of failure)과 약한 고리 이론(weakest link of the chain)을 예방할 수 있다[6,7]. 계층적 방어 체계에서 위협트래픽이 자산에 도달하였을 때, 단일보안 장비들의 이벤트를 확인하여 침해여부를 판단한다.

참고문헌 (19)

"Mid-year 2018 Vulnerability Trends," Risk Based Security, Aug. 2018.
Hayong Lee and Hyosik Yang, "Construction of Security Evaluation Criteria for Web Application Firewall," Journal of Digital Convergence, 15(5), pp. 197-205, May. 2017
Zakira Inayat, Abdullah Gani, Nor Badrul Anuar, Muhammad Khurram Khan, and Shahid Anwar, "Intrusion response system: Foundations, design, and challenges." Journal of Network and Computer Applications, vol. 62, pp. 53-74, Feb. 2016.

상세보기
N.B. Anuar, S.M. Furnell, M.Papadaki, and N,L, Clarke, "Response Mechanisms for Intrusion Response System(IRSs)," University of Plymouth: Plymouth, UK. Nov. 2009.
Kyuil Kim, Harksoo Park, Jiyeon Choi, Sangjun Ko and Jungsuk Song, "An Auto-Verification Method of Security Events Based on Empirical Analysis for Advanced Security Monitoring and Response," Journal of The Korea Institute of Information Security & Cryptology, 24(3), pp. 507-522, Jun. 2014.

원문보기 상세보기
Byungha Choi, Sungkyo Choi, and Kyungsan Cho, "An Efficient Detecting Scheme of Web-based Attacks through Monitoring HTTP Outbound Traffics," Journal of the Korea Society of Computer and Information, 16(1), pp. 125-132, Jan. 2011.

원문보기 상세보기
"Trends and Analysis of Internet Invasion Incident Monthly," KrCERT, Korea Internet & Security Agency, Feb. 2010.
Andrey Fedorchenko, Igor Kotenko and Didier El Baz, "Correlation of security events based on the analysis of structures of event types," 2017 9th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing System: Technology and Applications (IDAACS). vol. 1, pp. 270-276, Sep. 2017.
HaengGon Lee, SangSoo Choi, Jungsuk Song and GiHwan Cho, "An Effective Security Monitoring Scheme Based on Correlation Analysis of Multiple Security Events," Journal of Knowledge Information Technology and Systems, 7(2), pp. 49-58, Apr. 2012.
JinGuk Um and HunYeong Kwon, "Model Proposal for Detection Method of Cyber Attack using SIEM," The Journal of The Institute of Internet, Broadcasting and Communication, 16(6), pp. 43-54, Dec. 2016.
Inseok Jeon, Keunhee Han, Dongwon Kim and Jinyung Choi, "Using the SIEM Software vulnerability detection model proposed," Journal of The Korea Institute of Information Security & Cryptology, 25(4), pp. 961-974, Aug. 2015.

원문보기 상세보기
Seong Hoon Jeong, Hana Kim, Youngsang Shin, Taejin Lee and Huy Kang Kim. "A Survey of Fraud Detection Research based on Transaction Analysis and Data Mining Technique," Journal of The Korea Institute of Information Security & Cryptology, 25(6), pp. 1525-1540, Dec. 2015.

원문보기 상세보기
Hayoung Oh, "Coward Analysis based Spam SMS Detection Scheme," Journal of The Korea Institute of Information Security & Cryptology, 26(3), pp. 693-700, Jun. 2016.

원문보기 상세보기
Min Song, Text Mining, Cheongram, Aug. 2017.
Hyoseok Kim, "A Validation of Intrusion Detection Events Using TF-IDF," M.S.Thesis, Chonnam National University, Aug 2018.
DVWA - Damn Vulnerable Web Apllcation, "DVWA", http://www.dvwa.co.uk/, Nov. 2017.
Snort - Network Intrusion Detection & Preventions System, "Snort", https://snort.org/downloads#rules, Dec. 2017.
Emerging Threats rule, "ET Rule", https://rules.emergingthreats.net/, Dec. 2017.
OWASP, "OWASP Top 10", https://www.owasp.org/images/b/bd/OWASP_Top_10-2017-ko.pdf, Nov. 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증