[논문]능동형 모델 개선 피드백 기술을 활용한 보안관제 시스템 성능 개선 방안

신윤섭; 조인준

doi:10.5392/jkca.2021.21.12.896

능동형 모델 개선 피드백 기술을 활용한 보안관제 시스템 성능 개선 방안
SIEM System Performance Enhancement Mechanism Using Active Model Improvement Feedback Technology 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.21 no.12, 2021년, pp.896 - 905

신윤섭 (배재대학교 대학원 사이버보안학과) , 조인준 (배재대학교 대학원 사이버보안학과)

초록
AI-Helper

인공지능 기반 보안관제 시스템은 운영환경에서 발생할 수 있는 학습 데이터 오류, 신규 공격 이벤트 발생으로 인한 오탐 증가 등 문제를 해결하기 위해 피드백 기능이 연구되고 있다. 그러나 한정된 관제 인력의 피드백 수행 방식은 모델 개선에 오랜 시간이 걸리고 숙련되지 않은 관제 인력의 피드백은 오히려 모델 성능 저하의 원인이 될 수 있다. 본 논문에서는 관제 인력 한계 극복, 신규 오탐 개선, 빠른 모델 성능 향상을 위한 능동형 보안관제 모델 개선 프로세스를 제안하였다. 운영 중 예측된 유사 이벤트를 군집화 하고, 피드백이 우선적으로 필요한 군집을 계산하여 운영자에게 대표 이벤트 설명이 가능한 인공지능(eXplainable AI) 기반 시각화도 함께 제시하였다. 수신된 대표 피드백은 동일 군집과 다른 데이터를 계산하여 제외하고 피드백 전파 학습 데이터를 생성한다. 준비된 학습 데이터는 초기 모델과 함께 점진적 학습을 통해 모델을 생성함으로써 성능을 향상시키는 프로세스이다. 제안 프로세스의 실효성 검증을 위해 웹 어플리케이션 방화벽 데이터셋 PKDD2007과 CSIC2012를 선택하여 3개의 시나리오를 통해 실험을 진행하였다. 실험 결과 제안된 프로세스는 피드백을 주지 않았거나 소수 운영자 피드백을 적용한 모델 성능에 비해 모든 지표에서 약 30% 이상의 성능 향상을 확인하였다.

Abstract ▼ AI-Helper

In the field of SIEM(Security information and event management), many studies try to use a feedback system to solve lack of completeness of training data and false positives of new attack events that occur in the actual operation. However, the current feedback system requires too much human inputs to improve the running model and even so, those feedback from inexperienced analysts can affect the model performance negatively. Therefore, we propose "active model improving feedback technology" to solve the shortage of security analyst manpower, increasing false positive rates and degrading model performance. First, we cluster similar predicted events during the operation, calculate feedback priorities for those clusters and select and provide representative events from those highly prioritized clusters using XAI (eXplainable AI)-based event visualization. Once these events are feedbacked, we exclude less analogous events and then propagate the feedback throughout the clusters. Finally, these events are incrementally trained by an existing model. To verify the effectiveness of our proposal, we compared three distinct scenarios using PKDD2007 and CSIC2012. As a result, our proposal confirmed a 30% higher performance in all indicators compared to that of the model with no feedback and the current feedback system.

주제어

표/그림 (14)

그림 그림 1. AI security analytics operations
그림 그림 2. 능동형 보안관제 모델 개선 프로세스
표 표 1. PKDD2007, CSIC2012 데이터셋 레이블 비교
그림 그림 3. CSIC2012 데이터셋 군집 시각화
그림 그림 4. XAI 기반 예측 근거 시각화
그림 그림 5. 점진적 학습에 의한 신규모델 교체
표 표 2. 능동형 모델 개선 프로세스 실험 시나리오
그림 그림 6. 시나리오 1 (No-FB) Confusion Matrix
그림 그림 7. 시나리오 2 (Human-FB) Confusion Matrix
표 표 3. 시나리오 1 (No-FB) 성능
표 표 4. 시나리오 2 (Human-FB) 성능
그림 그림 8. 시나리오 3 (AL-FB) Confusion Matrix
표 표 5. 시나리오 3 (AL-FB) 성능
그림 그림 9. 시나리오 성능 지표 비교

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 상기와 같은 보안관제센터 운영 관점에서 빠르게 변화하는 사이버 위협 최소화, 인력 한계를 극복, 관제 업무 효율성 향상시킬 수 있는 새로운 능동형 모델 개선 피드백 프로세스를 제안하였다. 제안방안은 인공지능 기반 보안관제시스템 초기 모델에서 운영 중에 예측되는 이벤트를 군집화 하여 피드백 우선순위를 계산한다.

제안 방법

제안방안은 인공지능 기반 보안관제시스템 초기 모델에서 운영 중에 예측되는 이벤트를 군집화 하여 피드백 우선순위를 계산한다. 계산된 우선순위에 따라 대표 이벤트와 모델 설명을 운영자에게 제시함으로써 효율적인 피드백을 수집할 수 있도록 하였다. 수집된 피드백은 군집별 피드백 적용 이벤트를 분류하여 전파함으로써 소수의 피드백으로 다수의 학습데이터를 생성이 가능하도록 하였다.
보안관제시스템(SIEM, Security Information and Event Management)은 다양한 보안 데이터를 실시간으로 수집하여 빅데이터 기반으로 통계 및 패턴 분석을 수행하고 있었다. 이를 기반으로 보안관제 업무는 보안 위협 상황을 실시간 모니터링 하고 침해사고 예방, 탐지 및 대응하고 있다.
보안관제시스템은 다양한 보안 데이터를 빅데이터 기반으로 통계 및 패턴 분석을 수행하였다. 신규 보안 위협 증가, 대용량 이벤트 분석의 용이성, 보안관제 업무 증가로 인해 발생하는 다양한 문제를 해결하고자 인공지능 기술이 활발히 연구 및 적용 되었다.
소수의 피드백은 모델 개선을 위해 너무 많은 시간이 소모되는 문제와 대용량 이벤트 및 경보 발생 환경에 적용할 경우 모델 개선 효과가 반감되는 현상이 예상된다. 본 논문에서는 위 피드백 프로세스와 점진적 학습기술을 대용량 이벤트 및 경보 발생 환경에 적용할 경우, 관제 인력의 분석 건수 한계를 고려하여 초기 학습 데이터 오류 문제, 신규 이벤트 발생으로 인한 오탐 등을 빠르고 효율적으로 해결할 수 있는 최적의 피드백 기법적용 방안을 제안하였다.
운영자는 피드백 레이블을 지정하기 위해 대표 이벤트를 분석해야 한다. 본 프로세스에서는 원활한 분석과 빠른 피드백 수행을 위해 설명이 가능한 인공지능(XAI, eXplainable AI) 기술을 통해 대표 이벤트의 설명 근거를 생성했다.
계산된 우선순위에 따라 대표 이벤트와 모델 설명을 운영자에게 제시함으로써 효율적인 피드백을 수집할 수 있도록 하였다. 수집된 피드백은 군집별 피드백 적용 이벤트를 분류하여 전파함으로써 소수의 피드백으로 다수의 학습데이터를 생성이 가능하도록 하였다. 이러한 점진적 학습기술을 활용하여 모델을 개선한다.
수집된 피드백은 군집별 피드백 적용 이벤트를 분류하여 전파함으로써 소수의 피드백으로 다수의 학습데이터를 생성이 가능하도록 하였다. 이러한 점진적 학습기술을 활용하여 모델을 개선한다.
본 논문에서 제안하는 머신러닝 기반 능동형 보안관제 모델 개선 프로세스는 [그림 2]와 같다. 인공지능 보안관제 시스템 초기 모델에 의해 예측된 이벤트를 수집하는 단계로 시작하여 피드백 이벤트 선정, 피드백 제안 및 수행, 피드백 전파 및 적용 단계로 구성된다. 프로세스 설명과 초기 모델 생성을 위해 공개된 웹 어플리케이션 방화벽 데이터셋을 사용하였다.
제안기술의 검증은 웹 어플리케이션 방화벽 데이터셋을 사용하여 3가지 시나리오별 모델 평가 기준의 비교 분석을 통해 효과성 및 성능 향상을 검증하였다.
본 논문에서는 상기와 같은 보안관제센터 운영 관점에서 빠르게 변화하는 사이버 위협 최소화, 인력 한계를 극복, 관제 업무 효율성 향상시킬 수 있는 새로운 능동형 모델 개선 피드백 프로세스를 제안하였다. 제안방안은 인공지능 기반 보안관제시스템 초기 모델에서 운영 중에 예측되는 이벤트를 군집화 하여 피드백 우선순위를 계산한다. 계산된 우선순위에 따라 대표 이벤트와 모델 설명을 운영자에게 제시함으로써 효율적인 피드백을 수집할 수 있도록 하였다.

대상 데이터

본 장에서는 3장에서 제안한 방법과 데이터를 이용하여 소수의 피드백을 통한 능동형 모델 개선 프로세스가 모델 성능 향상에 실효성이 있는지 실험을 수행하였다. 실험을 위해서 아래 [표 2]와 같이 3가지 시나리오를 통해 실험을 수행하고 평가한다.
인공지능 보안관제 시스템 초기 모델에 의해 예측된 이벤트를 수집하는 단계로 시작하여 피드백 이벤트 선정, 피드백 제안 및 수행, 피드백 전파 및 적용 단계로 구성된다. 프로세스 설명과 초기 모델 생성을 위해 공개된 웹 어플리케이션 방화벽 데이터셋을 사용하였다.

데이터처리

64개의 이벤트 군집 중 우선적으로 피드백 되어야 하는 이벤트를 선정하기 위해 군집의 신뢰도 점수(CSS, Cluster Confidence Score)를 측정한다. 군집의 신뢰도 점수는 초기 모델이 예측한 이벤트별 신뢰도(ICS, Individual Confidence Score)와 군집의 중심에 대한 거리를 기반 지수(B, distance to cluster center) 를 사용했다.

이론/모형

우선 동일 군집 내에 대표 이벤트와의 상이한 데이터를 제외하고 전파한다. 이를 위해 피드백 적용 이벤트와 비적용 이벤트를 분리하기 위해 집단 내 표본 중 다른 데이터(Outlier)를 분류할 수 있는 OCSVM (One-class Support Vector Machine) 알고리즘을 사용했다. OCSVM 은 피드백 받은 대표 이벤트의 특징 벡터와 위치 특징 값을 사용하여 학습하고 대표 이벤트와 유사한 이벤트를 구분 짓는 경계를 설정한다.
이벤트 설명을 위해 해석하고자 하는 예측 데이터 값의 근방에서 모델이 어떻게 작동하였는지 설명하는 LIME(Local Interpretable Model-agnostic Explanations) 라이브러리를 사용하였다. LIME 은 예측 이벤트 설명을 위해 블랙박스 모형의 개별 예측 이벤트를 설명하기 위해 국소적 대리 모델(local surrogate model)을 생성하고, 개별 예측 이벤트를 입력으로 예측 설명 데이터를 시각화하여 표시할 수 있다.

성능/효과

Confusion Matrix [그림 6]을 보면 6개의 공통 레이블 중에서도 SqlInjection 공격명은 다른 공격 명으로 분류 되고 있으며, CRLFi, FormatString, BufferOverflow 와 같은 새로운 공격 유형에 대해서는 대부분 정상(Valid) 등 제대로 분류되지 않고 있는 점을 확인했다. [표 3] 예측 성능은 Precision 55.07%, Recall 53.08%, Accuracy 58.71%, F1-Score 54.06% 로 낮은 성능 결과를 보여준다.
Confusion Matrix [그림 7]을 보면 일부 정상 (Valid) 으로 분류되었던 CRLFi, FormatString, BufferOverflow 이벤트가 공격으로 분류되고 있으나 시나리오 1과 비교하여 거의 변동된 부분을 찾기 힘들다. [표 4] 예측 성능은 Precision 59.01%, Recall 57.06%, Accuracy 59.81%, F1-Score 58.02% 로 성능에서도 큰 변화가 없다.
Confusion Matrix [그림 8]을 보면 SqlInjection 공격명, 정상(Valid) 등 6개의 공통 레이블뿐만 아니라 CRLFi, FormatString, BufferOverflow 와 같은 신규공격명 또한 정상적으로 분류함을 확인 할 수 있다. [표 5] 예측 성능 Precision 88.61%, Recall 90.53%, Accuracy 89.42%, F1-Score 89.56% 로 높은 성능향상을 확인하였다.
능동형 모델 개선 프로세스는 보안관제 업무에서 소수의 관제인력을 통해 생성되는 피드백으로 모델을 신속하게 개선할 수 있다. 시간 및 인력 활용 측면에서 개선된 프로세스를 적용함으로써 신규 공격 변화에 신속하게 대응하고, 시스템 및 인적 자원에 대한 비용 절감효과에 따라 보안관제 업무 개선에 기여할 수 있을 것으로 보인다.
하지만 지금까지의 피드백 기술은 관제요원이 이벤트에 대해 일일이 예측 이벤트를 분석하여 수정이 필요한 이벤트에 피드백을 부여하는 방식이다. 또한, 소수의 관제 인력에 의한 피드백 수행 방식은 초기 학습 모델에 미비한 영향으로 오랜 시간이 걸리고 숙련되지 않은 관제 인력의 피드백은 오히려 모델 성능 저하의 원인이 될 수 있다.
보안관제시스템은 다양한 보안 데이터를 빅데이터 기반으로 통계 및 패턴 분석을 수행하였다. 신규 보안 위협 증가, 대용량 이벤트 분석의 용이성, 보안관제 업무 증가로 인해 발생하는 다양한 문제를 해결하고자 인공지능 기술이 활발히 연구 및 적용 되었다. 그러나 운영환경에서 발생할 수 있는 초기 학습 데이터 오류, 신규공격 이벤트 발생으로 인한 오탐 증가 등의 문제는 추가적인 피드백 기술 연구에 의해 보완되고 있다.
시간 및 인력 활용 측면에서 개선된 프로세스를 적용함으로써 신규 공격 변화에 신속하게 대응하고, 시스템 및 인적 자원에 대한 비용 절감효과에 따라 보안관제 업무 개선에 기여할 수 있을 것으로 보인다. 이를 통해 인공지능 도입 목적에 따라 보안관제 시스템 성능을 효율적으로 개선하고 관제 인력은 좀 더 창조적이고 전문적인 업무에 집중할 수 있도록 도움이 될 수 있다.
본 논문에서는 이러한 한계를 극복하기 위한 능동형 보안관제 모델 개선 프로세스를 새롭게 제안하였다. 제안하는 방법은 이벤트를 수집하는 단계로 시작하여 피드백 이벤트 선정, 피드백 제안 및 수행, 피드백 전파 및 적용 단계로 구성되며 이를 통해 효율적인 피드백레이블 수집과 점진적 학습을 통한 성능향상을 확인하였다.

후속연구

본 연구의 한계점은 다수의 관제 인력을 운영하고 있는 환경에서 개개인의 지식, 경력 등에 따라 피드백 레이블이 다를 수 있고 모델 성능에 영향을 줄 수 있다. 이는 향후 관제 인력별 피드백 데이터를 통해 각각의 모델을 생성하고 평가 및 검증함으로써 모델을 선택적으로 운영하는 방식으로 개선할 수 있다.
능동형 모델 개선 프로세스는 보안관제 업무에서 소수의 관제인력을 통해 생성되는 피드백으로 모델을 신속하게 개선할 수 있다. 시간 및 인력 활용 측면에서 개선된 프로세스를 적용함으로써 신규 공격 변화에 신속하게 대응하고, 시스템 및 인적 자원에 대한 비용 절감효과에 따라 보안관제 업무 개선에 기여할 수 있을 것으로 보인다. 이를 통해 인공지능 도입 목적에 따라 보안관제 시스템 성능을 효율적으로 개선하고 관제 인력은 좀 더 창조적이고 전문적인 업무에 집중할 수 있도록 도움이 될 수 있다.
앞으로는 본 연구를 기반으로 XAI 기반 피드백 대상 데이터를 선정하며 자동화된 머신러닝(AutoML, Auto Machine Learning) 기술로 최적의 알고리즘으로 스스로 재학습함으로써 분석가의 개입을 최소화할 수 있는 기술을 연구를 하고자 한다.
본 연구의 한계점은 다수의 관제 인력을 운영하고 있는 환경에서 개개인의 지식, 경력 등에 따라 피드백 레이블이 다를 수 있고 모델 성능에 영향을 줄 수 있다. 이는 향후 관제 인력별 피드백 데이터를 통해 각각의 모델을 생성하고 평가 및 검증함으로써 모델을 선택적으로 운영하는 방식으로 개선할 수 있다.

참고문헌 (21)

M. Maloof and R. Michalski, "A method for partial-memory incremental learning and its application to computer intrusion detection," IEEE International Conference on Tools with Artificial Intelligence, 1995(11).
Xiaoming Yuan, "A Concept Drift Based Ensemble Incremental Learning Approach for Intrusion Detection," IEEE International Conference on Internet of Things, 2018(8).
Accenture Research, "State of Cyber Resilience Report," 2020.
Gustavo Betarte, "Web Application Attacks Detection Using Machine Learning Techniques," IEEE International Conference on Machine Learning and Applications (ICMLA), 2018(12).
Erxue Min, "Anomaly-Based Intrusion Detection through Text-Convolutional Neural Network and Random Forest," Hindawi Security and Communication Networks, 2018(7).
한국지능정보사회진흥원, 2020년도 인공지능기반 적응형 보안시스템 3차 구축 사업추진결과보고서, 2021.4, https://egov.nia.or.kr/
Shuai Zheng, "Effective Information Extraction Framework for Heterogeneous Clinical Reports Using Online Machine Learning and Controlled Vocabularies," JMIR Publications, 2017(5).
YuanTong Dong, "Research of Intrusion Detection Method Based on IL-FSVM," IEEE 8th Joint International Information Technology and Artificial Intelligence Conference (ITAIC), 2019.
신경일, "사이버 감시정찰의 정보 분석에 적용되는 점진적 학습 방법과 일괄 학습 방법의 성능 비교," 정보처리학회논문지, KIPS transactions on software and data engineering, 소프트웨어 및 데이터 공학, Vol.7, No.3, pp.99-106, 2018(7).
유지훈, "지속적인 사이버 공간의 위협 정보 학습을 위한 특징 선택과 점진적 학습," 국방보안연구소, 국방과보안, 제1권, 제2호, pp.203-225, 2019.
Liang, Yan, et al. "Automatic Security Classification Based on Incremental Learning and Similarity Comparison," IEEE 8th Joint International Information Technology and Artificial Intelligence Conference (ITAIC), 2019.
MIT, "Training a big data machine to defend," IEEE International Conference on Intelligent Data and Security (IDS), 2016.
PatternEX, "The Holy Grail of: Teaming humans and machine learning for detecting cyber threats," ACM SIGKDD Explorations Newsletter, 2019.
이글루시큐리티, "SPiDER TM AI Edition 제품 설명," http://www.igloosec.co.kr/
SANS, 2018 Security Operations Center Survey, A SANS 2018 Survey, 2018.
CISCO, "Anticipating the Unknowns," CISCO CYBERSECURITY SERIES 2019 ASIA PACIFIC CISO BENCHMARK STUDY, 2019.
CRITICALSTART Research Report, THE IMPACT OF SECURITY ALERT OVERLOAD, 2019.
http://www.lirmm.fr/pkdd2007-challenge/
https://www.tic.itefi.csic.es/torpeda/datasets.html
정일옥, 전이학습과 불균형 데이터 처리를 통한 침입탐지 성능향상에 관한 연구, 고려대학교, 박사학위논문, 2021(8).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증