[논문]강화학습 기반 네트워크 취약점 분석을 위한 적대적 시뮬레이터 개발 연구

김정윤; 박종열; 오상호

doi:10.13089/jkiisc.2024.34.1.21

[국내논문] 강화학습 기반 네트워크 취약점 분석을 위한 적대적 시뮬레이터 개발 연구
A Study on the Development of Adversarial Simulator for Network Vulnerability Analysis Based on Reinforcement Learning

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.34 no.1, 2024년, pp.21 - 29

김정윤 (서울과학기술대학교) , 박종열 (서울과학기술대학교) , 오상호 (국립부경대학교)

초록
AI-Helper

ICT와 network의 발달로 규모가 커진 IT 인프라의 보안 관리가 매우 어려워지고 있다. 많은 회사나 공공기관에서 시스템과 네트워크 보안 관리에 어려움을 겪고 있다. 또한 하드웨어와 소프트웨어의 복잡함이 커짐에 따라 사람이 모든 보안을 관리한다는 것은 불가능에 가까워지고 있다. 따라서 네트워크 보안 관리에 AI가 필수적이다. 하지만 실제 네트워크 환경에 공격 모델을 구동하는 것은 매우 위험하기에 실제와 유사한 네트워크 환경을 구현하여 강화학습을 통해 사이버 보안 시뮬레이션 연구를 진행하였다. 이를 위해 본 연구는 강화학습을 네트워크 환경에 적용하였고, 에이전트는 학습이 진행될수록 해당 네트워크의 취약점을 정확하게 찾아냈다. AI를 통해 네트워크의 취약점을 발견하면, 자동화된 맞춤 대응이 가능해진다.

Abstract ▼ AI-Helper

With the development of ICT and network, security management of IT infrastructure that has grown in size is becoming very difficult. Many companies and public institutions are having difficulty managing system and network security. In addition, as the complexity of hardware and software grows, it is becoming almost impossible for a person to manage all security. Therefore, AI is essential for network security management. However, since it is very dangerous to operate an attack model in a real network environment, cybersecurity emulation research was conducted through reinforcement learning by implementing a real-life network environment. To this end, this study applied reinforcement learning to the network environment, and as the learning progressed, the agent accurately identified the vulnerability of the network. When a network vulnerability is detected through AI, automated customized response becomes possible.

Keyword

표/그림 (12)

그림 Fig. 1. Reinforcement Learning Progress
표 Table 1. Mapping Reinforcement Learning to Cybersecurity1
표 Table 2. Mapping Reinforcement Learning to Cybersecurity2
표 Table 3. Lockheed Martin's Cyber Kill Chain Step7
그림 Fig. 2. Exploited node discovery process
표 Table 4. MDPs in Emulation Environments Environment
그림 Fig. 3. Node attack process
그림 Fig. 4. 20 episodes average rewards
그림 Fig. 5. 20 episodes average success rate
그림 Fig. 6. 20 episodes average No. of iterations
그림 Fig. 7. 20 episodes average reward by actions
표 Table 5. table of result

AI 본문요약
AI-Helper

문제 정의

본 연구는 MITRE ATT&CK 데이터베이스에서 가져 온, 실제 있었던 사이버 공격 시나리오를 가상 환경에서 구현하여 강화학습을 이용해서 해당 네트워크의 취약점이나 효과적인 사이버 공격을 찾고, 자동화된 네트워크 보안을 구성하는 것에 목적이 있다.
본 연구에서는 강화학습 기반의 소규모 데이터에서 학습 및 공격 시나리오 탐지 기술을 개발한다. 또한 마이크로소프트에서 개발한 CyberBattleSim을 바탕으로 베이스라인 환경을 구축하고, 강화학습 기법을 적용하여 적대적 시뮬레이션을 가능하게 하는 프로토타입 기술을 개발한다.
은 episode에 따른 성공확률을 나타낸 그래프이다. 본 연구에서는 학습할 네트워크 환경의 모든 PC를 점령하면 terminal state로 이동해 해당 에피소드가 종료된 것으로 보고 시뮬레이션을 진행했다.
본 연구는 실재했던 사이버 공격 시나리오를 가상 환경에서 구현하여 강화학습을 이용해서 해당 네트워크의 취약점이나 효과적인 사이버 공격을 찾고, 자동화된 네트워크 보안을 구성하는 것에 목적이 있다. 기존에 있었던 가상 시나리오 베이스 시뮬레이션 연구와는 달리[8] 본 연구에서는 MITRE ATT&CK의 실제 시나리오를 바탕으로 공격 시뮬레이터를 구현 및 실험하는 데 성공했다.

제안 방법

본 연구에서는 강화학습 기반의 소규모 데이터에서 학습 및 공격 시나리오 탐지 기술을 개발한다. 또한 마이크로소프트에서 개발한 CyberBattleSim을 바탕으로 베이스라인 환경을 구축하고, 강화학습 기법을 적용하여 적대적 시뮬레이션을 가능하게 하는 프로토타입 기술을 개발한다.
MITRE ATT&CK의 Ajax Security Team의 techniques을 action으로 구현하고, 프로세스를 가져와 시뮬레이션 시나리오를 구성하였다.
본 연구는 실재했던 사이버 공격의 시나리오를 그 공격에 쓰였던 tactics와 techniques을 구현해 시뮬레이션을 진행하였다. MITRE ATT&CK의 Ajax Security Team의 techniques을 action으로 구현하고, 프로세스를 가져와 시뮬레이션 시나리오를 구성하였다.
Ajax Security team이 접근에 사용한 techniques에는 spearphishing, credential from web browsers, key logging 총 3가지가 있다. 본 연구에서는 앞의 공격 3가지에 흔히 사이버 공격에 많이 쓰이는 port scan까지 총 4가지를 attacker가 할 수 있는 action으로 설정하였다.
본 연구는 딥러닝 프레임워크인 PyTorch를 사용하고, 시뮬레이션 환경 구현을 위해 사용할 PC와 attacker, environment class를 정의하였다. 본 연구의 실험코드는 CyberBattleSim의 코드의 내부 구성을 참고하여 모두 새롭게 작성되었다.
CyberBattleSim은 client와 server를 나타내는 노드들이 존재하고, attacker가 action을 통해 하나씩 점령한다. 따라서 본 연구도 이와 같이 노드들을 정의하고, attacker가 action을 통해 목적을 달성하는 방식으로 진행되었다. CyberBattleSim의 큰 그림만 가져오고, 노드들의 state, attacker의 action등은 모두 본 연구를 위해 새로 구현되었다.

이론/모형

즉, 기존의 머신러닝 알고리즘과 딥러닝 모델은 변이에 대한 대응력이 부족하다는 단점이 있음을 알 수 있다. 이에 본 연구는 강화학습 기반 사이버 보안 연구를 진행하였다.
본 연구에서는 대표적인 value-based 강화학습 알고리즘인 Q-learning과 성능이 더 향상된 Deep Q-Network(DQN)을 사용했다. 정책기반 강화학습 알고리즘으로는 Actor-Critic과 Proximal Policy Optimization(PPO)를 사용하였다.
본 연구에서는 대표적인 value-based 강화학습 알고리즘인 Q-learning과 성능이 더 향상된 Deep Q-Network(DQN)을 사용했다. 정책기반 강화학습 알고리즘으로는 Actor-Critic과 Proximal Policy Optimization(PPO)를 사용하였다.
실험에는 신경망을 사용하는 DQN, Actor Critic, PPO 강화학습 알고리즘을 사용하였다. 베이스라인 강화학습 알고리즘으로는 신경망을 쓰지 않는 tabular Q-learning을 사용하였다.
실험에는 신경망을 사용하는 DQN, Actor Critic, PPO 강화학습 알고리즘을 사용하였다. 베이스라인 강화학습 알고리즘으로는 신경망을 쓰지 않는 tabular Q-learning을 사용하였다.

성능/효과

는 지금까지의 실험결과 그래프를 표로 나타낸 것이다. cummulative reward, success rate, No of Iteration 모두 actor-critic 알고리즘이 좋은 성능을 보였고, 해당 환경에서는 spoofing이 가장 효율적인 action이었다.
또한 CyberBattle Sim에 구현되어있는 추상적인 action들이 아닌 실제로 사용되는 해킹 기법을 구현하여 시뮬레이터를 개발하였기 때문에 보다 더 현실성이 있다고 볼 수 있다. 시뮬레이션에 여러 강화학습 알고리즘들을 적용하여 취약점 및 효과적인 공격 방법을 도출하는 것이 가능했다. 이번 시뮬레이션 실험에서는 Actor-Critic 알고리즘이 가장 좋은 결과를 보여주었고, 추후 일반적인 state와 action들을 좀 더 추가하여 특정 시나리오뿐만 아니라 모든 시나리오를 적용시킬 수 있는 프레임워크를 만들 수 있을 것이다.

후속연구

또한 자동화되고, AI로 대체된 해커들이 많아져 한정된 인적 자원으로 완벽한 보안을 확신할 수 없어졌다[10][11]. 따라서 실제 환경에서 공격 모델을 실행했을 때의 위험성과 제한적인 가상 공간에서 진행되는 실험의 제약, 자동화된 공격 시나리오를 다른 도메인으로 전이하는 연구의 필요성이 높아졌다. 본 연구는 MITRE ATT&CK 데이터베이스에서 가져 온, 실제 있었던 사이버 공격 시나리오를 가상 환경에서 구현하여 강화학습을 이용해서 해당 네트워크의 취약점이나 효과적인 사이버 공격을 찾고, 자동화된 네트워크 보안을 구성하는 것에 목적이 있다.
이번 시뮬레이터 개발을 통해 대규모 네트워크 상황에서 운영이 어려운 다양한 공격 시뮬레이션의 시험 운영이 가능해질 것이다. 또한 다양한 변이 공격에 대한 모의시험으로 실제 네트워크에는 영향을 주지 않지만, 매우 정확하고 현실과 유사한 연구를 진행할 수 있을 것이다.
이번 시뮬레이터 개발을 통해 대규모 네트워크 상황에서 운영이 어려운 다양한 공격 시뮬레이션의 시험 운영이 가능해질 것이다. 또한 다양한 변이 공격에 대한 모의시험으로 실제 네트워크에는 영향을 주지 않지만, 매우 정확하고 현실과 유사한 연구를 진행할 수 있을 것이다. 또한 적은 학습 데이터와 많은 변이가 생성되는 상황에서도 동작하는 강화학습 기반 탐지 기술을 확보할 수 있을 것이다.
또한 다양한 변이 공격에 대한 모의시험으로 실제 네트워크에는 영향을 주지 않지만, 매우 정확하고 현실과 유사한 연구를 진행할 수 있을 것이다. 또한 적은 학습 데이터와 많은 변이가 생성되는 상황에서도 동작하는 강화학습 기반 탐지 기술을 확보할 수 있을 것이다.
시뮬레이션에 여러 강화학습 알고리즘들을 적용하여 취약점 및 효과적인 공격 방법을 도출하는 것이 가능했다. 이번 시뮬레이션 실험에서는 Actor-Critic 알고리즘이 가장 좋은 결과를 보여주었고, 추후 일반적인 state와 action들을 좀 더 추가하여 특정 시나리오뿐만 아니라 모든 시나리오를 적용시킬 수 있는 프레임워크를 만들 수 있을 것이다.

참고문헌 (17)

Jeong Do Yoo, Eunji Park, "Cyber Attack and Defense Emulation Agents", Applied Sciences, vol. 10, no. 6, Mar., 2020.？
Lee, jung-jai, Jongmin Park, "A Study on Cyber Security Technology", Jounal of The Korea Society of Information Technology Policy & Management (ITPM), pp. 2339-2344, Dec., 2021.？
Ho-Gun Rou, Gwang-Yong Gim, "A Study on Detection Method of Web Attack Using Machine Learning", A Study on Detection Method of Web Attack Using Machine Learning, pp. 1642-1650, Jul., 2020.？
Sang-Jun Lee, MIN KYUNG IL, "Research on Core Technology for Information Security Based on Artificial Intelligence", The Korea Journal of BigData, pp. 99-108, Dec., 2021.？
Chanho Shin, Changhee Choi , "Cyberattack Goal Classification Based on MITRE ATT&CK: CIA Labeling", Journal of Internet Computing and Services, pp. 15-26, Dec., 2022.？
Imatitikua D. Aiyannyo, Hamman Samuel, "A Systematic Review of Defensive and Offensive Cybersecurity with Machine Learning", Applied sciences, vol. 10, no. 17, Aug., 2020.？
KimJaeuk, Laehyun Park, "Analysis of Deep Learning Model Vulnerability According to Input Mutation", Journal of The Korea Institute of Information Security and Cryptology, pp.51-59, Jan., 2021.？
Erich Walter, Kimberly Ferguson-Walter, "Incorporating Deception into CyberBattleSim for Autonomous Defense", arXiv, 2021.？
C.P. Andriotis, K.G. Papakonstantinou, "Managing engineering systems with large state and action spaces through deep reinforcement learning", Reliability Engineering & System Safety, Nov., 2019.？
Doug Miller, Ron Alford, "Automated Adversary Emulation: A Case for Plannig and Acting with Unknowns", DTIC, Jan., 2018？
Erich C. Walter, "Incorporating deception into cyberbattlesim for autonomous defense", arXiv, 2021？
seungeunrho, "Reinforcement Learning from the Floor", youngjin.com, Sep., 2020.？
Microsoft 365 Defender Research Team, https://www.microsoft.com/en-us/security/blog/2021/04/08/gamifying-machine-learning-for-stronger-security-and-ai-models/, Apr., 2021.？
Mitre attack, "technique", https://attack.mitre.org/, Apr., 2023.？
Jungsik Lee, Sung-Young Cho, "A Study on Defense and Attack Model for Cyber Command Control System based Cyber Kill Chain", Journal of Internet Computing and Services, pp.41-50, Feb., 2021.？
Barbara Slavin, Jason Healey, "Iran: How a Third Tier Cyber Power Can Still Threaten the United States", ATLANTIC COUNCIL, Jul., 2013.？
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, "Playing Atari with Deep Reinforcement Learning", arXiv, 2013.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증