[논문]AI 기반 국방정보시스템 개발 생명주기 단계별 보안 활동 수행 방안

박규도; 이영란

doi:10.13089/jkiisc.2023.33.3.577

AI 기반 국방정보시스템 개발 생명주기 단계별 보안 활동 수행 방안
A Methodology for SDLC of AI-based Defense Information System 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.33 no.3, 2023년, pp.577 - 589

박규도 (국군방첩사령부 국방보안연구소) , 이영란 (국군방첩사령부 국방보안연구소)

초록
AI-Helper

국방부는 국방혁신 4.0 계획에 기반한 첨단과학기술군 육성을 위해 AI를 향후 전력 증강의 핵심 기술로 활용할 계획이다. 그러나 AI의 특성에 따른 보안 위협은 AI 기반의 국방정보시스템에 실질적인 위협이 될 수 있다. 이를 해소하기 위해서는 최초 개발 단계에서부터 체계적인 보안 활동의 수행을 통한 보안 내재화가 필요하다. 이에 본 논문에서는 AI 기반 국방정보시스템 개발 시 단계별로 수행해야 하는 보안 활동 수행 방안을 제안한다. 이를 통해 향후 국방 분야에 AI 기술 적용에 따른 보안 위협을 예방하고 국방정보시스템의 안전성과 신뢰성을 확보하는데 기여할 수 있을 것으로 기대한다.

Abstract ▼ AI-Helper

Ministry of National Defense plans to harness AI as a key technology to bolster overall defense capability for cultivation of an advanced strong military based on science and technology based on Defense Innovation 4.0 Plan. However, security threats due to the characteristics of AI can be a real threat to AI-based defense information system. In order to solve them, systematic security activities must be carried out from the development stage. This paper proposes security activities and considerations that must be carried out at each stage of AI-based defense information system. Through this, It is expected to contribute to preventing security threats caused by the application of AI technology to the defense field and securing the safety and reliability of defense information system.

주제어

표/그림 (8)

그림 Fig. 1. ISO 23053, AI Systems Life Cycle
그림 Fig. 2. NIST, AI System Lifecycle
표 Table 1. Standard Development Process of Defense Software
그림 Fig. 3. OECD, AI System Lifecycle
표 Table 2. Comparison of Development Process of Defense Software & AI
그림 Fig. 4. Malicious PyTorch Dependency 'torchtriton' on PyPI Repository[27]
그림 Fig. 5. Classification Result of Fighter Image Created by Adversarial Sample[28]
표 Table 3. Security Activity in Development Process of AI-based Defense Information System

AI 본문요약
AI-Helper

문제 정의

이에 본 논문에서는 AI 기반 국방정보시스템의 보안 내재화 개발을 위해 국방 AI 개발공정 및 우리 군에 실질적인 영향을 끼칠 수 있는 보안 위협 시나리오를 도출하였으며 이를 바탕으로 AI 개발 단계별 고려 및 수행해야 하는 보안 활동을 제시하였다. 또한 각 보안 활동을 국방 SW 표준 개발 공정 단계별로 분류함으로서 자연스러운 보안 내재화 개발을 도모하고 관련 제도의 보완 및 발전에도 활용할 수 있도록 하였다.

제안 방법

각 단계별 세부 수행 내용을 살펴보면 첫 번째로 설계, 데이터 및 모델링 단계에서는 시스템의 컨셉과 목적, 전제 및 요구사항 등을 기반으로 프로토타입을 구축하는 시스템 계획 및 설계, 데이터를 수집 및 정제하여 품질과 완성도를 확인한 후 데이터셋의 특징을 문서화하는 데이터 수집 및 가공, 모델 및 알고리즘 선택, 세부 파라미터 수정, 결과 해석 등이 이루어지는 모델 구축 등의 작업을 순차적 또는 비순차적으로 수행한다. 검증 및 확인 단계에서는 구축된 모델을 실행하고 다양한 방식으로 검증 또는 수정하며, 배포 단계에서는 기존 시스템에 AI 모델 적용 시 호환성과 법(규정) 위반 여부 검증, AI 적용에 따른 조직의 업무 절차 및 사용자 경험 변경 사항 등을 확인한다. 운영 및 모니터링 단계는 AI 시스템이 원래의 목적에 맞게 지속해서 운영되고 있는지, 윤리적 문제가 발생하지 않는지 등을 확인하며, 문제 발생할 시 이전 단계로 돌아가 AI 체계를 수정하거나 AI 체계 자체를 폐기하는 방안을 검토한다.
국방 AI 개발공정은 국방 분야에서 개발 및 활용되는 AI 모델이 국방정보시스템 응용소프트웨어의 일부로 포함되는 점을 감안, 국방 표준 SW 개발공정과 유사한 절차를 따르도록 구성하였다. 이를 통해 AI 개발이 별도의 독립된 절차가 아닌 국방 응용소프트웨어 개발의 일부로서 함께 개발되어 개발 효율성 향상을 도모할 수 있을 것으로 생각된다.
따라서 본 논문에서는 먼저 국방정보화업무훈령 등 관련 훈령 및 규정과, 국제표준 및 주요 선진국 공공기관에서 제시한 AI 개발 생명주기를 바탕으로 국방 AI 개발공정을 정의하였다. 다음으로 주요 AI 보안 위협을 정리하고 이를 바탕으로 AI 기반 국방 정보시스템에서 발생 가능한 보안 위협 시나리오를 제시하였다. 최종적으로 국방 AI 개발공정 및 보안 위협 시나리오에 기반하여 AI 기반 국방정보시스템의 보안 내재화를 위한 개발 생명주기 단계별 보안 활동 수행 사항을 도출하였다.
따라서 본 논문에서는 먼저 국방정보화업무훈령 등 관련 훈령 및 규정과, 국제표준 및 주요 선진국 공공기관에서 제시한 AI 개발 생명주기를 바탕으로 국방 AI 개발공정을 정의하였다. 다음으로 주요 AI 보안 위협을 정리하고 이를 바탕으로 AI 기반 국방 정보시스템에서 발생 가능한 보안 위협 시나리오를 제시하였다.
설계 단계에서 수행해야 할 보안 활동은 ① AI 기술 적용 가능성 검토, ② AI 체계 이해관계자 선정, ③ 개발 과정에 필요한 접근 통제 절차 수립, ④ AI 개발용 SW 취약점 점검의 4가지로 정의하였다.
사전설계 단계에서는 데이터의 수집, 분류, 구조화, 선별 및 문제 정의, AI 체계와 관련된 이해관계자의 정의 등이 이루어진다. 설계 및 개발 단계에서는 데이터 분석 및 정제, 모델링 및 요구사항 분석 등을 수행하고, 배포 단계에서는 사용자 피드백 및 재정의, 운용 중인 AI 체계의 모니터링 및 폐기 등을 수행한다. 시험평가 단계는 상기 3개의 생명주기 단계 전반에 걸쳐 기술적 검증 및 확인(Verification & Validation)을 수행한다.
앞서 제시한 AI 개발 생명주기의 각 단계별 수행 활동을 종합한 후 국방 표준 SW 개발공정의 단계별 수행 내용과 유사성을 비교 분석하여 Table 2와 같이 국방 AI 개발공정을 정립하였다.
본 장에서는 AI 기반 국방정보시스템 개발 시 수행해야 하는 보안 활동을 Table 3과 같이 제안한다. 앞서 제시한 국방 AI 개발공정을 기반으로 국내외 AI 관련 보안제도 및 지침과 AI SDLC 관련 선행연구 등을 기반으로 우리 군의 실정에 부합하는 단계별 세부 보안 활동을 선정하였다. 또한 각 보안 활동들을 국방 SW 표준 개발공정 각 단계별로 분류함으로써 AI 기반 국방정보시스템의 보안 내재화 개발을 가능케 하고 시스템이 전력화되기 전 보안 위협을 사전 제거함으로써 AI 기술 적용에 따른 보안 위협을 예방하고 국방정보시스템의 안전성과 신뢰성을 확보하는 데 기여할 수 있을 것으로 기대한다.
AI 기반 국방정보시스템의 특징은 크게 ① 외주 용역을 통한 시스템 개발 및 운영, ② 이미지·영상판독 분야의 AI 활용 다수, ③ 군사(비밀)자료를 활용한 AI 학습 등 세 가지로 정의할 수 있다. 이를 바탕으로 3.1에서 제시한 주요 AI 보안 위협과 결합하여 AI 기반 국방정보시스템에서 발생 가능한 보안 위협 시나리오를 다음 세 가지로 제시하였다.

성능/효과

더불어 소프트웨어 개발 시에는 각 단계별로 지정된 산출물을 생산해야 하는데, 보안과 관련된 산출물로는 상세설계 단계에서의 시스템 보안설계서와 시험 평가 결과에 따른 정보보호 적합성 평가 결과, 보안 측정 및 조치 결과 등이 있다.
따라서 AI 개발 SW에 대한 보안(취약점) 점검 업무 세부 수행 지침·절차와 수행조직 등을 국방보안업무훈령 및 국방사이버안보훈령 등에 반영해야 한다.
이에 본 논문에서는 AI 기반 국방정보시스템의 보안 내재화 개발을 위해 국방 AI 개발공정 및 우리 군에 실질적인 영향을 끼칠 수 있는 보안 위협 시나리오를 도출하였으며 이를 바탕으로 AI 개발 단계별 고려 및 수행해야 하는 보안 활동을 제시하였다. 또한 각 보안 활동을 국방 SW 표준 개발 공정 단계별로 분류함으로서 자연스러운 보안 내재화 개발을 도모하고 관련 제도의 보완 및 발전에도 활용할 수 있도록 하였다. 이를 통해 AI 특징적인 보안 위협 및 취약성을 제거함으로써 안전하고 신뢰할 수 있는 국방 AI의 개발, 구현 및 활용이 가능할 것으로 기대된다.
다음으로 주요 AI 보안 위협을 정리하고 이를 바탕으로 AI 기반 국방 정보시스템에서 발생 가능한 보안 위협 시나리오를 제시하였다. 최종적으로 국방 AI 개발공정 및 보안 위협 시나리오에 기반하여 AI 기반 국방정보시스템의 보안 내재화를 위한 개발 생명주기 단계별 보안 활동 수행 사항을 도출하였다.

후속연구

국방부는 국방혁신 4.0 계획을 바탕으로 국방 全 분야에 AI를 적용하기 위한 노력을 지속하고 있으며, 향후 더욱 다양한 AI 기반 정보시스템을 전력화할 예정이다. 그러나 AI의 기술적 특징으로 인해 다양한 취약점과 보안 위협이 발생할 수 있어 이를 해소하기 위한 체계적이고 심도 깊은 정책적·기술적 노력이 필요하다.
이를 통해 AI 개발이 별도의 독립된 절차가 아닌 국방 응용소프트웨어 개발의 일부로서 함께 개발되어 개발 효율성 향상을 도모할 수 있을 것으로 생각된다. 또한 4장에 서술할 AI 기반 국방정보시스템 개발 단계별 보안 활동 수립 시에도 본 개발공정을 기반으로 함으로써 보안이 내재화된 AI 개발 절차를 수립하는데 기여할 수 있을 것이다. 단, 국방 표준 SW 개발공정의 ⓐ 준비 단계는 응용소프트웨어의 수명주기 모델을 선택하고 사업수행계획서를 작성하는 등 시스템 전반의 개발을 준비하는 단계로 직접적인 AI 개발의 절차에는 포함되지 않는다.
앞서 제시한 국방 AI 개발공정을 기반으로 국내외 AI 관련 보안제도 및 지침과 AI SDLC 관련 선행연구 등을 기반으로 우리 군의 실정에 부합하는 단계별 세부 보안 활동을 선정하였다. 또한 각 보안 활동들을 국방 SW 표준 개발공정 각 단계별로 분류함으로써 AI 기반 국방정보시스템의 보안 내재화 개발을 가능케 하고 시스템이 전력화되기 전 보안 위협을 사전 제거함으로써 AI 기술 적용에 따른 보안 위협을 예방하고 국방정보시스템의 안전성과 신뢰성을 확보하는 데 기여할 수 있을 것으로 기대한다. 이하에서는 각 단계별 세부 보안 활동과 우리 군 특성을 반영한 이의 적용 방안을 함께 제시한다.
마지막으로 AI 데이터 처리 및 모델 학습에 사용되는 SW 및 라이브러리의 상당수가 오픈소스인 점을 감안, 공급망 공격에 대비할 필요가 있다. 이를 위해 체계 설계 단계부터 사용이 예상되는 개발 관련 프로그램에 대한 목록을 관리하고 이에 대한 취약점 점검 및 형상 관리가 동반되어야 한다.
국방 AI 개발공정은 국방 분야에서 개발 및 활용되는 AI 모델이 국방정보시스템 응용소프트웨어의 일부로 포함되는 점을 감안, 국방 표준 SW 개발공정과 유사한 절차를 따르도록 구성하였다. 이를 통해 AI 개발이 별도의 독립된 절차가 아닌 국방 응용소프트웨어 개발의 일부로서 함께 개발되어 개발 효율성 향상을 도모할 수 있을 것으로 생각된다. 또한 4장에 서술할 AI 기반 국방정보시스템 개발 단계별 보안 활동 수립 시에도 본 개발공정을 기반으로 함으로써 보안이 내재화된 AI 개발 절차를 수립하는데 기여할 수 있을 것이다.
또한 각 보안 활동을 국방 SW 표준 개발 공정 단계별로 분류함으로서 자연스러운 보안 내재화 개발을 도모하고 관련 제도의 보완 및 발전에도 활용할 수 있도록 하였다. 이를 통해 AI 특징적인 보안 위협 및 취약성을 제거함으로써 안전하고 신뢰할 수 있는 국방 AI의 개발, 구현 및 활용이 가능할 것으로 기대된다.

참고문헌 (40)

McKinsey Global Institute, "Notes？from the AI frontier: Modeling the？impact of AI on the world economy,"？https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-applications-and-value-of-deep-learning, Accessed,？Feb. 2023
Ministry of National Defense, "The？Basic Plan of Defense Innovation？4.0," Mar. 2023
OECD, "The OECD Artificial Intelligence(AI) Principles," May. 2019
Europian Commision High-Level？Expert Group on Artificial？Intelligence, "Ethical Guidelines for Trustworthy AI," Apr. 2019
Ministry of Science and Technology, "Strategy to Realize Artificial？Intelligence Trustworthy for Everyone," May. 2019
U.S. Department of Defense, "DOD Adopts Ethical Principles for Artificial Intelligence" Feb. 2020
Sohee Park, Daeseon Choi, "Artificial？Intelligence Security Issue," Journal？of the Korea Institute of Information Security & Cryptology, 27(3), pp.27-32, Jun. 2017
Seulgi Lee, et al, "Research Trend in Attacks of Machine Learning Model," Journal of the Korea Institute of Information Security & Cryptology, 29(6), pp. 67-74, Dec .2019
Gwonsang Ryu, Daeseon Choi, "Reseach Trend in Artificial？Intelligence Security Attack and Defense," Journal of the Korea Institute of Information Security & Cryptology, 30(5), pp. 93-99, Oct. 2020
Samuli Laato, et al, "AI Governance in the System Development Life Cycle: Insights on Responsible Machine Learning Engineering,"？IEEE/ACM 1st International Conference on AI Engineering - Software Engineering for AI(CAIN), pp.113-123, Jun. 2022
Erick Galinkin, "Towards a Responsible AI Development Lifecycle: Lessons from Information Security",arXiv preprint arXiv: 2203.02958, Mar. 2022
Yoon Junghyun, "Issues and Prospects of AI Utilization in the Defense Field," STEPI Insight, pp. 1-55, Aug. 2021
Keun Ha Choi, et al, "The？Implications to ROK Armed Forces？from the Artificial Intelligence？Strategy of U.S. Department of？Defense and Army," Journal of the？Korea Association of Defense Industry？Studies, 27(1), pp. 41-52, Jun. 2020
Ministry of National Defense,？"Instruction on Defense Informationization," May. 2022
Ministry of Science and Technology,？"Framework Act on Intelligent？Informatization," Jun. 2020
Kwang-Chun Go, "Improvement of？the Acquisition Procedure for？Defense Information System," KIDA？Defense Issues & Analyses,？1916(22-37), Oct.
Sung Rim Cho, et al, "Development？of the Information Security？Methodology for Defense Organization," Korea Society of IT？Services, 12(4), pp. 77-90, Dec.？2013
ISO, "ISO/IEC 23053: Framework？for Artificial Intelligence(AI) Systems？Using Machine Learning(ML)," Jun.？2022
NIST, "AI Risk Management Framework," Jan. 2023
ISO, "ISO/IEC TR 24028: Overview？of Trustworthiness in Artificial？Intelligence," May. 2020
"Poison attacks against machine？learning, Security and spam-detection programs could be？affected," The Kurzweil Accelerating？Intelligence, July. 2012
Y. Yao, et al, "Latent Backdoor？Attacks on Deep Neural Networks,"？Proceedings of the 2019 ACM？SIGSAC Conference on Computer？and Communications Security, pp.？2041-2055, Nov. 2019
D. Song, "AI and Security: Lessons, Challenges, and Future Directions, "IEEE Symposium on Security and Privacy, 1st Deep Learning and Security Workshop, May. 2018
Hyun Kwon, Youngchul Kim, "Trend in Technology of Adversarial Examples in Deep Learning Model,"？Journal of the Korea Institute of？Information Security & Cryptology, 31(2), pp. 5-12, Apr. 2021
Hyun Kwon, et al, "Research Trend in Evasion Attacks of AI Security Problems," Communications of the Korean Institute of Information Scientists and Engineers, 36(2), pp.32-36, Feb. 2018
The Pytorch Team, "Compromised PyTorch-nightly dependency chain between December 25th and December 30th, 2022", https://pytorch.org/blog/compromised-nightly-dependency/#how-to-check-if-your-python-environment-is-affected, Accessed, Feb. 2023
Ax Sharma, "PyTorch discloses malicious dependency chain compromise over holidays," https://www.bleepingcomputer.com/news/security/pytorch-discloses-malicious-dependency-chain-compromise-over-holidays/, Accessed, Jan. 2023
Chan Ho Jeong, Hyun Kwon, "A Study on Adversarial Examples for Image-Based Deep Learning Model？in the Military," Proceedings of？Symposium of the Korean Institute of communications and Information Sciences, pp. 1452-1453, Jun. 2021
W. Brendel, et al, "Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models," International Conference on Learning Representations, Feb. 2018
Yoonsoo An, Daeseon Choi, "Model？Type Inference Attack Using Output？of Black-box AI Model," Journal of？the Korea Institute of Information？Security & Cryptology, 32(5), pp.？817-826, Oct.
Ministry of Science and Technology,？Telecommunications Technology？Association, "Guideline for Trustworthy AI Development," Jan. 2022
Seyong Kim, et al, "A Study on the？Strategic Application of National？Defense Data for the Construction？of Smart Forces in the 4th IR,"？Convergence Security Journal,？20(4), pp. 113-123, Oct. 2020
Ministry of National Defense,？"Second Session of the Defense Data？Management Committee Held by？Ministry of National Defense," Press？Release, Apr. 2023
Financial Security Institute,？"Guideline for Financial Sector AI？Security," Apr. 2023
Tramer, Florian, et al. "Ensemble？adversarial training: Attacks and？Defenses." arXiv preprint？arXiv:1705.07204, Apr. 2020
J. Jia, et al, "Mem Guard: Defending against Black-Box Membership Inference Attacks via Adversarial？Examples," Proceedings of the2019ACM SIGSAC Conference on Computer and Communications Security, pp. 259-274, Dec. 2019
DARPA, "Explainable Artificial？Intelligence," Aug. 2016
Donghan Oh, "Utilization of？Artificial Intelligence Technology in the Military and Suggestion of XAI Technology Application Direction,"？Journal of Digital Contents Society,23(5), pp. 943-951, May.

상세보기
Yongbok Lee, et al, "Development of？Artificial Intelligence Weapon System Test and Evaluation Methods: Performance Evaluation of？the Classification Model," Journal of？Applied Reliability, 22(1), pp. 1-9,Mar.

상세보기
Woo-sung Yang, et al, "Korean Security Risk Management Framework for the Application of？Defense Acquisition System,"？Journal of the Korea Institute of？Information Security & Cryptology, 32(6), pp. 1183-1192, Dec. 2022？

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증