[논문]Research on the application of Machine Learning to threat assessment of combat systems

Seung-Joon Lee

doi:10.9708/jksci.2023.28.07.047

Research on the application of Machine Learning to threat assessment of combat systems 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.7, 2023년, pp.47 - 55

Seung-Joon Lee (Naval R&D Center, Hanwha Systems)

초록
AI-Helper

본 논문에서는 전투체계 위협지수를 머신러닝 모델 중 Gradient Boosting Regreesor, Suppor Vector Regressor를 통해 예측하는 방법을 제시한다. 현재 전투체계는 안전성과 신뢰성이 중시되는 소프트웨어이므로 신뢰성이 보장되지 않은 AI 기술의 적용을 정책상 제한하고 있으며, 이로 인하여 전력화된 국내 전투체계는 AI 기술을 탑재하고 있지 않다. 하지만 AI의 전력화를 목표로 하는 국방부의 정책 방향에 대응하기 위하여, 전투체계의 머신러닝 적용에 필요한 기반 기술을 확보하기 위한 연구를 실시하였다. 이 연구는 위협지수 평가에 필요한 데이터를 수집한 뒤 데이터 가공 및 정제, 머신러닝 모델 선정 및 최적의 하이퍼 파리미터를 선정하여 학습된 모델의 예측 정확도를 판단하였다. 그 결과 테스트 데이터에 대한 모델 점수가 99점 이상으로 도출되었으며 전투체계에 머신러닝 모델의 적용 가능성을 확인하였다.

Abstract ▼ AI-Helper

This paper presents a method for predicting the threat index of combat systems using Gradient Boosting Regressors and Support Vector Regressors among machine learning models. Currently, combat systems are software that emphasizes safety and reliability, so the application of AI technology that is not guaranteed to be reliable is restricted by policy, and as a result, the electrified domestic combat systems are not equipped with AI technology. However, in order to respond to the policy direction of the Ministry of National Defense, which aims to electrify AI, we conducted a study to secure the basic technology required for the application of machine learning in combat systems. After collecting the data required for threat index evaluation, the study determined the prediction accuracy of the trained model by processing and refining the data, selecting the machine learning model, and selecting the optimal hyper-parameters. As a result, the model score for the test data was over 99 points, confirming the applicability of machine learning models to combat systems.

주제어

표/그림 (18)

그림 Fig. 1. Defense AI three-stage evolutionary model[3]
그림 Fig. 2. Warfare Flow
그림 Fig. 3. Naval Combat Management Systems[7]
그림 Fig. 4. Machine Learning Classification
그림 Fig. 5. Procedure for conducting a study
그림 Fig. 6. Datasets Sample
그림 Fig. 7. Data collection, analysis and processing
표 Table 1. Features of datasets
표 Table 2. The Number of training dataset
표 Table 3. GBR Optimal Hyper Parameters
표 Table 4. GBR fit results
표 Table 5. SVR Optimal Hyper Parameters
표 Table 6. SVR fit results
그림 Fig. 8. GBR Scatter Plot
그림 Fig. 9. GBR Feature Importances
표 Table 7. The Number of discriminatory data
그림 Fig. 10. SVR Scatter Plot
그림 Fig. 11. Flight Movement Patterns

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 AI의 전력화를 목표로 하는 국방부의 정책 방향에 대응하기 위하여, 전투체계의 머신러닝 적용에 필요한 기반 기술을 확보하기 위한 연구를 실시하였다. 전투체계 도메인에서의 위협평가 기능에 머신러닝 예측 기법 중 GBR, SVR으로 지도 학습을 해보며 모델의 성능을 측정하였다.

제안 방법

본 논문에서는 전투체계 도메인에서의 위협평가 기능에 AI 적용에 대한 가능성을 확인하고, AI 중 머신러닝 예측기법 중 Gradient Boosting Regressor(이하 GBR), Support Vector Regression(이하 SVR)으로 지도 학습을 해보며, 각 모델의 성능을 측정하였다.
본 논문에서는 AI의 전력화를 목표로 하는 국방부의 정책 방향에 대응하기 위하여, 전투체계의 머신러닝 적용에 필요한 기반 기술을 확보하기 위한 연구를 실시하였다. 전투체계 도메인에서의 위협평가 기능에 머신러닝 예측 기법 중 GBR, SVR으로 지도 학습을 해보며 모델의 성능을 측정하였다.

대상 데이터

실제 해군에서 사용하는 전투체계의 실제 데이터 수집은 보안상 제한되므로 위협도를 평가하기 위해 실제 전투체계 교전 상황을 재현하여 전투체계에서 발생하는 데이터들을 약 10만개 정도 수집하였다. 그리고 학습 결과의 이상치가 발생하는 오차를 줄이기 위해 속성별 편향적인 데이터를 추가로 약 26만개 정도 생성하여 총 36만개의 데이터로 학습 데이터셋과 시험 데이터셋을 구성하였다.
실제 해군에서 사용하는 전투체계의 실제 데이터 수집은 보안상 제한되므로 위협도를 평가하기 위해 실제 전투체계 교전 상황을 재현하여 전투체계에서 발생하는 데이터들을 약 10만개 정도 수집하였다. 그리고 학습 결과의 이상치가 발생하는 오차를 줄이기 위해 속성별 편향적인 데이터를 추가로 약 26만개 정도 생성하여 총 36만개의 데이터로 학습 데이터셋과 시험 데이터셋을 구성하였다.

데이터처리

GridSearchCV API를 사용하여 GBR 모델의 하이퍼 파라미터 최적값을 확인하였다. 22개의 하이퍼 파라미터 중 4개의 하이퍼 파라미터를 사용하였으며, 그 값은 Table.
GridSearchCV API를 사용하여 SVR 모델의 하이퍼 파라미터 최적값을 확인하였다. 22개의 하이퍼 파라미터 중 3개의 하이퍼 파라미터를 사용하였으며, 그 값은 Table.
RMSE 방식으로 평균오차를 구했고, R2 Score로 모델의 성능을 확인하였다. 예측 값의 범위는 1~999이며 테스트 데이터셋 별 오차범위는 Table.
학습에 scikit learn API를 사용하였으며, 2개 모델(sklearn.ensemble.GradientBoostingRegressor, sklearn.svm.SVR)을 사용하여 성능을 비교하였다. 3.

성능/효과

Fig. 10과 같이 GBR 모델과는 대조적으로 오차가 심각함을 알 수 있고, 해당 데이터 자체가 SVR 모델 및 설정된 하이퍼 파라미터에서는 학습이 제대로 이루어지지 않음을 확인하였다. 전투체계 표적 데이터셋의 경우 SVR 모델에서는 제대로된 학습이 이루어지지 않았으며, 해당 모델은 현재 데이터셋에 적합하지 않음을 확인하였다.
4와 같다. learning_rate가 고정일 때 (max_depth * n_estimators)의 값이 클수록 즉, 트리가 많을수록 모델의 정확도가 높아짐을 확인하였으며, learning_rate가 높을수록 트리의 개수에 영향을 적게 받음을 확인하였고, subsample은 현재 데이터에서 크게 영향을 주는 하이퍼 파라미터가 아님을 확인하였다. 현재 위협평가 데이터와 같은 선형적이지 않은 데이터의 경우 트리의 개수에 영향을 많이 받음을 확인하였다.
좀 더 다양한 하이퍼 파라미터의 수정 및 데이터 속성의 다양화, 전처리가 필요할 것으로 보이며, 결과만으론 현재 데이터셋이 해당 모델에 적합하지 않을 수도 있다는 예측이 가능하다. 결과적으로 현재 전투체계를 통해 수집할 수 있는 데이터로 적용할 수 있는 모델은 GBR 모델인 것으로 확인하였으며, 전투체계 내 다른 기능에서의 AI 적용 가능성을 확인하였다.
2와 같이 표적식별, 위협평가, 무장할당, 명중평가로 이루어진다. 과정별 AI 적용이 필요하나 이 중 위협평가에 대한 AI 적용이 데이터 수집, 모델의 선택, 운용자 직접 개입 등의 측면에서 AI 적용의 첫 단계로 적절하다 판단하였다. 현재 전투체계에서의 위폅평가 기능은 현재 운용 중인 방법으로도 전투 상황에서의 유효성은 검증이 되었으나 국방정책의 흐름에 따라 무인전투체계의 신속한 전력화를 위한 방법에 대한 연구개발은 필요한 상황이다.
결과 속성과 ‘WF_ability’ 속성의 데이터셋이 균등하게 분포할 수 있도록 하였으며, 실제 데이터에서 무장 사거리 밖인 상황이 많아 무장 사거리 밖인 데이터를 다수 수집 및 생성하였다. 데이터를 속성별로 균등하게 생성한 이유는 모든 상황에 대해 모델이 학습하기 위함이며 균등하게 생성하지 않았을 경우 예측률이 떨어짐을 확인하였다. 추가로 본 연구에서는 R2 Score에 100 곱하여 R2 Score를 표현하였으며, R2 Score는 100이 최댓값이며, 높을수록 높은 예측률을 가진다.
모델 점수는 100점이 최댓값이나 최고 모델 점수가 26.79인 SVR 모델 학습 결과는 현재 데이터에 SVR 모델이 적합하지 않음을 알 수 있었다. Fig.
8은 테스트 데이터와 예측 데이터의 Scatter Plot이다. 실제 데이터와 모델을 통해 학습된 데이터의 분포도 및 성능을 육안으로 확인할 수 있는 표이며, 파란색 세모점과 주황색 동그라미 점이 많이 겹쳐 있을 때 예측 결과가 우수하다고 판단할 수 있다. 육안으로 볼 수 있듯이 GBR 모델의 학습 결과가 우수함을 확인하였으며, 본 연구에 사용한 데이터셋이 GBR 모델에 적절하다고 판단할 수 있다.
위협평가에 사용되는 데이터들은 전투체계의 센서들을 통해 수집할 수 있는 정형화된 데이터들이며, 추가로 운용자의 판단으로 정해지는 결과 데이터가 존재하여 머신러닝의 적용에 용이하며 적합성 또한 만족한다고 판단하였다. 머신러닝 중 지도학습의 경우 입력 데이터, 이에 따른 결과 데이터 모두를 학습 모델에 전달해줌으로써 입력된 데이터를 기반으로 결과값을 예측할 수 있는 모델이 있다.
실제 데이터와 모델을 통해 학습된 데이터의 분포도 및 성능을 육안으로 확인할 수 있는 표이며, 파란색 세모점과 주황색 동그라미 점이 많이 겹쳐 있을 때 예측 결과가 우수하다고 판단할 수 있다. 육안으로 볼 수 있듯이 GBR 모델의 학습 결과가 우수함을 확인하였으며, 본 연구에 사용한 데이터셋이 GBR 모델에 적절하다고 판단할 수 있다.
70 이상의 오차가 발생하는 경우가 약 100건으로 확인되었으나 높은 성능 및 신뢰할 만한 결과가 도출되었다. 전투체계 위협지수를 예측하는 데 필요한 데이터셋은 GBR 모델을 활용하면 신뢰할 만한 사용성이 있음을 입증하였다.
10과 같이 GBR 모델과는 대조적으로 오차가 심각함을 알 수 있고, 해당 데이터 자체가 SVR 모델 및 설정된 하이퍼 파라미터에서는 학습이 제대로 이루어지지 않음을 확인하였다. 전투체계 표적 데이터셋의 경우 SVR 모델에서는 제대로된 학습이 이루어지지 않았으며, 해당 모델은 현재 데이터셋에 적합하지 않음을 확인하였다. 모델별로 적합한 데이터셋이 있음을 확인하였다.
9점 및 평균 오차가 1% 미만인 결과를 확인하였다. 전투체계를 통해 수집된 데이터셋을 GBR 모델이 높은 성능으로 예측하였으므로 충분히 전투체계 위협평가 기능에 적용 가능한 수준으로 확인하였다. 반면에 SVR로 학습된 모델의 R2 Score가 약 29.

후속연구

머신러닝 중 지도학습의 경우 입력 데이터, 이에 따른 결과 데이터 모두를 학습 모델에 전달해줌으로써 입력된 데이터를 기반으로 결과값을 예측할 수 있는 모델이 있다. 앞서 말한 것과 같이 입력 데이터의 수집이 가능하고 위협평가에서 위협지수라는 결과값을 얻기 위해 머신러닝의 지도학습 중 회귀 모델을 사용하여 AI 적용을 기대할 수 있다고 판단한다.
7점인 결과를 확인하였다. 좀 더 다양한 하이퍼 파라미터의 수정 및 데이터 속성의 다양화, 전처리가 필요할 것으로 보이며, 결과만으론 현재 데이터셋이 해당 모델에 적합하지 않을 수도 있다는 예측이 가능하다. 결과적으로 현재 전투체계를 통해 수집할 수 있는 데이터로 적용할 수 있는 모델은 GBR 모델인 것으로 확인하였으며, 전투체계 내 다른 기능에서의 AI 적용 가능성을 확인하였다.

참고문헌 (18)

Department of Defense Editorial Board, "Promoting 'Future Defense Innovation Initiative' to leapfrog advanced science and technology forces : Focus on rapid application of advanced technologies such as AI and unmanned systems, and development of future-proof defense policies and strategies". Defense & Technology, Vol. 511, pp. 13-15, Sep. 2021？
Department of Defense Editorial Board, "Report on the implementation plan for the detailed implementation of the National Defense Policy Direction : Establishment of a three-axis system, strengthening of ROK-US joint exercises, and creation of a defense AI center". Defense & Technology, Vol. 522, pp.11-13, Aug. 2022.？
Se-Yong Kim, Heung-Sun Park. "Recommendations for the development of the Defense AI Center to foster an AI-based science and technology powerhouse". Defense & Technology, Vol. 528, pp. 84-91. Feb. 2023？
Jeong-Woo Son, "A Study on the Design Plan of Naval Combat System Software to Reduce Cost of Hardware Discontinuation Replacement", Journal of the Korea Society of Computer and Information, Vol. 28, No. 1, pp. 71-78, Jan. 2023. DOI: https://doi.org/10.9708/jksci.2023.28.01.071.？

원문보기 상세보기
K. T. Kwon, K. P. Kim, and H. J. Choi, "Design of the Scalable Naval Combat System Software using Abstraction and Design Pattern" Journal of The Korea Society of Computer and Information, Vol. 24, No. 7, pp. 101-108, July 2019.？
Cheol-Gyu Yi, Young-Gab Kim, "A Study on the Implementation of Software Security Test of Naval Ship Combat System" Journal of The Korea Institude of Communications and Information Sciences, Vol. 45, No. 03, pp. 628-637, March 2020. DOI: 10.7840/kics.2020.45.3.628？

상세보기
Naval Combat Management system, https://www.hanwhasystems.com/kr/business/defense/naval/combat_index.do？
Yelyn Ahn, Hyunhee Lee, Sungmin Ryu, Seoyeon Kim, Minseo Park, "Analysis of Coffee Franchise Failure Factor using Machine Learning Algorithms", Journal of the Korean Institute of Industrial Engineers, Vol. 49, No. 1, pp. 37-45, Feb. 2023. DOI: https://doi.org/10.7232/JKIIE.2023.49.1.037？

상세보기
Cha, Gi-Wook, Hong, Won-Hwa, "Development of Machine Learning Predictive Model for Forecasting Demolition Waste Generation", Journal of the Architectural Institute of Korea, Vol. 39, No. 2, pp. 229-235, Feb. 2023. DOI: https://doi.org/10.9708/jksci.2022.27.05.029？

원문보기 상세보기
Jung-Ju Im, Tae-Wan Kim, Ji-Seoup Lim, Jun-Ho Kim, Tae-Yong Yoo, Won Joo Lee, "A Design and Implement of Efficient Agricultural Product Price Prediction Model", Journal of The Korea Society of Computer and Information, Vol. 27, No. 5, pp. 29-36, May. 2022. DOI: https://doi.org/10.9708/jksci.2022.27.05.029.？

원문보기 상세보기
Tai-Sung Hur*, Suyoung Bang*, "A Comparative Analysis of the Pre-Processing in the Kaggle Titanic Competition", A Comparative Analysis of the Pre-Processing in the Kaggle Titanic Competition, Vol. 28 No. 3, pp. 17-24, March. 2023. DOI: https://doi.org/10.9708/jksci.2023.28.03.017.？

원문보기 상세보기
Hyun-Jong Cha, Ah Reum Kang, "Machine Learning-Based Power Demand Forecasting Model Using Meteorological Information", International JOURNAL OF CONTENTS, Vol. 23, No. 2, pp. 117-124, Jan. 2023. DOI: https://doi.org/10.5392/JKCA.2023.23.02.117？

상세보기
Xiguan Liang, Owen Anderton, Sowoo Park, Doosam Song, "Indoor occupancy estimation from CO2 concentration data based on machine learning", Korean Journal of Air-Conditioning and Refrigeration Engineering. pp. 72-77, Nov. 2022.？
NASA Engineering Safety Center (NESC), nasa/simupy-flight, simupy-flight, https://github.com/nasa/simupy-flight？
Dr. Bonnie Johnson, "Challenges In Implementing Artificial Intelligence For Naval Warfare", NAVAL ENGINEERS JOURNAL, Vol. 135, No. 1, pp. 95-103, March. 2023. https://bt.e-ditionsbyfry.com/publication/?m63540&i788511&p96&verhtml5？
Dr. Bonnie Johnson, Dr. John M. Green, Gregory Burns, Todd Collier, Richard Cornish, Kyle Curley, Allan Freeman, Jared Spears, "Mapping Artifi cial Intelligence to the Naval Tactical Kill Chain", NAVAL ENGINEERS JOURNAL, Vol. 135, No. 1, pp. 155-167, March. 2023. https://bt.e-ditionsbyfry.com/publication/?m63540&i788511&p156&verhtml5？
Kwon Pan Gum, Jang Kyoung Sun, Kim Seung Woo, Kim Jun Young, Yun Won Hyuk, Rhee Kye Jin, "A Study on the Implementation Method of Artificial Intelligence Shipboard Combat System", Jouranl of Information and Security, Vol. 20, No. 2, pp. 123-135, June 2020. DOI: https://doi.org/10.33778/kcsa.2020.20.2.123？

원문보기 상세보기
Youngmook Kim, "Development and application of artificial intelligence for military training modeling andsimulation in Republic of Korea", Journal of Advances in Military Studies, Vol. 4, No. 2, pp. 21-36. Aug. 2021. DOI: https://doi.org/10.37944/jams.v4i2.114

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증