[논문]A Study on Construction Method of AI based Situation Analysis Dataset for Battlefield Awareness

Yukyung Shin; Soyeon Jin; Jongchul Ahn

doi:10.9708/jksci.2023.28.10.037

A Study on Construction Method of AI based Situation Analysis Dataset for Battlefield Awareness 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.10, 2023년, pp.37 - 53

Yukyung Shin (Intelligent C4I Team, Hanwha Systems Co.) , Soyeon Jin (Intelligent C4I Team, Hanwha Systems Co.) , Jongchul Ahn (Intelligent C4I Team, Hanwha Systems Co.)

초록
AI-Helper

인공지능에 기반한 지능형 지휘통체체계는 복잡하고 방대한 전장정보와 전술 데이터들을 학습모델을 통해 자동으로 융합 및 추출하여 전장상황을 분석한다. 지휘관은 지능형 지휘통제체계의 상황분석 결과를 제공받아 전장인식이 가능하여 의사결정을 지원할 수 있다. 의사결정지원에 특화된 결과를 지휘관에게 제공하기 위해서는 인공지능을 학습하기 위한 실 전장상황과 유사한 전장상황분석 데이터셋 생성이 필요하다. 본 논문은 기존 선행연구인 '인공지능 기반 전장상황분석을 위한 가상 전장상황 데이터 셋 생성 연구'의 다음 단계의 데이터셋 구축 방법 연구로 지휘관의 의사결정지원 및 미래 전장인식을 위해 최종적인 전장상황분석 결과에 필요한 데이터셋을 생성하는 방안에 대해 제안하였다. 전장상황 분석용 학습 데이터셋 생성도구 SW를 설계 및 구현하였고, 구현한 SW를 이용하여 데이터 레이블 작업을 진행하였다. Siamese Network 학습모델을 이용하여 구축한 데이터셋을 입력하고, 후처리 알고리즘을 활용한 출력 결과를 도출하여 생성한 데이터셋을 검증하였다.

Abstract ▼ AI-Helper

The AI based intelligent command and control system can automatically analyzes the properties of intricate battlefield information and tactical data. In addition, commanders can receive situation analysis results and battlefield awareness through the system to support decision-making. It is necessary to build a battlefield situation analysis dataset similar to the actual battlefield situation for learning AI in order to provide decision-making support to commanders. In this paper, we explain the next step of the dataset construction method of the existing previous research, 'A Virtual Battlefield Situation Dataset Generation for Battlefield Analysis based on Artificial Intelligence'. We proposed a method to build the dataset required for the final battlefield situation analysis results to support the commander's decision-making and recognize the future battlefield. We developed 'Dataset Generator SW', a software tool to build a learning dataset for battlefield situation analysis, and used the SW tool to perform data labeling. The constructed dataset was input into the Siamese Network model. Then, the output results were inferred to verify the dataset construction method using a post-processing ranking algorithm.

주제어

표/그림 (32)

그림 Fig. 1. DARPA's AIDA Program
표 Table 1. Description of Terms and Datasets
그림 Fig. 2. Embedding Method of Unit Hypo
그림 Fig. 3. Embedding Method of Candidate Hypo
그림 Fig. 4. Model Architecture
그림 Fig. 5. Graph Structure of Combination Hypo
표 Table 2. Description of Attributes
표 Table 3. Hierarchical Structure of Hypothesis
그림 Fig. 6. Embedding Vector of Aggregation Hypo
그림 Fig. 7. Embedding Vector of Combination Hypo
표 Table 4. Attributes of Candidate Hypo
표 Table 5. Description of Hypotheses
그림 Fig. 8. Construction Process for Pair of Combination Hypo using Aggregation Hypo
표 Table 6. Combination for Aggregation Hypo (가)
표 Table 7. Combination for Aggregation Hypo (나)
표 Table 8. Construction of Combination Hypo
그림 Fig. 9. Building a Prototype to Construct the Dataset for Battlefield Situation Analysis
표 Table 9. Pseudo Code for Auto-Label Algorithm
그림 Fig. 10. Dataset Generator SW UI - Setting the Number of Combinations to Construct the Combination Hypotheses
그림 Fig. 11. Dataset Generator SW UI - Result of Construction the Combination Hypotheses
그림 Fig. 12. Dataset Generator SW UI – Functions of Labeling the Combination Hypothesis and Relevance Attribute
그림 Fig. 13. Dataset Generator SW UI - Result of Construction the Pair of combination hypotheses
그림 Fig. 14. Dataset Generator SW UI – Edit and Delete Functions
그림 Fig. 15. Dataset Generator SW UI – Save and Export Functions
그림 Fig. 16. Example of Siamese Model Output
그림 Fig. 17. [Step 1-1] Example of Pairwise Output to Matrix Conversion and Initialization
그림 Fig. 18. [Step 1-2] Example of Matrixization
표 Table 10. Number of Datasets
그림 Fig. 19. [Step 2-1] Example of Random Walk
그림 Fig. 21. [Step 3] Example of Refine Process
그림 Fig. 20. [Step 2-2] Example of Stationary Distribution
표 Table 11. Experimental Result using nDCG metric

AI 본문요약
AI-Helper

가설 설정

자동화 알고리즘에서 조합가설 데이터셋의 속성 중 관련성 지표가 중요하지만 본 논문에서는 관련성 생성 방안에 대한 설계 내용은 기술하지 않았다. 관련성 생성 방안 연구와 관련성과 연관이 있는 Fig.

제안 방법

각 기능은 세부 기능으로 나눠서 데이터셋이 구축된다. 전장상황분석 학습 데이터셋 생성도구 SW 개발 환경은 JAVA 및 python 언어를 기반으로 웹 서버 및 UI를 구현하였고, MySQL을 이용한 DB를 구축하여 학습 데이터셋 생성을 위한 시스템 환경을 구성하였다.
여러 보고서에 유사한 내용이 많이 나올수록 단위가설 및 후보가설이 병합할 가능성이 높아 정보 발생빈도가 높아지므로 해당 보고가 오류일 확률은 비교적 낮아진다. 지식 정확도는 사건 및 개체를 추출하는 모델의 결과를 지식베이스에서 함께 저장하여 그 반환된 결과를 가져와서 활용하지만, 지휘관의 입장에서 모델의 정확도보다 실제 작성된 보고서 기반으로 출처 신뢰도나 생성된 보고서 단어의 정보 발생빈도를 좀 더 활용할 거라 판단하여 지표 중 가장 후순위로 두고 자동화 조합가설 쌍 생성 레이블을 구현하였다.
nDCG가 높을수록 상위권 순위에 해당하는 순위들을 모델이 제대로 추론했다고 볼 수 있다. 지휘관에게 정확하고신뢰도가 높은 정보들을 주는 것은 중요하지만 가장 우선인 1위의 순위만 가지고 의사결정을 하는 것보다 여러 개의 높은 순위들의 결과들을 가지고 의사결정 지원하는 것이 중요하므로 F-measure, MRR, MAP 등 다른 지표보다 nDCG의 평가지표를 가지고 의사결정을 판단하는 것을 추천한다.

대상 데이터

본 논문은 실 전장상황에 관련된 데이터를 활용한 것이 아닌 실 데이터와 유사한 모의 시나리오를 설계하였고, 웹에서 쉽게 취득할 수 있는 뉴스 보도자료, 국방백서, 국방일보 등의 데이터를 활용하여 데이터 구축에 활용하였다. 실 데이터가 아닌 유사한 데이터를 설계하여 직접적으로 군에서 사용하는 체계인 지능형 지휘통제체계에 활용하기에는 적합하지 않다.

데이터처리

앞서 정의한 9개의 토픽별 시험용 데이터셋을 학습이 완료된 모델에 입력하여 Pair 형태의 값들을 출력하고, Spectral MLE 후처리 방법을 이용하여 Listwise 출력값으로 도출된 결과를 가지고 성능 평가를 진행한다.

이론/모형

Fig. 4.와 같이 학습 단계에서 Pairwise 방법론의 Siamese 모델을 이용한 학습모델을 생성하고, 추론 단계에서 Siamese 모델의 쌍(Pair) 형태의 출력값을 Spectral MLE를 활용하여 최종적인 순위 결과를 도출한다.

후속연구

관련성 생성 방안 연구와 관련성과 연관이 있는 Fig. 4.의 첫 번째 과정에서 필요한 후보가설과 관련된 사용자 질의 데이터셋 구축 생성 방안, 검증모델로 표현한 회귀 모델 및 머신러닝 앙상블을 비교한 연구 등은 추후 논문을 통해 제시할 예정이다. 또한, 국방품질 측면에서 직접 구축한 데이터셋을 지능형 지휘통제체계에 활용할 수 있도록 지속적으로 보완하여 품질을 향상할 예정이다.
의 첫 번째 과정에서 필요한 후보가설과 관련된 사용자 질의 데이터셋 구축 생성 방안, 검증모델로 표현한 회귀 모델 및 머신러닝 앙상블을 비교한 연구 등은 추후 논문을 통해 제시할 예정이다. 또한, 국방품질 측면에서 직접 구축한 데이터셋을 지능형 지휘통제체계에 활용할 수 있도록 지속적으로 보완하여 품질을 향상할 예정이다.
실 데이터가 아닌 유사한 데이터를 설계하여 직접적으로 군에서 사용하는 체계인 지능형 지휘통제체계에 활용하기에는 적합하지 않다. 사람이 직접 수동으로 데이터셋을 레이블 작업을 할 수 있지만 좀 더 각 속성의 중요도를 판별하여 자동화한 데이터 레이블 작업 생성 방안에 관해 기술하였기 때문에 추후 인공지능 기반 지능형 지휘통제체계의 학습모델에 필요한 데이터셋 생성 시 제안한 방법을 활용할 수 있다.

참고문헌 (16)

C.E. Lee, J.H. Son, H.S. Park, S.Y. Lee, S.J. Park, Y.T. Lee, "Technical Trends of AI Military Staff to Support Decision-Making of Commanders," Electronics and Telecommunications Trends, Vol. 36, No. 1, pp. 89-98, Feb. 2021, doi:10.22648/ETRI.2021.J.360110.？

원문보기 상세보기
F. Barlos et al. "Collection and Monitoring via Planning for Active Situational Scenarios (COMPASS): Strategic Multi-Layer Assessment Report," . Sandia National Laboratories, Jan. 2020, doi:10.2172/1592839.？
DEFENSE ADVANCED RESEARCH PROJECTS DAGENCY, Active Interpretation of Disparate Alternatives, https://www.darpa.mil/program/active-interpretation-of-disparate-alternatives？
E. Cho, S. Jin, Y. Shin, and W. Lee, "A Virtual Battlefield Situation Dataset Generation for Battlefield Analysis based on Artificial Intelligence," Journal of the Korea Society of Computer and Information, vol. 27, no. 6, pp. 33-42, Jun. 2022, doi:10.9708/JKSCI.2022.27.06.033.？

원문보기 상세보기
H. Jo, H. Choo, S. Jin, Y. Shin, W. Lee, K. Shin, "Hierarchical Graph Neural Network for Identifying Relevance between Hypotheses that Describe Battlefield Situation", Database Research, vol. 38, no. 2, pp. 18-28, Dec. 2022.？
G. Suh, Y. Shin, S. Jin, W. Lee, J. Ahn, and C. Suh, "Recommendation Model for Battlefield Analysis based on Siamese Network," Journal of the Korea Society of Computer and Information, vol. 28, no. 1, pp. 1-8, Jan. 2023, doi:10.9708/JKSCI.2023.28.01.001.？

원문보기 상세보기
J. Chen, P. Hu, E. Jimenez-Ruiz, O. M. Holter, D. Antonyrajah, and I. Horrocks, "OWL2Vec*: embedding of OWL ontologies," Machine Learning, vol. 110, no. 7, pp. 1813-1845, Jun. 2021, doi:10.1007/s10994-021-05997-6.？

상세보기
J. Pennington, R. Socher, and C. Manning, "Glove: Global Vectors for Word Representation," Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2014, doi: 10.3115/v1/d14-1162.？
Y. Shin, S. Jin, and J. Ahn, "A study on embedding method of hierarchical dataset for AI based battlefield situation analysis", Korea Software Congress 2022, vol. 49, no. 2, pp. 81-83, Dec. 2022.？
M. Koppel, A. Segner, M. Wagener, L. Pensel, A. Karwath, and S. Kramer, "Pairwise Learning to Rank by Neural Networks Revisited: Reconstruction, Theoretical Analysis and Practical Performance," Lecture Notes in Computer Science, pp. 237-252, 2020, doi:10.1007/978-3-030-46133-1_15.？
N. Serrano and A. Bellogin, "Siamese neural networks in recommendation," Neural Computing and Applications, vol. 35, no. 19, pp. 13941-13953, May. 2023, doi:10.1007/s00521-023-08610-0.？

상세보기
Y. Chen, and C. Suh, "Spectral mle: Top-k rank aggregation from pairwise comparisons," International Conference on Machine Learning, PMLR, pp. 371-380, Jun. 2015, doi:10.48550/arXiv.1504.07218？
S. Negahban, S. Oh, and D. Shah, "Rank Centrality: Ranking from Pairwise Comparisons," Operations Research, vol. 65, no. 1, pp. 266-287, Feb. 2017, doi:10.1287/opre.2016.1534.？

상세보기
M. Chen, "Performance Evaluation of Recommender Systems," International Journal of Performability Engineering, vol. 13, no. 8, pp. 1246-1256, Dec. 2017, doi: 10.23940/ijpe.17.08.p7.12461256.？

상세보기
A. Moffat and J. Zobel, "Rank-biased precision for measurement of retrieval effectiveness," ACM Transactions on Information Systems, vol. 27, no. 1, pp. 1-27, Dec. 2008, doi: 10.1145/1416950.1416952.？

상세보기
K. Jarvelin and J. Kekalainen, "IR evaluation methods for retrieving highly relevant documents," ACM SIGIR Forum, vol. 51, no. 2, pp. 243-250, Aug. 2017, doi:10.1145/3130348.3130374.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증