2016년 알파고의 대국 이후, 여러 산업 분야에서 인공지능 적용에 대한 요구가 많아지고 있고 그와 관련된 연구가 활발하게 진행되고 있다. 군사 분야도 마찬가지 인데, 지금까지 인공지능이 적용된 무기체계가 없었기 때문에 그 구현에 대한 노력이 도전으로 작용하고 있다. 한편 알파고를 이긴 알파고 제로는 인공지능의 자기학습에 의한 데이터 기반 접근법이 기존의 사람에 의한 지식 기반 접근법보다 좋은 결과를 도출할 수 있다는 결과를 보여주었다. 본 논문에서는 이러한 점을 착안하여, 알파고 제로의 기반이 되는 강화학습을 함정전투체계 또는 전투관리체계에 적용하는 것을 제안한다. 이는 일정한 승률을 보이는 최적의 전술적 결과물이 사용자 즉, 함장과 작전요원에게 권고할 수 있도록 하는 인공지능 어플리케이션을 함정전투체계에 적용하는 방법이다. 이를 위해 전투성능에 관한 체계의 정의, 함정전투체계 설계 방안과 실 체계와의 Mapping, 훈련체계가 현 작전 수행에 원활히 적용될 수 있는 방안을 더불어 제시한다.
2016년 알파고의 대국 이후, 여러 산업 분야에서 인공지능 적용에 대한 요구가 많아지고 있고 그와 관련된 연구가 활발하게 진행되고 있다. 군사 분야도 마찬가지 인데, 지금까지 인공지능이 적용된 무기체계가 없었기 때문에 그 구현에 대한 노력이 도전으로 작용하고 있다. 한편 알파고를 이긴 알파고 제로는 인공지능의 자기학습에 의한 데이터 기반 접근법이 기존의 사람에 의한 지식 기반 접근법보다 좋은 결과를 도출할 수 있다는 결과를 보여주었다. 본 논문에서는 이러한 점을 착안하여, 알파고 제로의 기반이 되는 강화학습을 함정전투체계 또는 전투관리체계에 적용하는 것을 제안한다. 이는 일정한 승률을 보이는 최적의 전술적 결과물이 사용자 즉, 함장과 작전요원에게 권고할 수 있도록 하는 인공지능 어플리케이션을 함정전투체계에 적용하는 방법이다. 이를 위해 전투성능에 관한 체계의 정의, 함정전투체계 설계 방안과 실 체계와의 Mapping, 훈련체계가 현 작전 수행에 원활히 적용될 수 있는 방안을 더불어 제시한다.
Since AlphaGo's Match in 2016, there has been a growing calls for artificial intelligence applications in various industries, and research related to it has been actively conducted. The same is true in the military field, and since there has been no weapon system with artificial intelligence so far,...
Since AlphaGo's Match in 2016, there has been a growing calls for artificial intelligence applications in various industries, and research related to it has been actively conducted. The same is true in the military field, and since there has been no weapon system with artificial intelligence so far, effort to implement it are posing a challenge. Meanwhile, AlphaGo Zero, which beat AlphaGo, showed that artificial intelligence's self-training data-based approach can lead to better results than the knowledge-based approach by humans. Taking this point into consideration, this paper proposes to apply Reinforcement Learning, which is the basis of AlphaGo Zero, to the Shipboard Combat System or Combat Management System. This is how an artificial intelligence application to the Shipboard Combat System or Combat Management System that allows the optimal tactical assist with a constant win rate to be recommended to the user, that is, the commanding officer and operation personnel. To this end, the definition of the combat performance of the system, the design plan for the Shipboard Combat System, the mapping with the real system, and the training system are presented to smoothly apply the current operations.
Since AlphaGo's Match in 2016, there has been a growing calls for artificial intelligence applications in various industries, and research related to it has been actively conducted. The same is true in the military field, and since there has been no weapon system with artificial intelligence so far, effort to implement it are posing a challenge. Meanwhile, AlphaGo Zero, which beat AlphaGo, showed that artificial intelligence's self-training data-based approach can lead to better results than the knowledge-based approach by humans. Taking this point into consideration, this paper proposes to apply Reinforcement Learning, which is the basis of AlphaGo Zero, to the Shipboard Combat System or Combat Management System. This is how an artificial intelligence application to the Shipboard Combat System or Combat Management System that allows the optimal tactical assist with a constant win rate to be recommended to the user, that is, the commanding officer and operation personnel. To this end, the definition of the combat performance of the system, the design plan for the Shipboard Combat System, the mapping with the real system, and the training system are presented to smoothly apply the current operations.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
둘째, TSCE 하에서 자함 및 ‘타(他) 함소(艦所)’의 플랫폼을 통제하는 것이고, 셋째, 자함 및 ‘타(他) 함소(艦所)’에서 보유하고 있는 무장을 효과적으로 통제하며, 넷째, 자함 및 ‘타(他) 함소(艦所)’에서 보유하고 있는 센서 장비를효과적으로 운용하고, 외부로부터 획득한 정보를 작전 으로 활용하기 위해 연결하는 것이다.
‘통제 Type Ⅰ’ 개념 하에서 AI CS의 임무은 첫째, 전술적 조언자로서 사람에게 전술을 권고하는 것이다. 둘째, TSCE 하에서 자함의 플랫폼을 통제하는 것이고, 셋째, 자함이 보유하고 있는 무장을 효과적으로 통제하며, 넷째, 자함이 보유하고 있는 센서 장비를 효과적으로 운용하고, 외부로부터 획득한 정보를 작전으로 활용하기 위해 연결하는 것이다. 첫 번째는 우리 연구내용의 전반적인 내용이므로 설명을 생략한다.
이 글의 목적은 이러한 도전의 노력을 경감하기 위해, AI CS 구현 방안을 제시하는 것이다. 이를 위해 2 장에서는 AI가 영향력을 미치는 CS 전투성능 범위를 살펴본다.
가설 설정
왜냐하면 실 작전 수행 중에 생산되는 Data의 양이 적기 때문이고, 이는 RL에서의 “Exploration and Exp loitation Dilemma” 현상이 발생할 수도 있다. 그리고, 실 작전 수행 Data를 활용할 경우, 대응세력의 의도를 한정할 수 있기 때문에(예, 적의 의도를 아군이 가정 함). 이 것은 AI CS가 Rule Base 기반의 결과를 도출 하는 것과 같은 개념이다.
AI CS의 ‘통제 Type Ⅰ’ 개념은 (그림 13)의 하단 [Unit Agent]와 같다. 우리 연구에서는 함정을 단위 Agent로 가정한다. 따라서 Single Agent의 전술 구현과 더불어 협동 작전 이상의 작전 수행을 위해서는 그에 관한 제약조건(Constraints, 이하 ‘Constraint’)이필요하다.
‘통제 Type Ⅱ’ 개념에서 AI CS의 역할은 ‘통제 Ty pe Ⅰ’의 그것과 비슷하다. 첫째, 전술적 조언자로서 전술을 사람에게 권고하는 것이다. 둘째, TSCE 하에서 자함 및 ‘타(他) 함소(艦所)’의 플랫폼을 통제하는 것이고, 셋째, 자함 및 ‘타(他) 함소(艦所)’에서 보유하고 있는 무장을 효과적으로 통제하며, 넷째, 자함 및 ‘타(他) 함소(艦所)’에서 보유하고 있는 센서 장비를효과적으로 운용하고, 외부로부터 획득한 정보를 작전 으로 활용하기 위해 연결하는 것이다.
제안 방법
Agent는 함장(또는 작전요원)에게 전술을 권고하고, 함장으로 부터 작전 지시를 받으므로, 이는 Constraints & Operational Instructions로 구조화 하였다. Agent의 Action은 함정에 탑재되는 센서 및 무장체계類, 그리고 함정의 플랫폼 부분에 해당하는데, 그 수량이 많으므로 향후 확장성을 고려 Capability의 개념으로 구조화하였고, 그 범주의 장비를 그 하위에 위치시켰다. 권판 검(2013)의 기존 ‘전투성능’ 개념은 녹색 영역, ‘특수성능’은 노란색 영역, ‘일반성능’은 파란색 영역과 같다.
RL의 “Exploration and Exploitation Dilemma” 현상을 고려하여 훈련체 계를 제시함으로써 다양한 환경에서 AI CS가 학습하 도록 가이드라인을 제시하였다.
軍 중심적 사고와 AI 기술의 원활한 적용을 위해 ‘전투성능’을 TSCE과 Mapping 되도록 체계화 시켰고, 그 성능의 범위와 AI가 탑재된 AI CS의 설계 방안을 제시하였다.
왜냐하면 지금까지 그러한 무기체계가 없었기 때문이다. 이러한 노력을 경감하고자 우리 연구에서는 AI 중 RL을 선정하였고, 무기체계 중 CS를 선정하여 그 구현 방안에 대해서 제시하였다. 軍 중심적 사고와 AI 기술의 원활한 적용을 위해 ‘전투성능’을 TSCE과 Mapping 되도록 체계화 시켰고, 그 성능의 범위와 AI가 탑재된 AI CS의 설계 방안을 제시하였다.
우리 연구에서는 특히일반적인 전투 수행 단계를 고려, 단계별로 적용 가능한 AI 이론을 살펴보았는데, ‘알고리즘 전문가’ 집단의 역할은 통제 및 교전분야에 중요하게 작용함을 알 수 있었다. 한편 우리는 작전 범위를 고려하여 통제를 두 가지로 나누어 살펴보았으며, 협동ㆍ합동 작전 수행이 가능한 방안을 제시하여 해당 작전에 해당하는 RL의 기술 적용이 용이하도록 제시하였다.
성능/효과
교전 前 단계인 통제단계와의 원활한 전투흐름을 위하여 하나의알고리즘에 의해 교전이 수행되도록 함이 적합할 것으로 보이고, “통제 Type”별로 교전이 이루어지도록 구체화하는 것이 바람직하다.
둘째, AI CS는 ‘전술적 권고자’ 역할을 수행하여야하기 때문에 사업관리자나 개발자 관점에서의 접근 보다는 작전요원의 관점에서 접근하는 것이 타당하기 때문이다.
우리 연구에서는 특히일반적인 전투 수행 단계를 고려, 단계별로 적용 가능한 AI 이론을 살펴보았는데, ‘알고리즘 전문가’ 집단의 역할은 통제 및 교전분야에 중요하게 작용함을 알 수 있었다.
첫째, 단독작전 수행에 필요한 통제의 개념(이하, ‘통제 Type Ⅰ’)과 둘째, 협동ㆍ합동 등 작전 수행에필요한 통제의 개념(이하, ‘통제 Type Ⅱ’)이 그것이다.
후속연구
앞으로 AI 기술의 무기체계 적용에 대한 요구는 높아질 것이다. 우리 연구로 인해 이러한 요구가 구체화 되고 개발자로 하여금 그 노력의 경감을 통해 작전요 원을 지원할 수 있도록 싸워서 이길 수 있는 ‘전술적조언자’로서의 AI CS가 구현되기를 기대한다.
우리 연구에서 제시하는 ‘통제’ 방법 적용을 통해 함정의 통제 개념이 구체화 되면, 함정 승조원의 피로도를 상당히 경감할 수 있을 것으로 판단된다.
이를 위해 지도학습과 비지도학습법을 이용하여 인공지능의 ‘지각’과 ‘추론’ 능력에 관련된 이론의 적용으로 구체화 될 수 있을 것이다.
우리 연구에서 제시하는 ‘통제’ 방법 적용을 통해 함정의 통제 개념이 구체화 되면, 함정 승조원의 피로도를 상당히 경감할 수 있을 것으로 판단된다. 한편 함정 승조원 중 작전요원은 우리 연구에서 제시하는 (그림 7)의 훈련체계에 기여할 수 있는데, AI CS가 다양한 환경에서 학습하도록 Exploration 개념의 아군및 대항군으로 활용이 가능할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
CS를 정의하시오
CS는 함정에 탑재된 모든 탐지 장비, 무장, 항해 지원장비 등을 네트워크로 연결하여 통합된 전술을 공유하고 표적의 탐지ㆍ추적에서부터 위협 분석, 무장할당, 교전 및 명중 여부 분석에 이르기까지 지휘 및무장 통제를 자동화함으로써 위협에 대한 전투 효과를 극대화시키기 위한 통합체계로[7] 함정에서 브레인 역할을 수행한다. 그런데 이를 위해서는 함정과 AI CS가 서로 통합 함정 컴퓨팅 환경(Total Ship Computing Environment, 이하 ‘TSCE’)[8]을 기반으로 연동 되어야 한다.
작전요원의 훈련 방향은 앞으로 어떻게 변화할 것인가?
그 이유는 교전규칙(ROE, Rules of Engagement), 전투수행지침, 유의사항, 함장(또는 작전요원)의 지시 등을 Agent가 수용하기 위해서이고, Human을 포함시킨 이유는 미래전수행 개념의 하나인 MUM-T(Manned and Unmanne d Team, 유․무인팀) 개념을 수용하기 위해서이다. 앞으로 작전요원(=Human)은 장비운용 중심의 전투체계 숙달훈련 보다는 AI에게 작전 지시를 할 수 있도록 ‘알고리즘 전문가[5]’로서의 모습으로 변화될 것이 다. 이는 전투발전지원요소 중 하나인 군사교리로 구체화 될 수 있을 것이다.
AlphaGo Zero가 AlphaGo와의 경기를 통해 시사하는 점은?
이는 단순히 RL 이론을 적용했다는 기술적인 측면 이외에도 많은 시 사점을 보인다. 이는 사람의 기보(棋譜), 즉 인간의 지식을 기반으로 한 접근법(knowledge-based approac h)이 최선의 방법이 아니라, 컴퓨터의 Self-play를 통 하여 생성된 데이터를 기반으로 한 데이터 기반 접근법(data-based approach)이 그를 대체할 수도 있다는 점이 그것이다.
참고문헌 (19)
"Trump to launch artificial intelligence initiative, but many details lacking," Science, 2019.
NIST, 'U.S. LEADERSHIP IN AI: A Plan for Federal Engagement in Developing Technical Standards and Related Tools', NIST, 2019.
Sutton, Richard S., and Andrew G. Barto, 'Reinforcement learning: An introduction', MIT press, 2018.
Silver, David, et al. "Mastering the game of go without human knowledge," Nature 550.7676, pp.354-359, 2017.
양승룡, 권판검, 양정선, 장경선. "제4차 산업혁명을 고려한 함정무기체계 발전방향에 관한 소고," 국방과 기술, 466, pp.92-101, 2017.
권판검, 장경선. "인공지능 기술의 군사적 사용 시 발생 가능한 위험을 최소화하기 위한 이론에 관한 소고," 국방과 기술, 484, pp.100-107, 2019.
국방기술품질원. 국방과학기술용어사전, 2020.
Dong, X. M., et al. "Analysis on the Architecture of USN DDG-1000 Total Ship Computing Environment," Journal of Ship Research 7.6, pp.7-15, 2012.
권판검. "전투성능 극대화를 위한 함정무기체계 발전 방향에 관한 소고: 플랫폼 중심에서 전투 성능 중심으로," 국방과 기술, 414, pp.110-115, 2013.
White F. E., "A Model for Data Fusion," National Symposium of Sensor and data Fusion, pp.149-158., 1998.
Steinberg, Alan N., and Christopher L. Bowman. 'Revisions to the JDL data fusion model', Handbook of multisensor data fusion, CRC press, 2017.
Blasch E., and Plano S., "Level 5 Refinement to aid the Fusion Process," Proceeding of SPIE, Vol. 5099, pp.288-297, 2003.
권판검, "작전 중심의 데이터 융합 모델에 관한 연구," 한국군사과학기술학회 추계학술대회, 2016.
Tan, Ming. "Multi-agent reinforcement learning: Independent vs. cooperative agents," Proceedings of the tenth international conference on machine learning, pp.330-337, 993.
Lowe, Ryan, et al. "Multi-agent actor-critic for mixed cooperative-competitive environments," Advances in neural information processing systems, pp.6379-6390, 2017.
Schweighofer, Nicolas, and Kenji Doya. "Meta-learning in reinforcement learning," Neural Networks 16.1, pp.5-9, 2003.
Gupta, Abhishek, et al. "Meta-reinforcement learning of structured exploration strategies," Advances in Neural Information Processing Systems, pp.5302-5311, 2018.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.