$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

강화 및 진화 학습 기능을 갖는 에이전트 기반 함정 교전 시뮬레이션
The Battle Warship Simulation of Agent-based with Reinforcement and Evolutionary Learning 원문보기

한국시뮬레이션학회논문지 = Journal of the Korea Society for Simulation, v.21 no.4, 2012년, pp.65 - 73  

정찬호 (한국항공대학교 컴퓨터공학과) ,  박철영 (한국항공대학교 컴퓨터공학과) ,  지승도 (한국항공대학교 컴퓨터공학과) ,  김재익 (국방과학연구소)

초록
AI-Helper 아이콘AI-Helper

함정 전투체계는 무기체계, 정보통신 등의 기술 발전으로 인한 복잡한 전장 환경에 따라 인간이 개입하여 다양한 전술을 운용해야 한다. 따라서 에이전트 기반의 국방 M&S 시스템의 연구가 최근 들어 활발히 진행되고 있다. 그러나 현존하는 에이전트 기반 M&S 시스템은 고정된 전술을 적용하여 분석하는데 그치고 있다. 본 논문에서는 함정 교전에서 보다 적합한 대응을 찾기 위해 환경변화에 능동적으로 대처할 수 있도록 강화 학습 기능을 갖으며, 또한 유전 알고리즘을 이용하여 세대별 진화 학습 기능을 갖는 에이전트 모델링 방법론을 제안하였다. 타당성 검증을 위해 서해상에서 벌어지는 가상의 1:1 함정교전 시뮬레이션을 수행하였고, 이를 통해 함정 교전에 있어 강화 및 진화 학습이 가능함을 검증하였다.

Abstract AI-Helper 아이콘AI-Helper

Due to the development of technology related to a weapon system and the info-communication, the battle system of a warship has to manage many kinds of human intervention tactics according to the complicated battlefield environment. Therefore, many kinds of studies about M&S(Modeling & Simulation) ha...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 따라서 본 연구에서는 복잡한 환경 묘사와 다양한 전술을 수행하고 분석해야 하는 국방 M&S 시스템에 적합한 기법이라 할 수 있는 유전 알고리즘을 적용하고자 한다.
  • 본 논문에서는 강화 및 진화 학습 기능을 갖는 에이전트 기반 1:1 함정 교전 시뮬레이션을 진행하였다. 이를 위해 학습 모듈을 추가하여 단일 세대에서의 학습 능력을 부여하였고, 또한 단일 세대에서의 학습 능력을 갖는 지능 개체 시스템을 다중 개체 시스템으로 확장하고 유전 알고리즘과 진화 모델링을 적용하였다.
  • 본 연구에서는 강화 및 진화 학습 기능을 갖는 에이전트 기반 함정 교전 모델링을 위해 아래와 같은 모델 구조도에 따른 접근을 제안한다(Fig. 1 참조). 먼저 함정 교전 모델링을 위해 운용자 에이전트 모델, 함정 모델, 전장 환경 모델, 통제관 에이전트 모델들로 구성하였으며, 이를 살펴보면 다음과 같다.
  • 본 연구에서는 강화 학습을 위한 신뢰 할당 문제를 해결하기 위해 믿음 값과 가능성 값을 통한 증거구간 설정과 같은 효과적인 대안을 제공하는 Modified DemsterShafer 이론을 적용하고자 한다.
  • 그러나 이 연구는 단일 에이전트 중심으로 이루어져서 복잡한 상황 묘사가 어렵다는 단점이 있다. 본 연구에서는 이를 확장하여 다중 에이전트 기반의 강화 및 진화 학습 기능을 갖는 시뮬레이션 연구를 진행하고자 한다. 이를 검증하기 위해 함정 운용에 필요한 함장, 정보장교, 항해장교, 포술장교 등의 에이전트로 계층 구조적으로 구성하였다.
  • 이를 극복하기 위해 고도의 전술적 운용이나 다양한 전장 환경과 같은 복잡도가 높은 문제 해결을 위해 운용자 에이전트를 DEVS기반으로 수준을 향상시키고, 단일 함정 간의 함정교전에서 유전 알고리즘을 탑재한 통제관 에이전트를 사용하여 행동 중심적이고, 창발1)적 전술 생성 가능성을 연구하였고[6], 다대다 함정 교전 시뮬레이션을 통해 창발적인 협업 전술 생성의 가능성을 검증한 바 있다[7]. 본 연구에서는 전술 생성의 보완을 위해 강화 학습을 적용하여 학습과 진화라는 두 가지의 적응 과정을 보이고자 한다. 강화 학습은 개체의 일생동안에 이루어지는 반면 진화는 세대교체에 의하여 전반적으로 이루어진다.
  • 본 연구에서는 진화 및 강화 학습을 이용한 실험이 지능 향상에 도움을 주는 지를 비교하기 위해 진화 학습을 이용한 실험을 진행하였다. 실험 결과 Fig.
  • 앞서 설명한 모델링 방법론을 적용하여 강화 학습 및 진화 학습을 통해 항해 장교 에이전트는 신뢰도가 높은 함정의 이동 속도를 선택, 포술 장교 에이전트 또한 신뢰도가 높은 함포 종류, 함포의 사거리를 선택하고 진화하였는지에 대한 여부를 사례 연구를 통해 검증하고자 한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
유전 알고리즘이란 무엇인가? 유전 알고리즘은 자연 선택의 원리와 자연계의 생물 유전학에 기본 이론을 두며 병렬적이고 전역적(Global)인 탐색 알고리즘으로서, 최근에 생물의 진화과정, 즉 자연선별과 유전법칙 등을 모방한 진화전략(Evolution Strategies), 유전 프로그래밍(Genetic Programming)등 여러 형태의 이론과 기법들이 최적해 탐색 알고리즘이 필요한 산업, 공학 등의 다양한 분야에서 활용되고 있다[16].
에이전트 기반의 국방 M&S 시스템 연구가 활발히 진행되는 이유는 무엇인가? 함정 전투체계는 무기체계, 정보통신 등의 기술 발전으로 인한 복잡한 전장 환경에 따라 인간이 개입하여 다양한 전술을 운용해야 한다. 따라서 에이전트 기반의 국방 M&S 시스템의 연구가 최근 들어 활발히 진행되고 있다.
강화 학습이란 무엇인가? 강화 학습(Reinforcement Learning)은 동적 환경 하에 있는 에이전트(Agent)의 행동에 대한 보상(Reward)을 최대화하는 상태-행동 규칙이나 행동 발생 전략을 찾는 학습법이다. 즉 보상의 최대화라고 하는 목적만을 가지고 있기 때문에 본질적으로 불확실성과 지연 보상이 존재하지만 환경으로부터의 보상과 벌칙만으로 우수한 정보를 획득할 수 있다는 장점 때문에 애초에 정답이 없는 문제의 접근의 길을 열어주고 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (20)

  1. A. Ilachinski, "Towards a Science of Experimental Complexity: An Artificial Life. Approach to Modeling Warfare", Proceedings of 5th Experimental Chaos Conference. Orlando. FL. 2000. 

  2. Michael Babilot, "COMPARISON OF A DISTRIBUTED OPERATIONS FORCE TO A TRADITIONAL FORCE IN URBAN COMBAT", The Master's Thesis of Naval Postgraduate School, September, 2005. 

  3. Easton A., and Barlow M., "CROCADILE: An Agent Based Distillation System Incorporating Aspects of Constructive Simulation", Proceedings of SimTect 2002, Melbourne Australia, 13-16 May, 2002. 

  4. Yang A., H. A. Abbass and R. Sarker, "Evolving Agents for Network Centric Warfare", Proceedings of the 2005 GECCO Conference on Genetic and Evolutionary, pp. 25-29, June 2005. 

  5. Lovgsdon J., D. Nash and M. Barnes, "OneSAF Tutorial", 2008 Defense Modeling and Simulation Conference (DMSC), Olando, FL, USA, March 2008. 

  6. Yong-Jun You, Sung-Do Chi, Chan-Ho Jung et al, "A Study of Agent-based No-Human-in-the-Loop Battleship Warfare M&S System", The 7th Conference of marine weapon, pp. 29, 2008. 

  7. Chan-Ho Jung, Yong-Jun You, Sung-Do Chi et al, "Manyto- Many Warship Combat Tactics Generation Methodology Using the Evolutionary Simulation", Journal of The Korea Society for Simulation, Vol. 19, No. 3, pp. 79-88, 2011. 

  8. M. Mitchell, and S. Forrest, "Genetic Algorithms and Artificial Life", ArtificialLife, MITPress, Cambrige,1995. 

  9. Young-Kwang Kim, Jang-Se Lee, Sung-Do Chi, "Endomorphic Modeling of Intelligent Systems : Intelligent Card Game Players", Journal of KIISE, Vol. 26, No. 12, pp. 1507-1518, 1999. 

  10. L. P. Kaelbling, M. L. Littman, and A. W. Moore, "Reinforcement learning : a survey", Journal of Artificial Intelligence Research 4, 237-285, 1996. 

  11. B. P. Zeigler, "Some Properties of Modified Demster- Shafer Operators in Rule-Based Inference Systems", Int. J. General Systems, 1987. 

  12. Amandeep Singh Sidhu, Narendra S. Chaudhari, and Ghee Ming Goh, "Hierarchical Reinforcement Learning Model for Military Simulations", International Joint Conference on Neural Networks, Canada, July 2006. 

  13. NGAI Chi Kit, "Reinforcement-Learning-Based Autonomous Vehicle Navigation in a Dynamically Changing Environment", for the Degree of Doctor of Philosophy at The University of Hong Kong, November 2007. 

  14. Dong-Jin Lee, Hyo-Choong Bang, "Missile Evasive Strategies for Unmanned Aircrafts using Reinforcement Learning", The Conference of The Korean Society for Aeronautical & Space Sciences, pp 470-475, 2012. 

  15. Dong-Jin Lee, Hyo-Choong Bang, "Adaptive Linear Quadratic Regulator for Unmanned Helicopters via Reinforcement Learning", The Conference of The Koxrean Society for Aeronautical & Space Sciences, pp 1343-1346, 2011. 

  16. D.E. Goldberg, "Genetic Algorithm in Search, Optimization & Machine Learning", Addison-Wesley, 1989. 

  17. A.S. Yilmaz, B.N. McQuay, H. Yu, A.S. Wu, and J.C. Sciortino. "Evolving Sensor Suites for Enemy Radar Detection", In Genetic and Evolutionary Computation Conference Proceedings, Part II, pp. 2384-2395. July 2003. 

  18. S.W. Soliday. "A Genetic Algorithm model for mission planning and dynamic resource allocation of airborne sensors", In Proceedings, 1999 IRIS National Symposium on Sensor and Data Fusion, Laurel, MD, May 1999. 

  19. Sung-Young Lee, Sung-Ho Jang, Jong-Sik Lee, "Modeling and Simulation of Optimal Path Considering Battlefieldsituation in the War-game Simulation", Journal of The Korea Society for Simulation, Vol. 19, No. 3, pp. 27-35, 2010. 

  20. Jung-Hong Cho, Jung-Hae Kim, Jea-Soo Kim et al, "Optimal Acoustic Search Path Planning Based on Genetic Algorithm in Discrete Path System", Journal of The Korean Society of Ocean Engineers, Vol. 20, No. 1, pp. 69-76, 2006. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로