[논문]심층 강화학습을 이용한 시변 비례 항법 유도 기법

채혁주; 이단일; 박수정; 최한림; 박한솔; 안경수

doi:10.9766/kimst.2020.23.4.399

심층 강화학습을 이용한 시변 비례 항법 유도 기법
Time-varying Proportional Navigation Guidance using Deep Reinforcement Learning 원문보기

韓國軍事科學技術學會誌 = Journal of the KIMST, v.23 no.4, 2020년, pp.399 - 406

채혁주 (한국과학기술원 항공우주공학과) , 이단일 (한국과학기술원 항공우주공학과) , 박수정 (한국과학기술원 항공우주공학과) , 최한림 (한국과학기술원 항공우주공학과) , 박한솔 (한화시스템(주) 항공연구센터) , 안경수 (한화시스템(주) 항공연구센터)

Abstract ▼ AI-Helper

In this paper, we propose a time-varying proportional navigation guidance law that determines the proportional navigation gain in real-time according to the operating situation. When intercepting a target, an unidentified evasion strategy causes a loss of optimality. To compensate for this problem, proper proportional navigation gain is derived at every time step by solving an optimal control problem with the inferred evader's strategy. Recently, deep reinforcement learning algorithms are introduced to deal with complex optimal control problem efficiently. We adapt the actor-critic method to build a proportional navigation gain network and the network is trained by the Proximal Policy Optimization(PPO) algorithm to learn an evasion strategy of the target. Numerical experiments show the effectiveness and optimality of the proposed method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 유도탄의 최적 비례 항법 이득을 심층 강화학습을 통해 학습시키고 운용 상황에 따라 실시간으로 비례 항법 이득을 결정하여 추격을 수행하는 기법을 제안한다. 2장에서는 유도탄과 표적의 교전을 추격-회피 문제로 구성하고 각 개체의 행동 전략을 정의한다.

가설 설정

따라서 회피자는 현재 시선각과 종말 시선각이 유사하다는 가정(λf ≈ λ)을 가지고 매 순간 식 (5)의 전략을 취한다고 가정하였다.
본 논문에서는 추격자와 회피자의 속력은 각각 Vp= 500 m/s, Ve = 200 m/s로 가정하였다.
추격자의 최대 제어 입력( apmax)은 6, 회피자의 최대 제어 입력(aemax ) 은 3으로 가정하였다.

제안 방법

학습된 액터 네트워크를 이용하여 세 가지 Case에서의 시뮬레이션을 수행하여 추격 기동 형태를 분석 하였다. Case 1에서는 무기동 표적에 대한 추격 성능을 분석하였으며, Case 2, 3에서는 최적 회피 기동을 수행하는 표적에 대한 추격 성능 분석을 수행하였다. 모든 Case에서 추격자의 초기 상태는 [x_p , y_p, ψ_p] =[0 km, 0 km, 0 rad]로 고정하였으며 회피자의 초기 상태는 Table 3과 같이 설정하였다.
N ∈ {2,3,4,4.5,5,6}인 고정 비례 항법 이득들을 사용하여 결과를 비교하였다.
먼저 두 개체의 상대 거리 d와 시선각과 추격자의 기수각의 차이(방위각) Ø를 정의하였다.
액터 네트워크는 상태 변수를 입력받아 행동 정책을 도출하며 크리틱 네트워크는 입력 받은 상태의 가치를 판단한다. 본 논문에서는 각 네트워크를 다층 퍼셉트론(multi layer perceptron)을 이용하여 구성하였다.
본 연구에서 비례 항법 이득을 학습시키기 위한 네트워크로 액터-크리틱 구조를 사용하였다^[12,13]. 비례 항법 이득 네트워크는 교전 운동 방정식의 상태 변수(s)를 입력으로 받는다.
제안된 강화학습 알고리즘을 검증하기 위해 시뮬레이션에서 얻어진 에피소드 데이터를 이용하여 학습을 수행하였다. 이후 학습된 액터 네트워크를 이용하여 성능을 분석하였다. 시뮬레이션과 학습은 Table 1에 명시된 환경에서 수행되었다.
학습된 액터 네트워크를 이용하여 세 가지 Case에서의 시뮬레이션을 수행하여 추격 기동 형태를 분석 하였다. Case 1에서는 무기동 표적에 대한 추격 성능을 분석하였으며, Case 2, 3에서는 최적 회피 기동을 수행하는 표적에 대한 추격 성능 분석을 수행하였다.
학습에 사용된 액터 네트워크와 크리틱 네트워크는 2개의 잠재층을 가진 다층 퍼셉트론을 이용하였다. 두잠재층의 노드(node) 수는 각각 64, 32개로 설정하였다.
회피자가 최적 회피 기동을 수행하는 상황으로, 초기 조건은 회피자가 -y축 방향으로 진행하며 추격자는 회피자의 기수를 기준으로 전방 약 50도에서 +x축 방향으로 진행하도록 설정하였다.

대상 데이터

제안된 강화학습 알고리즘을 검증하기 위해 시뮬레이션에서 얻어진 에피소드 데이터를 이용하여 학습을 수행하였다. 이후 학습된 액터 네트워크를 이용하여 성능을 분석하였다.
제안된 시변 비례 항법 이득 알고리즘의 성능을 검증하기 위해 1000개의 초기 상태를 샘플링하고 시뮬 레이션을 수행하였다. N ∈ {2,3,4,4.

이론/모형

그 후 필요 이상의 정책 갱신을 방지하기 위하여 대체 목적 함수(LCPI )에 클리핑(clipping) 기법을 적용한 새로운 목적 함수(LCLIP )를 사용한다.
최근 심층 강화학습 기법을 통해 이러한 문제의 최적 정책을 근사하는 연구들이 제안되고 있다. 본 논문에서는 최적 비례 항법 이득을 추론하기 위한 네트워크로 액터-크리틱 구조를 사용하였으며 PPO 알고리즘을 이용하여 강화학습을 진행하였다. 학습된 네트워크는 시뮬레이션을 통해 실시간으로 비례 항법 이득을 결정하여 추격에 성공하는 것을 확인할 수 있었으며 목적 함수에 따라 고정 이득 기법보다 효과적임을 확인할 수 있었다.
두잠재층의 노드(node) 수는 각각 64, 32개로 설정하였다. 최적화 알고리즘(optimizer)은 ADAM 알고리즘을 사용하였다. 학습에 사용된 설계 파라미터는 Table 2와 같다.

성능/효과

목적함수의 가중치가 0.0105 ≦ ω ≦ 0.1067인 범위에서는 학습된 네트워크를 통해 도출한 시변 이득을 사용하는 것이 다른 고정 이득을 사용하는 것에 비해 좋은 성능을 나타내는 것을 확인할 수 있었다.
학습된 네트워크는 시뮬레이션을 통해 실시간으로 비례 항법 이득을 결정하여 추격에 성공하는 것을 확인할 수 있었으며 목적 함수에 따라 고정 이득 기법보다 효과적임을 확인할 수 있었다. 제안된 시변 비례 항법 유도 법칙은 운용 상황에 따라 다양한 회피 기동을 학습할 수 있다는 확장성을 가지고 있다. 또한, 새로운 목적함수의 설계를 통해 요격 시간 및 요격 각도 제어 등의 특정 임무를 수행하는 기법으로 활용될 수 있을 것으로 기대한다.
학습 과정을 통해 비례 항법 이득 네트워크가 얻는 보상이 일정 수준(≈ 43)으로 수렴하는 것을 확인할 수 있다.
학습된 네트워크가 도출한 비례 항법 이득은 초기 N = 3.7에서 시작하여 점진적으로 증가하며 시간이 지난 후 N = 4.5 수준을 유지하였다.
본 논문에서는 최적 비례 항법 이득을 추론하기 위한 네트워크로 액터-크리틱 구조를 사용하였으며 PPO 알고리즘을 이용하여 강화학습을 진행하였다. 학습된 네트워크는 시뮬레이션을 통해 실시간으로 비례 항법 이득을 결정하여 추격에 성공하는 것을 확인할 수 있었으며 목적 함수에 따라 고정 이득 기법보다 효과적임을 확인할 수 있었다. 제안된 시변 비례 항법 유도 법칙은 운용 상황에 따라 다양한 회피 기동을 학습할 수 있다는 확장성을 가지고 있다.

후속연구

제안된 시변 비례 항법 유도 법칙은 운용 상황에 따라 다양한 회피 기동을 학습할 수 있다는 확장성을 가지고 있다. 또한, 새로운 목적함수의 설계를 통해 요격 시간 및 요격 각도 제어 등의 특정 임무를 수행하는 기법으로 활용될 수 있을 것으로 기대한다.

참고문헌 (13)

Hangju Cho, "Navigation Constants in PNG Law and the Associated Optimal Control Problems," Proc. Korean Automatic Control Conference, Seoul, Korea, pp. 578-583, 1992.
Vitalij Garber, "Optimum Intercept Laws for Accelerating Targets," AIAA Journal, Vol. 6, No. 11, pp. 2196-2198, 1968.

상세보기
In-Soo Jeon, and Jin-Ik Lee, "Analysis on Optimality of Proportional Navigation with Timevarying Velocity," Journal of the Korean Society for Aeronautical & Space Sciences, Vol. 37, No. 10, pp. 998-1001, 2009.
Christopher JCH Watkins and Peter Dayan, "Q-learning," Machine Learning, Vol. 8, No. 3-4, pp. 279-292, 1992.
David Silver, et al., "Mastering the Game of Go with Deep Neural Networks and Tree Search," Nature, Vol. 529, No. 7587, pp. 484-489, 2016.
Yan Duan, et al., "Benchmarking Deep Reinforcement Learning for Continuous Control," International Conference on Machine Learning, pp. 1329-1338, 2016.
Tuomas Haarnoja, et al., "Soft Actor-critic: Off-policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor," arXiv preprint arXiv:1801.01290, 2018.
Ernest Cockayne, "Plane Pursuit with Curvature Constraints," SIAM Journal on Applied Mathematics, Vol. 15, No. 6, pp. 1511-1516, 1967.

상세보기
G. T. Rublein, "On Pursuit with Curvature Constraints," SIAM Journal on Control, Vol. 10, No. 1, pp. 37-39, 1972.

상세보기
Josef Shinar, Moshe Guelman, and Alon Green, "An Optimal Guidance Law for a Planar Pursuit-evasion Game of Kind," Computers & Mathematics with Applications, Vol. 18, No. 1-3, pp. 35-44, 1989.
John Schulman, et al., "Proximal Policy Optimization Algorithms," arXiv preprint arXiv:1707.06347, 2017.
Vijay R. Konda, and John N. Tsitsiklis, "Actor-critic Algorithms," Advances in Neural Information Processing Systems, pp. 1008-1014, 2000.
Volodymyr Mnih, et al., "Asynchronous Methods for Deep Reinforcement Learning," International Conference on Machine Learning, 2016.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

심층 강화학습을 이용한 시변 비례 항법 유도 기법
Time-varying Proportional Navigation Guidance using Deep Reinforcement Learning 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

심층 강화학습을 이용한 시변 비례 항법 유도 기법 Time-varying Proportional Navigation Guidance using Deep Reinforcement Learning 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

최한림 (15)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

심층 강화학습을 이용한 시변 비례 항법 유도 기법
Time-varying Proportional Navigation Guidance using Deep Reinforcement Learning 원문보기

AI 본문요약
AI-Helper