[논문]강화학습을 이용한 무인기 기만 경로 유도 시뮬레이션

구재경; 이동선; 강창옥; 최승호; 박일규

doi:10.11003/jpnt.2024.13.4.497

[국내논문] 강화학습을 이용한 무인기 기만 경로 유도 시뮬레이션
A UAV Spoofing Path Guided Simulation Using Reinforcement Learning 원문보기

Journal of Positioning, Navigation, and Timing, v.13 no.4, 2024년, pp.497 - 503

구재경 (Duksan Navcours Co. LTD) , 이동선 (Duksan Navcours Co. LTD) , 강창옥 (Duksan Navcours Co. LTD) , 최승호 (Agency for Defense Development) , 박일규 (Duksan Navcours Co. LTD)

Abstract ▼ AI-Helper

In preparation for cases where Unmanned Aerial Vehicles (UAVs) are abused for surveillance or terrorism, this study proposes a technique to guide a UAV to a target point using a spoofing signal that interferes with the Global Navigation Satellite System (GNSS). However, the waypoint estimation-based approach used in spoofing requires repetitive computations, making real-time processing challenging and reducing its responsiveness to target point changes. This paper proposes a technique that uses reinforcement learning to guide UAV spoofing paths in real time by dynamically learning and adapting to changes in flight states without the need for waypoint estimation. To effectively learn real-time flight state change data, the Advantage Actor-Critic (A2C) reinforcement learning model is utilized. In the simulation, a spoofing path guided simulation that controls flight in real time through reinforcement learning was developed. The proposed reinforcement learning model was applied, and the reinforcement learning model was verified through a simulation experiment where the target point of guided spoofing was changed.

Keyword

표/그림 (10)

그림 Fig. 1. Visualization of agent-environment and UAV spoofing path guided using reinforcement learning.
그림 Fig. 3. Visualization of state definition in reinforcement learning.
그림 Fig. 2. The structure of A2C spoofing guided path model.
표 Table 1. Reinforcementlearning terms and abbreviations definition.
그림 Fig. 4. Visualization of action definition in reinforcement learning.
그림 Fig. 5. Visualization of reward definition in reinforcement learning.
그림 Fig. 6. The structure of actor-critic neural network.
표 Table 2. Experiment result of A2C neural network structure and hyper parameter optimization.
그림 Fig. 7. Experiment result of reinforcement learning. (a) loss-value/episode chart, (b) score/episode chart.
그림 Fig. 8. Experiment result of spoofing guided path using reinforcement learning. (a) spoofing guided path per episode, (b) changing destination spoofing guided path.

AI 본문요약
AI-Helper

문제 정의

이 논문에서는 강화학습을 이용하여 무인기의 기만 경로를 유도하는 시뮬레이션을 제안하였다. 무인기의 비행 경로 학습을 위해 시뮬레이션 환경을 구축하였으며, A2C 기반 강화학습 모델을 학습하였다.

제안 방법

주어진 환경에서 설정된 교란 신호를 인가하여 드론 위치 변화를 유도한 후 비행 상태 변화 데이터를 분석하여 웨이포인트 지점을 추정하였다. 그리고 웨이포인트 추정 값의 정확도를 높이기 위해 교란 신호 인가 시간과 고도 변화 값을 변경하며 반복적으로 수행하였고 위치 변화가 없는 지점의 좌표를 웨이포인트로 추정한다.
또한, 반복적인 연산이 필요해 실시간 처리가 불가능한 한계가 있다. 이 논문에서는 이러한 한계를 극복하기 위해 웨이포인트를 추정 없이 강화학습을 활용해 실시간으로 변화하는 비행 상태를 학습하여 비행 방향 제어를 통해 기만 경로를 유도하는 기술을 제안한다.
이 논문에서는 무인기의 비행 상태를 실시간으로 확인하고 강화학습 기반 정책을 통해 기만 경로를 유도하는 과정을 시뮬레이션으로 구현하였다. 시뮬레이션은 2차원 환경이며, 비행 속도는 60 km/h, 반경은 10 km로 설정하였으며, 비행 초기 위치는 (0, 0)으로 지정하였다.
에피소드가 시작되면 목표지점이 생성되고 초기 위치에서 비행을 시작한다. 시뮬레이션은 1 Hz의 주기로 비행 상태를 갱신하며, A2C 모델을 적용하여 입력된 상태 변수에 따라 비행 방향을 실시간으로 제어하고, 이를 통해 기만 경로를 동적으로 유도하였다.
0005으로 설정하여 실험하였다. 실험에서 은닉층 노드 구성과 하이퍼파라미터를 변경하면서 100번의 에피소드를 실행하였다. 실험 결과는 Table 2와 같이 Actor 은닉층 노드는 256개, Critic 은닉층 노드는 512 개, 감가율은 0.
실험 결과, 실시간으로 변경된 목표 지점에 대해서도 재학습 없이 기만 경로를 유도하는 것을 확인하였다. 특히 1 Hz 주기 내에서 강화학습 모델이 실시간으로 정책을 적용하고 비행 방향을 제어하는 것을 시뮬레이션을 통해 확인하였다. 결과적으로 강화학습을 통해 기만 경로를 실시간으로 유도하며, 다양한 환경 변화에도 안정적으로 동작하는 것을 확인하였다.
이 논문에서는 강화학습을 이용하여 무인기의 기만 경로를 유도하는 시뮬레이션을 제안하였다. 무인기의 비행 경로 학습을 위해 시뮬레이션 환경을 구축하였으며, A2C 기반 강화학습 모델을 학습하였다. 그리고 실험을 통해 최적의 신경망 구성과 하이퍼파라미터를 설정하였으며, 무인기 시뮬레이션에 적용하여 기만 경로를 유도하는 실험을 수행하였다.
무인기의 비행 경로 학습을 위해 시뮬레이션 환경을 구축하였으며, A2C 기반 강화학습 모델을 학습하였다. 그리고 실험을 통해 최적의 신경망 구성과 하이퍼파라미터를 설정하였으며, 무인기 시뮬레이션에 적용하여 기만 경로를 유도하는 실험을 수행하였다. 학습 모델을 적용한 실험에서 무인기가 영역 내 목표지점으로 이동함을 확인하였고 목표지점이 변경되는 상황에서도 기만 경로를 유도하는 것을 확인하였다.

성능/효과

실험에서 은닉층 노드 구성과 하이퍼파라미터를 변경하면서 100번의 에피소드를 실행하였다. 실험 결과는 Table 2와 같이 Actor 은닉층 노드는 256개, Critic 은닉층 노드는 512 개, 감가율은 0.9, 학습률은 0.0005의 설정 값이 가장 높은 성공률(93%)을 기록하였다. Fig.
8b는 목표지점 변경 상황에서의 실험 결과를 나타내며, 목표지점이 변경되는 상황에서도 원하는 목표지점으로 기만 경로를 유도하는 것을 확인하였다. 실험 결과, 실시간으로 변경된 목표 지점에 대해서도 재학습 없이 기만 경로를 유도하는 것을 확인하였다. 특히 1 Hz 주기 내에서 강화학습 모델이 실시간으로 정책을 적용하고 비행 방향을 제어하는 것을 시뮬레이션을 통해 확인하였다.
특히 1 Hz 주기 내에서 강화학습 모델이 실시간으로 정책을 적용하고 비행 방향을 제어하는 것을 시뮬레이션을 통해 확인하였다. 결과적으로 강화학습을 통해 기만 경로를 실시간으로 유도하며, 다양한 환경 변화에도 안정적으로 동작하는 것을 확인하였다.
그리고 실험을 통해 최적의 신경망 구성과 하이퍼파라미터를 설정하였으며, 무인기 시뮬레이션에 적용하여 기만 경로를 유도하는 실험을 수행하였다. 학습 모델을 적용한 실험에서 무인기가 영역 내 목표지점으로 이동함을 확인하였고 목표지점이 변경되는 상황에서도 기만 경로를 유도하는 것을 확인하였다. 결과적으로 강화학습 기법이 무인기의 경로를 유도하는 기만 기술에 효과적으로 적용될 수 있음을 입증하였다.
학습 모델을 적용한 실험에서 무인기가 영역 내 목표지점으로 이동함을 확인하였고 목표지점이 변경되는 상황에서도 기만 경로를 유도하는 것을 확인하였다. 결과적으로 강화학습 기법이 무인기의 경로를 유도하는 기만 기술에 효과적으로 적용될 수 있음을 입증하였다. 향후 무인기 형태와 기상 조건 등 다양한 환경을 고려한 연구를 통해 무인기 방어 체계에 실질적으로 적용될 가능성을 기대한다.

후속연구

결과적으로 강화학습 기법이 무인기의 경로를 유도하는 기만 기술에 효과적으로 적용될 수 있음을 입증하였다. 향후 무인기 형태와 기상 조건 등 다양한 환경을 고려한 연구를 통해 무인기 방어 체계에 실질적으로 적용될 가능성을 기대한다.

참고문헌 (9)

Chae, M.-H., Park, S.-O., Choi, S.-H., & Choi, C.-T. 2023,？Commercial Fixed-Wing Drone Redirection System？Using GNSS Deception, IEEE Transactions on Aerospace？and Electronic Systems, 59, 5699-5713. https://doi.org/10.1109/TAES.2023.3264193
Choi, S.-H., Chae, J.-S., Cha, J.-H., & Ahn, J.-Y. 2018, Recent？R&D Trends of Anti-Drone Technologies, Electronics？and Telecommunications Trends, 33,78-88. https://doi.org/10.22648/ETRI.2018.J.330309

원문보기 상세보기
Duan, Y., Chen, X., Houthooft, R., Schulman, J., & Abbeel,？P. 2016, Benchmarking Deep Reinforcement Learning？for Continuous Control. https://doi.org/10.48550/arXiv.1604.06778
Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. 2018, Soft？Actor-critic: Off-policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. https://doi.org/10.48550/arXiv.1801.01290
Lee, J.-S., Kang, G.-U., Kim, J.-S., & Son, S.-B. 2019, Simulation？of GPS spoofing technique for estimating the destination？and guiding of the drone, Proceedings of Symposium of？the Korean Institute of Communications and Information？Sciences, Seoul, Korea, 23-25 January 2019, pp.239-240.？https://www.dbpia.co.kr/journal/articleDetail?nodeIdNODE08003287
Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou,？I., et al. 2013, Playing Atari with Deep Reinforcement？Learning, In NIPS Deep Learning Workshop. https://doi.org/10.48550/arXiv.1312.5602
Moon, I.-C., Jung, M., & Kim, D. 2020, Modeling and Simulation？on One-vs-One Air Combat with Deep Reinforcement？Learning, JKSS, 29, 39-46. http://doi.org/10.9709/JKSS.2020.29.1.039

원문보기 상세보기
Ruder, S. 2017, An overview of gradient descent optimization？algorithms. https://doi.org/10.48550/arXiv.1609.04747
Sutton, R. S. & Barto, A. G. 2018, Reinforcement Learning:？An Introduction, Second Edition (Cambridge, MA: The？MIT Press), pp.328-333.

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증