[논문]강화학습 기반 무인항공기 이동성 모델에 관한 연구

김경훈; 조민규; 박창용; 김정호; 김수현; 선영규; 김진영

doi:10.7236/jiibc.2023.23.6.33

강화학습 기반 무인항공기 이동성 모델에 관한 연구
Research on Unmanned Aerial Vehicle Mobility Model based on Reinforcement Learning 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.23 no.6, 2023년, pp.33 - 39

김경훈 (광운대학교 전자융합공학과) , 조민규 (광운대학교 전자융합공학과) , 박창용 (광운대학교 전자융합공학과) , 김정호 (광운대학교 전자융합공학과) , 김수현 (광운대학교 전자융합공학과) , 선영규 (광운대학교 전자융합공학과) , 김진영 (광운대학교 전자융합공학과)

초록
AI-Helper

최근 비행 애드-훅 네트워크(Flying Ad-hoc Network) 환경에서 강화학습을 이용한 통신 성능 개선과 이동성 모델 설계에 관한 연구가 진행되고 있다. 무인항공기(UAV)에서의 이동성 모델은 움직임을 예측하고 제어하기 위한 핵심요소로 주목받고 있다. 본 논문에서는 무인항공기가 운용되는 3차원 가상 환경을 구현하고, 무인항공기의 경로 최적화를 위해 푸리에 기저 함수 근사를 적용한 Q-learning과 DQN 두 가지 강화학습 알고리즘을 적용하여 모델을 설계 및 성능을 분석하였다. 실험 결과를 통해 3차원 가상 환경에서 DQN 모델이 Q-learning 모델 대비 최적의 경로 탐색에 적합한 것을 확인하였다.

Abstract ▼ AI-Helper

Recently, reinforcement learning has been used to improve the communication performance of flying ad-hoc networks (FANETs) and to design mobility models. Mobility model is a key factor for predicting and controlling the movement of unmmaned aerial vehicle (UAVs). In this paper, we designed and analyzed the performance of Q-learning with fourier basis function approximation and Deep-Q Network (DQN) models for optimal path finding in a three-dimensional virtual environment where UAVs operate. The experimental results show that the DQN model is more suitable for optimal path finding than the Q-learning model in a three-dimensional virtual environment.

주제어

표/그림 (12)

그림 그림 1. UAV 애드-혹 네트워크. Fig. 1. UAV Ad-hoc network.
그림 그림 2. Multi-UAV 애드-혹 네트워크. Fig. 2. Multi-UAV Ad-hoc network.
그림 그림 3. Multi-layer UAV 애드-혹 네트워크. Fig. 3. Multi-layer UAV ad-hoc network.
그림 그림 4. 강화학습 알고리즘. Fig. 4. Reinforcement algorithm.
그림 그림 5. Q-learnig과 DQN 비교. Fig. 5. Comparison between Q-learning and DQN.
그림 그림 6. DQN 알고리즘 처리 과정. Fig. 6. DQN algorithm flowchart.
그림 그림 7. 3차원 시뮬레이션 환경. Fig. 7. 3D Simulation environment.
그림 그림 8. Q-learning과 DQN의 step counts 비교. Fig. 8. Comparison of step counts in Q-learning and DQN.
그림 그림 9. Q-learning과 DQN의 total rewards 비교. Fig. 9. Comparison of total rewards in Q-learning and DQN.
그림 그림 10. DQN 탐험 정책 비교 (step counts). Fig. 10. Exploration policy comparison in DQN (step counts).
표 표 1. 실험 파라미터. Table 1. Simulation Parameters.
그림 그림 11. DQN 탐험 정책 비교 (total rewards). Fig. 11. Exploration policy comparison in DQN (total rewards).

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 3차원 가상 환경에서 심층 강화학습 기반 이동성 모델이 강화학습 기반 이동성 모델보다 최적의 비행경로 선정에 적합한 것을 시뮬레이션 결과를 통해 확인하였다. 제안한 모델은 에이전트가 이동한 횟수와 총 보상값을 통해 성능을 평가하였다.
본 논문은 비행 애드-혹 네트워크 환경에서 강화학습 알고리즘을 활용한 이동성 모델을 설계하여 비교 분석한다. 본 논문의 구성은 다음과 같다.

제안 방법

2000번의 에피소드 이후로는 epsilon 값을 1e-3으로 설정하여 탐험을 통해 얻은 추정값을 이용(exploitation)하도록 설정했다. 두 번째 탐험 방식은 gradual exploration으로, exponential decay를 설정하여 에피소드가 진행될 때마다 epsilon 값이 점진적으로 감소하도록 설정했다.
본 논문에서는 비행-애드 혹 네트워크 환경에서 강화 학습 기반 최적의 경로 탐색을 위해 3차원 환경을 구성하였다. 그림 7은 100 x 100 x 30 크기의 3차원 가상 환경을 도식화한 것을 보여준다.

데이터처리

본 논문에서는 3차원 가상 환경에서 심층 강화학습 기반 이동성 모델이 강화학습 기반 이동성 모델보다 최적의 비행경로 선정에 적합한 것을 시뮬레이션 결과를 통해 확인하였다. 제안한 모델은 에이전트가 이동한 횟수와 총 보상값을 통해 성능을 평가하였다.

이론/모형

본 논문에서는 비행-애드 혹 네트워크 환경에서 강화 학습 기반 최적의 이동성 모델 설계를 위해 푸리에 기저 함수 근사를 적용한 Q-learning과 DQN을 이용하였다. 3차원 가상 환경에서 높은 수렴을 기대할 수 있도록 2가지 탐험 방식으로 학습하였다.

성능/효과

Exploration-exploitation 탐험 방식에서 DQN을 이용한 이동성 모델이 푸리에 기저 함수 근사를 적용한 Q-learning보다 우수한 성능을 보여주었다. 또한 exploration-exploitation과 gradual exploration 탐험 방식을 DQN에 적용한 결과 gradual exploration 탐험 방식을 적용한 DQN에서 높은 성능을 확인할 수 있었다.
Exploration-exploitation 탐험 방식에서 DQN을 이용한 이동성 모델이 푸리에 기저 함수 근사를 적용한 Q-learning보다 우수한 성능을 보여주었다. 또한 exploration-exploitation과 gradual exploration 탐험 방식을 DQN에 적용한 결과 gradual exploration 탐험 방식을 적용한 DQN에서 높은 성능을 확인할 수 있었다.
그러나 학습이 진행됨에 따라 에이전트는 높은 보상을 얻을 수 있는 경로를 찾아 내고, 움직인 횟수 또한 적어지는 것을 확인할 수 있었다. 시뮬레이션 결과 Q-learning과 DQN 모두 일정 수준으로 수렴함을 확인할 수 있었고, DQN이 Q-learning보다 빠르게 수렴하는 것을 확인할 수 있었다. 그림 10과 그림 11은 DQN을 모델에서 exploration-exploitation 방식과 gradual exploration 방식으로 학습을 수행한 결과를 보여준다.

참고문헌 (12)

S. Rezwan and W. Choi, "A Survey on Applications of？Reinforcement Learning in Flying Ad-Hoc Networks",？Electronics, Vol. 10, No. 4, pp. 449, Feb. 2021.？DOI: https://doi.org/10.3390/electronics10040449

상세보기
P. S. Bithas, E. T. Michailidis, N. Nomikos, D.？Vouyioukas, and A. G. Kanatas, "A Survey on？Machine-Learning Techniques for UAV-based？Communications", Sensors, Vol. 19, No. 23, p. 5170,？Nov. 2019.？DOI: https://doi.org/10.3390/s19235170

상세보기
Kil-woong Jang, "Reinforcement Learning for？Node-disjoint Path Problem in Wireless Ad-hoc？Networks", Journal of the Korea Institute of？Information and Communication Engineering, vol. 23,？no. 8, pp. 1011-1017, 2019.？DOI: https://doi.org/10.6109/jkiice.2019.23.8.1011

원문보기 상세보기
Luis Antonio L.F. da Costa, R. Kunst, E. P. de Freitas,？"Q-FANET: Improved Q-learning based Routing？Protocol for FANETs", Computer Networks, vol. 198,？no. 3, 2021.？DOI: https://doi.org/10.1016/j.comnet.2021.108379

상세보기
A. M. Koushik, F. Hu and S. Kumar, "Deep Q？-Learning-based Node Positioning for？Throughput-Optimal Communications in Dynamic？UAV Swarm Network", in IEEE Transactions on？Cognitive Communications and Networking, vol. 5,？no. 3, pp. 554-566, Sept. 2019.？DOI: https://doi.org/10.1109/TCCN.2019.2907520

상세보기
S. Bhagat and P. B. Sujit, "UAV Target Tracking in？Urban Environments Using Deep Reinforcement？Learning", 2020 International Conference on？Unmanned Aircraft Systems (ICUAS), Athens, Greece,？pp. 694-701, 2020.？DOI: https://doi.org/10.1109/ICUAS48674.2020.9213856
J. Lin, W. Cai, S. Zhang, X. Fan, S. Guo and J. Dai, "A？Survey of Flying Ad-Hoc Networks: Characteristics？and Challenges", 2018 Eighth International？Conference on Instrumentation & Measurement,？Computer, Communication and Control (IMCCC),？Harbin, China, pp. 766-771, 2018.？DOI: https://doi.org/10.1109/IMCCC.2018.00165
G. Konidaris, S. Osentoski, and P. Thomas, "Value？Function Approximation in Reinforcement Learning？Using the Fourier Basis", AAAI, vol. 25, no. 1, pp.？380-385, Aug. 2011.？DOI: https://doi.org/10.1609/aaai.v25i1.7903

상세보기
S. Bhagat and P. B. Sujit, "UAV Target Tracking in？Urban Environments Using Deep Reinforcement？Learning", 2020 International Conference on？Unmanned Aircraft Systems (ICUAS), Athens, Greece,？pp. 694-701, 2020.？DOI: https://doi.org/10.1109/ICUAS48674.2020.9213856
T. Camp, J. Boleng, V. Davies, "A Survey of Mobility？Models for Ad hoc Network Research", Wireless？Communications and Mobile Computing, vol 2, no. 5,？pp. 483-502, Aug, 2002.？DOI: https://doi.org/10.1002/wcm.72

상세보기
A. Bujari, Claudio. E. Palazzi, D. Ronzani, "FANET？Application Scenarios and Mobility Model", DroNet？'17: Proceedings of the 3rd Workshop on Micro Aerial？Vehicle Networks, Systems, and Applications,？Association for Computing Machinery, New York, NY,？USA, pp. 43-46, Jun, 2017.？DOI: https://doi.org/10.1145/3086439.3086440
S. Lee, B. On, G. S. Choi and S. Yi, "DQN Model based？on Virtual Environment for Improving High Score？Convergence Speed in Reinforcement Learning？Games," in Proc. of KIIT Conference, pp. 472-475,？Oct, 2020.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증