[논문]가상 환경에서의 강화학습을 활용한 모바일 로봇의 장애물 회피

이종락

doi:10.20465/kiots.2021.7.4.029

가상 환경에서의 강화학습을 활용한 모바일 로봇의 장애물 회피
Obstacle Avoidance of Mobile Robot Using Reinforcement Learning in Virtual Environment 원문보기

사물인터넷융복합논문지 = Journal of internet of things and convergence, v.7 no.4, 2021년, pp.29 - 34

이종락 (영남이공대학교 사이버보안계열)

초록
AI-Helper

실 환경에서 로봇에 강화학습을 적용하기 위해서는 수많은 반복 학습이 필요하므로 가상 환경에서의 시뮬레이션을 사용할 수밖에 없다. 또한 실제 사용하는 로봇이 저사양의 하드웨어를 가지고 있는 경우 계산량이 많은 학습 알고리즘을 적용하는 것은 어려운 일이다. 본 연구에서는 저사양의 하드웨어를 가지고 있는 모바일 로봇의 장애물 충돌 회피 문제에 강화학습을 적용하기 위하여 가상의 시뮬레이션 환경으로서 Unity에서 제공하는 강화학습 프레임인 ML-Agent를 활용하였다. 강화학습 알고리즘으로서 ML-Agent에서 제공하는 DQN을 사용하였으며, 이를 활용하여 학습한 결과를 실제 로봇에 적용해 본 결과 1분간 충돌 횟수가 2회 이하로 발생하는 결과를 얻을 수 있었다.

Abstract ▼ AI-Helper

In order to apply reinforcement learning to a robot in a real environment, it is necessary to use simulation in a virtual environment because numerous iterative learning is required. In addition, it is difficult to apply a learning algorithm that requires a lot of computation for a robot with low-spec. hardware. In this study, ML-Agent, a reinforcement learning frame provided by Unity, was used as a virtual simulation environment to apply reinforcement learning to the obstacle collision avoidance problem of mobile robots with low-spec hardware. A DQN supported by ML-Agent is adopted as a reinforcement learning algorithm and the results for a real robot show that the number of collisions occurred less then 2 times per minute.

주제어

표/그림 (13)

그림 [Fig. 1] Process of Reinforcement Learning
그림 [Fig. 2] 3-layer NNQL model
표 Key terminology of Reinforcement Learning
그림 [Fig. 3] Overall System Structure
그림 [Fig. 4] Appearance of Mobile Robot
그림 [Fig. 5] Virtual Environment of Simulation
표 Overall Process of Experiment
표 5 Actions of Mobile Robot
그림 [Fig. 6] Simulation in virtual environment
그림 [Fig. 7] Trajectory of Virtual mobile robot
그림 [Fig. 8] Structure of DQN model
그림 [Fig. 9] Robot trajectory
표 number of collision after Experiments

참고문헌 (15)

D.W.Lee, K.M.cho and S.H.Lee, "Comparison & Analysis of Drones in Major Countries based on Self-Driving in IoT Environment," Journal of The Korea Internet of Things Society, Vol.6, No.2, pp.31-36, 2020.

원문보기 상세보기
D. Filliat and J.A.Meyer, "Map-based navigation in mobile robots: I. A review of localization strategies," Cognitive Systems Research, Vol.4, No.4, pp.243-282, 2003.

상세보기
J.A. Meyer and D. Filliat, "Map-based navigation in mobile robots: II. A review of map-learning and path-planning strategies," Cognitive Systems Research, Vol.4, No. 4, pp. 283-317, 2003.

상세보기
R.S.Sutton and A.G.Barto, "Reinforcement Learning: An Introduction," A Bradford Book, MIT Press, 2th ed., 2017.
A.E.Sallab, M.Abdou, E.Perot and S.Yogamani, "Deep reinforcement learning framework for autonomous driving," Journal of imaging Science and Technology, Vol.1, No.7, pp.70-76, 2017.
X.B.Peng, G.Berseth, K.Yin and M.V.Panne, "Deeploco: Dynamic locomotion skills using hierarchical deep reinforcement learning," ACM Transactions on Graphics, Vol.36, No.41 pp.1-13, 2017.
J.H.Woo and N.K.Kim, "Collision Avoidance for an Unmanned Surface Vehicle Using Deep Reinforcement Learning," Graduate School of Seoul National University, Doctoral Dissertation, 2018.
A.Coates, P.Abbeel and A.Y.Ng, "Apprenticeship learning for helicopter control," Communications of the ACM, Vol.52, No.7, pp.97-105, 2009.

상세보기
S.Y.Park, "Object-spatial layout-route-based hybrid nap and its application to mobile robot navigation," Graduate School of Yonsei University, Doctoral Dissertation, 2010.
N.J.Cho, "Learning, improving, and generalizing motor skills for autonomous robot manipulation : an integration of imitation learning, reinforcement learning, and deep learning," Graduate School of Hanyang University, Doctoral Dissertation, 2020.
B.G.Ahn, "An Adaptive Motion Learning Architecture for Mobile Robots," Graduate school of SungKyunKwan University, Master's Thesis, 2006.
https://github.com/Unity-Technologies/ml-agents
A.B.Juliani, E.Teng, A.Cohen, J.Harper, C.Elion, C.Goy, Y.Gao, H.Henry, M.Mattar and D.Lange, "Unity: A General Platform for Intelligent Agents," arXiv:1809.02627, 2020.
J.C.H.Watkins, D.Peter, "Q-learning," Machine Learning, Vol.8, No.1, pp.272-292, 1992.
X.Chen, "A Reinforcement Learning Method of Obstacle Avoidance for Industrial Mobile Vehicles in Unknown Environments Using Neural Network," Proceedings of the 21st International Conference on Industrial Engineering and Engineering Management, Vol.1, No.1, pp.671-6, 2014.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증