[논문]이동 장애물을 고려한 DQN 기반의 Mapless Navigation 및 학습 시간 단축 알고리즘

윤범진; 유승열

doi:10.6109/jkiice.2021.25.3.377

이동 장애물을 고려한 DQN 기반의 Mapless Navigation 및 학습 시간 단축 알고리즘
Mapless Navigation Based on DQN Considering Moving Obstacles, and Training Time Reduction Algorithm 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.25 no.3, 2021년, pp.377 - 383

윤범진 (Electrical System Integrated Team, Renault Technology Korea) , 유승열 (School of Mechanical Engineering, Korea University of Technology and Education)

초록
AI-Helper

최근 4차 산업혁명에 따라 공장, 물류창고, 서비스영역에서 유연한 물류이송을 위한 자율 이동형 모바일 로봇의 사용이 증가하고 있다. 대규모 공장에서는 Simultaneous Localization and Mapping(SLAM)을 수행하기 위하여 많은 수작업이 필요하기 때문에 개선된 모바일 로봇 자율 주행에 대한 필요성이 대두되고 있다. 이에 따라 본 논문에서는 고정 및 이동 장애물을 피해 최적의 경로로 주행하는 Mapless Navigation에 대한 알고리즘을 제안하고자 한다. Mapless Navigation을 위하여 Deep Q Network(DQN)을 통해 고정 및 이동 장애물을 회피하도록 학습하였고 두 종류의 장애물 회피에 대하여 각각 정확도 90%, 93%를 얻었다. 또한 DQN은 많은 학습 시간을 필요로 하는데 이를 단축하기 위한 목표의 크기 변화 알고리즘을 제안하고 이를 시뮬레이션을 통하여 단축된 학습시간과 장애물 회피 성능을 확인하였다.

Abstract ▼ AI-Helper

Recently, in accordance with the 4th industrial revolution, The use of autonomous mobile robots for flexible logistics transfer is increasing in factories, the warehouses and the service areas, etc. In large factories, many manual work is required to use Simultaneous Localization and Mapping(SLAM), so the need for the improved mobile robot autonomous driving is emerging. Accordingly, in this paper, an algorithm for mapless navigation that travels in an optimal path avoiding fixed or moving obstacles is proposed. For mapless navigation, the robot is trained to avoid fixed or moving obstacles through Deep Q Network (DQN) and accuracy 90% and 93% are obtained for two types of obstacle avoidance, respectively. In addition, DQN requires a lot of learning time to meet the required performance before use. To shorten this, the target size change algorithm is proposed and confirmed the reduced learning time and performance of obstacle avoidance through simulation.

주제어

표/그림 (14)

그림 Fig. 1 Mobile robot in real world
그림 Fig. 2 Mobile robot in GAZEBO
그림 Fig. 3 Test experiment environment
그림 Fig. 4 Experiment environment with obstacles and human:
표 Table. 1 Specification of sensors
표 Table. 2 Reward type and value
그림 Fig. 5 Structure of neural network
표 Table. 3 All output actions of mobile robot
그림 Fig. 6 Traditional target size and revised target size of global position in simulation
그림 Fig. 7 Comparison between proposed algorithm and general algorithm
그림 Fig. 8 Results of total rewards after learning
그림 Fig. 9 Accuracy of every path and optimal path
그림 Fig. 10 Results of total rewards after learning
표 Table. 4 Test result of mapless navigation

참고문헌 (10)

A. Li, J. Wang, M. Xu, and Z. Chen, "DP-SLAM: A visual SLAM with moving probability towards dynamic environments," Information Science, vol. 556, pp. 128-142, 2021.

상세보기
A. Rohacza, S. WeiBenfels, and S. Strassburger, "Concept for the comparison of intralogistics designs with real factory layout using augmented reality SLAM and marker-based tracking," in Procedia CIRP, vol. 93, pp. 341-346, 2020.

상세보기
J. Kim, S. Jung, T. Jeon, and S. Kim, "SLAM based on feature map for autonomous vehicle," Journal of the Korea Institute of Information and Communication Engineering, vol. 13, no. 7, pp. 1437-1443, 2009.
A. Cheong, E. Foo, M. Lau, J. Chen, and H. Gan, "Development of a Robotics Waiter System for the food and beverage industry," in Proceedings of The Third International Conference on Advances in Mechanical and Robotics Engineering, pp. 21-25, 2015.
D. V. Lu, D. H. Hershberger, and W. D. Smart, "Layered costmaps for context-sensitive navigation," in IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS), pp. 709-715, 2014.
R. P. Monroe, S. A. Miller, and A. T. Bradley, "Behavioral mapless navigation using rings," in IEEE International Conference on Robotics and Automation, 2012.
L. Tei, G. Paolo, and M. Liu, "Virtual-to-real deep reinforcement learning: Continuous control of mobile robots for mapless navigation," in IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS), pp. 23-30, 2017.
K. J. Gil, ROS Machine Learning Package [Internet]. Available: https://github.com/ROBOTIS-GIT/emanual/blob/master/docs/en/platform/turtlebot3/machine_learning.md.
L. Qiang, D. Nanxum, L. Huican, and W. Heng, "A model-free mpless navigation method for mobile robot using reinforcement learning," in Chinese Control And Decision Conference(CCDC), pp. 3410-3415, 2018.
G. Hinton, N. Srivastava, and K. Swersky, Lecture 6a overview of mini-batch gradient descent, [Internet]. pp. 29. Available: http://www.cs.toronto.edu/-tijmen/csc321/.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증