[논문]강화학습 기반의 지역 경로 탐색 및 장애물 회피 시스템

이세훈; 염대훈; 김풍일

강화학습 기반의 지역 경로 탐색 및 장애물 회피 시스템
Local Path Planning and Obstacle Avoidance System based on Reinforcement Learning 원문보기

이세훈 (인하공업전문대학 컴퓨터시스템과) , 염대훈 (인하공업전문대학 컴퓨터시스템과) , 김풍일 (한국콘베어공업(주) 기술연구소)

WCS에서 AGV의 스케줄링과 동적, 정적 장애물 인식 및 충돌 회피문제는 오래전부터 다뤄져 온 중요한 문제이다. 본 논문에서는 위의 문제를 해결하기 위해 Lidar 센서를 중심으로 다양한 데이터를 기반으로 한 강화학습 시스템을 제안한다. 제안하는 시스템은 기본의 명시적인 알고리즘에 비해 다양하고 유동적인 환경에서 경로 계획과 동적 정적 장애물을 인식하고 안정적으로 회피하는 것을 확인하였으며 산업 현장에 도입 가능성을 확인하였다. 또한 강화학습의 적용 범위, 적용 방안과 한계에 대해서 시사한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

기존의 A*, Dijikstra, DWA, Potential Field와 같은 AGV 주행 관련 알고리즘과 기술들이 있지만 개별적으로 구현되어 있고 각각의 기술들이 유기적으로 연관되어 있지 않은 경우에 효율성을 저하시킬 수 있는 만큼 계층화 및 구조화 또한 중요한 문제이다. 따라서 본 논문에서는 강화학습을 통해 위와 같은 문제들의 해결방안을 제시 및 가능성을 확인한다.
본 논문에서는 동적/정적 장애물을 인식하고 회피하기 위한 강화학습 기반의 시스템을 제안하였다. 현재 AGV 위치에서의 장애물까지의 Lidar 데이터를 state로 사용하였고 충돌, 도착시에 각각의 보상과 step마다 계산한 heuristic 값을 보상으로 부여하였다.

제안 방법

Mapping을 통해 획득한 Map data를 장애물, 비장애물 지역으로 가중치를 주어 저장한다. AGV의 가중치 계산은 목표물과의 거리, Map weight를 더한 숫자를 이용하였다. 현재 AGV 위치 주변 8곳의 가중치를 학습의 보상으로 사용한다.
가상환경에서의 상태(state, reward, action)을 불러와 학습을 진행하게 된다. 가중치를 얻기 위해 map을 숫자처리, resize를 진행하고 그를 csv파일로 저장한다. 가중치는 현재 AGV와 목표물까지의 거리, 주변 장애물의 가중치를 더하여 계산한다.

대상 데이터

1은 강화학습 기반의 장애물 회피 시스템의 구조도이다. AGV는 Gazebo 시뮬레이터에서 동작하고, 강화학습의 State는 AGV의 Lidar 데이터를 이용하였다. 학습에서의 보상은 장애물의 가중치가 추가된 목표물과의 거리로 step마다 업데이트한다.
AGV의 가중치 계산은 목표물과의 거리, Map weight를 더한 숫자를 이용하였다. 현재 AGV 위치 주변 8곳의 가중치를 학습의 보상으로 사용한다. state는 AGV의 360도 Lidar 데이터, 목표물까지의 거리, 각도를 input data로 학습을 진행하게 된다.
본 논문에서는 동적/정적 장애물을 인식하고 회피하기 위한 강화학습 기반의 시스템을 제안하였다. 현재 AGV 위치에서의 장애물까지의 Lidar 데이터를 state로 사용하였고 충돌, 도착시에 각각의 보상과 step마다 계산한 heuristic 값을 보상으로 부여하였다. 장애물을 포함한 보상 부여를 통해 좀 더 장애물 회피에 효율적이었고, 실험 결과 보상의 증가 또한 확인할 수 있었다.

성능/효과

점차적으로 학습을 진행할수 록 동적 장애물 근처로 접근하지 않으려는 모습을 보이고 목적지 근처로 가는 것을 확인할 수 있었다. 또한 충돌로 에피소드가 종료되는 횟수가 감소하고 오히려 목적지 도착으로 에피소드가 종료되는 경향을 보였다.
실험 결과 에피소드가 거듭 될수록 장애물 회피 성능의 향상을 확인 할 수 있었다. 학습 초기에는 정적 장애물에 많이 부딪히며 에피소드가 빨리 끝나는 경향을 보였다.
현재 AGV 위치에서의 장애물까지의 Lidar 데이터를 state로 사용하였고 충돌, 도착시에 각각의 보상과 step마다 계산한 heuristic 값을 보상으로 부여하였다. 장애물을 포함한 보상 부여를 통해 좀 더 장애물 회피에 효율적이었고, 실험 결과 보상의 증가 또한 확인할 수 있었다. 이를 통해 강화학습 기반의 유동적인 장애물을 인식, 회피가 가능할 것으로 사료한다.
학습 초기에는 정적 장애물에 많이 부딪히며 에피소드가 빨리 끝나는 경향을 보였다. 점차적으로 학습을 진행할수 록 동적 장애물 근처로 접근하지 않으려는 모습을 보이고 목적지 근처로 가는 것을 확인할 수 있었다. 또한 충돌로 에피소드가 종료되는 횟수가 감소하고 오히려 목적지 도착으로 에피소드가 종료되는 경향을 보였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

강화학습 기반의 지역 경로 탐색 및 장애물 회피 시스템
Local Path Planning and Obstacle Avoidance System based on Reinforcement Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

강화학습 기반의 지역 경로 탐색 및 장애물 회피 시스템 Local Path Planning and Obstacle Avoidance System based on Reinforcement Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

강화학습 기반의 지역 경로 탐색 및 장애물 회피 시스템
Local Path Planning and Obstacle Avoidance System based on Reinforcement Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper