[논문]산업용 자율 주행 로봇에서의 격자 지도를 사용한 강화학습 기반 회피 경로 생성기 개발

양정연

doi:10.5392/jkca.2019.19.03.072

산업용 자율 주행 로봇에서의 격자 지도를 사용한 강화학습 기반 회피 경로 생성기 개발
Development of Reinforcement Learning-based Obstacle Avoidance toward Autonomous Mobile Robots for an Industrial Environment 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.19 no.3, 2019년, pp.72 - 79

초록
AI-Helper

자율 주행은 이동 로봇의 핵심적 기술로써, 측정된 센서 정보를 토대로 불확실한 위치 정보를 이용한 지도 작성 및 수정 기능과, 불확실한 지도 및 센서 정보를 이용한 로봇의 위치 인식 기능으로 구성된다. 자율주행은 이러한 주행 위치의 불확실성에 기반한 확률론적 방법론과 함께 주행 시 장애물의 감지 및 회피 경로의 생성, 반복적 주행 패턴에 따른 경로 관리 기능이 필수적 요소이다. 거리 기반의 스캐너를 통해 관측된 센서 입력은, 지도 구성에 사용된 벽과 같은 정적 물체와 주행 시의 사람처럼 움직이는 동적 물체와의 구별이 필요하기 ?문에 장애물 감지에 어려움이 있다. 본 논문에서는, 이러한 자율 주행 환경에서 기존의 정적, 동적 개체의 판별 방식과 비교하여, 장애물 회피를 위한 저해상도 격자 공간의 생성 및 강화학습을 이용한 경로 생성을 다루고자 한다. 최종적으로 실험을 통해 제안된 방법론의 실효성을 검증하고자 한다.

Abstract ▼ AI-Helper

Autonomous locomotion has two essential functionalities: mapping builds and updates maps by uncertain position information and measured sensor inputs, and localization is to find the positional information with the inaccurate map and the sensor information. In addition, obstacle detection, avoidance, and path designs are necessarily required for autonomous locomotion by combining the probabilistic methods based on uncertain locations. The sensory inputs, which are measured by a metric-based scanner, have difficulties of distinguishing moving obstacles like humans from static objects like walls in given environments. This paper proposes the low resolution grid map combined with reinforcement learning, which is compared with the conventional recognition method for detecting static and moving objects to generate obstacle avoiding path. Finally, the proposed method is verified with experimental results.

주제어

표/그림 (7)

그림 그림 1. 생성된 지도 데이터(상)와 주행 중의 로봇의 추정 위치를 토대로 복원된 거리 정보(하)의 관계. 원형 안에 동적 장애물인 사람이 이동 중이며, 진행 위치, 각도 오차에 따른 지도와 센서 정보간의 정렬 오차를 표현함.
그림 그림 2. 장애물 감지 및 회피를 위한 저해상도 격자 공간의 생성 및 장애물 이동에 따른 확률 수정 과정
그림 그림 3. 강화 학습 방식으로 구성된 장애물 회피 경로 생성(상) 및 장애물 감지에 따른 상태함수 분포 결과(하)
그림 그림 4. 코너링에 의한 급격한 회전 시, 지도와 센서 값의 큰 정렬 오차 발생에 의한 장애물 판단 불가 예시
그림 그림 5. 장애물 지도 및 강화학습을 연계한 회피 방식
그림 그림 6. 저해상도의 장애물 감지용 지도 작성을 통해, 장애물 출몰지역에 대한 강화학습 결과 및 생성 회피 경로
그림 그림 7. 실 환경에서 불특정 장애물을 회피하는 테스트 장면

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는, 이러한 장애물 회피를 위해 강화 학습 기반의 회피 경로 생성을 다루고자 한다. 기존의 장애물 감지에 따른 강화 학습 기반 회피와, 제안된 장애물 감지용의 격자 지도 생성 및 강화 학습 기반 회피의 방법론을 비교하고자 한다.
따라서, SLAM을 위한 격자 지도는 조밀하게 구성하고, 장애물의 감지 및 회피 경로 생성을 위해서는 별도의 저해상도 격자 공간을 사용하고자 한다.
본 논문에서는 산업용 자율 주행 로봇을 위한 장애물 회피 기법의 개발 사례를 다루고 있다. 이를 위해, 두 가지의 서로 다른 방법을 통해, 연산량의 특징과 작업 공간에 대한 의존성을 설명하려 한다.
본 논문에서는, 이러한 장애물 회피를 위해 강화 학습 기반의 회피 경로 생성을 다루고자 한다. 기존의 장애물 감지에 따른 강화 학습 기반 회피와, 제안된 장애물 감지용의 격자 지도 생성 및 강화 학습 기반 회피의 방법론을 비교하고자 한다.
이러한 한계성 때문에, 제안된 저해상도의 격자 공간을 토대로 장애물을 감지하고자 하였다. 장애물을 감지하는 식 (3)의 방식과 달리, 장애물용 격자를 이용하기에 강화 학습의 보상 함수는 지도상의 확률값을 이용하여 설계가능하다.
SLAM의 지도 작성 기능은 위치 추정의 오류를 감소하기 위해 다수의 조밀한 격자 공간으로 이루어진다. 이와 달리, 장애물 감지를 위한 격자 지도를 강화학습과 결합하여, 장애물 회피와 함께 처리하고자 한다.

가설 설정

자율 주행 로봇은, 지능형 서비스 로봇 분야에서 활발히 진행되어 왔으나, 다양한 불확실성이 잠재하고 있는 실 환경 서비스 측면에서 다소 미흡한 실정이다. 가정, 도로, 공공 장소 등의 환경은, 지형의 변화에 따른 지속적인 지도 수정이 빈번하며, 환경 내의 동적 물체의 출현 빈도가 높아 감지 및 회피에 어려움이 있다.

제안 방법

[그림 2]와 같이, 산업용 로봇의 크기를 고려하여 30cm의 격자를 장애물 회피용 지도로 사용하고, 이를 토대로 식 (2)에 의한 장애물 감지용의 지도 공간을 구현하였다. 이는, 30cm의 격자 공간을 이용하여 전방의 장애물 또는 주위 벽을 추종한 결과로.
이에 따라, 목표 지점, g에 도달하기 전에는 격자 상위치 s에 해당하는 장애물 지도의 음수 확률 값을 보상 함수로 사용하고, 목표 지점에서는 최대 보상 값인 1을 가지게 된다. 또한, 벽면에서는 최저, 빈 공간에서는 확률값에 의해 벽보다 더 낮은 보상을 받고, 목표점에서 최대의 보상을 받도록 설계하였다.
먼저, 기존의 정적 및 동적 물체 구별에 의한 장애물 감지 방식의 경우, 식 (2)를 이용하여 지도와 비교하여 장애물 여부를 감지하고, 이후 강화 학습으로 경로를 생성하는 방식을 테스트하였다.
이 경우의 강화 학습의 보상 값은, 정적 물체에 대해 음수의 정규 분포 함수로 구성하고, 장애물 감지 시 해당 위치에 음의 보상을 사용하는 방식으로 구성하였다. [그림 3]의 경우, 실제 작업 공간과 동일한 지도를 이용한 모의환경 내에서의 강화 학습 결과이며, (6, 2.
각도 θ에 따른 방향 벡터 u와 거리 값, d를 현재 추종 위치, X에 대한 동차 행렬, H로 변환하면, 각도에 따른 장애물 위치, m' 로 표현된다. 이를 실제 지도상의 벽에 해당하는 격자 위치, m과 거리 비교하여, 특정 문턱값 보다 큰 경우 지도상에 존재하지 않는 동적 장애물로 평가한다. 식 (3)은 전체 정렬 오차에 민감하여, 지도 위의 벽이 움직이는 장애물로 오인되는 단점이 있다.
본 논문에서는 산업용 자율 주행 로봇을 위한 장애물 회피 기법의 개발 사례를 다루고 있다. 이를 위해, 두 가지의 서로 다른 방법을 통해, 연산량의 특징과 작업 공간에 대한 의존성을 설명하려 한다.
장애물 회피의 성능 검토를 위해, 가상 환경 기반의 모의 실험 환경을 구축하고, 실 환경에서 산업용 로봇을 이용하여 제안된 방법의 회피 성능을 테스트하였다.
주행 시의 위치 추종을 위한 파티클 필터(Particle filter)의 적용 시, 예측된 다수 파티클의 이동 결과를 통해 정규 분포로 구성된 근사치인 제안(Proposal) 분포와 측정값과의 가중치를 계산하고 이를 통해 실제 목표 (Target) 분포를 추정, 샘플링을 반복하는 과정을 거친다. 이는 중요도 샘플링(Importance sampling) 방법론에 근거하여 적은 수의 샘플에 대한 가중치를 토대로 목표 분포를 얻어내는 방식이다.

성능/효과

또한, 파티클 필터를 이용하여 초당 10회의 공간 위치 추정을 수행하고 있기에, 장애물 출현에 따른 최대 초당 10회의 확률 수정이 가능하다. 그러나, 연산량을 고려하여, 지도의 수정 결과에 큰 차이가 있을 때만 최대 초당 1회 이하의 강화학습을 수행하도록 강제하여 적은 연산량으로도 회피 주행이 가능하게 구성하였다.
후자의 경우는, 공장, 홀과 같은 넓은 공간에 적합한 방식이다. 실험 결과, 장애물 크기에 대한 예측이 가능하여 장애물 주위를 자연스럽게 회피하는 경우의 성능 향상이 우수하였다.
[그림 7]은 실제 로봇에 적용 시의 장애물 회피 사례이다. 제안된 방식은 장애물 격자 지도의 수정과 동시에 실시간 강화 학습을 적용하기 때문에, 기존 방식 대비 연산량이 다소 높다.

후속연구

장애물 회피는, SLAM 기반의 자율 주행과 같은 정해진 경로를 반복 추종하는 환경에서 복잡성이 크게 요구되는 분야로, 안전 사고 예방 등 해당 기술의 중요도가 높기 때문에 향후 제안된 방법론의 하이브리드 적용에 대한 추가 연구가 필요할 것으로 사료된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	이동 로봇은 어떠한 로봇인가?	이동 로봇은, 바퀴 또는 캐터필러와 같은 구름 접촉을 이용한 지면에서의 이동 방식 및 드론과 같은 3차원 공간 상의 비행에 따른 위치 변경이 가능한 로봇을 말한다. 이러한 이동성에 대한 제어 기능을 토대로, 물류 이송, 농업 및 해양 환경, 보안 설비, 위험한 환경의 탐사에 활용되며, 주행 방식에 따라 크게 원격지 조종에 의한 원격 제어와 로봇 내 부착된 센서를 이용하여 로봇이 스스로 움직이는 자율 주행 방식으로 구별된다.
	미래에 가능한 보상의 기대 값을 사용하는 확률론적 방법론인 강화 학습의 특징은 무엇인가?	이와 달리, 강화 학습은 미래에 가능한 보상의 기대 값을 사용하는 확률론적 방법론에 해당한다. 장애물의 판단 여부가 불확실한 경우에도, 미래의 보상값을 추정 하는 방식으로 장애물 회피에 적합한 특징을 가지고 있다. 산업용 자율 주행 로봇이 일반적으로 제한된 작업 공간내의 움직임으로 제한되어 있어 다양한 기하학적 공간 내의 회피 경로 생성에 장점을 가진다.
	자율 주행에서 요구되는 기능은?	자율 주행은, 부착된 거리 기반 센서를 이용하여 작업 공간 내 실제 주행을 통한 지도 작성 기능과, 생성, 수정된 지도와 센서 정보를 융합하여 현재 위치를 보정 하는 위치 추정 기능이 요구된다. 이러한 방법론은, 현재 위치가 불확실한 상태에서 관측을 통해, 위치의 추정 및 보정과 함께 지도를 수정하는 방식으로 구현되 며, 이러한 불확실성 때문에 확률 기반 방법론이 필수 적으로 사용되고 있다.

참고문헌 (10)

S. Thrun, "A Probabilistic Approach to Concurrent Mapping and Localization for Mobile Robots," Machine Learning and Autonomous Robots, Vol.31, No.5, pp.1-25, 1998
S. Thrun, W. Burgard, and D. Fox, Probabilistic Robotics, pp.171-172, MIT Press, 2005.
D. Holz, D. Droeschel, S. Behnke, M. May, and H. Surmann, "Fast 3D perception for collision avoidance and SLAM in domestic environment," In Mobile robots navigation, In-Tech Education and Publishing, Vienna, Austria, 2010.
G. Grisetti, C. Stachniss, and W. Burgard, "Improved Technique for Grid Mapping with Rao-Blackwellization Particle Filters," IEEE Trans. on Robotics (T-RO), Vol.23, pp.34-46, 2007.

상세보기
J. Civera, A. J. Davison, and J. M. M. Montiel, "Inverse depth parametrization for monocular SLAM," IEEE Trans. Robot., Vol.24, No.5, pp.932-945, 2008(10).

상세보기
A. J. Davison, I. D. Reid, N. D. Molton, and O. Stasse, "MonoSLAM: Real-time single camera SLAM," IEEE Trans. Pattern Anal. Mach. Intell., Vol.29, No.6, pp.1052-1067, 2007(6).

상세보기
D. Marzorati, M. Matteucci, D. Migliore, and D. G. Sorrenti, "Monocular SLAM with inverse scaling parametrization," In Proc. of the British machine vision conference, Leeds, pp.945-994, 2008.
J. Sola, T. Vidal-Calleja, J. Civera, and J. M. M. Montiel, "Impact of landmark parametrization on monocular EKF-SLAM with points and lines," International Journal of Computer Vision, Vol.97, pp.339-368, 2012.

상세보기
R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, Cambridge Univ. Press, pp.157-159, 1998.
J. Roberts, I. Manchester, and R. Tedrake, "Feedback controller parameterizations for reinforcementlearning," In 2011 IEEE Symposium on Adaptive Dynamic Programming and Reinforcement Learning (ADPRL), 2011.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증