[논문]강화학습을 이용한 무인 자율주행 차량의 지역경로 생성 기법

김문종; 최기창; 오병화; 양지훈

doi:10.3745/ktsde.2014.3.9.369

강화학습을 이용한 무인 자율주행 차량의 지역경로 생성 기법
Local Path Generation Method for Unmanned Autonomous Vehicles Using Reinforcement Learning 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.3 no.9, 2014년, pp.369 - 374

김문종 (와이즈넛 Mining tech팀) , 최기창 (서강대학교 컴퓨터공학과) , 오병화 (서강대학교 컴퓨터공학과) , 양지훈 (서강대학교 컴퓨터공학과)

초록
AI-Helper

무인 자율주행 차량에서의 경로 생성 기법은 차량이 자동적으로 안전하고 효율적인 경로를 생성하고 주행할 수 있도록 해 준다. 경로에는 크게 전역경로와 지역경로가 있다. 전역경로는 차량이 출발점으로부터 도착점까지 가기 위해 주행해야 하는 구간을, 지역경로는 전역경로에서 얻은 구간을 주행하기 위해서 차량이 실제로 주행해야 할 경로를 의미한다. 본 논문에서는 지역경로 생성을 위하여 효율성 높은 곡선 함수를 사용하는 기존연구에서 더 나아가 학습을 통해 경로를 생성하는 방법을 제안한다. 먼저 강화학습을 통해서 후보경로에 대한 예측 보상 값을 얻고 보상 값이 최고가 되는 경로를 찾는 작업을 한다. 또한 인공 신경망을 통해서는 생성된 경로에 최적화된 조향 명령을 주기 위해 조향 각을 학습하는 작업을 한다. 더 나아가 주행하는 경로에 장애물이 발견되더라도 이를 효율적으로 회피하는 최적의 경로를 학습 기법을 통해 만들어낸다. 본 논문에서 제안된 알고리즘의 우수성은 실제 주행 환경으로 모델링한 시뮬레이션 실험을 통해 검증되었다.

Abstract ▼ AI-Helper

Path generation methods are required for safe and efficient driving in unmanned autonomous vehicles. There are two kinds of paths: global and local. A global path consists of all the way points including the source and the destination. A local path is the trajectory that a vehicle needs to follow from a way point to the next in the global path. In this paper, we propose a novel method for local path generation through machine learning, with an effective curve function used for initializing the trajectory. First, reinforcement learning is applied to a set of candidate paths to produce the best trajectory with maximal reward. Then the optimal steering angle with respect to the trajectory is determined by training an artificial neural network. Our method outperformed existing approaches and successfully found quality paths in various experimental settings, including the cases with obstacles.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 이러한 문제들을 해결하기 위해 강화학습과 인공 신경망을 활용하여 안전하고 최적화된 경로를 생성하는 기법을 제시한다. 더욱이 장애물이 발견되었을 때에 어떻게 안전하게 회피하는 경로를 생성할 수 있는지에 대해서도 보인다.
두 번째는, 차량에 장착한 센서들이 오차를 가지는 것이다. 따라서 이러한 문제들을 해결하기 위해 강화학습과 인공 신경망을 활용하여 안전하고 최적화된 경로를 생성하는 기법을 제시한다. 더욱이 장애물이 발견되었을 때에 어떻게 안전하게 회피하는 경로를 생성할 수 있는지에 대해서도 보인다.
본 논문에서는 DGPS를 이용해 전역경로에 대한 지점들을 생성하고 지역경로 상황에서 무인차가 효율적인 경로를 찾아 낼 수 있는 방법을 제시한다. 지역경로를 생성할 때 발생하는 문제는 기본적으로 두 가지가 있다.
둘째로, 실 도로의 복잡성이다. 본 논문에서는 높낮이나 횡단보도, 표지판, 과속 방지턱 등을 고려하지 않은 주행을 하였다. 하지만 실 도로에서는 이러한 것들을 고려하지 않고 주행한다면 큰 문제가 생길 수 있다.

가설 설정

둘째로, 실 도로의 복잡성이다. 본 논문에서는 높낮이나 횡단보도, 표지판, 과속 방지턱 등을 고려하지 않은 주행을 하였다.
지점을 찾기 위한 과정은 다음 6가지 단계로 나타낼 수 있다. 시작, 도착 상태 및 장애물 정보는 주어진다고 가정한다.
첫째로, 장애물이 다양하다는 것이다. 본 논문에서는 장애물을 일정한 넓이를 가지는 정적 장애물로 구성하였지만 실 도로에서 발생할 수 있는 장애물은 훨씬 더 다양할 뿐만 아니라 사람이나 동물 움직이는 차량 등 동적 장애물이 많이 존재한다.

제안 방법

출발 지점인 1번부터 20번까지 단방향으로 연결된 가중 그래프를 생성하였고, 이는 시뮬레이션상에서 결정된 전역경로가 된다. 또한 자동차 부품 연구원(KATECH) 주행 도로 1,591m를 위와 같은 방식으로 단방향 가중그래프로 생성하여 가상 도로로 구현하였다.
먼저 도로에 임의의 지역에 장애물을 넣고 경로 생성을 하였다. 장애물은 핀이 꽂혀 있는 곳이다.
본 논문에서는 시간차 학습을 사용하여 실제로 차가 주행 했을 때 보상 값을 t시간마다 얻어내어 잡음의 세기(τ)를 학습 시켜 나아간다.
출발 지점부터 도착지점까지 주행하면서 도로 중앙으로부터 떨어진 거리의 보상 값을 측정하였다. 우선 서강대학교 교내 도로에서 무인차 주행실험을 진행하였다. 학습이 이루어질 때마다 보상 값을 계산하여 전체 보상 값의 평균이 전체 주행 결과 나타난 보상 값이 된다.
이렇게 잡음 값을 얻고 나면 가치 함수 반복(Value Function Iteration)을 통해 k₁지점을 전 방향으로 이동하여 보고 k₁지점을 기준으로 경로를 생성하여 먼 거리의 보상 값(Long Reward)을 다음과 같이 얻어낸다.
자동차 내부에 설치된 카메라 이미지를 입력으로 받아 강화학습을 수행하는 방법도 제안되었다[8]. 이미지 정보를 바탕으로 중앙에서 떨어진 거리를 계산하고 이 정보를 이용하여 차선의 중앙으로 가기 위한 조향 각을 결정한다. 이후에 짧은 구간에서의 보상 값을 예측하여 실제로 주행한 이후에 얻게 된 실제 보상 값으로 학습을 진행한다.
이미지 정보를 바탕으로 중앙에서 떨어진 거리를 계산하고 이 정보를 이용하여 차선의 중앙으로 가기 위한 조향 각을 결정한다. 이후에 짧은 구간에서의 보상 값을 예측하여 실제로 주행한 이후에 얻게 된 실제 보상 값으로 학습을 진행한다.
제안된 알고리즘을 통해 경로를 생성하는 무인차가 실제 도로에서 제대로 주행하는지 확인하기 위해서 실제 도로의 GPS좌표를 사용한 시뮬레이션 경로를 생성하였다. 서강대학교 교내 도로 342m를 시뮬레이션 대상 경로로 설정하였다.
지금까지 무인차 환경에서 장애물을 감지하거나 곡선 구간이 생겼을 때 강화학습, 인공신경망을 활용하여 효율적으로 주행할 수 있는 방법을 제시하였다. 학습 기법을 사용한 알고리즘은 학습을 사용하지 않은 알고리즘보다 더 좋은 보상 값을 얻는 동시에 학습을 통하여 좀 더 최적화된 경로를 생성하고 안전하게 차량을 제어할 수 있다는 것을 확인하였다.
시뮬레이션에서 사용한 주행 수식은 [11]을 참조하였다. 출발 지점부터 도착지점까지 주행하면서 도로 중앙으로부터 떨어진 거리의 보상 값을 측정하였다. 우선 서강대학교 교내 도로에서 무인차 주행실험을 진행하였다.

대상 데이터

제안된 알고리즘을 통해 경로를 생성하는 무인차가 실제 도로에서 제대로 주행하는지 확인하기 위해서 실제 도로의 GPS좌표를 사용한 시뮬레이션 경로를 생성하였다. 서강대학교 교내 도로 342m를 시뮬레이션 대상 경로로 설정하였다. Table 3의 각 지점들은 대상 경로의 20개의 지점들이며 위도와 경도 정보를 GPS로 측정하였다.

이론/모형

시뮬레이션 환경에서 차량의 속도는 5m/sec이며 100ms 마다 실제 주행과 학습이 이루어진다. 시뮬레이션에서 사용한 주행 수식은 [11]을 참조하였다. 출발 지점부터 도착지점까지 주행하면서 도로 중앙으로부터 떨어진 거리의 보상 값을 측정하였다.

성능/효과

Table 4은 단순하게 곡률반경 계산을 통해 주행을 이어 나갈 때와 비-스플라인 곡선을 따라 주행할 때, 그리고 제안된 알고리즘의 보상 값을 나타낸 표이다. 제안 알고리즘은 비-스플라인 곡선만을 사용했을 때보다 평균적으로 0.03정도 보상 값이 향상되는 것을 확인할 수 있다. 이 값을 거리의 합으로 환산하면 7.
지금까지 무인차 환경에서 장애물을 감지하거나 곡선 구간이 생겼을 때 강화학습, 인공신경망을 활용하여 효율적으로 주행할 수 있는 방법을 제시하였다. 학습 기법을 사용한 알고리즘은 학습을 사용하지 않은 알고리즘보다 더 좋은 보상 값을 얻는 동시에 학습을 통하여 좀 더 최적화된 경로를 생성하고 안전하게 차량을 제어할 수 있다는 것을 확인하였다. 이는 경로를 생성함에 있어 실 도로를 주행할 때에도 안전한 경로를 생성할 수 있다는 것을 의미한다.
Table 5의 학습을 사용하지 않은 보상 값을 보면 급커브 구간에서 경로와 멀어지는 상황이 발생하면서 보상 값이 급격히 떨어지는 상황이 일어나고 경로가 끊기면서 얻어진 값을 나타낸 것이다. 학습을 사용하지 않았을 때 보상 값이 떨어지는 동시에 안전한 주행을 할 수 없다는 결론을 얻을수 있다.

후속연구

본 논문에서는 장애물을 일정한 넓이를 가지는 정적 장애물로 구성하였지만 실 도로에서 발생할 수 있는 장애물은 훨씬 더 다양할 뿐만 아니라 사람이나 동물 움직이는 차량 등 동적 장애물이 많이 존재한다. 따라서 이러한 동적 장애물의 이동 경로를 예측하여 경로를 생성하는 기법은 앞으로도 계속 연구가 되어야 할 것이다.
특히 2004년부터 방위 고등 연구 계획국(DARPA)에서 주최한 무인 자율주행 대회 이후로 무인차에 대한 관심이 더욱 증폭되어 있는 상태이다. 보다 안전하고, 효율적으로 무인차를 제어하는 시스템에 대한 연구는 사회적으로나 경제적으로도 가치 있는 연구가 될 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	전역경로란?	경로에는 크게 전역경로와 지역경로가 있다. 전역경로는 차량이 출발점으로부터 도착점까지 가기 위해 주행해야 하는 구간을, 지역경로는 전역경로에서 얻은 구간을 주행하기 위해서 차량이 실제로 주행해야 할 경로를 의미한다. 본 논문에서는 지역경로 생성을 위하여 효율성 높은 곡선 함수를 사용하는 기존연구에서 더 나아가 학습을 통해 경로를 생성하는 방법을 제안한다.
	경로는 크게 무엇으로 구분하는가?	무인 자율주행 차량에서의 경로 생성 기법은 차량이 자동적으로 안전하고 효율적인 경로를 생성하고 주행할 수 있도록 해 준다. 경로에는 크게 전역경로와 지역경로가 있다. 전역경로는 차량이 출발점으로부터 도착점까지 가기 위해 주행해야 하는 구간을, 지역경로는 전역경로에서 얻은 구간을 주행하기 위해서 차량이 실제로 주행해야 할 경로를 의미한다.
	지역경로를 생성할 때 발생하는 문제 두가지는 무엇인가?	지역경로를 생성할 때 발생하는 문제는 기본적으로 두 가지가 있다. 첫 번째는, 도로의 지형이 불규칙하게 변하고 차량의 회전 반경이 큰 구간이 있는 것이다. 두 번째는, 차량에 장착한 센서들이 오차를 가지는 것이다. 따라서 이러한 문제들을 해결하기 위해 강화학습과 인공 신경망을 활용하여 안전하고 최적화된 경로를 생성하는 기법을 제시한다.

참고문헌 (11)

C. de Boor, Practical Guide to Splines, New York: Springer-Verlag, pp.113-115, 1978.
W. Chen, Feedback, Nonlinear, and Distributed Circuits, CRC Press, pp.9-20, 2009.
H. Michiel, "Spline interpolation," Encyclopedia of Mathematics, Springer, 2001.
C. Urmson, et al., "Autonomous driving in urban environments: Boss and the urban challenge," Journal of Field Robotics, Vol.25, No.8, pp.425-466, 2008.

상세보기
J. Levinson, et al., "Towards fully autonomous driving: Systems and algorithms," 2011 IEEE Intelligent Vehicles Symposium, pp.163-168, 2011.
B. Il, J. Kim, and S. Kim, "Steering rate controller based on curvature of trajectory for autonomous driving vehicles," 2013 IEEE Intelligent Vehicles Symposium, pp.1381-1386, 2013.
J. Forbes, "Reinforcement learning for autonomous vehicles," Ph.D. dissertation, University of California, CA, USA, 2002.
S. Oh, J. Lee, and D. Choi, "A new reinforcement learning vehicle control architecture for vision-based road following," IEEE Transactions on Vehicular Technology, Vol.49, No.3, pp.997-1005, 2000.

상세보기
E. Dijkstra, "A note on two problems in connexion with graphs," Numerische mathematik, Vol.1. No.1, pp.269-271, 1959.

상세보기
R. Sinnott, "Virtues of the Haversine," Sky and telescope, Vol.68, p.158, 1984.
J. Choi and K. Kong, "Localization of a Self-Driving Vehicle Extended Kalman Filtering with FixedGains," in Proceedings of the International Conference on Computers, Networks, Systems, and Industrial Applications, pp.89-94, 2012.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증