[논문]실시간 장애물 회피 자동 조작을 위한 차량 동역학 기반의 강화학습 전략

강동훈; 봉재환; 박주영; 박신석

doi:10.7746/jkros.2017.12.3.297

실시간 장애물 회피 자동 조작을 위한 차량 동역학 기반의 강화학습 전략
Reinforcement Learning Strategy for Automatic Control of Real-time Obstacle Avoidance based on Vehicle Dynamics 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.12 no.3, 2017년, pp.297 - 305

강동훈 (Automotive Convergence Engineering, Korea University) , 봉재환 (Mechanical Engineering, Korea University) , 박주영 (The Department of Control and Instrumentation Engineering, Korea University) , 박신석 (Mechanical Engineering, Korea University)

Abstract ▼ AI-Helper

As the development of autonomous vehicles becomes realistic, many automobile manufacturers and components producers aim to develop 'completely autonomous driving'. ADAS (Advanced Driver Assistance Systems) which has been applied in automobile recently, supports the driver in controlling lane maintenance, speed and direction in a single lane based on limited road environment. Although technologies of obstacles avoidance on the obstacle environment have been developed, they concentrates on simple obstacle avoidances, not considering the control of the actual vehicle in the real situation which makes drivers feel unsafe from the sudden change of the wheel and the speed of the vehicle. In order to develop the 'completely autonomous driving' automobile which perceives the surrounding environment by itself and operates, ability of the vehicle should be enhanced in a way human driver does. In this sense, this paper intends to establish a strategy with which autonomous vehicles behave human-friendly based on vehicle dynamics through the reinforcement learning that is based on Q-learning, a type of machine learning. The obstacle avoidance reinforcement learning proceeded in 5 simulations. The reward rule has been set in the experiment so that the car can learn by itself with recurring events, allowing the experiment to have the similar environment to the one when humans drive. Driving Simulator has been used to verify results of the reinforcement learning. The ultimate goal of this study is to enable autonomous vehicles avoid obstacles in a human-friendly way when obstacles appear in their sight, using controlling methods that have previously been learned in various conditions through the reinforcement learning.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기계 학습 중 하나인 강화학습에 차량 동역학 요소를 반영하여 장애물 등의 다양한 도로 환경에서도 실제 사람이 운전하는 것과 유사한 사용자 친화적인 차량 조작을 구현하였다.
본 논문에서는 장애물 상황에 대해서 자율 주행 자동차가 사람과 유사한 거동을 보일 수 있도록 차량을 제어하는 방법을 제안하였다. 이를 구현하기 위해 Q-learning 을 기반으로 한 강화학습을 적용하였다.

가설 설정

이때 사람의 거동과 유사한지 아닌지를 판단하기 위해 사람은 장애물을 회피할 때는 차량의 속도가 감소하도록 조작하고 장애물을 회피한 후에는 차량의 속도가 증가하도록 조작한다는 가설을 세웠다.
이를 통해 장애물의 종류와 위치를 차량이 알고 있으며 차량의 경우, 정밀한 GPS를 가지고 있어 도로 위에 정확한 위치를 파악할 수있다고 가정하였다.
2의 개념도에 묘사된 것과 같은 차량 센서부의 정보를 바탕으로 장애물을 인지했다고 가정하였다.

제안 방법

보상 정책을 구축하고 차량의 거동을 평가 할 때 사람이 주어진 장애물 환경에서 어떤 점을 중요시 여기는지에 대한 항목을 가정하여 설정하였으며 학습 결과를 Driving Simulator 를 사용해 추출한 운전자 데이터와 비교를 해보았다.
위 과정을 계속적으로 반복하여 해당 장애물 환경에 부합하는 차량 조작법을 구축하였다.
위 문제점을 해결하기 위해서 다양한 환경에서 시스템이 스스로 학습을 통해 행동을 결정하는 강화학습을 적용하고자 하였다
이때 Carsim 모델의 입력 값으로 차량 속도와 조향각을 사용하였고, 출력 값으로 차량 무게중심의 좌표, heading값, 횡/종 가속도, 차량의 roll, 위험 지역 도달 여부를 산출하여 학습을 진행하였다.
이렇게 받은 정보를 토대로 구축한 보상 정책과 비교하여 행동 평가를 진행하고 이를 반복적으로 진행함으로써 사람이 해당 장애물 상황에서 차량을 조작하는 것과 유사한 결과를 구축할 수 있도록 알고리즘을 구축하였다.
이를 위해서 Driving Simulator를 사용하여 앞서 설정한 총 다섯 가지의 도로 환경을 구축하여 운전자 데이터를 추출하였다.
차량의 무게중심 좌표, 장애물과의 거리, 차량의 heading angle, 위험지역 접근 여부와 같은 차랑 상태와 입력 값인 차량 속도 및 조향각의 조합으로 인덱스를 구축하였다.
총 다섯 가지 장애물 상황에 대해서 강화학습을 적용하였으며 이때 학습 모델로는 Full car 모델을 기반으로 하는 CarSim을 사용하여 장애물 회피 학습을 진행하였다.
CarSim과 Simulink를 연동하여 구축한 네 가지 실험환경과 ISO 3888-2 규격의 Slalom test 환경을 구축하여 총 다섯 가지 도로 상황에 대한 장애물 회피 강화학습을 적용하였다.
노면 위 장애물 상황의 경우, 장애물 상황에 대한 규정이 정해져 있지 않아 장애물 상황에 대해 가정한 네 가지 도로 환경과 ISO 3888-2의 Slalom test[10] 상황을 구축하여 실험을 진행하였다.
다음으로 큰 장애물이 도로에 있어 차선을 변경하여 회피하는 경우인 Case(3)에 대해서 강화학습을 진행하였다.
마지막으로 Case(5)의 경우, ISO 3888-2의 Slalom test 규격에 맞춰 교통콘을 배치한 후 교통콘을 부딪치지 않고 설정 코스를 통과하는 실험을 진행하였다.
먼저 Case(1)과 (2)는 단일 차선 내에서 장애물을 회피 하는 경우로, (1)의 경우 위험도가 낮은 장애물이며 (2) 의 경우 위험도가 큰 장애물로써 장애물 영역의 위험도를 다르게 설정하여 강화학습을 진행하였다.
본 논문에서는 기존의 장애물 회피 기술들의 한계점을 극복하고자 기계학습 중 하나인 강화학습을 자율 주행에 적용하였다. 강화학습은 환경 정보를 정확히 알기 힘든 로봇 제어에서 많이 사용되고 있는 방법이다^[7].

대상 데이터

차량 모델로는 Carsim에서 제공하고 있는 15자유도 모델인 C-Class Hatchback을 사용하였다(Spring mass-6DOF, each Suspension- 2DOF, each Wheel-1DOF, Steering-1DOF).

데이터처리

강화학습으로 얻은 결과를 실제 사람이 동일한 장애물 상황 속에서 차량을 조작할 때의 데이터와 비교하여 검증하였다.

이론/모형

조작 입력 값을 선택하기 위해서는 ε-greedy selection[11] 기법을 적용하였다.

성능/효과

이를 통해 강화학습을 적용한 장애물 회피 전략을 사전에 구축하고 차량에 적용함으로써 실시간으로 장애물 상황에 상응하는 차량 조작법을 사용할 수 있고 사용자 친화적인 장애물 회피 구현의 가능성을 확인하였다.

후속연구

이미 차량에 사용되고 있는 차량 센서(Radar, LIDAR, 카메라 등)을 사용하여 장애물 인식 문제를 보완한다면 강화학습을 적용한 장애물 회피 전략을 실제 환경에서 사용할 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Fuzzy Logic Control은 무엇인가?	먼저 Fuzzy Logic Control의 경우, 1964년 Zedeh 교수가 제안한 이론으로 불분명한 상태, 모호한 상태를 이진 논리에서 벗어나 다치성으로 표현하는 논리 개념이다[2,5]. Fuzzy Algorithm의 경우 각 대상이 해당 집합(fuzzy set)에 속하는 정도를 소속함수로 나타내고 그 소속함수에 대응되는 대상과 함께 표기를 한다.
	Potential Field Method의 한계점은?	Potential Field Method의 경우, 주행 제어에 사용되는 대표적인 알고리즘으로 장애물로부터 이동 대상을 밀어내는 가상의 힘을 생성하고 목표 지점으로 당기는 힘을 생성하여 최종적으로 해당 목표 지점에 도달하는 주행 알고리즘이다. 위 알고리즘의 경우, 간단한 구조의 이론이라는 장점이 있지만 장애물을 회피하는 경로 생성만을 고려하고, 속도 제어에 대한 고려는 없다는 한계점이 있다[6].
	자동차의 자율 주행 기술개발의 장점은?	자동차의 자율 주행 기술 개발도 이러한 맥락에서 하나의 중요한 자동화 기술 분야로 대두되고 있다. 자동차의 자율 주행 기술개발은 주행 중 운전자의 페달 및 핸들 조작과 같은 단순 작업에서 운전자를 자유롭게 해 줄 수 있을 뿐만 아니라 운전자의 부주의로 인한 실수를 줄이고 도로 환경에 따른 최적화된 차량제어를 통해 사고를 미연에 방지할 수 있다. 자율주행에 대한 가이드 라인을 구축하기 위해 미국 도로교통 안전국(National Highway Traffic Safety Administration, NHTSA)에서는 총 5가지 단계로 자동차 시스템을 분류하였다.

참고문헌 (12)

NHTSA (National Highway Traffic Safety Administration), Federal Automated Vehicles Policy, [Online], https://one.nhtsa.gov/nhtsa/av/av-policy.html, Accessed: December 12, 2016.
L.A. Zadeh, "Fuzzy sets," Information and Control, vol. 8, no. 3, pp. 338-353, Jun, 1965.

상세보기
R.B. Tilove, "Local obstacle avoidance for mobile robots based on the method of artificial potentials," in IEEE International Conference on Robotics and Automation, Ohio, USA, pp. 566-571, 1990.
A.E. Eiben, P-E. Raue, and Zs. Ruttkay, "Genetic algorithms with multi-parent recombination," in International Conference on Evolutionary Computation the Third Conference on Parallel Problem Solving from Nature, Jerusalem, Israel, pp. 78-87, 1994.
R. Malhotra, A. Sarkar, "Development of a fuzzy logic based mobile robot for dynamic obstacle avoidance and goal acquisition in an unstructured environment," in IEEE/ASME International Conference on Advanced Intelligent Mechatronics, California, USA, pp. 1198-1203, 2005.
L. Jong-Yeon, J. Hah-Min, and K Dong-Hun, "Amorphous obstacle avoidance based on APF methods for local path planning," Journal of Korean Institute of Intelligent Systems, vol. 1, no. 1, pp. 19-24, Feb, 2011.
R.S. Sutton and A.G. Barto, "Introduction" in Reinforcement learning : An Introduction, MIT Press, 2012, ch.1, sec. 1.1, pp. 18-38s
G.J. Tesauro, "Temporal difference learning and TDGammon," Communications of the ACM, vol. 38, no. 3, pp. 58-68, Mar, 1995.

상세보기
S. Lu, X. Liu, and S. Dai, "Incremental multistep Q-learning for adaptive traffic signal control based on delay minimization strategy," in 2008 7th World Congress on Intelligent Control and Automation, Chongqing, China, pp. 2854-2858, 2008.
ISO (International Organization for Standardization), ISO 38888-2:2011, [Online], http://www.iso.org/iso/catalogue_detail.htm?csnumber57253, Accessed : September 16, 2016.
C. Watkins, "Learning from delayed rewards," Ph.D. Thesis, King's College, Cambridge, England,1989.
B. Beckman's, "Part 7: The traction budget," The Physics of Racing, [Online], http://phors.locost7.info/contents.htm, Accessed : July 03, 2016.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증