[논문]CNN을 이용한 자율주행차 조향 제어

황광복; 박진현

doi:10.6109/jkiice.2020.24.7.834

CNN을 이용한 자율주행차 조향 제어
Steering Control of an Autonomous Vehicle Using CNN 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.7, 2020년, pp.834 - 841

황광복 (Dept. of Mechatronics Eng., Gyeognam Nat. Univ. of Science and Technology) , 박진현 (Dept. of Mechatronics Engineering, Gyeognam Nat. Univ. of Science and Technology)

초록
AI-Helper

시각센서 기반 자율주행 시스템 중 소실점을 이용한 제어기법은 자율주행에 있어 가장 보편적인 방법이다. 그러나 차선이 존재하지 않거나 소실된 경우, 차선검출과 소실점 추정이 매우 어렵다. 본 논문에서는 카메라 영상 이미지를 CNN에 적용하여 도로의 소실점과 소실점을 만드는 좌, 우측의 소실점 라인을 예측하고, 예측된 결과로부터 자율주행을 위한 조향 제어기를 설계하였다. 모의실험 결과 CNN을 적용한 제안한 방법이 실선 차선의 유무와 관계없이 도로의 중심을 잘 추종하였으며, 일반적인 소실점을 사용한 제어기법보다 성능이 뛰어남을 확인하였다.

Abstract ▼ AI-Helper

Among the autonomous driving systems based on visual sensors, the control method using a vanishing point is the most general method for autonomous driving. However, if the lane is lost or does not exist, it is very difficult to detect this and estimate the vanishing point. In this paper, we predict the vanishing point of the road and the vanishing point lines on the left and right sides using CNN for the camera image and design the steering controller for autonomous driving from the predicted results. As a result of the simulation, it was confirmed that the proposed method well tracked the center of the road regardless of the presence or absence of a solid lane, and was superior to the control method using a general method using the vanishing point.

주제어

표/그림 (12)

그림 Fig. 1 Vanishing point detection
그림 Fig. 2 Examples of missing vanishing point (a) A lane without solid lines (b) A lane with only one solid line (c) Shadow lane (d) A Solid lane with trees around it
그림 Fig. 3 Steering control of an Autonomous Vehicle
그림 Fig. 4 Control of an autonomous vehicle using CNN
그림 Fig. 5 Virtual simulation environment (a) Autonomous vehicle (b) Lane map
표 Table. 1 The proposed CNN structure
표 Table. 2 CNN learning data
그림 Fig. 6 Road environments for CNN learning.
그림 Fig. 7 Tracking Error for Test road 1
표 Table. 3 Environment settings
그림 Fig. 8 Tracking Error for Test road 2
그림 Fig. 9 Tracking Error for Test road 3

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 카메라 영상 이미지를 CNN에 적용하여 도로의 소실점과 소실점을 만드는 좌, 우측의 소실점 라인을 예측하고, 예측된 점들로부터 자율주행을 위한 조향 제어에 적용하고자 한다. 자율주행을 위한 모의실험은 운동 역학을 기반으로 한 Unity3D(Unity Technologies [16]의 소프트웨어) 게임엔진을 사용하였으며, 일반적인 소실점을 사용한 제어기법과 비교하였다.

가설 설정

CNN의 입력은 영상 이미지가 사용되며, 출력은 소실점의 축 좌푯값 _과 좌우 소실점 라인의 축 좌푯값 __이다. 각 좌표의 축 좌푯값들은 모두 고정되어 있다고 가정하였다. 소실점의 경우, 축 좌푯값은 자동차 내부의 카메라 틸트(tilt)와 연관되어 있으므로 고정된 카메라에서는 일정하다고 가정할 수 있다.
각 좌표의 축 좌푯값들은 모두 고정되어 있다고 가정하였다. 소실점의 경우, 축 좌푯값은 자동차 내부의 카메라 틸트(tilt)와 연관되어 있으므로 고정된 카메라에서는 일정하다고 가정할 수 있다. 좌우 소실점 라인의 축 좌푯값들은 차량의 중심선을 지나는 수평선과 만나는 점들이므로 축 좌푯값들이 모두 같다고 가정할 수 있다.
소실점의 경우, 축 좌푯값은 자동차 내부의 카메라 틸트(tilt)와 연관되어 있으므로 고정된 카메라에서는 일정하다고 가정할 수 있다. 좌우 소실점 라인의 축 좌푯값들은 차량의 중심선을 지나는 수평선과 만나는 점들이므로 축 좌푯값들이 모두 같다고 가정할 수 있다. 그리고 본 연구에서는 도로의 중심을 계측하는 센서 없이 카메라 영상만을 사용하므로 정확한 차선의 중심값은 알 수 없어 CNN의 출력값을 사용하여 차선의 중심을 예측하였다.

제안 방법

실선 차선이 없는 경우, 허프 변환으로 차선을 검출할 수 없어 소실점과 도로의 중심을 추정할 수 없기 때문이다. CNN을 적용한 제안한 방법에서는 학습되지 않은 실선 차선이 없는 도로에서도 소실점과 좌우 소실점 라인을 잘 추정한다. 도로 중심과의 평균 오차의 합은 96, 697.
가상 모의실험 도로 환경은 Blender(Blender Foundation 의 소프트웨어)를 사용하여 최대한 실제 환경에 가깝도록 설계하였다. 설계된 도로는 차로의 폭을 3.
좌우 소실점 라인의 축 좌푯값들은 차량의 중심선을 지나는 수평선과 만나는 점들이므로 축 좌푯값들이 모두 같다고 가정할 수 있다. 그리고 본 연구에서는 도로의 중심을 계측하는 센서 없이 카메라 영상만을 사용하므로 정확한 차선의 중심값은 알 수 없어 CNN의 출력값을 사용하여 차선의 중심을 예측하였다. 소실점을 이용한 조향 제어와 같이 자율주행차가 차선의 중심에 정밀하게 추종하기 위하여 차량의 위치 정보를 사용하여 PID 제어기를 구성하였다.
또한 과적합(over-fitting) 방지를 위해 학습 데이터의 25%를 검증(validation) 세트로 나누어 구성하고, 최적화 방법으로 adam[18]을 이용하며 총 500 epoch를 진행하였다. CNN의 학습결과 MSE가 99.
모의실험에서 소실점을 이용한 제어기와 CNN을 적용한 제어기의 성능을 비교하였다. 제어 환경은 표 3과같이 설정하고 성능평가를 진행하였다.
본 논문에서는 카메라 영상 이미지를 CNN에 적용하여 도로의 소실점과 소실점을 만드는 좌, 우측의 소실점 라인을 예측하고, 예측된 점들로부터 자율주행을 위한 조향 제어기를 설계하였다. 모의실험 결과 CNN을 적용한 제안한 방법이 실선 차선의 유무와 관계없이 도로의 중심을 잘 추종하였으며, 일반적인 소실점을 사용한 제어기법보다 성능이 뛰어남을 확인하였다.
설계하였다. 설계된 도로는 차로의 폭을 3.5[m] 평면도로 형태로 구성하고 곡선의 반지름은 17[m]로 좌회전, 우회전, 직선 구간이 혼합된 형태로 설계하였다. 그림 5는 모의실험을 위한 자율주행차와 가상 시뮬레이션 환경을 나타낸 것이다.
소실점을 이용한 조향 제어는 자율주행차가 도로의 중심인 __을 정밀하게 추종하기 위하여 차량의 위치 정보를 사용하여 PID 제어기를 구성하였다. 도로와 차량의 중심 오차는 ___이므로 PID 제어기의 출력 _는 수식 (2)와 같고, 자율주행차를 위한 조향 제어는 수식 (3)과 같이 구성된다.
그리고 본 연구에서는 도로의 중심을 계측하는 센서 없이 카메라 영상만을 사용하므로 정확한 차선의 중심값은 알 수 없어 CNN의 출력값을 사용하여 차선의 중심을 예측하였다. 소실점을 이용한 조향 제어와 같이 자율주행차가 차선의 중심에 정밀하게 추종하기 위하여 차량의 위치 정보를 사용하여 PID 제어기를 구성하였다. 자율주행차를 위한 조향제어는 앞선 수식 (3)과 같다.
블록다이어그램이다. 자율주행을 위한 차선의 소실점과 소실점을 만드는 좌, 우측의 소실점 라인을 예측하고, 예측된 결과로부터 자율주행을 위한 조향 제어로 구성하였다. CNN의 입력은 영상 이미지가 사용되며, 출력은 소실점의 축 좌푯값 _과 좌우 소실점 라인의 축 좌푯값 __이다.
나타내었다. 전체적인 네트워크의 구조는 4개의컨볼루션 층과 3개의 완전연결 층으로 구성하였다. 컨볼루션 층은 이미지의 특징을 추출하기 위해 모든 컨볼루션 층에 1*1 stride, 3*3 kernel을 사용하고, 완전연결 층은 3개의 층으로 구성하였으며, 소실점의 축 값과 좌우 소실점 라인의 축 좌푯값을 출력하도록 하였다.
제어기의 성능을 비교하였다. 제어 환경은 표 3과같이 설정하고 성능평가를 진행하였다. 주행 테스트는 학습되지 않은 새로운 지도를 생성하여 진행하였다.
제어 환경은 표 3과같이 설정하고 성능평가를 진행하였다. 주행 테스트는 학습되지 않은 새로운 지도를 생성하여 진행하였다.
전체적인 네트워크의 구조는 4개의컨볼루션 층과 3개의 완전연결 층으로 구성하였다. 컨볼루션 층은 이미지의 특징을 추출하기 위해 모든 컨볼루션 층에 1*1 stride, 3*3 kernel을 사용하고, 완전연결 층은 3개의 층으로 구성하였으며, 소실점의 축 값과 좌우 소실점 라인의 축 좌푯값을 출력하도록 하였다.

대상 데이터

학습 데이터 세트로 구성하였다. CNN 학습에 사용하는 목표 출력값은 총 8171 이미지에 대하여 모두 수작업으로 차선의 소실점과 좌, 우측의 소실점 라인을 측정하여 좌표점을 구하였다. 그림 6은 학습을 위한 도로 환경의 예를 나타내었다.
CNN의 학습은 오픈소스(open source) 신경망 라이브러리인 Keras[17]을 이용하여 표 1과 같이 구성하고, 표 2와 같이 구성된 8171개의 학습 데이터를 사용하였다. 또한 과적합(over-fitting) 방지를 위해 학습 데이터의 25%를 검증(validation) 세트로 나누어 구성하고, 최적화 방법으로 adam[18]을 이용하며 총 500 epoch를 진행하였다.
CNN의 학습을 위해 표 2와 같이 차로의 주변 환경에 따라 4가지 도로 환경을 사용하여 총 8171개의 이미지 데이터를 학습 데이터 세트로 구성하였다. CNN 학습에 사용하는 목표 출력값은 총 8171 이미지에 대하여 모두 수작업으로 차선의 소실점과 좌, 우측의 소실점 라인을 측정하여 좌표점을 구하였다.
그리고 자율주행 시스템에는 오픈 소스 AirSim 시뮬레이터인 언리얼 엔진(unreal engine)을 기반으로 설계하였다. 모의실험에 사용된 자율주행차는 Unity3D 에서 제공하는 물리 엔진과 자동차 자체 동역학 엔진을 사용하여 실제 물리 법칙 환경과 유사하도록 설정하였으며, 일반적인 소형 자동차의 제원을 기준으로 전폭 2[m], 높이 1.5[m], 전장 4[m], 축거 2.6[m], 무게는 1100[kg]으로 설계하였다.

데이터처리

제어에 적용하고자 한다. 자율주행을 위한 모의실험은 운동 역학을 기반으로 한 Unity3D(Unity Technologies [16]의 소프트웨어) 게임엔진을 사용하였으며, 일반적인 소실점을 사용한 제어기법과 비교하였다. 모의실험 결과 CNN을 적용한 제안한 방법이 실선 차선의 유무와 관계없이 도로의 중심을 잘 추종하였으며, 일반적인 소실점을 사용한 제어기법보다 성능이 뛰어남을 확인하였다.

이론/모형

Unity3D는 사용자 인터페이스와 강력한 기능의 설계 모듈을 가지고 있으며, 3D 시뮬레이터(simulator), 가상 재구성, 3D 애니메이션(animation) 과 같은 다양한 콘텐츠를 실시간으로 만드는데 가장 적합하다. 그리고 자율주행 시스템에는 오픈 소스 AirSim 시뮬레이터인 언리얼 엔진(unreal engine)을 기반으로 설계하였다. 모의실험에 사용된 자율주행차는 Unity3D 에서 제공하는 물리 엔진과 자동차 자체 동역학 엔진을 사용하여 실제 물리 법칙 환경과 유사하도록 설정하였으며, 일반적인 소형 자동차의 제원을 기준으로 전폭 2[m], 높이 1.

성능/효과

13[mm]로 측정되었다. CNNe 특징검출 계층인 컨볼루션을 통하여 실선 차선이 없는 도로의 영상 이미지로부터 소실점과 소실점 라인의 특징을 잘 추출함을 나타낸다. 그러므로 CNN을 적용한 제안한 방법이 매우 효과적이고 뛰어난 제어 성능을 가지고 있음을 확인하였다.
CNNe 특징검출 계층인 컨볼루션을 통하여 실선 차선이 없는 도로의 영상 이미지로부터 소실점과 소실점 라인의 특징을 잘 추출함을 나타낸다. 그러므로 CNN을 적용한 제안한 방법이 매우 효과적이고 뛰어난 제어 성능을 가지고 있음을 확인하였다. 앞으로 실제 차량에 CNN을 적용한 많은 연구가 요구되며, ADAS를 대체할 매우 효과적인 방법으로 제시될 수 있다.
주행 테스트에서 48초~57초 구간에서 차체가 심하게 도로 가장자리로 쏠림을 알 수 있다. 도로 중심과의 평균 오차의 합은 소실점을 사용한 제어기에서는 96, 270.43[mm]이며, CNN을 적용한 제어기는 86, 592.80[mm]로 제안한 방법이 더 정밀하게 추종함을 알 수 있다.
자율주행을 위한 모의실험은 운동 역학을 기반으로 한 Unity3D(Unity Technologies [16]의 소프트웨어) 게임엔진을 사용하였으며, 일반적인 소실점을 사용한 제어기법과 비교하였다. 모의실험 결과 CNN을 적용한 제안한 방법이 실선 차선의 유무와 관계없이 도로의 중심을 잘 추종하였으며, 일반적인 소실점을 사용한 제어기법보다 성능이 뛰어남을 확인하였다.

후속연구

그러므로 CNN을 적용한 제안한 방법이 매우 효과적이고 뛰어난 제어 성능을 가지고 있음을 확인하였다. 앞으로 실제 차량에 CNN을 적용한 많은 연구가 요구되며, ADAS를 대체할 매우 효과적인 방법으로 제시될 수 있다.

참고문헌 (18)

K. V. Wees, and K.l Brookhuis, "Product liability for ADAS; legal and human factors perspectives," European Journal of Transport and Infrastructure Research, vol. 5, no. 4, pp. 357-372, 2020.
F. Jimenez, J. E. Naranjo, J. J. Anaya, F. Garcia, A. Ponz, and J. M. Armingol, "Advanced driver assistance system for road environments to improve safety and efficiency," Transportation Research Procedia, vol. 14, pp. 2245-2254, 2016.
K. H. An, S. W. Ah, W. Y. Han, J. C. Son, "Autonomous car technology," Telecommunication Trend Analysis Report, 2013.
P. L. Serra, P. H. Masotti, M. S. Rocha, D. A. de Andrade, W. M. Torres, and , R. N. de Mesquita, "Two-phase flow void fraction estimation based on bubble image segmentation using Randomized Hough Transform with Neural Network (RHTN)," Progress in Nuclear Energy vol. 118:103133, pp. 1-21, 2020.
J. Matas, G. Charles, and J. Kittler, "Robust detection of lines using the progressive probabilistic hough transform," Computer Vision and Image Understanding, vol. 78, no. 1, pp. 119-137, 2000.

상세보기
Q. Han, K. Zhao, J. Xu, and M. M. Cheng, "Deep Hough Transform for Semantic Line Detection," Available: arXiv preprint arXiv:2003.04676, 2020.
A. Matessi, and L. Lombardi, "Vanishing point detection in the hough transform space," in European Conference on Parallel Processing, Springer, Berlin, Heidelberg, pp. 987- 994, 1999.
J. Xiao, W. Xiong, Y. Yao, L. Li, and R. Klette, "Lane Detection Algorithm Based on Road Structure and Extended Kalman Filter," International Journal of Digital Crime and Forensics, vol. 12, no. 2, pp1-20, 2020.

상세보기
N. S. Aminuddin, "A new approach to highway lane detection by using Hough transform technique," Journal of Information and Communication Technology, vol. 16, no. 2, pp. 244-260, 2020.
Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradientbased learning applied to document recognition," Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998.

상세보기
W. Shang, K. Sohn, D. Almeida, and H. Lee, "Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear units," in Proceedings of the 33rd International Conference on Machine Learning, New York: NY, pp. 2217-2225, 2016.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," in Advances in Neural Information Processing Systems, pp. 1097-1105, 2012.
G. E. Dahl, T. N. Sainath, and G. E. Hinton, "Improving deep neural networks for LVCSR using rectified linear units and dropout," in Conference of Acoustics, Speech and Signal Processing, Vancouver: BC, pp. 8609-8613, 2013.
Y. Bengio, "Deep Learning of Representations for Unsupervised and Transfer Learning," in Proceedings of ICML Workshop on Unsupervised and Transfer Learning, Washington:WA, pp. 17-37, Jul. 2012.
S. C. Park, K. B. Hwang, H. M. Park, Y. K. Choi, and J. H. Park, "Application of CNN for steering control of autonomous vehicle," in Conference of the Korea Institute of Information and Communication Engineering, vol. 22 no. 1, pp. 234-235, May. 2018.
Unity Technologies, Build the skills to bring your vision to life [Internet], Available: http://unity.com.
A. Gulli, and P. Sujit, Deep learning with Keras, Packt Publishing Ltd, 2017.
D. P. Kingma, and J. Ba, "Adam: A method for stochastic optimization," Available: arXiv preprint arXiv:1412.6980, 2014.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증