[논문]딥러닝을 이용한 차로이탈 경고 시스템

최승완; 이건태; 김광수; 곽수영

doi:10.9723/jksiis.2019.24.2.025

딥러닝을 이용한 차로이탈 경고 시스템
Lane Departure Warning System using Deep Learning 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.24 no.2, 2019년, pp.25 - 31

최승완 (한밭대학교 제어계측공학과) , 이건태 (한밭대학교 전자제어공학과) , 김광수 (한밭대학교 전자제어공학과) , 곽수영 (한밭대학교 전자제어공학과)

초록
AI-Helper

최근 인공지능 기술이 급격히 발전하면서 첨단 운전자 지원 시스템 분야에 딥러닝 기술을 접목하여 기존의 기술보다 뛰어난 성능을 보여주기 위한 여러 연구들이 진행 되고 있다. 이러한 동향에 맞춰 본 논문 또한 첨단 운전자 지원 시스템의 핵심 요소 중 하나인 차로이탈 경고시스템에 딥러닝 기술을 접목한 방법을 제안한다. 제안하는 방법과 기존의 차선검출 기반의 경고시스템과의 비교 실험을 통해 그 성능을 평가 하였다. 고속도로 주행영상과 시내 주행영상을 이용한 두 가지의 서로 다른 환경에서 모두 제안하는 방법이 정확도 및 정밀도 부분에서 더 높은 수치를 보여주었다.

Abstract ▼ AI-Helper

As artificial intelligence technology has been developed rapidly, many researchers who are interested in next-generation vehicles have been studying on applying the artificial intelligence technology to advanced driver assistance systems (ADAS). In this paper, a method of applying deep learning algorithm to the lane departure warning system which is one of the main components of the ADAS was proposed. The performance of the proposed method was evaluated by taking a comparative experiments with the existing algorithm which is based on the line detection using image processing techniques. The experiments were carried out for two different driving situations with image databases for driving on a highway and on the urban streets. The experimental results showed that the proposed system has higher accuracy and precision than the existing method under both situations.

주제어

표/그림 (15)

그림 Fig. 1 The comparison of data processing flow for lane departure warning a) existing method, b) proposed method
그림 Fig. 2 Overview of the line detection algorithm[6]
그림 Fig. 3 Determination of vehicle’s position between two lines a) center b) leaning to left c) leaning to right [6]
그림 Fig. 4 The overall structure of the proposed method
그림 Fig. 5 Examples of Training Data. a) Normal driving data, b) Lane departure data
그림 Fig. 6 Annotation of driving data without top-view transformation a) on a straight lane and b) on a curved lane
그림 Fig. 7 Annotation of driving data with top-view transformation a) on a straight lane and b) on a curved lane
그림 Fig. 8 The proposed CNN architecture.
그림 Fig. 9 The validation accuracy in relation to the different number of epoches
그림 Fig. 10 Sample images of experimental results
표 Table 1 The number of frames in the dataset for training CNN and validation
표 Table 2 The result of a comparative experiment with a dataset consisting of highway driving images
표 Table 3 The result of a comparative experiment with a dataset consisting of street driving images
표 Table 4 The total result of experiments
표 Table 5 Average processing time per frame

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

가설 설정

차선들 사이의 간격은 항상 일정하며 블랙박스의 카메라 위치가 차량의 중앙에 설치되어 차량의 중심과 영상의 가로 방향 중심선이 일치한다는 가정에 기반을 두고 차로의 이탈여부를 판단한다. Fig 3과 같이 영상에서 차량의 중심과 차선사이에 거리를 표시한 빨간 삼각형과 같은 보조선이 있다고 가정하였을 때 차량의 중심과 검출된 왼쪽 차선과의 거리를 K_L이라 하고, 차량의 중심과 검출된 오른쪽 차선과의 거리를 K_R이라 하자.

제안 방법

5개의 컨볼루션 층은 각각 3 × 3 크기의 32,64, 128, 256, 512개의 특징 맵 (Feature map)을 갖고 있으며 각 컨볼루션 층 이후에는 3 × 3 크기에 간격이 2인 최대 풀링 (Max pooling)을 사용하였다.
각각의 성능은 식 (1) ∼ (3)과 같이 계산되는 정확도(accuracy)와 정밀도(precision), 재현율(recall)을 기반으로 각각 구하여 성능을 평가하였다.
기존 시스템과 제안하는 방법의 가장 큰 차이점은 차선검출 단계를 거치지 않는다는 것이다. 대신 제안하는 시스템은 정상주행 데이터와 차로이탈 데이터들을 이용하여 콘볼루션 신경망 (Convolution neural network; CNN)을 학습시키고, 그 결과로 얻은 모델을 이용하여 현재 상황의 정상주행 여부를 직접적으로 판단한다. Fig.
또한 Fig. 6a와 같이 3차원 일반 영상으로 직선 차로에서의 정상주행 데이터에 맞춰 이미지 명명 작업을 하게 되면 곡선차로에서는 정상주행중인데도 불구하고 Fig. 6b와 같이 차선이탈 데이터로 구분되는 데이터를 얻게 되는 문제를 고려하여, 3차원 영상을 탑뷰 영상으로 전처리하여 사용하였다. 이와 같이탑뷰 영상으로 변환한 후 이미지 명명 작업을 수행하면 Fig.
5개의 컨볼루션 층은 각각 3 × 3 크기의 32,64, 128, 256, 512개의 특징 맵 (Feature map)을 갖고 있으며 각 컨볼루션 층 이후에는 3 × 3 크기에 간격이 2인 최대 풀링 (Max pooling)을 사용하였다. 마지막 층은 1개의 완전 연결 층으로 이루어져 있으며 출력은 Softmax를 이용하여 정상주행과 차로이탈 각각의 경우를 확률로 나타낼 수 있도록 하였다. 또한 각 층의 활성화 함수 (Activation function)로는 ReLU를 사용하였으며, 과적합(Over-fitting)을 방지하기 위해 드롭아웃(Dropout)기법을 도입하였다.
4와 같다. 먼저 실제 블랙박스 영상으로부터 수집된 주행 영상 데이터를 이용해 전처리 과정을 거친 학습 데이터를 구성하고, 구성된 학습 데이터를 바탕으로 제안하는 CNN 구조를 학습시킨다. 이후 학습 결과로 얻어진 모델을 이용하여 현재 상태가 정상주행인지, 차로이탈인지를 판단한다.
본 논문에서 채택한 CNN 구조는 Fig. 8과 같으며 파이썬(Python)의 케라스(Keras) 라이브러리를 이용하여 구현하였다. 제안하는 CNN의 입력은 128 × 128 크기의 컬러 이미지를 입력으로 받으며 총 6개의 층으로 이루어져 있고, 5개의 컨볼루션 층 (Convolution layer)과 1개의 완전 연결 층 (Fully connection layer)으로 이루어져 있다.
앞의 3절에서 언급한 것과 같이 획득된 총 15,892장의 학습용 데이터를 이용해 학습된 모델을 이용하여 기존의 차선검출기반의 방법과 제안하는 방법을 비교 실험하였다. 이후 실제 차량에 부착된 블랙박스를 통하여 고속도로와 대구 도심지역을 촬영하여 추가적으로 실험을 위한 데이터를 수집하였고, 촬영된 실험 데이터는 720x480크기의 동영상 이며, 비교적 잡음이 적은 고속도로 환경과 가로수, 주변차량, 지하도로 등 여러 가지 잡음이 있는 시내주행 환경으로 구성되어 있다.
이후 블랙박스로부터 얻어진 주행영상에 CNN의 입력데이터와 동일한 전처리 과정을 해준 후, 학습 결과로 나온 모델을 이용하여 현재 상황이 정상주행인지 차로이탈인지를 판단하고 차로이탈의 확률을 나타낸다. Fig.
먼저 실제 블랙박스 영상으로부터 수집된 주행 영상 데이터를 이용해 전처리 과정을 거친 학습 데이터를 구성하고, 구성된 학습 데이터를 바탕으로 제안하는 CNN 구조를 학습시킨다. 이후 학습 결과로 얻어진 모델을 이용하여 현재 상태가 정상주행인지, 차로이탈인지를 판단한다.
제안하는 CNN의 입력은 128 × 128 크기의 컬러 이미지를 입력으로 받으며 총 6개의 층으로 이루어져 있고, 5개의 컨볼루션 층 (Convolution layer)과 1개의 완전 연결 층 (Fully connection layer)으로 이루어져 있다.
획득된 9,727장의 정상주행 데이터와 8,165장의 차선이탈 데이터 중에서 각각 1,000장씩 총 2,000장의 데이터를 검증용 데이터 (Validation data)로 사용하고, 나머지 15,892장의 데이터를 학습용 데이터로 사용하였다. 학습 횟수 (Epoch)는 총 40회로 설정하고 미니배치 (Mini-batch) 크기는 100으로 설정하여 학습을 진행하였으며 학습이 40회 반복되는 동안 이전의 검증 정확도 (Validation accuracy)보다 높은 결과가 나오면 업데이트 해주는 방법을 이용하여 최고의 검증 정확도를 도출할 수 있도록 하였다. Fig.
2는 차선검출 방법의 전체적인 개요를 보여준다. 획득된 영상은 황색 성분 강조 및 역투영 사상(Inverse perspective mapping: IPM)을 이용하여 탑뷰(Top-view)영상으로 변환해 주는 전처리 과정을 거치며 이후 RANSAC (Random sample consensus)을 이용하여 차선을 검출한다.

대상 데이터

3.2 절에서 설명한 CNN 구조에 전처리 과정을 통해 가공된 128×128크기의 데이터 셋을 이용하여 학습을 진행하였다.
7에서와 같이 곡선 차로에서의 문제가 해결된 것을 확인할 수 있다. 결과적으로 학습 데이터는 탑뷰 변환과 이미지 명명 작업 등의 전처리된 데이터를 사용하였으며, 총 9,727장의 정상주행 데이터와 8,165장의 차로이탈 데이터로 구성되어 있다.
우선 제안하는 방법에서 사용한 학습 데이터는 차선의 영역만을 관심 영역으로 갖는 128 × 128의 컬러이미지를 사용한다. 또한 학습 데이터는 전처리 과정으로 영상을 탑뷰 변환한 후 사각형의 이미지 명명(Annotation) 작업을 해준 데이터다. 먼저 이미지 명명 작업은 정상주행 데이터와차로이탈 데이터에 대한 애매한 기준을 보다 정확하게 구분 짓기 위해 사용한다.
우선 제안하는 방법에서 사용한 학습 데이터는 차선의 영역만을 관심 영역으로 갖는 128 × 128의 컬러이미지를 사용한다.
제안하는 방법의 성능을 테스트하기 위해 참고문헌 [6]에서 제시한 알고리즘과 처리 속도와 정확도면에서 비교 실험을 수행하였다. 이때 입력 영상으로는 고속도로 주행과 시내 주행의 서로 다른 두 가지 환경에서 구축한 데이터베이스를 사용하였다. 자세한 실험 방법과 환경 그리고 실험 결과는 4장에 정리하였다.
앞의 3절에서 언급한 것과 같이 획득된 총 15,892장의 학습용 데이터를 이용해 학습된 모델을 이용하여 기존의 차선검출기반의 방법과 제안하는 방법을 비교 실험하였다. 이후 실제 차량에 부착된 블랙박스를 통하여 고속도로와 대구 도심지역을 촬영하여 추가적으로 실험을 위한 데이터를 수집하였고, 촬영된 실험 데이터는 720x480크기의 동영상 이며, 비교적 잡음이 적은 고속도로 환경과 가로수, 주변차량, 지하도로 등 여러 가지 잡음이 있는 시내주행 환경으로 구성되어 있다. 최종적으로 실험에서 사용한 학습용 데이터와 실험에 사용된 테스트 데이터는 Table 1과 같다.
2 절에서 설명한 CNN 구조에 전처리 과정을 통해 가공된 128×128크기의 데이터 셋을 이용하여 학습을 진행하였다. 획득된 9,727장의 정상주행 데이터와 8,165장의 차선이탈 데이터 중에서 각각 1,000장씩 총 2,000장의 데이터를 검증용 데이터 (Validation data)로 사용하고, 나머지 15,892장의 데이터를 학습용 데이터로 사용하였다. 학습 횟수 (Epoch)는 총 40회로 설정하고 미니배치 (Mini-batch) 크기는 100으로 설정하여 학습을 진행하였으며 학습이 40회 반복되는 동안 이전의 검증 정확도 (Validation accuracy)보다 높은 결과가 나오면 업데이트 해주는 방법을 이용하여 최고의 검증 정확도를 도출할 수 있도록 하였다.

데이터처리

제안하는 방법의 성능을 테스트하기 위해 참고문헌 [6]에서 제시한 알고리즘과 처리 속도와 정확도면에서 비교 실험을 수행하였다. 이때 입력 영상으로는 고속도로 주행과 시내 주행의 서로 다른 두 가지 환경에서 구축한 데이터베이스를 사용하였다.

이론/모형

마지막 층은 1개의 완전 연결 층으로 이루어져 있으며 출력은 Softmax를 이용하여 정상주행과 차로이탈 각각의 경우를 확률로 나타낼 수 있도록 하였다. 또한 각 층의 활성화 함수 (Activation function)로는 ReLU를 사용하였으며, 과적합(Over-fitting)을 방지하기 위해 드롭아웃(Dropout)기법을 도입하였다. 이후 학습을 진행하는데 최적화방법으로는ADAM (Adaptive moment estimation)을 이용하였다.
또한 각 층의 활성화 함수 (Activation function)로는 ReLU를 사용하였으며, 과적합(Over-fitting)을 방지하기 위해 드롭아웃(Dropout)기법을 도입하였다. 이후 학습을 진행하는데 최적화방법으로는ADAM (Adaptive moment estimation)을 이용하였다.

성능/효과

기존의 차로이탈 경고 시스템은 주로 영상처리기법을 이용하는데, 주행영상에서 차선을 먼저 검출 하고 검출된 차선의 좌, 우 차선 폭 정보로부터 이탈 여부를 판단하거나, 차선 사이에 삼각형의 빗변의 길이를 이용하여 차로이탈 여부를 판단한다[6]. 기존 시스템과 제안하는 방법의 가장 큰 차이점은 차선검출 단계를 거치지 않는다는 것이다. 대신 제안하는 시스템은 정상주행 데이터와 차로이탈 데이터들을 이용하여 콘볼루션 신경망 (Convolution neural network; CNN)을 학습시키고, 그 결과로 얻은 모델을 이용하여 현재 상황의 정상주행 여부를 직접적으로 판단한다.
반면 제안하는 방법은 기존의 방법에 비해 시내주행에서도 비교적 차선 이탈여부를 더 잘 판단 한다. 따라서 Table 3 시내 주행 영상을 이용한 실험에서는 제안하는 방법이 정확도, 정밀도, 재현율 면에서 모두 기존의 방법보다 높은 성능을 보임을 확인할 수 있다.
기존 방법은 차선을 검출한 이후 차선의 데이터를 이용하여 현재 주행 중인 차량이 차로를 이탈하였는지 여부를 판단하는데, 비교적 잡음이 적은 고속도로 환경에서는 차선검출이 수월하여 차로이탈 여부를 판단하는 것 또한 비교적 수월하다. 또한 제안하는 방법도 잡음이 적으면 차로이탈 여부를 판단하기 수월하기 때문에 고속도로 환경에서의 차로이탈 여부를 판단한 결과는 두 방법이 성능 면에서 크게 차이나지 않는 것을 확인 할 수 있다. 제안하는 방법이 근소하게 정확도 및 정밀도에서 약간 높은 성능을 보이고 있으며 재현율에서는 기존의 방법이 근소하게 높음을 확인할 수 있다.
시내주행 영상의 특성상 여러 가지 잡음들이 존재하기 때문에 고속도로 주행환경보다 차선검출이 더 어렵고 차로 이탈 여부를 판단하는 것 또한 어려움이 있어 고속도로주행영상에 비해 정확도가 많이 떨어진다. 반면 제안하는 방법은 기존의 방법에 비해 시내주행에서도 비교적 차선 이탈여부를 더 잘 판단 한다. 따라서 Table 3 시내 주행 영상을 이용한 실험에서는 제안하는 방법이 정확도, 정밀도, 재현율 면에서 모두 기존의 방법보다 높은 성능을 보임을 확인할 수 있다.
비교실험의 결과 비교적 잡음이 적은 고속도로 상황에서는 기존의 방법과 제안하는 방법의 정확도 및 정밀도 차이는 크게 차이나지 않지만, 다양한 잡음이 존재하는 시내주행 영상의 경우에는 제안하는 방법의 정확도 및 정밀도가 기존의 방법보다 높음을 확인 하였다.
자세한 실험 방법과 환경 그리고 실험 결과는 4장에 정리하였다. 실험 결과 본 논문에서 제안한 방법이 두 환경에서 모두 처리 속도와 정확도면에서 기존 방법보다 더 뛰어난 성능을 보이는 것을 확인할 수 있었다. 5장에서는 본연구의 내용을 요약하고 향후 성능 향상을 위한 과제에 대해 간단하게 논의한다.
또한 제안하는 방법도 잡음이 적으면 차로이탈 여부를 판단하기 수월하기 때문에 고속도로 환경에서의 차로이탈 여부를 판단한 결과는 두 방법이 성능 면에서 크게 차이나지 않는 것을 확인 할 수 있다. 제안하는 방법이 근소하게 정확도 및 정밀도에서 약간 높은 성능을 보이고 있으며 재현율에서는 기존의 방법이 근소하게 높음을 확인할 수 있다.
최종적으로 고속도로 주행영상, 시내주행영상두 가지 영상을 이용한 실험을 종합 한 결과는 아래 Table 4와 같으며 제안하는 방법의 성능이 기존의 방법 보다 높음을 확인 할 수 있다.

후속연구

좀 더 다양한 환경에서의 데이터를 이용한 학습 및 비교실험을 수행할 예정이며, 현재 정상주행 및 차선이탈 두 가지 경우로 판단하는 것을 기존의 이미지 명명 작업보다 조금 더 정밀하게 이미지 명명 작업을 진행하여 정상주행, 왼쪽차로이탈, 오른쪽차로이탈과 같이 세부적인 판별을 할 수 있도록 확장하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 논문의 CNN 레이어는 어떤 구조를 갖고 있는가?	8과 같으며 파이썬(Python)의 케라스(Keras) 라이브러리를 이용하여 구현하였다. 제안하는 CNN의 입력은 128 × 128 크기의 컬러 이미지를 입력으로 받으며 총 6개의 층으로 이루어져 있고, 5개의 컨볼루션 층 (Convolution layer)과 1개의 완전 연결 층 (Fully connection layer)으로 이루어져 있다. 5개의 컨볼루션 층은 각각 3 × 3 크기의 32,64, 128, 256, 512개의 특징 맵 (Feature map)을 갖고 있으며 각 컨볼루션 층 이후에는 3 × 3 크기에 간격이 2인 최대 풀링 (Max pooling)을 사용하였다.
	기존 차로이탈 경고 시스템의 특징은?	기존의 차로이탈 경고 시스템은 주로 영상처리기법을 이용하는데, 주행영상에서 차선을 먼저 검출 하고 검출된 차선의 좌, 우 차선 폭 정보로부터 이탈 여부를 판단하거나, 차선 사이에 삼각형의 빗변의 길이를 이용하여 차로이탈 여부를 판단한다[6]. 기존 시스템과 제안하는 방법의 가장 큰 차이점은 차선검출 단계를 거치지 않는다는 것이다.
	본 논문의 CNN 모델에서 과적합 현상을 막기 위해 쓴 기법은?	마지막 층은 1개의 완전 연결 층으로 이루어져 있으며 출력은 Softmax를 이용하여 정상주행과 차로이탈 각각의 경우를 확률로 나타낼 수 있도록 하였다. 또한 각 층의 활성화 함수 (Activation function)로는 ReLU를 사용하였으며, 과적합(Over-fitting)을 방지하기 위해 드롭아웃(Dropout)기법을 도입하였다. 이후 학습을 진행하는데 최적화방법으로는ADAM (Adaptive moment estimation)을 이용하였다.

참고문헌 (7)

J. Redmon, S. Divvala, R. Girshick, and A Farhadi. "You only look once: unified, real-time object detection" The IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788, 2016
S. Lee and N. Cho. "Pedestrian detection using YOLO and Tracking" Korea Broadcasting and Media Engineering Society 2018 Summer Conference, pp. 79-81, 2018
R. Shaoqing, H. Kaiming, R. Girshick, and J. Sun. "Faster R-CNN: towards real-time object detection with region proposal networks" Computer Vision and Pattern Recognition, pp. 1-9, 2015
Y. Byeon and K. Kwak, "Comparative analysis of performance using faster RCNN and ACF in people detection," Journal of Journal of Korean Institute of Information Technology, Vol. 15, No. 6, pp. 11-21, 2017
Y. Ye, X. Hao, and H. Chen, "Lane detection method based on lane structural analysis and CNNs," Intelligent Transport Systems, Vol. 12, No. 6, pp. 513-520, 2018

상세보기
K. Kim, S. Choi, and S. Kwak, "A lane detection and departure warning system robust to illumination change and road surface symbols," Journal of the Korea industrial information Systems Research, Vol. 19, No. 1, pp. 1-3, 2013
H. Jung, J. Min, and J. Kim "An efficient lane detection algorithm for lane departure detection", 2013 IEEE Intelligent Vehicles Symposium, pp. 976-981, 2013

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증