[논문]VGG-13 기반의 경량화된 딥러닝 기법을 이용한 차선 이탈 경고 시스템 구현

강현우

doi:10.9717/kmms.2021.24.7.860

VGG-13 기반의 경량화된 딥러닝 기법을 이용한 차선 이탈 경고 시스템 구현
Implementation of Lane Departure Warning System using Lightweight Deep Learning based on VGG-13 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.7, 2021년, pp.860 - 867

강현우 (Dept. of AI Engineering, Korea Polytechnics)

Abstract ▼ AI-Helper

Lane detection is important technology for implementing ADAS or autonomous driving. Although edge detection has been typically used for the lane detection however, false detections occur frequently. To improve this problem, a deep learning based lane detection algorithm is proposed in this paper. This algorithm is mounted on an ARM-based embedded system to implement a LDW(lane departure warning). Since the embedded environment lacks computing power, the VGG-11, a lightweight model based on VGG-13, has been proposed. In order to evaluate the performance of the LDW, the test was conducted according to the test scenario of NHTSA.

주제어

표/그림 (10)

그림 Fig. 1. Overview of Algorithms Assigned in Each Core.
그림 Fig. 2. Difference between VGG-13 and proposed VGG-11.
그림 Fig. 3. Overview of Lane Detection Algorithm.
그림 Fig. 4. Segmentation model.
그림 Fig. 5. Preprocessing of our LDW system. (a) Input image, (b) result of canny edge detection, and (c) result of deep learning based segmentation.
그림 Fig. 6. First pass multi search labeling. (a) set starting point, (b) select area in segmentation result, (c) search pixels for marking label, and (d) mark label each pixel.
그림 Fig. 7. Result of labeling. (a) each labeling result and (b) selected ego-lane.
표 Table 1. Lane Detection Rate.
표 Table 2. The Result of the Accuracy test for LDW.
표 Table 3. Comparision of VGG-11 and VGG-13.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 딥러닝 모델 기반의 차선 이탈 경보 시스템을 임베디드 환경에서 구현하고 성능을 평가하였다. 임베디드 환경에서 실시간으로 동작할 수 있도록 네트워크의 크기를 줄이고, 줄어든 네트워크 크기에 맞도록 새로운 pre-trained 모델을 학습 시켜 사용하였다.

가설 설정

최종적인 Lateral offset의 값은 아래 식 (1)을 통하여 얻을 수 있다. X는 장착된 카메라로부터 차선까지의 거리이며, 이 때, 카메라는 차량의 중앙에 붙어있다고 가정하였다. tread는 테스트 차량의 제원 중차량의 폭 값을 사용하였고, alpha 값은 타이어의 중심으로부터 타이어 바깥까지의 거리이다.

제안 방법

본 논문에서 제안한 차선 검출 알고리즘은 전처리 및 차선 검출 단계로 나누었으며, 전처리 단계는 영상 Resize 모듈과 딥러닝을 이용한 세그멘테이션 영상 생성 모듈로 구성되어 있다. 그리고 차선 검출 단계는 Ego-lane 결정, 차선 Fitting 알고리즘으로 구성되어 있다.
본 논문에서는 딥러닝 모델 기반의 차선 이탈 경보 시스템을 임베디드 환경에서 구현하고 성능을 평가하였다. 임베디드 환경에서 실시간으로 동작할 수 있도록 네트워크의 크기를 줄이고, 줄어든 네트워크 크기에 맞도록 새로운 pre-trained 모델을 학습 시켜 사용하였다. 네트워크의 크기를 줄이더라도 인식성능에 큰 차이가 없었으며, 속도 면에서 많은 성능 향상이 있었기에 임베디드 환경에서 사용할 수 있었다.

대상 데이터

VGG-13 모델은 ImageNet 데이터베이스를 사용하여 학습된 모델이므로, ImageNet 데이터 베이스에서 도로와 차량 환경에 적합한 175개의 class를 선정하여 별도의 데이터베이스를 제작하였다. 또한, 임베디드 환경에서 실시간 처리가 가능하도록 stride의 크기를 VGG-13 보다 크게 적용하였으며 모든 Layer 에서 Convolution 필터의 채널 수를 줄여서 사용하였다.
하지만 차선을 포함한 모든 에지 정보가 검출되므로 잡음에 취약한 단점이 있다. 이를 해결하기 위하여 본 논문에서는 전처리단계로 딥러닝 기술을 이용한 세그멘테이션 영상을 사용하였다.
차선 검출 성능 향상을 평가하기 위하여 제안한 방법의 세그멘테이션 결과와 에지 영상을 사용한 차선 검출 결과를 비교 평가하였다. 정량적인 성능 평가를 위하여 1, 465장의 영상에서 2, 843개의 ego-lane 에 대한 GT(Ground Truth)를 작성하였다. 성능 비교는 Recall, Precision으로 진행하였으며 그 결과는 Table 1과 같다.
테스트는 실제 차량을 사용하여 진행되었으며, 차선을 이탈할 경우 경고 알람이 발생하면 합격, 그렇지 않을 경우 불합격으로 판단하였다. 차선의 종류에 따라 차선의 색상 및 차선의 종류별로 구분하여 테스트를 진행하였으며 각각 50번씩 총 400회의 테스트를 진행하였다. 또한 좌/우측 차선의 종류가 다른 경우도 고려하여 테스트를 진행하였다.

데이터처리

정량적인 성능 평가를 위하여 1, 465장의 영상에서 2, 843개의 ego-lane 에 대한 GT(Ground Truth)를 작성하였다. 성능 비교는 Recall, Precision으로 진행하였으며 그 결과는 Table 1과 같다.
차선 검출 성능 향상을 평가하기 위하여 제안한 방법의 세그멘테이션 결과와 에지 영상을 사용한 차선 검출 결과를 비교 평가하였다. 정량적인 성능 평가를 위하여 1, 465장의 영상에서 2, 843개의 ego-lane 에 대한 GT(Ground Truth)를 작성하였다.
Table 2는 차선 이탈 경보 시스템의 테스트 결과를 나타낸다. 흰색과 황색의 직선 점선 환경에서 차선이탈 경보 발생 여부를 통하여 성능을 평가하였다. 흰색 차선에서는 100% 알람이 발생하였으며, 황색 차선에서는 각각 96% 및 94%의 알람이 발생하였다.

이론/모형

본 논문에서 제안한 차선 검출 알고리즘은 전처리 및 차선 검출 단계로 나누었으며, 전처리 단계는 영상 Resize 모듈과 딥러닝을 이용한 세그멘테이션 영상 생성 모듈로 구성되어 있다. 그리고 차선 검출 단계는 Ego-lane 결정, 차선 Fitting 알고리즘으로 구성되어 있다. Fig.
차선 이탈 검출은 NHTSA의 LDW Conformation Test 문서의 테스트 시나리오를 기반으로 테스트를 진행하였다. 테스트는 실제 차량을 사용하여 진행되었으며, 차선을 이탈할 경우 경고 알람이 발생하면 합격, 그렇지 않을 경우 불합격으로 판단하였다.

성능/효과

다만, VGG-13 모델은 개발한 임베디드 시스템의 메모리 한계로 보드에 탑재하는 것이 불가능하여 임베디드환경에서의 FPS 비교는 불가능하였다. pre-trained 모델을 개발하기 위하여 사용한 학습 데이터 셋에 대하여 mAP가 약 86%로 VGG-13 모델에 비하여 약 1.75% 정도의 성능 하락이 있었던 것을 확인하였다.
임베디드 환경에서 실시간으로 동작할 수 있도록 네트워크의 크기를 줄이고, 줄어든 네트워크 크기에 맞도록 새로운 pre-trained 모델을 학습 시켜 사용하였다. 네트워크의 크기를 줄이더라도 인식성능에 큰 차이가 없었으며, 속도 면에서 많은 성능 향상이 있었기에 임베디드 환경에서 사용할 수 있었다.
4%의 성능 향상을 확인하였다. 또한, 차선 이탈 검출의 성능 평가를 위하여 미국도로교통안전국의 테스트 시나리오를 사용하여 약 96% 정확도로 동작하는 것을 확인하였다.
실험 결과, 오검출이 약 9.4% 줄어 들었는 것을 확인할 수 있었으며, 성능은 Recall, Precision에서 각각 약 9.28%, 8.4% 성능이 향상되었음을 확인하였다.
또한, 임베디드 환경에서 실시간 처리가 가능하도록 stride의 크기를 VGG-13 보다 크게 적용하였으며 모든 Layer 에서 Convolution 필터의 채널 수를 줄여서 사용하였다. 제안한 데이터베이스를 사용하여 VGG-11 모델을 학습한 결과 VGG-13 모델에 비하여 학습 데이터에 대한 인식률에서 약 1.75%의 성능 하락이 있었으나, 속도 면에서 많은 성능 향상을 가져올 수 있었다.
차선 검출에 있어서 기존의 에지 기반의 알고리즘보다 오검출률이 9.4% 줄어들면서도 Recall과 Pre-cision에서 각각 9.28%, 8.4%의 성능 향상을 확인하였다. 또한, 차선 이탈 검출의 성능 평가를 위하여 미국도로교통안전국의 테스트 시나리오를 사용하여 약 96% 정확도로 동작하는 것을 확인하였다.

후속연구

최근 임베디드 환경에서 딥러닝을 이용하여 차선검출에 적용하는 연구들이 나타나기 시작했다. 추후 연구에서는 제안한 알고리즘과 다른 연구들과의 비교를 통해 제안한 알고리즘의 완성도를 높이고, 차선이탈 경보의 정확도를 높일 계획이다.

참고문헌 (18)

Y. Kim and H. Kim, "Trends of Autonomous Vehicle Development," Information and Communication Magazine, Vol. 34, Issue 5, pp. 10-18, 2017.
E. Yurtsever, J. Lambert, A. Carballo, and K. Takeda, "A Survey of Autonomous Driving: Common Practices and Emerging Technologies," IEEE Access, vol. 8, pp. 58443-58469, Mar. 2020.

상세보기
A. Ziebinski, et al., "Review of advanced driver assistance systems (ADAS)," AIP Conference Proceedings. Vol. 1906. No. 1. AIP Publishing LLC, 2017.
L. Meng, W. Kees, and R.V. Der Heijden, "Technical Feasibility of Advanced Driver Assistance Systems for Road Traffic Safety," Transportation Planning and Technolgy, Vol. 28, No. 3, pp. 167-187, Mar. 2005.

상세보기
J. Son, H. Yoo, S. Kim, and K. Sohn, "RealTime Illumination Invariant Lane Detection for Lane Departure Warning System," Expert Systems with Applications, Vol. 42, No. 4, pp. 1816-1824, Oct. 2015.

상세보기
J. Shin, J. Jung, and M. Kim, "Lane Detection Based on Vision Sensor Using a Robust Filter for Inner Edge Detection," Journal of Sensor Science and Technology, Vol. 28. No. 3, pp. 164-170, 2019.

원문보기 상세보기
K. Lee and C. Lin. "A New Efficient Detection Method in Lane Road Environment," Journal of Korea Institute of ITS, Vol. 17, No. 1, pp. 129-136, 2018.
D. Neven, et al., "Towards End-to-End Lane Detection: An Instance Segmentation Approach," IEEE Intelligent Vehicles Symposium (IV), pp. 286-291, 2018.
Q. Zou, et al., "Robust Lane Detection from Continuous Driving Scenes Using Deep Neural Networks," IEEE Transactions on Vehicular Technology, Vol. 69, No. 1 pp. 41-54, 2019.
A. Yaguchi, et al., "Adam Induces Implicit Weight Sparsity in Rectifier Neural Networks," 17th IEEE International Conference on Machine Learning and Applications (ICMLA). pp. 328-325, 2018.
NHTSA (National Highway Traffic Safety administration), https://www.nhtsa.gov/ (accessed June 10, 2021).
W. Liu, et al., "SSD: Single Shot Multibox Detector," European conference on computer vision. Springer, Cham, pp. 21-37, 2016.
K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," arXiv Preprint, arXiv: 1409.1556, 2014.
F. Leymarie and M.D. Levine. "Simulating the Grassfire Transform Using an Active Contour Model," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14. No. 1 pp. 56-75, 1992.

상세보기
L.G. Shapiro and G. Stockman, Computer Vision, 1st edition, Prentice Hall, pp. 69-73, 2002.
W. van Winsum, K.A. Brookhuis, and D. de Waard, "A Comparison of Different Ways to Approximate Time-to-Line Crossing (TLC) during Car Driving," Accident Analysis & Prevention Vol. 32. No. 1 pp. 47-56, 2000.

상세보기
S. Mammar, S. Glaser, and M. Netto, "TIme to Line Crossing for Lane Departure Avoidance: A Theoretical Study and an Experimental Setting," IEEE Transactions on Intelligent Transportation Systems, Vol. 7. No. 2, pp. 226-241, 2006.
J. Lee and Y. Kang, "A Method of Lane Marker Detection Robust to Environmental Variation Using Lane Tracking," Korea Multimedia Society, Vol. 21, No. 12, pp. 1396-1406, 2018.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증