[논문]자율주행을 위한 딥러닝 기반의 차선 검출 방법에 관한 연구

박승준; 한상용; 박상배; 김정하

doi:10.21289/ksic.2020.23.6.979

자율주행을 위한 딥러닝 기반의 차선 검출 방법에 관한 연구
A Study on the Detection Method of Lane Based on Deep Learning for Autonomous Driving 원문보기

한국산업융합학회 논문집 = Journal of the Korean Society of Industry Convergence, v.23 no.6/2, 2020년, pp.979 - 987

박승준 (국민대학교 자동차공학전문대학원 대학원) , 한상용 (국민대학교 자동차공학전문대학원 대학원) , 박상배 (폴리텍대학교 청주캠퍼스) , 김정하 (국민대학교 자동차IT융합학과)

Abstract ▼ AI-Helper

This study used the Deep Learning models used in previous studies, we selected the basic model. The selected model was selected as ZFNet among ZFNet, Googlenet and ResNet, and the object was detected using a ZFNet based FRCNN. In order to reduce the detection error rate of FRCNN, location of four types of objects detected inside the image was designed by SVM classifier and location-based filtering was applied. As simulation results, it showed similar performance to the lane marking classification method with conventional 경계 detection, with an average accuracy of about 88.8%. In addition, studies using the Linear-parabolic Model showed a processing speed of 165.65ms with a minimum resolution of 600 × 800, but in this study, the resolution was treated at about 33ms with an input resolution image of 1280 × 960, so it was possible to classify lane marking at a faster rate than the previous study by CNN-based End to End method.

주제어

표/그림 (12)

그림 Fig. 1 Lane detection error caused by external factors
그림 Fig. 2 Output image for each step of the image processing pipeline
그림 Fig. 3 Output image for each step of the image processing pipeline
그림 Fig. 4 Lane making detection within defined ROI
그림 Fig. 5 CaffeNet Architecture
그림 Fig. 6 Accuracy comparison between CaffeNet and ZFNet
그림 Fig. 7 Comparison of recognized class versus ground truth
그림 Fig. 8 Graphical user interface monitoring tool used in multi-object recognition algorithm. Red dotted line shows the hybrid faster RCNN-SVM detector and tracker results and blue dotted line shows the curved lane detection results
그림 Fig. 9 Lane detection result using bounding box information of hybrid faster RECNN-SVM detector and tracker
그림 Fig. 10 Object detection, tracking and lane detection using multithreading technique
그림 Fig. 11 List of lanes to recognize in driving situation
표 Table 1. Classifier performance measurement result for lane marking detection

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그래서 본 연구에서는 CaffeNet을 Based Model로 선정하여 학습 모델을 생성하였다. 두 모델에 대해 성능을 비교 평가한 이유는 본 연구에서 경량화된 모델을 이용하여 임베디드 환경에서 시스템을 운영하고 성능을 개선하는데 목적을 두고 있기 때문이다. 따라서 많은 Layer를 가진 모델은 성능은 높일 수 있지만 임베디드 환경에서 사용하기는 어렵기 때문에 본 연구에서는 배제하였다.
하지만 허프 변환을 이용한 차선 검출은 직선을 기반으로 검출되기 때문에 곡선 도로 환경에서는 적합하지 않을 수 있다. 따라서 본 연구에서는 곡선 차선 환경에서 적합하고 도심지 환경에서 발생하는 여러 상황들에 강인한 알고리즘을 개발하는데 목적을 두고 있다. 그래서 본 연구에서는 기존에 연구되었던 Hough Transformation 기반의 알고리즘이 아닌 곡률 함수 기반의 곡선 차선 검출 알고리즘을 이용하여 도심지 환경에서 차선을 변경하는 차량으로 인해 차선이 가려지거나, 차량의 색깔로 인해 차선에 영향을 주는 경우에 대한 보정을 Hybrid Faster RCNN-SVM Detector 및 Tracker의 경계 박스 결과를 이용하여 보정하였다 [2]-[3].
본 연구에서는 Hybrid Faster RCNN-SVM Detector와 Tracker에서 검출한 경계 박스의 정보를 차선 검출 알고리즘의 입력 Parameter로 사용하여 입력 이미지와 경계 박스 위치에 도로의 색깔과 비슷한 이미지를 보정하여 객체의 색깔 때문에 차선을 검출하는 연산에 오류를 줄일 수 있도록 하였다. Fig.
본 연구에서는 자율주행차량과 지능형 자동차에서 필수적인 카메라 센서를 이용하여 차선 인식알고리즘을 개발하였다. Hybrid Faster RCNN-SVM Detector에서 검출된 경계 박스를 이용하여 기존에 연구되고 있는 곡선 차선 검출알고리즘에서 발생하는 차선 검출오류를 보정할 수 있도록 하여 성능을 개선하였다 [2]-[3].
본 연구에서는 주행 차선의 차선 마킹을 분류하기 위하여 CaffeNet Network를 도입하여 이미지 분류를 수행하였다.
본 연구에서는 _에 대한 _{}의 정밀도 (Precision), 재현율(Recall), 정확도(Accuracy), F1 Score를 평가하였다. 그리고 정밀도, 재현율, 정확도를 산출하기 위해서는 아래와 같이 4가지의 파라미터를 사용하게 된다.

제안 방법

CaffetNet에서는 4가지 Class로 학습된다. Fig.5에서 보는 것과 같이, 본 연구에서는 Based Model 로 ZFNet과 CaffeNet을 비교 평가 하였다. 그 결과 ZFNete 평균 약 83%의 정확도를 보였으며 CaffeNete 평균 약 91%의 정확도를 보였다.
개발하였다. Hybrid Faster RCNN-SVM Detector에서 검출된 경계 박스를 이용하여 기존에 연구되고 있는 곡선 차선 검출알고리즘에서 발생하는 차선 검출오류를 보정할 수 있도록 하여 성능을 개선하였다 [2]-[3]. 그리고 곡선 차선 검출알고리즘은 Hybrid Faster RCNN-SVM 검출기 및 트레커와 동작하도록 설계하여 알고리즘 전체의 프레임 속도를 약30frame/sec 안에 처리될 수 있도록 하였다.
11에서 보는 바와 같이, Traffic Lane 은총 4종류로 분류하였다. 각 Class의 명칭은 차선마킹을 형태에 따라 ‘SS’, ‘SD’, ‘DS’, ‘M’으로 Class를 만들고 각 Class에 대해 분류 및 학습을 진행하였다.
따라서 본 연구에서는 곡선 차선 환경에서 적합하고 도심지 환경에서 발생하는 여러 상황들에 강인한 알고리즘을 개발하는데 목적을 두고 있다. 그래서 본 연구에서는 기존에 연구되었던 Hough Transformation 기반의 알고리즘이 아닌 곡률 함수 기반의 곡선 차선 검출 알고리즘을 이용하여 도심지 환경에서 차선을 변경하는 차량으로 인해 차선이 가려지거나, 차량의 색깔로 인해 차선에 영향을 주는 경우에 대한 보정을 Hybrid Faster RCNN-SVM Detector 및 Tracker의 경계 박스 결과를 이용하여 보정하였다 [2]-[3].
그래서 노이즈 값은 상대적으로 이웃 픽셀들 값과 상관성이 작기 때문에 이웃 픽셀 값들의 가중 평균의 방식으로 완화시킬 수 있다. 그리고 가우시안 필터를 적용하여 노이지를 줄인 후, THRESH_OTSU를 적용하여 노이즈 없이 차선만 검출할 수 있는 Threshold 이미지를 생성한다. Sliding Window Algorithm을 이용하여 차선 라인을 감지하기에 앞서 시작점을 결정해야 한다.
Hybrid Faster RCNN-SVM Detector에서 검출된 경계 박스를 이용하여 기존에 연구되고 있는 곡선 차선 검출알고리즘에서 발생하는 차선 검출오류를 보정할 수 있도록 하여 성능을 개선하였다 [2]-[3]. 그리고 곡선 차선 검출알고리즘은 Hybrid Faster RCNN-SVM 검출기 및 트레커와 동작하도록 설계하여 알고리즘 전체의 프레임 속도를 약30frame/sec 안에 처리될 수 있도록 하였다.
따라서 본 연구에서는 차선의 라인을 검출하기 위하여 기존에 연구되고 있는 곡선 차선 검출 알고리즘을 사용하였다. 그리고 성능을 개선하기 위하여 Hybrid Faster RCNN-SVM 결과를 입력 파라미터로 사용하였다. 그 결과 도심지 차선 검출에서 흰색과 주황색 등의 차량으로 인한 차선 검출 에러를 개선할 수 있었다.
모두 라벨링 하였다. 그리고 영상 내에서 라벨링된 객체 중심 좌표와 라벨링 명을 사전에 명시하여 다 객체 인식 알고리즘에서 검출된 경계 박스의 중심 위치와 객체 명을 비교하여 정확도를 산출하였다. 그리고 사전에 라벨링한 정보들을 _로 명시하고 다 객체 인식 알고리즘에서 검출된 객체은 _{}로 명시하였다 [6].
기존의 연구들은 차선의 경계를 검출하고허프 변환 방법을 사용하여 차선의 종류를 판단했다면 본 연구에서는 카메라에 입력된 차량 앞의 이미지를 학습하여 End to End (E2E) Learning 방식으로 차량 주변 차선의 Marking 종류를 구분하였다. 그리고 후처리 프로세싱으로 Kalman Filter를 적용하여 차선의 연속성과 빈번한 차선변경이 없음에도 발생하는 오탐률을 줄 일수 있게 하였다.
그 결과 도심지 차선 검출에서 흰색과 주황색 등의 차량으로 인한 차선 검출 에러를 개선할 수 있었다. 또한 중앙 처리 장치(CPU)과 그래픽 처리 장치 (GPU)의 자원을 최대한 사용하기 위하여 곡선 차선 검출 알고리즘은 CPU에서 연산하고 Hybrid Faster RCNN-SVM 알고리즘은 GPU와 CPU에서 연산 처리될 수 있도록 시스템을 설계하여 실시간성을 보장할 수 있도록 하였다.
그 다음 과정으로는 조감도 이미지를 입력 이미지로 사용하여 도로상에서 보이는 흰색 차선을 검출하는 과정을 거치게 된다. 본 과정에서는 채도 및 밝기의 변화를 감지하기 위해 HLS 색상 공간을 사용하며 필터링을 진행한다. 필터링에 사용된 색상의 범위는 lower_white = [0, 130, 10], upper_white = [255, 255, 255]이다.
본 연구에서는 Fig. 3에서 보는 것과 같이, Curve Fitting 이미지에서 확인할 수 있듯이, 2차 다항식의 Extrapolation 함수를 사용하고 있으며 Margine 50 픽셀로 설정하였다. Fig.
본 연구에서는 운전자 앞의 차선이 어떤 Type 으로 마킹 되어 있는지 검출하는 알고리즘이 Hybrid Faster RCNN-SVM Detector와 Tracker 외에 추가로 구성되어 있다.
차선의 마킹 분류는 4가지 종류로 나누어 학습하였다. 기존의 연구들은 차선의 경계를 검출하고허프 변환 방법을 사용하여 차선의 종류를 판단했다면 본 연구에서는 카메라에 입력된 차량 앞의 이미지를 학습하여 End to End (E2E) Learning 방식으로 차량 주변 차선의 Marking 종류를 구분하였다.
그 중 최근 가장 좋은 성과를 보이는 분야는 CNN기반의 딥러닝이며, 분류와 위치 추정을 동시에 수행하는 네트워크의 개발로 인하여 객체 검출의 성능이 높아지고 있다. 초기 R-CNN에서 RPN(region proposal network) 레이어를 추가한 Faster-RCNN, 실시간성을 고려하여 높은 검출 속도를 보여주는 YOLO, 정확성과 실시간성을 동시에 향상시킨 SSD 등의 여러 네트워크 개발로 인해 객체 탐색 기법을 개발하였다. 하지만 각자의 장점 및 단점 또한 존재한다.

대상 데이터

2 서 보는 것이, 10단계의 과정을 수행하게 된다. 본 과정에서 입력 영상으로 사용되는 이미지는 카메라의 CCD에 매칭되는 Raw 이미지가 아닌 Hybrid Faster RCNN-SVM Detector 및 Tracker에서 가공된 이미지를 입력 이미지로 사용하게 된다.
Perspective Transform 과정을 진행하기 위해서는 Warp 이미지의 내부 4개의 좌표가 필요하다. 본 연구에서는 (x, y)=(202, 345), (300, 345), (49, 461), (460, 461) 같이 4 Point의 좌표를 지정하여 입력 변수로 사용하였다. 4 Point를 기반으로 Perspective Transform 과정을 수행하면 Projection 행렬를 구할 수 있다.
본 연구에서는 정확도를 판단하기 위하여 녹화된 총5152 프레임으로 구성된 영상에서 총4693 개의Object를 모두 라벨링 하였다. 그리고 영상 내에서 라벨링된 객체 중심 좌표와 라벨링 명을 사전에 명시하여 다 객체 인식 알고리즘에서 검출된 경계 박스의 중심 위치와 객체 명을 비교하여 정확도를 산출하였다.

데이터처리

기존의 연구들은 차선의 경계를 검출하고허프 변환 방법을 사용하여 차선의 종류를 판단했다면 본 연구에서는 카메라에 입력된 차량 앞의 이미지를 학습하여 End to End (E2E) Learning 방식으로 차량 주변 차선의 Marking 종류를 구분하였다. 그리고 후처리 프로세싱으로 Kalman Filter를 적용하여 차선의 연속성과 빈번한 차선변경이 없음에도 발생하는 오탐률을 줄 일수 있게 하였다. 기존 대비 End to End (E2E) Learning 방식의 장점은 GPU를 사용하기 때문에 CPU에서 처리되는 연산량을 줄일 수 있으며 처리 속도를 향상시킬 수 있다.

이론/모형

그 결과 ZFNete 평균 약 83%의 정확도를 보였으며 CaffeNete 평균 약 91%의 정확도를 보였다. 그래서 본 연구에서는 CaffeNet을 Based Model로 선정하여 학습 모델을 생성하였다. 두 모델에 대해 성능을 비교 평가한 이유는 본 연구에서 경량화된 모델을 이용하여 임베디드 환경에서 시스템을 운영하고 성능을 개선하는데 목적을 두고 있기 때문이다.
도심지 차선 검출은 라인의 위치와 종류로 분류될 수 있다. 따라서 본 연구에서는 차선의 라인을 검출하기 위하여 기존에 연구되고 있는 곡선 차선 검출 알고리즘을 사용하였다. 그리고 성능을 개선하기 위하여 Hybrid Faster RCNN-SVM 결과를 입력 파라미터로 사용하였다.
3의 Sliding Window Search 이미지를 보면 파란색으로 표시된 픽셀은 왼쪽 차선을 나타내고 빨간색으로 표시된 픽셀은 왼쪽 차선을 나타낸다. 왼쪽과 오른쪽 차선에 대한 픽셀 데이터를 생성하면 Curve Fitting 방법을 사용하여 곡선 차선을 추정하게 된다. Curve Fitting이란 2 차원 평면 상에서 두 변수의 관계를 나타내는 각종 흩어진 데이터를 수학적인 함수 형태로 변환시키는 방법을 말한다.

성능/효과

5에서 보는 것과 같이, 본 연구에서는 Based Model 로 ZFNet과 CaffeNet을 비교 평가 하였다. 그 결과 ZFNete 평균 약 83%의 정확도를 보였으며 CaffeNete 평균 약 91%의 정확도를 보였다. 그래서 본 연구에서는 CaffeNet을 Based Model로 선정하여 학습 모델을 생성하였다.
또한, 다양한 학습 데이터가 많을수록 환경 적응력에 강한 결과를 얻을 수 있다. 그 결과 기존 경계 검출을 통한 차선 Marking 분류 방식과 비슷한 성능을 보였으며 정확도는 평균 약 88.8%의 결과를 보였다. 또한, Linear-parabolic Model을 사용한 연구에서는 해상도을 최소 600 x 800을 사용하였을 때 165.
그리고 성능을 개선하기 위하여 Hybrid Faster RCNN-SVM 결과를 입력 파라미터로 사용하였다. 그 결과 도심지 차선 검출에서 흰색과 주황색 등의 차량으로 인한 차선 검출 에러를 개선할 수 있었다. 또한 중앙 처리 장치(CPU)과 그래픽 처리 장치 (GPU)의 자원을 최대한 사용하기 위하여 곡선 차선 검출 알고리즘은 CPU에서 연산하고 Hybrid Faster RCNN-SVM 알고리즘은 GPU와 CPU에서 연산 처리될 수 있도록 시스템을 설계하여 실시간성을 보장할 수 있도록 하였다.
그 결과 슬라이딩 윈도와 Curved Lane Visualization 검출 창을 통해 검출 결과가 개선된 것을 확인할 수가 있다.
8%의 결과를 보였다. 또한, Linear-parabolic Model을 사용한 연구에서는 해상도을 최소 600 x 800을 사용하였을 때 165.65ms의 처리 속도를 보였지만 본 연구에서는해상도을 1280 x 960으로 입력 해상도 이미지를 사용하였을 때 약 33ms로 처리되기 때문에 기존연구보다 본 연구에서 진행한 CNN 기반의 End to End 방식으로 분류하면 더 빠른 속도로 차선 Marking을 분류할 수 있었으며 유의미한 결과를 확인할 수 있었다.
8에서 보는 것과 같이, 본연구에서 인식하는 각 객체을 확인할 수 있는 Graphical User Interface (GUI)이다. 본 Toole Python과 Tkinter Library, OpenCV를 이용하여 제작되었으며 빨간색 점선으로 표시된 부분에서는 Hybrid Faster RCNN-SVM Detector에서 검출된객체과 검출된 객체의 정확도와 처리속도를 확인할 수 있다. 그리고 파란색 점선으로 표시된 부분에서는 곡선 차선 검출 결과와 처리 속도를 확인할 수가 있다.
Table I에서 분류 결과를 종합해 보면 약 88% 정확도를 보였으며 동일한 조건은 아니지만 Linear-parabolic Model을 사용한 기존의 연구와 비슷한 결과를 도출하였다. 하지만 Linear-parabolic Model을 사용한 연구에서는 해상도을 최소 600 x 800을 사용하였을 때 165.65ms의 처리 속도를 보이지만 본연구에서는 해상도을 1280 x 960으로 입력 이미지를 사용하였을 때 약 33ms로 처리되기 때문에 기존 연구보다 본 연구에서 진행한 CNN 기반의 End to End 방식으로 분류하면 더 빠른 속도로 분류를 진행할 수 있었다.

후속연구

신호등, 차량, 표지판으로 분류되는 내용에 대해서 GPU의 병렬 처리와 차선 마킹 검출기의 Network 의 경량화를 통하여 Hybrid Faster RCNN-SVM 검출기및 트레커, 곡선 차선 검출 알고리즘과 한시스템에서 동작할 수 있도록 개선할 계획이다.

참고문헌 (6)

Prajakta R. Yelwande and Prof. Aditi Jahagirdar, "Real-time Robust 차선 검출 and Warning System using Hough Transform Method", International Journal of Engineering Research & Technology (IJERT), vol. 8, Issue 08, pp.385-392, August 2019.
Amartansh Dubey and K. M. Bhurchandi, "Robust and real time detection of curvy lanes (curves) with desired slopes for driving assistance and autonomous vehicles", ResearchGate, January 2015, DOI: 10.5121/csit.2015.50111
Huifeng Wang, Yunfei Wang, Xiangmo Zhao, Guiping Wang, He Huang and Jiajia Zhang, "Lane Detection of Curving Road for Structural Highway with Straight-Curve Model on Vision", IEEE Transactions on Vehicular Technology, vol. 68, no: 6, pp. 5321-5330, June 2019.

상세보기
Dave Gershgorn, "The inside story of how AI got good enough to dominate Silicon Valley". Quartz. Retrieved 5 October 2018.
Krizhevsky Alex, Sutskever Ilya, Hinton, Geoffrey E., "ImageNet classification with deep convolutional neural networks", Twenty-sixth Conference on Neural Information Processing Systems, pp.1?9. doi:10.1145/3065386. ISSN 0001-0782.

상세보기
Sang Bae Park, Gyehyun Kim, Hyun Jae Baek, Jong Hee Han and Joon Ho Kim, "Remote Pulse Rate Measurement from Near-Infrared Videos", IEEE Signal Processing Letters, vol.25, no.8, pp.1271-1275, August 2018.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증