[논문]YOLO 기반 차선검출 시스템

전성우; 김동수; 정회경

doi:10.6109/jkiice.2021.25.3.464

YOLO 기반 차선검출 시스템
YOLO-based lane detection system 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.25 no.3, 2021년, pp.464 - 470

전성우 (Department of Computer Engineering, Paichai University) , 김동수 (Department of Computer Engineering, Paichai University) , 정회경 (Department of Computer Engineering, Paichai University)

초록
AI-Helper

자동차는 단순한 이동 수단으로 사용되었지만 최근 지능화 및 스마트화가 급속하게 진행되고 자동차 선호도가 증가하면서 운전자의 편의 및 안전 등 고성능 기능을 요구하면서 IT 기술 융합 연구가 진행되고 있다. 이로 인해 자율주행과 반자율주행 자동차가 개발되고 이러한 기술들은 주변 환경 문제로 인하여 차선 이탈 경우와 자율주행 자동차에서 판단하지 못하는 상황이 생기고 차선 검출기에서는 차선을 인식하지 못하는 경우가 있다. 이러한 문제점인 자율주행 자동차의 차선검출 시스템의 차선 이탈에 대한 성능을 향상하기 위해 본 논문에서는 YOLO(You only look once)의 특성인 빠른 인식을 사용하고 CSI- Camera를 사용하여 주변 환경으로부터 영향을 받는 상황을 인지하고 주행 데이터 수집하여 관심 영역을 추출하는 차선검출 시스템을 제안한다.

Abstract ▼ AI-Helper

Automobiles have been used as simple means of transportation, but recently, as automobiles are rapidly becoming intelligent and smart, and automobile preferences are increasing, research on IT technology convergence is underway, requiring basic high-performance functions such as driver's convenience and safety. As a result, autonomous driving and semi-autonomous vehicles are developed, and these technologies sometimes deviate from lanes due to environmental problems, situations that cannot be judged by autonomous vehicles, and lane detectors may not recognize lanes. In order to improve the performance of lane departure from the lane detection system of autonomous vehicles, which is such a problem, this paper uses fast recognition, which is a characteristic of YOLO(You only look once), and is affected by the surrounding environment using CSI-Camera. We propose a lane detection system that recognizes the situation and collects driving data to extract the region of interest.

주제어

표/그림 (18)

그림 Fig. 1 System configuration
그림 Fig. 2 Flowchart of system
표 Table. 1 System implementation environment
그림 Fig. 3 Recognize specific areas of interest
그림 Fig. 4 Jetson nano Developer kit treatment process
그림 Fig. 5 Lane detection discrimination process
표 Table. 2 Proposed database structure
그림 Fig. 6 Setting the region of interest in the preprocessing process
그림 Fig. 7 Flow of the proposed system
그림 Fig. 8 Image data extraction
그림 Fig. 9 Whitelane finding visualization process output
그림 Fig. 10 Extract only white lanes
그림 Fig. 11 Extract white lane and change RGB color
그림 Fig. 12 Lane detection based on driving image
그림 Fig. 13 Collected Video data
그림 Fig. 14 Colab environmental test set
그림 Fig. 15 Data augmentation
표 Table. 3 Performance evaluation result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 제안하는 차선 이탈에 대한 성능을 향상하기 위해 객체 인식 기술을 활용하여 차선검출 시스템에 관한 연구를 제안한다. 본 시스템은 CSI-camera를 사용하여 YOLO 기반 실시간 영상에서 차선의 특징을 추출하여 차선이 지워지거나 흐려진 차선을 판별하고 직진과 커브 같은 수많은 상황의 주행 데이터를 수집 및 저장하고 차선검출을 하며 주변 환경의 영향 보완하고 인식률을 정확도를 향상하고 차선 이탈 방지하도록 한다.
본 논문은 정확한 인식률을 제공하는 YOLO 기반 차선검출 시스템을 설계 및 구현하였다. 실험을 통해 차선을 인식하여 데이터 수집하고, 객체 인식 기반 차선검출을 하였으며, 임계값을 설정하여 카메라를 주행 차량의 블랙박스 위치에 설치하여 주행 영상에서 차선검출에 대한 높은 정확도를 나타내었다.

제안 방법

Google Colab 환경에서 시험 세트를 활용하여 Image Data Generator 함수를 통해 데이터 증강 기능을 수행하였다. 차선의 특성으로 지정된 수평 방향 이동범위를 0.
Python 및 OpenCV를 이용하여 이미지를 출력하였다. 수집된 영상 데이터에서는 출력 크기를 조정하기 위해 훈련된 모델을 활용하여 검출 module을 초기화하였다.
RetinaNet, GoogleNet, YOLOv3 및 YOLOv4 등 다양한 방식을 이용하여 차선검출 시스템을 비교 분석하였다. 결과는 표 3과 같다.
추가 함수를 호출하여 저장한다. 먼저 주행 영상에서 첫 번째로 이미지 데이터를 수집하여 차선의 특징을 추출하고 흰색 차선과 주황색 차선을 인식한다. 관심 영역설정으로 차선을 추출하고 추출된 차선에는 ROI 설정으로 인해 영상처리 과정을 진행한다.
관한 연구를 제안한다. 본 시스템은 CSI-camera를 사용하여 YOLO 기반 실시간 영상에서 차선의 특징을 추출하여 차선이 지워지거나 흐려진 차선을 판별하고 직진과 커브 같은 수많은 상황의 주행 데이터를 수집 및 저장하고 차선검출을 하며 주변 환경의 영향 보완하고 인식률을 정확도를 향상하고 차선 이탈 방지하도록 한다.
본 절에서는 기존의 객체 인식 모델 기반으로 차선검출 시스템을 설계하고 CSI-camera에서 촬영된 영상을 Jetson Nano Developer kit에서 크기와 대비를 조정하여 전처리를 제어하는 과정을 나타낸다. 그림 1은 시스템의 구성도를 나타낸다.
설계한 데이터베이스는 3가지 테이블을 갖추고 있고 저장된 영상 데이터에서 차선의 특징과 관심 영역 구역으로 나눠진 영상 데이터를 저장하고 관리하는 차선검출 테이블, 실시간으로 촬영되는 영상이 아무런 작업이 실행되지 않은 영상 데이터로 저장되는 영상 저장 테이블, OpenCV를 사용하여 부분 영역만 처리하므로 처리 시간을 단축하고 이미지 저장 ROI 설정 테이블로 나타낸다. 이러한 테이블에서 작동되는 과정에는 그림 5와 같이 차선검출 판별 과정을 나타낸다.
수집된 영상 데이터에서는 출력 크기를 조정하기 위해 훈련된 모델을 활용하여 검출 module을 초기화하였다. 출력 크기를 임의로 설정하고 검출기에서 특징점 module 초기화를 통해 shape_predictor 사용한다.
시스템에서 객체 인식 및 PyMySQL의 라이브러리를 사용하여 Jetson Nano Developer Kit와 CSI-Camera V2 module을 활용하여 시스템 설계하였다. CSI-Camera에서 실시간 영상을 송출하여 발생 된 데이터는 데이터베이스에 저장하고, 이의 구조는 표 2와 같다.
영상 데이터에서 수집된 25GB의 데이터를 사용하여 이미지 데이터를 생성하여 이미지 파일을 학습시킬 수 있도록 ImageDataGenerator 클래스를 활용하여 데이터 증강을 위해 CNN 기반 Colab을 사용하여 차선검출 과정 이미지를 분류하고 학습시켜 데이터 세트를 생성하였다. 그림 14는 데이터 증강을 위해 필요한 시험 세트를 나타낸다.
이러한 자율주행 자동차가 차선을 인식하지 못하는 경우 자동차는 어두운 주변 환경 탓에 앞에 자동차와 충돌하는 상황이 발생하였었다. 이러한 차선을 감지 못하는 경우의 문제점을 해결하기 위해 제안 시스템은 기존의 객체 인식 기술들을 사용하여 시스템 구현 및 분석하였고 다양한 차종에 대해 차선검출 시스템을 구현하였다. 주변 환경 요소에 의해 비교적 정확도가 밤에는 낮다는 것을 확인하였으며 향후 연구로 어두운 환경을 고려하고 더욱 다양한 차량에 제안하는 시스템을 적용하여 향상된 인식률과 정확도에 관한 연구를 진행할 것이다.
사용한다. 이를 기반으로 RPI 8 MP Camera 를 CSI-camera로 활용해 YOLO 기반으로 차선검출 시스템의 설계 및 데이터베이스 설계 내용을 나타낸다.
수집된 데이터는 저장된다. 저장된 데이터는 전처리과정에서 차선을 추출하고 관심 영역을 자른 후 차선의 특성을 추출하며 후처리로써 차선검출의 결과 데이터를 받아 사용자에게 제공한다. 차선검출이 되지 않았을 경우 운전자에게 경고시스템을 작동시켜 경고 알림 서비스를 제공한다.
주행 영상에서 얻은 데이터를 사용하고 Dark Net을 기반하여 관심 영역 추출을 설계하고 객체마다 상자 형태로 특정 관심 영역을 인식한다. 그림 3은 인식 과정을 나타낸다.
주행하며 영상을 촬영하여 영상 데이터 수집 및 데이터 회수한 다음 전처리를 수행한다. 전처리과정과 관심 영역설정은 그림 6과 같다.
그러나 주변 환경의 영향으로 검출되지 않는 경우 경고 알림을 제공하였다. 차선검출 기능뿐만 아니라 YOLOv4의 기술을 이용하고 임계 값을 설정하면서 데이터 훈련을 진행하고 이를 바탕으로 정확도를 강화하였다.
차선의 특성으로 지정된 수평 방향 이동범위를 0.1로 설정하여 10픽셀 내외로 좌우 이동(width_shift_ range), 수직 방향(height_shift_range), 확대/축소 범위 내로 수행하는 (zoo m_range), 수평 방향으로 뒤집기 (horizontl flip = True)를 사용하여 데이터 세트를 생성하였다. 그림 15는 생성한 데이터 세트를 나타낸다.
본 논문의 시스템 구현 내용을 나타낸다. 촬영된 영상과 실시간 촬영으로 수집된 데이터를 기반하여 ROI 설정과 관심 영역설정에 대해 나타낸다.
차선의 위치와 특징을 추출한다. 추출된 데이터에서 선별한 뒤 후보 순위를 두어 ROI 관심 영역을 설정하여 후보로 뽑힌 영상의 작은 부분들을 분류기로 클래스 분류되며 전처리과정을 통해 차선 검출한다.
카메라에서 촬영된 주행 영상 데이터는 ROI를 설정한다, 전처리과정은 차선의 특징추출을 통해 흰색 차선을 관심 영역으로 자른 후 차선의 특성에 대해 감지하는 과정을 설계하였으며 후처리는 차선검출의 결괏값을 받아 차선검출을 확인하여 사용자에게 제공하는 반면 차선검출이 안 되었을 경우 사용자에게 경고 시스템을 작동 시켜 경고 알림 서비스를 제공한다. 그림 7은 시스템의 검출과정 흐름을 나타낸다.
주행 환경 요소에는 빛 밝기. 해당 차량의 주행 속도 및 차종에 따라 평균값의 차이를 나타내었고 제안 시스템은 낮에 더 높은 정확도로 객체 인식을 수행하였다.

대상 데이터

사용자 차량의 블랙박스에 CSI-Camera를 설치하여 영상을 촬영하고 데이터 수집한다. 수집된 데이터는 저장된다.

성능/효과

시스템을 설계 및 구현하였다. 실험을 통해 차선을 인식하여 데이터 수집하고, 객체 인식 기반 차선검출을 하였으며, 임계값을 설정하여 카메라를 주행 차량의 블랙박스 위치에 설치하여 주행 영상에서 차선검출에 대한 높은 정확도를 나타내었다. 그러나 주변 환경의 영향으로 검출되지 않는 경우 경고 알림을 제공하였다.

후속연구

이러한 차선을 감지 못하는 경우의 문제점을 해결하기 위해 제안 시스템은 기존의 객체 인식 기술들을 사용하여 시스템 구현 및 분석하였고 다양한 차종에 대해 차선검출 시스템을 구현하였다. 주변 환경 요소에 의해 비교적 정확도가 밤에는 낮다는 것을 확인하였으며 향후 연구로 어두운 환경을 고려하고 더욱 다양한 차량에 제안하는 시스템을 적용하여 향상된 인식률과 정확도에 관한 연구를 진행할 것이다.

참고문헌 (8)

Y. H. Shim and S. H. Kwon, "Trends of Standardization of Autonomous Driving System," Auto Journal, vol. 41, no. 9, pp. 63-66, Sep. 2019.
H. G. Kim and G. S. Heo, "Autonomous Driving Technology Rese arch Trends and Prospects," Journal of the Korean Institute of Communication Sciences, vol. 35, no. 5, pp. 3-12, Apr. 2018.
B. Y. Lee, "Trends and Prospects of Technology Development for Domestic and Overseas Self-driving Vehicles," Journal of the Korean Institute of Communication Sciences, vol. 33, no. 4, pp. 10-16, Mar. 2016.
M. H. Ok, "Development of a longitudinal autonomous driving sup port system simulator for ADAS driving vehicles on highways," Journal of Korea Information Technology Society, vol. 17, no. 11, pp. 27-35, Nov. 2019.

상세보기
V. Milanes and S. E. Shladover, "Modeling cooperative and autonomous adaptive cruise control dynamic responses using experimental data," Transportation Research. Part C, Elsevier, vol. 48, pp. 285-300, Nov. 2014.

상세보기
B. J. Kim and S. B. Lee, "A Study one valuation Method of the Adaptive Cruise Control," Journal of Drive and Control, vol. 14, no. 3, pp. 8-17, Sep. 2017.

원문보기 상세보기
S. B. Jeon, Y. T. Han, D. M. Seo, and I. B. Jung, "Improved Real-Time Variable Speed Limits for a Stable Controlling of the Freeway," KIISE Transactions on Computing Practices, vol. 22, no. 9, pp. 405-418, Sep. 2016.
S. Y. Lee, J. M. Kim, C. M. Ji, and M. P. Hong, "A Study on DoS Attack and Response Technology Trends in V2V Communication Environment of Self-driving Vehicles," Journal of Information Security Society, vol. 30, no. 2, pp. 41-48, Apr. 2020.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증