[논문]차선 인접 에지 검출에 강인한 필터를 이용한 비전 센서 기반 차선 검출 시스템

신주석; 정제한; 김민규

doi:10.5369/jsst.2019.28.3.164

차선 인접 에지 검출에 강인한 필터를 이용한 비전 센서 기반 차선 검출 시스템
Lane Detection System Based on Vision Sensors Using a Robust Filter for Inner Edge Detection 원문보기

Journal of sensor science and technology = 센서학회지, v.28 no.3, 2019년, pp.164 - 170

신주석 (이인텔리전스 자율주행시스템개발팀) , 정제한 (이인텔리전스 자율주행시스템개발팀) , 김민규 (한국폴리텍대학교 울산캠퍼스 자동화시스템과)

Abstract ▼ AI-Helper

In this paper, a lane detection and tracking algorithm based on vision sensors and employing a robust filter for inner edge detection is proposed for developing a lane departure warning system (LDWS). The lateral offset value was precisely calculated by applying the proposed filter for inner edge detection in the region of interest. The proposed algorithm was subsequently compared with an existing algorithm having lateral offset-based warning alarm occurrence time, and an average error of approximately 15ms was observed. Tests were also conducted to verify whether a warning alarm is generated when a driver departs from a lane, and an average accuracy of approximately 94% was observed. Additionally, the proposed LDWS was implemented as an embedded system, mounted on a test vehicle, and was made to travel for approximately 100km for obtaining experimental results. Obtained results indicate that the average lane detection rates at day time and night time are approximately 97% and 96%, respectively. Furthermore, the processing time of the embedded system is found to be approximately 12fps.

주제어

표/그림 (14)

그림 Fig. 1. System overview
그림 Fig. 2. Result of the pre-processing phase: (a) Input image, (b) Result of the Gaussian blur, (c) Result of the Canny Edge, (d) Result of the applied look-up table of the lane thickness.
그림 Fig. 3. Robust filter for detection of the Inner edge: (a) Filter applied to the left lane, (b) Filter applied to the right lane, (c) Specified ROI after select of the ego-lane, (d) Result of applying the proposed filter.
그림 Fig. 4. Select Ego-Lane: (a) Result of the Hough Transform, (b) Set the candidates for the left and right lanes, (c) Method of the Select Ego-Lane, (d) Result of the Select Ego-Lane.
그림 Fig. 5. Calculation of Lateral offset: (a) Measurement of the worldcoordinate for the lane width, (b) Measurement of the number of the pixel for the lane width in the image-coordinate.
그림 Fig. 6. I.MX6Q board
그림 Fig. 7. System architecture
그림 Fig. 8. Experimental result at daytime to the straight lines: (a) A shadowy road, (b) A lot of road markings, (c) A lot of vehicles and weak lane marking.
그림 Fig. 9. Experimental result at night time to the straight lines: (a) Weak lane marking, (b) A lot of road markings, (c) A lot of vehicles.
그림 Fig. 10. Experimental result at daytime to the curve lines: (a) Weak lane marking, (b) Vehicle exist near the curve lanes, (c) Guard rail on the left side of the curve lane.
표 Table 1. The result of accuracy of lane detection
그림 Fig. 11. Experimental result of fail case: (a) Double yellow left lanes, (b) Weak yellow left lane, (c) White lane with severe damage.
그림 Fig. 12. Lateral offset based departure timing test. (a) White straight lane test using Canny Edge filter, (b) White straight lane test using proposed filter, (c) Yellow straight lane test using proposed filter
표 Table 2. The result of the accuracy test for lane departure warning

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 임베디드 시스템에서 운영 가능한 차선의 안쪽 에지 검출에 강인한 필터를 이용한 비전 센서 기반의 실시간 차선 검출 및 추적 알고리즘을 제안하였다. 제안한 알고리즘을 기반으로 차선 이탈 경고 시스템 (LDWS: Lane Departure Warning System)을 I.

가설 설정

1) 차선의 색상은 도로의 색상보다 항상 밝다[7]
X값은 장착된 카메라루부터 차선까지의 기리이며, 장착된 카메라는 차량의 중앙에 부착되어 있다고 가정하였으며, tread는 테스트 차량의 제원 중 윤거 값을 사용하였다.
본 논문에서는 선택된 직선의 ρ, θ 값을 칼만 필터를 이용하여 보정하였으며, 보정된 ρ, θ 값을 기반으로 관심영역을 갱신하였다. 상태 변수 및 상태 전이행렬은 식(4), (5)와 같이 정의하였으며, 상태 및 측정 방정식의 노이즈는 백색잡음으로 가정하고 각 프로세스는 다른 프로세스와 상관관계가 없는 것으로 가정하였다.

제안 방법

Lateral offset거리 계산 정확도를 테스트하기 위해 차선 이탈 시 Mobileye560에서 발생하는 경고 알람 시점과 비교평가를 진행하였으며, 경고 알람 시점은 계측장비를 이용하여 측정하였다. Fig.
5 (a) 와 같이 차선의 실제 거리(m)를 측정하고 (b)와 같이 시스템 영상 내 좌우 차선 폭이 가지는 총pixel 개수를 측정하여 m/pixel을 계산하였다. 그 후 검출된 차선의 위치에 따라 Lateral offset 값을 계산하여 차선 이탈 여부를 판단하였다.
본 논문에서 제안한 차선 검출 및 추적 알고리즘은 차선 검출 인식률과 차선 이탈 판단 정확도에 대한 실험을 통하여 성능을 검증하였다. 실험 평가를 위하여 테스트 차량에 카메라, 임베디드 보드, Display 장치 및 계측장비를 탑재하여 약 100 km를 주행하였으며, 원본 영상, 결과영상 및 CAN 통신 데이터를 저장하였다.
본 논문에서는 선택된 직선의 ρ, θ 값을 칼만 필터를 이용하여 보정하였으며, 보정된 ρ, θ 값을 기반으로 관심영역을 갱신하였다.
본 논문에서는 차선 안쪽 에지 검출에 강인한 필터를 이용한 차선 검출 및 추적 알고리즘을 제안하였으며, 제안한 알고리즘을 임베디드 시스템에 구현하여 시험하였다. 제안한 알고리즘은 전처리 및 차선 선택 단계를 포함한 차선 검출 모듈과 차선 추적 모듈 및 차선 이탈 판단 모듈로 구성되었다.
본 논문에서는 차선 이탈 판단 정확도를 평가하기 위해 NHTSA(National Highway Traffic Safety Administration)의LDWS confirmation test 문서를 참고하였으며, 직선 도로에서 흰색 실선, 점선 차선과 황색 실선, 점선 차선에 대하여 좌측 및 우측으로 각각 50번씩 차선 이탈을 시도하였고, 알람 발생 여부로 성능을 평가하였다. 차량 속도는 65~80 km/h로 테스트를 진행하였다.
본 논문에서 제안한 차선 검출 및 추적 알고리즘은 차선 검출 인식률과 차선 이탈 판단 정확도에 대한 실험을 통하여 성능을 검증하였다. 실험 평가를 위하여 테스트 차량에 카메라, 임베디드 보드, Display 장치 및 계측장비를 탑재하여 약 100 km를 주행하였으며, 원본 영상, 결과영상 및 CAN 통신 데이터를 저장하였다.
4의 값을 사용하였다. 에지를 검출하기 위하여 Canny Edge Detector를 사용하였으며[12], 에지 영상으로부터 차선과 유사한 에지 정보만을 남기기 위하여 사전에 생성한 차선 두께 Look-up테이블을 이용하여 차선을 포함한 이진화 영상을 생성하였다.
차선 검출 모듈에서 선택된 차선을 이용하여 매 프레임마다 차선의 위치를 측정하는 경우, 오검출 등으로 차선의 위치가 불안정하게 이동하게 된다. 이러한 문제를 방지하기 위하여 칼만 필터 (Kalman filter)를 이용하여 차선의 동선을 부드럽게 보정하였다[13]. 본 논문에서는 선택된 직선의 ρ, θ 값을 칼만 필터를 이용하여 보정하였으며, 보정된 ρ, θ 값을 기반으로 관심영역을 갱신하였다.
이진화 영상을 생성하기 이전에 임베디드 보드에서 운영 가능하도록 입력 영상을 320x240 이미지로 Re-sampling하였으며,Canny Edge를 수행하기 위해 그레이 스케일 영상으로 변환하였다. 변환된 그레이 스케일 영상으로부터 잡음을 제거하기 위하여 Gaussian blur를 사용하였다[11].
임베디드 보드에 구현된 차선이탈 경고 시스템은 차선 검출 모듈, 차선 추적 모듈과 Lateral offset 기반의 차선 이탈 판단 모듈로 구성하였다. Fig.
본 논문에서는 차선 안쪽 에지 검출에 강인한 필터를 이용한 차선 검출 및 추적 알고리즘을 제안하였으며, 제안한 알고리즘을 임베디드 시스템에 구현하여 시험하였다. 제안한 알고리즘은 전처리 및 차선 선택 단계를 포함한 차선 검출 모듈과 차선 추적 모듈 및 차선 이탈 판단 모듈로 구성되었다.
제안한 차선 검출 및 추적 알고리즘은 I.MX6Q 보드에 구현하였으며, 처리속도는 평균 12 fps(frame per seconds) 이다. Fig.
차량의 타이어로부터 차선까지의 거리(Lateral offset)를 기준으로 차선 이탈 여부를 판단하였다[14].
차선을 이탈한 경우, 차선 합류 지점, 곡률이 매우 큰 도로에 대한 영상은 인식 성능 평가에 반영하지 않았으며, 자차선에 대해서만 인식 성능을 평가하였다. Table 1은 실험 결과를 나타낸 것이다.

대상 데이터

본 논문에서는 좌측 차선의 경우, 22.5o 55o, 우측 차선의 경우 - 55o ~22.5o 내에 포함된 (ρ, θ)쌍을 각각의 차선 후보군으로 선택하였다.

데이터처리

차선의 인식률을 산출하기 위하여 저장된 원본 영상에서 Ground Truth(GT)를 생성하였으며, 정밀도(Precision) 및 재현율(Recall)을 식(7), (8)을 이용하여 계산하였다.

이론/모형

이진화 영상을 생성하기 이전에 임베디드 보드에서 운영 가능하도록 입력 영상을 320x240 이미지로 Re-sampling하였으며,Canny Edge를 수행하기 위해 그레이 스케일 영상으로 변환하였다. 변환된 그레이 스케일 영상으로부터 잡음을 제거하기 위하여 Gaussian blur를 사용하였다[11]. 본 논문에서는 Gaussian blur의 파라미터인 필터 크기는 7×7, sigma는 1.

성능/효과

(c)는 Canny Edge Detector를 수행한 결과 영상을 나타내고 있으며, (d)는 차선 두께 Look-up 테이블 적용 결과이다. Canny Edge Detector를 적용한 결과 영상에서는 차선 이외의 다양한 잡음을 포함하고 있지만 차선 두께 Look-up 테이블을 적용하게 되면 잡음이 많이 줄어든 것을 확인할 수 있다.
MX6Q 보드에 구현하였으며, 실험 결과 차선 검출 인식 성능은 평균 96%임을 확인하였다. 그리고 차선이탈에 대한 경고 발생 시점을 Mobileye560과 비교했을 때 평균 15 ms 정도의 오차를 보임을 확인하였다.
차선까지의 남은 거리를 기준으로 임계 값 이하가 되면 차선을 이탈했다고 판단하였으며, 임계 값은 10 cm로 설정하였다. 또한 CAN(Controller Area Network) 통신을 통하여 방향 지시등 값을 받았으며, 방향 지시등이 켜지지 않은 상태에서 차선을 이탈하는 것은 운전자가 의도치 않게 차선을 이탈하는 것으로 판단하여 부저 및 CAN으로 신호를 전달하였다.
시험 결과 주간 및 야간 환경에서의 차선 인식율은 각각 평균 97%와 96%이였으며, 임베디드 보드 상에서 처리 시간은 약 12fps임을 확인하였다. 또한 차선을 이탈할 때 경고알람발생여부를 시험한 결과, 평균 94% 이상의 정확도를 보였다.
마지막으로 관심 영역 내에서 제안한 차선 안쪽 에지 검출에 강인한 필터를 적용함으로써 Lateral offset 값을 보다 정확하게 계산할 수 있었으며, 차선 이탈 시 Lateral offset 기반으로 경고 알람 발생 시점을 상용 제품과 비교 평가한 결과, 평균 15ms 정도의 오차가 발생하는 것을 확인할 수 있었다.
12의 (a), (b)는 Table 2의 흰색 직선차선으로 좌우 차선 모두 실선일 경우에 대한 테스트 결과이며, (a)는 관심 영역 내에서 Canny Edge를 사용한 결과이고, (b)는 본 논문에서 제안한 차선 안쪽 에지 검출에 강인한 필터를 적용했을 때의 결과이다. 상용화 제품과 본 논문에서 제안한 시스템과의 결과를 비교해 볼 때 Canny Edge를 사용했을 경우, 차선 안쪽 에지 검출을 하기 위한 별도의 프로세스가 포함되지 않았기 때문에 경고 알람 시점에 대한 오차가 평균 23.022 ms였으며, 본 논문에서 제안한 기법으로 테스트했을경우, 오차가 평균 8.946 ms인 것을 시험을 통해 확인하였다. 이는 차선을 이탈할 경우, 본 논문이 제안한 필터를 통하여 보다 정확한 알람을 운전자에게 알려줄 수 있음을 나타낸다.
4의 (c)는 자차선을 선택하기 위한 방법을 도식화한 것이고, (d)는 자차선을 선택한 결과를 보여주는 것이다. 선택된 각각의 차선은 차선 추적을 하기 위한 관심영역 지정에 사용되며,추적 단계부터는 관심영역 내에서만 차선을 검출함으로써 오검출을 줄였으며, 처리속도도 향상시켰다.
차선 추적 모듈의 관심영역 지정 및 관심 영역 내에서 차선을 검출함으로써 오검출을 줄 일 수 있었으며, 처리속도도 향상시킬 수 있었다. 시험 결과 주간 및 야간 환경에서의 차선 인식율은 각각 평균 97%와 96%이였으며, 임베디드 보드 상에서 처리 시간은 약 12fps임을 확인하였다. 또한 차선을 이탈할 때 경고알람발생여부를 시험한 결과, 평균 94% 이상의 정확도를 보였다.
실험 결과 낮 영상의 경우 약 98.57% 정밀도를 보였으며, 야간에는 약 99.31%의 정밀도를 보였다. 이는 차선 추적 모듈에 의한 정확한 관심 영역 지정으로 오검출을 줄인 결과이다.
946 ms인 것을 시험을 통해 확인하였다. 이는 차선을 이탈할 경우, 본 논문이 제안한 필터를 통하여 보다 정확한 알람을 운전자에게 알려줄 수 있음을 나타낸다.
이는 차선 추적 모듈에 의한 정확한 관심 영역 지정으로 오검출을 줄인 결과이다. 재현율의 경우, 주간 및 야간에 대한 성능이 평균 약 94.36%로 제안한 차선 검출 및 추적 알고리즘을 통하여 차선 검출이 잘 되었다는 것을 보여준다.
본 논문에서는 임베디드 시스템에서 운영 가능한 차선의 안쪽 에지 검출에 강인한 필터를 이용한 비전 센서 기반의 실시간 차선 검출 및 추적 알고리즘을 제안하였다. 제안한 알고리즘을 기반으로 차선 이탈 경고 시스템 (LDWS: Lane Departure Warning System)을 I.MX6Q 보드에 구현하였으며, 실험 결과 차선 검출 인식 성능은 평균 96%임을 확인하였다. 그리고 차선이탈에 대한 경고 발생 시점을 Mobileye560과 비교했을 때 평균 15 ms 정도의 오차를 보임을 확인하였다.
차선 추적 모듈의 관심영역 지정 및 관심 영역 내에서 차선을 검출함으로써 오검출을 줄 일 수 있었으며, 처리속도도 향상시킬 수 있었다. 시험 결과 주간 및 야간 환경에서의 차선 인식율은 각각 평균 97%와 96%이였으며, 임베디드 보드 상에서 처리 시간은 약 12fps임을 확인하였다.
(c)는 차선 선택 이후 관심 영역이 지정된 결과를 나타낸 것이며, (d)는 관심 영역이 지정된 상태에서 제안한 필터를 적용한 결과이다. 차선의 안쪽 에지 검출을 위한 별도의 프로세스가 없이 필터만 적용하더라도 차선의 안쪽 에지가 검출되는 것을 확인할 수 있다.
하지만 황색 차선, 훼손된 차선 등을 제대로 인식하지 못한 결과가 성능에 반영되어 재현율이 정밀도보다 성능이 좋지 않은 것을 시험을 통해 확인하였으며, Fig. 11은 이에 대한 결과를 보여주고 있다. Fig.

후속연구

제안한 차선 검출 및 추적 알고리즘은 간단한 알고리즘으로 구성되어 있기 때문에 고급 세단이 아니더라도 저가의 차량에 설치할 수 있는 시스템으로 적용 가능할 것으로 기대된다.
차선 인식률과 차선 이탈 경고 시점에 대한 시험 결과 황색 차선일 경우 성능이 저하되는 것을 확인할 수 있었으며, 이는 색상특성을이용하는방법을통하여성능을보완할계획이다[15].

참고문헌 (15)

L. Meng, W. Kees, R. V. Der, and Heijden, "Technical feasibility of advanced driver assistance systems (ADAS) for road traffic safety", Transp. Plan. Technol., Vol. 28, No. 3, pp. 167-187, 2005.

상세보기
F. Zhang, C. Daniel, and A. Knoll, "Vehicle detection based on lidar and camera fusion", 17th Int. IEEE Conf. on Intell. Transp. Syst., pp. 1620-1625, Qingdao, China, 2014.
M. A. Turk, D. G. Morgenthaler, K. D. Gremban, and M. Marra, "VITS-A vision system for autonomous land vehicle navigation", IEEE Trans. Pattern Anal. Mach. Intell., Vol. 10, No. 3, pp. 342-361, 1988.

상세보기
M. Bertozzi, A. Broggi, C. Caraffi, M. D. Rose, M. Felisa, and G. Vezzoni, "Pedestrian detection by means of far-infrared stereo vision", Comput. Vis. Image Underst., Vol. 106, No. 2-3, pp. 194-204, 2007.

상세보기
J. Son, H. Yoo, S. Kim, and K. Sohn, "Real-time illumination invariant lane detection for lane departure warning system", Expert Syst. Appl., Vol. 42, No. 4, pp. 1816-1824, 2015.

상세보기
Y. Huang, Y. Li, X. Hu, and W. Ci, "Lane detection based on inverse perspective transformation and Kalman filter", KSII. Trans. Inter. Inform. Syst., Vol. 12, No. 2, pp. 2739-2744, 2018.
Y. Ding, Z. Xu, Y. Zhang, and K. Sun, "Fast lane detection based on bird's eye view and improved random sample consensus algorithm", Multimed. Tools Appl., Vol. 76, No. 21, pp. 22979-22998, 2017.

상세보기
Y. Su, Y. Zhang, T. Lu, J. Yang, and H. Kong, "Vanishing point constrained lane detection with a stereo camera", Trans. Intell. Transp. Syst., Vol. 19, No. 8, pp. 2739-2744, 2018.

상세보기
Y. Tian, J. Gelernter, X. Wang, W. Chen, J. Gao, Y. Zhang, and X. Li, "Lane marking detection via deep convolutional neural network", Neurocomputing, Vol. 280, No. 6, pp. 46-55, 2018.

상세보기
Q. Lin, Y. J. Han, and H, Hahn, "Real-time lane departure detection based on extended edge-linking algorithm", Second Int. IEEE Conf. on Comput. Res. Dev., pp. 725-730, Kuala Lumpur, Malaysia, 2010.
S. S. Huang, C. J. Chen, P. Y. Hsiao, and L. C. Fu, "Onboard vision system for lane recognition and front-vehicle detection to enhance driver's awareness", Proc. of IEEE Conf. on Robot. Autom., pp. 2456-2461, New Orleans, LA, 2004.
C. John, "A computational approach to edge detection", IEEE Trans. Pattern Anal. Mach. Intell., Vol. 8, No. 6, pp. 679-698, 1986.
B. Ristic, S. Arulampalam, and N. Gordon. "Beyond the Kalman filter", IEEE Aerosp. Electron. Syst. Mag., Vol. 19, No. 7, pp. 37-38, 2004.
C. R. Jung and C. R. Kelber, "A lane departure warning system using lateral offset with uncalibrated camera", Proc. of IEEE Conf. on Intell. Transp. Syst., pp. 102-107, Vienna, Austria, 2005.
H. Yoo, U. Yang, and K. Sohn, "Gradient-enhancing conversion for illumination-robust lane detection", IEEE Trans. Intell. Transp. Syst., Vol. 14, No. 3, pp. 1083-1094, 2013.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증