[논문]부분 top-view 영상을 이용한 차선 이탈 검출

박한동; 오정수

doi:10.6109/jkiice.2017.21.8.1553

부분 top-view 영상을 이용한 차선 이탈 검출
Lane Departure Detection Using a Partial Top-view Image 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.21 no.8, 2017년, pp.1553 - 1559

박한동 (IVM Co. Ldt.) , 오정수 (Department of Display Engineering, Pukyong National University)

초록
AI-Helper

본 논문은 자동차 전방에 장착된 단일 카메라를 이용한 차선 이탈 검출 알고리즘을 제안한다. 제안된 알고리즘은 카메라에 의해 취득된 영상으로부터 top-view 공간에 지정된 작은 관심 영역을 위한 부분 top-view 영상을 생성하고, 작은 부분 top-view 영상에서 차선을 검출하고, 미리 지정된 가상 자동차와 검출된 차선들의 겹침을 조사해 차선 이탈을 결정한다. 또한 제안된 알고리즘은 차선 사이에서 차선 이탈 검출을 방해하는 도로 표기 (잡음)에 의한 직선들의 제거와 이전 프레임의 차선 정보를 이용한 손실된 차선의 예측을 포함한다. 실제 주행 동영상을 이용한 차선 이탈 검출 실험에서 제안된 알고리즘은 차선 유지 상태에서 99.0%, 차선 이탈 상태에서 94.7%를 정상적으로 검출한다.

Abstract ▼ AI-Helper

This paper proposes a lane departure detection algorithm using a single camera equipped in front of a vehicle. The proposed algorithm generates a partial top-view image for a small ROI (region of interest) designated on the top-view space form the image acquired by the camera, detects lanes on the small partial top-view image, and makes a decision on the lane departure by checking overlap between the pre-assigned virtual vehicle and the detected lanes. The proposed algorithm also includes the removal of lines occurred by road symbols (noises) disturbing the lane departure detection between lanes and the prediction of lost lanes using lane information of previous fames. In lane departure detection test using real road videos, the proposed algorithm makes the right decision of 99.0% in lane keeping conditions and 94.7% in lane departure conditions.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

카메라에 의해 취득된 영상은 카메라 렌즈와 카메라 자세에 의해 필연적으로 방사 왜곡과 영상 기울임을 포함하게 된다. 본 논문에서는 보다 정확한 정보를 추출하기 위해 이들을 보정한다.
본 논문은 부분 top-view 영상을 이용해 주행 자동차의 차선 이탈을 검출하는 알고리즘을 제안하였다. 보다 정확한 정보 추출을 위해 취득된 영상의 방사 왜곡과 기울어짐이 보정되었고, 부분 top-view 영상 영역에서 설정된 가상 자동차와 검출된 차선의 겹침을 조사해 차선 이탈을 검출한다.
본 논문은 자동차 전방에 설치된 단일 카메라를 이용한 차선 이탈 검출 알고리즘을 제안한다. 제안된 알고리즘은 보다 정확한 정보를 얻기 위해 카메라 렌즈에 의한 방사 왜곡(Barrel distortion)과 카메라 자세에 의한 영상 기울어짐을 보정한다.

제안 방법

호모그래피 행렬은 두 평면간 4쌍 이상의 대응점들을 이용해 식 (1)을 만족하는 행렬 요소인 h₁₁ ~ h₃₃ 을 구하므로 얻을 수 있다. 본 논문에서는 차선이 이상적으로 취득된 그림 2(a) 영상에서 차선 위 4개의 대응점들을 지정하고 이를 사각형으로 투영하는 호모그래피 행렬을 구했다. 그림 2(b)는 호모그래피를 이용해 변환된 top-view 영상으로 차선이 가상 자동차(흰 수평선) 앞의 영역으로 집중되어 차선 검출을 위한 관심 영역(ROI)을 작게 설정할 수 있다.
수작업에 의한 카메라 자세 보정은 보정 결과를 보장할 수 없다. 그래서 본 논문에서는 평행인 두 직선을 여러 방향에서 촬영하고 평행한 두 직선들이 교차하는 소실점들(vanishing point)을 한 영역에서 표시하고 이들을 이어 생성된 소실선(vanishing line)을 이용한다. 이는 카메라 기울기와 일치하고 이를 수평으로 변환하면 영상 기울어짐을 보정할 수 있다[7].
제안된 알고리즘은 보다 정확한 정보를 얻기 위해 카메라 렌즈에 의한 방사 왜곡(Barrel distortion)과 카메라 자세에 의한 영상 기울어짐을 보정한다. 그리고 효율적인 차선 이탈 결정을 위해 보정된 영상에서 top-view 공간에 미리 지정된 작은 관심 영역의 부분 top-view 영상을 생성한다. 차선 이탈은 자동차 전방의 작은 영역만으로 판단할 수 있어 관심 영역을 top-view 공간의 영상 전체가 아닌 자동차 전방의 작은 영역에 지정된다.
아주 작은 부분 top-view 영상을 사용하므로 계산량을 크게 줄일 수 있고 분명한 차선을 얻을 수 있다. 또한 제안된 알고리즘은 차선 이탈 검출을 방해하는 차선 사이의 도로 표기(잡음)에 의한 직선들을 제거하고, 차선이 검출되지 않을 때는 이전 프레임의 차선 정보를 이용해 손실된 차선을 예측한다. 제안된 알고리즘의 성능 평가를 위해 외곽 도로에서 취득된 시간과 장소가 다른 여러 동영상들에서 차선 이탈을 검출하여 제안된 알고리즘의 유효성을 평가하고 있다.
본 논문은 부분 top-view 영상을 이용해 주행 자동차의 차선 이탈을 검출하는 알고리즘을 제안하였다. 보다 정확한 정보 추출을 위해 취득된 영상의 방사 왜곡과 기울어짐이 보정되었고, 부분 top-view 영상 영역에서 설정된 가상 자동차와 검출된 차선의 겹침을 조사해 차선 이탈을 검출한다. 적절한 차선 이탈 검출을 위해 도로 표기(잡음)에 의한 직선들을 제거하였고, 손실된 차선을 예측하였다.
보다 정확한 정보 추출을 위해 취득된 영상의 방사 왜곡과 기울어짐이 보정되었고, 부분 top-view 영상 영역에서 설정된 가상 자동차와 검출된 차선의 겹침을 조사해 차선 이탈을 검출한다. 적절한 차선 이탈 검출을 위해 도로 표기(잡음)에 의한 직선들을 제거하였고, 손실된 차선을 예측하였다. 차선 검출이 차선이 집중되는 top- view공간의 아주 작은 영역에서 수행되어 허프 변환(직선 검출)을 위한 에지 화소수가 원 영상과 비교해 4%~ 6%에 불과해 계산량을 크게 줄여 주었고 분명한 차선을 얻게 하였다.
본 논문은 자동차 전방에 설치된 단일 카메라를 이용한 차선 이탈 검출 알고리즘을 제안한다. 제안된 알고리즘은 보다 정확한 정보를 얻기 위해 카메라 렌즈에 의한 방사 왜곡(Barrel distortion)과 카메라 자세에 의한 영상 기울어짐을 보정한다. 그리고 효율적인 차선 이탈 결정을 위해 보정된 영상에서 top-view 공간에 미리 지정된 작은 관심 영역의 부분 top-view 영상을 생성한다.
차선 이탈은 자동차 전방의 작은 영역만으로 판단할 수 있어 관심 영역을 top-view 공간의 영상 전체가 아닌 자동차 전방의 작은 영역에 지정된다. 제안된 알고리즘은 부분 top-view 영상에서 차선을 검출하여 미리 설정된 가상 자동차와 겹침을 비교하여 차선 이탈을 결정한다. 아주 작은 부분 top-view 영상을 사용하므로 계산량을 크게 줄일 수 있고 분명한 차선을 얻을 수 있다.
제안된 차선 이탈 검출 알고리즘은 부분 top-view 영상(PTVIm)에서 차선을 검출하고, 차선과 가상 자동차가 겹치는지를 판단하여 차선 이탈을 검출한다. 그림 4는 제안된 알고리즘의 흐름도이다.
차선 이탈 평가는 자동차의 측면 영상을 취득하여 차선 이탈 순간을 비교한다. 표 4는 각 동영상의 500프레임에 대해 차선을 유지하는 경우(LaneK)와 차선을 이탈하는 경우(LaneD)에서 올바른 검출(RightD) 횟수를 보여주고 있다.

대상 데이터

실험 동영상은 2001년식 기아 옵티마의 전방 유리창 내부에 장착된 소니 액션캠 HDR-AZ1에 취득된 HD급 영상이 640×360 영상으로 변환된 영상이다.
제안된 알고리즘의 성능 평가를 위해 다양한 시간과 장소에서 표 1과 같은 자동차 주행 동영상을 취득하였다. 실험 동영상은 2001년식 기아 옵티마의 전방 유리창 내부에 장착된 소니 액션캠 HDR-AZ1에 취득된 HD급 영상이 640×360 영상으로 변환된 영상이다.

데이터처리

또한 제안된 알고리즘은 차선 이탈 검출을 방해하는 차선 사이의 도로 표기(잡음)에 의한 직선들을 제거하고, 차선이 검출되지 않을 때는 이전 프레임의 차선 정보를 이용해 손실된 차선을 예측한다. 제안된 알고리즘의 성능 평가를 위해 외곽 도로에서 취득된 시간과 장소가 다른 여러 동영상들에서 차선 이탈을 검출하여 제안된 알고리즘의 유효성을 평가하고 있다.

성능/효과

적절한 차선 이탈 검출을 위해 도로 표기(잡음)에 의한 직선들을 제거하였고, 손실된 차선을 예측하였다. 차선 검출이 차선이 집중되는 top- view공간의 아주 작은 영역에서 수행되어 허프 변환(직선 검출)을 위한 에지 화소수가 원 영상과 비교해 4%~ 6%에 불과해 계산량을 크게 줄여 주었고 분명한 차선을 얻게 하였다. 차선 유지와 차선 이탈을 검출하는 실험에서 동영상에서 따라 차선 유지의 경우 98.
차선 검출이 차선이 집중되는 top- view공간의 아주 작은 영역에서 수행되어 허프 변환(직선 검출)을 위한 에지 화소수가 원 영상과 비교해 4%~ 6%에 불과해 계산량을 크게 줄여 주었고 분명한 차선을 얻게 하였다. 차선 유지와 차선 이탈을 검출하는 실험에서 동영상에서 따라 차선 유지의 경우 98.5%~ 99.5%, 차선 이탈의 경우 89.5%~ 98.7%를 올바르게 검출하였다. 잘못된 검출의 대부분은 차선 경계에서 발생하여 다음 프레임에서 정상적인 검출이 이루어진다.

질의응답

핵심어	질문	논문에서 추출한 답변
	운전자 보조시스템(advanced driver assistance system, ADAS)의 작동 방식은?	최근 IT 기술이 자동차에 접목되면서 운전자 보조시스템(advanced driver assistance system, ADAS)을 갖는 스마트 자동차(smart car)는 물론 무인 자율 주행 자동차(self driving car) 개발에 관심이 커지고 있다[1-4]. 이들은 다양한 센서들을 이용해 운전자의 시각 정보를 대신 취득하고, 시스템이 인지된 정보를 운전자에게 알리거나 인지된 정보를 근거로 주행 자동차를 제어한다. 다양한 운전자 보조 기능 중 자동차가 주행하는 동안 운전자의 의지와 달리 발생하는 차선 이탈을 인지하고 경고하는 것은 스마트 자동차나 자율 주행 자동차에 있어 보다 안전한 주행을 위한 기본적인 기능이다[3,4].
	차선 이탈 검출 알고리즘의 내용은?	본 논문은 자동차 전방에 설치된 단일 카메라를 이용한 차선 이탈 검출 알고리즘을 제안한다. 제안된 알고리즘은 보다 정확한 정보를 얻기 위해 카메라 렌즈에 의한 방사 왜곡(Barrel distortion)과 카메라 자세에 의한 영상 기울어짐을 보정한다. 그리고 효율적인 차선 이탈 결정을 위해 보정된 영상에서 top-view 공간에 미리 지정된 작은 관심 영역의 부분 top-view 영상을 생성한다. 차선 이탈은 자동차 전방의 작은 영역만으로 판단할 수 있어 관심 영역을 top-view 공간의 영상 전체가 아닌 자동차 전방의 작은 영역에 지정된다. 제안된 알고리즘은 부분 top-view 영상에서 차선을 검출하여 미리 설정된 가상 자동차와 겹침을 비교하여 차선 이탈을 결정한다. 아주 작은 부분 top-view 영상을 사용하므로 계산량을 크게 줄일 수 있고 분명한 차선을 얻을 수 있다. 또한 제안된 알고리즘은 차선 이탈 검출을 방해하는 차선 사이의 도로 표기(잡음)에 의한 직선들을 제거하고, 차선이 검출되지 않을 때는 이전 프레임의 차선 정보를 이용해 손실된 차선을 예측한다. 제안된 알고리즘의 성능 평가를 위해 외곽 도로에서 취득된 시간과 장소가 다른 여러 동영상들에서 차선 이탈을 검출하여 제안된 알고리즘의 유효성을 평가하고 있다.
	방사 왜곡이란?	방사 왜곡은 렌즈의 중심으로부터 멀어질수록 화소의 위치가 왜곡되는 현상이다. 방사 왜곡을 보정하기 위해서는 초점 거리(focal length), 주점(principal point), 비대칭 계수(skew coefficient) 등의 카메라 내부 계수와 왜곡 계수를 구한 후 행렬식을 이용해 보정한다.

참고문헌 (10)

T. Jiang, S. Petrovic, U. Ayyer, A. Tolani and S. Husain, "Self-Driving Cars: Disruptive or Incremental?," Applied Innovation Review, UC Berkeley, no. 1, pp.3-22, Jun. 2015.
Autonomous_car [Internet]. Available : https://en.wikipedia.org/wiki/Autonomous_car.
M. Zhao, Advanced Driver Assistant System, Technical White Paper, Intel, 2015 [Internet]. Available : http://www.intel.com/content/dam/www/public/us/en/documents/white-papers/advanced-driver-assistant-system-paper.pdf.
C. R. Jung and C. R. Kelber, "A lane departure warning system based on a linear-parabolic lane model," in Proceedings of 2004 IEEE Intelligent Vehicles Symposium, Parma, pp. 891-895, 2004.
D. G. Bailey, "A new approach to lens distortion correction," in Proceedings of Image and Vision Computing, Auckland, pp. 59-64, 2002.
S. G. Hwang, Learning OpenCV: Computer Vision with the OpenCV Library, Seoul, Hanbit Publishing Network, Inc., 2009.
H. G. Jung, and J. K. Suhr, "Lane Detection-based Camera Pose Estimation," Transaction of the Korean Society of Automotive Engineers, vol. 23, no. 5, pp. 463-470, May 2015.

원문보기 상세보기
L. Alvarez, L. Gomez, P. Henriquez, and L. Mazorra, "Automatic camera pose recognition in planar view scenarios," in Proceedings of 17th Iberoamerican Congress on Pattern Recognition, Buenos Aires, pp.406-413, 2012.
P. Mukhopadhyay, and B.B. Chaudhuri, "A survey of Hough transform." Pattern Recognition, vol. 48, no. 3, pp.993-1010, Mar. 2015.

상세보기
Y. Ren, B. Zhang and H. Qiao, "A Simple Taylor-series Expansion Method for a Class of Second Kind Integral Equations," Journal of Computational and Applied Mathematics, vol. 110, no. 1, pp. 15-24, Jan. 1999.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증