[논문]칼만필터 기반의 도로표지판 추적을 이용한 차량의 횡방향 위치인식

이재홍; 김학일

doi:10.7467/ksae.2014.22.3.050

칼만필터 기반의 도로표지판 추적을 이용한 차량의 횡방향 위치인식
Lane Positioning in Highways Based on Road-sign Tracking by Kalman Filter 원문보기

한국자동차공학회논문집 = Transactions of the Korean Society of Automotive Engineers, v.22 no.3, 2014년, pp.50 - 59

Abstract ▼ AI-Helper

This paper proposes a method of localization of vehicle especially the horizontal position for the purpose of recognizing the driving lane. Through tracking road signs, the relative position between the vehicle and the sign is calculated and the absolute position is obtained using the known information from the regulation for installation. The proposed method uses Kalman filter for road sign tracking and analyzes the motion using the pinhole camera model. In order to classify the road sign, ORB(Oriented fast and Rotated BRIEF) features from the input image and DB are matched. From the absolute position of the vehicle, the driving lane is recognized. The Experiments are performed on videos from the highway driving and the results shows that the proposed method is able to compensate the common GPS localization errors.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 일대일의 매칭을 한번 수행한다는 것은 이미 어느 표지판인지 알고 있다는 가정이 필요하다. 따라서 본논문에서는 GPS로부터 얻어지는 대략의 위치 정보를 통해 4개의 표지판 후보를 선정하고 고속 주행시에도 실시간으로 처리할 수 있도록 병렬 처리를 통해 빠른시간 내에 매칭하는 방법을 제안한다.
본 논문에서는 도로표지판 인식과 이미 구축된 도로표지판 DB 정보를 이용하여 주행 중인 자차의 횡 방향 위치정보를 추정하고 현재 차선을 알아내는 방법을 제안한다. 전체적인 과정은 Fig.

가설 설정

로 정의한다. 그리고 관측단계에서 작용할 수 있는 노이즈를 포함하고 있다고 가정한다.
본 논문에서 제안하는 위치인식을 수행하기 위해서는 크게 표지판DB 정보와 카메라 캘리브레이션 정보를 알아야 한다. 캘리브레이션 데이터는 미리 구한 것으로 가정하고, 표지판DB는 다음과 같이 구성한다.

제안 방법

측정거리는 측면카메라로부터 차선과의 거리를 측정한 것이고 추정거리는 제안하는방법 인도로 표지판검출후 이동궤적 분석을 이용한 표지판과의 상대 거리를 의미한다. 1차선에서 측정한 위치를 기준으로 삼고 2,3,4차선 주행 시 측정거리와 추정거리의 차이를 비교하였다.
ORB에서는 rBRIEF라 이름 하여 앞서 구한 θC를 고려한 테스트를 수행하는데 분산과 상관도가 높은 n번의 테스트를 먼저 골라내는 방법을 적용하였다.
구간내 표지판은 문형식 또는 편지식으로 설치되어 있다. 각 구간을 규정 속도로 주행하면서 영상을 미리 획득하고 실험에서는 입력되는 영상에 대한 표지판 검출 및 매칭을 수행하여 상대거리 및 절대거리를 계산하였다. 특징점 매칭이 성공하기 위해서는 표지판이 일정한 크기 이상이 되어야 하는데 본 실험에서는 30m 이내의 수직거리에서 특징점 추출이 가능하였다.
먼저 주행 중 단안카메라로 들어오는 영상에서 환경에 적응적인 이진화 방법으로 배경과 분리시키고 표지판의 색정보를 이용하여 표지판 영역을 검출한다. 검출된 표지판의 중심좌표는 자차의 주행속도와 관련지어 이동하기 때문에 칼만필터를 이용하여 추적하고, 표지판에서 특징점을 추출하여 이미 알고 있는 도로표지판 DB내에서 추출된 특징점과 매칭과정을 거친다. 매칭에 성공하면 해당 표지판의 정보를 읽어오고, 표지판 중심좌표의 궤적을 이용한 거리정보와 결합하여 자차의 횡 방향 위치와 더불어 주행중인 차선정보를 알려주게 된다.
먼저 좌우 광각카메라의 캘리브레이션을 수행하여 영상에서 검출되는 차선의 실제 거리를 측정 가능하게 한다. 다음으로 다채널 영상 기록장치를 이용하여 세 카메라에서 동기화된 영상을 획득한다. 전방 카메라는 표지판을 이용한 거리 추정 영상획득 용도로 사용된다.
주행은 표지판에 대해 수직적인 접근 및 직선 주행을 가정한다. 동영상을 취득한 후에 PC에서 개발된 프로그램으로 평가를 수행하였다. 실험 환경은 Table 1과 같다.
앞 절의 실험에서 표지판을 이용한 거리 계산에서 절대적인 오차비교 대신 결과의 안정성만을 보여주었다. 따라서 본 절에서는 실제 차량의 위치를 측정된 결과와 추정된 결과로 비교한다. 실험 장소는 1번 국도 의왕~안양 구간이고 영상획득을 위해 Fig.
먼저 주행 중 단안카메라로 들어오는 영상에서 환경에 적응적인 이진화 방법으로 배경과 분리시키고 표지판의 색정보를 이용하여 표지판 영역을 검출한다. 검출된 표지판의 중심좌표는 자차의 주행속도와 관련지어 이동하기 때문에 칼만필터를 이용하여 추적하고, 표지판에서 특징점을 추출하여 이미 알고 있는 도로표지판 DB내에서 추출된 특징점과 매칭과정을 거친다.
본 논문에서 제안하는 위치인식을 수행하기 위해서는 크게 표지판DB 정보와 카메라 캘리브레이션 정보를 알아야 한다. 캘리브레이션 데이터는 미리 구한 것으로 가정하고, 표지판DB는 다음과 같이 구성한다.
본 논문은 단안 카메라를 이용하여 고속도로 주행 차량에서 GPS 위치정보가 제공할 수 없는 차선의 위치정보를 추정하는 방법을 제시하였고, 제안하는 방법의 절차는, 첫째, 변하는 외부환경에 적응적인 이진화 방법으로 표지판을 검출하고, 둘째, 칼만 필터를 이용하여 이동하는 표지판을 추적하고 핀홀 카메라 모델을 사용하여 표지판과 자차의 상대 거리를 계산하고, 셋째, 특징점 매칭으로 표지판 DB로부터 표지판의 정보를 불러와서 차량의 실제 위치를 표시하고 주행 차선을 인식하며, 넷째, 병렬처리 기술 적용으로 고속 주행 시에도 실시간으로 수행할 수 있는 처리속도를 확인하였다.
12와 같이 실제 크기를 알고 있는 체스보드를 이용하여 수행했다. 영상에서 검출되는 패턴의 크기와 실제 크기를 비교할 수 있는 룩 업 테이블로 구성하였다. 측면카메라 영상으로부터 차선의 폭을 측정하는 방법은 캘리브레이션의 결과로 차량좌우측면으로부터 차선까지의 거리를 측정하고 차량의 폭을 더함으로써 전체 한 차선의 폭을 계산한다.
높이는 지면으로부터 5m 높이에 설치하도록 규정되어 있다. 제안하는 방법에서 사용되는 표지판의 중심위치는 이보다 높지만 차량 내부에 설치되는 카메라의 높이를 고려하여 카메라와 표지판 중심의 높이도 5m로 고정한다.
영상에서 검출되는 패턴의 크기와 실제 크기를 비교할 수 있는 룩 업 테이블로 구성하였다. 측면카메라 영상으로부터 차선의 폭을 측정하는 방법은 캘리브레이션의 결과로 차량좌우측면으로부터 차선까지의 거리를 측정하고 차량의 폭을 더함으로써 전체 한 차선의 폭을 계산한다. 측정 결과 평균차선 폭은 3.
매칭에 성공하면 해당 표지판의 정보를 읽어오고, 표지판 중심좌표의 궤적을 이용한 거리정보와 결합하여 자차의 횡 방향 위치와 더불어 주행중인 차선정보를 알려주게 된다. 평가를 위해 실제고속도로 주행영상과 도로표지규칙에 의거한 설치 규정을 참고하여 거리 정보를 추정하였다.

대상 데이터

전방 카메라는 표지판을 이용한 거리 추정 영상획득 용도로 사용된다. 그리고 좌우 카메라의 영상은 차선과의 실제거리를 측정하여 제안방법의 결과를 검증하는 비교자료로 사용된다.
따라서 본 절에서는 실제 차량의 위치를 측정된 결과와 추정된 결과로 비교한다. 실험 장소는 1번 국도 의왕~안양 구간이고 영상획득을 위해 Fig. 11과 같이 카메라를 설치했다. 좌우 측면 카메라는 도어 미러 하단에 장착된 광각 카메라로 차선과의 실제거리 측정을 위해 사용된다.
실험에 사용된 영상은 세가지 표지판에 대해서 1차선부터 4차선까지 주행하면서 획득하였다. Fig.
실험에 사용된 영상은 영동고속도로 상행방향의 8개 구간에서 획득하였다. 구간내 표지판은 문형식 또는 편지식으로 설치되어 있다.
실험에서는 차량전방에 카메라를 설치하고 주간고속도로 주행 영상을 획득하였다. 영상 크기는 720×576으로 설정하였으며 기본 ROI는 전체 영상크기의 45%에 해당한다.
영상 크기는 720×576으로 설정하였으며 기본 ROI는 전체 영상크기의 45%에 해당한다.

데이터처리

본 편차분석 실험에 대한 정량적 평가는 Table 2와 같다. 도로 주행 영상에서 각 DB별로 횡방향 거리를 추정하고 프레임마다 구해진 결과의 평균값과 비교하여 표준편차를 구했다. 표에서 검출 후 표지판 인식률이란, 표지판 영역이 검출된 프레임 수와 그 중 특징점 매칭으로 인식이 성공한 횟수를 의미한다.

이론/모형

본 논문에서는 Photo.1 (b)처럼 변하는 배경을 처리하기위해 우선 전체 영상에서 도로 윗부분 영역을 ROI(Region of Interest)로 설정하고 이진화 과정에서 Otsu 방법⁹⁾을 사용하였다. Otsu 방법은 클래스간 분산을 최대화시킨다는 점에서 최적이라 할 수 있고 물체를 검출¹⁰⁾하는데 응용되는 이진화방법이다.
본 논문에서는 영상의 특징점 매칭을 통하여 표지판을 분류하고 해당하는 정보를 읽어오는데 이때 특징점을 추출하기 위해 ORB11) 알고리즘을 사용하였다.

성능/효과

또한 표지판으로부터 좌우 어느 방향에 있는지도 결과에는 큰 영향을 미치지 않았다. 일단 표지판 인식이 성공하면 결과로 구해지는 거리는 안정적으로 나타남을 알 수 있다.
측면카메라 영상으로부터 차선의 폭을 측정하는 방법은 캘리브레이션의 결과로 차량좌우측면으로부터 차선까지의 거리를 측정하고 차량의 폭을 더함으로써 전체 한 차선의 폭을 계산한다. 측정 결과 평균차선 폭은 3.39m로 도로 규정상에 명시된 3~3.5m의 기준에 부합하였다.
각 구간을 규정 속도로 주행하면서 영상을 미리 획득하고 실험에서는 입력되는 영상에 대한 표지판 검출 및 매칭을 수행하여 상대거리 및 절대거리를 계산하였다. 특징점 매칭이 성공하기 위해서는 표지판이 일정한 크기 이상이 되어야 하는데 본 실험에서는 30m 이내의 수직거리에서 특징점 추출이 가능하였다.

후속연구

본 연구의 결과로 고속도로 주행 상황에 대한 안전 시스템으로 갓길 비상정지, 내비게이션 위치 정보 보완, 고속도로 출구 인식 및 유도 기술을 개발할 수 있을 것이다. 향후에는 캘리브레이션 정보를 바탕으로 카메라 왜곡 현상을 보정하고 다양한 환경에서 표지판을 안정적으로 검출할 수 있는 방법을 적용할 계획이다.
본 연구의 결과로 고속도로 주행 상황에 대한 안전 시스템으로 갓길 비상정지, 내비게이션 위치 정보 보완, 고속도로 출구 인식 및 유도 기술을 개발할 수 있을 것이다. 향후에는 캘리브레이션 정보를 바탕으로 카메라 왜곡 현상을 보정하고 다양한 환경에서 표지판을 안정적으로 검출할 수 있는 방법을 적용할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	단안카메라를 이용하여 차선인식을 수행한 방법의 단점은 무엇인가?	비전 센서로 위치 인식에 주로 사용되는 스테레오 카메라는 고가의 장비로 상용화하기 어렵다. 단안카메라를 이용하여 차선인식을 수행한 방법이 연구되었지만 현재 주행 중인 차선이 몇 차선인지 알려주기위해서 도로 내 차선을 모두 인식해야 하며 대부분 다른차량에 의해 가려지므로 어렵기는 마찬가지이다.
	일반적으로 사용되는 GPS의 단점은 무엇인가?	신뢰도가 높은 DGPS를 이용하면 정밀한 위치를 알아 낼 수 있으나1) 일반적으로 사용되는 GPS는 정밀한 위치를 알려주지 못하며 특히 주행 중인 차량의 횡방향 위치를제공할 수 없다는 단점이 있다. 비전 센서로 위치 인식에 주로 사용되는 스테레오 카메라는 고가의 장비로 상용화하기 어렵다.
	도로표지판 인식과 이미 구축된도로표지판 DB 정보를 이용하여 주행 중인 자차의 횡 방향 위치정보를 추정하는 과정은 어떻게 되는가?	먼저 주행 중 단안카메라로 들어오는 영상에서 환경에적응적인이진화방법으로배경과분리시키고 표지판의 색정보를 이용하여 표지판 영역을 검출한다. 검출된 표지판의 중심좌표는 자차의 주행속도와 관련지어 이동하기 때문에 칼만필터를 이용하여 추적하고, 표지판에서 특징점을 추출하여 이미 알고 있는 도로표지판 DB내에서 추출된 특징점과 매칭과정을 거친다. 매칭에 성공하면 해당 표지판의 정보를 읽어오고, 표지판 중심좌표의 궤적을 이용한 거리정보와 결합하여 자차의 횡 방향 위치와 더불어 주행중인 차선정보를 알려주게된다. 평가를 위해 실제고속도로 주행영상과 도로표지규칙에 의거한 설치 규정을 참고하여 거리 정보를 추정하였다.

참고문헌 (14)

S. Moon, S. G. Lee, J. J. Kim and B. S. Kim, "Detecting Lane Departure Based on GIS Using DGPS," Transactions of KSAE, Vol.20, No.4, pp.16-24, 2012.

원문보기 상세보기
A. Mogelmose, M. M. Trivedi and T. B. Moeslund, "Vision-based Traffic Sign Detection and Analysis for Intelligent Driver Assistance Systems: Perspectives and Survey," IEEE Transactions on Pattern Recognition and Machine Intelligence, Vol.13, No.4, pp.1484-1497, 2012.
Z. Hu and Y. Tsai, "A Homography-based Vision Algorithm for Traffic Sign Attribute Computation," Computer-aided Civil and Infrastructure Engineering, Vol.24, No.6, pp.385-400. 2009.

상세보기
H. Lim, K. Deb and K. H. Jo, "Geometrical Reorientation of Distorted Road Sign using Projection Transformation for Road Sign Recognition," Journal of Institute of Control, Robotics and Systems, Vol.15, No.11, pp.1088-1095, 2009.

원문보기 상세보기
P. G. Jimenez, S. M. Bascon, H. G. Moreno, S. L. Arroyo and F. L. Ferreras, "Traffic Sign Shape Classification and Localization Based on the Normalized FFT of the Signature of Blobs and 2D Homographies," Signal Processing, Vol.88, No.12, pp.2943-2955, 2008.

상세보기
J. Miura, T. Kanda and Y. Shirai, "An Active Vision System for Real-time Traffic Sign Recognition," IEEE Intelligent Transportation Systems Proceedings, pp.52-57, 2000.
H. Noh, J. Lee, D. Lim and J. Lee, "The Research of Constructing the Real-world Image Data Base for Verifying the Function and Recognition Rate of ADAS Based on Image Sensor," KSAE Annual Conference Proceedings, pp.1398-1402, 2012.
J. Lee and D. Yun, "The Road Traffic Sign Recognition and Automatic Positioning for Road Facility Management," Int. J. Highw. Engineering, Vol.15, No.1, pp.155-161, 2013.

원문보기 상세보기
N. Otsu, "A Tlreshold Selection Method from Gray-level Histograms," IEEE Transactions on Systems, Man, and Cybernetics, Vol.9, No.1, pp.62-66, 1979.

상세보기
C. Fang, J. Liang, C. Lo and S. Chen, "A Realtime Visual-based Front-mounted Vehicle Collision Warning System," IEEE Symposium on Computational Intelligence in Vehicles and Transportation Systems, pp.1-8, 2013.
E. Rublee, V. Rabaud, K. Konolige and G. Bradski, "ORB: An efficient alternative to SIFT or SURF," IEEE International Conference on Computer Vision, pp.2564-2571, 2011.
E. Rosten, R. Porter and T. Drummond, "Faster and Better: A Machine Learning Approach to Corner Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.32, No.1, pp.105-119, 2010.

상세보기
M. Calonder, V. Lepetit, M. Ozuysal and T. Trzcinski, "BRIEF: Computing a Local Binary Descriptor Very Fast," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.34, No.7, pp.1281-1298, 2012.

상세보기
J. Lee, X. Cui, H. Kim, S. Lee and H. Kim, "INHA : Localization of Mobile Robots based on Feature Matching with a Single Camera," IEEE International Conference on Systems, Man, and Cybernetics, 2013.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증