단일 카메라 센서를 기반으로 한 차선검출 시스템은 급격한 조도 변화, 열악한 기상환경 등에 취약하다. 이러한 단일 센서 시스템의 한계를 극복하기 위한 방안으로 센서 융합을 통해 성능 안정화를 도모할 수 있다. 하지만, 기존 센서 융합의 연구는 대부분 물체 및 차량을 대상으로 한 융합 모델에 국한되어 차용하기 어렵거나, 차선 센서의 다양한 신호 주기 및 인식범위에 대한 상이성을 고려하지 않은 경우가 대부분이었다. 따라서 본 연구에서는 다중센서의 상이성을 고려하여 차선 정보를 최적으로 융합하는 기법을 제안한다. 제안하는 융합 프레임워크는 센서 별 가변적인 신호처리 주기와 인식 신뢰 범위를 고려하므로 다양한 차선 센서 조합으로도 정교한 융합이 가능하다. 또한, 새로운 차선 예측 모델의 제안을 통해 간헐적으로 들어오는 차선정보를 세밀한 차선정보로 정밀하게 예측하여 다중주기 신호를 동기화한다. 조도환경이 열악한 환경에서의 실험과 정량적 평가를 통해, 제안하는 융합 시스템이 기존 단일 센서 대비 인식 성능이 개선됨을 검증한다.
단일 카메라 센서를 기반으로 한 차선검출 시스템은 급격한 조도 변화, 열악한 기상환경 등에 취약하다. 이러한 단일 센서 시스템의 한계를 극복하기 위한 방안으로 센서 융합을 통해 성능 안정화를 도모할 수 있다. 하지만, 기존 센서 융합의 연구는 대부분 물체 및 차량을 대상으로 한 융합 모델에 국한되어 차용하기 어렵거나, 차선 센서의 다양한 신호 주기 및 인식범위에 대한 상이성을 고려하지 않은 경우가 대부분이었다. 따라서 본 연구에서는 다중센서의 상이성을 고려하여 차선 정보를 최적으로 융합하는 기법을 제안한다. 제안하는 융합 프레임워크는 센서 별 가변적인 신호처리 주기와 인식 신뢰 범위를 고려하므로 다양한 차선 센서 조합으로도 정교한 융합이 가능하다. 또한, 새로운 차선 예측 모델의 제안을 통해 간헐적으로 들어오는 차선정보를 세밀한 차선정보로 정밀하게 예측하여 다중주기 신호를 동기화한다. 조도환경이 열악한 환경에서의 실험과 정량적 평가를 통해, 제안하는 융합 시스템이 기존 단일 센서 대비 인식 성능이 개선됨을 검증한다.
Most of the mono-camera based lane detection systems are fragile on poor illumination conditions. In order to compensate limitations of single sensor utilization, lane information fusion system using multiple lane sensors is an alternative to stabilize performance and guarantee high precision. Howev...
Most of the mono-camera based lane detection systems are fragile on poor illumination conditions. In order to compensate limitations of single sensor utilization, lane information fusion system using multiple lane sensors is an alternative to stabilize performance and guarantee high precision. However, conventional fusion schemes, which only concerns object detection, are inappropriate to apply to the lane information fusion. Even few studies considering lane information fusion have dealt with limited aids on back-up sensor or omitted cases of asynchronous multi-rate and coverage. In this paper, we propose a lane information fusion scheme utilizing multiple lane sensors with different coverage and cycle. The precise lane information fusion is achieved by the proposed fusion framework which considers individual ranging capability and processing time of diverse types of lane sensors. In addition, a novel lane estimation model is proposed to synchronize multi-rate sensors precisely by up-sampling spare lane information signals. Through quantitative vehicle-level experiments with around view monitoring system and frontal camera system, we demonstrate the robustness of the proposed lane fusion scheme.
Most of the mono-camera based lane detection systems are fragile on poor illumination conditions. In order to compensate limitations of single sensor utilization, lane information fusion system using multiple lane sensors is an alternative to stabilize performance and guarantee high precision. However, conventional fusion schemes, which only concerns object detection, are inappropriate to apply to the lane information fusion. Even few studies considering lane information fusion have dealt with limited aids on back-up sensor or omitted cases of asynchronous multi-rate and coverage. In this paper, we propose a lane information fusion scheme utilizing multiple lane sensors with different coverage and cycle. The precise lane information fusion is achieved by the proposed fusion framework which considers individual ranging capability and processing time of diverse types of lane sensors. In addition, a novel lane estimation model is proposed to synchronize multi-rate sensors precisely by up-sampling spare lane information signals. Through quantitative vehicle-level experiments with around view monitoring system and frontal camera system, we demonstrate the robustness of the proposed lane fusion scheme.
본 연구에서는 단일 센서를 이용한 차선검출의 한계를 극복하기 위해 여러 차선 검출 센서를 융합하는 융합 기법을 제안한다. 제안하는 기법은 여러 차선 검출 센서의 다주기 신호를 동기화하는 시간적 융합과, 동기화된 두 차선 정보를 융합하여 더 정교한 차선 정보를 도출하는 공간적 융합으로 이루어진다.
가설 설정
제안하는 차선 예측 모델은 몇 가지 가정을 따른다. 각 센서의 주기는 일정하며 TAVM , TCam는 빈번하게 들어오는 차량신호 TC의 일정 배수로 가정한다. 간헐적인 차선 정보가 TC마다 차량 신호를 이용하여 차선 모델 상태(State)들이 예측되고 각각 예측된 값들은 동일 TC상의 값을 토대로 융합한다.
제안 방법
본 연구에서는 단일 센서를 이용한 차선검출의 한계를 극복하기 위해 여러 차선 검출 센서를 융합하는 융합 기법을 제안한다. 제안하는 기법은 여러 차선 검출 센서의 다주기 신호를 동기화하는 시간적 융합과, 동기화된 두 차선 정보를 융합하여 더 정교한 차선 정보를 도출하는 공간적 융합으로 이루어진다.
또한, 센서들의 다주기 신호의 동기화를 위한 정교한 차선 예측 모델을 제안한다. 제안하는 예측 모델은 기존의 요-운동과 속도 정보만 활용하는 기존 모델과는 달리, 추가적인 차량 동특성(Kinematic) 정보와 상태변수로 차선 예측을 더욱 정교하게 하였다. 이 모델은 제어에 적합한 미세 주기로 신호주기를 개선하는 효과를 가져갈 수 있다.
대상 데이터
제안된 기법의 적합성을 검증하기 위해서 어려운 조도 환경 시나리오인 터널, 역광 등의 열악한 조도환경을 대상으로 하였다. 이때의 차선융합을 통한 탐지율 개선 여부와 단일 센서의 차선과 융합 차선의 측면 오프셋 성능 비교를 통해 융합에 의한 차선 정확도를 측정하였다.
성능/효과
본 논문에서는 인식범위와 검출주기가 다른 여러 차선 센서의 차선정보를 융합하는 기법을 제안하였다. AVM과 전방 카메라 센서의 실차기반 실험을 통해 상이한 검출주기, 인식범위를 갖는 다중 차선 탐지 센서의 융합이 효과적으로 이뤄지는 것을 확인하였다. 향후 다양한 차선 검출 시스템 (ex 고정밀 라이다 기반 차선검출 시스템)등과의 융합 실험을 통해 차선융합에 대한 심층적 검증을 실행할 것이다.
후속연구
AVM과 전방 카메라 센서의 실차기반 실험을 통해 상이한 검출주기, 인식범위를 갖는 다중 차선 탐지 센서의 융합이 효과적으로 이뤄지는 것을 확인하였다. 향후 다양한 차선 검출 시스템 (ex 고정밀 라이다 기반 차선검출 시스템)등과의 융합 실험을 통해 차선융합에 대한 심층적 검증을 실행할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
차선 검출 시스템이란?
자동차의 안전과 편의의 증대를 위해서 수많은 운전 보조 시스템(DAS, Driving Assistant System)이 제안되었다. 그중, 차선 검출 시스템(Lane Detection)은 차선 이탈 경보 시스템(LDWS), 차선 유지 지원 시스템 (LKAS) 등 차량의 주행 보조에 필요한 핵심 시스템이다. 차선 검출 시스템은 차량의 차선 단위의 측위를 가능케 하며 차선 유지 제어에 필요한 신호를 전달한다는 점에서 상당한 정확도가 요구된다.
운전 보조 시스템이 제안된 이유는?
자동차의 안전과 편의의 증대를 위해서 수많은 운전 보조 시스템(DAS, Driving Assistant System)이 제안되었다. 그중, 차선 검출 시스템(Lane Detection)은 차선 이탈 경보 시스템(LDWS), 차선 유지 지원 시스템 (LKAS) 등 차량의 주행 보조에 필요한 핵심 시스템이다.
대부분의 차선 검출 시스템의 한계는?
현재 대부분의 차선 검출 시스템은 전방 카메라에서 들어오는 영상을 바탕으로 영상처리 기술을 활용하여 차선을 검출하며 이를 차량 동특성 신호를 이용한 트래킹을 통해서 보정하는 방식을 취한다.[2∼7] 다양한 신호 처리 기술, 기계학습 기술 [5∼6] 의 도입에도 불구하고 카메라는 센서 특성상 역광, 터널구간, 안개 낀 상황 등의 조도 환경에 상당한 영향을 받아 이미지를 적절히 처리할 수 없는 경우가 생긴다. 이때, 차선 측정값이 일정 시간 들어오지 않아, 차선 검출 센서의 신뢰성을 유지 하는 데 어려움이 있다.
참고문헌 (15)
E. Dickmanns and D. Mysliwetz, "Recursive 3D road and relative ego-state recognition," IEEE Trans. on Pattern Analysis and Machine Intelligence. Vol. 14. no. 2. pp 119- Feb. 1992.
M. Nieto and L. Salgado, "Robust multiple lane road modeling based on perspective analysis," Image Processing, ICIP, San Diego, 2008.
J. McCall and M. Trivedi "Video-based Lane Estimation and Tracking for Drivier Assistance: Survey, System, and Evaluation," IEEE Trans. on Intelligent Transportation Systems, Vol. 7 No. 1, March 2006.
S. Kang, S. Lee, J. Hur and S. Seo, "Multi-lane Detection based on Accurate Geometric Lane Estimation in Highway Scenarios," in Intelligent Vehicles Symposium(IV), Michigan, 2014.
J. Hur, S. Seo. "Multi-lane detection in urban driving environments using conditional random fields." in Intelligent Vehicles Symposium, Austrailia, 2013.
B. Huval and A. Y. Ng, "An Empirical Evaluation of Deep Learning on Highway Driving", arXiv, April 2015.
S. Lee, S. Kim, S. Seo, "Accurate Ego-Lane Recognition utilizing Multiple Road Characteristics in a Bayesian Network Framework," IEEE Conf. on Intelligent Vehicles Symposium(IV) pp 543-548, Korea, June 2015.
Y. Son, and C. Chung, "Robust Multirate Control Scheme With Predictive Virtual Lanes for Lane-Keeping System of Autonomous Highway Driving," IEEE Trans. on Vehicular Technology. Vol. 64. no. 8. pp 3378-3391 Sep. 2014.
Y. Son, and C. Chung, "Predictive Virtual Lane Method using Relative Motions between a Vehicle and Lanes," International Journal of Control, Automation, and Systems Vol. 13, no. 1, pp 146-155, 2015.
T. Li and D. Zhidong "A new 3D LIDAR-based lane markings recognition approach," IEEE Int. Conf. on Robotics and Biomimetics (ROBIO), pp 2197-2202, Dec. 2013.
C. Kum, and H. Kim "Development of Lane Detection System using Surrounding View Image of Vehicle," in Conf. on the Korean Society Of Broad Engineers, pp 331-334, Seoul, Korea, June 2013.
M. Aeberhard, and T. Bertram, "Track-to-Track Fusion With Asynchronous Sensors Using Information Matrix Fusion for Surround Environment Perception," IEEE Trans. on Intelligent Transportation System. Vol. 13. no. 4. pp 1717-1726 June. 2013.
Y. Son and C. Chung, "Asynchronous Sensor Fusion using Multi-rate Kalman Filter," Trans. of the Korean Institute of Electrical Engineers, Vol. 63, No. 11, pp. 1551-1558, 2014.
G. Thomaidis and A. Amditis, "Multi-sensor tracking and lane estimation in highly automated vehicles," in IET Intelligent Transportation Systems, Vol 7, no. 1, pp. 160-169, 2013.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.