최근 발생빈도가 높은 차량 간 충돌사고를 미연에 방지하고 운전자의 편의를 증진하기 위한 전방 충돌 경고 시스템에 관한 연구가 활발히 진행되고 있다. 충돌 회피를 위한 차량 시스템에 자동으로 차량을 검출하는 기술은 필수적 요소이다. 기존의 학습 기반 차량 검출 방법들은 일반적으로 차량의 후면 전체를 학습하며, 외형이 다른 승용차와 트럭, SUV의 경우 클래스를 분류하여 학습해야 한다는 단점이 있다. 본 논문에서는 이러한 단점을 해결하기 위해 차종에 관계없이 후미등 하단 부의 외형은 유사하다는 점에 착안하여 하단부에 한해 Haar-like feature를 학습함으로써 전방 차량을 검출하는 방법을 제안하였다. 또한 검증단계로서 후미등 검출을 통해 실제 차량과 차량이 아닌 것들을 분류하고 후미등 검출이 어려운 작은 크기의 후보 영역은 HOG(Histogram Of Gradient) 특징과 SVM(Support Vector Machine) 분류기를 통해 검증하여 오검출률을 낮추었다. 도로 주변에 건물이 많은 복잡한 영상에서도 차종에 관계없이 95%에 해당하는 정확도를 보여 전방 차량 검출 성능이 개선된 것을 확인하였다.
최근 발생빈도가 높은 차량 간 충돌사고를 미연에 방지하고 운전자의 편의를 증진하기 위한 전방 충돌 경고 시스템에 관한 연구가 활발히 진행되고 있다. 충돌 회피를 위한 차량 시스템에 자동으로 차량을 검출하는 기술은 필수적 요소이다. 기존의 학습 기반 차량 검출 방법들은 일반적으로 차량의 후면 전체를 학습하며, 외형이 다른 승용차와 트럭, SUV의 경우 클래스를 분류하여 학습해야 한다는 단점이 있다. 본 논문에서는 이러한 단점을 해결하기 위해 차종에 관계없이 후미등 하단 부의 외형은 유사하다는 점에 착안하여 하단부에 한해 Haar-like feature를 학습함으로써 전방 차량을 검출하는 방법을 제안하였다. 또한 검증단계로서 후미등 검출을 통해 실제 차량과 차량이 아닌 것들을 분류하고 후미등 검출이 어려운 작은 크기의 후보 영역은 HOG(Histogram Of Gradient) 특징과 SVM(Support Vector Machine) 분류기를 통해 검증하여 오검출률을 낮추었다. 도로 주변에 건물이 많은 복잡한 영상에서도 차종에 관계없이 95%에 해당하는 정확도를 보여 전방 차량 검출 성능이 개선된 것을 확인하였다.
Recently, there are active studies on a forward collision warning system to prevent the accidents and improve convenience of drivers. For collision evasion, the vehicle detection system is required. In general, existing learning-based vehicle detection methods use the entire appearance of the vehicl...
Recently, there are active studies on a forward collision warning system to prevent the accidents and improve convenience of drivers. For collision evasion, the vehicle detection system is required. In general, existing learning-based vehicle detection methods use the entire appearance of the vehicles from rear-view images, so that each vehicle types should be learned separately since they have distinct rear-view appearance regarding the types. To overcome such shortcoming, we learn Haar-like features from the lower part of the vehicles which contain tail lights to detect vehicles leveraging the fact that the lower part is consistent regardless of vehicle types. As a verification procedure, we detect tail lights to distinguish actual vehicles and non-vehicles. If candidates are too small to detect the tail lights, we use HOG(Histogram Of Gradient) feature and SVM(Support Vector Machine) classifier to reduce false alarms. The proposed forward vehicle detection method shows accuracy of 95% even in the complicated images with many buildings by the road, regardless of vehicle types.
Recently, there are active studies on a forward collision warning system to prevent the accidents and improve convenience of drivers. For collision evasion, the vehicle detection system is required. In general, existing learning-based vehicle detection methods use the entire appearance of the vehicles from rear-view images, so that each vehicle types should be learned separately since they have distinct rear-view appearance regarding the types. To overcome such shortcoming, we learn Haar-like features from the lower part of the vehicles which contain tail lights to detect vehicles leveraging the fact that the lower part is consistent regardless of vehicle types. As a verification procedure, we detect tail lights to distinguish actual vehicles and non-vehicles. If candidates are too small to detect the tail lights, we use HOG(Histogram Of Gradient) feature and SVM(Support Vector Machine) classifier to reduce false alarms. The proposed forward vehicle detection method shows accuracy of 95% even in the complicated images with many buildings by the road, regardless of vehicle types.
data-checked="false">후미등의거리나종류에따라밝기차이와변화가심하므로명도혹은채도성분을이용하는 것은적절하지않다. data-checked="false">따라서자동차후보영역패치들에한하여표1에서나타내는값들의범위를통해적색후미등 영역을검출하였다. 표1의HSV 색공간의적색범위에 해당하는 임계 값은 Ronan O’Malley가제안한자동차검출시스템을 참고하였다[17].
따라서Haar-like data-checked="false">특징을사용하여학습및검출한경우평균F-measure가6% 향상된결과를보였다. data-checked="false">후미등은밝은부분이강조될시밝기변화가더욱뚜렷해지므로제안한차량검출시스템 에서Haar-like 특징을 통해 학습 및 검출하여 성능향상을도출하였다.
그림10은학습데이터셋에따른차량검출결과예시를보여준다. 검출에실패한경우FN (False Negative)으로표기하였다. 후면 전체를 학습하여 차량을 검출한 경우 트럭, SUV 차량과 같이 승용 차와 상단 외형이 다른 차종을검출하지못했다.
따라서 검출된 각 후미등 ROI(Region Of Interest) data-checked="false">박스의중점을연결하여식1과같이유클리디언척도를이용해거리를구한 다. data-checked="false">유클리디언거리가자동차후보이미지패치너비의절반이상인것과그림7-(b)의노란선처럼두중점의높이차 가일정픽셀이내이면후미등으로판단한다.
data-checked="false">검출된후보영역에대하여후미등존재여부를판단하여유 클리디언척도를통해검증하고최종적으로차량을검출한 다. 또한 후미등검출이 어려운 일정 크기 이하의후보영역에대해선HOG 특징과SVM 분류기를통해분류하였다. 제안한시스템은승합차, data-checked="false">트럭의검출에도비교적강인함을보였고기존의차량검출에사용된학습데이터셋과 달리차량의후미등하단부만을학습하여성능이향상됨 을확인하였다.
따라서 차량 및 차량 하단부의 고유한 그림자특성을선명하게유지하기위해본논문에서는Nicolas data-checked="false">Limare가제안한간단한색상균형알고리즘을이용하여색을보정 한다[12]. 먼저각R, G, B 채널의히스토그램을0부터255 사이의범위로스케일링한후입력영상픽셀값들의최소, 최대값을구하기위해픽셀값들을정렬한다. data-checked="false">일반적으로이미지픽셀값정렬에는O(Nlog(N))의시간복잡도를갖 는다.
본 절에서는 제안하는 차량검출 방법이 검출성능에미치는영향을비교하고결과를분석한다. 실험환경은 Microsoft Visual studio 2012에서OpenCV 라이브러리를 사용하여 C++로구현하였고, Intel i7-3.
본논문에서는차량검출을위한특징으로Viola 와Jones가제안한Haar-like 특징의 영역 간 밝기 차를 이용한다[13]. 자동차는특징적인밝기차를가지기때문에 Haar-like 특징을적용하기에적합한대상이다.
data-checked="false">이러한분류기들을단계별로결합하여최종적으로자동차를검출한 다. 본논문에서는학습할cascade 단계의 수를 12단계로 설정하였고, 학습할 샘플이 미지 패치들의 폭과 높이의 비율을2:1로학습하였다.
2절에서최종적으로걸러진자동차후보영역들에한하여후미등을검출하기위해 색조값을이용하기에적절한HSV 색좌표계로변환한다. 색조(Hue), 채도(Saturation), 명도(Value) 값을 이용하여 배경과 구분되는후미등영역을분리한다. 일반적으로 Hue 값은 0°(혹은360°)일 때적색을나타내며 색의 정보를 직접적으로 표현할 수 있다.
data-checked="false">본논문에서는후보영역패치의면적을픽셀수로측정하여1200픽셀이하인경우아래와같은별도의 검증을수행한다. 이경우HOG(Histogram Of Gradient)를이용하여특징을추출하고SVM(Support Vector Machine)을통해차량과비차량을분류한다[15, 16]. data-checked="false">HOG는에지의방향정보를이용하므로기본적으로영상의밝기나조명변 화에덜민감하다.
data-checked="false">또한차량과비차량간의분류시간을줄이기위해차량이존재할수있는영역 에한해검증을실시한다. 일정 크기 이상의 후보영역에 대해 HSV 색좌표를활용한후미등을검출하고유클리디언척도를통해검증한다[14]. 후미등검출이 어려운 작은 크기의 후보영역에대해서는HOG(Histogram of Oriented Gradient)를이용하여특징을추출하고SVM(Support Vector Machine)을통해차량과비차량을분류한다[15, 16].
제안하는 시스템은 차량의 후미등 하단 부만을 학습하고 Haar-like 특징을사용하여1차적으로차량을검출한다. data-checked="false">검출된후보영역에대하여후미등존재여부를판단하여유 클리디언척도를통해검증하고최종적으로차량을검출한 다.
data-checked="false">자동차검출시동영상환경에서의검출률또한중요한성능척도이므로표5에서 차량내부블랙박스영상을이용하여실험한결과를나타 내었다. 2가지동영상데이터셋은720 x 480의 크기를 가지며 각 1800프레임으로구성되어있다. 첫 번째 동영상은 승용차 및 SUV 차량, 두 번째 동영상은 승용차 및 트럭이 포함되어있는영상이다.
data-checked="false">또한자동차와같이내부패턴이복잡하지않으면서도자체의에지정보를갖는물체를검출하는 데적합하다. 본논문에서는자동차후보영역을64x32 크기로 변환하여 2048차원의 HOG 특징을 추출하였고 분류기로는 선형 SVM을사용하였다. 실제 긍정 패치와 부정 패치로 분류된 결과는 그림8과같다.
학습시긍정패치는후미등하단부만을획득하고, 부정 패치는 고정된 크기로 분할하여 사용한다. 실험에사용한테스트셋은총 200장의영상이며차량내부에서촬영한주간환경의블랙 박스영상이미지이다. 표 3에서는 테스트 셋을 구성하는 차종의 수를명시하였고, 그림 9는 테스트 셋 예를 보여주며 도로 주변에건물이많고승용차, 트럭 등이 포함된 비교적 복잡한 환경의 영상임을확인할 수 있다.
표 4에서는 후면 전체와 후미등하단부의학습셋에따른차량검출성능차이를나타낸다. 이에따른분석을위해앞서기술한테스트셋과별도로승용차와SUV, 트럭이 포함된 200장의 주행 영상을 통해실험하였다. data-checked="false">후미등하단부만학습한결과가후면전체를학습한결과에비해14% 높은검출률을보였다.
이론/모형
표 3에서는 테스트 셋을 구성하는 차종의 수를명시하였고, 그림 9는 테스트 셋 예를 보여주며 도로 주변에건물이많고승용차, 트럭 등이 포함된 비교적 복잡한 환경의 영상임을확인할 수 있다. data-checked="false">정량적평가를위해식2와같eF-measure를이용하여정확도를측정하 였다.
따라서 차량 및 차량 하단부의 고유한 그림자특성을선명하게유지하기위해본논문에서는Nicolas data-checked="false">Limare가제안한간단한색상균형알고리즘을이용하여색을보정 한다[12]. 먼저각R, G, B 채널의히스토그램을0부터255 사이의범위로스케일링한후입력영상픽셀값들의최소, 최대값을구하기위해픽셀값들을정렬한다.
첫 번째 동영상은 승용차 및 SUV 차량, 두 번째 동영상은 승용차 및 트럭이 포함되어있는영상이다. 정량적 평가를 위해 전체 차량 중 검출한 차량의비율TPR(True Positive Rate), 검출된 차량에서 오검출비율 FDR(False Detection Rate)을사용하였다.
data-checked="false">따라서자동차후보영역패치들에한하여표1에서나타내는값들의범위를통해적색후미등 영역을검출하였다. 표1의HSV 색공간의적색범위에 해당하는 임계 값은 Ronan O’Malley가제안한자동차검출시스템을 참고하였다[17]. data-checked="false">그러나그림6-(b)과같이적색영역사이에분절이생길수있으므로이를해결하기위해 모폴로지연산을수행하여그림6-(c)와같이병합한다.
성능/효과
이에따른분석을위해앞서기술한테스트셋과별도로승용차와SUV, 트럭이 포함된 200장의 주행 영상을 통해실험하였다. data-checked="false">후미등하단부만학습한결과가후면전체를학습한결과에비해14% 높은검출률을보였다. 그림10은학습데이터셋에따른차량검출결과예시를보여준다.
본논문에서제안한후미등하단부데이터셋으로학습하 면검출시후미등하단부만검출하므로대부분2개의블 럽이후보영역으로검출된다. 따라서 비교적 간단한 방법으로 검증이 가능함을보였다.
그림12를보면Haar 특징의 경우 터널 안, 흐릿한영상에서도LBP, HOG 특징보다 차량을 잘 검출한 것을 확인할 수 있다. 따라서Haar-like data-checked="false">특징을사용하여학습및검출한경우평균F-measure가6% 향상된결과를보였다. data-checked="false">후미등은밝은부분이강조될시밝기변화가더욱뚜렷해지므로제안한차량검출시스템 에서Haar-like 특징을 통해 학습 및 검출하여 성능향상을도출하였다.
또한 후미등검출이 어려운 일정 크기 이하의후보영역에대해선HOG 특징과SVM 분류기를통해분류하였다. 제안한시스템은승합차, data-checked="false">트럭의검출에도비교적강인함을보였고기존의차량검출에사용된학습데이터셋과 달리차량의후미등하단부만을학습하여성능이향상됨 을확인하였다.
EunJu Lee, Jae-Yeal Nam, ByoungChul Ko, "Speed-limit Sign Recognition Using Convolutional Neural Network Based on Random Forest", The Korean Institute of Broadcast and Media Engineers, pp.938-949, 2015.
Kum, Chang-Hoon, Cho, Dong-Chan, Kim, Whoi-Yul, "Development of Lane Detection System using Surrounding View Image of Vehicle", The Korean Institute of Broadcast and Media Engineers, pp.331-334, 2013.
Hyung-Sub Kang, Dong-Chan Cho and Whoi-Yul Kim, "Passing Vehicle Detection using Local Binary Pattern Histogram", The Korean Institute of Broadcast and Media Engineers, pp.261-264, 2010.
Thomas Schamm, Christoph von Carlowitz, and J. Marius Zöllner , “On-road vehicle detection during dusk and at night”, IEEE Transactions on Intelligent Vehicles Symposium, San Diego, CA, USA, pp.418-423, 2010.
Minkyu Cheon, Wonju Lee, Changyong Yoon, and Mignon Park, “Vision-Based Vehicle Detection System With Consideration of the Detecting Location”, IEEE Transactions on Intelligent Transportation Systems, vol.13, no.3, pp.1243-1252, April, 2012.
Sungji Han, Youngjoon Han and Hernsoo Hahn , “Vehicle Detection Method using Haar-like Feature on Real Time System”, World Academy of Science, Engineering and Techonology 59, 2009.
A. Kuehnle, “Symmetry-Based Recognition for Vehicle Rears”, Pattern Recognition Letters, vol.12, no.4, pp.249-258, 1991.
Zielke, Thomas, Michael Brauckmann, and Werner Vonseelen, “Intensity and edge-based symmetry detection with an application to car-following” CVGIP: Image Understanding, vol.58, pp.177-190, 1993.
U. Franke and I. Kutzbach, "Fast Stereo Based Object Detection for Stop and Go Traffic," Intelligent Vehicles, pp. 339-344, 1996.
A. Giachetti, M. Campani, and V. Torre, “The Use of Optical Flow for Road Navigation”, IEEE Transactions on Robotics and Automation, vol.14, no.1, pp.34-48, 1998.
Nicolas Limare, et al. “Simplest color balance.”, Image Processing On Line, 1, October, 2011.
Viola, Paul, and Michael Jones, "Rapid object detection using a boosted cascade of simple features.", IEEE Transactions on Computer Vision and Pattern Recognition, vol.1, 2001.
P. E. Danielsson, “Euclidean distance mapping” Comput. Graphics mage Processing, vol.14, pp.227-248, 1980.
Dalal, Navneet, and Bill Triggs, "Histograms of oriented gradients for human detection.", IEEE Transactions onComputer Vision and Pattern Recognition, vol.1, 2005.
Suykens, Johan AK, and Joos Vandewalle, "Least squares support vector machine classifiers.", Neural processing letters 9.3, pp. 293-300, 1999.
O’Malley, Ronan, Edward Jones, and Martin Glavin. “Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions.”, IEEE Transactions on Intelligent Transportation Systems, vol.11, no.2, pp. 453-462, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.