차량의 전자제어 시스템은 운전자의 안전을 확보하려는 법률적, 사회적 요구에 발맞추어 빠르게 발달하고 있으며, 하드웨어의 가격하락과 센서 및 프로세서의 고성능화에 따라 레이더, 카메라, 레이저와 같은 다양한 센서를 적용한 다양한 운전자 지원 시스템 (Driver Assistance System)이 실용화되고 있다. 이에 본 연구의 선행연구에서는 CCD 카메라로부터 취득되는 영상을 이용하여 실험차량의 주행 차선 및 주변에 위치 하거나 접근하는 차량을 인식하여 운전자의 위험운전에 대한 원인 및 결과를 분석 할 수 있는 Vision 시스템 기반 위험운전 분석 프로그램을 개발하였다. 그러나 선행 연구에서 개발된 Vision 시스템은 터널, 일출, 일몰과 같이 태양광이 충분치 않은 곳에서는 차선 및 차량의 인식율이 매우 떨어지는 것으로 나타났다. 이에 본 연구에서는 밝기 대응 알고리즘을 개발하여 Vision 시스템에 탑재함으로서 언제, 어느 곳에서라도 차선 및 차량에 대한 인식율을 향상시켜 운전자의 위험운전에 대한 원인을 명확하게 분석하고자 한다.
차량의 전자제어 시스템은 운전자의 안전을 확보하려는 법률적, 사회적 요구에 발맞추어 빠르게 발달하고 있으며, 하드웨어의 가격하락과 센서 및 프로세서의 고성능화에 따라 레이더, 카메라, 레이저와 같은 다양한 센서를 적용한 다양한 운전자 지원 시스템 (Driver Assistance System)이 실용화되고 있다. 이에 본 연구의 선행연구에서는 CCD 카메라로부터 취득되는 영상을 이용하여 실험차량의 주행 차선 및 주변에 위치 하거나 접근하는 차량을 인식하여 운전자의 위험운전에 대한 원인 및 결과를 분석 할 수 있는 Vision 시스템 기반 위험운전 분석 프로그램을 개발하였다. 그러나 선행 연구에서 개발된 Vision 시스템은 터널, 일출, 일몰과 같이 태양광이 충분치 않은 곳에서는 차선 및 차량의 인식율이 매우 떨어지는 것으로 나타났다. 이에 본 연구에서는 밝기 대응 알고리즘을 개발하여 Vision 시스템에 탑재함으로서 언제, 어느 곳에서라도 차선 및 차량에 대한 인식율을 향상시켜 운전자의 위험운전에 대한 원인을 명확하게 분석하고자 한다.
The vehicle electronic control system is being developed as the legal and social demand for ensuring driver's safety is rising. The various Driver Assistance Systems with various sensors such as radars, camera, and lasers are in practical use because of the falling price of hardware and the high per...
The vehicle electronic control system is being developed as the legal and social demand for ensuring driver's safety is rising. The various Driver Assistance Systems with various sensors such as radars, camera, and lasers are in practical use because of the falling price of hardware and the high performance of sensor and processer. In the preceding study of this research, the program was developed to recognize the experiment vehicle's driving lane and the cars nearby or approaching the experiment vehicle throughout the images taken by CCD camera. In addition, the 'dangerous driving analysis program' which is Vision System basis was developed to analyze the cause and consequence of dangerous driving. However, the Vision system developed in the previous studyhad poor recognition rate of lane and vehicles at the time of passing a tunnel, sunrise, or sunset. Therefore, through mounting the brightness response algorithm to the Vision System, the present study is aimed to analyze the causes of driver's dangerous driving clearly by improving the recognition rate of lane and vehicle, regardless of when and where it is.
The vehicle electronic control system is being developed as the legal and social demand for ensuring driver's safety is rising. The various Driver Assistance Systems with various sensors such as radars, camera, and lasers are in practical use because of the falling price of hardware and the high performance of sensor and processer. In the preceding study of this research, the program was developed to recognize the experiment vehicle's driving lane and the cars nearby or approaching the experiment vehicle throughout the images taken by CCD camera. In addition, the 'dangerous driving analysis program' which is Vision System basis was developed to analyze the cause and consequence of dangerous driving. However, the Vision system developed in the previous studyhad poor recognition rate of lane and vehicles at the time of passing a tunnel, sunrise, or sunset. Therefore, through mounting the brightness response algorithm to the Vision System, the present study is aimed to analyze the causes of driver's dangerous driving clearly by improving the recognition rate of lane and vehicle, regardless of when and where it is.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이렇듯 빠르게 발전하는 운전자 지원 시스템에 부응하기 위하여 본 연구의 선행연구에서는 카메라를 이용한 Vision 시스템을 개발하였다.
그러나 터널 또는 일조, 일몰시와 같이 해가 비치지 않거나 차량의 그림자가 길게 드리워졌을 경우 차선 및 선행 차량의 인식율이 매우 저조한 것으로 나타났다. 이에 본 연구에서는 밝기 대응 알고리즘을 개발하여 Vision 시스템에 적용함으로서 터널, 일조, 일몰시에 대한 차선 및 차량 인식율을 향상시켜 위험운전에 대한 명확한 원인 분석을 통하여 운전자의 안전운전관리에 기여하고자 한다. <그림 1>은 본 연구의 연구절차이다.
선행연구에서 개발된 Vision 시스템은 노면과 차선, 차량의 구분에 있어 도로환경 변화(날씨, 시간, 기후 등)를 고려하지 않고 단순 노면의 밝기 정도로 구분하여 인식률이 떨어지는 것으로 분석되었다. 이에 본 연구는 햇빛의 반사량, 건물 그림자 및 터널 등에서 노면의 밝기가 변화되는 것에서 착안하여 ROI(Region of interest)의 노면 밝기에 따른 기준을 실제 도로 주행 실험을 바탕으로 설정하여 차량인식률을 향상시키고자 실차 실험을 기반으로 한 밝기 변화 대응 알고리즘을 개발하였다.
본 연구에서는 밝기 대응 알고리즘을 평가하기 위하여 Vision 시스템에 적용하여 일조, 일몰, 터널, 평상시로 구분하여 차선(4차선)에 따라 3차례를 반복 주행하여 밝기변화 대응 알고리즘 적용 전·후의 데이터를 취득하였으며 은 밝기 대응 알고리즘을 적용하여 기존 시스템과의 비교실험을 위한 실험 절차이다.
제안 방법
USB 인터페이스를 지원하는 GPS 19" Rack 시스템은 두 대의 산업용 컴퓨터가 설치되어 있으며 다기능 USB 제어기 등 데이터 취득용 차량 내부 모든 배선이 완성되며, 탈부착이 용이하도록 하였으며, 주행 중 노면으로부터의 진동을 흡수 할 수 있도록 제작하였다.
엔진룸의 배터리와 보조 배터리를 병렬로 처리하여 1kw급 정현파 인버터에 연결하여 컴퓨터 및 각종 센서에 전원을 안정적으로 공급할 수 있는 전원 공급 장치와 seeingmachines社(호주)의 faceLAB 4.5(운전자 머리 및 눈동자 측정을 위한 운전자 인지 검출 시스템)를 설치하였다.
Vision 시스템의 차선 및 차량인식 모듈은 CCD 카메라로부터 취득된 영상을 이용하여 차선 및 주변 차량에 대한 영상을 인식하기 위하여 LabVIEW를 사용하였으며, LabVIEW vision builder AI 3.0을 사용하여 실제 영상의 이미지 처리 알고리즘을 구현하였다.
또한, 『위험운전 유형 분류 및 데이터 로거개발, 한국ITS학회지 제7권, 제3호, 2008, 6 』 논문에서 분류한 위험운전 유형에 대하여 시뮬레이션 및 실차 실험을 통하여 임계값을 설정하였다[9].
따라서 동일 시간에 주행하더라도 구름의 유무, 햇빛의 방향, 터널 내 주행, 도로주변의 높은 빌딩, 노면의 상태 등이 노변의 밝기에 많은 영향을 주는 것으로 분석되었다. 이에 본 연구에서는 노면의 밝기에 가장 큰 영향을 주는 요소를 바탕으로 주행 환경의 일반적인 경우, 주변의 큰 건물의 그림자가 드리워질 경우, 터널 내의 3가지 경우로 구성 하였다.
카메라 픽셀 좌표로 획득된 차선과 차량의 위치는 실제도로에서의 차선과 차량좌표로 변환할 필요가 있다. 일반적인 역 원근 변환에서는 렌즈 초점거리, 카메라 기울기, 카메라 장착 높이 등의 정보를 토대로 카메라 좌표계인 픽셀좌표를 월드 좌표로 변환하게 되며, 본 연구에서는 실험차량에 적용된 Vision 시스템의 좌표계를 새롭게 정의하였다.
<그림 9>는 밝기변화 대응 알고리즘을 적용하여 차량검출 테스트를 실시한 모습을 보이고 있으며, 차량속도 90km/h에서 위험상황 발생시 운전자에게 경고음을 제공하기 위한 최소 거리인 25m를 기준을 실험을 진행하였다.
실험은 총 120회(적용 전 60회, 적용 후 60회)를 실시하여 25m 이상의 거리에서 차량을 검출할 경우 만점인 1.0점을 부여하였으며, 25m 이하의 거리에서 검출될 경우 0.5점, 전혀 검출되지 않을 경우 0점을 부여하여 알고리즘 적용 전과 적용 후에 따른 향상도를 평가하였다.
이에 본 연구에서는 밝기 대응 알고리즘을 개발하여 기 개발된 Vision 시스템에 적용하였다. 밝기 대응 알고리즘은 일조, 일몰시의 차량의 그림자를 차량으로 인식하는 오류를 보정하였으며, 또한 터널과 같이 어두운 곳에서의 차량인식률을 향상시켜 기 개발된 Vision시스템의 문제점을 보완하여 한 단계 업그레이드시킴으로써 향상된 차량인식을 통하여 운전자의 위험운전에 따른 명확한 원인분석이 이루어질 것으로 판단된다.
밝기 변화 알고리즘은 노면의 밝기를 적용하기 위하여 와 같이 차선 및 차량 인식에 영향을 미치는 부분을 ROI(Region of interest)로 설정하고 실제 도로 노면의 밝기 변화 프로파일 데이터를 획득하였다.
대상 데이터
실험차량은 기아자동차의 그랜드 카니발 2007년 형으로 차량 내부 통신 네트워크와 CAN (Controller Area Network) 인터페이스 장치를 이용하여 차량 주행 데이터를 취득할 수 있도록 구성 하였다. 병진가속도와 회전 각속도, 차량 내부 통신 네트워크를 이용하여 취득할 수 없는 운전자 조작관련 데이터는 AD(Anaolog to digital conversion), DA(Digital to analog conversion), DIO(Digital input and output) 및 PWM(Pulse width modulation) 기능을 갖는 다기능 USB 제어 장치를 이용하여 DAQ 시스템을 구성하였으며, Gyro 센서로는 Crossbow社(미국)의 6축 Gyro 센서로 온도 변화에 따른 보정 기능을 갖춘 IMU440CA-200을 사용하였다.
실험차량은 기아자동차의 그랜드 카니발 2007년 형으로 차량 내부 통신 네트워크와 CAN (Controller Area Network) 인터페이스 장치를 이용하여 차량 주행 데이터를 취득할 수 있도록 구성 하였다. 병진가속도와 회전 각속도, 차량 내부 통신 네트워크를 이용하여 취득할 수 없는 운전자 조작관련 데이터는 AD(Anaolog to digital conversion), DA(Digital to analog conversion), DIO(Digital input and output) 및 PWM(Pulse width modulation) 기능을 갖는 다기능 USB 제어 장치를 이용하여 DAQ 시스템을 구성하였으며, Gyro 센서로는 Crossbow社(미국)의 6축 Gyro 센서로 온도 변화에 따른 보정 기능을 갖춘 IMU440CA-200을 사용하였다. USB 인터페이스를 지원하는 GPS 19" Rack 시스템은 두 대의 산업용 컴퓨터가 설치되어 있으며 다기능 USB 제어기 등 데이터 취득용 차량 내부 모든 배선이 완성되며, 탈부착이 용이하도록 하였으며, 주행 중 노면으로부터의 진동을 흡수 할 수 있도록 제작하였다.
본 실험에 사용된 CCD 센서의 Cell 크기는 7.4㎛×7.4㎛로서 좌표변환에 사용된 상수 kp는 0.0074mm/pixel이다.
이론/모형
메인 프로그램에서 위험운전을 실시간으로 구분하기 위하여 선행연구에서 분류하고 있는 위험운전 유형을 적용하였다[8].
성능/효과
따라서 동일 시간에 주행하더라도 구름의 유무, 햇빛의 방향, 터널 내 주행, 도로주변의 높은 빌딩, 노면의 상태 등이 노변의 밝기에 많은 영향을 주는 것으로 분석되었다. 이에 본 연구에서는 노면의 밝기에 가장 큰 영향을 주는 요소를 바탕으로 주행 환경의 일반적인 경우, 주변의 큰 건물의 그림자가 드리워질 경우, 터널 내의 3가지 경우로 구성 하였다.
노면의 밝기 24에서의 임계값은 10이므로 10이하인 경우는 노면으로 인식하고, 10초과인 경우를 차량으로 인식할 수 있는 것이다. 결론적으로 차량 인식을 위한 차량의 그림자 그레이 레벨과 도로의 그레이 레벨 사이의 경계처리를 위한 임계값을 나타내고 있다.
실험 결과 일조와 일몰시 알고리즘 적용 전 4.5점, 4점으로 분석되었으며, 밝기 대응 알고리즘 적용 후 일조, 일몰 모두 12점으로 분석되었다. 터널의 경우 1차 실험에서 적용 전 3.
5에서 적용 후 12점으로 향상되었다. 마지막으로 평상시와 같이 맑은 날의 경우 알고리즘 적용 전 9.5점에서 적용 후 12점으로 분석되었다.
따라서 노면의 밝기 또는 그림자 등이 차량 인식률에 큰 영향을 미치는 것으로 분석되었으며, 전체 실험 결과 밝기 대응 알고리즘 적용 전 평균점수는 0.4점(24.5/60), 알고리즘 적용 후 평균점수는 0.97점(58/60)으로 본 연구에서 개발된 밝기대응 알고리즘 적용에 따른 차량 인식률이 241.67% 향상되는 것으로 분석되었다.
차량에 적용된 Vision 시스템 기반 안전운전 지원 통합 시스템의 성능 검증을 위하여 급정지 실험을 수행하였으며, 차선 및 차량 인식과 추적을 통하여 획득된 추가적인 정보를 활용하여 운전자의 위험운전 상황을 좀 더 객관적이고, 정확한 분석이 가능함을 확인 할 수 있었다.
이에 선행 연구에서는 위험운전 행태의 원인 분석을 위하여 실험 차량에 Vision 시스템을 적용하였다. Vision 시스템은 차선 및 주변 차량과의 거리를 인식하여 운전자의 위험운전상황을 실시간으로 분석하였으며, 특히 위험운전이 발생된 원인을 운전자 차량의 거동분석과 주변차량의 거동분석을 통하여 위험상황이 포함된 다양한 주행상황에서의 위험운전 판단의 정확도를 향상시켰다.
그러나 차량 인식의 경우 실제 차량의 형상특징과 주위 환경 조건에 민감하게 반응하여 차량 인식의 성능이 떨어짐을 확인 할 수 있었다.
후속연구
ADAS 시스템 중 ACC(advances cruise control), SCC(smart cruise system)는 라이다 센서를 이용하여 전방의 차량을 검출하는데 이용되고 있으나, 센서가 매우 고가이므로 현재 고급차량에만 적용되고 있는 실정이다. 따라서 본 연구의 CCD 카메라를 통한 선행 차량을 검출할 수 있는 기술을 이용한다면 모든 차종에서 첨단 시스템을 적용할 수 있을 것으로 판단된다.
이에 본 연구에서는 밝기 대응 알고리즘을 개발하여 기 개발된 Vision 시스템에 적용하였다. 밝기 대응 알고리즘은 일조, 일몰시의 차량의 그림자를 차량으로 인식하는 오류를 보정하였으며, 또한 터널과 같이 어두운 곳에서의 차량인식률을 향상시켜 기 개발된 Vision시스템의 문제점을 보완하여 한 단계 업그레이드시킴으로써 향상된 차량인식을 통하여 운전자의 위험운전에 따른 명확한 원인분석이 이루어질 것으로 판단된다. 그러나 본 연구에서는 선행차량의 기준 거리를 25m로 설정하여 실험을 진행하였으며, 또한 환경적인 요인 즉, 비, 눈, 안개 등의 기후변화에 따른 차량인식에 대한 연구가 제외되어있으므로 향후 연구에서는 선행차량의 거리에 따른 정확성과 구체적인 기후조건이 반영된 추가적인 연구를 진행하여 보다 향상된 알고리즘을 개발하여야 할 것이다.
밝기 대응 알고리즘은 일조, 일몰시의 차량의 그림자를 차량으로 인식하는 오류를 보정하였으며, 또한 터널과 같이 어두운 곳에서의 차량인식률을 향상시켜 기 개발된 Vision시스템의 문제점을 보완하여 한 단계 업그레이드시킴으로써 향상된 차량인식을 통하여 운전자의 위험운전에 따른 명확한 원인분석이 이루어질 것으로 판단된다. 그러나 본 연구에서는 선행차량의 기준 거리를 25m로 설정하여 실험을 진행하였으며, 또한 환경적인 요인 즉, 비, 눈, 안개 등의 기후변화에 따른 차량인식에 대한 연구가 제외되어있으므로 향후 연구에서는 선행차량의 거리에 따른 정확성과 구체적인 기후조건이 반영된 추가적인 연구를 진행하여 보다 향상된 알고리즘을 개발하여야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
운전자 지원 시스템이란 무엇인가?
첨단 차량 전자제어 시스템의 발달과 더불어 다양한 운전자 지원 시스템(Driver Assistance System)이 실용화 되고 있다. 운전자 지원 시스템이란 운전자 상태, 차량 상태, 주변 환경을 인식하여, 운전자의 부담을 줄여주고 운전의 편의를 증대시키기 위하여 다양한 정보를 제공하거나 시스템 스스로 적절한 시기에 능동적으로 제어에 참여하는 시스템을 말한다. 이러한 시스템은 지능형 자동차(Intelligent Vehicle)개발의 한 분야로서 차량에 적용 가능한 하드웨어의 가격하락과 센서 및 프로세서의 고성능화에 따라 레이더, 카메라, 레이저와 같은 다양한 센서를 적용한 사례가 늘고 있다.
Vision 시스템은 어떻게 사용되는가?
Vision 시스템은 차량의 전방 및 후방, 측방을 감시할 수 있으며, 차량의 주행 영상을 취득하게 된다. 취득된 영상은 이미지 알고리즘을 통하여 차선과 차량으로 구분되며, 후 처리를 통해 차선의 위치, 차량의 위치 및 거리 등을 계산 할 수 있다.
운전자 지원 시스템에서 다양한 센서를 적용한 사례가 늘고있는 이유는 무엇인가?
운전자 지원 시스템이란 운전자 상태, 차량 상태, 주변 환경을 인식하여, 운전자의 부담을 줄여주고 운전의 편의를 증대시키기 위하여 다양한 정보를 제공하거나 시스템 스스로 적절한 시기에 능동적으로 제어에 참여하는 시스템을 말한다. 이러한 시스템은 지능형 자동차(Intelligent Vehicle)개발의 한 분야로서 차량에 적용 가능한 하드웨어의 가격하락과 센서 및 프로세서의 고성능화에 따라 레이더, 카메라, 레이저와 같은 다양한 센서를 적용한 사례가 늘고 있다.
참고문헌 (9)
오주택, 이상용, "Vision 시스템을 이용한 위험 운전 원인 분석 프로그램 개발에 관한 연구," 한국 ITS학회 논문지, 제8권, 제6호, pp.150-162, 2009. 12.
김홍룡, 카메라 기반 야간 차선 인식률 개선을 위한 최적 알고리즘 연구, 계명대학교 지능형 자동차 대학원, 2009
http://www.globaldanso.com
M. Betke, E. Haritaoglu and L. S. Davis, "Real-time multiple vehicle detection and tracking from a moving vehicle," Machine Vision and Applications, vol. 12, no. 2, pp.69-83, Sept. 2000.
L. Fletcher, L. Petersson and A. Zelinsky, "Driver assistance systems based on vision in and out of vehicles," Proc. IEEE Intelligent Vehicles Symp., pp.323-327, June 2003.
S. Tokoro, K. Moriizumi, T. Kawasaki, T. Nagao, K. Abe and K. Fujita, "Sensor fusion system pre-crash safety system," Proc. IEEE Intelligent Vehicles Symp., pp.14-17, June 2004.
S. Nedevschi, R. Danescu and T. Marita, "A sensor for urban driving assistance systems based on dense stereovision," Proc. IEEE Intelligent Vehicles Symp., pp.276-283, June 2007.
오주택, 조준희, 이상용, 김영삼, "위험운전유형 분류 및 데이터로거 개발," 한국ITS학회 논문지, 제7권, 제3호, pp.15-28, 2008. 6.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.