[논문]차량 내·외부 데이터 및 딥러닝 기반 차량 위기 감지 시스템 설계

손수락; 정이나

doi:10.17661/jkiiect.2021.14.2.128

차량 내·외부 데이터 및 딥러닝 기반 차량 위기 감지 시스템 설계
A Design of the Vehicle Crisis Detection System(VCDS) based on vehicle internal and external data and deep learning 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.14 no.2, 2021년, pp.128 - 133

손수락 (Catholic Kwandong University, Department of Computer Engineering) , 정이나 (Catholic Kwandong University, Department of Software)

초록
AI-Helper

현재 자율주행차량 시장은 3레벨 자율주행차량을 상용화하고 있으나, 안정성의 문제로 완전 자율주행 중에도 사고가 발생할 가능성이 있다. 실제로 자율주행차량은 81건의 사고를 기록하고 있다. 3레벨과 다르게 4레벨 이후의 자율주행차량은 긴급상황을 스스로 판단하고 대처해야 하기 때문이다. 따라서 본 논문에서는 CNN을 통하여 차량 외부의 정보를 수집하여 저장하고, 저장된 정보와 차량 센서 데이터를 이용하여 차량이 처한 위기 상황을 0~1 사이의 수치로 출력하는 차량 내·외부 데이터 및 딥러닝 기반 차량 위기 감지 시스템을 제안한다. 차량 위기 감지 시스템은 CNN기반 신경망 모델을 사용하여 주변 차량과 보행자 데이터를 수집하는 차량 외부 상황 수집 모듈과 차량 외부 상황 수집 모듈의 출력과 차량 내부 센서 데이터를 이용하여 차량이 처한 위기 상황을 수치화하는 차량 위기 상황 판단 모듈로 구성된다. 실험 결과, VESCM의 평균 연산 시간은 55ms 였고, R-CNN은 74ms, CNN은 101ms였다. 특히, R-CNN은 보행자수가 적을 때 VESCM과 비슷한 연산 시간을 보이지만, 보행자 수가 많아 질수록 VESCM보다 많은 연산 시간을 소요했다. 평균적으로 VESCM는 R-CNN보다 25.68%, CNN보다 45.54% 더 빠른 연산 시간을 가졌고, 세 모델의 정확도는 모두 80% 이하로 감소하지 않으며 높은 정확도를 보였다.

Abstract ▼ AI-Helper

Currently, autonomous vehicle markets are commercializing a third-level autonomous vehicle, but there is a possibility that an accident may occur even during fully autonomous driving due to stability issues. In fact, autonomous vehicles have recorded 81 accidents. This is because, unlike level 3, autonomous vehicles after level 4 have to judge and respond to emergency situations by themselves. Therefore, this paper proposes a vehicle crisis detection system(VCDS) that collects and stores information outside the vehicle through CNN, and uses the stored information and vehicle sensor data to output the crisis situation of the vehicle as a number between 0 and 1. The VCDS consists of two modules. The vehicle external situation collection module collects surrounding vehicle and pedestrian data using a CNN-based neural network model. The vehicle crisis situation determination module detects a crisis situation in the vehicle by using the output of the vehicle external situation collection module and the vehicle internal sensor data. As a result of the experiment, the average operation time of VESCM was 55ms, R-CNN was 74ms, and CNN was 101ms. In particular, R-CNN shows similar computation time to VESCM when the number of pedestrians is small, but it takes more computation time than VESCM as the number of pedestrians increases. On average, VESCM had 25.68% faster computation time than R-CNN and 45.54% faster than CNN, and the accuracy of all three models did not decrease below 80% and showed high accuracy.

주제어

표/그림 (5)

그림 그림 1. 차량 위기 감지 시스템의 전체 구성도 Fig. 1. Overall configuration diagram of the Emergency-notification and Driver-response Confirmation System(EDCS)
그림 그림 2. VR-CNN을 통한 전방 차량 인식 과정 Fig. 2. Forward vehicle recognition process though VR-CNN
표 표 1. 차량 위기 상황 판단 모듈의 입력 Table 1. Virtual environment specification
그림 그림 4. VESCM, R-CNN, CNN의 연산 시간 Fig. 4. Calculation time of the VESCM, R-CNN and CNN
그림 그림 5. VESCM, R-CNN, CNN의 정확도 Fig. 5. Accuracy of the VESCM, R-CNN and CNN

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

실제로 자율주행차량은 81건의 사고를 기록하고 있다[1]. 따라서 본 논문에서는 CNN을 통하여 차량 외부의 정보를 수집하여 저장하고, 저장된 정보와 차량 센서 데이터를 이용하여 차량이 처한 위기 상황을 0~1 사이의 수치로 출력하는 차량 내·외부데이터 및 딥 러닝 기반 차량 위기 감지 시스템을 제안한다. 본 논문에서 제안하는 차량 위기 감지 시스템은 CNN을 기반으로 차량 외부의 주행 중인 차량과 보행자의 데이터를 수집하는 차량 외부 상황 수집 모듈과 차량 외부 상황 수집 모듈의 출력과 차량 내부 센서 데이터를 이용하여 차량이 현재 처한 위기 상황을 0~1 사이의 값으로 출력하는 차량 위기 상황 판단 모듈로 구성된다.
본 논문에서 차량 외부의 상황과 차량 내부의 센서 데이터를 이용하여 차량이 현재 처한 위기 상황을 0~1 사이의 값으로 출력하는 차량 위기 감지 시스템을 제안했다. 차량 위기 감지 시스템은 두 개의 모듈로 구성된다.
본 논문은 차량 위기 감지 시스템의 유효성을 판단하기 위하여 가상환경의 주행데이터를 사용하여 차량 외부 상황 수집 모듈에 대한 실험을 진행한다. 차량 위기 감지 시스템의 차량 외부 상황 수집 모듈에서 사용된 보행자 탐지의 실시간성과 정확성을 입증하기 위하여 차량 외부 상황 수집 모듈(VESCM)과 같은 조건으로 CNN, R-CNN을 구축하여 정확성과 연산 속도를 비교하였다.
두 번째 모듈인 차량 위기 상황 판단 모듈은 차량 외부상황 수집 모듈의 결과와 차량 내부의 센서 데이터를 이용하여 차량이 현재 처한 상황의 위험도를 0~1 사이로 출력한다. 본 논문은 차량 위기 감지 시스템의 유효성을 판단하기 위하여 차량 외부 상황 수집 모듈에 대한 실험을 진행했다. 차량 위기 감지 시스템에 사용된 VESCM의 실시간성과 정확성을 입증하기 위하여 VESCM과 같은 조건으로 CNN, R-CNN을 구축하여 정확성과 연산 속도를 비교하였다.

제안 방법

그림 2는 전방 이미지를 통해주변 차량을 인식하는 VR-CNN (Vehicle Recognition CNN) 모델의 구성을 나타낸다. VR-CNNe 1개의 Convolution과 1개의 Max Polling으로 구성된 3개의 레이어와 2개의 Fully Connected를 이용하여 결과를 출력한다. 차량 외부상황 수집 모듈은 VR-CNN을 사용함과 동시에 CNN 기반 알고리즘인 YOLO(You Only Look Once)를 사용하여 주행 중 보행자를 탐지한다.
먼저 보행자검출 시스템의 처리시간 단축을 위하여 영상 스케일링 비율과 보행자 검출을 위한 ROI(Region-of-Interest)를 자동으로 설정함으로써 실시간 보행자 검출의 문제점인 처리시간을 단축했다. 또한 위험 보행자 여부를 판단하기 위해 자동차의진행 방향에 따라서 Reference Line을 설정하고, ROI 내에서 검출된 보행자가 Reference Line에 포함될 때 후보 위험 보행자로 판단했다. 이후 단계에서, 후보 보행자 윈도에서 Reference Line과 후보 보행자윈도의 겹쳐진 비율, 보행자 윈도 내의 보행자 움직임 방향과 크기 값을 이용하여 3개의 위험 요소 벡터를 추출했다.
위험도 분석 단계는 세 단계로 구분하였고, 예비위험분석 단계에서는 충돌의 발생 가능성을 확인하며, 기본위험분석 단계에서는 발생 가능성, 취약성, 중요도에 대한 위험도 점수평가를 통한 위험도 등급을 산정하였다. 마지막 상세위험분석 단계에서는 위험도가 높은 등급에 대하여 상세분석을 시행했다. 본 연구에서는 예비위험분석과 기본위험 단계에 집중하여 위험도 등급 구분을 위한 네 가지의 급간 분류법을 적용하였다[6].
검출하는 알고리즘을 제안했다. 먼저 보행자검출 시스템의 처리시간 단축을 위하여 영상 스케일링 비율과 보행자 검출을 위한 ROI(Region-of-Interest)를 자동으로 설정함으로써 실시간 보행자 검출의 문제점인 처리시간을 단축했다. 또한 위험 보행자 여부를 판단하기 위해 자동차의진행 방향에 따라서 Reference Line을 설정하고, ROI 내에서 검출된 보행자가 Reference Line에 포함될 때 후보 위험 보행자로 판단했다.
따라서 본 논문에서는 CNN을 통하여 차량 외부의 정보를 수집하여 저장하고, 저장된 정보와 차량 센서 데이터를 이용하여 차량이 처한 위기 상황을 0~1 사이의 수치로 출력하는 차량 내·외부데이터 및 딥 러닝 기반 차량 위기 감지 시스템을 제안한다. 본 논문에서 제안하는 차량 위기 감지 시스템은 CNN을 기반으로 차량 외부의 주행 중인 차량과 보행자의 데이터를 수집하는 차량 외부 상황 수집 모듈과 차량 외부 상황 수집 모듈의 출력과 차량 내부 센서 데이터를 이용하여 차량이 현재 처한 위기 상황을 0~1 사이의 값으로 출력하는 차량 위기 상황 판단 모듈로 구성된다. 본 논문의 2절은 해당 연구가 직, 간접적으로 영향을 받은 자율차량 안전에 대한 연구를 소개하고, 3절은 본 논문에서 제안하는 차량 위기 감지 시스템에 대해 상세히 기술한다.
본 논문에서 제안하는 차량 위기 감지 시스템은 차량 외부의 상황과 차량 내부의 센서 데이터를 이용하여 차량이 현재 처한 위기 상황을 0~1 사이의 값으로 출력한다. 차량 위기 감지 시스템은 두 개의 모듈로 구성된다.
이후 단계에서, 후보 보행자 윈도에서 Reference Line과 후보 보행자윈도의 겹쳐진 비율, 보행자 윈도 내의 보행자 움직임 방향과 크기 값을 이용하여 3개의 위험 요소 벡터를 추출했다. 앞서 추출된 위험 요소 벡터들을 정규 함수에 적용하여 각 요소의 위험도를 추정하고, 이 위험도들을 결합하여 최종적인 위험 보행자 윈도와 위험 도스 코어를 결정했다[7].
위험도 분석을 시행하였다. 위험도 분석 단계는 세 단계로 구분하였고, 예비위험분석 단계에서는 충돌의 발생 가능성을 확인하며, 기본위험분석 단계에서는 발생 가능성, 취약성, 중요도에 대한 위험도 점수평가를 통한 위험도 등급을 산정하였다. 마지막 상세위험분석 단계에서는 위험도가 높은 등급에 대하여 상세분석을 시행했다.
또한 위험 보행자 여부를 판단하기 위해 자동차의진행 방향에 따라서 Reference Line을 설정하고, ROI 내에서 검출된 보행자가 Reference Line에 포함될 때 후보 위험 보행자로 판단했다. 이후 단계에서, 후보 보행자 윈도에서 Reference Line과 후보 보행자윈도의 겹쳐진 비율, 보행자 윈도 내의 보행자 움직임 방향과 크기 값을 이용하여 3개의 위험 요소 벡터를 추출했다. 앞서 추출된 위험 요소 벡터들을 정규 함수에 적용하여 각 요소의 위험도를 추정하고, 이 위험도들을 결합하여 최종적인 위험 보행자 윈도와 위험 도스 코어를 결정했다[7].
차량 외부상황 수집 모듈은 VR-CNN을 사용함과 동시에 CNN 기반 알고리즘인 YOLO(You Only Look Once)를 사용하여 주행 중 보행자를 탐지한다. 차량 외부 상황 수집 모듈은 두 개의 CNN 모델을 신속하게 연산하기 위하여 YOLO에 입력되는 이미지의 노이즈를 제거하고, YOLO에 사용되는 Binding Box의 크기를 제한하여 연산 속도를 높인다. YOLO는 12*12 Grid와 크기가 각각 14*14*1024, 12*12*1024인 5개의 Convolution Layer, 크기가 각각 4096, 1470인 2개의 Fully Connected를 사용한다.
본 논문은 차량 위기 감지 시스템의 유효성을 판단하기 위하여 차량 외부 상황 수집 모듈에 대한 실험을 진행했다. 차량 위기 감지 시스템에 사용된 VESCM의 실시간성과 정확성을 입증하기 위하여 VESCM과 같은 조건으로 CNN, R-CNN을 구축하여 정확성과 연산 속도를 비교하였다. R-CNNe 보행자 수가 적을 때 VESCM과 비슷한 연산 시간을 보이지만, 보행자 수가 많아질수록 VESCM보다 많은 연산 시간을 소요했다.
상황 수집 모듈에 대한 실험을 진행한다. 차량 위기 감지 시스템의 차량 외부 상황 수집 모듈에서 사용된 보행자 탐지의 실시간성과 정확성을 입증하기 위하여 차량 외부 상황 수집 모듈(VESCM)과 같은 조건으로 CNN, R-CNN을 구축하여 정확성과 연산 속도를 비교하였다.
대한 설계를 제안했다. 해당 방안은 RSE(Road Side Equipment)와 차량의 OBE(On Board Equipment)를 이용하여 차량 사이의 네트워크를 구성하고 각 차량의 이동 특성을 고려하여 차량의 라우팅을 설계했다[3].
해당 시스템은 레이더와 V2V 통신을 동시에 사용하여 차량의 안정성을 높이면서, 긴급상황을 과대평가하지 않도록 했다[4].
의해 위험 상황을 판별했다. 해당 연구는 실시간 주행데이터를 바탕으로 감속 구간에 대한 기계학습을 통해서 위험 상황을 자동으로 검지하는 모델을 제안했으며 지도학습 기반의 신경망과 랜덤포레스트 및비 지도학습 기반의 클러스터링을 병행하여 검지 결과의 신뢰성을 확보하고, 다음 학습에 반영함으로써 운전자의 주행 형태에 맞는 자동 위험 검지 모델을 제안했다[5].

대상 데이터

차량 외부 상황 수집 모듈은 두 가지 CNN (convolutional neural network) 모델을 사용하여 차량 외부의 데이터를 수집한다.
차량 위기 감지 시스템은 두 개의 모듈로 구성된다. 첫 번째 모듈인 차량 외부 상황 수집 모듈은 차량의 전방 카메라와 CNN을 이용하여 현재 주행 중인 차량의 주변 차량 정보와 보행자 정보를 수집한다. 두 번째 모듈인 차량 위기 상황 판단 모듈은 차량 외부상황 수집 모듈의 결과와 차량 내부의 센서 데이터를 이용하여 차량이 현재 처한 상황의 위험도를 0~1 사이로 출력한다.

이론/모형

마지막 상세위험분석 단계에서는 위험도가 높은 등급에 대하여 상세분석을 시행했다. 본 연구에서는 예비위험분석과 기본위험 단계에 집중하여 위험도 등급 구분을 위한 네 가지의 급간 분류법을 적용하였다[6].
차량 외부 상황 수집 모듈이 보행자 정보와 주변 차량 정보를 수집하면, 차량 위기 상황 판단 모듈은 DNN(Deep Neural Network) 모델을 사용하여 차량의 위기 상황을 판단한다. 표 1은 차량 위기 상황 판단 모듈의 입력을 나타낸다.
VR-CNNe 1개의 Convolution과 1개의 Max Polling으로 구성된 3개의 레이어와 2개의 Fully Connected를 이용하여 결과를 출력한다. 차량 외부상황 수집 모듈은 VR-CNN을 사용함과 동시에 CNN 기반 알고리즘인 YOLO(You Only Look Once)를 사용하여 주행 중 보행자를 탐지한다. 차량 외부 상황 수집 모듈은 두 개의 CNN 모델을 신속하게 연산하기 위하여 YOLO에 입력되는 이미지의 노이즈를 제거하고, YOLO에 사용되는 Binding Box의 크기를 제한하여 연산 속도를 높인다.
차량 위기 상황 판단 모듈의 DNNe 단 하나의 출력 노드를 가지며, 출력 노드의 값은 0~1사이다. 차량 위기 상황 판단 모듈은 딥 러닝 연산을 위하여 활성화 함수로 Sigmoid 함수를 사용한다.

성능/효과

R-CNNe 보행자 수가 적을 때 VESCM과 비슷한 연산 시간을 보이지만, 보행자 수가 많아질수록 VESCM보다 많은 연산 시간을 소요했다. 평균적으로 VESCMe R-CNN보다 25.68%, CNN보다 45.54% 더 빠른 연산 시간을 가졌고, 세 모델의 정확도는 모두 80% 이하로 감소하지 않으며 높은 정확도를 보였다. 그러나 해당 연구는 모두 가상 데이터를 통해 실험을 진행했으며, 긴급상황 탐지 이후 차량의 주행을 결정하지 못했다.
특히, R-CNNe 보행자 수가 적을 때 VESCM 과 비슷한 연산 시간을 보이지만, 보행자 수가 많아질수록 VESCM보다 많은 연산 시간을 소요했다. 평균적으로 VESCMe R-CNN보다 25.68%, CNN보다 45.54% 더 빠른 연산 시간을 가졌다. 따라서 VESCMe 차량 외부 상황 수집 모듈의 실시간성을 보장한다.

참고문헌 (7)

Self-driving car accident, there were many collisions with general cars that followed, Young-joo Kim, Available online: https://news.joins.com/article/23718449
Ji Hoon Lee, Dae Youb Kim, "A Study on Low-Overhead Collision Warning Scheme using Vehicle-to-Vehicle Communications", Journal of Korea Multimedia Society, Korea Multimedia Society, Vol. 15, No.10, pp. 1221-1227, 2012

원문보기 상세보기
Sang Jun Park, Kwan Joong Kim, "A study of design mechanism for the alerting car accident", Journal of Korea Academy Industrial Cooperation Society, Korea Academy Industrial Cooperation Society, Vol.12, No.11, pp.5272-5277, 2011

원문보기 상세보기
Donghoon Shin, Kyongsu Yi, Yeonhwan Jeong, "Human Factor Considered Risk assessment of Automated Vehicle through Vehicular Communication", Proceedings of the 2017 Fall Conference of the Korean Society of Mechanical Engineers, The Korean Society of Mechanical Engineers, pp. 1563-1568, 2017
Kim Byeong Su, Noh Jun Ho, Park So Young, "Design of Automatic Risky Situation Detection Model based on Real-Time Driving Information", Proceedings of Symposium of the Korean Institute of communications and Information Sciences, Korea Institute Of Communication Sciences, pp. 783-784, 2017
Geun Hyung Min, Woo Seok Kim, Jun Sang Cho, Heung Bae Gil, "Vehicular Collision Risk Assessment on the Highway Bridges in South Korea", Journal of the Korea Institute for Structural Maintenance and Inspection, The Korea Institute for Structural Maintenance and Inspection, Vol.20, No.5, pp.009-017, 2016
MiRa Jeong, Byoung Chul Ko, Jae Yeal Nam, "Detection of sudden pedestrian crossings using the thermal camera installed in the vehicle", Proceedings of the 2014 Spring Conference of the Korean Institute of Information Scientists and Engineers, The Korean Institute of Information Scientists and Engineers, pp.668-670, 2014

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증