선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 표1은 성능 측정을 위한 Confusion matrix로 실제 위험 상황을 위험 상황을 감지했을 경우를 TP(True Positive)한 상황으로 보고 성능 측정을 진행하였다. 본 논문에서는 정확도(Accuracy)와 정밀도(Precision), 민감도(Sensitivity) 3가지를 분석할 것이다.
- 본 논문에서는 주행을 하는 차량에 대해 학습을 진행하고 이를 토대로 블랙박스 영상을 통하여 측면 충돌이 발생할 수 있는 다른 차량이 자신의 차선으로 끼어드는 상황에 대해 위험을 감지하는 시스템을 만드는 것을 목적으로 한다.
- 본 논문은 실제 위험상황을 얼마나 잘 감지했는지를 더 중요하게 생각하여 민감도가 얼마나 높게 나오는지를 중점적으로 보고 성능 측정을 진행하였다. 표2는 훈련 횟수에 따른 시나리오 데이터의 분석 결과이다.
- 본 논문은 훈련 횟수에 따른 위험 상황 감지에 대한 성능을 분석할 것이다. 표1은 성능 측정을 위한 Confusion matrix로 실제 위험 상황을 위험 상황을 감지했을 경우를 TP(True Positive)한 상황으로 보고 성능 측정을 진행하였다.
제안 방법
- Faster R-CNN[5]을 통해 훈련된 계층을 사용하여 얻은 물체 인식 정보(물체 이름, 물체 위치, 정확도)와 OpenCV라이브러리를 통해 나온 차선을 바탕으로 끼어들기 상황에 대한 위험 시나리오를 구성하였다. 인식된 물체의 클래스에 대해 물체의 경계 박스(bounding box)와 차선의 중첩된 영역 비율에 대한 조건을 다르게 하여 위험 탐지를 정의하였다.
- 이 작업을 통해 백색 부분을 제외한 나머지 부분을 모두 까맣게 변환시킨다. 그 뒤 백색 부분의 채워진 부분을 제거하여 테두리 부분만 남긴 뒤, RoI(Region of Interest) 범위에 해당하는 영역만 남긴 뒤 모두 제거하는 Canny Edge Detection[9] 작업을 진행한다. 그 뒤 남은 부분에 Hough Space[10] 작업을 통해 직선을 그어 차선을 탐지한 결과를 보여준다.
- 테스트 과정에서 위 모델이 복합 이미지를 인식한 결과와 사람이 물체를 확인한 결과는 비슷한 수준으로 나타나는 것을 확인할 수 있었다. 그 후에 블랙박스 영상을 프레임 단위로 쪼개어 적용하였고, 프레임에서 인식한 차량 혹은 사람에 박스를 추가하여 물체를 인식했다는 결과를 표시해주었다. 마찬가지로, OpenCV 라이브러리를 이용하여 프레임에 찍힌 차량의 차선을 탐지하여 표시해주었다.
- 2015년에 제안된 모델로 이미지 인식분야에서 사용되고 있는 딥 네트워크 모델이다. 레이어의 깊이를 늘렸을 때 생기는 부작용을 해결한 모델로 기존의 평범한 CNN[11]에서 레이어의 입력을 레이어의 출력에 바로 연결시키는 Skip Connection을 사용하여 학습을 진행한다. 그림1은 ResNet의 구조를 나타낸 것이며, ResNet은 F(x)가 0이 되는 방향으로 학습을 진행한다.
- 그 후에 블랙박스 영상을 프레임 단위로 쪼개어 적용하였고, 프레임에서 인식한 차량 혹은 사람에 박스를 추가하여 물체를 인식했다는 결과를 표시해주었다. 마찬가지로, OpenCV 라이브러리를 이용하여 프레임에 찍힌 차량의 차선을 탐지하여 표시해주었다. 이렇게 표시된 데이터를 바탕으로 측면 충돌이 발생할 수 있는 끼어들기 상황에 대해 위험하다고 인지를 하게 되면 시각화를 통해 위험 상황임을 알려주게 하였다.
- 복합이미지의 경우는 해당 사이트에서 각 이미지별 라벨을 제공은 하지만, 라벨 데이터의 내용 중 쓰지 않는 값들이 존재하여 그 부분을 제거한 새로운 라벨 데이터를 만들어 훈련을 진행하였다.
- 지원되는 모델은VGG[8], ResNet[4] 등이 있으며 미리 훈련된 모델을 기반으로 파인 튜닝(fine-tuning)하는 과정이 단순화되어 있다. 본 시스템에서는 Tensorflow Slim에서 지원하는 ResNet_V1_101 모델을 사용하여 사전 학습을 진행하였으며, 총 100,000번의 반복학습을 진행하였다.
- 그림3은 전체적인 시스템의 구성도를 나타낸 것이다. 본 위험 감지 시스템을 위해 차량, 사람 등이 존재하는 복합 이미지에 라벨링 작업을 진행하여 데이터 셋을 만드는 전처리 과정을 거쳤다. 전 처리된 데이터 셋을 훈련시키기 위해 Faster R-CNN(Faster Region-based Convolutional Nueral Network)[5] 모델을 사용하여 학습을 진행하였으며, 이미지 분류 모델로 Resnet101[4]을 사용해 훈련 횟수를 감소시켰다.
- 영상의 경우는 각 영상에 프레임을 추출하여 위험 상황인지 아닌지를 사람의 눈으로 직접 판단하여 위험상황을 1로, 아닌 상황을 0으로 설정하여 진행하였다.
- 훈련이 시작되면 Faster RCNN[5]에 정의된 레이어들을 사전에 ResNet[4]으로 학습시킨 데이터를 가지고 초기화를 한다. 이후 데이터 셋 중 훈련 데이터 셋 부분을 랜덤하게 입력값으로 넣으며 각각의 이미지에 대하여 훈련을 진행하여 훈련이 완료되었을 시 시험 데이터를 이용해 모델을 평가하고 정확도를 측정한다. 사전 데이터를 사용하는 것은 처음 진행할 때만 사용하며 이후 추가로 훈련하고자 할 경우 훈련된 데이터를 바탕으로 진행된다.
- Faster R-CNN[5]을 통해 훈련된 계층을 사용하여 얻은 물체 인식 정보(물체 이름, 물체 위치, 정확도)와 OpenCV라이브러리를 통해 나온 차선을 바탕으로 끼어들기 상황에 대한 위험 시나리오를 구성하였다. 인식된 물체의 클래스에 대해 물체의 경계 박스(bounding box)와 차선의 중첩된 영역 비율에 대한 조건을 다르게 하여 위험 탐지를 정의하였다. 그림4는 위험탐지에 대한 Decision Tree로서,경계 박스의 크기가 커질수록 위험을 탐지하는 비율도 더 크게 적용해야 한다고 판단하여 최적의 비율 조건을 찾아 적용시켰다.
- 차량과 사람을 학습데이터로 정의하고, 그중 차량의 종류가 여러 가지 있기 때문에 차량 6가지와사람 2가지로 분류하여 총 8가지의 이미지를 학습데이터로 정의하였다. 단일 이미지는 차량 데이터셋[6]를 사용하였다.
- 차선을 탐지하기 위해 OpenCV 라이브러리를 사용하여 구현하였다. OpenCV는 주로 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리이다.
- 본 논문은 훈련 횟수에 따른 위험 상황 감지에 대한 성능을 분석할 것이다. 표1은 성능 측정을 위한 Confusion matrix로 실제 위험 상황을 위험 상황을 감지했을 경우를 TP(True Positive)한 상황으로 보고 성능 측정을 진행하였다. 본 논문에서는 정확도(Accuracy)와 정밀도(Precision), 민감도(Sensitivity) 3가지를 분석할 것이다.
- Faster-RCNN[5] 모델에 차량과 사람의 이미지를 학습시킨 Resnet[4] 모델을 적용한 후 차량과 사람이 라벨링 된 복합 이미지를 학습시켰다. 학습 후 다른 이미지 셋을 넣었을 때 빠르게 결괏값을 도출할 뿐만 아니라 정확하게 차량과 사람의 위치를 파악하였다. 테스트 과정에서 위 모델이 복합 이미지를 인식한 결과와 사람이 물체를 확인한 결과는 비슷한 수준으로 나타나는 것을 확인할 수 있었다.
- 사전 데이터를 사용하는 것은 처음 진행할 때만 사용하며 이후 추가로 훈련하고자 할 경우 훈련된 데이터를 바탕으로 진행된다. 훈련 횟수를 3가지로 나누어 400,000번, 800,000번, 1,600,000번 훈련을 진행하였으며, Ckpt 파일 형식으로 3가지 훈련 횟수에 대해 따로 저장하였다.
대상 데이터
- 2015년에 제안된 모델로 이미지 인식분야에서 사용되고 있는 딥 네트워크 모델이다. 레이어의 깊이를 늘렸을 때 생기는 부작용을 해결한 모델로 기존의 평범한 CNN[11]에서 레이어의 입력을 레이어의 출력에 바로 연결시키는 Skip Connection을 사용하여 학습을 진행한다.
- 끼어들기 상황에 대한 위험 시나리오에 적합한 영상을 웹상에서 총 30개를 찾아 위험 시나리오가 있는 부분만 잘라서 영상을 확보하였으며, 훈련 데이터 15개, 시험 데이터 15개로 데이터 셋을 구성하였다.
- 여러 차량과 사람이 존재하는 복합이미지는 KITTI[7] 데이터 셋을 사용하였다. 데이터 셋은 1242x375의 고정된 크기의 이미지로 훈련 데이터 5000개,시험 데이터 2500개로 데이터 셋을 구성하였다.
- 단일 이미지는 차량 데이터셋[6]를 사용하였다. 데이터 셋은 다양한 크기로 구성된 차량 이미지이며, 훈련데이터 8000개로 훈련을 진행하였고, 시험 데이터 4000개로 테스트를 진행하여 훈련의 성과를 평가하였다.
- 여러 차량과 사람이 존재하는 복합이미지는 KITTI[7] 데이터 셋을 사용하였다. 데이터 셋은 1242x375의 고정된 크기의 이미지로 훈련 데이터 5000개,시험 데이터 2500개로 데이터 셋을 구성하였다.
이론/모형
- 본 논문에서는 Faster R-CNN[5] 신경망과 Resnet[4] 모델을 적용하여 물체의 위치를 탐지하였다. Faster-RCNN[5] 모델에 차량과 사람의 이미지를 학습시킨 Resnet[4] 모델을 적용한 후 차량과 사람이 라벨링 된 복합 이미지를 학습시켰다. 학습 후 다른 이미지 셋을 넣었을 때 빠르게 결괏값을 도출할 뿐만 아니라 정확하게 차량과 사람의 위치를 파악하였다.
- 본 논문에서는 Faster R-CNN[5] 신경망과 Resnet[4] 모델을 적용하여 물체의 위치를 탐지하였다. Faster-RCNN[5] 모델에 차량과 사람의 이미지를 학습시킨 Resnet[4] 모델을 적용한 후 차량과 사람이 라벨링 된 복합 이미지를 학습시켰다.
- 본 위험 감지 시스템을 위해 차량, 사람 등이 존재하는 복합 이미지에 라벨링 작업을 진행하여 데이터 셋을 만드는 전처리 과정을 거쳤다. 전 처리된 데이터 셋을 훈련시키기 위해 Faster R-CNN(Faster Region-based Convolutional Nueral Network)[5] 모델을 사용하여 학습을 진행하였으며, 이미지 분류 모델로 Resnet101[4]을 사용해 훈련 횟수를 감소시켰다. 훈련된 모델을 바탕으로 블랙박스 영상을 통하여 차량과 사람을 탐지하고, OpenCV 라이브러리를 사용하여 차선을 탐지한 후 측면 충돌이 일어날 수 있는 끼어들기 상황에 대해 위험 상황이라고 보여주는 시각화 모델로 이루어져 있다.
- OpenCV는 주로 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리이다. 차선을 탐지하기 위해 처음에 기존의 이미지를 흑백화면으로 변환하는 Gray Scale 작업을 진행한다. 이 작업을 통해 백색 부분을 제외한 나머지 부분을 모두 까맣게 변환시킨다.
성능/효과
- 대부분의 탐지 모델 활용이 실시간으로 이루어지므로 프레임 단위로 기록들을 저장하였다. 정확도는 약 80%의 성능을 보였고, 민감도는 약 84%, 정밀도는 약 55%의 성능을 보여 모델의 성능이 나쁘지 않음을 증명하였다.
- 학습 후 다른 이미지 셋을 넣었을 때 빠르게 결괏값을 도출할 뿐만 아니라 정확하게 차량과 사람의 위치를 파악하였다. 테스트 과정에서 위 모델이 복합 이미지를 인식한 결과와 사람이 물체를 확인한 결과는 비슷한 수준으로 나타나는 것을 확인할 수 있었다. 그 후에 블랙박스 영상을 프레임 단위로 쪼개어 적용하였고, 프레임에서 인식한 차량 혹은 사람에 박스를 추가하여 물체를 인식했다는 결과를 표시해주었다.
후속연구
- 또한, 차선이 없는 상황에 대해 위험을 어떻게 감지를 할지 논의를 할 예정이다. 마지막으로 테스트에서 추출한 시각화한 이미지를 바탕으로 측면 충돌 상황의 위험성을 단계별로 나누어 알려 줄 수 있도록 하는 등, 여러 기술을 개발할 예정이다.
- 향후에는 차량이 끼어드는 상황이 아닌 사람이나 동물이 끼어드는 상황에 대해 높은 정확성을 가지는 비율 조건을 찾을 수 있도록 실험할 예정이다. 또한, 차선이 없는 상황에 대해 위험을 어떻게 감지를 할지 논의를 할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.