최근 물체를 인식하기 위해 많은 데이터를 기반으로 학습하여 인식하는 연구가 활성화 되고 있다. 본 논문에서는 도로주행 영상에서 장애물이라고 생각되는 객체를 추출하여 자동차, 사람, 오토바이로 구분하여 인식하는 시스템을 제안한다. 이동한 방향과 크기를 고려한 상태에서 광류 추정 알고리즘을 이용하여 객체를 추출하였으며, 추출한 객체를 CNN(Convolutional Neural Network) 인식 모델 중 하나인 AlexNet을 이용하여 인식하였다. 실험을 위해 도로 위의 다양한 영상을 블랙박스로 수집하여 실험하였고, 실험 결과 객체 추출 정확도는 92%, 객체 인식 정확도는 96%의 결과를 보였다.
최근 물체를 인식하기 위해 많은 데이터를 기반으로 학습하여 인식하는 연구가 활성화 되고 있다. 본 논문에서는 도로주행 영상에서 장애물이라고 생각되는 객체를 추출하여 자동차, 사람, 오토바이로 구분하여 인식하는 시스템을 제안한다. 이동한 방향과 크기를 고려한 상태에서 광류 추정 알고리즘을 이용하여 객체를 추출하였으며, 추출한 객체를 CNN(Convolutional Neural Network) 인식 모델 중 하나인 AlexNet을 이용하여 인식하였다. 실험을 위해 도로 위의 다양한 영상을 블랙박스로 수집하여 실험하였고, 실험 결과 객체 추출 정확도는 92%, 객체 인식 정확도는 96%의 결과를 보였다.
In recent years, research has been actively carried out to recognize and recognize objects based on a large amount of data. In this paper, we propose a system that extracts objects that are thought to be obstacles in road driving images and recognizes them by car, man, and motorcycle. The objects we...
In recent years, research has been actively carried out to recognize and recognize objects based on a large amount of data. In this paper, we propose a system that extracts objects that are thought to be obstacles in road driving images and recognizes them by car, man, and motorcycle. The objects were extracted using Optical Flow in consideration of the direction and size of the moving objects. The extracted objects were recognized using Alexnet, one of CNN (Convolutional Neural Network) recognition models. For the experiment, various images on the road were collected and experimented with black box. The result of the experiment showed that the object extraction accuracy was 92% and the object recognition accuracy was 96%.
In recent years, research has been actively carried out to recognize and recognize objects based on a large amount of data. In this paper, we propose a system that extracts objects that are thought to be obstacles in road driving images and recognizes them by car, man, and motorcycle. The objects were extracted using Optical Flow in consideration of the direction and size of the moving objects. The extracted objects were recognized using Alexnet, one of CNN (Convolutional Neural Network) recognition models. For the experiment, various images on the road were collected and experimented with black box. The result of the experiment showed that the object extraction accuracy was 92% and the object recognition accuracy was 96%.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 자율주행 시 영상을 입력받아 객체를 추출하여 해당 객체가 ‘차’, ‘사람’, ‘오토바이’인지 인식하는 시스템을 제안하였다.
이러한 논문을 바탕으로 본 논문에서는 영상을 실시간으로 입력받으면서 프레임의 격차 간 특징 점의 위치를 비교하여 특징점이 이동한 방향과 크기를 고려하여 객체를 추출하고, 추출된 객체를 CNN(Convolution neural network)학습모델인 AlexNet을 이용하여 자동차, 사람, 오토바이, 그 외의 경우로 분류하는 시스템을 제안하고자 한다. 제안하는 시스템은 영상에서 10프레임 간격으로 입력을 받으며, OpenCV, Tensorflow 라이브러리를 사용하여 구현하였다.
R-CNN을 이용하여 객체를 추출하는 경우 실시간으로 영상을 입력받으면서 연산하는 속도가 한 프레임 당 1초를 초과한다. 이러한 이유로 더 빠른 속도로 객체를 추출하기 위해 본 논문에서는 광류 추정 알고리즘을 이용하여 객체를 추출하였다. 움직임 방향이 같은 특징 점을 군집화 하여 4 방향인 상, 하, 좌, 우로 나눴으며, 벡터의 크기를 픽셀 값 기준으로 100, 200, 300의 크기 변화에 따라 객체를 다르게 추출하도록 설정하였다.
제안 방법
6과 같다. 그 외의 경우로는 나무, 건물에 대한 이미지를 학습하였다.
이렇게 벡터의 크기가 대체로 비슷하면 하나의 객체로 추출할 수 있다. 또한, Fig. 11과 같이 바깥쪽으로 많이 치우치지 않은 경우에도 벡터의 크기가 대체로 비슷하기 때문에 객체를 추출할 수 있으며, 본 연구에서는 벡터의 크기는 100픽셀 간격으로 크기가 같은 것으로 추출하기 때문에 하나의 객체로 추출한다. 하지만 Fig.
이 장면에서는 특징점이 오른쪽으로 이동한 방향이 같고, 크기가 같기 때문에 하나의 객체로 추출한다. 또한, 벡터 크기의 경우는 픽셀 값을 기준으로 100, 200, 300의 크기 변화에 따라 객체를 다르게 추출하도록 설정하였다. 이렇게 추출된 이미지는 AlexNet을 이용하여 인식하는 과정을 거친다.
이러한 이유로 더 빠른 속도로 객체를 추출하기 위해 본 논문에서는 광류 추정 알고리즘을 이용하여 객체를 추출하였다. 움직임 방향이 같은 특징 점을 군집화 하여 4 방향인 상, 하, 좌, 우로 나눴으며, 벡터의 크기를 픽셀 값 기준으로 100, 200, 300의 크기 변화에 따라 객체를 다르게 추출하도록 설정하였다.
자율주행 차량 앞에 있는 장애물(객체)을 인식하려면 먼저 인식하고자 하는 객체를 추출해야 한다. 제안하는 시스템에서는 영상을 입력받으면서 프레임 간 특징점이 이동한 방향과 크기를 고려한 상태에서 광류 추정 알고리즘을 이용하여 객체를 추출하였다.
이러한 논문을 바탕으로 본 논문에서는 영상을 실시간으로 입력받으면서 프레임의 격차 간 특징 점의 위치를 비교하여 특징점이 이동한 방향과 크기를 고려하여 객체를 추출하고, 추출된 객체를 CNN(Convolution neural network)학습모델인 AlexNet을 이용하여 자동차, 사람, 오토바이, 그 외의 경우로 분류하는 시스템을 제안하고자 한다. 제안하는 시스템은 영상에서 10프레임 간격으로 입력을 받으며, OpenCV, Tensorflow 라이브러리를 사용하여 구현하였다.
특징점이 움직인 방향은 상, 하, 좌, 우로 4 방향으로 설정하여 같은 방향일 때 객체를 추출하도록 하였다. Fig.
대상 데이터
‘차’ 영상으로는 843장, ‘사람’ 영상으로는 660장, ‘오토바이’ 영상으로는 369장, 그 외 영상 691장을 인터넷을 통한 수집 또는 직접 촬영하여 사용하였다.
실험의 환경설정으로는 그래픽카드 Titan X Pascal 2대와 RAM 16G와 64비트 운영체제의 사양인 PC를 사용하였다. 실험 영상은 12시부터 16시 사이의 맑은 날씨일 때의 주행 중인 자동차에 장착된 블랙박스 카메라를 통해 촬영하였으며, 총 68장의 비디오로 구성하였다. 실험영상은 추출되어야 할 객체인 자동차, 사람, 오토바이의 경우 장애물의 수가 총 5개 이하로 존재하는 장면인 경우로 제한하였다.
실험 영상은 12시부터 16시 사이의 맑은 날씨일 때의 주행 중인 자동차에 장착된 블랙박스 카메라를 통해 촬영하였으며, 총 68장의 비디오로 구성하였다. 실험영상은 추출되어야 할 객체인 자동차, 사람, 오토바이의 경우 장애물의 수가 총 5개 이하로 존재하는 장면인 경우로 제한하였다. Fig.
제안하는 시스템의 성능을 평가하기 위하여 다양한 영상을 대상으로 실험하였다. 실험의 환경설정으로는 그래픽카드 Titan X Pascal 2대와 RAM 16G와 64비트 운영체제의 사양인 PC를 사용하였다. 실험 영상은 12시부터 16시 사이의 맑은 날씨일 때의 주행 중인 자동차에 장착된 블랙박스 카메라를 통해 촬영하였으며, 총 68장의 비디오로 구성하였다.
제안하는 시스템의 성능을 평가하기 위하여 다양한 영상을 대상으로 실험하였다. 실험의 환경설정으로는 그래픽카드 Titan X Pascal 2대와 RAM 16G와 64비트 운영체제의 사양인 PC를 사용하였다.
추출된 객체를 인식하기 위해 128 x 128 크기의 학습 영상 2,563장을 만들어 사용하였다. ‘차’ 영상으로는 843장, ‘사람’ 영상으로는 660장, ‘오토바이’ 영상으로는 369장, 그 외 영상 691장을 인터넷을 통한 수집 또는 직접 촬영하여 사용하였다.
학습영상은 224 x 224 x 3의 크기로 정규화된 영상이고, 컨볼루션을 수행하기 위해 이미지 바깥 영역에 특정 값을 채우는 연산은 0-패딩으로 설정하였다. 첫 번째 컨볼루션 층(컨볼루션-맥스풀링)에서 11 x 11 x 3의 크기의 컨볼루션 커널(Kernel) 96개를 사용하여 55 x 55 x 96의 특징맵(Feature map)을 얻고, 2번째 컨볼루션 층에서는 5 x 5 x 96 크기의 컨볼루션 커널 256개를 사용하여 27 x 27 x 256크기의 특징맵을 얻는다.
이론/모형
각 층에서 풀링을 할 때는 맥스 풀링(Max-pooling) 방법으로 3 x 3 크기의 풀링 윈도우에 stride를 ‘2’로 설정하였다.
본 시스템에서는 광류 추정 알고리즘으로 Shi-Tomasi 알고리즘을 사용한다[12]. Shi-Tomasi 알고리즘은 특징점 윈도우에서 발생하는 이동을 포함한 회전 및 크기 변환과 탐색 영역 설정에 따른 문제점들을 보완하기 위해서, 아핀 변환을 고려한 유사도 비교에 기반하여 반복적 최소화 기법을 이용한 대응 위치 탐색방안이다.
윗 절에서 추출된 객체는 4가지로 분류되도록 조정된 AlexNet에 입력되어 분류과정을 고친다. 추출된 객체를 인식하기 위해 ILSVRC(Image Net Large Scale Visual Recognition Challenge)에서 2012년도에 우승한 CNN 모델인 AlexNet을 조정하여 사용하였다[7]. AlexNet은 5개의 Convolution layer, 3개의 Max-pooling layer, 3개의 Fully-connected layer로 구성되어 있으며 1000개의 라벨로 분류한다.
성능/효과
객체 추출 실험 결과, 68장의 실험영상 중 객체를 추출한 이미지는 250장이며 추출하지 못한 이미지는 20장으로 객체 추출에 대한 정확도는 92%의 결과를 얻었다. Fig.
실제로 추출된 객체에 대해 인식한 결과 인식률은 96.4%로 높은 인식률의 결과를 얻음을 확인 할 수 있었다.
제안하는 시스템에서 객체 추출에 대한 정확도는 92%이며, 객체 인식에 대한 정확도는 96.4%의 결과를 얻을 수 있었다. 객체 추출에 대한 정확도를 개선하기 위해서는 특징 점의 방향을 상, 하, 좌, 우로 4 방향이 아닌 상, 하, 좌, 우에서 대각선 4 방향을 추가한 8 방향으로 나눠서 추출하고, 날씨에 따라 객체를 분류하는 기준이 다르기 때문에 날씨에 따른 객체 인식에 대한 정확도를 높이기 위해서는 각 날씨에 따른 학습을 따로 진행하여 날씨에 맞게 가중치가 조정된 분류기를 사용해야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
R-CNN 모델의 단점은 무엇인가?
현재는 R-CNN (Region convolution neural network), faster R-CNN등등 다양한 객체 추출 및 분류하는 CNN모델이 있다. 하지만 R-CNN같은 경우 객체를 추출하고 분류하기 까지 1~2초 정도의 시간이 소요가 된다. 이러한 시간은 자율주행 자동차의 카메라 인식에 있어서 너무나 긴 시간이다.
제한적 자율주행 차량의 기대는 어떠하다고 보여지는가?
레벨 3에 해당하는 제한적 자율주행 차량은 자동차 전용도로와 같이 인식 대상이 제한되어 있는 환경에서 자율주행을 통해 운전자에게 편의를 제공해준다. 미래의 자동차산업을 주도할 자율주행 차량은 교통체증의 해소, 교통사고 절감, 산업융합의 촉진과 같은 효과가 클 것으로 기대하여 글로벌 자동차 시장에서 주목을 받고 있다. 국토교통부에서도 이를 위해 2020년까지 레벨 3에 해당하는 자율주행차가 고속도로를 달릴 수 있도록 자율주행 관련 기술개발과 스마트도로 인프라 확충에 나선다.
자율주행의 개발을 위한 어떤 노력이 이뤄지고 있는가?
이미 2016년 2월부터 국토교통부에서는 자율주행차가 실제 도로를 달릴 수 있도록 임시운행 허가 제도를 도입하였다. 이렇게 자율주행의 개발을 위해 각 국가에서는 법적인 제도를 도입하여, 적극적인 제도 개선을 하고 있다. 또한, 이러한 제도와 함께 자율주행을 위한 연구도 활성화되고 있다.
참고문헌 (12)
S. J. Choi. (2017). Utilization of Insurance System as a Legal Response to Autonomous Vehicles. Graduate School of Gachon National University, Gyeonggi.
K. I. Lim. (2009). Design of Distributed Control System and Development of Autonomous Driving Algorithm for Unmanned Ground Vehicle. Graduate School of Kookmin National University, Seoul.
S. Y. Han. (2015). The Research of Autonomous Vehicle of Preceding Vehicle Detection Technique using the LRF Sensor and Camera for Effective Obstacle Classification. Graduate School of Kookmin National University, Seoul.
M. C. Kim. (2008). A Vehicle Detection Using Optical Flow At Corner Point of Image. Graduate School of Kyungpook National University, Seoul.
S. Y. Kim. (2003). Automatic Extraction of Central Objects for Object-Based Image Retrieval. Graduate School of Pusan National University, Pusan.
J. H. Kim. (2007). Object based image retrieval using extraction of salient points and image segmentation. Graduate School of Hanyang National University, Seoul.
A. Krizhevsky, I. Sutskever & G. E. Hinton. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, 1106-1114.
B. J. Kim. (2017). License Plate Detection System Using Faster R-CNN method for Outdoor Images. Graduate School of Chonbuk National University, Chonbuk.
J. H. Kang. (2017). Design of Programmable CNN Accelerator for Vehicular Image Recognition. Graduate School of Soongsil National University, Seoul.
M. J. Go. (2017). Detecting vehicles that are illegally driving on road shoulders using faster R-CNN. Graduate School of Yonsei University, Seoul.
M. I. Sarker. (2017). Farm Land Weeds Detection with Region-based Deep Convolutional. Chonbuk National University, Chonbuk.
J. Shi & C. Tomasi. (1994). Good features to track, 593-600. USA : IEEE. DOI : 10.1109/CVPR.1994.323794
※ AI-Helper는 부적절한 답변을 할 수 있습니다.