보행자 교통사고의 경우 사고 발생 시 사망사고로 연결되는 위험성이 있다. 국내 지능형 교통시스템(ITS)은 질 좋은 교통 인프라를 구축하고 있음에도 불구하고, 거의 교통정보 수집에만 이용되고 있어, 위험상황 발생 시 지능적인 위험 요소 분류가 이루어지지 않고 있다. 본 연구에서 제안하는 시스템의 주요 구성 요소인 CNN 기반의 보행자 탐지 분류 모델의 경우 제한적인 환경에서 설치 운영되는 것을 가정하여 임베디드 시스템 기반으로 구현되었다. 기존 YOLO의 인공신경망 모델을 개선하여 My-Tiny-Model3라는 새로운 모델을 생성하였고, 20,000번의 반복 학습 기준으로 평균 정확도 86.29%와 21.1 fps의 실시간 탐지 속도 결과를 보였다. 그리고, 이러한 탐지 시스템을 기반으로 하여 ITS 체계와 연계 가능한 시스템 구현 및 프로토콜 연동 시나리오를 구성하였다. 본 연구를 통해 기존 ITS 체계와 연동하는 보행자 사고 방지 시스템을 구현한다면, 새로운 인프라 구축비용을 절감하고 보행자 교통사고 발생률을 줄이는 데 도움이 될 것이다. 또한, 기존의 시스템 감시인력 소요에 따른 비용 또한 줄일 수 있을 것으로 기대된다.
보행자 교통사고의 경우 사고 발생 시 사망사고로 연결되는 위험성이 있다. 국내 지능형 교통시스템(ITS)은 질 좋은 교통 인프라를 구축하고 있음에도 불구하고, 거의 교통정보 수집에만 이용되고 있어, 위험상황 발생 시 지능적인 위험 요소 분류가 이루어지지 않고 있다. 본 연구에서 제안하는 시스템의 주요 구성 요소인 CNN 기반의 보행자 탐지 분류 모델의 경우 제한적인 환경에서 설치 운영되는 것을 가정하여 임베디드 시스템 기반으로 구현되었다. 기존 YOLO의 인공신경망 모델을 개선하여 My-Tiny-Model3라는 새로운 모델을 생성하였고, 20,000번의 반복 학습 기준으로 평균 정확도 86.29%와 21.1 fps의 실시간 탐지 속도 결과를 보였다. 그리고, 이러한 탐지 시스템을 기반으로 하여 ITS 체계와 연계 가능한 시스템 구현 및 프로토콜 연동 시나리오를 구성하였다. 본 연구를 통해 기존 ITS 체계와 연동하는 보행자 사고 방지 시스템을 구현한다면, 새로운 인프라 구축비용을 절감하고 보행자 교통사고 발생률을 줄이는 데 도움이 될 것이다. 또한, 기존의 시스템 감시인력 소요에 따른 비용 또한 줄일 수 있을 것으로 기대된다.
In the case of a pedestrian traffic accident, it has a large-scale danger directly connected by a fatal accident at the time of the accident. The domestic ITS is not used for intelligent risk classification because it is used only for collecting traffic information despite of the construction of goo...
In the case of a pedestrian traffic accident, it has a large-scale danger directly connected by a fatal accident at the time of the accident. The domestic ITS is not used for intelligent risk classification because it is used only for collecting traffic information despite of the construction of good quality traffic infrastructure. The CNN based pedestrian detection classification model, which is a major component of the proposed system, is implemented on an embedded system assuming that it is installed and operated in a restricted environment. A new model was created by improving YOLO's artificial neural network, and the real-time detection speed result of average accuracy 86.29% and 21.1 fps was shown with 20,000 iterative learning. And we constructed a protocol interworking scenario and implementation of a system that can connect with the ITS. If a pedestrian accident prevention system connected with ITS will be implemented through this study, it will help to reduce the cost of constructing a new infrastructure and reduce the incidence of traffic accidents for pedestrians, and we can also reduce the cost for system monitoring.
In the case of a pedestrian traffic accident, it has a large-scale danger directly connected by a fatal accident at the time of the accident. The domestic ITS is not used for intelligent risk classification because it is used only for collecting traffic information despite of the construction of good quality traffic infrastructure. The CNN based pedestrian detection classification model, which is a major component of the proposed system, is implemented on an embedded system assuming that it is installed and operated in a restricted environment. A new model was created by improving YOLO's artificial neural network, and the real-time detection speed result of average accuracy 86.29% and 21.1 fps was shown with 20,000 iterative learning. And we constructed a protocol interworking scenario and implementation of a system that can connect with the ITS. If a pedestrian accident prevention system connected with ITS will be implemented through this study, it will help to reduce the cost of constructing a new infrastructure and reduce the incidence of traffic accidents for pedestrians, and we can also reduce the cost for system monitoring.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
기존의 보행자 탐지 관련 연구의 경우 정지 영상 분류를 기반으로 탐지율 자체에 대한 연구적인 성과 측면만 강조되고 실효성 있는 실시간 객체 탐지와 국내 교통 시스템 체계 연계에 대한 연구가 부족한 측면이 있다.(Kim et al., 2016; Lee and Shin, 2018; Kim et al., 2018) 본 연구에서는 지능형 교통시스템 체계에 호환 및 연계가 가능한 실시간 보행자 탐지 및 차량 내 경보 전송 시스템에 대한 연구를 목적으로 하였으며, 국내 ITS 체계 중 UTIS를 모델로 한 연계 시스템 구현 및 프로토콜 연동 시나리오를 구성하고자 하였다. 특히 시스템 적용에 있어 제한적인 환경에서의 시스템으로 가정하여.
모델 중 은닉층 구성이 단순하여 실시간 보행자 탐지 처리에 최적화된 모델로 예상되는 Yolov3-Tiny 버전의 기본 모델을 가지고 학습하여 산출한 가중치를 가지고 카메라 인식과 보행자 동영상 인식 시 끊김 없는 모습과 비교적 높은 탐지율을 보였다. 그래서, Yolov3-Tiny 신경망의 기본 구조를 리모델링하여 임베디드 기반에서 최적화된 인공 신경망 모델을 구성해 보고자 목표하였다. (Darknet, 2016).
본 연구는 보행자 교통사고 방지를 위해 연구적인 측면뿐만 아니라 실질적으로 효율성 있는 보행자 교통사고 방지 시스템을 구현하고자 국내 ITS 체계 중 UTIS와 연계 가능한 모델을 기본으로 하여, 실제 시스템에 적용 가능한 모델로 구현하기 위해 시작하였다. 기존의 보행자 교통사고 방지 연구에선 보행자 탐지에 대한 연구적인 측면만이 강조되는 경우가 대부분이었는데, 본 연구에선 이러한 연구적인 측면뿐만 아니라 실제 보행자 교통사고 예방에 도움이 될 수 있는 방법을 찾고자 하였다. 보행자 탐지에 있어 기존 센서를 통한 감지나 수동적인 영상 감시를 딥러닝 알고리즘을 통한 실시간 보행자 자동 탐지 방식으로 구성하고자 했다.
본 연구는 ITS 구축 체계의 무선통신 환경을 모델링하여 이더넷 기반의 무선 AP를 통한 단말 장치들의 다자간 신호전달 체계를 구축하였다. 딥러닝을 통한 지능형 보행자 탐지에 있어 실시간 영상 탐지에 따른 객체 분류를 목표로 하였기 때문에 적용 가능한 카메라 센서에 대해서 모두 실험해보는 것을 목표로 하였다.
기존의 보행자 교통사고 방지 연구에선 보행자 탐지에 대한 연구적인 측면만이 강조되는 경우가 대부분이었는데, 본 연구에선 이러한 연구적인 측면뿐만 아니라 실제 보행자 교통사고 예방에 도움이 될 수 있는 방법을 찾고자 하였다. 보행자 탐지에 있어 기존 센서를 통한 감지나 수동적인 영상 감시를 딥러닝 알고리즘을 통한 실시간 보행자 자동 탐지 방식으로 구성하고자 했다. 특히 딥러닝 알고리즘 중 YOLO 알고리즘을 이용하여 인공신경망 네트워크 새롭게 구성하고, 임베디드 시스템에 적합했던 Yolov3-Tiny 모델을 기준으로 보다 높은 탐지율과 실시간 처리에 최적화된 인공신경망 모델을 새로이 구성하여 My-Tiny-Model3의 모델을 만들어 냈다.
본 연구는 보행자 교통사고 방지를 위해 연구적인 측면뿐만 아니라 실질적으로 효율성 있는 보행자 교통사고 방지 시스템을 구현하고자 국내 ITS 체계 중 UTIS와 연계 가능한 모델을 기본으로 하여, 실제 시스템에 적용 가능한 모델로 구현하기 위해 시작하였다. 기존의 보행자 교통사고 방지 연구에선 보행자 탐지에 대한 연구적인 측면만이 강조되는 경우가 대부분이었는데, 본 연구에선 이러한 연구적인 측면뿐만 아니라 실제 보행자 교통사고 예방에 도움이 될 수 있는 방법을 찾고자 하였다.
가설 설정
, 2018) 본 연구에서는 지능형 교통시스템 체계에 호환 및 연계가 가능한 실시간 보행자 탐지 및 차량 내 경보 전송 시스템에 대한 연구를 목적으로 하였으며, 국내 ITS 체계 중 UTIS를 모델로 한 연계 시스템 구현 및 프로토콜 연동 시나리오를 구성하고자 하였다. 특히 시스템 적용에 있어 제한적인 환경에서의 시스템으로 가정하여. 모든 시스템 구성 요소를 임베디드 시스템 기반으로 설계하고 구현하였다.
제안 방법
15]와 같이 실외 테스트도 추가로 진행하였으며. Jetson TX2 내부의 CSI 카메라를 통해 [Fig. 16]과 같이 보행자를 실시간으로 인식한 후 차량 내 OBE 단말기로 경보 전송이 원활히 이루어지는 부분을 확인하였다.
기존 UTIS 프로토콜 체계에서 보행자 위험신호 체계 연동을 위해 UTIS 규격서의 응용 계층 프로토콜 규격을 분석하였으며, 기존 프로토콜 체계를 변경하지 않고 [Table 3]과 같이 사용자 정의 OPCODE 영역(0xF E00 ~0xF FFF)에 추가 및 OPCODE Specific Data 항목(0xFD~0xFF)에 EID를 추가하는 안으로 다음과 같이 구성하였다. UTIS의 프로토콜의 기본 구조를 설명하기 위해선 UPDU(UTIS Protocol Data Unit)에 대한 전반적인 설명이 필요하긴 하지만 본문에서는 이 부분을 생략하였으며, 응용 계층 프로토콜의 보행자 위험신호 전달 추가 구성안에 대해서만 제안하도록 하였다(The standard of UTIS,2014).
본 연구의 시스템 구현에 있어 주요 구성 부분인 지능형 보행자 탐지를 위한 영상인식에서, 효율적인 인식률을 보이는 YOLO 알고리즘을 사용하였다. YOLO에서 제안하는 인공신경망 네트워크를 변경 수정하여 임베디드 기반에서의 효율성 높은 인공 신경망 모델을 구성하기 위해 기존 신경망 모델과 새로운 신경망 모델의 학습을 각각 진행하였다. 총 10가지 이상의 새로운 모델을 구성하는 것을 목표로 하였으며, 이중 4가지 자체 모델의 학습 데이터를 정리하였다.
Yolo 알고리즘의 인공신경망 네트워크 구조 중 Yolov3-Tiny 버전을 기반으로 좀 더 의미 있는 결과 값을 도출하기 위해 딥러닝 구조를 변경하였다. 변경의 형태는 [Fig.
Yolo의 알고리즘에서 제안하는 인공 신경망 네트워크 중 임베디드 환경에 최적화된 기준 모델을 선정하고자 기존 Yolov2, Yolov3, Yolov3-Tiny 3가지의 신경망 구조를 가지고 위에서 생성한 이미지 데이터셋에 대해 학습을 진행하였다. 학습 반복 횟수는 10,000번을 기준으로 모델별 학습을 진행하였고 소요시간은 신경망의 구조에 따라 상이한 결과를 보였다.
기존 UTIS 프로토콜 체계에서 보행자 위험신호 체계 연동을 위해 UTIS 규격서의 응용 계층 프로토콜 규격을 분석하였으며, 기존 프로토콜 체계를 변경하지 않고 [Table 3]과 같이 사용자 정의 OPCODE 영역(0xF E00 ~0xF FFF)에 추가 및 OPCODE Specific Data 항목(0xFD~0xFF)에 EID를 추가하는 안으로 다음과 같이 구성하였다. UTIS의 프로토콜의 기본 구조를 설명하기 위해선 UPDU(UTIS Protocol Data Unit)에 대한 전반적인 설명이 필요하긴 하지만 본문에서는 이 부분을 생략하였으며, 응용 계층 프로토콜의 보행자 위험신호 전달 추가 구성안에 대해서만 제안하도록 하였다(The standard of UTIS,2014).
특히 시스템 적용에 있어 제한적인 환경에서의 시스템으로 가정하여. 모든 시스템 구성 요소를 임베디드 시스템 기반으로 설계하고 구현하였다. 특히 임베디드 시스템에서의 최적화된 실시간 보행자 탐지를 위해 자체적인 인공신경망 네트워크를 구현하였다.
Yolo 알고리즘의 인공신경망 네트워크 구조 중 Yolov3-Tiny 버전을 기반으로 좀 더 의미 있는 결과 값을 도출하기 위해 딥러닝 구조를 변경하였다. 변경의 형태는 [Fig. 6]과 같이 기존 23개 층의 레이어 모델에서 My-Tiny -Model1,2에서 중간층을 1,2층씩 늘려 24개의 레이어와 25개의 레이어 그리고 My-Tiny-Model3에선 Yolo의 클러스터 추출 후 다시 컨볼루션층을 붙여 26개의 레이어로, 그리고 마지막으로 My-Tiny-Model4 모델에선 다시 앞 단 부분에 Maxpool 층과 컨볼루션층을 늘려 27개의 레이어로 구성해 보았다.
본 연구는 ITS 구축 체계의 무선통신 환경을 모델링하여 이더넷 기반의 무선 AP를 통한 단말 장치들의 다자간 신호전달 체계를 구축하였다. 딥러닝을 통한 지능형 보행자 탐지에 있어 실시간 영상 탐지에 따른 객체 분류를 목표로 하였기 때문에 적용 가능한 카메라 센서에 대해서 모두 실험해보는 것을 목표로 하였다.
본 연구에서 제안하는 보행자 위험신호 전송 체계는 UTIS를 기반으로 구성하였으며 [Fig. 11]과 같이 기존 UTIS 구성 체계에서 신호등 시스템 체계와 연계하며, 노변기지국인 RSE와 연계하는 시스템으로 구성하였다. 시스템의 동작 순서는 먼저 JetsonTX2 보드에 연계된 카메라를 통한 이미지 탐지 처리 후 해당 영상 이미지를 앞서 선정한 딥러닝 모델을 이용하여 객체를 구분한다.
11]과 같이 기존 UTIS 구성 체계에서 신호등 시스템 체계와 연계하며, 노변기지국인 RSE와 연계하는 시스템으로 구성하였다. 시스템의 동작 순서는 먼저 JetsonTX2 보드에 연계된 카메라를 통한 이미지 탐지 처리 후 해당 영상 이미지를 앞서 선정한 딥러닝 모델을 이용하여 객체를 구분한다. [Fig.
앞서 소개한 인공 신경망 모델을 별도로 선정한 이미지 파일 테스트를 통해 각각의 탐지율을 산출하였고 산출된 결과 중 가장 적합한 모델을 이용하여 최종적으로 시스템에 적용하였다. 첫째로 탐지 테스트 적용 구성은 정지 화면 파일인 jpg 파일, 그리고 동영상 재생을 통한 탐지, 그리고 마지막으로 카메라를 이용한 실시간 테스트이다.
앞서 제안한 보행자 탐지 시스템과 연계하는 ITS 체계 구성을 모델링하여 가상의 신호등 시스템과 차량 내 단말장치인 OBE 단말을 구성하였다. 단말 구성을 위해 무선랜 칩 기반의 ESP8266 칩을 내장한 아두이노 보드를 이용하였다.
세부적으로는 인공신경망 네트워크 학습을 위해 ImageNet 데이터 베이스에서 보행자, 유모차, 자전거 운전자 이미지 등을 선정하였고 보행자 이미지는 추가로 INRIA Person 데이터셋에서 제공하는 이미지 일부를 선정하여 이용하였다. 이외 UTIS 구성 체계를 모델링하기 위해 RSE 서버와 신호등 시스템, 차량 내 OBE 단말 장치 등을 무선랜 프로세스를 기반으로 구성 및 프로그래밍하였다. [Fig.
14]와 같이 차량 내 OBE 단말은 부팅 후 설정된 Open AP SSID로 접속하며, Jetson TX2 보드의 RSE 서버로 접속한다. 접속 후 수신된 위험 신호가 있다면 LCD Display에 위험정보를 표시하는 구성으로 가상의 UTIS 시스템을 모델링하였다. 구현된 시스템을 실제 환경과 유사하게 실험을 구현 하고자 [Fig.
앞서 소개한 인공 신경망 모델을 별도로 선정한 이미지 파일 테스트를 통해 각각의 탐지율을 산출하였고 산출된 결과 중 가장 적합한 모델을 이용하여 최종적으로 시스템에 적용하였다. 첫째로 탐지 테스트 적용 구성은 정지 화면 파일인 jpg 파일, 그리고 동영상 재생을 통한 탐지, 그리고 마지막으로 카메라를 이용한 실시간 테스트이다. 정확도 테스트를 위한 샘플 파일은 학습 시 이용했던 이미지 일부와 새로운 이미지를 이용하였으며, 동영상 실시간의 실제 도로를 촬영한 1920x1080/30 fps 영상을 수집하여 이용하였다.
보행자 탐지에 있어 기존 센서를 통한 감지나 수동적인 영상 감시를 딥러닝 알고리즘을 통한 실시간 보행자 자동 탐지 방식으로 구성하고자 했다. 특히 딥러닝 알고리즘 중 YOLO 알고리즘을 이용하여 인공신경망 네트워크 새롭게 구성하고, 임베디드 시스템에 적합했던 Yolov3-Tiny 모델을 기준으로 보다 높은 탐지율과 실시간 처리에 최적화된 인공신경망 모델을 새로이 구성하여 My-Tiny-Model3의 모델을 만들어 냈다. 개선된 My-Tiny-Model3은 10,000번의 반복학습을 기준으로 평균 정확도 83.
모든 시스템 구성 요소를 임베디드 시스템 기반으로 설계하고 구현하였다. 특히 임베디드 시스템에서의 최적화된 실시간 보행자 탐지를 위해 자체적인 인공신경망 네트워크를 구현하였다.
하여 이 모델의 인공 신경망을 최종적으로 보행자 탐지 모델로 선정하고 최적의 가중치 값을 다시 한 번 산출하고자 50,000번에 해당하는 반복 학습을 최종적으로 진행하였다. 테스트 결과 20,000번의 반복학습에서 가장 높은 정확도가 산정되었으며, 이 부분이 넘어가는 시점에서는 오버 피팅이 발생되는 현상이 일어나며 평균 정확도가 하락하는 모습을 보였다.
대상 데이터
IP 카메라의 경우 영상 전송을 위한 RTSP 표준 프로토콜을 지원하고 있어 스트리밍을 통해서 영상을 수신하였다. Yolo의 3가지 인공신경망과 리모델링한 4가지 모델을 포함하여 총 7가지 모델을 각각 학습시켰다. 학습 후 테스트 이미지를 이용해 객체에 대한 각각의 평균 정확도(mAP) 구하고 카메라 또는 동영상 재생에 의한 실시간 탐지 테스트를 하여 fps(Frame Per Second)를 산출하여 최종 비교하였다.
, 2012). [Fig. 5]에서 볼 수 있듯이 이중 학습에 선정한 이미지는 보행자 이미지 240개, 유모차, 자전거 운전자 이미지 각각 120개씩을 선정하여 총 480개의 이미지를 학습을 위한 데이터로 선정하였고, 그 중 테스트를 위해 학습에 이용한 이미지를 일부 사용하였고(유모차, 자전거 운전자 각각 20개, 보행자 130개) 추가로 학습되지 않은 이미지 유모차, 자전거 운전자 각각 100개, 보행자 110개의 이미지를 포함하여 총 480개의 이미지를 테스트를 위한 데이터로 선정하였다. 각각의 이미지의 해상도는 가변 사이즈 형태로 데이터 입력이 가능하며 YOLO 알고리즘을 통해 416X416 사이즈의 해상도로 재구성된다.
그리고 카메라 테스트의 경우 실제 환경에 가장 적합한 카메라를 적용하기 위해 [Fig. 7]의 Jetson TX2 보드에 부착된 온 보드 상의 CIS 카메라와 USB 웹 카메라 그리고 보안 카메라로 많이 이용되는 적외선 IP 카 메라 등을 각각 실험에 이용하였다. IP 카메라의 경우 영상 전송을 위한 RTSP 표준 프로토콜을 지원하고 있어 스트리밍을 통해서 영상을 수신하였다.
앞서 제안한 보행자 탐지 시스템과 연계하는 ITS 체계 구성을 모델링하여 가상의 신호등 시스템과 차량 내 단말장치인 OBE 단말을 구성하였다. 단말 구성을 위해 무선랜 칩 기반의 ESP8266 칩을 내장한 아두이노 보드를 이용하였다. [Fig.
데이터 셋을 생성하기 위해서 먼저 학습 이미지 선정을 해야 하는데 학습에 적합한 이미지 산출을 위해 표준화 이미지를 제공하는 ImageNet 데이터 베이스에서 보행자, 유모차, 자전거 운전자 이미지 등을 총 620개를 선정하였고 보행자 이미지는 추가로 INRIA Person 데이터셋에서 제공하는 이미지 170개를 선정하여 이용하였다(Krizhevsky et al., 2012). [Fig.
3%의 평균 정확도보다 약 3% 가량의 성능 향상이 있었다. 본 연구의 실시간 보행자 탐지 시스템 적용 부분에 My-Tiny-Model3 모델을 최종적으로 선정하였다.
총 10가지 이상의 새로운 모델을 구성하는 것을 목표로 하였으며, 이중 4가지 자체 모델의 학습 데이터를 정리하였다. 세부적으로는 인공신경망 네트워크 학습을 위해 ImageNet 데이터 베이스에서 보행자, 유모차, 자전거 운전자 이미지 등을 선정하였고 보행자 이미지는 추가로 INRIA Person 데이터셋에서 제공하는 이미지 일부를 선정하여 이용하였다. 이외 UTIS 구성 체계를 모델링하기 위해 RSE 서버와 신호등 시스템, 차량 내 OBE 단말 장치 등을 무선랜 프로세스를 기반으로 구성 및 프로그래밍하였다.
정확도 테스트를 위한 샘플 파일은 학습 시 이용했던 이미지 일부와 새로운 이미지를 이용하였으며, 동영상 실시간의 실제 도로를 촬영한 1920x1080/30 fps 영상을 수집하여 이용하였다. 실험을 위해 구성된 시스템의 환경은 [Table 1]과 같은 구성을 이루며 사용된 Jetson TX2 개발 보드와 카메라 종류별(Onboard CSI, WebCam, IP Carmera) 사양 그리고 Darknet (Darknet, 2016) 프레임워크 구동을 위해 설치된 소프트웨어 라이브러리 환경으로 구성되어 있다.
첫째로 탐지 테스트 적용 구성은 정지 화면 파일인 jpg 파일, 그리고 동영상 재생을 통한 탐지, 그리고 마지막으로 카메라를 이용한 실시간 테스트이다. 정확도 테스트를 위한 샘플 파일은 학습 시 이용했던 이미지 일부와 새로운 이미지를 이용하였으며, 동영상 실시간의 실제 도로를 촬영한 1920x1080/30 fps 영상을 수집하여 이용하였다. 실험을 위해 구성된 시스템의 환경은 [Table 1]과 같은 구성을 이루며 사용된 Jetson TX2 개발 보드와 카메라 종류별(Onboard CSI, WebCam, IP Carmera) 사양 그리고 Darknet (Darknet, 2016) 프레임워크 구동을 위해 설치된 소프트웨어 라이브러리 환경으로 구성되어 있다.
YOLO에서 제안하는 인공신경망 네트워크를 변경 수정하여 임베디드 기반에서의 효율성 높은 인공 신경망 모델을 구성하기 위해 기존 신경망 모델과 새로운 신경망 모델의 학습을 각각 진행하였다. 총 10가지 이상의 새로운 모델을 구성하는 것을 목표로 하였으며, 이중 4가지 자체 모델의 학습 데이터를 정리하였다. 세부적으로는 인공신경망 네트워크 학습을 위해 ImageNet 데이터 베이스에서 보행자, 유모차, 자전거 운전자 이미지 등을 선정하였고 보행자 이미지는 추가로 INRIA Person 데이터셋에서 제공하는 이미지 일부를 선정하여 이용하였다.
데이터처리
모델 중, 실시간 보행자 탐지 처리에 최적화된 모델로 예상되는 Yolov3-Tiny 버전과 My-Tiny-Model3의 산출 가중치 값을 가지고 테스트 결과 이중 Yolov3-Tiny 모델과 My-Tiny-Model3가 20 fps 이상의 실시간 탐지 속도와 비례하여 가장 최적화된 평균 정확도를 보였으며, 특히 3가지 객체 중 보행자 탐지 부분에서 높은 탐지율을 보였다. 이중 임베디드 기반의 최적의 결과를 산출한 Yolov3-Tiny 와 My-Tiny-Model3의 F1 Score 값을 산출 하였다. 산출에 사용된 가중치 값은 [Table 2]에 값과 동일하며, 산출 결과는 [Fig.
Yolo의 3가지 인공신경망과 리모델링한 4가지 모델을 포함하여 총 7가지 모델을 각각 학습시켰다. 학습 후 테스트 이미지를 이용해 객체에 대한 각각의 평균 정확도(mAP) 구하고 카메라 또는 동영상 재생에 의한 실시간 탐지 테스트를 하여 fps(Frame Per Second)를 산출하여 최종 비교하였다.
이론/모형
본 연구의 시스템 구현에 있어 주요 구성 부분인 지능형 보행자 탐지를 위한 영상인식에서, 효율적인 인식률을 보이는 YOLO 알고리즘을 사용하였다. YOLO에서 제안하는 인공신경망 네트워크를 변경 수정하여 임베디드 기반에서의 효율성 높은 인공 신경망 모델을 구성하기 위해 기존 신경망 모델과 새로운 신경망 모델의 학습을 각각 진행하였다.
성능/효과
10]는 각각의 객체에 대한 산출 정확도를 볼 수 있는데 20,000번의 반복 가중치 값에서 랑데부 포인트가 일어나는 것을 볼 수 있다. [Fig. 10]의 평균 정확도 결과처럼 최종적으로 20,000번의 반복 가중치 값에 의해 산정된 평균 정확도는 86.29%로 앞서 실험한 My-Tiny-Model3 10,000번의 가중치 값인 83.3%의 평균 정확도보다 약 3% 가량의 성능 향상이 있었다. 본 연구의 실시간 보행자 탐지 시스템 적용 부분에 My-Tiny-Model3 모델을 최종적으로 선정하였다.
[Table 2]의 비교 결과를 보면 Yolov2가 가장 높은 95.89% 탐지율을 보였지만 실시간 탐지 속도가 현저히 낮았으며, 그 외의 모델 중에서 Yolov3-Tiny와 My-Tiny-Model3가 가장 높은 탐지율과 실시간 탐지 속도가 높았다. 하지만 Yolov2의 경우 실제 도로에서의 보행자 탐지 시 탐지 시간이 아주 떨어져 정확한 시간에 위험 신호 전달되지 못하므로 임베디드 시스템 환경에서는 적용하기 어려울 것으로 보인다.
특히 딥러닝 알고리즘 중 YOLO 알고리즘을 이용하여 인공신경망 네트워크 새롭게 구성하고, 임베디드 시스템에 적합했던 Yolov3-Tiny 모델을 기준으로 보다 높은 탐지율과 실시간 처리에 최적화된 인공신경망 모델을 새로이 구성하여 My-Tiny-Model3의 모델을 만들어 냈다. 개선된 My-Tiny-Model3은 10,000번의 반복학습을 기준으로 평균 정확도 83.3% 결과를 얻을 수 있었으며, 기존 Yolov3-Tiny의 76.28%의 평균 정확도보다 약 7.02%의 평균 정확도 향상을 얻어 낼 수 있었다. 그리고 최종적으로 My-Tiny-Model3의 50,000번의 반복학습 중 20,000번의 학습에서 가장 높은 86.
02%의 평균 정확도 향상을 얻어 낼 수 있었다. 그리고 최종적으로 My-Tiny-Model3의 50,000번의 반복학습 중 20,000번의 학습에서 가장 높은 86.29%의 평균 정확도를 보여 주었다.
이중 한 가지 특징적인 것은 Yolov3 모델을 학습 시 동일한 학습 횟수를 도달하기까지 다른 두 모델에 비해서 상당히 빠른 속도로 학습이 진행되었는데, 이 점은 아마 컨볼루션(convolution) 구조에서 리지듀얼(residual) 구조를 혼합한 결과에 의한 것으로 생각되었다. 먼저 Yolov2, Yolov3모델을 학습하여 산출된 가중치 값으로 정지 영상을 이용한 테스트를 한 결과 Yolov2가 상당히 좋은 탐지율을 보였지만 보행자 동영상과 카메라 실시간 인식은 많이 부족하게 나왔다. 테스트 카메라 중 가장 신호전달이 빠른 온보드 상의 CSI 카메라를 이용 시에도 9 fps 이상 나오지 않았다.
테스트 카메라 중 가장 신호전달이 빠른 온보드 상의 CSI 카메라를 이용 시에도 9 fps 이상 나오지 않았다. 모델 중 은닉층 구성이 단순하여 실시간 보행자 탐지 처리에 최적화된 모델로 예상되는 Yolov3-Tiny 버전의 기본 모델을 가지고 학습하여 산출한 가중치를 가지고 카메라 인식과 보행자 동영상 인식 시 끊김 없는 모습과 비교적 높은 탐지율을 보였다. 그래서, Yolov3-Tiny 신경망의 기본 구조를 리모델링하여 임베디드 기반에서 최적화된 인공 신경망 모델을 구성해 보고자 목표하였다.
모델 중, 실시간 보행자 탐지 처리에 최적화된 모델로 예상되는 Yolov3-Tiny 버전과 My-Tiny-Model3의 산출 가중치 값을 가지고 테스트 결과 이중 Yolov3-Tiny 모델과 My-Tiny-Model3가 20 fps 이상의 실시간 탐지 속도와 비례하여 가장 최적화된 평균 정확도를 보였으며, 특히 3가지 객체 중 보행자 탐지 부분에서 높은 탐지율을 보였다.
이중 임베디드 기반의 최적의 결과를 산출한 Yolov3-Tiny 와 My-Tiny-Model3의 F1 Score 값을 산출 하였다. 산출에 사용된 가중치 값은 [Table 2]에 값과 동일하며, 산출 결과는 [Fig. 9]와 같이 Yolov3-Tiny 모델이 0.79 그리고 My-Tiny-Model3 값이 0.84 의 평균값을 보이며 전체적으로 높은 성능을 보였다.
하여 이 모델의 인공 신경망을 최종적으로 보행자 탐지 모델로 선정하고 최적의 가중치 값을 다시 한 번 산출하고자 50,000번에 해당하는 반복 학습을 최종적으로 진행하였다. 테스트 결과 20,000번의 반복학습에서 가장 높은 정확도가 산정되었으며, 이 부분이 넘어가는 시점에서는 오버 피팅이 발생되는 현상이 일어나며 평균 정확도가 하락하는 모습을 보였다. [Fig.
Yolo의 알고리즘에서 제안하는 인공 신경망 네트워크 중 임베디드 환경에 최적화된 기준 모델을 선정하고자 기존 Yolov2, Yolov3, Yolov3-Tiny 3가지의 신경망 구조를 가지고 위에서 생성한 이미지 데이터셋에 대해 학습을 진행하였다. 학습 반복 횟수는 10,000번을 기준으로 모델별 학습을 진행하였고 소요시간은 신경망의 구조에 따라 상이한 결과를 보였다. 이중 한 가지 특징적인 것은 Yolov3 모델을 학습 시 동일한 학습 횟수를 도달하기까지 다른 두 모델에 비해서 상당히 빠른 속도로 학습이 진행되었는데, 이 점은 아마 컨볼루션(convolution) 구조에서 리지듀얼(residual) 구조를 혼합한 결과에 의한 것으로 생각되었다.
후속연구
본문의 제안 시스템은 보행자 탐지 처리에 대한 위험신호 경보뿐만 아니라 다양한 영상처리 기술들을 응용하여 위험상황 예측 및 보안에 관련된 시스템 등을 적용하여 다양한 환경에서 적용이 가능할 것이다. 특히 임베디드 기반의 보행자 탐지 시스템은 현재 V2I 또는 V2V에도 적용 가능할 뿐만 아니라 V2X에도 추가적인 인프라 구축 비용 없이 기존 노변 지상국(RSE) 근처에 설치 가능하여 보행자 교통사고 방지 및 많은 개발 시스템 응용에 도움을 줄 수 있을 것이라고 기대한다.
본문의 제안 시스템은 보행자 탐지 처리에 대한 위험신호 경보뿐만 아니라 다양한 영상처리 기술들을 응용하여 위험상황 예측 및 보안에 관련된 시스템 등을 적용하여 다양한 환경에서 적용이 가능할 것이다. 특히 임베디드 기반의 보행자 탐지 시스템은 현재 V2I 또는 V2V에도 적용 가능할 뿐만 아니라 V2X에도 추가적인 인프라 구축 비용 없이 기존 노변 지상국(RSE) 근처에 설치 가능하여 보행자 교통사고 방지 및 많은 개발 시스템 응용에 도움을 줄 수 있을 것이라고 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
보행자 교통사고는 무엇인가?
1]과 같이 전체 교통사고 사망자 중 40%인 1,675명의 보행자가 사망자로 집계되었다(TAAS, 2017). 이렇듯 교통사고 발 생 시 보행자 교통사고는 가장 많은 사망자가 발생되는 고 위험군의 사고로 볼 수 있다. 보행자 교통사고는 차량 운전자가 평소에 주의를 기울인다 하여도, 순간적인 판단 착오나 실수에서 비롯되는 경우가 많다.
YOLO는 확률을 어떻게 계산하는가?
YOLO는 각 이미지를 SxS 개의 그리드로 분할하고 그리드의 신뢰도를 확률로 계산한다. [Fig.
HOG 시스템이 변화에 적응할 수 있는 이유는 무엇인가?
가장 중요한 특징은 에지의 양과 방향을 구분하는 특성을 가지고 있다. 또한, 오버랩을 이용하여 계산하기 때문에 어느 정도 변화에도 적응할 수 있는 능력이 있다. 마치 Haar-like가 영역으로 특징 을 구하기 때문에 잡음에 둔감한 것과 같이 HOG의 오버랩의 이유는 어느 정도의 변화를 받아들일 수 있다 는 것이다. 현재 OpenCV에 포함되어 기본적인 객체 탐지 기술로서 활용되고 있다(Dalal and Triggs, 2005).
참고문헌 (13)
10.1109/CVPR.2005.177 Dalal N. and Triggs B. (2005), “Histograms of Oriented Gradients for Human Detection,” IEEE Computer Society , pp.886-893.
Darknet J. Redmon. (2016), Open source neural networks in c , http://pjreddie.com/darknet/2018.08.20.
Everingham M. , Christopher L. V. G. , Williams K. I. , Winn J. and Zisserman A. (2010), “The PASCAL Visual Object Classes (VOC) Challenge,” International Journal of Computer Vision manuscript , p.11.
https://github.com/AlexeyAB/Yolo_mark 2018.09.24.
Kim J. , Lee D. and Lee M. (2016), “Lane Detection System using CNN,” Institute Embedded Engineering of Korea , pp.163-169.
10.5626/KTCP.2018.24.3.151 Kim Y. M. , Lee I. , Yoon I. , Han T. and Kim C. (2018), “CCTV Object Detection with Background Subtraction and Convolutional Neural Network,” KIISE Transactions on Computing Practices , vol. 24, no. 3, pp.151-156.
Krizhevsky A. , Sutskever I. , Geoffrey Hinton E. and Hinton E. (2012), “ImageNet Classification with Deep Convolutional Neural Networks,” NIPS'12 Proceedings of the 25 th International Conference on Neural Information Processing Systems , vol. 1, pp.1097-1105.
Lee Y. and Shin J. (2018), “DNN Based Multi-spectrum Pedestrian Detection Method Using Color and Thermal Image,” Journal of Broadcast Engineering , vol. 23, no. 3, pp.361-368.
Redmon J. and Farhadi A. (2017), “Yolo9000: Better, faster, stronger. In Computer Vision and Pattern Recognition,” IEEE Conference on, pp.6517-6525.
Redmon J. and Farhadi A. (2018), YOLOv3: An Incremental Improvement , arXiv, pp.1-4.
10.12815/kits.2018.17.4.14 Rye J. D. , Park S. , Park S. , Kwon C. and Yun I. (2018), “A Study for Development of Expressway Traffic Accident Prediction Model Using Deep Learning,” The Journal of The Korea Institute of Intelligent Transport Systems , vol. 17, no. 4, pp.14-25.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.