[논문]딥러닝 기반 객체 인식을 활용한 퍼스널 모빌리티 안전 보조 시스템 개발

Kwak, Hyeon-Seo; Kim, Min-Young; Jeon, Ji-Yong; Jeong, Eun-Hye; Kim, Ju-Yeop; Hyeon, So-Dam; Jeong, Jin-Woo

doi:10.6109/jkiice.2021.25.3.486

딥러닝 기반 객체 인식을 활용한 퍼스널 모빌리티 안전 보조 시스템 개발
Development of Personal Mobility Safety Assistants using Object Detection based on Deep Learning 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.25 no.3, 2021년, pp.486 - 489

Kwak, Hyeon-Seo (Department of Computer Engineering, Kumoh National Institute of Technology) , Kim, Min-Young (Department of Computer Engineering, Kumoh National Institute of Technology) , Jeon, Ji-Yong (Department of Computer Engineering, Kumoh National Institute of Technology) , Jeong, Eun-Hye (Department of Computer Engineering, Kumoh National Institute of Technology) , Kim, Ju-Yeop (Department of Computer Engineering, Kumoh National Institute of Technology) , Hyeon, So-Dam (Department of Computer Engineering, Kumoh National Institute of Technology) , Jeong, Jin-Woo (Department of Computer Engineering, Kumoh National Institute of Technology)

Abstract ▼ AI-Helper

Recently, the demand for the use of personal mobility vehicles, such as an electric kickboard, is increasing explosively because of its high portability and usability. However, the number of traffic accidents caused by personal mobility vehicles has also increased rapidly in recent years. To address the issues regarding the driver's safety, we propose a novel approach that can monitor context information around personal mobility vehicles using deep learning-based object detection and smartphone captured videos. In the proposed framework, a smartphone is attached to a personal mobility device and a front or rear view is recorded to detect an approaching object that may affect the driver's safety. Through the detection results using YOLOv5 model, we report the preliminary results and validated the feasibility of the proposed approach.

주제어

표/그림 (7)

그림 Fig. 1 Overview of the proposed system
그림 Fig. 2 Hardware installation
그림 Fig. 3 Testbed
그림 Fig. 4 Change of accuracy (mAP@0.5)
그림 Fig. 5 Change of accuracy (mAP@0.5:0.95)
그림 Fig. 6 Detection results in daytime
그림 Fig. 7 Detection results in nighttime

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 스마트폰 기반 퍼스널 모빌리티 안전보조 시스템 개발을 위한 기반 기술 연구를 진행하였다. YOLOv5 기반의 객체 인식 모델과 다양한 데이터 증강기법을 적용하여 주/야간에서 효과적으로 전/후방에 접근하는 객체들을 인식할 수 있음을 확인하였다.
본 연구에서는 딥러닝 기반의 객체 인식 기술과 스마트폰을 활용하여 전동 킥보드 운행 중 주변 위험 상황 정보를 실시간으로 인식함으로써 전동 킥보드 관련 교통 사고를 미연에 방지하기 위한 기술을 개발하고자 한다. 이를 위하여, 전동 킥보드의 전방 또는 후방을 감시할 수 있도록 스마트폰을 전동킥보드의 넥에 설치한 후, 스마트폰으로부터 촬영된 영상을 바탕으로 객체 인식을 통하여 위험을 감지하기 위한 시스템을 구현하였다.

제안 방법

본 연구에서는 객체 인식 문제 해결을 위하여 CSPNet [6]을 backbone으로 활용하는 최신 연구 중 하나인 YOLOv5 네트워크 구조 [4]를 사용하였다. 기존 YOLOv5 모델은 80개의 클래스를 포함하는 COCO 데이터셋을 바탕으로 학습되어 본연구에 적합하지 않으므로, 본 연구에서는 퍼스널 모빌리티 주행 안전성에 영향을 미칠 수 있는 대상 객체를 자동차류 (세단, 트럭 버스 등), 자전거류 (자전거, 오토바이 등), 보행자의 3가지 클래스로 구분하고 객체 인식모델 재학습을 진행하였다. 또한, 전동킥보드 주행의 특성 상 사용자의 신체에 의하여 객체들이 가려지거나 주/ 야간 조도의 특성 상 객체들이 왜곡될 가능성이 높으므로, 모자이크 [7], 랜덤 비율 확대/축소, 랜덤 확률 좌우 반전, 색상/채도/명도 랜덤 조정과 같은 데이터 증강 기법을 추가적으로 적용하였다.
기존 YOLOv5 모델은 80개의 클래스를 포함하는 COCO 데이터셋을 바탕으로 학습되어 본연구에 적합하지 않으므로, 본 연구에서는 퍼스널 모빌리티 주행 안전성에 영향을 미칠 수 있는 대상 객체를 자동차류 (세단, 트럭 버스 등), 자전거류 (자전거, 오토바이 등), 보행자의 3가지 클래스로 구분하고 객체 인식모델 재학습을 진행하였다. 또한, 전동킥보드 주행의 특성 상 사용자의 신체에 의하여 객체들이 가려지거나 주/ 야간 조도의 특성 상 객체들이 왜곡될 가능성이 높으므로, 모자이크 [7], 랜덤 비율 확대/축소, 랜덤 확률 좌우 반전, 색상/채도/명도 랜덤 조정과 같은 데이터 증강 기법을 추가적으로 적용하였다.
이를 위하여, 전동 킥보드의 전방 또는 후방을 감시할 수 있도록 스마트폰을 전동킥보드의 넥에 설치한 후, 스마트폰으로부터 촬영된 영상을 바탕으로 객체 인식을 통하여 위험을 감지하기 위한 시스템을 구현하였다. 위험 객체 인식은 COCO 데이터셋 [4]과 재학습된 YOLOv5 [5] 모델을 활용하여 성능을 분석하였다.
또한, 주간 및 야간 주행 영상 데이터를 모두 확보할 수 있도록 주간에는 14시 ~ 16시, 야간에는 20시 ~ 22시에 데이터 수집을 진행하였다. 전동 킥보드 탑승과 주행은 운전 면허증을 보유하고 있으며 전동 킥보드 주행 경험이 있는 대학생 6인 및 일반 남성 1인을 섭외하여 데이터 수집하였고, 데이터 수집 중 사고 방지를 위하여 안전 장비 및 충분한 공간을 확보한 후 책임교수의 입회하에 주행과 촬영을 진행하였다.
퍼스널 모빌리티 주행 영상을 바탕으로 위험 객체를 인식하고 그에 따른 안전도를 판단하기 위하여 실제 도로에서 그림 2의 구성과 같이 제작된 전동 킥보드를 탑승하고 주행하여 실제 주/야간 주행 영상을 촬영 및 수집하였다. 전동 킥보드 주행은 대학교의 교내 차도 및 산책로 주변 도로를 이용하여 진행하였다 (그림 3).

대상 데이터

실험에 사용된 도로들은 실제 학생들이 전동 킥보드를 이용하여 등/하교, 건물간 이동을 수행하는 도로로 자주 활용되고 있다. 또한, 주간 및 야간 주행 영상 데이터를 모두 확보할 수 있도록 주간에는 14시 ~ 16시, 야간에는 20시 ~ 22시에 데이터 수집을 진행하였다. 전동 킥보드 탑승과 주행은 운전 면허증을 보유하고 있으며 전동 킥보드 주행 경험이 있는 대학생 6인 및 일반 남성 1인을 섭외하여 데이터 수집하였고, 데이터 수집 중 사고 방지를 위하여 안전 장비 및 충분한 공간을 확보한 후 책임교수의 입회하에 주행과 촬영을 진행하였다.
본 연구를 위한 YOLOv5 모델을 재학습하기 위한 서버 컴퓨터는 4xNVIDIA TITAN RTX GPU, 128GB RAM, Intel i9-10900X CascadeLake 급으로 구성하였으며, 모델 학습을 위한 하이퍼 파라미터 구성은 300 Epochs, 256 Batch size, SGD Optimizer로 설정하였다.
사용자의 스마트폰이 전동킥보드의 전/후방을 안정적으로 촬영할 수 있도록 프레임을 설계하여 지면에서 약 80cm 떨어진 위치에 부착하였다. 전/ 후방 모니터링을 위하여 카메라가 탑재되어 있는 고성능 최신 스마트폰 (Samsung Note 10)을 사용하였으며, 주행 중 촬영 시 광각 촬영 모드를 사용하였다.

이론/모형

본 논문에서는 전동킥보드 주행 영상을 대상으로 하는 위험 객체 인식 작업을 수행하기 위하여 CNN 기반의 심층 학습 모델을 활용하였다. 본 연구에서는 객체 인식 문제 해결을 위하여 CSPNet [6]을 backbone으로 활용하는 최신 연구 중 하나인 YOLOv5 네트워크 구조 [4]를 사용하였다.
심층 학습 모델을 활용하였다. 본 연구에서는 객체 인식 문제 해결을 위하여 CSPNet [6]을 backbone으로 활용하는 최신 연구 중 하나인 YOLOv5 네트워크 구조 [4]를 사용하였다. 기존 YOLOv5 모델은 80개의 클래스를 포함하는 COCO 데이터셋을 바탕으로 학습되어 본연구에 적합하지 않으므로, 본 연구에서는 퍼스널 모빌리티 주행 안전성에 영향을 미칠 수 있는 대상 객체를 자동차류 (세단, 트럭 버스 등), 자전거류 (자전거, 오토바이 등), 보행자의 3가지 클래스로 구분하고 객체 인식모델 재학습을 진행하였다.
이를 위하여, 전동 킥보드의 전방 또는 후방을 감시할 수 있도록 스마트폰을 전동킥보드의 넥에 설치한 후, 스마트폰으로부터 촬영된 영상을 바탕으로 객체 인식을 통하여 위험을 감지하기 위한 시스템을 구현하였다. 위험 객체 인식은 COCO 데이터셋 [4]과 재학습된 YOLOv5 [5] 모델을 활용하여 성능을 분석하였다.

성능/효과

진행하였다. YOLOv5 기반의 객체 인식 모델과 다양한 데이터 증강기법을 적용하여 주/야간에서 효과적으로 전/후방에 접근하는 객체들을 인식할 수 있음을 확인하였다. 또한, 실제 전동킥보드 주행 영상을 이용한 실험을 통하여 제안하는 시스템의 실제 활용 가능성을 확인하였다.
있다. 그림 4에서 알 수 있듯이, IoU 0.5 수준에서 기본 모델은 0.445의 mAP를 보인 반면, 데이터 증강 모델은 0.658의 mAP를 보여 본 연구에서 적용한 데이터 증강 기법들이 주행 중 위험 객체 인식에 효과적이었음을 확인할 수 있다. 또한, 약 50 에폭에서 두 모델 모두 수렴된 결과를 보였으며, 기본 모델은 200 에폭이 넘어가면 오히려 성능이 감소하는 양상을 보였다.
차이를 나타내고 있다. 그림에서 확인할 수 있듯이, 데이터 증강이 적용된 모델이 보다 세밀하고 정확한 객체 인식 결과를 생성해냄을 알 수 있다. 주/야간 영상에서 모두 확인할 수 있듯이 기본 모델은 차량을 감지하지 못하거나 위험 요소가 아닌 객체를 위험 요소로 오검출하는 모습을 보이고 있다.
YOLOv5 기반의 객체 인식 모델과 다양한 데이터 증강기법을 적용하여 주/야간에서 효과적으로 전/후방에 접근하는 객체들을 인식할 수 있음을 확인하였다. 또한, 실제 전동킥보드 주행 영상을 이용한 실험을 통하여 제안하는 시스템의 실제 활용 가능성을 확인하였다. 향후에는 스마트폰에서도 추론이 가능하도록 경량 모델 탑재를 위한 추가적인 방법론을 연구하고자 하며 LIDAR 와 같은 다양한 센서 데이터와 영상 데이터를 효과적으로 융합하여 위험 상황 판단의 정확도를 더욱 향상시키기 위한 연구를 수행할 예정이다.
658의 mAP를 보여 본 연구에서 적용한 데이터 증강 기법들이 주행 중 위험 객체 인식에 효과적이었음을 확인할 수 있다. 또한, 약 50 에폭에서 두 모델 모두 수렴된 결과를 보였으며, 기본 모델은 200 에폭이 넘어가면 오히려 성능이 감소하는 양상을 보였다. 한편, 그림 5에서 볼 수 있듯이, IoU 0.
5 수준과 유사하게 데이터 증강이 효과적이었음을 확인할 수 있다. 약 50 에폭에서두 모델 모두 수렴된 결과를 보였으며, 기본 모델은 150 에폭이 넘어가면 성능이 감소하는 양상을 보였다.
또한, 약 50 에폭에서 두 모델 모두 수렴된 결과를 보였으며, 기본 모델은 200 에폭이 넘어가면 오히려 성능이 감소하는 양상을 보였다. 한편, 그림 5에서 볼 수 있듯이, IoU 0.5-0.95 수준에서 기본모델은 0.232의 mAP를 보인 반면, 데이터 증강 모델은 0.383의 mAP를 보여, IoU 0.5 수준과 유사하게 데이터 증강이 효과적이었음을 확인할 수 있다. 약 50 에폭에서두 모델 모두 수렴된 결과를 보였으며, 기본 모델은 150 에폭이 넘어가면 성능이 감소하는 양상을 보였다.

후속연구

또한, 실제 전동킥보드 주행 영상을 이용한 실험을 통하여 제안하는 시스템의 실제 활용 가능성을 확인하였다. 향후에는 스마트폰에서도 추론이 가능하도록 경량 모델 탑재를 위한 추가적인 방법론을 연구하고자 하며 LIDAR 와 같은 다양한 센서 데이터와 영상 데이터를 효과적으로 융합하여 위험 상황 판단의 정확도를 더욱 향상시키기 위한 연구를 수행할 예정이다.

참고문헌 (7)

J. H. Choi, "Micro mobility: focusing on shared electric kickboards," KDB Future Strategy Research Institute, Korea, KDB Monthly 768, pp. 37-53, 2019.
S. R. Kim, "Investigation of the usage of personal mobility," The Korea Transport Institute Brief, vol. 1, no. 3, pp. 4-7, Aug. 2017.
ChosunBiz. Electric kickboard accident increased by 135% compared to a year ago. [Internet]. Available: https://biz.chosun.com/site/data/html_dir/2020/12/20/2020122000349.html.
COCO Consortium. COCO: common objects in context [Internet]. Available: https://cocodataset.org/.
Ultralytics. YOLOv5 [Internet]. Available: https://github.com/ultralytics/yolov5.
C. Y. Wang, H. M. Liao, Y. H. Wu, P. Y. Chen, and J. W. Hsieh, "CSPNet: A New Backbone that can Enhance Learning Capability of CNN," in Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Long Beach: CA, pp. 390-391, 2020.
T. H. Tran and J. W. Jeon, "Accurate Real-Time Traffic Light Detection Using YOLOv4," in Proceeding of the 2020 IEEE International Conference on Consumer Electronics - Asia, Seoul, pp. 1-4, 2020.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증