[논문]YOLOv5와 모션벡터를 활용한 트램-보행자 충돌 예측 방법 연구

김영민; 안현욱; 전희균; 김진평; 장규진; 황현철

doi:10.3745/ktsde.2021.10.12.561

YOLOv5와 모션벡터를 활용한 트램-보행자 충돌 예측 방법 연구
A Study of Tram-Pedestrian Collision Prediction Method Using YOLOv5 and Motion Vector 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.10 no.12, 2021년, pp.561 - 568

김영민 (인천대학교 경제학과) , 안현욱 (고려대학교 전기전자공학부) , 전희균 (한국철도기술연구원 스마트트램연구실) , 김진평 (차세대융합기술연구원) , 장규진 (차세대융합기술연구원 컴퓨터비전 및 인공지능연구실) , 황현철 (한국철도기술연구원 스마트트램연구실)

초록
AI-Helper

최근 자율주행에 관한 기술은 고부가가치 신기술로서 주목받고 있으며 활발히 연구가 진행되고 있는 분야이다. 상용화 가능한 자율주행을 위해서는 실시간으로 정확하게 진입하는 객체를 탐지하고 이동속도를 추정해야 한다. CNN(Convolutional Neural Network) 기반 딥러닝 알고리즘과 밀집광학흐름(Dense Optical Flow)을 사용하는 기존 방식은 실행 속도가 느려 실시간으로 객체를 탐지하고 이동속도를 추정하기에는 한계가 존재한다. 본 논문에서는 트램에 설치된 카메라를 통해 획득된 주행영상에서 딥러닝 알고리즘인 YOLOv5 알고리즘을 활용하여 실시간으로 객체를 탐지를 수행하고, 탐지된 객체영역에서 기존의 밀집광학흐름(Dense Optical Flow) 대신 연산량을 개선한 부분 밀집광학흐름(Local Dense Optical Flow)을 사용하여 객체의 진행 방향과 속력을 빠르게 추정하는 방식을 제안한다. 이를 바탕으로 충돌 시간과 충돌 지점을 예측할 수 있는 모델을 설계하였으며, 이를 통해 트램(Tram)의 주행 중 전방 충돌사고를 방지할 수 있는 시스템에 적용하고자 한다.

Abstract ▼ AI-Helper

In recent years, autonomous driving technologies have become a high-value-added technology that attracts attention in the fields of science and industry. For smooth Self-driving, it is necessary to accurately detect an object and estimate its movement speed in real time. CNN-based deep learning algorithms and conventional dense optical flows have a large consumption time, making it difficult to detect objects and estimate its movement speed in real time. In this paper, using a single camera image, fast object detection was performed using the YOLOv5 algorithm, a deep learning algorithm, and fast estimation of the speed of the object was performed by using a local dense optical flow modified from the existing dense optical flow based on the detected object. Based on this algorithm, we present a system that can predict the collision time and probability, and through this system, we intend to contribute to prevent tram accidents.

주제어

표/그림 (16)

그림 Fig. 1. C3 Architecture
그림 Fig. 2. Performance of YOLOv5 Algorithm[12]
그림 Fig. 3A. Lucas-Kanade
그림 Fig. 3B. Gunner Farnebäck
표 Table 1. Evaluation of Flow (KITTI 2012 Evaluation, Flow)
그림 Fig. 4. Flow Chart of Acquiring Motion Vector by Optical Flow
그림 Fig. 5. 1-Dimension Collision Model
그림 Fig. 6. Estimating Distance between Camera and Object
표 Table 2. Video Information
그림 Fig. 7. YOLOv5 Model Comparison
그림 Fig. 8. Angle of Motion
그림 Fig. 9. Object Detection and Motion Vector Extraction, Flow Vector Grid
표 Table 3. Object Detection Ratio
표 Table 4. Flow Result
그림 Fig. 10. TTC, Predicted Collision Point & Warning Message
표 Table 5. Average Runtime (ms)

참고문헌 (24)

S. Lee, M. Myung, and T. Kim, "A study on tram traffic accidents characteristics and safety measures," Vol.39, No.4, pp.505-512, 2019.
A. Manglik, X. Weng, E. Ohn-Bar, and K. M. Kitanil, "Forecasting time-to-collision from monocular video: Feasibility, dataset, and challenges," In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp.8081-8088, 2019.
H. Kataoka, T. Suzuki, K. Nakashima, Y. Satoh, and Y. Aoki, "Joint pedestrian detection and risk-level prediction with motion-representation-by-detection," In 2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, pp.1021-1027, 2020.
Y. Cai, L. Dai, H. Wang, L. Chen, Y. Li, M. A. Sotelo, and Z. Li, "Pedestrian motion trajectory prediction in intelligent driving from far shot first-person perspective video," IEEE Transactions on Intelligent Transportation Systems, pp.1-16, 2021.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You only look once: Unified, real-time object detection," In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.779-788, 2016.
C. Y. Wang, H. Y. M. Liao, Y. H. Wu, P. Y. Chen, J. W. Hsieh, and I. H. Yeh, "CSPNet: A new backbone that can enhance learning capability of CNN," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, pp.390-391, 2020.
J. Park, S. Woo, J. Y. Lee, and I. S. Kweon, "Bam: Bottleneck attention module," arXiv preprint arXiv:1807.06514, 2018.
S. Elfwing, E. Uchibe, and K. Doya, "Sigmoid-weighted linear units for neural network function approximation in reinforcement learning," Neural Networks, Vol.107, pp.3-11, 2018.

상세보기
S. Liu, L. Qi, H. Qin, J. Shi, and J. Jia, "Path aggregation network for instance segmentation," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.8759-8768, 2018.
J. Redmon and A. Farhadi, "Yolov3: An incremental improvement," In Computer Vision and Pattern Recognition, pp.1804-2767, 2018.
T. Y. Lin, et al., "Microsoft coco: Common objects in context," European Conference on Computer Vision. Springer, Cham, pp.740-755, 2014.
Ultralytics. YOLOv5 [Internet] https://github.com/ultralytics/yolov5
B. K. Horn and B. G. Schunck, "Determining optical flow," Artificial Intelligence, Vol.17, No.1-3, pp.185-203, 1981.

상세보기
A. B. Khalifa, I. Alouani, M. A. Mahjoub, and N. E. B. Amara, "Pedestrian detection using a moving camera: A novel framework for foreground detection," Cognitive Systems Research, Vol.60, pp.77-96, 2020.

상세보기
A. Bruhn, J. Weickert, and C. Schnorr, "Lucas/Kanade meets Horn/Schunck: Combining local and global optic flow methods," International Journal of Computer Vision, Vol.61, No.3, pp.211-231, 2005.

상세보기
G. Farneback, "Two-frame motion estimation based on polynomial expansion," Scandinavian Conference on Image Analysis. Springer, Berlin, Heidelberg, 2003.
A. Dosovitskiy, et al., "Flownet: Learning optical flow with convolutional networks," In Proceedings of the IEEE International Conference on Computer Vision, pp.2758-2766, 2015.
E. Ilg, N. Mayer, T. Saikia, M. Keuper, A. Dosovitskiy, and T. Brox, "Flownet 2.0: Evolution of optical flow estimation with deep networks," In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.2462-2470, 2017.
M. Bevilacqua, A. Tsourdos, and A. Starr, "Egomotion estimation for monocular camera visual odometer," IEEE International Instrumentation and Measurement Technology Conference Proceedings, pp.1-6, 2016.
J. Lim and B. Han, "Generalized background subtraction using superpixels with label integrated motion estimation," European Conference on Computer Vision, Springer, Cham, pp.173-187, 2014.
L. Kurnianggoro, A. Shahbaz, and K. H. Jo, "Dense optical flow in stabilized scenes for moving object detection from a moving camera," 2016 16th International Conference on Control, Automation and Systems (ICCAS), pp.704-708, 2016.
J. Mao, H. Yu, , X. Gao, and L. Yu, "Complementary motion vector for motion prediction in video coding with longterm reference," In 2019 Picture Coding Symposium (PCS), pp.1-5, 2019.
M. Muhlhausen, L. Wohler, G. Albuquerque, and M. Magnor, "Iterative optical flow refinement for high resolution images," In IEEE International Conference on Image Processing (ICIP), pp.1282-1286, 2019.
Y. C. Kuo, C. T. Tsai, and C. H. Chang, "Fast estimation of pedestrian movement," Sensors and Materials, Vol.29, No.6, pp.713-726, 2017,

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증