[논문]Study on driver's distraction research trend and deep learning based behavior recognition model

Han, Sangkon; Choi, Jung-In

doi:10.9708/jksci.2021.26.11.173

Study on driver's distraction research trend and deep learning based behavior recognition model 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.11, 2021년, pp.173 - 182

Han, Sangkon (Dept. of Computer Science Engineering, Pusan National University) , Choi, Jung-In (Dept. of Applied Artificial Intelligence, Ajou University)

초록
AI-Helper

본 논문에서는 운전자의 주의산만을 유발하는 운전자, 탑승자의 동작을 분석하고 핸드폰과 관련된 운전자의 행동 10가지를 인식하였다. 먼저 주의산만을 유발하는 동작을 환경 및 요인으로 분류하고 관련 최근 논문을 분석하였다. 분석된 논문을 기반으로 주의산만을 유발하는 주요 원인인 핸드폰과 관련된 10가지 운전자의 행동을 인식하였다. 약 10만 개의 이미지 데이터를 기반으로 실험을 진행하였다. SURF를 통해 특징을 추출하고 3가지 모델(CNN, ResNet-101, 개선된 ResNet-101)로 실험하였다. 개선된 ResNet-101 모델은 CNN보다 학습 오류와 검증 오류가 8.2배, 44.6배가량 줄어들었으며 평균적인 정밀도와 f1-score는 0.98로 높은 수준을 유지하였다. 또한 CAM(class activation maps)을 활용하여 딥러닝 모델이 운전자의 주의 분산 행동을 판단할 때, 핸드폰 객체와 위치를 결정적 원인으로 활용했는지 검토하였다.

Abstract ▼ AI-Helper

In this paper, we analyzed driver's and passenger's motions that cause driver's distraction, and recognized 10 driver's behaviors related to mobile phones. First, distraction-inducing behaviors were classified into environments and factors, and related recent papers were analyzed. Based on the analyzed papers, 10 driver's behaviors related to cell phones, which are the main causes of distraction, were recognized. The experiment was conducted based on about 100,000 image data. Features were extracted through SURF and tested with three models (CNN, ResNet-101, and improved ResNet-101). The improved ResNet-101 model reduced training and validation errors by 8.2 times and 44.6 times compared to CNN, and the average precision and f1-score were maintained at a high level of 0.98. In addition, using CAM (class activation maps), it was reviewed whether the deep learning model used the cell phone object and location as the decisive cause when judging the driver's distraction behavior.

주제어

표/그림 (17)

표 Table 1. Driver behavior analysis research
그림 Fig. 1. Classify behaviors that cause driver distraction by environment and factors
표 Table 2. Driving behaviors performed by body
그림 Fig. 2. Frequency of Safe Driving Required Actions
표 Table 3. Driver behavior by distraction
표 Table 4. Driving disturbances that occur outside the vehicle
그림 Fig. 3. Frequency of behaviors that interfere with safe driving inside and outside the vehicle
그림 Fig. 4. Images corresponding to 10 categories
표 Table 5. Data set description
그림 Fig. 5. CNN Experiment Result
그림 Fig. 6. ResNet-101 Experiment Result
그림 Fig. 7. Improved ResNet-101 Experimental Results
그림 Fig. 8. Training error and validation error of the model used in the experiment
표 Table 6. Layer added to ResNet-101
표 Table 7. Results of training and validation errors of the model used in the experiment
표 Table 8. Precision and f1-score for classification
그림 Fig. 9. CAM for 10 classifications

AI 본문요약
AI-Helper

제안 방법

이를 통해 해당 요인이 안전 운행을 방해하는 주요 요인 중 한 가지라는 것을 알 수 있다. 그리하여본 연구에서는 운전자의 안전 운전을 위해 핸드폰과 관련된 행동을 포함한 10가지 운전자 행동을 분류한다. 이를 위해 컴퓨터 비전과 딥러닝을 사용해서 운전자의 위험 행동을 분류하는 모델을 구축하는 실험을 진행한다.
현재 반자율주행이 상용화되고 있음에도 운전자의 행동을 인식하고 평가하는 시스템은 지속해서 연구 및 활용되고 있다. 본 논문에서는 운전자의 안전 운전을 방해하는 요소를 차량 내부와 외부, 발생 요인을 기준으로 분류하고 조사하였다. 조사한 내용에 따라 60% 이상의 논문에서 안전운행 방해 동작으로 지목한 핸드폰 사용 관련 동작에 대하여 딥러닝을 활용하여 인식하였다.
딥러닝 모델이 가지는 특성상 중간 연산 과정을 정확하게 확인하기 쉽지 않다. 실험에 사용된 모델을 중심으로 어떤 데이터를 중심으로 분류를 판단했는지 시각적으로 확인할 수 있는 class activation maps(CAM)을 사용하여 어떤 특징이 분류에 결정적인 원인이 되었는지 확인하였다.
조사한 내용에 따라 60% 이상의 논문에서 안전운행 방해 동작으로 지목한 핸드폰 사용 관련 동작에 대하여 딥러닝을 활용하여 인식하였다. 약 10만 개의 이미지 데이터를 SURF를 통해 특징을 추출하고 CNN, ResNet-101, 레이어를 추가하여 개선된 ResNet-101 모델로 실험하였다. 개선된 ResNet-101 모델이 CNN과 ResNet-101에 비하여 학습 오류와 검증 오류가 확연히 줄었으며 정밀도와 f1-score의 평균은 0.
안전 운전 필수 행동과 방해 행동을 분석하고, 각각의 행동이 언급된 빈도를 조사하고 분석하여 유형화한다. 이러한 연구 결과를 바탕으로 운전자의 안전운전 필수 행동과 안전 운전 방해 행동을 분석하였다.
그리하여본 연구에서는 운전자의 안전 운전을 위해 핸드폰과 관련된 행동을 포함한 10가지 운전자 행동을 분류한다. 이를 위해 컴퓨터 비전과 딥러닝을 사용해서 운전자의 위험 행동을 분류하는 모델을 구축하는 실험을 진행한다.

대상 데이터

본 논문에서는 운전자의 동작과 관련한 국내외 논문을 조사, 분석하였다. 안전 운전 필수 행동과 방해 행동을 분석하고, 각각의 행동이 언급된 빈도를 조사하고 분석하여 유형화한다.

이론/모형

이미지를 전처리하고, 특징(feature)을 추출하기 위해서 컴퓨터 비전에 주로 사용되는 대표적인 소프트웨어인 OpenCV를 활용한다. 딥러닝을 위해서 PyTorch를 활용한다. 현재 가장 널리 사용되는 Tensorflow에 비해서 디버깅이 편리하고, 디버깅 과정을 시각적으로 확인할 수 있기 때문에 Tensorflow가 아닌 PyTorch를 선택하였다.
성능 평가의 기준이 되어줄 모델의 경우 Iteration 횟수가 증가해도 학습과 검증 오류 값이 줄어들지 않기 때문에 이미지의 크기와 용도를 고려하여 Residual Block을 기반으로 학습 오류가 적고, 응답성이 좋은 모델 중 하나인 ResNet-101 모델을 적용하였다.
이미지를 전처리하고, 특징(feature)을 추출하기 위해서 컴퓨터 비전에 주로 사용되는 대표적인 소프트웨어인 OpenCV를 활용한다. 딥러닝을 위해서 PyTorch를 활용한다.

성능/효과

약 10만 개의 이미지 데이터를 SURF를 통해 특징을 추출하고 CNN, ResNet-101, 레이어를 추가하여 개선된 ResNet-101 모델로 실험하였다. 개선된 ResNet-101 모델이 CNN과 ResNet-101에 비하여 학습 오류와 검증 오류가 확연히 줄었으며 정밀도와 f1-score의 평균은 0.98로 높은 수준을 유지하였다.
딥러닝 모델은 중간 연산 과정을 알 수 없는 블랙박스 모델이기 때문에 실험에 사용된 모델이 어떤 데이터를 중심으로 동작을 분류하였는지 확인이 필요하다. 그리하여 시각적으로 확인할 수 있는 CAM을 활용하여 본 논문에서 활용한 딥러닝 모델이 핸드폰 객체와 위치를 통해 운전자의 동작을 인식하였다는 것을 확인하였다.
본 논문에서는 운전자의 안전 운전을 방해하는 요소를 차량 내부와 외부, 발생 요인을 기준으로 분류하고 조사하였다. 조사한 내용에 따라 60% 이상의 논문에서 안전운행 방해 동작으로 지목한 핸드폰 사용 관련 동작에 대하여 딥러닝을 활용하여 인식하였다. 약 10만 개의 이미지 데이터를 SURF를 통해 특징을 추출하고 CNN, ResNet-101, 레이어를 추가하여 개선된 ResNet-101 모델로 실험하였다.
아래 그림 7은 개선된 ResNet-101을 기반으로 한 학습곡선이다. 학습 오류와 검증 오류가 크게 줄어든 것을 확인할 수 있으며, 기존의 Iteration 횟수보다 약 2배가량 줄어들었다.

후속연구

딥러닝 모델은 중간 연산 과정을 알 수 없는 블랙박스 모델이기 때문에 실험에 사용된 모델이 어떤 데이터를 중심으로 동작을 분류하였는지 확인이 필요하다. 그리하여 시각적으로 확인할 수 있는 CAM을 활용하여 본 논문에서 활용한 딥러닝 모델이 핸드폰 객체와 위치를 통해 운전자의 동작을 인식하였다는 것을 확인하였다.
향후 연구로는 반자율주행에서 사용자의 행동을 인식하고 평가하여 이를 적용한 반자율주행 서비스를 연구할 것이며 나아가 완전자율주행에서 외부의 발생하는 위험 요인의 데이터를 수집하여 위험도를 평가하는 연구와 정의되어 있지 않은 운전자의 위험 행동을 인식을 위해서 강화학습을 활용하는 방법을 계속해서 연구를 진행할 것이다.

참고문헌 (49)

Ministry of Land, Monthly vehicle registration statistics. Available: www.molt.go.kr.
National Highway Traffic Safety Administration, "Preliminary statement of policy concerning automated vehicles. washington, dc",. Available: www.nhtsa.gov/staticfiles/rulema king/pdf/Automated_Vehicles_Policy.pdf.
A. Kashevnik, R. Shchedrin, C. Kaiser and A. Stocker, "Driver Distraction Detection Methods: A Literature Review and Framework," in IEEE Access, vol. 9, pp. 60063-60076, 2021, DOI: 10.1109/ACCESS.2021.3073599.

상세보기
Kaggle. State Farm Distracted Driver Detection. Available: https://www.kaggle.com/c/state-farm-distracted-driver-detection/
B. Zhou, A. Khosla, A. Lapedriza, A. Oliva and A. Torralba, "Learning deep features for discriminative localization," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 2921-2929.
G. Gunduz, C. Yaman, A. U. Peker and T. Acarman, "Prediction of Risk Generated by Different Driving Patterns and Their Conflict Redistribution," Tiv, vol. 3, (1), pp. 71-80, Mar, 2018. DOI: 10.1109/TIV.2017.2788203.

상세보기
M. N. Azadani and A. Boukerche, "Driving Behavior Analysis Guidelines for Intelligent Transportation Systems," IEEE Transactions on Intelligent Transportation Systems, pp. 1-19, 2021. DOI: 10.1109/TITS.2021.3076140.

상세보기
M. Costa, D. Oliveira, S. Pinto and A. Tavares, "Detecting Driver's Fatigue, Distraction and Activity Using a Non-Intrusive Ai-Based Monitoring System," Journal of Artificial Intelligence and Soft Computing Research, vol. 9, (4), pp. 247-266, Oct 1, 2019. DOI: 10.2478/jaiscr-2019-00 07.

상세보기
S. Kim, "A Study of Driver's Visual and Auditory Task Distraction using Virtual Reality Driving Simulator," Master Thesis, Soongsil University, Korea, 2018.
H.J. Kim, H.J. Lim and J.H. Yang, "Design and Evaluation of Alert Threshold for Takeover Request in Partial Autonomous Vehicles considering Human Factors," in Proceedings of Conference, Korean Society of Automotive Engineers, 2016.
N. J. Dunn, T. A. Dingus, S. Soccolich and W. J. Horrey, "Investigating the impact of driving automation systems on distracted driving behaviors," Accident Analysis & Prevention, vol. 156, pp. 106152, 2021. DOI: 10.1016/j.aap. 2021.106152.

상세보기
B. Wagner, F. Taffner, S. Karaca and L. Karge, "Vision Based Detection of Driver Cell Phone Usage and Food Consumption," IEEE Transactions on Intelligent Transportation Systems, 2021.
X. Zeng and J. Wang, "A stochastic driver pedal behavior model incorporating road information," IEEE Transactions on Human-Machine Systems, vol. 47, (5), pp. 614-624, 2017.

상세보기
H. J. Chung, "A Study on Effect of Women Driver's Dangerous Behavior based on the Theory of Planned Behavior(TPB)," Doctoral Thesis, Myongji University, Korea, 2013.
Q. Hua, L. Jin, Y. Jiang, M. Gao and B. Guo, "Cognitive Distraction State Recognition of Drivers at a Nonsignalized Intersection in a Mixed Traffic Environment," Advances in Civil Engineering, vol. 2021, pp. 1-16, Mar 4, 2021. DOI: 10.1155/2021/6676807.

상세보기
Wencai Sun, Yihao Si, Mengzhu Guo and Shiwu Li, "Driver Distraction Recognition Using Wearable IMU Sensor Data," Sustainability (Basel, Switzerland), vol. 13, (1342), pp. 1342, Jan 1, 2021. DOI: 10.3390/su13031342.

상세보기
Y. Zhang, Y. Chen and C. Gao, "Deep unsupervised multi-modal fusion network for detecting driver distraction," Neurocomputing (Amsterdam), vol. 421, pp. 26-38, Jan 15, 2021. DOI: 10.1016/j.neucom.2020.09.023.

상세보기
A. Lobo, S. Ferreira and A. Couto, "Exploring Monitoring Systems Data for Driver Distraction and Drowsiness Research," Sensors (Basel, Switzerland), vol. 20, (14), pp. 3836, Jul 9, 2020. DOI: 10.3390/s20143836.

상세보기
M. Dua, Shakshi, R. Singla, S. Raj and A. Jangra, "Deep CNN models-based ensemble approach to driver drowsiness detection," Neural Computing & Applications, vol. 33, (8), pp. 3155-3168, Apr, 2021. DOI: 10.1007/s00521-020-05209- 7.

상세보기
C. V. Hari and P. Sankaran, "Driver distraction analysis using face pose cues," Expert Systems with Applications, vol. 179, pp. 115036, Oct 1, 2021. DOI: 10.1016/j.eswa.202 1.115036.

상세보기
Z. Zhao, S. Xia, X. Xu, L. Zhang, H. Yan, Y. Xu and Z. Zhang, "Driver Distraction Detection Method Based on Continuous Head Pose Estimation," Computational Intelligence and Neuroscience, vol. 2020, Nov 29, 2020. DOI: 10.1155/2020/9606908.

상세보기
L. Li, B. Zhong, C. Hutmacher, Y. Liang, W. J. Horrey and X. Xu, "Detection of driver manual distraction via image-based hand and ear recognition," Accident Analysis and Prevention, vol. 137, pp. 105432, Mar, 2020. DOI: 10.1016/j.aap.2020.105432.

상세보기
F. Vicente, Zehua Huang, Xuehan Xiong, F. De la Torre, Wende Zhang and D. Levi, "Driver Gaze Tracking and Eyes Off the Road Detection System," IEEE Transactions on Intelligent Transportation Systems, vol. 16, (4), pp. 2014-2027, Aug, 2015. DOI: 10.1109/TITS.2015.2396031.

상세보기
A. Bhatt, V. Dave, Y. Panchamia and P. Thakre, "Analyzing behavioral attributes of drivers and implementing safe driving model," in 2017 IEEE International Conference on Vehicular Electronics and Safety (ICVES), 2017, pp. 228-232.
A. Koesdwiady, R. Soua, F. Karray and M. S. Kamel, "Recent Trends in Driver Safety Monitoring Systems: State of the Art and Challenges," IEEE Transactions on Vehicular Technology, vol. 66, (6), pp. 4550-4563, Jun, 2017. DOI: 10.1109/TVT.2016.2631604.

상세보기
M. Raja, V. Ghaderi and S. Sigg, "WiBot! in-vehicle behaviour and gesture recognition using wireless network edge," Proceeding of IEEE 38th International Conference on Distributed Computing Systems (ICDCS), in Jul 2018, pp. 376-387.
G. Li, W. Yan, S. Li, X. Qu, W. Chu and D. Cao, "A Temporal-Spatial Deep Learning Approach for Driver Distraction Detection Based on EEG Signals," IEEE Transactions on Automation Science and Engineering, pp. 1-13, Jun 23, 2021. DOI: 10.1109/TASE.2021.3088897.

상세보기
M. Karthaus, E. Wascher and S. Getzmann, "Distraction in the Driving Simulator: An Event-Related Potential (ERP) Study with Young, Middle-Aged, and Older Drivers," Safety (Basel), vol. 7, (2), pp. 36, May 11, 2021. DOI: 10.3390/safety7020036.

상세보기
S. D. Ki, "An analysis on the effects of the driver distraction on the car accidents," Insurance and Financial Research, vol. 22, (3), pp. 3-32, 2011.
N. Arbabzadeh and M. Jafari, "A Data-Driven Approach for Driving Safety Risk Prediction Using Driver Behavior and Roadway Information Data," IEEE transactions on intelligent transportation systems, vol. 19, (2), pp. 446-460, Feb, 2018. DOI: 10.1109/TITS.2017.2700869.

상세보기
G. H. Choi, K. Lim and S. B. Pan, "Driver Identification System Using Normalized Electrocardiogram Based on Adaptive Threshold Filter for Intelligent Vehicles," Sensors (Basel), vol. 21, (1), pp. 10.3390/s21010202, December 30, 2020. . DOI: https://doi.org/10.3390/s21010202.

상세보기
S. Lee and S. Lee, "Moderating effect of speed desire frustration on the relationship between driving stress and coping behavior on traffic accident risk," Korean Journal of Industrial and Organizational Psychology, vol. 25, (3), pp. 571-587, 2012.
Y. Xing, C. Lv, Z. Zhang, H. Wang, X. Na, D. Cao, E. Velenis and F. Y. Wang, "Identification and analysis of driver postures for in-vehicle driving activities and secondary tasks recognition," IEEE Transactions on Computational Social Systems, Vol. 5, No. 1, pp. 95-108, March, 2018.

상세보기
M. Mori, C. Miyajima, P. Angkititrakul, T. Hirayama, Y. Li, N. Kitaoka, and K. Takeda, "Measuring driver awareness based on correlation between gaze behavior and risks of surrounding vehicles," Proceeding of 2012 15th International IEEE Conference on Intelligent Transportation Systems, in Sep 2012, pp. 644-647.
J. H. L. Hansen, C. Busso, Yang Zheng and A. Sathyanarayana, "Driver Modeling for Detection and Assessment of Driver Distraction: Examples from the UTDrive Test Bed," EEE Signal Processing Magazine, vol. 34, pp. 130-142, Jul. 2017.
N. Li, and C. Busso, "Predicting perceived visual and cognitive distractions of drivers with multimodal features," IEEE Transactions on Intelligent Transportation Systems, vol. 16, (1), pp. 51-65, Feb, 2015. DOI: 10.1109/TITS.2 014.2324414.

상세보기
C. Huisingh, R. Griffin, and G. McGwin, "The prevalence of distraction among passenger vehicle drivers: a roadside observational approach," Traffic injury prevention, vol. 16, (2), pp. 140-146, Feb 17, 2015. DOI: 10.1080/15389588.20 14.916797.

상세보기
C. A. Pickering, K. J. Burnham, and M. J. Richardson, "A research study of hand gesture recognition technologies and applications for human vehicle interaction," Proceeding of 3rd Institution of Engineering and Technology conference on Automotive Electronics, pp. 1-15, Nov, 2007.
W. Yan, S. Peng, C. Li, and L. Yang, "Impact to Longitude Velocity Control of Autonomous Vehicle from Human Driver's Distraction Behavior," Proceeding of IEEE 86th Vehicular Technology Conference (VTC-Fall), in Sep 2017, pp. 1-5.
SAE International Releases Updated Visual Chart for Its "Levels of Driving Automation" Standard for Self-Driving Vehicles, https://www.sae.org/news/press-room/2018/12/sae-int ernational-releases-updated-visual-chart-for-its-%E2%80%9Clevels-of-driving-automation%E2%80%9D-standard-for-self-driving-vehicles.
E. Pakdamanian, S. Sheng, S. Baee, S. Heo, S. Kraus and L. Feng, "Deeptake: Prediction of driver takeover behavior using multimodal data," in Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, pp. 1-14, 2021.
Waymo. "Waymo Open Dataset." Available: https://waymo.com/open/data/.
Weconomy,. Self-Driving Vehicle Hits Bicyclist. Available: http://www.hani.co.kr/arti/economy/it/838665.html.
H. Bay, A. Ess, T. Tuytelaars and L. Van Gool, "Speeded-up robust features (SURF)," Comput. Vision Image Understanding, vol. 110, (3), pp. 346-359, 2008.

상세보기
D. G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, vol. 60, (2), pp. 91-110, 2004.

상세보기
K. He, X. Zhang, S. Ren and J. Sun, "Deep residual learning for image recognition," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 770-778.
N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever and R. Salakhutdinov, "Dropout: a simple way to prevent neural networks from overfitting," The Journal of Machine Learning Research, vol. 15, (1), pp. 1929-1958, 2014.

상세보기
D. Scherer, A. Muller and S. Behnke, "Evaluation of pooling operations in convolutional architectures for object recognition," in International Conference on Artificial Neural Networks, 2010, pp. 92-101.
A. A. Suzen, B. Duman and B. Şen, "Benchmark analysis of jetson TX2, jetson nano and raspberry PI using deep-CNN," in - 2020 International Congress on Human-Computer Interaction, Optimization and Robotic Applications (HORA), 2020, pp. 1-5. DOI: 10.1109/HORA4 9412.2020.9152915.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증