[논문]실내 문화시설 안전을 위한 딥러닝 기반 방문객 검출 및 동선 추적에 관한 연구

신원섭; 노승민

실내 문화시설 안전을 위한 딥러닝 기반 방문객 검출 및 동선 추적에 관한 연구
Deep Learning-based Approach for Visitor Detection and Path Tracking to Enhance Safety in Indoor Cultural Facilities

Journal of platform technology, v.11 no.4, 2023년, pp.3 - 12

신원섭 (중앙대학교 첨단영상대학원 엔터테인먼트-테크놀로지 전공) , 노승민 (중앙대학교 산업보안학과)

초록
AI-Helper

포스트-코로나 시대에는 방역 조치의 중요성이 크게 강조되고 있으며, 이에 맞춰 딥러닝을 이용한 마스크 착용 상태 검출 및 다른 전염병 예방에 관련된 연구가 진행되고 있다. 그러나 질병 확산 방지를 위한 문화시설 관람객 탐지 및 추적 연구도 마찬가지로 중요하므로 이에 대한 연구가 진행되어야 한다. 본 논문에서는 사전 수집된 데이터 셋을 이용하여 컨볼루션 신경망 기반 객체 탐지 모델을 전이 학습시키고, 학습된 탐지 모델의 가중치를 다중 객체 추적 모델에 적용하여 방문객을 모니터링 한다. 방문객 탐지 모델은 Precision 96.3%, Recall 85.2% F1-Score 90.4%의 결과를 보여주었다. 추적 모델의 정량적 결과로 MOTA 65.6%, IDF1 68.3%. HOTA 57.2%의 결과를 보여주었으며, 본 논문의 모델과 다른 다중 객체 추적 모델 간의 정성적 비교에서 우수한 결과를 보여주었다. 본 논문의 연구는 포스트-코로나 시대의 문화시설 내 방역 시스템에 적용될 수 있을 것이다.

Abstract ▼ AI-Helper

In the post-COVID era, the importance of quarantine measures is greatly emphasized, and accordingly, research related to the detection of mask wearing conditions and prevention of other infectious diseases using deep learning is being conducted. However, research on the detection and tracking of visitors to cultural facilities to prevent the spread of diseases is equally important, so research on this should be conducted. In this paper, a convolutional neural network-based object detection model is trained through transfer learning using a pre-collected dataset. The weights of the trained detection model are then applied to a multi-object tracking model to monitor visitors. The visitor detection model demonstrates results with a precision of 96.3%, recall of 85.2%, and an F1-score of 90.4%. Quantitative results of the tracking model include a MOTA (Multiple Object Tracking Accuracy) of 65.6%, IDF1 (ID F1 Score) of 68.3%, and HOTA (Higher Order Tracking Accuracy) of 57.2%. Furthermore, a qualitative comparison with other multi-object tracking models showcased superior results for the model proposed in this paper. The research of this paper can be applied to the hygiene systems within cultural facilities in the post-COVID era.

주제어

표/그림 (9)

그림 Figure 1. Visitor Detection •Tracking Full Process 그림 1. 방문객 탐지•추적 프로세스
그림 Figure 2. Example of Crowd human dataset 그림 2. Crowd human 데이터 셋 예시
그림 Figure 3. Visitor Detection Model Process 그림 3. 방문객 탐지 모델 프로세스
그림 Figure 4. Detection model inference results 그림 4. 탐지 모델 추론 결과
그림 Figure 5. Visitor Tracking Model Process 그림 5. 방문객 추적 모델 프로세스
표 Table 1. Evaluation Results of Visitor Detection Model 표 １. 방문객 탐지 모델 평가 결과
표 Table 2. Evaluation Results of Visitor Tracking Model 표 2. 방문객 추적 모델 평가 결과
그림 Figure 6. Results of Audience Tracking Model (a) SORT model Results, (b) DeepSORT model Results, (c) Our Results. 그림 6. 방문객 추적 모델 결과 (a) SORT model Results, (b) DeepSORT model Results, (c) Our Results
그림 Figure 7. Failure Case of Detection & Re-ID (a) Failure Case of Detection, (b) Failure Case of Re-ID 그림 7. 탐지 및 ID 할당 실패 사례 (a) Failure Case of Detection, (b) Failure Case of Re-ID

참고문헌 (18)

LeCun, Y., Bengio, Y., and Hinton, G. "Gradient-based learning applied to document recognition."？Proceedings of the IEEE, 86(11), pp. 2278-2324. doi: 10.1109/5.726791, 1998.

상세보기
J. Talukdar, S. Gupta, P. S. Rajpura, and R. S. Hegde, "Transfer Learning for Object Detection using？State-ofthe-Art Deep Neural Networks," in Proceeding of the 5th International Conference on Signal？Processing and Integrated Networks, Noida, pp. 78-83, doi: 10.1109/SPIN.2018.8474198, 2018.
S. H. Lee, H. G. Kwon, Y. J. Kim, J. S. Jeong, and H. J. Seo, "Development of CCTV for Identification？of Maskless Wearers based on Deep Learning," in Proceeding of the 28th Korea Society of？Computer Information, Korea, pp. 317-318, doi: 10.6109/jkiice.2021.25.1.44, 2020.

원문보기 상세보기
Sunwoo Shin, Woosung Jung, Taemin Lee and Sanghyun Seo. "A Study on Detecting Mask Wearing？Status using Ensemble based on Deep Learning" Journal of Digital Contents Society. Vol 22, No.11？pp. 1931-1939, doi: 10.9728/dcs.2021.22.11.1931, November 2021.

상세보기
R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich Feature Hierarchies for Accurate Object？Detection and Semantic Segmentation," 2014 IEEE Conference on Computer Vision and Pattern？Recognition, Columbus, OH, USA, pp. 580-587, doi: 10.1109/CVPR.2014.81, 2014.
M. A. Hearst, S.T. Dumais, E. Osuna, J. Platt, and B. Scholkopf, "Support vector machines," in IEEE？Intelligent Systems and their Applications, vol. 13, no. 4, pp. 18-28, doi: 10.1109/5254.708428,？July-Aug. 1998.

상세보기
R. Girshick, "Fast R-CNN," 2015 IEEE International Conference on Computer Vision (ICCV),？Santiago, Chile, pp. 1440-1448, doi: 10.1109/ICCV.2015.169, 2015.
He, K., Gkioxari, G., Dollar, P., and Girshick, R. "Mask R-CNN" Proceedings of the IEEE？International Conference on Computer Vision (ICCV), pp. 2980-2988, doi:？10.1109/ICCV.2017.322., 2017.
Redmon, J., Divvala, S., Girshick, R., and Farhadi, A. "You only look once: Unified, real-time object？detection." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition？(CVPR), pp. 779-788, doi: 10.1109/CVPR.2016.91, 2016.
Bewley, A., Ge, Z., Ott, L., Ramos, F., and Upcroft, B. "Simple online and realtime tracking."？Proceedings of the IEEE International Conference on Image Processing (ICIP), pp. 3464-3468, doi:？10.1109/ICIP.2016.7533003, 2016.
Ren, S., He, K., Girshick, R., and Sun, J. "Faster R-CNN: Towards real-time object detection with？region proposal networks." Proceedings of the Neural Information Processing Systems (NIPS)？Conference, pp. 91-99, doi: 10.1109/ICCV.2015.169, 2015.
Woehlke, S., Buttner, L., Kreuzinger, N, and Leal-Taixe, L. "DeepSORT: A Simple Online and？Realtime Tracking with Re-identification." Proceedings of the IEEE/CVF Conference on Computer？Vision and Pattern Recognition (CVPR), pp. 2573-2582, doi: 10.1109/CVPR42600.2020.00264,？2020.
Nir Aharon, Roy Orfaig, and Ben-Zion Bobrovsky, "BoT-SORT: Robust Associations Multi-Pedestrian Tracking" arXiv, doi: arXiv:2206.14651, 2022.
Wang, Chien-Yao & Bochkovskiy, Alexey, and Liao, Hong-yuan. "YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors."arXiv, doi:？10.48550/arXiv.2207.02696, 2022.
He, L., Liao, X., Liu, W., Liu, X., Cheng, P, and Mei, T. (2020). "FastReID: A Pytorch Toolbox for？General Instance Re-identification. arXiv, abs/2006.02631, 2020.
Bernardin, K., Stiefelhagen, R. "Evaluating Multiple Object Tracking Performance: The CLEAR？MOT Metrics." J Image Video Proc 2008, 246309, doi: 10.1155/2008/246309, 2008.
Ristani, E., Solera, F., Zou, R., Cucchiara, R., Tomasi, C., "Performance Measures and a Data Set？for Multi-target, Multi-camera Tracking." ECCV vol 9914, doi: 10.1007/978-3-319-48881-3_2,？2016.
Luiten, J., Osep, A., Dendorfer, P., Torr, P., Geiger, A., Leal-Taixe, L., & Leibe, B, "HOTA: A？Higher Order Metric for Evaluating Multi-Object Tracking." International Journal of Computer？Vision, 129(2), pp. 548-578, doi: 10.1007/s11263-020-01390-7, 2021？

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증