[논문]A Self-Supervised Detector Scheduler for Efficient Tracking-by-Detection Mechanism

Park, Dae-Hyeon; Lee, Seong-Ho; Bae, Seung-Hwan

doi:10.9708/jksci.2022.27.10.019

A Self-Supervised Detector Scheduler for Efficient Tracking-by-Detection Mechanism 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.10, 2022년, pp.19 - 28

Park, Dae-Hyeon (Vision & Learning Laboratory, Inha University) , Lee, Seong-Ho (Vision & Learning Laboratory, Inha University) , Bae, Seung-Hwan (Dept. of Computer Engineering, Inha University)

초록
AI-Helper

본 논문에서는 실시간 고성능 다중 객체 추적을 수행하기 위해 최적의 TBD (Tracking-by-detection) 메커니즘을 결정할 수 있는 Detector Scheduler를 제안한다. Detector Scheduler는 서로 다른 프레임 간의 특징량 차이를 측정하는 것으로 검출기 실행 여부를 결정하여 전체 추적 속도를 향상한다. 하지만, Detector Scheduler의 학습에 필요한 GT (Ground Truth) 생성이 어렵기 때문에 Detector Scheduler를 추적 결과만을 통해 학습 가능한 자가 학습 방법을 제안한다. 제안된 자가 학습 방법은 프레임 간의 객체 카디널리티와 객체 외형 특징량의 비유사도가 커질 때 검출기를 실행할 수 있도록 의사 레이블을 생성하고 제안된 손실함수를 통해 Detector Scheduler를 학습한다.

Abstract ▼ AI-Helper

In this paper, we propose the Detector Scheduler which determines the best tracking-by-detection (TBD) mechanism to perform real-time high-accurate multi-object tracking (MOT). The Detector Scheduler determines whether to run a detector by measuring the dissimilarity of features between different frames. Furthermore, we propose a self-supervision method to learn the Detector Scheduler with tracking results since it is difficult to generate ground truth (GT) for learning the Detector Scheduler. Our proposed self-supervision method generates pseudo labels on whether to run a detector when the dissimilarity of the object cardinality or appearance between frames increases. To this end, we propose the Detector Scheduling Loss to learn the Detector Scheduler. As a result, our proposed method achieves real-time high-accurate multi-object tracking by boosting the overall tracking speed while keeping the tracking accuracy at most.

주제어

표/그림 (4)

그림 Fig. 1. Detector Scheduling Network
표 Table 1. Detailed comparison with the baseline on MOT15 dataset.
표 Table 2. Comparison with the SOTA trackers on MOTChallenge 16/17 test sets
그림 Fig. 2. Qualitative Results on MOT16 datasets

AI 본문요약
AI-Helper

문제 정의

정확도와 속도는 trade-off 관계이기 때문에 특정 성능에 맞는 GT를 생성하는 것은 까다로운 일이다. 따라서 본 연구에서는 키 프레임과 현재 프레임의 추적 결과 간의 비유사성을 측정하여 검출기 실행 여부를 나타낼 수 있는 의사 레이블 생성 방법을 제안한다. 구체적으로 본 연구에서는 두 프레임 간의 객체 카디널리티 및 객체 위치 정보 오류를 측정한다.
예를 들어 객체의 모션(motion) 변화가 증가하거나 추적 품질이 낮아질 때 MOTA를 유지하기 위해서는 검출기를 더 빈번히 실행함으로써 간격을 더 좁혀야 한다. 따라서 우리는 실시간 다중 객체 추적을 수행하기 위해 감소를 최소화하며 전체 추적 속도를 향상할 수 있는 최적의 검출 시점(키 프레임)을 찾는 것을 목표로 한다.
본 논문에서는 실시간으로 작동 가능한 고성능 다중 객체 추적을 위해 최적의 검출 기반 추적 메커니즘을 결정할 수 있는 Detector Scheduler를 제안한다. 제안된 방법에서는 의사 레이블과 Detector Scheduling 손실 함수 기반으로 Detector Scheduler를 학습한다.
본 연구에서는 이 문제를 해결하기 위해 높은 연산 비용이 필요한 검출기를 매 프레임마다 실행할 필요 없이 추적을 진행할 수 있는 방법을 제시한다. 본 방법은 인접 프레임 간의 유사한 컨텍스트(context)를 가진 특정 프레임에서 객체 카디널리티(cardinality)와 객체 외형(appearance)의 변화가 적다는 점을 이용한다.

제안 방법

이 학습 데이터 셋은 14-30Hz 프레임의 동적/정적 카메라에서 캡처된 7개의 시퀀스로 구성된다. SOTA 모델 간의 비교 평가를 위해 MOT16, MOT17 및 MOT20 테스트 데이터 셋에서 Detector Scheduler를 실행하고 챌린지 서버에서 성능을 평가한다. 절제 실험(ablation study)의 경우 MOT15 학습 데이터 셋을 검증 데이터 셋으로 활용한다.
본 논문에서는 실시간으로 작동 가능한 고성능 다중 객체 추적을 위해 최적의 검출 기반 추적 메커니즘을 결정할 수 있는 Detector Scheduler를 제안한다. 제안된 방법에서는 의사 레이블과 Detector Scheduling 손실 함수 기반으로 Detector Scheduler를 학습한다. 결과적으로, 검출 유무에 따른 추적 차이를 줄임으로써 자가 학습 방법을 통해 Detector Scheduler를 학습시킬 수 있다.

대상 데이터

실험에 사용할 데이터 셋은 baseline이 MOTChallenge 데이터 셋으로 학습하였기 때문에 본 모델 또한 이 데이터 셋으로 학습한다. Detector Scheduler를 학습하기 위해 MOT17 학습 데이터 셋을 사용한다. 이 학습 데이터 셋은 14-30Hz 프레임의 동적/정적 카메라에서 캡처된 7개의 시퀀스로 구성된다.
실험에 사용할 데이터 셋은 baseline이 MOTChallenge 데이터 셋으로 학습하였기 때문에 본 모델 또한 이 데이터 셋으로 학습한다. Detector Scheduler를 학습하기 위해 MOT17 학습 데이터 셋을 사용한다.
Detector Scheduler를 학습하기 위해 MOT17 학습 데이터 셋을 사용한다. 이 학습 데이터 셋은 14-30Hz 프레임의 동적/정적 카메라에서 캡처된 7개의 시퀀스로 구성된다. SOTA 모델 간의 비교 평가를 위해 MOT16, MOT17 및 MOT20 테스트 데이터 셋에서 Detector Scheduler를 실행하고 챌린지 서버에서 성능을 평가한다.
SOTA 모델 간의 비교 평가를 위해 MOT16, MOT17 및 MOT20 테스트 데이터 셋에서 Detector Scheduler를 실행하고 챌린지 서버에서 성능을 평가한다. 절제 실험(ablation study)의 경우 MOT15 학습 데이터 셋을 검증 데이터 셋으로 활용한다. 단, 학습에 사용되었던 중복된 시퀀스는 사용하지 않는다.

데이터처리

2장에서는 본 연구와 연관된 기존 연구에 대해 기술하고, 3장에서는 본 연구의 핵심인 Detector Scheduler에 기술한다. 4장에서는 본 연구에서 제안하는 Detector Scheduler를 결합한 모델을 MOT 벤치마크 챌린지 데이터 셋에서 절제 실험을 수행하고, 최신 다중 객체 추적기와 비교 평가를 수행한다. 최종적으로 5장에서는 본 연구의 결론을 기술한다.

성능/효과

결과적으로 검출기 실행 없이 모션 모델로 추적을 수행함으로써 전체 추적 속도를 향상할 수 있다. 이를 위해 우리는 일정 간격(즉, 프레임 도메인 내 균일 샘플링)마다 검출기 실행 스킵(skip)을 적용할 수 있다.
제안된 방법에서는 의사 레이블과 Detector Scheduling 손실 함수 기반으로 Detector Scheduler를 학습한다. 결과적으로, 검출 유무에 따른 추적 차이를 줄임으로써 자가 학습 방법을 통해 Detector Scheduler를 학습시킬 수 있다. 또한, 광범위한 절제 실험과 SOTA 모델 간의 비교를 통해, 본 방법이 MOTA의 손실을 최소화하면서 전체 추적 속도를 높이는 데 유리하다는 것을 검증한다.
결과적으로, 검출 유무에 따른 추적 차이를 줄임으로써 자가 학습 방법을 통해 Detector Scheduler를 학습시킬 수 있다. 또한, 광범위한 절제 실험과 SOTA 모델 간의 비교를 통해, 본 방법이 MOTA의 손실을 최소화하면서 전체 추적 속도를 높이는 데 유리하다는 것을 검증한다. 본 스케줄링 방법은 추후 실시간 작업이 필요한 산업 로봇 및 자율 주행 차량 등에 관한 분야로 확장할 수 있으리라 기대한다.

후속연구

또한, 광범위한 절제 실험과 SOTA 모델 간의 비교를 통해, 본 방법이 MOTA의 손실을 최소화하면서 전체 추적 속도를 높이는 데 유리하다는 것을 검증한다. 본 스케줄링 방법은 추후 실시간 작업이 필요한 산업 로봇 및 자율 주행 차량 등에 관한 분야로 확장할 수 있으리라 기대한다. 우리는 본 방법이 향후 실시간 MOT의 중요한 가이드라인이 될 수 있으리라 믿는다.

참고문헌 (30)

Wang, Zhongdao, et al., "Towards real-time multi-object tracking.", European Conference on Computer Vision, pp. 767-770, Aug. 2020, DOI: https://doi.org/10.1007/978-3-030-58621-8_7
Wojke, Nicolai, Alex Bewley, and Dietrich Paulus, "Simple online and realtime tracking with a deep association metric.", 2017 IEEE international conference on image processing (ICIP), pp. 107-122, Sep. 2020, DOI: https://doi.org/10.1109/icip.2017.8296962
Lu, Zhichao, et al., "Retinatrack: Online single stage joint detection and tracking.", Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 14668-14678, Jun. 2020, DOI: https://doi.org/10.1109/CVPR42600.2020.01468
Zhang, Yifu, et al., "Fairmot: On the fairness of detection and re-identification in multiple object tracking.", International Journal of Computer Vision 129.11, pp. 3069-3087, Nov. 2021, DOI:https://doi.org/10.1007/s11263-021-01513-4

상세보기
Zhu, Xizhou, et al., "Towards high performance video object detection.", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7210-7218, Jun. 2018, DOI:https://doi.org/10.1109/cvpr.2018.00753
Luo, Hao, et al., "Detect or track: Towards cost-effective video object detection/tracking.", Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. No. 01, pp. 8803-8810, Jan. 2019, DOI: https://doi.org/10.1609/aaai.v33i01.33018803

상세보기
Chen, Kai, et al., "Optimizing video object detection via a scale-time lattice.", Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7814-7823, Jun. 2018, DOI: https://doi.org/10.1109/CVPR.2018.00815
Yu, Fengwei, et al., "Poi: Multiple object tracking with high performance detection and appearance feature.", European Conference on Computer Vision, pp. 36-42, Nov. 2016, DOI: https://doi.org/10.1007/978-3-319-48881-3_3
Feichtenhofer, Christoph, Axel Pinz, and Andrew Zisserman, "Detect to track and track to detect.", Proceedings of the IEEE international conference on computer vision, pp. 3038-3046, Oct. 2017, DOI: https://doi.org/10.1109/ICCV.2017.330
Zhu, Xizhou, et al., "Deep feature flow for video recognition.", Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2349-2358, Jul. 2017, DOI: https://doi.org/10.1109/CVPR.2017.441
Yao, Chun-Han, et al., "Video object detection via object-level temporal aggregation.", European conference on computer vision, pp. 160-177, Nov. 2020, DOI: https://doi.org/10.1007/978-3-030-58568-6_10
Chen, Ting, et al., "Self-supervised gans via auxiliary rotation loss.", Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 12154-12163, Jun. 2019, DOI:10.1109/CVPR.2019.01243
Noroozi, Mehdi, et al., "Boosting self-supervised learning via knowledge transfer.", Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 9359-9367, Jun. 2018, DOI: https://doi.org/10.1109/CVPR.2018.00975
Wang, Qiang, et al., "Multiple object tracking with correlation learning.", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3876-3886, Jun. 2021, DOI: https://doi.org/10.1109/CVPR46437.2021.00387
Dosovitskiy, Alexey, et al., "Flownet: Learning optical flow with convolutional networks.", Proceedings of the IEEE international conference on computer vision, pp. 2758-2766, Dec. 2015, DOI:https://doi.org/10.1109/ICCV.2015.316
Karthik, Shyamgopal, Ameya Prabhu, and Vineet Gandhi, "Simple unsupervised multi-object tracking.", arXiv preprint arXiv:2006.02609, 2020, DOI: https://doi.org/10.48550/arXiv.2006.02609
Kalman, Rudolph Emil, "A new approach to linear filtering and prediction problems.", Journal of Fluids Engineering Vol 82, pp. 35-45, Mar. 1960, DOI: https://doi.org/10.1115/1.3662552

상세보기
Kuhn, Harold W, "The Hungarian method for the assignment problem.", Naval research logistics quarterly 2.1-2, pp. 83-97, Mar. 1955, DOI: https://doi.org/10.1002/nav.3800020109

상세보기
Milan, Anton, et al., "MOT16: A benchmark for multi-object tracking.", arXiv preprint arXiv:1603.00831, 2016, DOI: https://doi.org/10.48550/arXiv.1603.00831
Bernardin, Keni, and Rainer Stiefelhagen, "Evaluating multiple object tracking performance: the clear mot metrics.", EURASIP Journal on Image and Video Processing May 2008, pp. 1-10, 2008, DOI: https://doi.org/10.1155/2008/246309
Pang, Jiangmiao, et al., "Quasi-dense similarity learning for multiple object tracking.", Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 164-173, Jun. 2021, DOI: https://doi.org/10.1109/CVPR46437.2021.00023
Peng, Jinlong, et al., "Chained-tracker: Chaining paired attentive regression results for end-to-end joint multiple-object detection and tracking.", European conference on computer vision, pp. 145-161, Oct. 2020, DOI: https://doi.org/10.1007/978-3-030-58548-8_9
Babaee, Maryam, Zimu Li, and Gerhard Rigoll, "A dual cnn-rnn for multiple people tracking.", Neurocomputing 368, pp. 69-83, Nov. 2019, DOI: https://doi.org/10.1016/j.neucom.2019.08.008

상세보기
Lin, Xufeng, et al., "On the detection-to-track association for online multi-object tracking.", Pattern Recognition Letters 146, pp. 200-207, Jun. 2021, DOI: https://doi.org/10.1016/j.patrec.2021.03.022

상세보기
Wu, Jialian, et al., "Track to detect and segment: An online multi-object tracker.", Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp, 12352-12361, Jun. 2021, DOI: https://doi.org/10.1109/CVPR46437.2021.01217
Pang, Bo, et al., "Tubetk: Adopting tubes to track multi-object in a one-step training model.", Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 6308-6318, Jun. 2020, DOI: https://doi.org/10.1109/CVPR42600.2020.00634
Wang, Yongxin, Kris Kitani, and Xinshuo Weng, "Joint object detection and multi-object tracking with graph neural networks." 2021 IEEE International Conference on Robotics and Automation (ICRA), pp. 13708-13715, 2021, DOI: https://doi.org/10.1109/ICRA48506.2021.9561110
Zhou, Xingyi, Vladlen Koltun, and Philipp Krahenbuhl, "Tracking objects as points.", European Conference on Computer Vision, pp. 474-490, Oct. 2020, DOI: https://doi.org/10.1007/978-3-030-58548-8_28
Zheng, Linyu, et al., "Improving multiple object tracking with single object tracking.", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2453-2462, Jun. 2021, DOI: https://doi.org/10.1109/CVPR46437.2021.00248
Tokmakov, Pavel, et al., "Learning to track with object permanence.", Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 10860-10869, Oct. 2021, DOI: https://doi.org/10.1109/iccv48922.2021.01068

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증