[논문]CPU 환경에서의 실시간 동작을 위한 딥러닝 기반 다중 객체 추적 시스템

김경훈; 허준호; 강석주

doi:10.5909/jbe.2020.25.2.192

CPU 환경에서의 실시간 동작을 위한 딥러닝 기반 다중 객체 추적 시스템
Towards Real-time Multi-object Tracking in CPU Environment 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.2, 2020년, pp.192 - 199

김경훈 (서강대학교 전자공학과) , 허준호 (서강대학교 전자공학과) , 강석주 (서강대학교 전자공학과)

초록
AI-Helper

최근 딥러닝 모델을 기반으로 한 객체 추적 알고리즘의 활용도가 증가하고 있다. 영상에서의 다중 객체의 추적을 위한 시스템은 대표적으로 객체 검출 알고리즘과 객체 추적 알고리즘의 연쇄된 형태로 구성되어있다. 하지만 여러 모듈로 구성된 연쇄 형태의 시스템은 고성능 컴퓨팅 환경을 요구하며 실제 어플리케이션으로의 적용에 제한사항으로 존재한다. 본 논문에서는 위와 같은 객체 검출-추적의 연쇄 형태의 시스템에서 객체 검출 모듈의 연산 관련 프로세스를 조정하여 저성능 컴퓨팅 환경에서도 실시간 동작을 가능하게 하는 방법을 제안한다.

Abstract ▼ AI-Helper

Recently, the utilization of the object tracking algorithm based on the deep learning model is increasing. A system for tracking multiple objects in an image is typically composed of a chain form of an object detection algorithm and an object tracking algorithm. However, chain-type systems composed of several modules require a high performance computing environment and have limitations in their application to actual applications. In this paper, we propose a method that enables real-time operation in low-performance computing environment by adjusting the computational process of object detection module in the object detection-tracking chain type system.

주제어

표/그림 (9)

그림 그림 1. 다중 객체 추적 영상 결과 Fig. 1. Multi-object tracking video result
그림 그림 2. 칼만 필터 기반 다중 객체 추적 시스템 개요 Fig. 2. Kalman filter-based Multi-Object Tracking System Overview
그림 그림 3. 딥러닝 기반 다중 객체 추적 시스템 개요 Fig. 3. Deep Learning-based Multi-Object Tracking System Overview
그림 그림 4. 칼만 필터 방식과 딥러닝 기반 추적 방식을 혼용한 방법 개요 Fig. 4. Overview of tracking method using Kalman filter and deep learning
그림 그림 5. 검출 프레임 비율에 따른 정확도와 속도 상관관계 Fig. 5. Accuracy and Speed Correlation with Detection Frame Rate
그림 그림 6. 여러 이전 프레임 정보를 추가 업데이트하는 방법 Fig. 6. Method to update previous to previous frame
그림 그림 7. 비슷한 이미지 특징 정보를 가진 두 객체가 겹칠 때 기존 방법과 제안하는 방법 비교 Fig. 7. Comparison between existing and proposed methods when two objects have similar image features
표 표 2. 기존 방법과 2가지 제안 방법 적용 실험 결과 Table 2. Experimental results applying the original method and the two proposed method
표 표 1. 벤치마크에서 사용하는 함수 Table 1. Metrics used for benchmarking

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이는 일반적인 상황에서 프레임 사이의 정보 변화가 적고 모든 프레임에서 객체를 검출하는 것은 속도 측면에서 비효율적이라고 볼 수 있다. 그래서 본 저자는 객체 추적 시 모든 프레임에서의 객체 검출을 하지 않고 일부 프레임에서 객체 검출을 건너뛰는 방식으로 실행하면서 검출된 객체 정보를 추적 시스템에 적 용하여 동작 속도를 향상시킬 수 있는지 실험하였다.
본 논문에서는 기존 객체 검출-추적 기반의 연쇄된 형태의 알고리즘에서 객체 검출 정도를 조절하여 CPU 환경에서의 실시간 동작을 위한 방법을 제안한다. 매 프레임마다 객체 검출을 수행하는 대신 3개 프레임 간격마다 1개 프레임의 객체 검출을 건너뛰는, 객체 검출 프레임 빈도수를 조절하는 방법으로 전체 추적기의 동작 속도를 실시간 처리가 가능한 수준까지 개선하였다.
객체 추적 시스템의 구성이 대표적으로 객체 검출 - 추적의 형태임에 따라 최근 딥러닝 기반 검출, 추적기가 각각 적용되어 기존 대비 우수한 성능을 보이는 연구가 제안되었다^[9]. 본 논문에서는 이러한 딥러닝 모델이 적용된 다중 객체 추적 시스템에서 실시간 동작을 위한 방법을 제안하고 이에 대한 실험 결과를 공유한다.
최근에는 추적 모 듈에도 Convolutional Neural Network(CNN) 기반의 딥러닝 모델을 사용하여 객체 추적 문제를 개선하는 연구가 진행되고 있다^[9]. 본 논문에서는 최근 딥러닝 기반 다중 객체 추적 알고리즘의 CNN 기반 객체 특징 추출 과정을 변형하여 CPU 환경에서 실시간성 동작 속도 구현을 위한 방법을 제안한다. 그림 1은 본 논문에서 제안하는 기법을 적용한 다중 객체 추적의 결과 영상이다.

가설 설정

또한, 잡음까지 포함된 입력 데이터를 재귀적으로 처리하는 필터로써 현재 상태에 대한 최적의 통계적 예측을 진행할 수 있다. 칼만 필터는 선형 시스템을 기반으로 설계된 필터로써 정상상태 기준의 모델을 수행하였으므로, 선형 시스템이라고 가정할 수 있다. 칼만 필터의 알고리즘은 예측과 업데이트를 반복적으로 계산하여 시스템 출력 값의 잡음 영향을 최소화하고 출력 값을 예측한다.

제안 방법

그림 5에서 왼쪽 세로축은 정확도(%)이고 오른쪽 세로축은 속도(frame per second; fps)를 뜻한다. 가로축은 기존 방법과 스킵 비율을 조절하여 비교한 것이며 5프레임당 1프레임, 4프레임당 1프레임, 3프레임당 1프레임 건너뛰기 방법을 비교하였다.
이러한 결과는 추적에 연결하는 데이터양의 감소에 의한 것으로 보이며, 추가적으로 객체 이동 속도가 빠르거나 다른 객체의 가려짐이 여러 프레임 동안 발생한 경우로 분석된다. 두 번째 제안 방법인 여러 개의 이전의 프레임 정보를 추가 업데이트하는 방법을 이전 실험에 추가 적용하여 추가 실험 결과를 확인했다. 하나 더 이전의 프레임 정보를 추가 업데이트 시 객체 검출기를 통해 재검출하는 것이 아니라 이전 프레임에서 검출했던 정보를 저장해놨다가 재이용하는 것이기 때문에 추가적인 검출 연산량이 필요하지는 않다.
매 프레임마다 객체 검출을 수행하는 대신 3개 프레임 간격마다 1개 프레임의 객체 검출을 건너뛰는, 객체 검출 프레임 빈도수를 조절하는 방법으로 전체 추적기의 동작 속도를 실시간 처리가 가능한 수준까지 개선하였다. 또한, 하나 더 이전의 프레임 정보를 추적 알고리즘에 업데이트하여 추가 비교함으로써 추적 정확성을 향상시킨 방법을 제안한다.
본 논문에서는 기존 객체 검출-추적 기반의 연쇄된 형태의 알고리즘에서 객체 검출 정도를 조절하여 CPU 환경에서의 실시간 동작을 위한 방법을 제안한다. 매 프레임마다 객체 검출을 수행하는 대신 3개 프레임 간격마다 1개 프레임의 객체 검출을 건너뛰는, 객체 검출 프레임 빈도수를 조절하는 방법으로 전체 추적기의 동작 속도를 실시간 처리가 가능한 수준까지 개선하였다. 또한, 하나 더 이전의 프레임 정보를 추적 알고리즘에 업데이트하여 추가 비교함으로써 추적 정확성을 향상시킨 방법을 제안한다.

대상 데이터

본 논문에서는 MOT16^[8] 객체 추적 영상 데이터셋을 사용해 실험하였다. 실험은 Intel(R) Xeon(R) CPU E5-2687Wv4 @ 3.

데이터처리

00GHz 12 core CPU 환경에서 진행하였다. 기존 방법과 제안하는 방법의 성능을 평가하기 위해 표준 평가 지표인 CLEAR MOT^[6]를 포함한 7개의 지표를 사용하여 종합적으로 평가하였다.

이론/모형

참조). 그림 4는 칼만 필터 방식과 딥러닝 기반 객체 추적 시스템을 혼용한 DEEP SORT^[9] 알고리즘 의 개요이며 이는 기존 칼만필터를 통한 추적 방식^[11]에서 사용했던 IOU distance 알고리즘 대신 Mahalanobis distance 알고리즘을 적용하였고 이미지 특징 정보를 추출하는 CNN 기반 네트워크는 Deep cosine metric 알고리즘^[23]을 적용하여 구현하였다. 본 논문에서는 이 알고리즘 구조를 사용하여 실험하였고 동작 속도 측정 시 사용하는 객체 검출기는 사전 훈련된 YOLO-v3 모델^[10]을 사용하였다.
기존 다중 객체 추적 시스템은 검출 모듈을 딥러닝 모델로 사용하고 이후 추적 모듈을 칼만 필터 등과 같은 궤적 예측 알고리즘으로 사용하여 구현했다. 최근에는 추적 모 듈에도 Convolutional Neural Network(CNN) 기반의 딥러닝 모델을 사용하여 객체 추적 문제를 개선하는 연구가 진행되고 있다^[9].
그림 4는 칼만 필터 방식과 딥러닝 기반 객체 추적 시스템을 혼용한 DEEP SORT^[9] 알고리즘 의 개요이며 이는 기존 칼만필터를 통한 추적 방식^[11]에서 사용했던 IOU distance 알고리즘 대신 Mahalanobis distance 알고리즘을 적용하였고 이미지 특징 정보를 추출하는 CNN 기반 네트워크는 Deep cosine metric 알고리즘^[23]을 적용하여 구현하였다. 본 논문에서는 이 알고리즘 구조를 사용하여 실험하였고 동작 속도 측정 시 사용하는 객체 검출기는 사전 훈련된 YOLO-v3 모델^[10]을 사용하였다.
확보한 예측 값은 이후 프레임에서 새롭게 검출한 객체와의 연결에 적용된다. 할당 비용 매트릭스는 각 검출과 기존 표적에서 예측된 모든 경계 상자 사이의 교차-분산(IOU)거리로 계산되고 헝가리안 알고리즘^[22]을 사용하여 최적으로 해결한다. 또한, 대상에 대한 검출이 IOU min보다 작은 할당을 거부하기 위해 최소 IOU가 부과된다.

성능/효과

그러한 이유로 추가 실험 결과에서 동작 속도가 크게 줄어들지 않은 결과를 볼 수 있다. 또한, 본 실험을 통해 trade-off 관계인 정확도와 동작 속도의 반 비례성을 최소화 시켰고 테스트 영상에 따라 객체 검출 프레임을 건너뛰더라도 더 높은 종합 정확도(MOTA)를 얻는 결과를 확인할 수 있다. (표 2.
R-CNN 알고리즘이 발표되기 이전에는 객체 검출을 위해 주로 Scale Invariant Feature Transform(SIFT)^[15], Histogram of Oriented Gradient(HOG^)[14], Optical Flow^[16], haar-like features^[17]알고리즘 등이 자주 사용되었으며, 이는 영상에 존재하는 low-level feature에 기반을 두기 때문에 성능에 한계가 존재한다. 반면 R-CNN은 입력 영상에서 후보 영역을 만들고, 각 후보 영역에 대해 컨볼루션 신경망 을 사용하여 해당 영상에 대해 분류를 하는 방법을 적용하여 기존 연구 대비 매우 높은 성능 향상을 보였다. R-CNN이 발표된 이후 R-CNN을 개선하기 위한 많은 연구가 진행 되었는데, 대표적으로 SPP-Net^[18], Fast R-CNN^[19], Faster R-CNN^[20] 등이 있다.
3 퍼센트 정도, 다소 낮아진 결과를 얻었다. 실험 영상 중, 객체 간 가려짐이 많이 발생하는 MOT16-13 영상에서는 가장 낮은 정확도를 보였다. 이러한 결과는 추적에 연결하는 데이터양의 감소에 의한 것으로 보이며, 추가적으로 객체 이동 속도가 빠르거나 다른 객체의 가려짐이 여러 프레임 동안 발생한 경우로 분석된다.
기존 알고리즘은 CPU 환경에서 평균 약 4 fps 동작 속도를 보이며 실시간 동작과는 다소 거리가 멀다. 첫 번째 제안 방법인 객체 검출 프레임 비율을 조절하는 방법은 3개 프레임 간격마다 1개 프레임의 객체 검출을 건너뛰는 비율을 적용하여 객체 검출 연산량을 줄였고 평균 20 fps인 실시간 동작 속도를 얻을 수 있었지만, 정확도 측면에서는 0.3 퍼센트 정도, 다소 낮아진 결과를 얻었다. 실험 영상 중, 객체 간 가려짐이 많이 발생하는 MOT16-13 영상에서는 가장 낮은 정확도를 보였다.

참고문헌 (23)

Betke, Margrit, Esin Haritaoglu, and Larry S. Davis. "Real-time multiple vehicle detection and tracking from a moving vehicle." Machine vision and applications 12.2 (2000): 69-83.

상세보기
Hu, Weiming, et al. "A survey on visual surveillance of object motion and behaviors." IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews) 34.3 (2004): 334-352.

상세보기
Lu, Wei-Lwun, et al. "Learning to track and identify players from broadcast sports videos." IEEE transactions on pattern analysis and machine intelligence 35.7 (2013): 1704-1716.

상세보기
Murray, Samuel. "Real-time multiple object tracking-A study on the importance of speed." arXiv preprint arXiv:1709.03572 (2017).
Luo, Wenhan, et al. "Multiple object tracking: A literature review." arXiv preprint arXiv:1409.7618 (2014).
Bernardin, Keni, and Rainer Stiefelhagen. "Evaluating multiple object tracking performance: the CLEAR MOT metrics." EURASIP Journal on Image and Video Processing 2008 (2008): 1-10.
Ristani, Ergys, et al. "Performance measures and a data set for multi-target, multi-camera tracking." European Conference on Computer Vision. Springer, Cham, 2016.
Milan, Anton, et al. "MOT16: A benchmark for multi-object tracking." arXiv preprint arXiv:1603.00831 (2016).
Wojke, Nicolai, Alex Bewley, and Dietrich Paulus. "Simple online and realtime tracking with a deep association metric." 2017 IEEE international conference on image processing (ICIP). IEEE, 2017. doi: 10.1109/ICIP.2017.8296962
Redmon, Joseph, et al. "You only look once: Unified, real-time object detection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
A. Bewley, Z. Ge, L. Ott, F. Ramos and B. Upcroft, "Simple online and realtime tracking," 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, AZ, 2016, pp. 3464-3468. doi: 10.1109/ICIP.2016.7533003
LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324. doi: 10.1109/5.726791

상세보기
Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.
Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection." 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Vol. 1. IEEE, 2005.
Lowe, David G. "Object recognition from local scale-invariant features." Proceedings of the seventh IEEE international conference on computer vision. Vol. 2. Ieee, 1999.
Horn, Berthold KP, and Brian G. Schunck. "Determining optical flow." Techniques and Applications of Image Understanding. Vol. 281. International Society for Optics and Photonics, 1981.
Viola, Paul, and Michael Jones. "Rapid object detection using a boosted cascade of simple features." Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition. CVPR 2001. Vol. 1. IEEE, 2001.
He, Kaiming, et al. "Spatial pyramid pooling in deep convolutional networks for visual recognition." IEEE transactions on pattern analysis and machine intelligence 37.9 (2015): 1904-1916.

상세보기
Girshick, Ross. "Fast r-cnn." Proceedings of the IEEE international conference on computer vision. 2015.
Ren, Shaoqing, et al. "Faster r-cnn: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.
Liu, Wei, et al. "Ssd: Single shot multibox detector." European conference on computer vision. Springer, Cham, 2016.
Kuhn, Harold W. "The Hungarian method for the assignment problem." Naval research logistics quarterly 2.1-2 (1955): 83-97.

상세보기
Wojke, Nicolai, and Alex Bewley. "Deep cosine metric learning for person re-identification." 2018 IEEE winter conference on applications of computer vision (WACV). IEEE, 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증