[논문]다중 스케일 커널화 상관 필터를 이용한 견실한 객체 추적

윤준한; 김진헌

doi:10.7471/ikeee.2018.22.3.810

다중 스케일 커널화 상관 필터를 이용한 견실한 객체 추적
Robust Object Tracking based on Kernelized Correlation Filter with multiple scale scheme 원문보기

전기전자학회논문지 = Journal of IKEEE, v.22 no.3, 2018년, pp.810 - 815

윤준한 (Dept. of Computer Engineering, Seokyeong University) , 김진헌 (Dept. of Computer Engineering, Seokyeong University)

초록
AI-Helper

커널 상관 필터 알고리듬은 객체 추적에 대해 정확도에서 의미 있는 성과를 거두었다. 그러나 고정된 크기의 템플릿을 사용하기 때문에 추적 대상의 스케일 변화에 대처할 수 없었다. 본 논문에서는 최근접 보간법과 표준 가우시안 정규화를 이용한 다중 스케일에서의 상관 필터링 응답 값을 이용하여 프레임별로 가장 적합한 스케일을 찾아 객체를 추적하는 방식을 제안한다. 다음 프레임의 스케일 값들은 이전 프레임의 최적 스케일 값을 이용해 갱신하고 다시 해당 프레임에서의 최적의 스케일 값을 찾는다. 정확도 비교를 위해 기존 커널 상관 필터 알고리듬에서 사용된 VOT2014 데이터를 사용하여 제안된 방법의 유효성을 검증한다.

Abstract ▼ AI-Helper

The kernelized correlation filter algorithm yielded meaningful results in accuracy for object tracking. However, because of the use of a fixed size template, we could not cope with the scale change of the tracking object. In this paper, we propose a method to track objects by finding the best scale for each frame using correlation filtering response values in multi-scale using nearest neighbor interpolation and Gaussian normalization. The scale values of the next frame are updated using the optimal scale value of the previous frame and the optimal scale value of the next frame is found again. For the accuracy comparison, the validity of the proposed method is verified by using the VOT2014 data used in the existing kernelized correlation filter algorithm.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 상관 필터의 프레임워크를 기반으로 한 효과적인 추적 알고리듬을 제시하였다. 기존의 KCF에서는 고정된 크기의 템플릿 사용으로 객체의 스케일 변화에 대한 대처가 미흡하였다.
첫 번째로 대상 관측을 설명하기 위한 모양 모델을 채택하고 이와 모양이 가장 유사한 대상을 찾는 방법론이 있다. 이 유형의 추적 알고리듬의 주요 목표는 대상 이미지가 다양한 변화를 하더라도 이를 안정적으로 설명할 수 있는 모델을 생성하는 것이다. 해당 범주의 알고리듬에는 Mean shift tracker[12], Incremental tracker(IVT)[13], Fragment-based tracker(Frag)[14], L1-min tracker[15], Multi-task tracker(MTT)[16], Lowrank sparse tracker[17], 그리고 Structural sparse tracking [18] 등이 있다.
본 논문에서는 프레임마다 여러 스케일별로 대상 이미지 패치에 최근접 보간법(Nearest neighbor interpolation)을 적용하고 상관 필터링 응답 값을 구한다. 이후 각 스케일에 따른 응답 값들에 대해 가우시안 분포를 적용 후 최대 응답 값에 해당하는 적정 스케일을 찾아 기존 KCF 알고리듬의 성능을 향상하고자 한다. 제안한 알고리듬의 적용 과정은 다음과 같다.

제안 방법

본 논문에서는 여러 스케일링 값들에 대한 탐지 결과를 표준 가우시안 분포(Standard Gaussian Distribution)를 이용하여 정규화한 후, 가장 우수한 값에 해당하는 스케일링 값으로 갱신 후 적용하여 이를 해결한다.
KCF의 가장 큰 결점은 고정 크기의 템플릿 사용으로 인해 스케일 변화에 대한 대처가 미흡하다는 것이다. 본 논문에서는 프레임마다 여러 스케일별로 대상 이미지 패치에 최근접 보간법(Nearest neighbor interpolation)을 적용하고 상관 필터링 응답 값을 구한다. 이후 각 스케일에 따른 응답 값들에 대해 가우시안 분포를 적용 후 최대 응답 값에 해당하는 적정 스케일을 찾아 기존 KCF 알고리듬의 성능을 향상하고자 한다.
알고리듬별로 전체 25개 영상에 대한 평균 VOR 값과 평균 CLE 값을 비교하여 전반적인 성능을 비교하였고, 객체의 부분 가림(Occlusion) 영상들과 조명 변화, 모션 블러 등(Deformation)의 현상이 나타나는 영상들에 대해서도 같은 방법으로 성능을 비교하였다.
최근접 보간법이 적용된 다양한 스케일별 이미지 패치들에 대해 HOG(Histogram of Oriented Gradients) 특징을 추출한 후 푸리에 변환을 한다. 이후 해당 값들과 식 (3) 간의 상관 필터링 응답 값 r_n을 식 (4)를 이용해 구한다[27].

대상 데이터

본 논문에서 제안한 실험은 Intel(R) Core(TM) i7-7700 3.60GHz CPU와 16GB 메모리가 탑재된 PC에서 수행하였다.
기존의 KCF에서는 고정된 크기의 템플릿 사용으로 객체의 스케일 변화에 대한 대처가 미흡하였다. 제안된 알고리듬은 최근접 보간법과 가우시안 정규화를 이용한 다중 스케일 방식을 적용하여 이를 개선하였고, 다양한 객체 추적 시나리오가 담겨 있는 VOT 2014 데이터를 통해 이를 입증하였다.
추적 알고리듬의 성능 비교 시 가장 많이 사용되는 VOT2014 challenge 데이터를 이용하였다. 이미지 시퀀스로 제공되는 총 25개의 영상이 있으며, 부분 가림, 조명 변화, 모션 블러 등이 반영되어 있다.

데이터처리

이미지 시퀀스로 제공되는 총 25개의 영상이 있으며, 부분 가림, 조명 변화, 모션 블러 등이 반영되어 있다. 같은 실험 환경에서 기존의 추적 알고리듬인 Struck, MIL, IVT, KCF의 성능과 비교하였다.

이론/모형

앞서 계산한 스케일별 대상 이미지 패치 크기 u_n에 따라 원본 이미지 패치에 최근접 보간법을 적용한다. 이를 통해 스케일 적용을 통해 변환된 이미지 패치에서 상관 필터링 응답 값 계산에 사용될 특징을 좀 더 정확하게 추출할 수 있다.
이미지 패치 특징은 가우시안 커널 함수를 사용한 HoG(Histogram of Gaussian)를 사용하였으며, 기존의 KCF 알고리듬 실험 환경과 같도록 가우시안 커널의 σ는 0.5, HoG의 셀 크기는 4x4, orientation bins의 값은 9로 설정하였다.

성능/효과

이 방법은 많은 수의 중복 표본들이 있어야 하므로 이전에는 단점으로 간주하였으나 이들이 적절하게 구성될 시 대상 이미지를 잘 표현하는 순환 행렬을 형성하게 되며, 이에 대한 대각화는 DFT(Discrete Fourier Transform) 행렬을 사용할 시 효율적으로 계산될 수 있다는 이점을 갖게 된다. 따라서 오버샘플링 전략을 사용하여 DFT 대각화 후, 고정회귀문제(Ridge Regression)를 주파수 도메인에서 해결함으로써 적은 연산량으로 높은 정확도의 객체 추적이 가능해졌다.
표 1은 제안된 추적 알고리듬과 다른 4개 추적 알고리듬의 전반적인 성능을 보여 준다. 제안된 접근 방식은 평균 VOR에서 56.2%를 달성하였다. 이는 기존 KCF 보다 약 10% 향상되었음을 의미한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	상관 필터의 이점은 무엇인가?	최근 상관 필터(Correlation Filter)가 적용된 여러 추적 응용 애플리케이션들이 등장하고 있다[5] [6][7][8]. 상관 필터는 신호처리 분야에서 두 신호 사이의 유사성 척도로 쓰일 수 있는 메트릭을 제공 하고, 연산량이 많은 공간계열에서의 상관 연산 대신 푸리에 영역에서의 적은 연산으로 대체할 수 있는 이점이 있다.
	오버샘플링 전략의 이점은 무엇인가?	이때 오버샘플링 전략으로 찾고자 하는 대상 이미지에 대한 무작위 표본들을 학습 하는 대신 대상 이미지에서의 윈도우 내 가능한 모든 변환을 고려한다. 이 방법은 많은 수의 중복 표본들이 있어야 하므로 이전에는 단점으로 간주하였으나 이들이 적절하게 구성될 시 대상 이미지를 잘 표현하는 순환 행렬을 형성하게 되며, 이에 대한 대각화는 DFT(Discrete Fourier Transform) 행렬을 사용할 시 효율적으로 계산될 수 있다는 이점을 갖게 된다. 따라서 오버샘플링 전략을 사용하여 DFT 대각화 후, 고정회귀문제(Ridge Regression)를 주파수 도메인에서 해결함으로써 적은 연산량으로 높은 정확도의 객체 추적이 가능해졌다.
	시각적 객체 추적이란?	휴먼 컴퓨터 인터페이스, 동작 분석, 감시 등의 응용 애플리케이션에서 고전적이면서 가장 일반적으로 발생하는 문제 중의 하나가 시각적 객체 추적의 정확성이다. 시각적 객체 추적이란 비디오의 각 프레임에서 초기화된 시각적 대상의 위치를 추정 하는 것이다. 최근에 제안된 여러 객체 추적 방법 [1][2][3][4] 들도 조명 변화, 모션 블러, 회전 및 카메라 모션 등을 포함한 몇 가지 문제로 인해 제 성능을 발휘하지 못하고 있다.

참고문헌 (28)

A. Yilmaz, O. Javed, and M. Shah, "Object tracking: A survey," Acm computing surveys (CSUR), vol.38, no.4, pp. 13, 2006. DOI:10.1145/1177352.1177355

상세보기
S. Salti, A. Cavallaro, and L. D. Stefano, "Adaptive appearance modeling for video tracking: Survey and evaluation," Image Processing, IEEE Transactions on, vol.21, no.10, pp. 4334-4348, 2012. DOI:10.1109/TIP.2012.2206035

상세보기
Y. Wu, J. Lim, and M.-H. Yang, "Online object tracking: A benchmark. In Computer vision and pattern recognition," CVPR, 2013 IEEE Conference on, pp. 2411-2418. 2013.
A. Smeulders, D. Chu, R. Cucchiara, S. Calderara, A. Dehghan, and M. Shah, "Visual tracking: An experimental survey," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.36, no.7, pp. 1442-1468, 2014. DOI:10.1109/TPAMI.2013.230

상세보기
Boddeti, V.N., Kanade, T., Kumar, B.V.: "Correlation filters for object alignment," CVPR 2013 IEEE Conference on, pp. 2291-2298, 2013. DOI:10.1109/CVPR.2013.297
Galoogahi, H.K., Sim, T., Lucey, S. "Multichannel correlation filters," ICCV, pp. 4321-4328, 2013. DOI:10.1109/ICCV.2013.381
Henriques, J. F., Carreira, J., Caseiro, R., Batista, J, "Beyond hard negative mining: Efficient detector learning via block-circulant decomposition," ICCV, pp. 2760-2767, 2013. DOI:10.1109/ICCV.2013.343
Revaud, J., Douze, M., Cordelia, S., Jgou, H, "Event retrieval in large video collections with circulant temporal encoding," CVPR, 2013, pp. 2459-2466.
D. S. Bolme, J. R. Beveridge, B. A. Draper, Lui, Y. M, "Visual object tracking using adaptive correlation filters," CVPR, pp. 2544-2550, 2010. DOI:10.1109/CVPR.2010.5539960
Henriques, J. F., Carreira, J., Caseiro, R., Batista, J, "Beyond hard negative mining: Efficient detector learning via block-circulant decomposition," ICCV, pp. 2760-2767, 2013. DOI:10.1109/ICCV.2013.343
M. Kristan, R. Pflugfelder, A. Leonardis, J. Matas, L. Cehovin, G. Nebehay, T. Vojir, G. Fernandez, A. Lukezic, A. Dimitriev, et al, "The visual object tracking vot 2014 challenge results," Computer Vision-ECCV 2014 Workshops, 2014, pp. 191-217.
D. Comaniciu, V. Ramesh, and P. Meer, "Kernel-based object tracking. Pattern Analysis and Machine Intelligence," IEEE Transactions on, vol.25, no.5, pp. 564-577, 2003. DOI:10.1109/TPAMI.2003.1195991

상세보기
T. Poggio and G. Cauwenberghs, "Incremental and decremental support vector machine learning," Advances in neural information processing systems, pp. 409, 2001.
A. Adam, E. Rivlin, and I. Shimshoni, "Robust fragmentsbased tracking using the integral histogram," Computer vision and pattern recognition, 2006 IEEE Computer Society Conference on, vol.1, pp. 798-805, 2006. DOI10.1109/CVPR.2006.256
X. Mei and H. Ling, "Robust visual tracking using L1 minimization," Computer Vision, 2009 IEEE 12th International Conference on, pp. 1436-1443, 2009. DOI:10.1109/ICCV.2009.5459292
T. Zhang, B. Ghanem, S. Liu, and N. Ahuja, "Robust visual tracking via multi-task sparse learning," Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, pp. 2042-2049, 2012. DOI:10.1109/CVPR.2012.6247908
T. Zhang, B. Ghanem, S. Liu, and N. Ahuja, "Low-rank sparse learning for robust visual tracking," Computer Vision-ECCV 2012, pp. 470-484, 2012. DOI:10.1007/978-3-642-33783-3_34

상세보기
T. Zhang, S. L. C. Xu, S. Yan, B. Ghanem, N. Ahuja, and M.-H. Yang, "Structural sparse tracking," Computer Vision and Pattern Recognition (CVPR), 2015 IEEE Conference on, pp. 150-158, 2015. DOI:10.1109/CVPR.2015.7298610
B. Babenko, M.-H. Yang, and S. Belongie, "Visual tracking with online multiple instance learning," Computer Vision and Pattern Recognition, CVPR 2009. IEEE Conference on, pp. 983-990, 2009. DOI:10.1109/CVPR.2009.5206737
S. Avidan, "Ensemble tracking," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol.29, no.2, pp. 261-271, 2007. DOI:10.1109/TPAMI.2007.35

상세보기
S. Avidan, "Support vector tracking," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol.26, no.8, pp. 1064-1072, 2004. DOI:DOI:10.1109/TPAMI.2004.53

상세보기
B. Vijaya Kumar, "Minimum-variance synthetic discriminant functions," JOSA A, vol.3, no.10, pp. 1579-1584, DOI:1986.10.1364/JOSAA.3.001579

상세보기
J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "Exploiting the circulant structure of tracking-by-detection with kernels," Computer Vision-ECCV 2012, pp. 702-715, 2012. DOI:10.1007/978-3-642-33765-9_50

상세보기
J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "High speed tracking with kernelized correlation filters," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol.37, no.3, pp. 583-596, 2015. DOI:10.1109/TPAMI.2014.2345390

상세보기
T. Liu, G. Wang, and Q. Yang, "Real-time part-based visual tracking via adaptive correlation filters," Intelligence, pp. 2345-2390, 2015. DOI:10.1109/CVPR.2015.7299124
C. Ma, X. Yang, C. Zhang, and M.-H. Yang, "Long-term correlation tracking," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5388-5396, 2015. DOI:10.1109/CVPR.2015.7299177
Henriques, J. F., Caseiro, R., Martins, P., Batista, J. "High-speed tracking with kernelized correlation filters," TPAMI, vol.37, no.3, pp. 583-596, 2015. DOI:10.1109/TPAMI.2014.2345390

상세보기
Galoogahi, H. K., Sim, T., Lucey, S, "Multichannel correlation filters," ICCV, pp. 4321-4328, 2013. DOI:10.1109/ICCV.2013.381

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증