본 논문에서는 에지를 사용한 관측 모델과 파티클 필터를 이용하여 실시간으로 객체를 추적하는 방법을 제안한다. 논문에서 제안하는 방법은 먼저, 초기 프레임에서 추적하고자 하는 객체를 지정한다. 지정된 객체에 대해 에지 관측 모델과 N개의 파티클 필터 집합을 생성한다. 에지 관측 모델과 파티클의 8방향 에지 모델의 중간 거리 평균을 비교하여 가중치를 계산하고, 계산된 값으로 가중치를 업데이트한다. 업데이트된 가중치를 이용해 파티클들을 리샘플링한 후, 추적 객체의 상태인 현재 위치를 추정할 수 있다. 마지막으로 본 논문에서 제안하는 방법은 여러 실험 데이터를 이용하여 기존의 방법과의 비교분석을 통해 안정적인 추적에 대한 성능을 입증한다.
본 논문에서는 에지를 사용한 관측 모델과 파티클 필터를 이용하여 실시간으로 객체를 추적하는 방법을 제안한다. 논문에서 제안하는 방법은 먼저, 초기 프레임에서 추적하고자 하는 객체를 지정한다. 지정된 객체에 대해 에지 관측 모델과 N개의 파티클 필터 집합을 생성한다. 에지 관측 모델과 파티클의 8방향 에지 모델의 중간 거리 평균을 비교하여 가중치를 계산하고, 계산된 값으로 가중치를 업데이트한다. 업데이트된 가중치를 이용해 파티클들을 리샘플링한 후, 추적 객체의 상태인 현재 위치를 추정할 수 있다. 마지막으로 본 논문에서 제안하는 방법은 여러 실험 데이터를 이용하여 기존의 방법과의 비교분석을 통해 안정적인 추적에 대한 성능을 입증한다.
In this paper, we propose a method that is tracking an object in real time using particle filter and the observation model with edge. First of all, the proposed method defines the object to be tracked in the initial frame. Then, it generates the edge observation model for the object to be tracked an...
In this paper, we propose a method that is tracking an object in real time using particle filter and the observation model with edge. First of all, the proposed method defines the object to be tracked in the initial frame. Then, it generates the edge observation model for the object to be tracked and a set of particles. It calculates the weight by comparing the average of the middle distance in eight-way of particle filter edge model with that in edge observation model, and then updates the weight with the calculated value. After resampling particles using the updated weights, it estimates the current location of the tracked object. Finally, this paper demonstrates the performance of the stable tracking through comparison with the existing method by using a number of experimental data.
In this paper, we propose a method that is tracking an object in real time using particle filter and the observation model with edge. First of all, the proposed method defines the object to be tracked in the initial frame. Then, it generates the edge observation model for the object to be tracked and a set of particles. It calculates the weight by comparing the average of the middle distance in eight-way of particle filter edge model with that in edge observation model, and then updates the weight with the calculated value. After resampling particles using the updated weights, it estimates the current location of the tracked object. Finally, this paper demonstrates the performance of the stable tracking through comparison with the existing method by using a number of experimental data.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
[5] 그러나, 색상 성분을 이용한 색상 히스토그램의 경우에는 공간적 배치는 무시되고, 색상 기반의 추적기들은 비슷한 색상을 가진 배경에 의해 쉽게 혼란을 겪게 된다는 단점이 있다.[2] 본 논문에서는 색상 성분에 구애받지 않고, 에지 특징만을 이용한 관측 모델을 생성하는 방법을 제안한다. 에지는 영상의 색상 및 조명 변화에 크게 영향을 받지 않고, 복잡한 무늬를 가진 객체에도 불변하기 때문에 관측 모델의 특징으로 사용할 수 있다.
본 논문에서는 성능 향상을 위해 에지를 이용하여 관측 모델(Observation model)을 생성하고, 파티클 필터 알고리즘을 이용하여 객체를 추적하는 방법을 제안한다. 그림 1의 시스템 흐름도와 같이 먼저 초기 프레임에서 추적하고자 하는 객체를 지정한다.
본 논문에서는 에지를 이용한 관측 모델을 생성하고, 파티클 필터에 적용하여 실시간으로 객체를 추적하는 방법을 제안하였다. 에지 관측 모델과 파티클의 8방향 에지 모델의 중간 거리 평균을 비교함으로써 유사도를 측정하고, 가중치를 업데이트한다.
본 논문에서는 초기 프레임에서 에지 영상을 생성한 후, 초기 영역에서 사용자가 지정한 영역 중심으로부터 8방향으로 가장 가까운 에지를 탐색하여 그림 2와 같은 관측모델을 생성하는 것을 제안한다. 8방향의 거리 값과 각도를 가진 하나의 관측모델을 생성하여 파티클 필터 알고리즘의 업데이트 단계에서 사용된다.
본 논문의 실험에서는 초기화 단계 (Initialization Step)에서 사용자가 추적하고자 하는 객체의 영역을 지정하였다. 또, 선택된 영역에 대해 2장에서 언급한 관측 모델을 생성한다.
가설 설정
예측 단계 (Prediction Step) 는 추적하는 객체의 이동량에 따라 그 이동량만큼 파티클들을 이동시킨다. 본 논문에서의 실험은 프레임 별 이동 변화가 작은 객체에 적용하기 때문에, 이동시킬 파티클의 이동량이 작아 실험에 영향을 주지 않는다고 가정한다.
제안 방법
그림 5는 그림 4의 실험결과를 바탕으로 추적하고자 하는 객체의 실제 중심 좌표와 (1), (2), (3) 세 가지의 방법으로 추정된 중심좌표의 거리 차를 비교하였다. (1) HSI 색상 모델 기반 파티클 필터와 (2) HOG특징 기반 파티클 필터, (3) 제안하는 에지 관측 모델을 이용한 파티클 필터로 수행되어 추정된 좌표와 추적하고자 하는 객체의 실제 중심 좌표 사이에 오차 거리를 그래프로 표현하였다. 그림 5의 그래프에서 보듯이, 파란색으로 표현된 HSIcolor_오차거리는 객체의 실제 중심 좌표와 (1) HSI 색상 모델 기반 파티클 필터로 추정된 좌표에 대한 오차 거리이다.
초기 프레임에서 사용자가 추적하고자 하는 객체를 지정한후, 그 객체에 대한 에지 관측 모델과 가중치가 동일한 N개의 파티클을 생성한다. 각 파티클들에 대해 8방향 에지 모델을 생성하고, 초기 프레임에서 생성된 에지 관측 모델 M과 비교하여 가중치를 계산한다. 계산된 값으로 각 파티클의 가중치 #를 업데이트 한다.
초기 N개의 파티클 집합을 생성한 후, 관측 모델 기반으로 예측한다. 다음으로 에지 관측 모델과 파티클들의 에지 모델을 비교하여 각 파티클들의 가중치를 업데이트한다. 마지막으로 업데이트된 가중치를 가진 파티클들을 리샘플링하고 이동 객체 상태인 위치를 추정하는 과정으로 이루어진다.
M의 Θj와 mDisj는 파티클 필터 단계 중 업데이트 단계에서 에지 관측 모델과 t시간에서의 각 파티클의 8방향 에지 모델을 비교하여 파티클의 가중치 #를 업데이트할 때 사용된다. 또한, 에지 관측 모델의 8방향 거리에 대한 비율을 이용하여 이동 객체의 원근에 의한 추적 오차를 줄였다.
본 논문에서는 에지 관측 모델을 가진 파티클 필터의 성능을 평가하기 위하여 5개의 동영상을 실험 영상으로 사용하였다. 실험을 위해 본 논문에서는 (1) HSI 색상 모델 기반 파티클 필터를 이용한 방법, (2) HOG특징 기반 파티클 필터를 이용한 방법, (3) 에지 관측 모델을 가진 파티클 필터를 이용한 방법의 성능을 비교하였다. 표 1에서 보듯이, 파티클 필터에 사용되는 객체 특징 중 많이 사용되는 HSI 색상 모델과 HOG 특징을 이용하여 파티클 필터의 객체 추적 성능을 비교하기 위한 방법으로 사용하였다.
본 논문에서는 에지를 이용한 관측 모델을 생성하고, 파티클 필터에 적용하여 실시간으로 객체를 추적하는 방법을 제안하였다. 에지 관측 모델과 파티클의 8방향 에지 모델의 중간 거리 평균을 비교함으로써 유사도를 측정하고, 가중치를 업데이트한다. 다음 프레임에서 사용할 파티클들은 업데이트된 가중치를 이용해 리샘플링 하였다.
이를 개선하기 위해 본 논문에서는 관측 모델을 생성하기 위해 다양한 특징 중 하나인 에지를 사용하였다. 에지는 영상의 색상과 조명 변화에 대한 영향이 적고, 혼합된 색상을 가진 객체에 대해서도 불변하다는 장점이 있다.
지정한 객체에 대해 에지 관측 모델을 생성한다. 초기 N개의 파티클 집합을 생성한 후, 관측 모델 기반으로 예측한다. 다음으로 에지 관측 모델과 파티클들의 에지 모델을 비교하여 각 파티클들의 가중치를 업데이트한다.
실험을 위해 본 논문에서는 (1) HSI 색상 모델 기반 파티클 필터를 이용한 방법, (2) HOG특징 기반 파티클 필터를 이용한 방법, (3) 에지 관측 모델을 가진 파티클 필터를 이용한 방법의 성능을 비교하였다. 표 1에서 보듯이, 파티클 필터에 사용되는 객체 특징 중 많이 사용되는 HSI 색상 모델과 HOG 특징을 이용하여 파티클 필터의 객체 추적 성능을 비교하기 위한 방법으로 사용하였다.
대상 데이터
본 논문에서는 에지 관측 모델을 가진 파티클 필터의 성능을 평가하기 위하여 5개의 동영상을 실험 영상으로 사용하였다. 실험을 위해 본 논문에서는 (1) HSI 색상 모델 기반 파티클 필터를 이용한 방법, (2) HOG특징 기반 파티클 필터를 이용한 방법, (3) 에지 관측 모델을 가진 파티클 필터를 이용한 방법의 성능을 비교하였다.
파티클의 총 개수인 N은 사용자가 원하는 개수로 설정할 수 있고, N이 클수록 추적에 대한 정확도를 높일 수 있다. 본 논문에서는 최대 999개의 파티클을 사용하였다.
데이터처리
표 3은 각 비디오 영상에서 객체가 제대로 추적되었는지에 대한 성공률을 이용하여 (1) HSI 색상 모델 기반 파티클 필터와 (2) HOG특징 기반 파티클 필터, (3)제안하는 파티클 필터의 성능을 비교하였다. 표 3에서 Correct는 각 비디오 영상에서 객체가 추적에 성공한 프레임의 개수를 나타내고, %는 각 비디오에 대한 객체 추적 성공률을 나타낸다.
이론/모형
영상내의 객체 추적을 하기 위해 Camshift, Meanshift, Kalman filter, Particle filter 등 다양한 알고리즘을 사용한다. 본 논문에서는 객체를 추적하기 위해 최근 활발하게 연구되고 있는 파티클 필터(Particle Filter)를 이용하였다. 표 1은 파티클 필터로 객체를 추적할 때 사용되는 객체의 특징을 분류한 것이다.
객체 추적은 모바일 로봇, 차량 추적, 의료 촬영, 비디오 압축, 증강 현실 등 컴퓨터 비전 분야에서 많이 다루어지고 있다. 영상내의 객체 추적을 하기 위해 Camshift, Meanshift, Kalman filter, Particle filter 등 다양한 알고리즘을 사용한다. 본 논문에서는 객체를 추적하기 위해 최근 활발하게 연구되고 있는 파티클 필터(Particle Filter)를 이용하였다.
성능/효과
이것은 시스템의 상태가 시간에 따라 진화하고, 상태에 대한 정보가 각 단계에서 생긴 노이즈 측정값에 따라 얻어지는 state-space model에서 추론을 수행하는 일반적인 Monte Carlo (sampling) 방법이다.[3] 파티클 필터에 사용되는 각각의 파티클들은 상태 변수(state variable)와 가중치(weight)를 가지고 있다. 따라서, t시간에서의 i번째 파티클 집합 #는 식 2와 같이 상태 변수 #와 가중치 #로 구성된 집합으로 표현된다.
또한, 방법 (2)인 HOG 특징 기반 파티클 필터는 객체의 기하학적 정보는 유지 되지만, 회전 등에 의해 객체의 형태변화가 심하거나 객체의 HOG특징과 비슷한 배경으로 인해 객체 추적이 어렵다. 그러나 본 논문에서 제안한 방법을 사용하였을 경우는 배경과 객체의 내부패턴의 복잡함은 물론 무늬가 있는 객체로 인한 색 혼합도, 조명의 변화에 크게 영향을 받지 않고 객체와 유사한 배경에 의한 추적의 혼돈이 적기 때문에 객체 추적의 정확성이 우수함을 확인할 수 있다.
이는 평균 40정도의 오차 거리로, HSIcolor_오차거리에 비해 나은 결과를 보였다. 그러나, 초록색으로 표현된 객체의 실제 중심 좌표와 (3) 제안하는 파티클 필터로 추정된 좌표에 대한 오차 거리인 proposed_오차거리는 평균 15에서 20정도의 오차 거리를 보였다. 세 개의 오차 거리를 비교해보면 제안하는 파티클 필터의 오차 거리가 가장 적게 나타남을 볼 수 있다.
표 3에서 Correct는 각 비디오 영상에서 객체가 추적에 성공한 프레임의 개수를 나타내고, %는 각 비디오에 대한 객체 추적 성공률을 나타낸다. 성능 결과표에서 보듯이, 본 논문에서 제안한 방법은 방법 (1), 방법 (2)에 비해 우수한 성능을 확인할 수 있다. 방법 (1)인 HSI 색상 모델 기반 파티클 필터는 객체의 움직임 속도, 객체와 유사한 배경, 객체의 색 혼합도에 의해 정확성이 떨어지게 된다.
그러나, 초록색으로 표현된 객체의 실제 중심 좌표와 (3) 제안하는 파티클 필터로 추정된 좌표에 대한 오차 거리인 proposed_오차거리는 평균 15에서 20정도의 오차 거리를 보였다. 세 개의 오차 거리를 비교해보면 제안하는 파티클 필터의 오차 거리가 가장 적게 나타남을 볼 수 있다. 이것은 에지 관측 모델을 가진 파티클 필터를 이용한 방법이 정확한 추적에 대해 더 나은 성능의 결과를 보여주고 있다.
실험 결과에서와 달리, 객체가 구부러지는 것과 같이 변화가 있는 객체를 추적하면 초기화 단계에서 생성된 에지 관측 모델과 달라지기 때문에 오차의 가능성이 있어서 불안정한 성능을 보였다. 향후 다양한 분야에 적용하기 위해 객체의 변화에 따라 에지 관측 모델을 업데이트하거나 여러 특징을 혼합하여 모델링을 하는 방법에 대한 추가적인 연구가 필요하다.
다음 프레임에서 사용할 파티클들은 업데이트된 가중치를 이용해 리샘플링 하였다. 에지 특징을 사용하여 추적하고자 하는 객체를 효율적으로 모델링하고, 파티클 필터를 통해 객체를 추적함으로써 표 3와 그림 5의 결과와 같이 기존의 방법보다 더 나은 성능을 보였음을 확인하였다.
후속연구
실험 결과에서와 달리, 객체가 구부러지는 것과 같이 변화가 있는 객체를 추적하면 초기화 단계에서 생성된 에지 관측 모델과 달라지기 때문에 오차의 가능성이 있어서 불안정한 성능을 보였다. 향후 다양한 분야에 적용하기 위해 객체의 변화에 따라 에지 관측 모델을 업데이트하거나 여러 특징을 혼합하여 모델링을 하는 방법에 대한 추가적인 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
영상내의 객체 추적을 하기 위해 사용하는 것은?
객체 추적은 모바일 로봇, 차량 추적, 의료 촬영, 비디오 압축, 증강 현실 등 컴퓨터 비전 분야에서 많이 다루어지고 있다. 영상내의 객체 추적을 하기 위해 Camshift, Meanshift, Kalman filter, Particle filter 등 다양한 알고리즘을 사용한다. 본 논문에서는 객체를 추적하기 위해 최근 활발하게 연구되고 있는 파티클 필터(Particle Filter)를 이용하였다.
색상 정보의 단점은?
가장 많이 사용되는 특징인 색상 정보는 잡음, 객체의 기울어짐, 부분적 가림 등에 강건하고 계산 속도가 빠른 장점이 있다[1]. 그러나 조명의 변화에 민감하고, 배경의 복잡함, 객체의 색상 혼합도 등으로 추적의 오류가 생겨 정확한 객체 추적에 어려움이 있다. 또한, HOG(Histogram of oriented gradient)는 객체의 에지정보를 이용하기 때문에 복잡하지 않은 객체를 식별하는데 적합하지만, 파티클의 개수가 많을수록 계산 시간이 오래 걸리고 회전되거나 형태변화가 심한 경우에는 검출이 어렵다는 단점이 있다.
객체 추적의 활용 분야는?
객체 추적은 모바일 로봇, 차량 추적, 의료 촬영, 비디오 압축, 증강 현실 등 컴퓨터 비전 분야에서 많이 다루어지고 있다. 영상내의 객체 추적을 하기 위해 Camshift, Meanshift, Kalman filter, Particle filter 등 다양한 알고리즘을 사용한다.
참고문헌 (9)
K. Nummiaro, E.K. Meier, and L.V. Cool, "An adaptive color-based particle filter," Image and Vision Computing, Vol. 21, No. 1, pp. 99-110, 2003. http://dx.doi.org/10.1016/S0262-8856(02)00129-4
C. Yang, R. Duraiswami, and L. Davis "Fast Multiple Object Tracking via a Hierarchical Particle Filter," International Conference on Computer Vision, Vol. 1, pp.212-219, November, 2005. http://dx.doi.org/10.1109/ICCV.2005.95
K. Okuma, A. Taleghani, N.D. Freitas, J.J. Littile, and D.G. Lowe, "A Boosted Particle Filter : Multitarget Detection and Tracking", European Conference on Computer Vision, pp. 28-39, 2004. http://dx.doi.org/10.1007/978-3-540-24670-1_3
Fen XU and Ming Gao, "Human Detection Tracking based on HOG and Particle Filter", International Congress on Image and Signal Processing, 2010. http://dx.doi.org/10.1109/CISP.2010.5646273
Z. H. Khan, I. Y. Gu and A. G. Backhouse, "Robust Visual Object Tracking Using Multi-Mode Anisotropic Mean Shift and Particle Filters," IEEE Trans. on Circuits and Systems for Video Technology, Vol. 21, pp.74-87, 2011. http://dx.doi.org/10.1109/TCSVT.2011.2106253
E. Orhan, "Particle Filtering", Center for Neural Science, University of Rochester, Rochester, NY, August, 2012.
B. C. Ko, J. Y. Nam, J. Y. Kwak, "Object Tracking Using Particle Filters in Moving Camera", The Korean Institute of Communications and Information Sciences, Vol.37A, No. 05, pp.375-387, 2012. http://dx.doi.org/10.7840/KICS.2012.37A.5.375
H. H. Lee, X. N. Cui, H. R. Kim, S. W. Ma, J. H. Lee, H. I. Kim, "Robust Object Tracking in Mobile Robots using Object Features and On-line Learning based Particle Filter", Journal of Institute of Control, Robotics and Systems, Vol 18, No. 06, pp.562-570, June, 2012. http://dx.doi.org/10.5302/J.ICROS.2012.18.6.562
Tran, Antoine, and Antoine Manzanera. "A versatile object tracking algorithm combining Particle Filter and Generalised Hough Transform." Image Processing Theory, Tools and Applications (IPTA), November, 2015 International Conference on (pp. 105-110). IEEE. http://dx.doi.org/10.1109/IPTA.2015.7367106
※ AI-Helper는 부적절한 답변을 할 수 있습니다.