선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 잡음 및 객체의 기울어짐, 부분적 가림, 카메라의 떨림에 강건한 알고리즘을 개발하기 위해 우선 색상 분포에 대해 지역적인 픽셀의 위치를 고려하여 가중치 색상 모델을 생성하였다. 또한, 객체의 겹침, 조명 변화에 강인하도록 추적 파티클을 4x4 크기의 지역적 영역으로 분할하고 각 영역에서 추출된 질감 정보인 CS-LBP(Centre Symmetric Local Binary Patterns)에 대한 특징 모델을 각각 생성하여 사용하였다.
- 본 논문에서는 파티클 필터와 HSV 색상 모델,로컬 CS-LBP 질감 모델을 조합하여 실시간으로 객체를 추적하는 알고리즘을 제안하였다. 먼저, N개의 파티클을 생성하고, 각 파티클 별로 HSV와 로컬CS-LBP특징을 추출 하였다.
제안 방법
- 2.1장과 2.2장에서처럼 두 특징에 대한 관측 모델이 생성된 후에 타깃 특징 모델과 후보 파티클의 특징 모델 간의 거리를 측정한다. 본 논문에서는 유사성 측정에서 KL-distance, Euclidean-distance보다 우수한 것으로 알려진 바타차리야 계수[13]를 이용한 유사성 측정 방법을 이용한다.
- 등은 파티클 필터와 Distance transformation(DT)을 사용하여 객체를 추적하는 방법을 제안 하였다. 객체의 변화에 덜 민감한 DT 이미지를 생성하였고, 유사도 측정을 위해 크기와 회전에 민감하지 하도록 정규화한 교차상관관계(cross-correlation) 방법을 제안 하였다.
- 등은 각 파티클 윈도우에서 윈도우 영역을 지역(local)으로 분할하고 각 지역에서 Haar-like 특징을 추출한다. 관측 우도(likelihood)를 계산하기 위해 Ada-Boost방법을 응용하여 각 특징들에 대해약 분류기를 매 프레임마다 학습시키고 이를 기반으로 강한 분류기를 생성하여 객체를 추적하는데 사용하였다.
- 먼저, N개의 파티클을 생성하고, 각 파티클 별로 HSV와 로컬CS-LBP특징을 추출 하였다. 그리고 타깃의 특징과 N개 파티클 특징 간의 관측 우도를 각 특징 모델별로 바타차리야 거리를 이용하여 측정 하였다. 이렇게 측정된 관측 우도의 선형 결합으로 가중치를 갱신하고 가중치가 가장 높은 파티클을 새로운 타깃으로설정 한 뒤 다음 프레임에서 사용할 파티클들을 재샘플링 하였다.
- . 따라서 본 논문에서는 우선적으로 색상 정보를 추적을 위한 특징 값으로 사용 하였다. 일반적으로 RGB색상은 HSV 색상에 비해 조명 변화에더 민감함으로 파티클로 부터 HSV 색상을 추출하여 색상 분포 모델을 생성한다.
- 거리, 영역, 모양 비율, 색상 히스토그램의 특징 집합을 각 추적 객체로부터 추출하고 최적의 매칭 객체와 객체의 상태를 예측하기 위해 Kalman 필터를 사용하고 있다. 또한, 객체의 가림이나 오검출로 인해 잘못된 객체를 추적하는 것을 방지하기 위해 궤도 필터링 방법을 제안하여 추적의 성능을 높이고 있다.
- 본 논문에서는 잡음 및 객체의 기울어짐, 부분적 가림, 카메라의 떨림에 강건한 알고리즘을 개발하기 위해 우선 색상 분포에 대해 지역적인 픽셀의 위치를 고려하여 가중치 색상 모델을 생성하였다. 또한, 객체의 겹침, 조명 변화에 강인하도록 추적 파티클을 4x4 크기의 지역적 영역으로 분할하고 각 영역에서 추출된 질감 정보인 CS-LBP(Centre Symmetric Local Binary Patterns)에 대한 특징 모델을 각각 생성하여 사용하였다. 이렇게 생성된 특징 모델은 관측모델로 사용되어 타깃과 후보 파티클들의 관측 우도를 사용하는데 사용된다.
- 이 논문에서는 추적을 위해 객체의 다양한 모양과 외형을 추정하고 참조 객체에 대해 온라인 학습을 실시한다. 또한, 멀티 모달 mean-shift 를 이용하여 객체의 외형 박스 안에 포함된 5가지 파라미터(중심점 (cx, cy), 폭, 높이, 기울기 각도)를 조절하여 가변적으로 추적 객체에 적합한 파티클을 결정하는 방법을 사용하고 있다.
- 새로운 타깃의 상태를 결정하기 위해 최대값을 갖는 가중치를 선택하는 대신에 상위 N개의 상태 벡터를 조합하여 최종 타깃의 상태를 결정하도록 알고리즘을 제안하였다. 또한, 카메라의 움직임과 추적 객체의 크기 변화를 고려하여 객체를 추적할 수있도록 바타차리야(Bhattacharyya) 거리와 1차 자기회귀 (autoregressive)를 적용하여 파티클 필터를 예측하는 알고리즘을 제안하고 있다.
- 첫 번째 단계에서 컬러 특징과 HOG(Histogram of oriented gradient) 특징을 사용하고, 두 번째 단계에서 Haar-like 특징을 사용한다. 마지막 단계로 SIFT(Scale Invariant Feature Transform) 기술자를 사용하여 최종적으로 타깃 파티클을 구한다.
- 본 논문에서는 파티클 필터와 HSV 색상 모델,로컬 CS-LBP 질감 모델을 조합하여 실시간으로 객체를 추적하는 알고리즘을 제안하였다. 먼저, N개의 파티클을 생성하고, 각 파티클 별로 HSV와 로컬CS-LBP특징을 추출 하였다. 그리고 타깃의 특징과 N개 파티클 특징 간의 관측 우도를 각 특징 모델별로 바타차리야 거리를 이용하여 측정 하였다.
- 본 논문에서 사용하는 파티클 필터기반의 추적 알고리즘은 타깃 모델을 초기화 하는 과정과 통계적 추적 시스템을 위한 연속적 몬테카를로 구현 (베이지안 필터링)으로 나뉜다.
- 본 논문에서 제안한 알고리즘의 추적 속도를 측정하기 위해 5개 비디오에 대해서 초당 프레임(fps:frame per second)을 측정하였다. 비교 알고리즘 들은 Windows 7 운영체제의 Visual C++ 2008 버전에서 개발 되었으며, 동일한 Intel I-7 2.
- 본 논문에서는 2장에서 설명한 것과 같이 Epanechnikov 커널을 응용하여 파티클의 가운데 영역에 더 많은 가중치를 부여한 HSV색상 히스토그램과 차원이 작으면서도 HOG, LBP와 유사한 성능을 보여주는 CS-LBP를 파티클의 16개 영역으로부터 추출하고 이 두 개의 모델에 대해 각각 파티클의 관측 우도를 계산함으로써 추적 속도가 빠르고 객체의 가려짐에 강인한 관측 모델을 사용한다.
- 본 논문에서는 CS-LBP 특징 추출을 하기 전 객체의 가려짐에 강인한 모델을 생성하기 위해 그림 2와 같이 파티클을 4x4 로컬 영역으로 분할하고, 각 로컬 영역에 대해서 16개의 로컬 CS-LBP 패턴을 추출한다. 이렇게 추출된 각 영역의 패턴들을 연결하여 한 윈도우 당 총 256 크기의 1차원 특징 벡터 L(x) = {Lu (x)}u = 1.
- 본 논문에서는 색상 특징 모델에 대해 파티클간의 관측 우도ρc [p* ,p(yt)] 를 계산하고, 질감 특징 모델에 대해 파티클 간의 관측 우도 ρt [p* ,p(yt)]를 계산하도록 하였다.
- 본 논문에서는 파티클의 위치를 위한 가우시안 분포 치를 실험에 의해 σx = σy = 1, σw = σh = 0.64로 설정하였다.
- 각 파티클들의 최종 가중치를 측정하기 위해, 두 가지 관측 우도 결과를 선형 가중 결합하여 조명과 객체 겹침 등에 덜 민감한 파티클 가중치를 생성할 수 있다. 새로운 타깃의 상태를 결정하기 위해 최대값을 갖는 가중치를 선택하는 대신에 상위 N개의 상태 벡터를 조합하여 최종 타깃의 상태를 결정하도록 알고리즘을 제안하였다. 또한, 카메라의 움직임과 추적 객체의 크기 변화를 고려하여 객체를 추적할 수있도록 바타차리야(Bhattacharyya) 거리와 1차 자기회귀 (autoregressive)를 적용하여 파티클 필터를 예측하는 알고리즘을 제안하고 있다.
- 실험을 위해 본 논문에서는 (1) RGB히스토그램과 파티클 필터를 이용한 방법, (2) HSV히스토그램과 파티클 필터를 이용한 방법, (3) Epanechnikov 커널 기반의 HSV히스토그램과 파티클 필터를 이용한 방법, (4) 로컬 CS-LBP와 파티클 필터를 이용한 방법, (5) Epanechnikov 커널 기반의 HSV히스토그램과 로컬 CS-LBP의 조합을 파티클 필터에 적용한 제안 방법의 성능을 비교하였다.
- 등은 파티클 필터와 멀티 모달 비등방성 mean-shift를 이용하여 객체를 추적하는 방법을 제안하고 있다. 이 논문에서는 추적을 위해 객체의 다양한 모양과 외형을 추정하고 참조 객체에 대해 온라인 학습을 실시한다. 또한, 멀티 모달 mean-shift 를 이용하여 객체의 외형 박스 안에 포함된 5가지 파라미터(중심점 (cx, cy), 폭, 높이, 기울기 각도)를 조절하여 가변적으로 추적 객체에 적합한 파티클을 결정하는 방법을 사용하고 있다.
- 그리고 타깃의 특징과 N개 파티클 특징 간의 관측 우도를 각 특징 모델별로 바타차리야 거리를 이용하여 측정 하였다. 이렇게 측정된 관측 우도의 선형 결합으로 가중치를 갱신하고 가중치가 가장 높은 파티클을 새로운 타깃으로설정 한 뒤 다음 프레임에서 사용할 파티클들을 재샘플링 하였다.
- 파티클 필터 방법은 몬테카를로법을 이용하여 반복적으로 상태 공간의 사후 확률을 측정하고 이를 기반으로 객체를 추적한다. 최근에는 대부분의 연구가 파티클 필터를 기반으로 하는 통계적 방법을 이용함으로 본 논문에서도 파티클 필터를 이용 하여 객체를 추적하는 연구에 초점을 맞추고 관련 연구를 소개한다.
대상 데이터
- 본 논문에서는 제안하는 객체 추적 알고리즘의 성능을 평가하기 위해서 Klein[6]등의 실험에서 사용한 5개의 동영상을 사용하였다. 각 동영상은 모바일 로봇에 적용하기 위해 움직이는 카메라 환경에서 촬영 되었으며 복잡한 배경하에서 객체의 가려짐 (video1,2,3,4), 색상 및 조명의 변화(video 5)가 연속적으로 발생하는 동영상을 포함하고 있다.
이론/모형
- 객체 추적 알고리즘의 정량적 성능 평가를 위해 Yin 등[14]이 제안한 성능 평가 방법을 사용하였다. 그림 4와 같이 사용자가 설정한 객체 영역을 GT (ground-truth) 라고 하고 제안된 알고리즘에 의해 설정된 객체 영역을 ST (system-truth) 라고 한다면, k번째 프레임에서 i객체와 j객체의 공간적 겹침 (A) 은 다음 식 (14)와 같이 정의될 수 있다.
- 두 번째로 통계적 방법(stochastic method)은 추적 시스템의 다양성을 모델링하기 위해 상태 공간(state space)을 이용한다. 연속적 몬테카를로(Sequential Monte Carlo)로 알려진 파티클 필터가 대표적인 통계적 방법이다.
- 2장에서처럼 두 특징에 대한 관측 모델이 생성된 후에 타깃 특징 모델과 후보 파티클의 특징 모델 간의 거리를 측정한다. 본 논문에서는 유사성 측정에서 KL-distance, Euclidean-distance보다 우수한 것으로 알려진 바타차리야 계수[13]를 이용한 유사성 측정 방법을 이용한다.
- 최근 객체의 검출과 추적을 위해 많이 사용되고 있는 질감 모델인 LBP(Local Binary Patterns) 및 HOG 특징들은 우수한 성능에 비해 특징의 차원수가 커서 실시간 객체 추적을 불가능 하게 하는 요인이 되고 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 LBP와 비슷한 성능을 가지나 더 적은 특징 차원을 갖는 질감 특징으로서 CS-LBP(Center-symmetric LBP)를 사용한다. CS-LBP는 LBP와 비슷한 성능을 나타내고 있지만, 더 적은 특징 차원을 사용한다는 이점이 있다[11].
- 초기 프레임에서는 타깃 사각형의 크기와 위치는 사용자에 의해 수동적으로 결정된다. 본 논문에서는 이후 예측 단계에서 얻어진 가중치를 기반으로 다음 프레임에서 파티클의 위치를 예측하기 위해서 동적 모델인 1차 자기회귀 모델을 사용한다.
- 등은 파티클 필터에 계층적(Cascade) 모델을 적용한 방법을 제안 하였다. 첫 번째 단계에서 컬러 특징과 HOG(Histogram of oriented gradient) 특징을 사용하고, 두 번째 단계에서 Haar-like 특징을 사용한다. 마지막 단계로 SIFT(Scale Invariant Feature Transform) 기술자를 사용하여 최종적으로 타깃 파티클을 구한다.
- 몬테카를로법은, 물리적, 수학적 시스템의 행동을 시뮬레이션하기 위한 계산 알고리즘이며 다른 알고리즘과는 달리 통계학적이고, 무작위의 숫자를 사용하는 비결정적인 방법이다[3]. 파티클 필터 방법은 몬테카를로법을 이용하여 반복적으로 상태 공간의 사후 확률을 측정하고 이를 기반으로 객체를 추적한다. 최근에는 대부분의 연구가 파티클 필터를 기반으로 하는 통계적 방법을 이용함으로 본 논문에서도 파티클 필터를 이용 하여 객체를 추적하는 연구에 초점을 맞추고 관련 연구를 소개한다.
성능/효과
- 그림 6은 본 논문에서 제안하는 알고리즘을 이용 하여 객체를 추적한 결과를 보여주고 있다. 그림에서 보듯이 제안하는 알고리즘은 카메라의 떨림이나 배경의 복잡함, 객체의 가려짐, 조명 및 색상의 변화에도 정확한 객체 추적 결과를 보여주고 있음을알 수 있다.
- 본 논문에서는 파티클 필터를 사용하여 처리 속도를 향상 시켰으며, 색상 정보와 질감 정보의 사용으로 보다 정확하고 강인한 객체 추적 성능을 보여주었다.
- 그림 5의 (a) ~ (c)에 표시된 사각박스 영역은 객체가 다른 객체에 의해 가려진 부분으로 실제 GT값을 알 수 없음으로 0의 스코어를 갖는 것을 알 수 있다. 성능 평가 결과에서 보듯이, HSV 색상 히스토그램은 RGB에 비해 성능이 우수한 것을 알 수 있다. 이것은 HSV가 RGB에 비해 인간시각과 유사한 색상 값을 가지며 조명 변화에 덜 민감하도록 색상 성분과 밝기 성분을 분리시켰기 때문이다.
- 로컬 CS-LBP만을 이용한 방법은 역시 좋은 성능을 보여주지만 객체의 형태나 크기가 변할 경우 놓치는 프레임들이 발생한다. 이에 비해 제안된 특징 조합을 사용하였을 경우는 객체의 형태변화는 물론 배경의 복잡함, 객체의 가려짐, 객체의 겹침, 조명의 변화에 덜 민감하고 객체의 위치를 정확하게 추적할 수 있었다.
- 그림 5의 객체 겹침 영역이 포함된 프레임은 실제 객체가 정확히 추적된 것인지 판단할 수없음으로 평균 계산에서 제외하였다. 평균 성능에서도 본 논문에서 제안한 방법은 평균 겹침(A)율이 86%로 다른 방법들에 비해 우수함을 확인 할 수 있다. 하지만 Video2의 경우 비슷한 색상과 크기를 갖는 객체들의 빈번한 가림으로 인해 검출율이 다른 비디오에 비해 상대적으로 떨어졌다
- 표3 에서 보는 바와 같이 본 논문에서 제안한 방 법은 평균 9.8프레임의 검출 속도를 가짐을 알 수 있다. 이는 평균 10.
후속연구
- 앞으로의 연구에서는 관측 우도를 계산함에 있어서 바타차리야 거리를 이용하는 것이 아니라 패턴분류기를 실시간 학습하여 유사도를 비교함으로써 환경의 변화나 객체의 크기 및 자세 변화에도 변함없는 성능을 보여줄 수 있는 알고리즘을 개발하고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.