[국내논문]배경 모델 학습을 통한 객체 분할/검출 및 파티클 필터를 이용한 분할된 객체의 움직임 추적 방법 Object Segmentation/Detection through learned Background Model and Segmented Object Tracking Method using Particle Filter원문보기
실시간영상에서 객체의 분할 및 추적은 침입자 감시와 로봇의 물체 추적, 증강현실의 객체 추적등 다양한 분야에서 사용되고 있다. 본 논문에서는 초기 입력 영상의 일부를 학습하여 배경모델로 제작한 후, 배경제거 방법을 이용하여 움직이는 객체의 분할을 통해 객체를 검출하였다. 검출된 객체의 영역을 기반으로 HSV 색상히스토그램과 파티클 필터를 이용하여 객체의 움직임을 추적하는 방법을 제안한다. 제안한 분할 방법은 평균 배경모델을 이용한 방법보다 주변환경 변화의 영향을 적게 받으며, 움직이는 객체의 검출 성능이 더욱 우수하였다. 또한 단일 객체 및 다수의 객체가 존재하는 환경에서 추적 객체가 유사한 색상 객체와 겹치는 경우, 추적 객체의 영역 절반 이상이 가려지는 경우에도 지속적으로 추적하는 결과를 얻을 수 있었다. 2개의 비디오 영상을 사용한 실험결과는 평균 중첩율 85.9%, 추적률 96.3%의 성능을 보여준다.
실시간영상에서 객체의 분할 및 추적은 침입자 감시와 로봇의 물체 추적, 증강현실의 객체 추적등 다양한 분야에서 사용되고 있다. 본 논문에서는 초기 입력 영상의 일부를 학습하여 배경모델로 제작한 후, 배경제거 방법을 이용하여 움직이는 객체의 분할을 통해 객체를 검출하였다. 검출된 객체의 영역을 기반으로 HSV 색상히스토그램과 파티클 필터를 이용하여 객체의 움직임을 추적하는 방법을 제안한다. 제안한 분할 방법은 평균 배경모델을 이용한 방법보다 주변환경 변화의 영향을 적게 받으며, 움직이는 객체의 검출 성능이 더욱 우수하였다. 또한 단일 객체 및 다수의 객체가 존재하는 환경에서 추적 객체가 유사한 색상 객체와 겹치는 경우, 추적 객체의 영역 절반 이상이 가려지는 경우에도 지속적으로 추적하는 결과를 얻을 수 있었다. 2개의 비디오 영상을 사용한 실험결과는 평균 중첩율 85.9%, 추적률 96.3%의 성능을 보여준다.
In real time video sequence, object segmentation and tracking method are actively applied in various application tasks, such as surveillance system, mobile robots, augmented reality. This paper propose a robust object tracking method. The background models are constructed by learning the initial par...
In real time video sequence, object segmentation and tracking method are actively applied in various application tasks, such as surveillance system, mobile robots, augmented reality. This paper propose a robust object tracking method. The background models are constructed by learning the initial part of each video sequences. After that, the moving objects are detected via object segmentation by using background subtraction method. The region of detected objects are continuously tracked by using the HSV color histogram with particle filter. The proposed segmentation method is superior to average background model in term of moving object detection. In addition, the proposed tracking method provide a continuous tracking result even in the case that multiple objects are existed with similar color, and severe occlusion are occurred with multiple objects. The experiment results provided with 85.9 % of average object overlapping rate and 96.3% of average object tracking rate using two video sequences.
In real time video sequence, object segmentation and tracking method are actively applied in various application tasks, such as surveillance system, mobile robots, augmented reality. This paper propose a robust object tracking method. The background models are constructed by learning the initial part of each video sequences. After that, the moving objects are detected via object segmentation by using background subtraction method. The region of detected objects are continuously tracked by using the HSV color histogram with particle filter. The proposed segmentation method is superior to average background model in term of moving object detection. In addition, the proposed tracking method provide a continuous tracking result even in the case that multiple objects are existed with similar color, and severe occlusion are occurred with multiple objects. The experiment results provided with 85.9 % of average object overlapping rate and 96.3% of average object tracking rate using two video sequences.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
실시간 영상에서 객체를 효과적으로 추적하기 위해서, 우선 영상에서 움직이는 객체를 분할하고, 분할된 영역을 기준으로 다양한 방법의 객체 추적 알고리즘을 적용하는 것이다. 하지만 실제 환경에서 나타날 수 있는 영상의 잡음, 조명의 변화, 영상의 복잡함(바람에 의해 흔들리는 나뭇잎) 등으로 인해 효과적으로 분할되기 어려운 점이 있으며, 분할된 영역을 추적하기 위해서 비선형적인 환경에서 강건하게 객체를 추적할 알고리즘이 필요하다.
본 논문에서는 복잡한 배경과 다수의 객체가 존재하는 영상에서 효과적으로 움직이는 객체를 분할하는 알고리즘과 분할의 결과영역을 객체 추적을 위한 영역으로 초기화하여 객체를 추적하는 알고리즘을 제안 하였다. 복잡한 배경환경에서 움직이는 객체를 효과적으로 분할하기 위해서 초기 입력영상 일부에 일정한 경계값을 적용 후, 학습하여 배경모델을 제작하고, 이후 입력되는 영상에서 객체를 분하였으며, 영상내의 비 선형적인 움직임을 가진 객체를 추적하기 위해 객체의 상태변수와 가중치를 포함하는 다수의 파티클로 구성된 파티클 필터를 이용하여 객체를 추적하였다.
제안 방법
저장되는 픽셀 값은 각 픽셀 채널에서의 최소 변화량과 최대 변화량으로, 초기에 주어진 임계값을 기준으로 각 변화량의 경계를 지정하였으며, 모든 픽셀 모델에서 임의의 경계값을 가지기 위해 0과 1사이의 중복되지 않은 임의의 값을 이전의 변화량에 곱하고 나온 결과를 각 최소, 최대 변화량과 더한 후, 임의의 값과 1을 더해 준 값으로 나눠준다. 모든 픽셀에 알고리즘을 적용하면 배경모델이 생성된다.
해당 영역에서 일정 프레임동안 모션의 변화가 없는 영역은 잘못 갱신된 영역으로 판단 후 다시 갱신한다. 학습된 배경모델을 이용하여 영상에 나타난 배경을 분할하기 위해서, 60프레임 이후부터 입력되는 프레임의 각 픽셀을 비교한다. 픽셀 값이 배경 모델의 픽셀 범위에 존재한다면 배경으로 판단하고, 픽셀 범위를 벗어나면 배경에 새로 나타난 객체로 판단한다.
본 논문에서는 측정 값을 획득하기 위한 다양한 방법중 하나인 색상 히스토그램을 사용하고, 획득한 색상 히스토그램 벡터 사이의 유사성을 판별하기 위해 바타차야 거리(Bhattacharyya Coefficient)를 사용하였다. 바타차야거리를 이용해 각 HSV채널별 픽셀의 유사도를 얻게 되는데, 본 논문에서는 식 (5)를 이용한 실험에서 가장 좋은 성능을 보여준 Hue=0.5 Saturation=0.4, Value=0.1로 likelihood에 가장 영향을 끼치는 Hue 값에 조금더 많은가중치를 두어 계산하였다.
파티클 필터 기반의 추적알고리즘은 그림 5와 같다. 우선 추적하고자 하는 객체의 영역은 제안한 분할 알고리즘을 통해 검출된 객체의 영역으로 초기화 한다. 각 프레임에서 추적하고자 하는 객체는 Xt = {x,y,w,h}처럼 표현이 가능하며, x, y는 현재 객체의 위치 좌표이고, w, h는 객체의 가로, 세로 크기를 나타낸다.
객체의 위치를 기준으로 random uniformly distributed를 구한 후, box-muller transform을 이용해서 가우시안분포를 통해 각 파티클(xti)를 생성하는데, 본 논문에서는 파티클의 개수를 200개로 주어 실험을 하였다.
각 파티클들의 업데이트는 likelihood를 이용해 각 파티클의 가중치를 계산하고, 재 샘플링을 통해 새로운 파티클들을 생성하며, 영상 내에서 객체가 사라질 때까지 객체를 추적한다.
이 알고리즘은 각 픽셀값의 평균과 표준 편차를 이용해 배경모델을 생성한 후, 생성된 배경모델과 이후 영상의 픽셀 값의 차이를 이용해 객체를 분할한다. 제안하는 분할 알고리즘과 마찬가지로 잡음을 제거하기 위해 모폴로지 연산을 적용하였다.
제안하는 알고리즘은 바람이 부는 상황에서 갈대의 움직임, 다수의 움직임이 있는 객체의 영상에서 효과적으로 객체를 분할하고, 객체를 검출하는 결과를 보여준다.
본 절에서는 추적 알고리즘의 성능 평가를 위해 색상 히스토그램과 혼합한 mean-shift, Optical flow, kalman filter의 성능을 비교 하였다. 제안한 알고리즘을 제외한 비교목적의 알고리즘은 마우스를 이용하여 초기영역을 지정하였다.
본 절에서는 추적 알고리즘의 성능 평가를 위해 색상 히스토그램과 혼합한 mean-shift, Optical flow, kalman filter의 성능을 비교 하였다. 제안한 알고리즘을 제외한 비교목적의 알고리즘은 마우스를 이용하여 초기영역을 지정하였다.
표 3은 영상에서 추적 객체를 놓치지 않고 지속적인 추적이 가능한지 추적 지속율의 결과를 보여준다. 비교대상의 방법들은 추적 객체를 놓치는 상황이 발생했을 때, 다시 영역을 지정하여 재 추적 할 수 있도록 하여 실험을 진행 하였다. 결과로서 제안한 방법이 추적율 96.
본 논문에서는 복잡한 배경과 다수의 객체가 존재하는 영상에서 효과적으로 움직이는 객체를 분할하는 알고리즘과 분할의 결과영역을 객체 추적을 위한 영역으로 초기화하여 객체를 추적하는 알고리즘을 제안 하였다. 복잡한 배경환경에서 움직이는 객체를 효과적으로 분할하기 위해서 초기 입력영상 일부에 일정한 경계값을 적용 후, 학습하여 배경모델을 제작하고, 이후 입력되는 영상에서 객체를 분하였으며, 영상내의 비 선형적인 움직임을 가진 객체를 추적하기 위해 객체의 상태변수와 가중치를 포함하는 다수의 파티클로 구성된 파티클 필터를 이용하여 객체를 추적하였다. 우선 배경 제거에서 평균 배경제거 방법과 비교했을 때 제안한 알고리즘은 배경내의 움직이는 객체를 효과적으로 분할/검출 하였다.
대상 데이터
배경 모델을 학습하기 위해 초기 60프레임의 영상을 사용하였다. 입력된 각 60 프레임들의 HSV 각 채널별 픽셀 값 변화량을 저장 한다.
제안하는 분할/추적 알고리즘의 실험은 표 1과 같은 환경에서 실시하였으며, SCO-2120R 모델로 촬영한 640x480 크기의 초당 60프레임의 비디오영상과, PETS(Performance Evaluation of Track-ing and Surveillance)의 영상추적 분야의 국제대회에서 사용하는 다수의 객체가 존재하는 768x576크기의 초당 24프레임의 비디오 영상을 사용하였다. 알고리즘은 Visual Studio 2013과 OpenCV 3.
데이터처리
기존 HSV색상 히스토그램을 이용한 파티클 필터는 Hue 값만을 이용하여 가중치 값을 결정하였다. 하지만 본 논문에서는 모든 채널을 이용하여 가중치 값을 결정하였기 때문에 객체 추적에 효과적인 성능을 보여주었다.
이론/모형
본 논문에서는 배경제거(background subtraction) 방법을 통해 움직이는 객체를 분할을 하고, 분할된 객체의 추적에는 복잡환 환경에서 객체 추적에 효과적이고, 움직이는 객체가 균일한 속도로 움직이는지, 갑자기 정지하거나 또는 진행방향에서 이탈하는 경우 와 같은 비선형적인 환경에 적합한 추적 알고리즘인 파티클 필터(Particle filter)를 사용한다.
하지만 생성된 배경모델은 특정 시점의 영상을 기준으로 제작하였기 때문에, 낮에서 밤이 된 상황처럼 일정 시간이 지난 후 영상의 환경이 변화 하였을 때는 모든 영역의 색상이 변화하므로 분할에 큰 영향을 미친다. 따라서 그림 1의 분기점에 조건을 추가 하여, 영상이 일정 프레임 이상이 되면 BackGround Modeling 알고리즘을 이용하여 배경 모델을 갱신한다. 배경 모델의 갱신 과정에서 움직이는 객체가 같이 학습 되는 상황이 발생할 수 있다.
배경 모델의 갱신 과정에서 움직이는 객체가 같이 학습 되는 상황이 발생할 수 있다. 잘못 갱신된 배경모델을 이용할 경우, 매 프레임마다 해당 영역을 객체로 오인할 수 있는데, 올바른 배경모델의 갱신을 위해 Yang et al[11]의 모션히스토리 배경 갱신 방법을 사용하였다. 해당 영역에서 일정 프레임동안 모션의 변화가 없는 영역은 잘못 갱신된 영역으로 판단 후 다시 갱신한다.
식 (5)를 통해 얻은 가중치에서 높은 값을 가진 파티클들을 기준으로 다시 새로운 파티클들을 추출하는 재샘플링단계를 거치게 된다. 본 논문에서는 다양한 파티클 필터 방법중 SIR(Sequential Importance Resampling) 방법을 사용한다[15].
파티클 필터에서 중요한 요소는 측정 모델(Measurement Model)로서, 측정모델에서 상태 변수를 통해 얻은 측정값 likelihood를 이용해 현재 상태를 갱신한다. 본 논문에서는 측정 값을 획득하기 위한 다양한 방법중 하나인 색상 히스토그램을 사용하고, 획득한 색상 히스토그램 벡터 사이의 유사성을 판별하기 위해 바타차야 거리(Bhattacharyya Coefficient)를 사용하였다. 바타차야거리를 이용해 각 HSV채널별 픽셀의 유사도를 얻게 되는데, 본 논문에서는 식 (5)를 이용한 실험에서 가장 좋은 성능을 보여준 Hue=0.
객체 추적 알고리즘의 성능평가를 위해 Yin[16]이 제안하는 성능 평가 방법을 사용하였다. 이 방법에는 GT(Ground-truth)와 ST(system-truth) 영역이 사용되는데, 그림 8처럼 GT는 추적하고자 하는 객체의 영역을 사용자가 직접 annotation tool등을 사용해서 적절히 바운딩 박스를 설정한 영역이고, ST는 알고리즘에 의해 추적되고 있는 객체의 영역이다.
성능/효과
픽셀 값이 배경 모델의 픽셀 범위에 존재한다면 배경으로 판단하고, 픽셀 범위를 벗어나면 배경에 새로 나타난 객체로 판단한다. 최종 제작된 배경모델은 기존모델링 방법인 ①GMM, ②평균제거, ③ 차영상 방법들과 달리 학습된 모든 배경 영상 픽셀 값들이 제안한 알고리즘을 통해 임의의 값들로 분포되어 있어, 복잡한 배경환경에서도 효과적으로 객체를 분할하고, 학습중인 배경모델에 움직임 객체가 함께 학습 되는 상황이 발생해도 해당 영역만 재학습을 진행하므로, 학습 연산량을 크게 줄여 줄 수 있다.
기존 HSV색상 히스토그램을 이용한 파티클 필터는 Hue 값만을 이용하여 가중치 값을 결정하였다. 하지만 본 논문에서는 모든 채널을 이용하여 가중치 값을 결정하였기 때문에 객체 추적에 효과적인 성능을 보여주었다.
표 2는 비디오영상에서 사용자가 직접 지정한 GT영역과 알고리즘에 의해 구해진 ST영역사이의 공간 중첩 결과로서, 제안한 방법의 중첩율이 81.3%로 다른 방법에 비해 높은 성능을 보여준다.
비교대상의 방법들은 추적 객체를 놓치는 상황이 발생했을 때, 다시 영역을 지정하여 재 추적 할 수 있도록 하여 실험을 진행 하였다. 결과로서 제안한 방법이 추적율 96.3%로 우수한 성능을 보여주었다.
복잡한 배경환경에서 움직이는 객체를 효과적으로 분할하기 위해서 초기 입력영상 일부에 일정한 경계값을 적용 후, 학습하여 배경모델을 제작하고, 이후 입력되는 영상에서 객체를 분하였으며, 영상내의 비 선형적인 움직임을 가진 객체를 추적하기 위해 객체의 상태변수와 가중치를 포함하는 다수의 파티클로 구성된 파티클 필터를 이용하여 객체를 추적하였다. 우선 배경 제거에서 평균 배경제거 방법과 비교했을 때 제안한 알고리즘은 배경내의 움직이는 객체를 효과적으로 분할/검출 하였다. 다음으로 추적 방법에서 주로 알려진 Mean-shift, optical flow, 선형 구조를 가진 Kalman filter와 비교 했을 때, 단일 객체 및 다수의 객체가 움직이는 환경에서 제안한 파티클 필터는 중첩율 81.
우선 배경 제거에서 평균 배경제거 방법과 비교했을 때 제안한 알고리즘은 배경내의 움직이는 객체를 효과적으로 분할/검출 하였다. 다음으로 추적 방법에서 주로 알려진 Mean-shift, optical flow, 선형 구조를 가진 Kalman filter와 비교 했을 때, 단일 객체 및 다수의 객체가 움직이는 환경에서 제안한 파티클 필터는 중첩율 81.3%, 추적률 96.3%의 결과를 얻었다.
질의응답
핵심어
질문
논문에서 추출한 답변
움직이는 객체를 분할하기 위한 대표적인 방법에는 무엇이 있는가?
움직이는 객체를 분할하기 위한 대표적인 방법은 연속되는 영상의 이전 프레임과 현재 프레임의 픽셀 사이의 값의 차이를 이용한 차영상(Background Differencing), 확률적으로 배경을 학습하는 가우시안 혼합 모델(GMM)처럼 학습된 배경모델을 이용한 배경 제거(background subtraction)[5, 6], 검출된 경계와 움직이는 객체의 경계를 사용하는 경계기반(Boundary Based Methods), 영역기반과 경계기반을 결합하여 사용되는 방법[7, 8]이 있다.
mean shift알고리즘이 효과적으로 객체를 추적할 수 없는 이유는 무엇인가?
분할된 객체를 추적하기 위한 방법으로는 초기 객체의 주변 영역의 데이터 집합의 밀도 분포에서 지역 극값(local extrema)을 찾고 다음 프레임에서 계산된 특징분포가 밀집된 분포를 찾는 평균이동(mean shift)[9]과 여러 다양한 문제에 쉽게 적용이 가능하고 선형 시스템과 가우시한 잡음에 강한 성능을 가진 칼만필터(Kalman filter)[10] 등이 있다. mean shift알고리즘은 탐색 반경 크기가 가변적이고 객체와 배경이 유사한 색상을 가지면 성능에 영향을 끼쳐 효과적으로 객체를 추적할 수 없다. 또한 칼만필터도 한계점을 가지고 있는데, 객체의 다음 상태 정보를 예측하기 위한 현재 객체의 상태 정보를 얻기 위한 계산이 항상 필요로 하며, 비선형 시스템 및 잡음이 백색잡음일 경우에 측정에 영향을 받는다.
분할된 객체를 추적하기 위한 방법 중 하나인 평균이동 알고리즘이 효과적으로 객체를 추적하기 어려운 이유는 무엇인가?
분할된 객체를 추적하기 위한 방법으로는 초기 객체의 주변 영역의 데이터 집합의 밀도 분포에서 지역 극값(local extrema)을 찾고 다음 프레임에서 계산된 특징분포가 밀집된 분포를 찾는 평균이동(mean shift)[9]과 여러 다양한 문제에 쉽게 적용이 가능하고 선형 시스템과 가우시한 잡음에 강한 성능을 가진 칼만필터(Kalman filter)[10] 등이 있다. mean shift알고리즘은 탐색 반경 크기가 가변적이고 객체와 배경이 유사한 색상을 가지면 성능에 영향을 끼쳐 효과적으로 객체를 추적할 수 없다. 또한 칼만필터도 한계점을 가지고 있는데, 객체의 다음 상태 정보를 예측하기 위한 현재 객체의 상태 정보를 얻기 위한 계산이 항상 필요로 하며, 비선형 시스템 및 잡음이 백색잡음일 경우에 측정에 영향을 받는다.
참고문헌 (16)
T. W. Jang, Y. T. Shin, and J. B. Kim, "A Study on the Object Extraction and Tracking System for Intelligent Surveillance," The Journal of The Korean Institute of Communication Sciences, vol. 38, no. 7, pp. 358-362, Jul. 2013.
H. H. Lee, et al, "Robust Object Tracking in Mobile Robots using Object Features and On-line Learning based Particle Filter," Journal of Institute of Control, Robotics and Systems, vol. 18, no. 6, pp. 562-570, Jun. 2012.
D. Wagner, et al, "Real-time detection and tracking for augmented reality on mobile phones," Visualization and Computer Graphics, IEEE Transactions, vol. 16, no. 3, pp. 355-368, May. 2010.
Y. J. Chai, et al, "Realtime user interface using particle filter with integral histogram," in Digest of Technical Papers International Conference on Consumer Electronics, Las Vegas: NV, pp. 245-246, 2010.
Z. Zivkovic, "Improved adaptive Gaussian mixture model for background subtraction," in Proceeding of the 17th International Conference on Pattern Recognition(ICPR), Cambridge: UK, vol. 2, pp. 28-31. 2004.
J. H. Lee, S. W. Cho, J. M. Kim, and S. T. Chung, "Layered Object Detection using Adaptive Gaussian Mixture Model in the Complex and Dynamic Environment," Journal of Korean Institute of Intelligent Systems, vol. 18, no. 3, pp. 387-391, Jun. 2008.
A. Merin, and J. Anitha, "A survey of moving object segmentation methods," International Journal of Advanced Research in Electronics and Communication Engineering (IJARECE), vol. 1, Oct. 2012.
M. Piccardi, "Background subtraction techniques: a review.," in IEEE International Conference on Systems, Man and Cybernetics, Hague: NLD, pp. 3099-3104, 2004.
I. Leichter, M. Lindenbaum, and E. Rivlin, "Mean shift tracking with multiple reference color histograms," Computer Vision and Image Understanding, vol. 114, no. 3, pp. 400-408, Mar. 2010.
C. J. Seo. "A Study on Multi Target Tracking using HOG and Kalman Filter," The Transaction of The Institute of Electrical Engineers, vol. 64, no. 3, pp. 187-192, Sep. 2015.
H. S. Yang, and Y. J. Choi, "Active Object Tracking based on Pan-tilt-zoom (PTZ) Camera for Smart Surveillance System," Journal of KISS : Software and Applications, vol. 38, no. 3, pp. 134-143, Mar. 2011.
H. B. Kim, K. E. Ko, J. S. Kang, and K. B. Sim, "Specified Object Tracking in an Environment of Multiple Moving Objects using Particle Filter," The Journal of Korean Institute of Intelligent Systems, vol. 21, no. 1, pp. 106-111, Feb. 2011.
K. Nummiaro, E. Koller-Meier, and L. Van Gool, "An adaptive color-based particle filter," Image and vision computing, vol. 21, no. 1, pp. 99-110, Jan. 2003.
B. C. Ko, J. Y. Nam, and J. Y. Kwak, "Object tracking using particle filters in moving camera," The Journal of Korean Institute of Communications and Information Sciencesm, vol. 37, no. 5A, pp. 375-387, 2012.
M. S. Arulampalam, S. Maskell, N. Gordon, and T. Clapp, "A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking," IEEE Transactions on Signal Processing, vol. 50, no. 2, pp. 174-188, 2002.
F. Yin, D. Makris, and S. A. Velastin, "Performance evaluation of object tracking algorithms," in IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, Rio De Janeiro: BRA, p. 25, 2007.
이 논문을 인용한 문헌
저자의 다른 논문 :
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.