실시간 평균 이동 추적 알고리즘의 성능 개선을 위한 히스토그램 평활화 기반 색-공간 양자화 기법 Histogram Equalization Based Color Space Quantization for the Enhancement of Mean-Shift Tracking Algorithm원문보기
커널 기반 평균 이동 물체 추적(kernel-based mean-shiftobject tracking) 방법은 신뢰할 수 있는 물체 추적의 실시간 구현이 가능하기 때문에 최근 많은 관심을 받고 있다. 이 알고리즘은 표적 모델과 표적 후보 간의 히스토그램 유사성 비교를 통해 최적의 평균이동 벡터를 찾는데, 실시간 구현을 위해 대부분의 알고리즘에서는 색-공간의 균일 양자화를 수행한다. 하지만, 영상의 명암 분포가 편중되어 있는 경우 색-공간의 양자화 후 히스토그램 분포가 몇 몇 빈에 집중되기 때문에 히스토그램 유사성 비교의 정확도를 감소시키게 되고, 따라서 추적의 성능이 저하될 수 있다. 이러한 문제를 해결하기 위해 히스토그램 빈을 적응적으로 조절하는 비-균일 양자화 알고리즘이 제안되었으나 높은 복잡도로 인해 실시간 추적 알고리즘에 부적합한 단점을 갖고 있다. 이에 본 논문에서는 표적 모델에 대한 히스토그램 평활화를 수행한 후 색-공간의 균일 양자화를 수행하는 형태의 고속 비-균일 양자화 기법을 제안함으로써, 색-공간 양자화 후에도 표적 모델의 명암 분포가 전 색-영역에 고르게 분포되도록 함으로써 실시간 평균 이동 추적 기법의 추적 성능이 개선될 수 있도록 하였다. 제안하는 색-공간 양자화 기법을 통해 표적 모델과 비교 후보군 사이에 비교 대상이 되는 색 요소가 증가하게 되며, 보다 정확도 높은 히스토그램 유사성 결과를 얻을 수 있었다. 물체 추적용 영상을 통한 실험 결과, 제안하는 알고리즘은 복잡도 증가가 거의 발생하지 않는 동시에, 기존 비-균일 양자화 알고리즘 결과와 유사하거나 좀 더 나은 추적 결과를 보여주었다.
커널 기반 평균 이동 물체 추적(kernel-based mean-shift object tracking) 방법은 신뢰할 수 있는 물체 추적의 실시간 구현이 가능하기 때문에 최근 많은 관심을 받고 있다. 이 알고리즘은 표적 모델과 표적 후보 간의 히스토그램 유사성 비교를 통해 최적의 평균이동 벡터를 찾는데, 실시간 구현을 위해 대부분의 알고리즘에서는 색-공간의 균일 양자화를 수행한다. 하지만, 영상의 명암 분포가 편중되어 있는 경우 색-공간의 양자화 후 히스토그램 분포가 몇 몇 빈에 집중되기 때문에 히스토그램 유사성 비교의 정확도를 감소시키게 되고, 따라서 추적의 성능이 저하될 수 있다. 이러한 문제를 해결하기 위해 히스토그램 빈을 적응적으로 조절하는 비-균일 양자화 알고리즘이 제안되었으나 높은 복잡도로 인해 실시간 추적 알고리즘에 부적합한 단점을 갖고 있다. 이에 본 논문에서는 표적 모델에 대한 히스토그램 평활화를 수행한 후 색-공간의 균일 양자화를 수행하는 형태의 고속 비-균일 양자화 기법을 제안함으로써, 색-공간 양자화 후에도 표적 모델의 명암 분포가 전 색-영역에 고르게 분포되도록 함으로써 실시간 평균 이동 추적 기법의 추적 성능이 개선될 수 있도록 하였다. 제안하는 색-공간 양자화 기법을 통해 표적 모델과 비교 후보군 사이에 비교 대상이 되는 색 요소가 증가하게 되며, 보다 정확도 높은 히스토그램 유사성 결과를 얻을 수 있었다. 물체 추적용 영상을 통한 실험 결과, 제안하는 알고리즘은 복잡도 증가가 거의 발생하지 않는 동시에, 기존 비-균일 양자화 알고리즘 결과와 유사하거나 좀 더 나은 추적 결과를 보여주었다.
Kernel-based mean-shift object tracking has gained more interests nowadays, with the aid of its feasibility of reliable real-time implementation of object tracking. This algorithm calculates the best mean-shift vector based on the color histogram similarity between target model and target candidate ...
Kernel-based mean-shift object tracking has gained more interests nowadays, with the aid of its feasibility of reliable real-time implementation of object tracking. This algorithm calculates the best mean-shift vector based on the color histogram similarity between target model and target candidate models, where the color histograms are usually produced after uniform color-space quantization for the implementation of real-time tracker. However, when the image of target model has a reduced contrast, such uniform quantization produces the histogram model having large values only for a few histogram bins, resulting in a reduced accuracy of similarity comparison. To solve this problem, a non-uniform quantization algorithm has been proposed, but it is hard to apply to real-time tracking applications due to its high complexity. Therefore, this paper proposes a fast non-uniform color-space quantization method using the histogram equalization, providing an adjusted histogram distribution such that the bins of target model histogram have as many meaningful values as possible. Using the proposed method, the number of bins involved in similarity comparison has been increased, resulting in an enhanced accuracy of the proposed mean-shift tracker. Simulations with various test videos demonstrate the proposed algorithm provides similar or better tracking results to the previous non-uniform quantization scheme with significantly reduced computation complexity.
Kernel-based mean-shift object tracking has gained more interests nowadays, with the aid of its feasibility of reliable real-time implementation of object tracking. This algorithm calculates the best mean-shift vector based on the color histogram similarity between target model and target candidate models, where the color histograms are usually produced after uniform color-space quantization for the implementation of real-time tracker. However, when the image of target model has a reduced contrast, such uniform quantization produces the histogram model having large values only for a few histogram bins, resulting in a reduced accuracy of similarity comparison. To solve this problem, a non-uniform quantization algorithm has been proposed, but it is hard to apply to real-time tracking applications due to its high complexity. Therefore, this paper proposes a fast non-uniform color-space quantization method using the histogram equalization, providing an adjusted histogram distribution such that the bins of target model histogram have as many meaningful values as possible. Using the proposed method, the number of bins involved in similarity comparison has been increased, resulting in an enhanced accuracy of the proposed mean-shift tracker. Simulations with various test videos demonstrate the proposed algorithm provides similar or better tracking results to the previous non-uniform quantization scheme with significantly reduced computation complexity.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
하지만 앞서 설명한 기존 알고리즘과 같이 대부분의 비-균일 양자화 기법은 구현하는 복잡도가 매우 높기 때문에 실시간 물체 추적 알고리즘에 적용하기에는 어려움이 있다. 따라서 본 논문에서는 각각의 색-공간에 히스토그램 평활화를 적용한 후 균일 양자화를 적용함으로써, 결과적으로는 고속으로 비-균일 색-공간 양자화를 수행하는 결과를 얻을 수 있도록 하였다. 색 히스토그램 평활화 기법[11]은 영상의 히스토그램을 이용하여 정규화 된 누적 분포를 구한 후, 조정인자를 곱하여 원래의 명암 값을 재분배한다.
본 논문에서는 커널 기반 평균 이동 알고리즘에서 색-공간 양자화로 인해 발생하는 히스토그램 불균일 분포 현상을 해결하기 위해 고속 비-균일 색-공간 양자화 기법을 제안하였다. 제안 알고리즘은 표적 모델에 색-공간 히스토그램 평활화를 적용한 후 균일 양자화를 적용하는 방식으로, 색-공간 양자화 후에도 히스토그램이 전체적으로 분산되는 결과를 얻을 수 있으며, 이를 통해 보다 정확한 평균 이동 벡터를 구할 수 있게 되었다.
이에 본 논문에서는 색-공간 양자화 후에도 히스토그램 분포가 전 영역에 균일하게 분산될 수 있도록 하는 고속 비-균일 색-공간 양자화 기법을 제안한다. 비-균일 양자화는 양자화 하고자 하는 값의 분포 및 특징에 따라 양자화 구간 길이를 서로 다르게 설정하는 기술로, Lloyd-max 양자화, 벡터 양자화 등 다양한 기법이 존재한다.
이에 본 논문에서는 영상의 색 히스토그램 분포를 조절하여 색-공간 양자화를 수행함으로써, 표적 모델의 히스토그램이 전체적으로 분산될 수 있는 고속 비-균일 색-공간 양자화 기법을 제안한다. 색 히스토그램의 분산은 영상의 명암 대비를 조절하는 것이기 때문에 이를 통해 물체와 배경을 보다 선명하게 구분할 수 있게 되며, 이는 물체 추적을 보다 정확하게 할 수 있는 장점을 갖는다.
Comaniciu 등의 기법과 비교), Egtest05 영상에서도 12% 정도 감소하였다. 즉, 본 논문에서 제안하는 비-균일 양자화 기법이 균일 양자화 기법에 비해 보다 정확한 물체 추적 성능을 제공하는 것이다.
제안 방법
제 2장에서는 기존 평균 이동 물체 추적 알고리즘의 소개 및 색-공간 균일 양자화 방법을 설명한다. 3장에서는 2장에서 확인한 기존 알고리즘의 문제점을 해결하기 위하여 색 히스토그램 평활화를 기반으로 한 비-균일 색-공간 양자화 방식을 설명하고, 이를 적용한 평균 이동 물체 추적 알고리즘을 제안한다. 4장에서는 제안하는 기법의 성능을 보여주기 위한 실험 및 결과를 보여주고, 5장에서 본 논문의 결론을 맺는다.
각 실험 영상은 장면 당 물체의 실제 좌표 정보를 갖고 있기 때문에 본 논문에서는 이 좌표값과 실험적으로 얻은 추적 좌표값 사이의 추적 오차를 구함으로써 물체 추적의 정확도를 평가하였다. 각 실험 영상에서 단일 객체를 물체 추적 목표로 정하였으며, 각 객체로는 움직이는 사람 및 사물 등을 설정하였다. 또한 평균 이동 기법에 사용되는 커널로는 Epanechnikov 커널을 사용하였고, 색-공간 양자화가 미치는 물체 추적 성능에 대한 객관적 검증을 위해 가장 기본적인 평균 이동 물체 추적 기법에 해당하는 D.
본 논문에서 제안하는 기법의 성능 검증을 위해, 그림 4와 같이 6개의 물체 추적용 실험 영상을 사용하였다. 각 실험 영상은 장면 당 물체의 실제 좌표 정보를 갖고 있기 때문에 본 논문에서는 이 좌표값과 실험적으로 얻은 추적 좌표값 사이의 추적 오차를 구함으로써 물체 추적의 정확도를 평가하였다. 각 실험 영상에서 단일 객체를 물체 추적 목표로 정하였으며, 각 객체로는 움직이는 사람 및 사물 등을 설정하였다.
제안하는 알고리즘을 객관적으로 평가하기 위해 크게 2가지 형태의 실험 군을 설정하였는데, 명암비가 좋지 않은 실험 영상(Campus1, Campus2, Fight_RunAway2)과 상대적으로 명암비가 좋은 일반 영상(Egtest05, Baseball, Corridor)으로 나누어 실험을 진행하였다. 또한 물체 추적 시 커널의 크기는 대략 추적 물체의 1.2배 정도가 되도록 설정하였으며, 비트심도 8비트의 컬러 영상(28+8+8개의 빈)을 24+4+4개로 양자화 하도록 설정하였다.
히스토그램 평활화가 편중된 색-공간 분포를 가진 영상을 평활한 색-분포를 가지도록 변환하는 기법이기 때문에, 평활화 결과에 균일 양자화를 적용하는 것은 표적 모델의 특징을 이루는 높은 히스토그램 빈 값을 가지는 색 영역 부근에서는 간격이 좁은 양자화를 수행하고, 반대로 낮은 히스토그램빈 값을 가지는 색 영역들은 크게 하나로 묶어주는 결과를 제공한다. 또한 이러한 비-균일 양자화 기법은 기존의 균일 양자화가 제공하는 고속 추적의 장점은 유지하면서 명암 대비가 개선된 형태로 히스토그램 유사도 계산을 가능하도록 함으로써, 기존 비-균일 양자화 알고리즘과 비슷한 물체 추적의 정확도를 얻을 수 있도록 한다.
각 실험 영상에서 단일 객체를 물체 추적 목표로 정하였으며, 각 객체로는 움직이는 사람 및 사물 등을 설정하였다. 또한 평균 이동 기법에 사용되는 커널로는 Epanechnikov 커널을 사용하였고, 색-공간 양자화가 미치는 물체 추적 성능에 대한 객관적 검증을 위해 가장 기본적인 평균 이동 물체 추적 기법에 해당하는 D. Comaniciu[2]의 알고리즘에 기존 비-균일 양자화 기법[12]과 본 논문에서 제안하는 비-균일 양자화 기법을 적용하여, 그 추적 결과 및 복잡도를 비교함으로써 제안하는 기법의 성능을 검증할수 있도록 실험을 설계하였다.
본 논문에서 제안하는 비-균일 색-공간 양자화를 위해, 우선 영상의 색 히스토그램 평활화 및 양자화를 표적 모델의 각 색-공간에 적용한 후, 여기서 구하게 되는 양자화 테이블 T를 이용하여 표적 후보에도 각 색-공간의 양자화를 수행한 후, 그 결과를 이용하여 물체 추적을 수행한다. 그림 3은 본 논문에서 제안하는 기법의 전체 흐름도를 보여준다.
우선, 히스토그램 평활화로 인한 히스토그램 분포도 변화를 확인하기 위해 표적 모델 및 표적 후보에 히스토그램 평활화를 적용한 결과를 분석하였다. 그림 5는 그림 1과 같은 표적 모델에 히스토그램 평활화를 적용한 후의 히스토그램 분포도를 보여준다.
이러한 문제를 해결하기 위해 색-공간 내에 물체의 색이 존재하는 영역을 그 색 분포에 따라 비-균일하게 대표화 할 수 있는 비-균일 양자화 알고리즘이 제안되었다[12]. 이 알고리즘은 커널 영역 내 화소 값들을 클러스터링하여 분류한 후, 각 클러스터의 직교정규 변환(orthonormal transform) 결과를 이용하여 최적의 히스토그램 빈 영역을 계산한다. 이를 통해 클러스터 개수만큼의 비-균일한 히스토그램 빈 영역을 색-공간 내에 생성하게 되며, 클러스터 개수는 클러스터링 변수 값에 따라 자동으로 결정된다.
이러한 문제점을 보완하기 위해 히스토그램 빈 개수 및 영역을 적응적으로 조절하는 비-균일 양자화 알고리즘이 제안되었다[12]. 이 알고리즘은 커널 영역의 화소 값들을 클러스터링(clustering)하여 분류한 후, 각각의 클러스터에 적합한 최적의 히스토그램 빈 영역을 색-공간 내에서 설정함으로써 비-균일 히스토그램 양자화를 수행한다. 이와 같은 비-균일 히스토그램 양자화를 통해 히스토그램이 색-공간의 일부에 편중된 영상에서도 높은 정확도의 물체 추적 결과를 얻을 수 있지만 설정된 클러스터의 개수에 따라 물체 추적 정확도가 크게 좌우되며, 알고리즘 복잡도가 매우 높기 때문에 실시간 물체 추적에 적용하기 어려운 단점이 있다.
표 1은 실험 영상 및 추적 대상 물체에 대한 세부 특징을 설명하는 것으로, 각 테스트 시퀀스의 해상도, 추적 대상 물체의 크기 (커널크기) 및 물체 추적의 특징을 비교하기 좋은 시퀀스 구간(장면 범위) 등을 나타내고 있다. 제안하는 알고리즘을 객관적으로 평가하기 위해 크게 2가지 형태의 실험 군을 설정하였는데, 명암비가 좋지 않은 실험 영상(Campus1, Campus2, Fight_RunAway2)과 상대적으로 명암비가 좋은 일반 영상(Egtest05, Baseball, Corridor)으로 나누어 실험을 진행하였다. 또한 물체 추적 시 커널의 크기는 대략 추적 물체의 1.
본 장에서는 기존 평균 이동 물체 추적 알고리즘의 분석을 통해 비-균일 색-공간 양자화 기법의 필요성을 설명한다. 커널 기반 평균 이동 물체 추적은 추적하고자 하는 물체가 포함되어 있는 표적 모델과 이의 비교 대상이 되는 표적 후보간의 색 히스토그램 유사성을 비교한 후 최적의 표적 후보 위치를 결정한다. 표적 모델은 물체 추적 첫 장면에서만 설정되며, 표적 모델 및 표적 후보 모델 간 히스토그램 유사성의 비교를 위한 Bhattacharyya 계수는 같이 정의된다[2]
대상 데이터
본 논문에서 제안하는 기법의 성능 검증을 위해, 그림 4와 같이 6개의 물체 추적용 실험 영상을 사용하였다. 각 실험 영상은 장면 당 물체의 실제 좌표 정보를 갖고 있기 때문에 본 논문에서는 이 좌표값과 실험적으로 얻은 추적 좌표값 사이의 추적 오차를 구함으로써 물체 추적의 정확도를 평가하였다.
성능/효과
그림 1과는 달리 표적 모델에 히스토그램 평활화가 적용된 후에는 그림 5(a)와 같이 커널내 물체와 배경의 구분이 보다 선명해 진 것을 확인할 수 있는데, 이는 그림 5(b)와 같이 RGB 색-공간에 히스토그램 빈이 고르게 분산되었기 때문이다. 또한 그림 5(c) 및 6(c) 를 통해 표적 모델 및 표적 후보에 제안하는 양자화가 적용된 후에도 히스토그램이 전 영역에 분포되어있는 것을 볼수 있으며, 이를 통해 본 논문에서 제안하는 비-균일 색-공간 양자화가 목표 효과를 충실하게 달성하고 있음을 알 수 있다. 정량적으로 보면 ωi 계산에 영향을 주는 빈은 기존 49개에서 히스토그램 평활화 후에 298개로 크게 증가하였으며, 이와 같이 히스토그램 비교 후보군의 증가로 인해 보다 정확도가 높은 평균 이동 벡터를 구할 수 있었다.
또한 표적 모델 생성 시에만 히스토그램 변환 함수를 적용하고, 생성된 비-균일 양자화 방법이 반복적으로 수행하는 추적 후보 모델에는 단순 적용만 되기 때문에 복잡도 증가가 거의 발생하지 않으며, 이는 실시간 고속 추적을 목표로 하는 커널 기반 평균 이동 알고리즘에 적합하다고 할 수 있다. 6개의 물체 추적용 실험 영상을 통해 본 논문에서 제안하는 기법의 성능을 검증한 결과, 기존의 비-균일 양자화 알고리즘에 비해 매우 낮은 복잡도를 가지는 동시에 유사한 물체 추적 성능 향상 결과를 얻을 수 있었으며, 특정 영상에서는 좀 더 나은 물체 추적 결과를 보이기도 하였다. 향후에는 기존 비-균일 양자화 알고리즘보다 정교하며 실시간 추적이 가능하도록 하는 양자화 방법에 대해 연구를 진행할 계획이며, 본 논문에서 제안하는 알고리즘에서 고려하지 못한 객체의 시간 변이에 따른 가려짐, 변형, 명암비가 수시로 변동되는 영상에서의 물체 추적을 위해 표적 모델 업데이트를 이용한 적응적 양자화 방법에 대해서도 연구를 진행할 예정이다.
클러스터의 개수가 426개 이하인 경우에는 물체 추적에 실패하기 때문에 그림에서 제외하였으며, 커널 크기 (61x33) 및 알고리즘의 특성 상 최대 클러스터 개수인 2,013개부터 알고리즘 성능 결과를 확인하였다. 그림에 보이는 바와 같이, 클러스터 수가 많을수록 제안하는 알고리즘보다 높은 추적 성능을 보여주지만, 알고리즘이 요구하는 복잡도가 크게 증가하는 것을 확인할 수 있다. 특히, 클러스터의 수가 가장 작은 경우에도 알고리즘 속도가 한 장면 당 0.
식 (1)과 같이 Bhattacharyya 계수는 표적 모델과 표적 후보 간 같은 위치의 히스토그램 값들을 곱한 후 이를 모두 더하여 얻게 되며, 값이 높을수록 두 커널 간 유사성이 높다고 할 수 있다. 따라서 두 히스토그램에서 유사한 값을 가지는 빈이 많을수록 높은 Bhattacharyya 계수를 얻을 수 있다. 또한 식 (2)에서 볼 수 있듯이, # 와 # 는 등방성 커널 k(x)로 가중치가 적용되기 때문에 커널 중심에서 멀어질수록 히스토그램에 영향이 작아지게 되며, 가까울수록 큰 영향을 준다.
또한 색 히스토그램 평활화는 간단한 연산을 통해 구현이 가능하기 때문에 기존 알고리즘에 비해 복잡도 증가가 거의 발생하지 않는다. 따라서 본 논문에서 제안하는 기법을 통해 고속으로 비-균일 색-공간 양자화를 수행할 수 있으며, 이를 통해 얻어지는 히스토그램은 명암 대비가 개선된 형태이기 때문에 보다 높은 정확도의 물체 추적을 가능하게 한다.
본 논문에서 제안하는 비-균일 색-공간 양자화가 적용된 표적 모델 #과 표적 후보 #는 색-공간 양자화 후에도 0이 아닌 값을 가지는 빈들이 히스토그램전 영역에 고르게 분포하게 되며, 이를 통해 보다 많은 화소에 대한 가중치 ωi를 얻을 수 있다. 따라서 본 논문에서 제안하는 기법을 통해 보다 많은 화소들이 영향으로 주는 평균이동 벡터 #를 계산을 할 수 있으며, 이로 인해 히스토그램 분포가 편중된 영상에서도 정확도 높은 물체 추적 결과를 얻을 수 있다.
제안 알고리즘은 표적 모델에 색-공간 히스토그램 평활화를 적용한 후 균일 양자화를 적용하는 방식으로, 색-공간 양자화 후에도 히스토그램이 전체적으로 분산되는 결과를 얻을 수 있으며, 이를 통해 보다 정확한 평균 이동 벡터를 구할 수 있게 되었다. 또한 표적 모델 생성 시에만 히스토그램 변환 함수를 적용하고, 생성된 비-균일 양자화 방법이 반복적으로 수행하는 추적 후보 모델에는 단순 적용만 되기 때문에 복잡도 증가가 거의 발생하지 않으며, 이는 실시간 고속 추적을 목표로 하는 커널 기반 평균 이동 알고리즘에 적합하다고 할 수 있다. 6개의 물체 추적용 실험 영상을 통해 본 논문에서 제안하는 기법의 성능을 검증한 결과, 기존의 비-균일 양자화 알고리즘에 비해 매우 낮은 복잡도를 가지는 동시에 유사한 물체 추적 성능 향상 결과를 얻을 수 있었으며, 특정 영상에서는 좀 더 나은 물체 추적 결과를 보이기도 하였다.
Comaniciu 등의 기본 알고리즘에서 비- 균일 양자화로 얻은 성능 개선은 제안 기법과 거의 유사한 것을 볼 수 있고, Campus1 시퀀스의 경우에는 제안 기법만이 추적에 성공하는 것을 알 수 있다. 또한, 비-균일 양자화 알고리즘의 복잡도를 비교해 보면 대략 73배에서 최대 5,235배까지 제안 기법에 비해 높은 계산량을 요구하는 것을 볼 수 있다. 그림 9는 Fight_RunAway2 영상에서 클러스터 개수에 따른 기존 비-균일 양자화 알고리즘의 성능을 보여준다.
색 히스토그램 평활화 기법[11]은 영상의 히스토그램을 이용하여 정규화 된 누적 분포를 구한 후, 조정인자를 곱하여 원래의 명암 값을 재분배한다. 명암 대비가 개선된 영상은 히스토그램 분포도가 전 영역에 고르게 분산되어 있으며, 이에 균일 양자화를 적용함으로써 결과적으로 영상의 특징을 이루는 높은 히스토그램 빈 값을 가지는 색 영역에서 간격이 좁은 양자화를, 반대의 경우에는 간격이 넓은 양자화를 수행하는 비-균일 색-공간 양자화 결과를 얻을 수 있다. 또한 색 히스토그램 평활화는 간단한 연산을 통해 구현이 가능하기 때문에 기존 알고리즘에 비해 복잡도 증가가 거의 발생하지 않는다.
또한 분산된 색 히스토그램은 양자화 후에도 전체 히스토그램 영역에 분산된 값을 유지하기 때문에 이로 인해 증가되는 히스토그램 비교 후보군은 히스토그램 유사성 비교의 정확도를 높일 수 있다. 본 논문에서 제안하는 비-균일 양자화 기법은 색 히스토그램 평활화 기법[11]을 통해 고속으로 히스토그램 분포를 조절한 후 색-공간 균일 양자화를 적용하는 방식으로, 결과적으로는 비트 심도(bit-depth)가 8인 색-공간 별로 28바이트(byte) 크기의 양자화 테이블로 구현된다. 히스토그램 평활화가 편중된 색-공간 분포를 가진 영상을 평활한 색-분포를 가지도록 변환하는 기법이기 때문에, 평활화 결과에 균일 양자화를 적용하는 것은 표적 모델의 특징을 이루는 높은 히스토그램 빈 값을 가지는 색 영역 부근에서는 간격이 좁은 양자화를 수행하고, 반대로 낮은 히스토그램빈 값을 가지는 색 영역들은 크게 하나로 묶어주는 결과를 제공한다.
는각 색-공간 당 양자화 단계 수를 의미한다. 위와 같이 표적 모델에 양자화 테이블 T= {TR ,TG ,TB} 를 RGB 색-공간에 각각 적용함으로써 본 논문에서 제안하는 비-균일 양자화 결과를 얻을 수 있다. 위와 같이 계산된 양자화 테이블을 이용하여 색 히스토그램 평활화가 적용된 표적모델 #를 다음과 같이 재 정의할 수 있다.
이와 같은 결과를 종합해보면 본 논문에서 제안하는 비- 균일 색-공간 양자화 기법이 평균 이동 물체 추적의 성능을 개선할 수 있음을 알 수 있고, 특히 명암비가 좋지 않은 영상에서의 실시간 물체 추적에 매우 효과적임을 알 수 있다.
정량적으로 보면 ωi 계산에 영향을 주는 빈은 기존 49개에서 히스토그램 평활화 후에 298개로 크게 증가하였으며, 이와 같이 히스토그램 비교 후보군의 증가로 인해 보다 정확도가 높은 평균 이동 벡터를 구할 수 있었다.
본 논문에서는 커널 기반 평균 이동 알고리즘에서 색-공간 양자화로 인해 발생하는 히스토그램 불균일 분포 현상을 해결하기 위해 고속 비-균일 색-공간 양자화 기법을 제안하였다. 제안 알고리즘은 표적 모델에 색-공간 히스토그램 평활화를 적용한 후 균일 양자화를 적용하는 방식으로, 색-공간 양자화 후에도 히스토그램이 전체적으로 분산되는 결과를 얻을 수 있으며, 이를 통해 보다 정확한 평균 이동 벡터를 구할 수 있게 되었다. 또한 표적 모델 생성 시에만 히스토그램 변환 함수를 적용하고, 생성된 비-균일 양자화 방법이 반복적으로 수행하는 추적 후보 모델에는 단순 적용만 되기 때문에 복잡도 증가가 거의 발생하지 않으며, 이는 실시간 고속 추적을 목표로 하는 커널 기반 평균 이동 알고리즘에 적합하다고 할 수 있다.
하지만 이러한 색공간 양자화 방식은 히스토그램 유사성 비교 결과의 정확도를 감소시키게 되며, 특히 추적하고자 하는 모델 히스토그램이 일부 영역에 편중되어 분포하고 있는 경우 큰 문제점을 발생시킬 수 있다. 즉, 표적 모델의 색 히스토그램이 특정 영역에 집중되어 있는 경우, 균일 히스토그램 양자화로 인해 특징 색들이 대부분 동일한 값의 빈(bin)으로 변환될 수 있으며, 이로 인해 발생하는 비교 대상 히스토그램 빈의 감소는 히스토그램 유사성 비교 결과의 신뢰도를 감소시킬 수 있다.
이를 통해 클러스터 개수만큼의 비-균일한 히스토그램 빈 영역을 색-공간 내에 생성하게 되며, 클러스터 개수는 클러스터링 변수 값에 따라 자동으로 결정된다. 즉, 히스토그램 빈 영역을 색-공간에서 비-균일하게 설정하여 유사한 화소끼리 히스토그램을 구성하도록 하였으며, 이를 통해 히스토그램이 편중된 영상에서도 보다 정확한 히스토그램 비교 결과를 얻을 수 있다. 하지만 이 알고리즘은 클러스터의 개수에 따라 물체 추적의 정확도가 크게 좌우되며, 또한 클러스터의 개수가 증가할수록 알고리즘 복잡도가 급증한다.
그림 9는 Fight_RunAway2 영상에서 클러스터 개수에 따른 기존 비-균일 양자화 알고리즘의 성능을 보여준다. 클러스터의 개수가 426개 이하인 경우에는 물체 추적에 실패하기 때문에 그림에서 제외하였으며, 커널 크기 (61x33) 및 알고리즘의 특성 상 최대 클러스터 개수인 2,013개부터 알고리즘 성능 결과를 확인하였다. 그림에 보이는 바와 같이, 클러스터 수가 많을수록 제안하는 알고리즘보다 높은 추적 성능을 보여주지만, 알고리즘이 요구하는 복잡도가 크게 증가하는 것을 확인할 수 있다.
표 2의 결과에서, D.Comaniciu 등이 제안한 평균 이동 물체 추적 기법에 기존의 비-균일 양자화 기법[12]을 적용한 결과와 D. Comaniciu 등의 방식에 제안하는 양자화 기법을 적용한 결과를 비교해 보면, 본 논문에서 제안하는 알고리즘이 모든 실험 영상에서 기존 기법의 결과에 상당하는 우수한 물체 추적 결과를 보여주고 있는 것을 알 수 있다. 특히, 명암비가 좋지 않은 실험 영상(Campus1, Campus2 및 Fight_RunAway2)에서 제안 기법은 물체 추적에 모두 성공한 것을 볼 수 있다.
Comaniciu 등의 방법과 기존 비-균일 양자화 기법에서 추적 실패로 이어졌다. 하지만 본 논문에서 제안하는 비-균일 색-공간 양자화를 이용하면 명암비가 좋지 않은 영상에서도 물체와 배경을 보다 쉽게 구분할 수 있으며, 이와 같은 명암 대비 조절로 인한 히스토그램 비교 후보군의 증가는 보다 정확도 높은 물체 추적을 가능하게 한다는 것을 알 수 있다. 히스토그램 비교 후보군의 증가로 인한 물체 추적의 정확도 향상은 Corridor, Baseball 및 Egtest05 영상의 결과에서도 확인할 수 있는데, 표 2에서 볼 수 있는 바와 같이 Corridor 영상의 평균 거리 오차는 히스토그램 평활화를 적용할 경우 대략 20%가 감소하였으며(D.
즉, 히스토그램 빈 영역을 색-공간에서 비-균일하게 설정하여 유사한 화소끼리 히스토그램을 구성하도록 하였으며, 이를 통해 히스토그램이 편중된 영상에서도 보다 정확한 히스토그램 비교 결과를 얻을 수 있다. 하지만 이 알고리즘은 클러스터의 개수에 따라 물체 추적의 정확도가 크게 좌우되며, 또한 클러스터의 개수가 증가할수록 알고리즘 복잡도가 급증한다. 특히 색-공간에서 비-균일하게 설정된 히스토그램 빈 영역 간의 중복 영역 확인이 필요하므로 클러스터 개수가 증가할수록 이를 위한 연산량이 늘어난다.
하지만 본 논문에서 제안하는 비-균일 색-공간 양자화를 이용하면 명암비가 좋지 않은 영상에서도 물체와 배경을 보다 쉽게 구분할 수 있으며, 이와 같은 명암 대비 조절로 인한 히스토그램 비교 후보군의 증가는 보다 정확도 높은 물체 추적을 가능하게 한다는 것을 알 수 있다. 히스토그램 비교 후보군의 증가로 인한 물체 추적의 정확도 향상은 Corridor, Baseball 및 Egtest05 영상의 결과에서도 확인할 수 있는데, 표 2에서 볼 수 있는 바와 같이 Corridor 영상의 평균 거리 오차는 히스토그램 평활화를 적용할 경우 대략 20%가 감소하였으며(D. Comaniciu 등의 기법과 비교), Egtest05 영상에서도 12% 정도 감소하였다. 즉, 본 논문에서 제안하는 비-균일 양자화 기법이 균일 양자화 기법에 비해 보다 정확한 물체 추적 성능을 제공하는 것이다.
후속연구
이와 같은 비-균일 히스토그램 양자화를 통해 히스토그램이 색-공간의 일부에 편중된 영상에서도 높은 정확도의 물체 추적 결과를 얻을 수 있지만 설정된 클러스터의 개수에 따라 물체 추적 정확도가 크게 좌우되며, 알고리즘 복잡도가 매우 높기 때문에 실시간 물체 추적에 적용하기 어려운 단점이 있다. 따라서 본 논문에서 목표로 하는 실시간 물체 추적의 정확도 향상을 위해서는 고속으로 비-균일 히스토그램 양자화를 수행하는 알고리즘이 요구된다.
6개의 물체 추적용 실험 영상을 통해 본 논문에서 제안하는 기법의 성능을 검증한 결과, 기존의 비-균일 양자화 알고리즘에 비해 매우 낮은 복잡도를 가지는 동시에 유사한 물체 추적 성능 향상 결과를 얻을 수 있었으며, 특정 영상에서는 좀 더 나은 물체 추적 결과를 보이기도 하였다. 향후에는 기존 비-균일 양자화 알고리즘보다 정교하며 실시간 추적이 가능하도록 하는 양자화 방법에 대해 연구를 진행할 계획이며, 본 논문에서 제안하는 알고리즘에서 고려하지 못한 객체의 시간 변이에 따른 가려짐, 변형, 명암비가 수시로 변동되는 영상에서의 물체 추적을 위해 표적 모델 업데이트를 이용한 적응적 양자화 방법에 대해서도 연구를 진행할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
본 논문에서 제안한 비-균일 양자화 기법 사용 시의 장점은?
히스토그램 평활화가 편중된 색-공간 분포를 가진 영상을 평활한 색-분포를 가지도록 변환하는 기법이기 때문에, 평활화 결과에 균일 양자화를 적용하는 것은 표적 모델의 특징을 이루는 높은 히스토그램 빈 값을 가지는 색 영역 부근에서는 간격이 좁은 양자화를 수행하고, 반대로 낮은 히스토그램빈 값을 가지는 색 영역들은 크게 하나로 묶어주는 결과를 제공한다. 또한 이러한 비-균일 양자화 기법은 기존의 균일 양자화가 제공하는 고속 추적의 장점은 유지하면서 명암 대비가 개선된 형태로 히스토그램 유사도 계산을 가능하도록 함으로써, 기존 비-균일 양자화 알고리즘과 비슷한 물체 추적의 정확도를 얻을 수 있도록 한다.
물체 추적은 어떤 기술이며 어디에 사용되고 있는가?
컴퓨터 비전(computer vision)의 주요 연구 분야 중 하나인 물체 추적은 연속된 장면에서 추적의 대상이 되는 물체의 위치를 찾는 기술로, 현재 HCI(human-computer inter- action), 비디오 색인, 자동 보안 시스템 등의 분야에서 널리 사용되고 있다. 물체 추적 연구는 일반적으로 크게 점(point), 커널(kernel), 그리고 실루엣(silhouette) 기반의 방식으로 나눌 수 있는데[1], 최근에는 높은 추적 신뢰도를 제공하면서 실시간 응용 프로그램의 구현이 용이한 커널 기반 물체 추적 방법이 높은 관심을 받고 있다.
비-균일 양자화 알고리즘은 무엇이며 어떤 장단점을 가지는가?
이러한 문제점을 보완하기 위해 히스토그램 빈 개수 및 영역을 적응적으로 조절하는 비-균일 양자화 알고리즘이제안되었다[12]. 이 알고리즘은 커널 영역의 화소 값들을 클러스터링(clustering)하여 분류한 후, 각각의 클러스터에 적합한 최적의 히스토그램 빈 영역을 색-공간 내에서 설정함으로써 비-균일 히스토그램 양자화를 수행한다. 이와 같은 비-균일 히스토그램 양자화를 통해 히스토그램이 색-공간의 일부에 편중된 영상에서도 높은 정확도의 물체 추적 결과를 얻을 수 있지만 설정된 클러스터의 개수에 따라 물체 추적 정확도가 크게 좌우되며, 알고리즘 복잡도가 매우 높기 때문에 실시간 물체 추적에 적용하기 어려운 단점이 있다. 따라서 본 논문에서 목표로 하는 실시간 물체 추적의 정확도 향상을 위해서는 고속으로 비-균일 히스토그램 양자화를 수행하는 알고리즘이 요구된다.
참고문헌 (13)
A. Yilmaz, O. Javed, and M. Shah, "Object tracking: a survey", ACM Computing Surveys, vol. 38, no. 4, Article 13, Dec 2006.
S. T. Birchfield and S. Rangarajan, "Spatiograms versus histograms for region-based tracking," in Proc. CVPR 2005, 20-25 June, San Diego, pp.1158-1163.
H. Zhou, Y. Yuan, and C. Shi, "Object tracking using SIFT features and mean shift," Computer Vision and Image Understanding, vol.113, no.3, pp.345-352, Mar. 2009.
R. T. Collins, "Mean-shift blob tracking through scale space," in Proc. CVPR 2003, 18-20 June, Pittsburg, pp.II-234-II-240.
A. Yilmaz, "Object tracking by assymmetric kernel mean shift with automatic scale and orientation selection," in Proc. CVPR 2007, 17-22 June, Minneapolis, pp.1-6.
Q. Zhao, Z. Yang, and H. Tao, "Differential earth movers distance with its applications to visual tracking," IEEE Trans. PAMI, vol.32, no.2, pp.274-287, 2010.
J. Jeyakar, R. V. Babu, K. R. Ramakrishnan, "Robust object tracking with backgroundweighted local kernels," Computer Vision and Image Understanding, vol.112, no.3, pp.296-309, Dec. 2008.
J. J. Ning, L. Zhang, D. Zhang, and C. Wu, "Robust mean-shift track ing with corrected background-weighted histogram," IET Comput. Vis.,vol.6, no.1, pp.62-69, 2012.
A. K. Jai, "Fundamentals of Digital Image Processing", Prentice Hall, 1989.
P. Li, "An Adaptive Binning Color Model for Mean Shift Tracking", IEEE Trans. CSVT, Vol. 18, No.9, pp.1293-1299, Sep 2008.
E. Choi, S. Lee, and M. G. Kang, "Object Tracking Algorithm Using Weighted Color Centroids Shifting," Journal of broadcast engineering, Vol.15, No.2, pp.236-247, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.