선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 추적의 연속성에 방해가 되는 추적중인 표적의 가림 또는 부분가림, 급격한 시선이동에 의한 표적 상실을 개선하기 위한 방법을 살펴보았다. 부분가림과 가림을 해결하기 위해 표적을 분할하여 각각의 상관필터를 구성하였다.
제안 방법
- 표적의 명암 값뿐만 아니라 명암 값의 기울기를 다양한 방향으로 추출하여, 다 차원의 상관필터로 확장하여 상관필터를 구성하기도 한다. 본 논문에서 제안하는 알고리즘은 표적을 여러 개로 분할하고 분할된 표적에 대해 다 차원의 상관필터를 이용하여 추적하며, random ferns, P-N learning 학습을 통해서 표적의 가림 등에 의한 표적 상실에 대처하며, 매 프레임 표적 정보 학습을 통해 표적에 대한 신뢰도를 높여 강인한 추적이 가능하게 한다.
- 제안하는 알고리즘의 전체적인 블록도는 그림 1과 같다. 연속적으로 영상이 입력되는 환경에서 추적과 탐지 파트로 나누어져 알고리즘들이 수행되며, 추적파트에선 표적의 분할과 각 분할된 표적에 대해 HoG features[9]을 추출하여 추출된 특징들에 대해 상관필터를 구성하여 추적을 진행한다. 탐지 알고리즘파트에선 Random fern학습을 위한 BRIEF (Binary Robust Independent Elementary Features)[10]와 표적 주변 패치들을 추출하여 학습한다.
- 연속적으로 영상이 입력되는 환경에서 추적과 탐지 파트로 나누어져 알고리즘들이 수행되며, 추적파트에선 표적의 분할과 각 분할된 표적에 대해 HoG features[9]을 추출하여 추출된 특징들에 대해 상관필터를 구성하여 추적을 진행한다. 탐지 알고리즘파트에선 Random fern학습을 위한 BRIEF (Binary Robust Independent Elementary Features)[10]와 표적 주변 패치들을 추출하여 학습한다. 연속된 영상입력에서 추적결과와 탐지결과를 통합하여 최종 추적결과를 도출하고 도출된 결과에서 학습을 위한 특징들을 추출하여 기본 정보들을 update한다.
- 탐지 알고리즘파트에선 Random fern학습을 위한 BRIEF (Binary Robust Independent Elementary Features)[10]와 표적 주변 패치들을 추출하여 학습한다. 연속된 영상입력에서 추적결과와 탐지결과를 통합하여 최종 추적결과를 도출하고 도출된 결과에서 학습을 위한 특징들을 추출하여 기본 정보들을 update한다.
- 사용자에 의해 표적이 선택되면 다중상관필터를 생성하기 위한 단계들을 시작한다. 표적영상에 대해 HoG(Histogram of Oriented Gradients) features을 추출한다. HoG는 표적내부 픽셀들의 기울기의 강도 및 방향 정보를 일정한 크기의 셀 단위로 방향 히스토그램 벡터를 만드는 것이다.
- 표적에 대한 Hog특징을 추출한 후 표적 분할을 통해 Hog특징들도 분할한다. 위, 아래, 오른쪽, 왼쪽, 전체의 5개의 블록에 대해서 각각의 상관필터를 생성하기 위해 고속푸리에 변환 FFT를 수행한다.
- 표적에 대한 Hog특징을 추출한 후 표적 분할을 통해 Hog특징들도 분할한다. 위, 아래, 오른쪽, 왼쪽, 전체의 5개의 블록에 대해서 각각의 상관필터를 생성하기 위해 고속푸리에 변환 FFT를 수행한다. 각각의 블록에 대해서 목적으로 하는 상관 응답 결과는 가우시한 함수를 이용하여 극대점의 위치가 블록들의 중심들과 일치하도록 생성한다.
- 각 블록에 대해 식(4),(5)를 이용하여 상관필터를 생성한다. 다음 프레임에서 표적 영상이 입력되면 입력된 표적 영상에 대해 Hog특징점 추출과 표적 분할을 수행하고 각각의 블록에 대해 매칭되는 상관필터들과 상관도를 수행하여 상관응답맵(response map)을 만들게 된다. 상관응답맵에서 PSR을 계산하여 각 블록에 대해 신뢰도를 측정하게 된다.
- 각 patch들에 대해서 ensemble filter을 사용하기 위해 keypoint 인식이 빠른 random fern분류기를 사용한다. 표적에 대해 여러개의 fern을 만들고 각 fern마다 BRIEF features을 추출한 후 학습을 한다. BRIEF feature들의 위치는 초기 추적 시 마다 랜덤(random)하게 결정되며, 두 점의 밝기의 크기에 의해 0과 1로 표현된다.
- 그림 10는 cascade filter처리 과정을 나타낸다. 표적 영상에 대해 다양한 크기 및 위치의 patch들로 지정한 후 각 patch들에 대해서 cascade filter처리를 한다. patch variance단계에서는 표적의 분산값보다 50%이하의 patch들을 제거하는 역할을 한다.
- 일정 임계값 이상일 경우 최종 표적 후보로 판단한다. 최종 후보들 중 하나의 탐지 결과를 생성 하고, 탐지결과위치에서 긍정패치와 부정패치를 추출 후 학습한다. 탐지과정 수행은 추적 중 표적의 전체적인 가림이나, 빠른 움직임으로 추적필터의 범위를 벗어났을 경우에도 추적을 유지할 수 있게 한다.
- 02으로 설정하였고, 표적 주변에서 가져올 영역을 표적의 2배만큼 가져오기 위해 padding값 1로 설정하였다. 목적으로 하는 상관출력함수의 output gaussian sigma 0.5로 설정하였으며, 표적의 특징추출에 사용된 Hog관련 변수는 feature는 8개, Hog Cell Size 1, Block Size 2로 설정하였다, 탐지관련 변수에서 fern tree는 10개, BREIF features는 13개를 사용하였다. response map에서 가림판단에 사용되는 PSR을 계산하기 위한 제한영역은 11×11로 설정하였다.
- 모든 영상은 ground truth를 가지고 있고, 표적추적 성능측정 수치로 거리정밀도(Distance Precision)을 사용하였다. 거리정밀도는 추적한 전체 프레임 중에서 특정 임계값보다 작은 유클리디안 거리 오차를 가지는 프레임들이 가지는 비율을 나타낸다.
- 본 논문에서는 추적의 연속성에 방해가 되는 추적중인 표적의 가림 또는 부분가림, 급격한 시선이동에 의한 표적 상실을 개선하기 위한 방법을 살펴보았다. 부분가림과 가림을 해결하기 위해 표적을 분할하여 각각의 상관필터를 구성하였다. 각각의 상관필터에 PSR값을 이용하여 필터오염도를 판단하였고, 정상적인 필터 결과를 보인 블록을 사용하여 추적필터에 대해 신뢰도가 높은 표적 정보만을 학습하였다.
- 부분가림과 가림을 해결하기 위해 표적을 분할하여 각각의 상관필터를 구성하였다. 각각의 상관필터에 PSR값을 이용하여 필터오염도를 판단하였고, 정상적인 필터 결과를 보인 블록을 사용하여 추적필터에 대해 신뢰도가 높은 표적 정보만을 학습하였다. 추적중인 표적의 전체가 가려지거나, 급격한 시선이동으로 인하여 추적필터의 추적 가능 범위를 벗어나 추적 필터가 모두 오염되었을 경우 탐지 알고리즘에서 표적의 재 탐지를 수행한다.
- 표적의 재 탐지지점에서 상관필터의 PSR값을 계산하여 추적 중이었던 표적인지 확인 후 추적을 이어간다. 4개의 영상을 통해 시험을 수행하여 알고리즘의 효용성을 검증하였다. 표적이 느리면서 부분적인 가림이 빈번하지 않은 영상에서는 모두 좋은 결과를 보였으나, 표적의 속도가 빠르고 가림이 빈번하며 급격한 시선이동이 있는 영상에서는 제안된 알고리즘이 가장 좋은 결과를 보였다.
- 탐지파트는 표정이 선택되면 patch들을 추출 후 학습을 시작한다. 표적위치에서 표적과의 유사도가 일정 이상인 표적유사 patch(긍정패치)들과 표적과 떨어진 곳에서 배경유사patch(부정패치)들을 이용하여 학습에 사용한다. 각 patch들에 대해서 ensemble filter을 사용하기 위해 keypoint 인식이 빠른 random fern분류기를 사용한다.
대상 데이터
- 본 논문에서 제시한 알고리즘의 결과를 확인하기 위해 사용된 컴퓨터 환경은 Intel I7 CPU @3.40GHz, 8.00GB Memory, Windows 7 64bit 조건에서 수행하였고, 사용된 SW툴은 Microsoft Visual Studio 2012와 Opencv 2.4.10을 사용하였다.
- 실험에 사용한 영상데이터는 가림과 빠른 모션을 주기위해 가시영상 EO카메라와 IR카메라를 사용하여 직접 촬영한 영상을 사용 하였다. 그림 11은 추적에 사용된 실험 데이터를 나타낸다.
이론/모형
- 탐지파트는 표준편차값을 이용한 variance filter, Random ferns 방식의 ensemble filter와 NN(Nearest Neighbor classifier)[10]기반으로 수행된다. 그림 8은 추적파트의 블록도를 나타낸다.
- 긍정패치, 부정패치들에 대해 P-N 학습을 사용한다. P-N학습은 레이블 된 데이터(labeled data)와 레이블 되지 않은 데이터(unlabeled data)를 모두 사용하여 이진 분류기(binary classifier)를 훈련시키는 방법이다.
- P-N학습은 레이블 된 데이터(labeled data)와 레이블 되지 않은 데이터(unlabeled data)를 모두 사용하여 이진 분류기(binary classifier)를 훈련시키는 방법이다. 초기 훈련이 끝나고 연속되는 프레임에서 표적에 대한 최종 후보 선정은 cascaded filter 방법을 사용하며, cascade filter는 variance filter, ensemble filter, NN-filter 순으로 진행된다.
성능/효과
- (c)에서 MOSSE필터의 거리정밀도가 다소 떨어진 건 트럭이 이동 중에 부분가림에 의한 결과이다. 트럭이 느린 속도로 이동하면서 전봇대와 나무등에 의한 가림이 발생하는 (b)영상에선 제안된 알고리즘이 다른 알고리즘보단 좋은 결과를 보여줬고, 차량 이동속도가 빠르고 급격한 화면 이동이 있는 (a)영상에서는 제안된 알고리즘이 다른 알고리즘에 비해 강인한 결과를 보여주었다. 표적의 속도가 느리고 가림등이 빈번하지 않은 곳에서는 3가지 알고리즘이 비슷한 결과를 보였지만, 차량의 속도가 빠르면서 부분가림과 완전가림이 존재하며 화면의 이동이 급격하게 변하는 환경에서는 제안된 알고리즘이 강인함을 보였다.
- 트럭이 느린 속도로 이동하면서 전봇대와 나무등에 의한 가림이 발생하는 (b)영상에선 제안된 알고리즘이 다른 알고리즘보단 좋은 결과를 보여줬고, 차량 이동속도가 빠르고 급격한 화면 이동이 있는 (a)영상에서는 제안된 알고리즘이 다른 알고리즘에 비해 강인한 결과를 보여주었다. 표적의 속도가 느리고 가림등이 빈번하지 않은 곳에서는 3가지 알고리즘이 비슷한 결과를 보였지만, 차량의 속도가 빠르면서 부분가림과 완전가림이 존재하며 화면의 이동이 급격하게 변하는 환경에서는 제안된 알고리즘이 강인함을 보였다.
- 4개의 영상을 통해 시험을 수행하여 알고리즘의 효용성을 검증하였다. 표적이 느리면서 부분적인 가림이 빈번하지 않은 영상에서는 모두 좋은 결과를 보였으나, 표적의 속도가 빠르고 가림이 빈번하며 급격한 시선이동이 있는 영상에서는 제안된 알고리즘이 가장 좋은 결과를 보였다. 앞으로는 더욱 많은 실험영상을 통해 알고리즘을 개선하여 성능을 높이는 연구를 진행할 예정이며, 상관필터에 사용된 특징점 추출방식을 HoG와 다른 특징점 추출방식을 사용하여 비교 시험을 진행할 예정이다.
- 다 차원으로 필터를 구성함으로써 특징들이 서로 상호보완 작용하여 강인한 추적성능을 가지고 된다. 추적이 진행되는 동안 표적에 대한 정보를 매 프레임 추출하여 상관필터를 갱신하며, 실시간 상관필터의 갱신으로 복잡한 배경환경에서의 표적의 변화에 대해 적응하여 높은 추적 성능을 보여준다. 본 논문은 다음과 같이 구성된다.
후속연구
- 표적이 느리면서 부분적인 가림이 빈번하지 않은 영상에서는 모두 좋은 결과를 보였으나, 표적의 속도가 빠르고 가림이 빈번하며 급격한 시선이동이 있는 영상에서는 제안된 알고리즘이 가장 좋은 결과를 보였다. 앞으로는 더욱 많은 실험영상을 통해 알고리즘을 개선하여 성능을 높이는 연구를 진행할 예정이며, 상관필터에 사용된 특징점 추출방식을 HoG와 다른 특징점 추출방식을 사용하여 비교 시험을 진행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.