물체를 3차원으로 모델링 하는 데에 있어서 기존의 연구들은 주로 모델링할 물체 외에 다른 방해 요소가 없는 제한된 환경에서 작업을 수행하였다. 이러한 환경 제약이 없는 일상적인 생활환경에서 물체를 모델링하기 위해서는 관심영역 외의 주변 물체들이 복잡하게 섞여있고 빈번하게 변하는 상황을 고려해야 한다. 본 논문에서는 스테레오 비전 카메라를 이용하여 동적인 환경에서 대상 물체가 포함된 전경 영역을 배경으로부터 분리하고 지속적으로 추적하는 방법을 제안한다. 스테레오 영상으로부터 획득된 거리 정보를 이용하여 색상 정보를 이용할 때보다 환경변화에 강인하게 전경 영역을 분리할 수 있다. 또한 시간적으로 연속된 두 영상에 나타나는 전경 영역은 위치나 상태에 따른 변화가 크지 않으므로 관심영역의 상대적인 거리 분포를 비교하여 추적할 수 있다. 다양한 조건의 동적인 환경에서 전경 영역을 분리 및 추적하는 실험을 통해 본 논문에서 제안하는 방법의 성능을 평가한다. 이를 통해 분리 및 추적된 전경 영역으로부터 물체 영역을 추출하여 3차원 물체 모델링이 가능함을 보인다.
물체를 3차원으로 모델링 하는 데에 있어서 기존의 연구들은 주로 모델링할 물체 외에 다른 방해 요소가 없는 제한된 환경에서 작업을 수행하였다. 이러한 환경 제약이 없는 일상적인 생활환경에서 물체를 모델링하기 위해서는 관심영역 외의 주변 물체들이 복잡하게 섞여있고 빈번하게 변하는 상황을 고려해야 한다. 본 논문에서는 스테레오 비전 카메라를 이용하여 동적인 환경에서 대상 물체가 포함된 전경 영역을 배경으로부터 분리하고 지속적으로 추적하는 방법을 제안한다. 스테레오 영상으로부터 획득된 거리 정보를 이용하여 색상 정보를 이용할 때보다 환경변화에 강인하게 전경 영역을 분리할 수 있다. 또한 시간적으로 연속된 두 영상에 나타나는 전경 영역은 위치나 상태에 따른 변화가 크지 않으므로 관심영역의 상대적인 거리 분포를 비교하여 추적할 수 있다. 다양한 조건의 동적인 환경에서 전경 영역을 분리 및 추적하는 실험을 통해 본 논문에서 제안하는 방법의 성능을 평가한다. 이를 통해 분리 및 추적된 전경 영역으로부터 물체 영역을 추출하여 3차원 물체 모델링이 가능함을 보인다.
The previous researches of 3D object modeling have been performed in a limited environment where a target object only exists. However, in order to model an object in the real environment, we need to consider a dynamic environment, which has various objects and a frequently changing background. There...
The previous researches of 3D object modeling have been performed in a limited environment where a target object only exists. However, in order to model an object in the real environment, we need to consider a dynamic environment, which has various objects and a frequently changing background. Therefore, this paper presents a segmentation and tracking method for a foreground which includes a target object in the dynamic environment. By using depth information than color information, the foreground region can be segmented and tracked more robustly. In addition, the foreground region can be tracked on the sequential images by referring depth distributions of the foreground region because both the position and the status in the consecutive images of the foreground region are almost unchanged. Experimental results show that our proposed method can robustly segment and track the foreground region in various conditions of the real environment. Moreover, as an application of the proposed method, it is presented a method for modeling an object extracting the object regions from the foreground region that is segmented and tracked.
The previous researches of 3D object modeling have been performed in a limited environment where a target object only exists. However, in order to model an object in the real environment, we need to consider a dynamic environment, which has various objects and a frequently changing background. Therefore, this paper presents a segmentation and tracking method for a foreground which includes a target object in the dynamic environment. By using depth information than color information, the foreground region can be segmented and tracked more robustly. In addition, the foreground region can be tracked on the sequential images by referring depth distributions of the foreground region because both the position and the status in the consecutive images of the foreground region are almost unchanged. Experimental results show that our proposed method can robustly segment and track the foreground region in various conditions of the real environment. Moreover, as an application of the proposed method, it is presented a method for modeling an object extracting the object regions from the foreground region that is segmented and tracked.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
3차원 물체 모델링을 위해서는 카메라의 시점변화 및 배경 변화에 강인한 추적 방법이 적용되어야 하기 때문에, 본 논문에서는 기존 연구들에서 사용된 색상 정보가 아닌 스테레오 영상으로부터 구할 수 있는 거리 정보를 이용하여 물체 복원을 위한 전경 영역 분리 및 추적 방법을 제안한다.
그림 2는 전경 영역을 추적하는 전체적인 과정을 설명하고 있다. t-1 시점의 거리 영상에 대한 전경 영역을 알고 있을 때, t 시점에서의 거리 영상에 대한 전경 영역을 구하는 것을 목적으로 한다. 이를 위하여 우선 t-1 시점의 전경 영역에 대한 거리 히스토그램을 그림 2.
그러나 이러한 환경 제약이 없는 일상적인 생활환경에서 물체를 모델링하기 위해서는 여러 물체들이 복잡하게 섞여있고 빈번하게 변하는 상황을 고려해야 한다. 따라서 본 논문에서는 동적인 환경에서 대상 물체 영역이 포함된 전경 영역을 그 외의 영역으로부터 분리하고 지속적으로 추적할 수 있는 방법을 제안한다.
본 논문에서 제안한 전경 영역 분리 및 추적 방법에 대한 응용 예로써, 분리 및 추적된 전경 영역으로부터 물체 영역을 추출하여 물체를 3차원으로 모델링하는 방법에 대해 기술한다. 물체를 3차원으로 모델링하는 전체적인 과정은 그림 8과 같다.
기존의 방법들에 주로 사용된 색상 정보는 조명 변화에 민감하며, 겹쳐진 두 영역의 색상이 비슷하다면 색상 정보만을 이용하여 두 영역을 구분하기가 힘들다. 본 논문에서는 스테레오 비전 카메라로부터 얻을 수 있는 기하학적인 거리(depth) 정보를 연속적으로 입력받아 전경 영역을 분리 및 추적하는 방법을 제안한다. 동일한 영역 내에서는 물체의 거리 값이 연속적으로 변하지만, 서로 다른 영역 사이에서는 거리 값이 연속적이지 않다.
또한, 연속적으로 입력되는 영상에서 인접한 두 영상에 놓여있는 동일한 영역은 위치나 상태의 변화가 크지 않으므로 거리 분포를 비교하여 해당 영역을 추적해 나갈 수 있다. 본 논문에서는 연속된 프레임간의 관심영역의 거리 분포를 비교하는 방법을 통해 카메라의 시점 변화 및 배경의 변화에 강인한 추적 방법을 제안한다.
본 논문에서는 연속적으로 입력되는 스테레오 영상의 거리 정보를 이용하여 여러 동적인 변화가 존재하는 환경에서 전경 영역을 분리 및 추적하는 방법을 제안하였다. 거리정보의 시간적 연속성을 이용함으로써, 효과적인 관심영역 추적이 가능하였다.
가설 설정
(c))을 얻는다. 물체는 책상이나 테이블, 바닥 등 평평한 면에 놓여 있다고 가정하여, 전경 영역에서 대표 평면을 찾아 해당 평면을 포함한 아랫부분을 제거하면 물체 영역을 구할 수 있다. 이미지 정합에는 DLT(Direct Linear Transformation) [14] 알고리즘이 사용되었고, DLT 알고리즘을 수행하는데 필요한 인접한 이미지들 간의 대응점들은 SURF [15]를 이용하여 구하였다.
연속적으로 입력되는 영상에서 인접한 두 영상에 놓여있는 동일한 영역은 위치나 상태의 변화가 크지 않으므로 인접한 두 거리 영상 사이에서 해당 영역의 거리 분포는 비슷하다고 가정한다. 이에 따라 바로 이전 영상의 대상 영역의 거리 분포를 현재 영상의 여러 영역들의 거리 분포와 비교하여 가장 비슷한 분포를 보이는 영역을 선택하면 현재 영상에서 대상 영역을 찾을 수 있다.
제안 방법
우선, 그림 8.(a)와 같이 모델링하고자 하는 물체가 포함된 영상을 여러 시점에 촬영하고, 제안하는 분리 및 추적 과정을 통해 각 영상에 대한 전경 영역을 구한다. 그 후, 전경 영역의 3차원 점들(Point Cloud)을 정합하여 전경 영역에 대한 3차원 모델(그림 8.
Graph Cuts [4]는 입력 영상을 그래프(graph)로 표현하여 영역을 분리하는 문제를 해결하였다. 각 픽셀을 정점(vertex)으로 놓고, 모든 인접한 픽셀들을 간선(edge)으로 연결한 후, 두 인접한 픽셀 값의 차를 이용하여 간선의 가중치(weight)를 구하였다. 이렇게 구성된 그래프 상에서 가중치 값이 작은 간선들을 제거하는 방법으로 영역을 분리하였다.
거리 히스토그램은 일반적인 히스토그램 계산 방법을 거리 영상에 적용한 것이다. 그 후, t 시점에서의 거리 영상을 전경영역 분리 과정에서 사용하였던 레이블링 방법을 이용하여 여러 레이블로 구분하고, 각 레이블 영역에 대한 히스토그램 을 계산한다. 대응되는 각 레이블과 히스토그램은 그림 2.
본 논문에서 제안하는 전경 영역 분리 및 추적 방법의 성능을 평가하기 위하여 앞에서 언급한 세 가지 동적 환경에 대한 실험을 진행하였다. 또한, 기존의 영역 추적에 적용된 색상 기반의 특징점 매칭 방법, 거리 영상에 대한 추적 방법과의 비교를 수행하였다. 실험 결과 본 논문에서 제안하는 방법이 기존의 방법에 비해 환경변화에 강건하며, 연산시간에 있어서도 좋은 성능을 보임을 확인하였다.
본 논문에서 제안하는 전경 영역 분리 및 추적 방법은 연속적으로 입력되는 스테레오 영상의 거리 정보를 이용한다. 우선 첫 번째 영상에서 전경 영역을 분리한 후, 이후의 영상에서 분리된 영역을 추적하게 된다.
본 논문에서 제안하는 전경 영역 분리 및 추적 방법의 성능을 평가하기 위하여 앞에서 언급한 세 가지 동적 환경에 대한 실험을 진행하였다. 또한, 기존의 영역 추적에 적용된 색상 기반의 특징점 매칭 방법, 거리 영상에 대한 추적 방법과의 비교를 수행하였다.
본 논문에서 제안하는 전경 영역 분리 및 추적 방법이 실제 환경의 다양한 변화 속에서 강건하게 수행됨을 보이기 위하여 세 가지 조건, 즉, 조명이 변하는 경우, 배경 영역에서 다른 물체가 움직이는 경우, 그리고 전경 영역을 다른 물체가 부분적으로 가리는 경우에 대해 실험을 수행하였다. 실험 데이터는 카메라의 시점을 자유롭게 움직일 수 있도록 한 상태에서 세 가지 조건에 대한 비디오 영상을 획득하였다.
각 픽셀을 정점(vertex)으로 놓고, 모든 인접한 픽셀들을 간선(edge)으로 연결한 후, 두 인접한 픽셀 값의 차를 이용하여 간선의 가중치(weight)를 구하였다. 이렇게 구성된 그래프 상에서 가중치 값이 작은 간선들을 제거하는 방법으로 영역을 분리하였다. 이 방법은 컬러 영상에도 적용이 가능하지만 비슷한 색상을 기준으로 영역이 분리되기 때문에 관심 영역을 분리해 내기 위해서는 영역 내의 모든 색상이 포함될 수 있도록 사용자가 대략적인 영역을 지정해야 했다.
첫 번째 거리 이미지에서 전경 영역을 분리한 후, 분리된 전경 영역을 제안하는 영역 추적 방법과 함께, 위에서 언급한 기존의 두 방법으로 추적 과정을 수행하였다. 전경 영역 분리 및 추적의 성능을 비교, 측정하기 위해 사용되는 전경 영역의 참값은 입력된 각각의 거리 영상에 레이블링 기법만을 적용한 후, 수동으로 대상 전경 영역의 레이블들을 선택하여 구하였다. 실험에 사용된 스테레오 영상과 그에 따른 거리 영상은 Bumblebee 카메라를 이용하여 얻었으며, 320×240의 해상도를 사용하였다.
8GHz의 Intel Core i7 CPU가 사용되었다. 지금까지 세 가지 실험을 통해 본 논문에서 제안한 전경영역 분리 및 추적 방법과 기존 방법의 성능을 비교 측정해 보았다. 실험 결과 레이블링을 이용한 전경 영역 분리 방법만으로도 일반적인 경우 대부분 전경 영역을 찾는데 성공 하였지만, 대상영역 외에 다른 물체의 방해가 있을 경우 매 프레임 대상 영역을 분리하는 것보다 영역을 추적하는 방법이 더 효과적임을 알 수 있었다.
또한 전경 영역 분리에 사용된 레이블링 만을 사용한 방법, KLT(Kanade-Lukas Tomasi)를 이용한 색상 기반의 특징점 매칭 방법 [11, 12], CAMshift를 거리 영상에 적용한 추적 방법 [8]과 비교하였다. 첫 번째 거리 이미지에서 전경 영역을 분리한 후, 분리된 전경 영역을 제안하는 영역 추적 방법과 함께, 위에서 언급한 기존의 두 방법으로 추적 과정을 수행하였다. 전경 영역 분리 및 추적의 성능을 비교, 측정하기 위해 사용되는 전경 영역의 참값은 입력된 각각의 거리 영상에 레이블링 기법만을 적용한 후, 수동으로 대상 전경 영역의 레이블들을 선택하여 구하였다.
대상 데이터
본 논문에서 제안하는 전경 영역 분리 및 추적 방법이 실제 환경의 다양한 변화 속에서 강건하게 수행됨을 보이기 위하여 세 가지 조건, 즉, 조명이 변하는 경우, 배경 영역에서 다른 물체가 움직이는 경우, 그리고 전경 영역을 다른 물체가 부분적으로 가리는 경우에 대해 실험을 수행하였다. 실험 데이터는 카메라의 시점을 자유롭게 움직일 수 있도록 한 상태에서 세 가지 조건에 대한 비디오 영상을 획득하였다. 획득된 각각의 영상에서 전경 영역 분리 및 추적 과정을 수행한 후, 그 결과를 참값(Ground Truth)과 비교하였다.
실험에 사용된 스테레오 영상과 그에 따른 거리 영상은 Bumblebee 카메라를 이용하여 얻었으며, 320×240의 해상도를 사용하였다.
데이터처리
획득된 각각의 영상에서 전경 영역 분리 및 추적 과정을 수행한 후, 그 결과를 참값(Ground Truth)과 비교하였다. 또한 전경 영역 분리에 사용된 레이블링 만을 사용한 방법, KLT(Kanade-Lukas Tomasi)를 이용한 색상 기반의 특징점 매칭 방법 [11, 12], CAMshift를 거리 영상에 적용한 추적 방법 [8]과 비교하였다. 첫 번째 거리 이미지에서 전경 영역을 분리한 후, 분리된 전경 영역을 제안하는 영역 추적 방법과 함께, 위에서 언급한 기존의 두 방법으로 추적 과정을 수행하였다.
표 2. 전경 영역 분리 및 추적 방법의 연산시간 비교.
실험 데이터는 카메라의 시점을 자유롭게 움직일 수 있도록 한 상태에서 세 가지 조건에 대한 비디오 영상을 획득하였다. 획득된 각각의 영상에서 전경 영역 분리 및 추적 과정을 수행한 후, 그 결과를 참값(Ground Truth)과 비교하였다. 또한 전경 영역 분리에 사용된 레이블링 만을 사용한 방법, KLT(Kanade-Lukas Tomasi)를 이용한 색상 기반의 특징점 매칭 방법 [11, 12], CAMshift를 거리 영상에 적용한 추적 방법 [8]과 비교하였다.
이론/모형
이미지 정합에는 DLT(Direct Linear Transformation) [14] 알고리즘이 사용되었고, DLT 알고리즘을 수행하는데 필요한 인접한 이미지들 간의 대응점들은 SURF [15]를 이용하여 구하였다. 복원된 3차원 전경 모델에서 물체 영역을 구하는 데에는 RANSAC [16] 알고리즘을 이용한 평면 적합(Plane Fitting) 방법을 사용하였다.
분리된 영역을 추적하기 위한 대표적인 방법으로 Mean Shift [7] 알고리즘을 기반으로 하는 CAMShift [8]를 들 수 있다. Mean Shift는 확률 분포 맵 상에서 지역 정점을 찾는 알고리즘인데, CAMShift는 입력 영상에서 추적할 영역에 대한 색상 히스토그램을 작성하고 각 히스토그램 값을 입력 영상에 역 투영(back-projection)하는 방법으로 확률 분포 맵을 생성하였다.
전경 영역을 분리하는 과정은 그림 1과 같다. 우선 스테레오 영상으로부터 구한 거리 영상에서 영역들 사이의 거리 불연속성을 이용한 레이블링(labeling) 기법을 적용한다 (그림 1.(d)). 거리 영상의 각 픽셀은 밝을수록 카메라로부터 가까운 곳, 어두울수록 카메라로부터 먼 곳을 나타내는데, 영역들 사이의 거리 불연속성은 동일한 영역 내에서는 값이 부드럽게 변하지만 서로 다른 영역 사이에서는 값이 급격하게 바뀌게 되어 그림 1.
물체는 책상이나 테이블, 바닥 등 평평한 면에 놓여 있다고 가정하여, 전경 영역에서 대표 평면을 찾아 해당 평면을 포함한 아랫부분을 제거하면 물체 영역을 구할 수 있다. 이미지 정합에는 DLT(Direct Linear Transformation) [14] 알고리즘이 사용되었고, DLT 알고리즘을 수행하는데 필요한 인접한 이미지들 간의 대응점들은 SURF [15]를 이용하여 구하였다. 복원된 3차원 전경 모델에서 물체 영역을 구하는 데에는 RANSAC [16] 알고리즘을 이용한 평면 적합(Plane Fitting) 방법을 사용하였다.
히스토그램의 유사도 비교에는 두 확률 분포 함수 간의 상대적 엔트로피를 계산하는 방법인 KLD(Kullback-Leibler Divergence) [10]가 사용된다. 그림 3에서 p(x)와 q(x)는 임의의 두 확률 분포 함수를 나타내고, 이들 두 함수 간에 계산된 KLD 값인 DKL(P||Q)는 그림 3의 오른쪽에 음영처리 된 부분의 면적에 해당한다.
성능/효과
그림 7.(c) 는 그림 6에 대응하는 조명에 변화가 있을 때의 결과로 앞에서 설명한 것처럼 제안한 전경 영역 분리 및 추적 방법, CAMShift 방법에서 매우 좋은 성능을 보여주었다.
각 전경 영역 분리 및 추적 방법의 평균 연산시간을 비교한 결과는 표 2와 같이 KLT, 제안한 영역 추적 방법, CAMShift, 그리고 제안한 영역 분리 방법 순으로 나타났다. 연산 시간을 측정하는 데에는 2.
본 논문에서는 연속적으로 입력되는 스테레오 영상의 거리 정보를 이용하여 여러 동적인 변화가 존재하는 환경에서 전경 영역을 분리 및 추적하는 방법을 제안하였다. 거리정보의 시간적 연속성을 이용함으로써, 효과적인 관심영역 추적이 가능하였다. 실험을 통하여 본 논문에서 제안한 전경 영역 분리 및 추적 방법이 색상 정보를 사용하는 기존의 방법들에 비해 환경 변화에 강인함을 보였다.
실험 결과 레이블링을 이용한 전경 영역 분리 방법만으로도 일반적인 경우 대부분 전경 영역을 찾는데 성공 하였지만, 대상영역 외에 다른 물체의 방해가 있을 경우 매 프레임 대상 영역을 분리하는 것보다 영역을 추적하는 방법이 더 효과적임을 알 수 있었다. 또한 본 논문에서 제안한 영역 추적 방법이 기존의 방법에 비해 오차가 적음을 확인하였다. 연산시간에 있어서도 제안한 방법이 비슷한 추적 성능을 보였던 CAMShift에 비해 좋은 성능을 보였다.
실험을 통하여 본 논문에서 제안한 전경 영역 분리 및 추적 방법이 색상 정보를 사용하는 기존의 방법들에 비해 환경 변화에 강인함을 보였다. 또한 연산시간 측면에서도 제안하는 방법이 기존의 방법들에 비해 개선됨을 보였다. 하지만 실험 결과를 통해 거리 정보만을 사용하면 배경 영역의 물체가 전경 영역에 가까이 접근할 때 영역 분리 및 추적에 실패하는 경우가 발생함을 알 수 있었다.
연산시간에 있어서도 제안한 방법이 비슷한 추적 성능을 보였던 CAMShift에 비해 좋은 성능을 보였다. 레이블링을 이용한 전경 영역 분리 방법은 가장 느린 연산 시간을 보였는데, 이 점을 통해서도 전경 영역 분리 방법과 함께 추적 방법을 같이 사용하는 것이 효율적임을 알 수 있었다.
지금까지 세 가지 실험을 통해 본 논문에서 제안한 전경영역 분리 및 추적 방법과 기존 방법의 성능을 비교 측정해 보았다. 실험 결과 레이블링을 이용한 전경 영역 분리 방법만으로도 일반적인 경우 대부분 전경 영역을 찾는데 성공 하였지만, 대상영역 외에 다른 물체의 방해가 있을 경우 매 프레임 대상 영역을 분리하는 것보다 영역을 추적하는 방법이 더 효과적임을 알 수 있었다. 또한 본 논문에서 제안한 영역 추적 방법이 기존의 방법에 비해 오차가 적음을 확인하였다.
또한, 기존의 영역 추적에 적용된 색상 기반의 특징점 매칭 방법, 거리 영상에 대한 추적 방법과의 비교를 수행하였다. 실험 결과 본 논문에서 제안하는 방법이 기존의 방법에 비해 환경변화에 강건하며, 연산시간에 있어서도 좋은 성능을 보임을 확인하였다. 추가적으로 제안한 방법을 통해 분리 및 추적된 전경 영역으로부터 물체 영역을 추출하여 물체를 3차원으로 모델링이 가능함을 보인다.
거리정보의 시간적 연속성을 이용함으로써, 효과적인 관심영역 추적이 가능하였다. 실험을 통하여 본 논문에서 제안한 전경 영역 분리 및 추적 방법이 색상 정보를 사용하는 기존의 방법들에 비해 환경 변화에 강인함을 보였다. 또한 연산시간 측면에서도 제안하는 방법이 기존의 방법들에 비해 개선됨을 보였다.
또한 본 논문에서 제안한 영역 추적 방법이 기존의 방법에 비해 오차가 적음을 확인하였다. 연산시간에 있어서도 제안한 방법이 비슷한 추적 성능을 보였던 CAMShift에 비해 좋은 성능을 보였다. 레이블링을 이용한 전경 영역 분리 방법은 가장 느린 연산 시간을 보였는데, 이 점을 통해서도 전경 영역 분리 방법과 함께 추적 방법을 같이 사용하는 것이 효율적임을 알 수 있었다.
(a)는 그림 4에 대응하는 결과로, 레이블링을 통한 전경 영역 분리 방법은 일반적인 상황에서 참값과 거의 일치하였지만 대상 영역을 다른 물체가 가릴 때마다 오차가 급격히 커졌다. 제안한 영역 추적 방법은 대체적으로 큰 오차 없이 전체 영상에서 지속적으로 전경 영역을 추적하였으며, CAMShift 방법은 제안한 방법에 비해 오차가 컸지만 일부 구간을 제외하고는 추적에 성공하였다. KLT 방법은 전체 구간에서 변화에 민감하게 반응하면서 오차 값의 변화가 심하였다.
(b)는 그림 5에대응하는 배경 영역에서 동적인 움직임이 있는 경우의 결과로, 대략 170번째 프레임까지는 부분적인 노이즈를 제외하고 좋은 성능을 보여 주었다. 하지만 모든 방법에서 169번째 프레임의 추적 실패 이후, 제안한 방법은 다시 전경 영역이 복귀되었지만 CAMShift의 경우는 복귀되지 못하고 이후의 프레임에서 계속 추적에 실패했음을 알 수 있다. 그림 7.
또한 연산시간 측면에서도 제안하는 방법이 기존의 방법들에 비해 개선됨을 보였다. 하지만 실험 결과를 통해 거리 정보만을 사용하면 배경 영역의 물체가 전경 영역에 가까이 접근할 때 영역 분리 및 추적에 실패하는 경우가 발생함을 알 수 있었다.
(g)의 220번째 프레임에서 볼 수 있듯이, 대상 영역에 다른 물체가 가까이 접근하였을 때, 두 영역을 모두 대상 영역으로 인식하는 경우가 발생했다. 한편, KLT 방법은 색상기반으로 특징점을 추적하기 때문에 비슷한 색상의 물체가 가까이에서 움직이면 작은 변화에도 민감하게 반응하여 전체적으로 좋지 않은 성능을 보여주었다. 그림 5는 배경 영역에서 동적인 움직임이 있는 경우의 결과로 KLT를 제외하고는 대체적으로 만족할만한 결과를 보여주었다.
후속연구
본 논문에서 제안한 방법을 통해 동적 환경에서의 3차원 물체 모델링이 가능할 것으로 기대한다. 아울러 향후 연구에서는 거리 정보와 함께 색상 정보를 사용한 Graph Cuts 방법 등을 통해 다양한 환경변화 속에서 전경 영역 분리 및 추적 방법을 개선하고자 한다.
본 논문에서 제안한 방법을 통해 동적 환경에서의 3차원 물체 모델링이 가능할 것으로 기대한다. 아울러 향후 연구에서는 거리 정보와 함께 색상 정보를 사용한 Graph Cuts 방법 등을 통해 다양한 환경변화 속에서 전경 영역 분리 및 추적 방법을 개선하고자 한다.
실험 결과 본 논문에서 제안하는 방법이 기존의 방법에 비해 환경변화에 강건하며, 연산시간에 있어서도 좋은 성능을 보임을 확인하였다. 추가적으로 제안한 방법을 통해 분리 및 추적된 전경 영역으로부터 물체 영역을 추출하여 물체를 3차원으로 모델링이 가능함을 보인다.
질의응답
핵심어
질문
논문에서 추출한 답변
KLD는 어떤 방법인가?
히스토그램의 유사도 비교에는 두 확률 분포 함수 간의 상대적 엔트로피를 계산하는 방법인 KLD(Kullback-Leibler Divergence) [10]가 사용된다. 그림 3에서 p(x)와 q(x)는 임의의 두 확률 분포 함수를 나타내고, 이들 두 함수 간에 계산된 KLD 값인 DKL(P||Q)는 그림 3의 오른쪽에 음영처리 된 부분의 면적에 해당한다.
거리 영상에서 레이블링을 수행할 때 어떤 문제점이 발생하는가?
(f)처럼 레이블들을 나눌 수 있다. 그러나 거리 영상에서 레이블링을 수행할 때, 물체 내부에 텍스처가 없는 부분에서는 거리 값을 구할 수 없기 때문에 동일한 영역이 여러 레이블로 나뉘는 경우가 발생할 수 있다. 따라서 레이블링 후, 주변 레이블들과의 거리 값을 비교하여 비슷한 거리 값을 가지는 레이블들을 하나의 레이블로 통합하는 과정이 필요하다.
실제 생활환경에서 전경 영역을 분리 및 추적할 때 방해가 되는 요소에는 무엇이 있는가?
실제 생활환경에서 전경 영역을 분리 및 추적할 때 방해가 되는 요소는 크게 세 가지 경우를 들 수 있다. 대상 영역을 다른 물체가 부분적으로 가리는 경우, 배경 영역에서 다른 물체의 움직임이 있는 경우, 그리고 조명이 변하는 경우이다. 기존의 방법들에 주로 사용된 색상 정보는 조명 변화에 민감하며, 겹쳐진 두 영역의 색상이 비슷하다면 색상 정보만을 이용하여 두 영역을 구분하기가 힘들다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.