선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 스테레오 영상을 활용한 Stereo Semi-direct Visual Odometry (SSDVO) 알고리즘을 제안하고 이를 달 유사환경 데이터셋[8]에 적용함으로써 그 성능을 검증한다. SSDVO는 앞서 언급한 SVO에서 제안하는 희소 이미지 정렬 (sparse image alignment)을 수행한다는 유사점이 있지만, 연산량을 고려하여 번들조정을 수행 하지 않고, 로버의 움직임에 따른 가중(adaptive motion prior weight)을 최적화 비용 함수에 고려하였다는 차이점이 있다.
- 본 논문에서는 특징점 기반의 기존 탐사 로버 VO 알고리즘과 달리 직접방식 VO 기반 SSDVO 알고리즘을 제안하여 실제 달의 특성을 반영하는 유사환경 데이터셋에서 성능을 검증하였다. 또한, 제안한 알고리즘을 특징점 기반 VO의 대표적인 알고리즘인 libviso2와 비교 및 분석하였고, 움직임 가중치에 따른 결과를 비교함으로써 이로 인해 로버의 항법 성능이 향상됨을 확인하였다.
가설 설정
- 직접방식 VO는 영상의 모든 물체를 관찰자의 위치에 상관없이 밝기가 일정하다는 램버션 표면으로 가정한다[3]. 따라서, 직접방식 VO의 목표 함수는 기준 픽셀의 밝기에서 워핑된 픽셀의 밝기의 차인 식 (5)와 같이 정의된다.
제안 방법
- SSDVO는 패치간의 겹침을 방지하고 연산속도와 성능의 균형을 고려하여 약 400~500개의 Features from Accelerated Segment Test(FAST) 특징점을 이미지에서 균일하게 추출하였고, KLT 추적기로 좌우 특징점 정합을 수행하였다. 또한, 정합 관계가 계산된 특징점 중 스테레오 카메라의 기저를 고려하여 너무 멀리 떨어진 특징점은 패치 정렬에서 제외하여 평균 약 300개의 특징점으로 3x3 패치를 생성하였다.
- SSDVO는 앞서 언급한 SVO에서 제안하는 희소 이미지 정렬 (sparse image alignment)을 수행한다는 유사점이 있지만, 연산량을 고려하여 번들조정을 수행 하지 않고, 로버의 움직임에 따른 가중(adaptive motion prior weight)을 최적화 비용 함수에 고려하였다는 차이점이 있다. 또한, 기존에 제안된 특징점 기반 VO 알고리즘과 항법오차를 달 유사환경 데이터셋에서 비교 및 분석하고, 로버 움직임 가중치에 따른 알고리즘의 성능을 분석한다.
- 본 논문에서 제안하는 로버 움직임 가중치의 성능을 검증하기 위해 움직임 가중치가 없음 (‘noprior’), 상수 가중치(‘constant’) 그리고 움직임 가중치(‘proposed’)인 경우로 나눠 5개의 궤적에 알고리즘을 적용하였다.
- 달 유사환경의 경우 일반적인 지구 환경과 다르게 영상에 텍스처가 많지 않고 지질학적인 지형들이 많으며, 탁 트인 시야로 인해 거리가 먼 지점들이 다수 존재한다. 본 논문에서는 이러한 환경을 고려한 스테레오 카메라 기반 VO를 제안하며 전반적인 알고리즘은 Fig. 2와 같다. 스테레오 카메라로부터 좌우 흑백(grayscale)이미지를 얻고, 코너 혹은 블랍(blob) 특징점을 추출하며, 이를 통해 희소 깊이지도(sparse depth map)를 생성한다.
- 4와 같이 이미지 피라미드를 생성하여 낮은 해상도부터 순차적으로 이미지 정렬을 수행하는 coarsetofine 기법을 사용하였다. 연산량과 정확한 초기값을 고려하여 낮은 해상도에서는 이미지 전체를, 높은 해상도에서는 특징점 중심 패치를 정렬하였다. 이미지 전체를 사용하는 경우 깊이 지도는 스테레오 이미지의 픽셀차이 지도를 생성하여 계산하였고, 최적화 알고리즘으로는 LevenbergMarquardt 알고리즘을 사용하였다.
- 영상의 모든 영역을 사용하는 밀접(dense) 직접방식 VO[3]와 달리 본 논문에서 제안하는 SSDVO는 특징점의 패치 정렬로 로버(카메라)의 상대 움직임을 계산한다. 따라서 영상의 모든 픽셀이 아닌 추출된 특징점의 깊이만을 계산하며, 스테레오 영상의 좌우 특징점은 Kanade Lucas Tomasi (KLT) 추적기를 이용하여 정합 관계를 구하였다.
- 직접방식 VO는 연속된 이미지간의 겹치는 부분이 적거나 급격한 광변화로 인해 비용함수의 비선형성이 큰 경우 지역 최소값에 빠지는 위험이 있다. 이를 보완하기 본 논문에서는 로버의 움직임에 따른 가중치를 식 (13)과 같은 선형 함수로 제안한다.
- 이에 따라 로버의 피치축에 대한 추정 정확도가 감소하여 libviso2는 큰 수직축 오차를 가진다고 판단된다. 이에 반해, SSDVO의 경우 특징점의 위치와 더불어 픽셀 밝기차 정보를 활용하기 때문에 로버의 수평 및 수직 위치를 정확하게 추정하였다.
- 영상의 모든 부분을 사용하여 이미지를 정렬 할 경우 그 연산량이 커지게 된는 단점 때문에 이미지에서 추출한 특징점을 중심으로 패치를 생성하고 이를 정렬하여 적은 연산량으로 연속된 이미지간의 상대 움직임을 추정한다[7]. 하지만, 달 유사환경의 충분하지 못한 텍스처로 인해 입력된 이미지에서 희소 이미지 정렬 수행을 위한 충분한 특징점이 추출되지 않을 경우, 스테레오 이미지의 픽셀차이 지도를 계산하여 유효한 깊이정보를 가진 픽셀을 정렬하였다.
- 또한, Lambert(2011) 등은 태양센서, 기울기 센서 그리고 특징점 기반 VO를 활용하여 특징점의 구조와 카메라의 움직임을 모두 추정하는 번들조정(bundle adjustment)을 제안하여 달 유사환경에서 로버주행을 통해 검증하였다[5]. 한편, 직접방식 VO에서는 Engel(2013) 등이 영상의 모든 정보를 쓰는 것이 아니라 모서리 정보를 활용하여 이미지를 정렬(alignment)하고 시간에 따른 스테레오 영상으로 특징점의 깊이를 계산하는 Semi-dense VO를 제안하여 적은 연산량으로 성능을 향상시켰다[6]. 또한, 특징점 기반 VO와 직접방식 VO를 결합한 대표적인 예로는 Forster (2014) 등이 제안한 Semi-direct VO (SVO)가 있으며, 이는 특징점을 중심으로 생성된 이미지 패치 정렬을 통해 특징점의 정합 관계를 구한 뒤, 재투영 오차를 최소화하는 번들조정을 통해 카메라의 움직임을 추정한다.
대상 데이터
- 4와 같이 데이터셋 전반에 걸쳐 인공 구조물 및 식물 등이 존재하지 않는다. ASRL 데이터셋은 Fig. 3과 같은 플랫폼으로 약 10km 구간의 데이터를 수집하였고, 정류된 스테레오 영상과 더불어 태양 센서 및 기울기 센서 측정값과 알고리즘 성능 비교를 위해 Differential Global Positioning System (DGPS) 위치를 제공한다. 또한, 스테레오 카메라는 Bumblebee XB3를 사용하였고 스테레오 카메라의 기저는 24cm, 출력 해상도는 512x384이며 3fps로 촬영하였다.
- 여기서, {G}는 East North Up (ENU)좌표이며, 원점은 로버가 시작한 지점으로 정의하였다. 또한, 성능 파라 미터로 XYZ 오차(Euclidean distance)의 RMS와 최종 3차원 위치 오차를 총 이동거리로 나눈 백분율인 %dt를 사용하였고, 기준 궤적값은 데이터셋의 DGPS 데이터를 이용하였다.
- 3과 같은 플랫폼으로 약 10km 구간의 데이터를 수집하였고, 정류된 스테레오 영상과 더불어 태양 센서 및 기울기 센서 측정값과 알고리즘 성능 비교를 위해 Differential Global Positioning System (DGPS) 위치를 제공한다. 또한, 스테레오 카메라는 Bumblebee XB3를 사용하였고 스테레오 카메라의 기저는 24cm, 출력 해상도는 512x384이며 3fps로 촬영하였다.
- 본 논문에서 제안하는 알고리즘을 검증하기 위해 캐나다 토론토 대학의 Autonomous Space Robotics Lab (ASRL)에서 오픈소스로 제공하는 달 유사 환경 데이터셋[8]을 사용하였다. 이 데이터셋은 북위 75도 22분, 동경 89도 41분에 위치한 캐나다의 데번섬에서 촬영되었고 Fig.
이론/모형
- SSDVO 알고리즘 성능 비교를 위해 Geiger (2011) 등이 제안한 libviso2[10] 오픈소스 라이브러리를 사용하였다. libviso2는 대표적인 특징점 기반 단일 및 스테레오 카메라 VO 알고리즘이며, 등가속도 시스템 모델과 재투영 오차 측정치 모델의 칼만 필터기반 알고리즘이다.
- 또한, 정합 관계가 계산된 특징점 중 스테레오 카메라의 기저를 고려하여 너무 멀리 떨어진 특징점은 패치 정렬에서 제외하여 평균 약 300개의 특징점으로 3x3 패치를 생성하였다. 데이터셋의 낮은 샘플링 시간(3fps)으로 인해 한 해상도의 이미지만으로는 로버의 상대 움직임을 성공적으로 추정하기에 힘들었고, 이를 해결하기 위해 Fig. 4와 같이 이미지 피라미드를 생성하여 낮은 해상도부터 순차적으로 이미지 정렬을 수행하는 coarsetofine 기법을 사용하였다. 연산량과 정확한 초기값을 고려하여 낮은 해상도에서는 이미지 전체를, 높은 해상도에서는 특징점 중심 패치를 정렬하였다.
- 영상의 모든 영역을 사용하는 밀접(dense) 직접방식 VO[3]와 달리 본 논문에서 제안하는 SSDVO는 특징점의 패치 정렬로 로버(카메라)의 상대 움직임을 계산한다. 따라서 영상의 모든 픽셀이 아닌 추출된 특징점의 깊이만을 계산하며, 스테레오 영상의 좌우 특징점은 Kanade Lucas Tomasi (KLT) 추적기를 이용하여 정합 관계를 구하였다. 픽셀의 밝기차를 최소화하는 광류 (optical flow)를 계산하는 KLT 추적기는 이미지 간의 움직임이 크거나 광량의 변화가 심한 경우 그 성능이 저하된다.
- 연산량과 정확한 초기값을 고려하여 낮은 해상도에서는 이미지 전체를, 높은 해상도에서는 특징점 중심 패치를 정렬하였다. 이미지 전체를 사용하는 경우 깊이 지도는 스테레오 이미지의 픽셀차이 지도를 생성하여 계산하였고, 최적화 알고리즘으로는 LevenbergMarquardt 알고리즘을 사용하였다.
성능/효과
- (a)와 같이 949~963번째 프레임에서 급격한 위치 오차 누적과 평균 1.04m/s의 속도 오차를 나타낸 반면, ‘proposed’와 ‘constant’는 해당 프레임에서 급격한 위치 오차 누적을 보이지 않았고, 약 0.10 m/s의 속도 오차를 보였다.
- Table 2에서 확인할 수 있듯이, 전반적인 로버의 위치 추정 정확도는 ‘proposed’에서 가장 높았고, 그 다음 ‘constant’, ‘noprior’ 순서로 높음을 보였다.
- 달 유사환경 데이터셋에서 SSDVO는 특징점 기반 VO인 libviso2보다 전반적으로 우수한 항법 성능을 보여주었다. 또한, 3fps의 낮은 샘플링 주기와 야외 환경의 광변화가 존재하는 데이터셋의 특성에도 불구하고 로버 움직임의 가중치를 최적화에 고려함으로써 성공적으로 로버의 움직임을 추정할 수 있었다.
- 하지만 SSDVO의 경우 연속된 이미지간의 특징점 정합 관계를 계산할 필요가 없으며, 급격한 광변화에 의한 아웃라이어는 이미지 가중 함수에 의해 그 영향이 감소된다. 따라서 SSDVO는 libviso2와 달리 잘못된 특징점 정합쌍으로 인한 오차 누적을 방지할 수 있었다.
- 또한 ’proposed‘의 경우 2.91%dt, ’noprior‘의 경우 7.15%dt 그리고 ’constant‘의 경우 5.30%dt 의 위치 오차 성능을 보였고, 로버의 이전 상대 포즈를 가중치에 고려함으로써 그렇지 않은 경우보다 VO의 성능이 향상됨을 확인하였다.
- 달 유사환경 데이터셋에서 SSDVO는 특징점 기반 VO인 libviso2보다 전반적으로 우수한 항법 성능을 보여주었다. 또한, 3fps의 낮은 샘플링 주기와 야외 환경의 광변화가 존재하는 데이터셋의 특성에도 불구하고 로버 움직임의 가중치를 최적화에 고려함으로써 성공적으로 로버의 움직임을 추정할 수 있었다. 하지만, 로버 자신의 그림자가 영상에 노출 되었을 때는 이미지 밝기차 가중치로 이를 제거하는 것에는 한계가 있었으며, 이는 시간적인 스테레오 영상을 활용하여 해결할 수 있을 것으로 기대된다.
- SSDVO는 패치간의 겹침을 방지하고 연산속도와 성능의 균형을 고려하여 약 400~500개의 Features from Accelerated Segment Test(FAST) 특징점을 이미지에서 균일하게 추출하였고, KLT 추적기로 좌우 특징점 정합을 수행하였다. 또한, 정합 관계가 계산된 특징점 중 스테레오 카메라의 기저를 고려하여 너무 멀리 떨어진 특징점은 패치 정렬에서 제외하여 평균 약 300개의 특징점으로 3x3 패치를 생성하였다. 데이터셋의 낮은 샘플링 시간(3fps)으로 인해 한 해상도의 이미지만으로는 로버의 상대 움직임을 성공적으로 추정하기에 힘들었고, 이를 해결하기 위해 Fig.
- 본 논문에서는 특징점 기반의 기존 탐사 로버 VO 알고리즘과 달리 직접방식 VO 기반 SSDVO 알고리즘을 제안하여 실제 달의 특성을 반영하는 유사환경 데이터셋에서 성능을 검증하였다. 또한, 제안한 알고리즘을 특징점 기반 VO의 대표적인 알고리즘인 libviso2와 비교 및 분석하였고, 움직임 가중치에 따른 결과를 비교함으로써 이로 인해 로버의 항법 성능이 향상됨을 확인하였다.
- 이는 관측된 밝기차가 일정한 분포를 따른다고 가정하고 그 분포에 따라 각 밝기차에 가중치를 주는 형태이며, Tukey 가중, T-distribution 가중 등이 있다. 본 논문에서 사용한 달 유사환경 데이터셋의 경우 Huber 가중 함수가 로버의 항법 성능을 향상시킨다는 것을 확인하였고, Huber 가중 함수는 식 (12)와 같이 정의된다.
- 본 논문에서 제안하는 로버의 움직임에 따른 가중치의 물리적인 의미를 살펴보면, 큰 속도로 움직이는 물체의 현재 속도는 그 물체가 가지는 관성력에 따라 이전 속도에 크게 영향을 받는 것으로 판단하여, 상대 포즈 프라이어의 공분산을 ∥ξprior∥2의 선형 함수로 부여한다.
- 픽셀의 밝기차를 최소화하는 광류 (optical flow)를 계산하는 KLT 추적기는 이미지 간의 움직임이 크거나 광량의 변화가 심한 경우 그 성능이 저하된다. 하지만, 본 논문에서는 시간에 따른 움직임이 아닌 스테레오 카메라의 기저 (baseline) 차이에 의한 특징점의 정합 관계를 계산하는데 사용하여 성공적으로 정합 관계를 계산할 수 있었다.
후속연구
- 하지만, 로버 자신의 그림자가 영상에 노출 되었을 때는 이미지 밝기차 가중치로 이를 제거하는 것에는 한계가 있었으며, 이는 시간적인 스테레오 영상을 활용하여 해결할 수 있을 것으로 기대된다. 또한, 광변화에 더욱 강건한 알고리즘을 위해 각 이미지 패치에 광변화를 모델링하여 확장된 파라미터를 추정할 수 있을 것으로 기대된다.
- 또한, 3fps의 낮은 샘플링 주기와 야외 환경의 광변화가 존재하는 데이터셋의 특성에도 불구하고 로버 움직임의 가중치를 최적화에 고려함으로써 성공적으로 로버의 움직임을 추정할 수 있었다. 하지만, 로버 자신의 그림자가 영상에 노출 되었을 때는 이미지 밝기차 가중치로 이를 제거하는 것에는 한계가 있었으며, 이는 시간적인 스테레오 영상을 활용하여 해결할 수 있을 것으로 기대된다. 또한, 광변화에 더욱 강건한 알고리즘을 위해 각 이미지 패치에 광변화를 모델링하여 확장된 파라미터를 추정할 수 있을 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.