영상 기반의 정밀한 내비게이션이나 증강현실을 구현하기 위해서 고정밀 영상 지오레퍼런싱의 실시간 수행이 필수적이다. 일반적으로 고정밀 영상 지오레퍼런싱은 일괄 번들 조정알고리즘을 적용하여 성취될 수 있으나 처리시간으로 인해 후처리로만 가능하였다. 최근에 제안된 연속 번들 조정 알고리즘은 이와 유사한 정확도의 결과를 고속으로 산출하여 실시간 처리의 가능성을 열었다. 그러나 처리시간이 영상의 개수에 따라 점진적으로 증가하기 때문에 영상이 아주 많은 경우에 실시간 수행이 보장되지 못하는 한계가 있었다. 이러한 연속 번들 조정 알고리즘을 보완하여 본 연구는 실시간 처리를 위해 영상의 개수와 무관하게 처리시간을 항상 일정 범위로 한정시킬 수 있는 알고리즘을 제안한다. 제안된 알고리즘은 기존의 영상들 중에서 새롭게 취득된 영상과 통계적으로 관련성이 높은 영상들만 고려하기 때문에 처리시간을 일정 범위로 한정시키면서도 비교적 정확한 결과를 산출할 수 있다. 제안된 알고리즘을 1Hz로 취득된 영상에 적용한 결과, 평균적으로 영상을 취득할 때마다 0.02 초 이내의 처리시간을 소요하면서 기존의 일괄 번들 조정 알고리즘의 결과와 비교하여 지상점 좌표를 기준으로 ${\pm}5$ cm 이내의 정확도로 지오레퍼런싱을 수행할 수 있었다. 신뢰성 높은 고속의 영상 매칭 알고리즘과 결합된다면 스마트폰 또는 UAV 등으로 동영상을 취득하면서 함께 탑재된 위치/자세 센서의 성능을 보완하여 고정밀의 실시간 지오레퍼런싱이 가능할 것으로 판단된다.
영상 기반의 정밀한 내비게이션이나 증강현실을 구현하기 위해서 고정밀 영상 지오레퍼런싱의 실시간 수행이 필수적이다. 일반적으로 고정밀 영상 지오레퍼런싱은 일괄 번들 조정 알고리즘을 적용하여 성취될 수 있으나 처리시간으로 인해 후처리로만 가능하였다. 최근에 제안된 연속 번들 조정 알고리즘은 이와 유사한 정확도의 결과를 고속으로 산출하여 실시간 처리의 가능성을 열었다. 그러나 처리시간이 영상의 개수에 따라 점진적으로 증가하기 때문에 영상이 아주 많은 경우에 실시간 수행이 보장되지 못하는 한계가 있었다. 이러한 연속 번들 조정 알고리즘을 보완하여 본 연구는 실시간 처리를 위해 영상의 개수와 무관하게 처리시간을 항상 일정 범위로 한정시킬 수 있는 알고리즘을 제안한다. 제안된 알고리즘은 기존의 영상들 중에서 새롭게 취득된 영상과 통계적으로 관련성이 높은 영상들만 고려하기 때문에 처리시간을 일정 범위로 한정시키면서도 비교적 정확한 결과를 산출할 수 있다. 제안된 알고리즘을 1Hz로 취득된 영상에 적용한 결과, 평균적으로 영상을 취득할 때마다 0.02 초 이내의 처리시간을 소요하면서 기존의 일괄 번들 조정 알고리즘의 결과와 비교하여 지상점 좌표를 기준으로 ${\pm}5$ cm 이내의 정확도로 지오레퍼런싱을 수행할 수 있었다. 신뢰성 높은 고속의 영상 매칭 알고리즘과 결합된다면 스마트폰 또는 UAV 등으로 동영상을 취득하면서 함께 탑재된 위치/자세 센서의 성능을 보완하여 고정밀의 실시간 지오레퍼런싱이 가능할 것으로 판단된다.
Real-time high-precision image georeferencing is important for the realization of image based precise navigation or sophisticated augmented reality. In general, high-precision image georeferencing can be achieved using the conventional simultaneous bundle adjustment algorithm, which can be performed...
Real-time high-precision image georeferencing is important for the realization of image based precise navigation or sophisticated augmented reality. In general, high-precision image georeferencing can be achieved using the conventional simultaneous bundle adjustment algorithm, which can be performed only as post-processing due to its processing time. The recently proposed sequential bundle adjustment algorithm can rapidly produce the results of the similar accuracy and thus opens a possibility of real-time processing. However, since the processing time still increases linearly according to the number of images, if the number of images are too large, its real-time processing is not guaranteed. Based on this algorithm, we propose a modified fast algorithm, the processing time of which is maintained within a limit regardless of the number of images. Since the proposed algorithm considers only the existing images of high correlation with the newly acquired image, it can not only maintain the processing time but also produce accurate results. We applied the proposed algorithm to the images acquired with 1Hz. It is found that the processing time is about 0.02 seconds at the acquisition time of each image in average and the accuracy is about ${\pm}5$ cm on the ground point coordinates in comparison with the results of the conventional simultaneous bundle adjustment algorithm. If this algorithm is converged with a fast image matching algorithm of high reliability, it enables high precision real-time georeferencing of the moving images acquired from a smartphone or UAV by complementing the performance of position and attitude sensors mounted together.
Real-time high-precision image georeferencing is important for the realization of image based precise navigation or sophisticated augmented reality. In general, high-precision image georeferencing can be achieved using the conventional simultaneous bundle adjustment algorithm, which can be performed only as post-processing due to its processing time. The recently proposed sequential bundle adjustment algorithm can rapidly produce the results of the similar accuracy and thus opens a possibility of real-time processing. However, since the processing time still increases linearly according to the number of images, if the number of images are too large, its real-time processing is not guaranteed. Based on this algorithm, we propose a modified fast algorithm, the processing time of which is maintained within a limit regardless of the number of images. Since the proposed algorithm considers only the existing images of high correlation with the newly acquired image, it can not only maintain the processing time but also produce accurate results. We applied the proposed algorithm to the images acquired with 1Hz. It is found that the processing time is about 0.02 seconds at the acquisition time of each image in average and the accuracy is about ${\pm}5$ cm on the ground point coordinates in comparison with the results of the conventional simultaneous bundle adjustment algorithm. If this algorithm is converged with a fast image matching algorithm of high reliability, it enables high precision real-time georeferencing of the moving images acquired from a smartphone or UAV by complementing the performance of position and attitude sensors mounted together.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 연구에서는 미지수 벡터의 크기를 합리적으로 제한하기 위해 미지수 간의 상관관계를 활용하고자 한다. 오랜 시간 영상 취득이 지속되었다면 현재 추가된 새로운 영상과 초반에 취득된 영상 간의 상관관계는 상당히 낮을 것이다.
따라서 본 연구에서는 연속해서 수많은 영상이 취득되더라도 새로운 영상이 취득되는 매 시점 취득 주기와 동일한 일정한 시간 내에, 일괄 번들 조정에 의한 결과와 유사한 정확도로 영상을 지오레퍼런싱할 수 있는 고속 연속 번들 조정 알고리즘을 제안하고자 한다. 이를 위하여 기존의 관측값 분류에 기반한 정규행렬 역행렬 갱신 방법을 활용한 온라인 항공삼각측량 과정에서 영상이 추가되는 매 단계 산출되는 연산 결과를 분석하고, 이로부터 매 단계 연산량을 일정하게 유지하여 연산시간을 일정 범위로 한정시킬 수 있는 고속 연속 번들 조정 알고리즘을 개발하였다.
따라서 새로운 영상은 기존 영상 중 가장 최근에 취득된 영상과 가장 유사하기 때문에 새로 취득된 영상 대신에 기존 영상 중 가장 최근에 취득된 영상의 외부표정요소와의 상관계수를 계산하여 활용하고자 한다.
그러나 SEBA 알고리즘은 취득된 영상의 수가 증가함에 따라 연산시간이 증가하기 때문에 플랫폼에 탑재된 카메라로부터 경로를 따라 취득되는 수많은 영상을 실시간으로 지오레퍼런싱하기 어렵다. 본 절에서는 이와 같은 문제점을 해결하고자 기존 SEBA를 적용하였을 때 영상이 추가되는 매 단계 산출되는 연산 결과를 분석하고, 이로부터 매 단계 연산 시간을 일정 범위로 한정시킬 수 있는 방법론을 도출한다.
제안 방법
, 2011). RAMS의 항공부문은 근접 모니터링을 위하여 플랫폼으로는 저고도 무인항공기를 활용하였으며 센서부로 디지털 카메라, 레이저스캐너, GPS, IMU를 탑재하였다. 기존 시스템과 비교하여 상대적으로 경량 저가 시스템 개발을 목표로 하였기 때문에 중저가 경량의 센서를 채택하였다.
SEBA, FSEBA와 일괄 번들 조정에 적용한 결과 추정된 미지수 간의 차이를 외부표정요소의 위치, 자세, 지상점 좌표의 세 가지 범주로 나누어 살펴보자. Fig.
SEBA와 FSEBA에 의해 1Hz의 주기로 취득된 영상을 지오레퍼런싱하였고, 각각의 알고리즘이 매 epoch에서 소요한 처리 시간을 Fig. 4와 같이 Sim의 처리 시간과 비교하였다.
영상의 실시간 지오레퍼런싱을 위하여 제안된 FSEBA 알고리즘과 함께 기존 정확도와 처리속도 측면에서 가장 효율적이었던 CL update formular 기반의 SEBA 알고리즘과 처리시간은 오래 걸리더라도 가장 정확한 결과물을 산출하는 일괄 번들 조정 알고리즘을 구현하였다. 구현된 세 가지 번들 조정 알고리즘에 동일한 실측 데이터를 적용하여 그 결과를 비교함으로써 FSEBA의 성능을 검증하였다.
RAMS의 항공부문은 근접 모니터링을 위하여 플랫폼으로는 저고도 무인항공기를 활용하였으며 센서부로 디지털 카메라, 레이저스캐너, GPS, IMU를 탑재하였다. 기존 시스템과 비교하여 상대적으로 경량 저가 시스템 개발을 목표로 하였기 때문에 중저가 경량의 센서를 채택하였다. 따라서 제안된 알고리즘을 활용하여 실시간 영상 지오레퍼런싱이 얼마나 효율적으로 수행되는지 확인하기에 적합하다고 판단하였다.
따라서 본 연구에서는 SEBA를 적용할 때 연산시간이 증가하는 원인을 고찰하고, SEBA에 의해 매 단계 산출되는 연산결과를 분석하여, 영상의 외부표정요소 간의 상관계수를 유도하고, 이를 이용하여 현재 추가된 미지수와 상관관계가 낮은 미지수를 미지수 벡터에서 제외시킴으로 인해 SEBA에 의한 결과와 유사한 정확도를 달성하면서 매 단계 일정한 연산시간 내에 빠른 속도로 지오레퍼런싱을 수행할 수 있는 고속 연속 번들 조정(FSEBA)을 제안하였다.
번들 조정 수행에 있어 측정값의 가중치는 영상점의 경우 한 픽셀 사이즈인 7.4 μm의 제곱에 반비례하게, GPS/INS로부터 제공된 초기 외부표정요소의 위치·자세의 경우 탑재 센서의 측정오차를 고려하여 각각 0.3 m, 0.1deg 제곱에 반비례하게 설정하였다.
이를 위하여 기존의 관측값 분류에 기반한 정규행렬 역행렬 갱신 방법을 활용한 온라인 항공삼각측량 과정에서 영상이 추가되는 매 단계 산출되는 연산 결과를 분석하고, 이로부터 매 단계 연산량을 일정하게 유지하여 연산시간을 일정 범위로 한정시킬 수 있는 고속 연속 번들 조정 알고리즘을 개발하였다. 본 논문은Choi and Lee(2013)에서 기술한 항공 멀티 센서 시스템으로 취득한 영상에 대한 연속 번들 조정 알고리즘 중에서 영상들의 외부표정요소간의 상관관계를 고려하여 고속으로 조정하는 알고리즘을 보다 상세하게 기술하고, 이를 실측데이터에 적용하고 그 결과를 면밀하게 분석하였다.
SLAM은 용어만 다르게 사용할 뿐 사진측량 분야의 일괄 번들 조정 기반의 AT와 그 방법론은 동일하다. 사진측량학의 공선조건식과 유사하게 절대좌표계 상의 지상점과 영상좌표계 상의 영상점을 관계시키기 위한 카메라 모델을 수립하여, 이를 기반으로 영상 트래킹의 결과를 활용하여 카메라의 위치와 카메라 주변 객체의 위치를 추정하는 것이다. 이와 같은 SLAM은 로봇에 탑재된 카메라로부터 취득된 영상을 기반으로 주변 환경을 인식하고 로봇이 정상적으로 이동할 수 있게 하기 위하여 아주 중요하게 인식되고 있으며 실시간 또는 온라인으로 수행되어야 한다(Kaess et al.
새로운 영상 대신에 기존 영상 중 가장 최근 영상과 이전 영상들 사이의 상관계수를 계산하고, 계산된 상관계수를 임계값(ε)과 비교하여 임계값 이상의 상관계수를 갖는 영상의 외부표정요소부터 미지수 벡터에 포함시킨다.
영상의 실시간 지오레퍼런싱을 위하여 제안된 FSEBA 알고리즘과 함께 기존 정확도와 처리속도 측면에서 가장 효율적이었던 CL update formular 기반의 SEBA 알고리즘과 처리시간은 오래 걸리더라도 가장 정확한 결과물을 산출하는 일괄 번들 조정 알고리즘을 구현하였다. 구현된 세 가지 번들 조정 알고리즘에 동일한 실측 데이터를 적용하여 그 결과를 비교함으로써 FSEBA의 성능을 검증하였다.
따라서 본 연구에서는 연속해서 수많은 영상이 취득되더라도 새로운 영상이 취득되는 매 시점 취득 주기와 동일한 일정한 시간 내에, 일괄 번들 조정에 의한 결과와 유사한 정확도로 영상을 지오레퍼런싱할 수 있는 고속 연속 번들 조정 알고리즘을 제안하고자 한다. 이를 위하여 기존의 관측값 분류에 기반한 정규행렬 역행렬 갱신 방법을 활용한 온라인 항공삼각측량 과정에서 영상이 추가되는 매 단계 산출되는 연산 결과를 분석하고, 이로부터 매 단계 연산량을 일정하게 유지하여 연산시간을 일정 범위로 한정시킬 수 있는 고속 연속 번들 조정 알고리즘을 개발하였다. 본 논문은Choi and Lee(2013)에서 기술한 항공 멀티 센서 시스템으로 취득한 영상에 대한 연속 번들 조정 알고리즘 중에서 영상들의 외부표정요소간의 상관관계를 고려하여 고속으로 조정하는 알고리즘을 보다 상세하게 기술하고, 이를 실측데이터에 적용하고 그 결과를 면밀하게 분석하였다.
취득된 영상 및 GPS/INS 데이터를 활용하여 기존 일괄 번들 조정을 수행한 결과와 CL update formular기반의 SEBA, 본 연구에서 제안된 FSEBA를 수행한 결과를 비교하여 FSEBA 알고리즘의 성능을 검증하고자 한다. 번들 조정 수행에 있어 측정값의 가중치는 영상점의 경우 한 픽셀 사이즈인 7.
대상 데이터
RAMS의 항공부문을 운용하여 청주 교원대학교 부근에서 1Hz의 주기로 약 113장의 영상과 함께 GPS/INS 데이터를 취득하였다. 데이터 취득 시 비행고도는 약 200 m, 비행 속도는 약 60 km/h이었다.
데이터 취득 시 비행고도는 약 200 m, 비행 속도는 약 60 km/h이었다. 사용된 렌즈의 초점거리가 50 mm이고 지상으로부터 비행체간의 거리가 150 m임을 고려했을 때, 영상의 축척은 1:4000, 공간해상도(Ground Sampling Distance, GSD)는 3 cm이다. 영상매칭(image matching)을 통해 연속 번들 조정을 위한 공액점 측정이 요구된다.
제안된 FSEBA 알고리즘의 정확도 및 처리속도를 검증하기 위하여 SEBA와 일괄 번들 조정를 함께 구현하여 이에 실측데이터를 적용하였다. 가장 높은 정확도를 성취하는 일괄 번들 조정 결과와 비교하여, 지상점 좌표 기준 SEBA와 FSEBA는 각각 2 cm, 5 cm의 정확도로 영상이 추가되는 시점마다 영상의 외부표정요소와 지상점 좌표를 추정할 수 있었다.
따라서 제안된 알고리즘을 활용하여 실시간 영상 지오레퍼런싱이 얼마나 효율적으로 수행되는지 확인하기에 적합하다고 판단하였다. 카메라는 비측량용 중급 카메라이며 초당 3장의 영상을 획득할 수 있다. GPS와 IMU 역시 중급으로 GPS의 위치 정확도는 수평, 수직이 각각 ±1.
데이터처리
또한 SEBA는 정확도와 처리속도 측면에서 실시간 영상 지오레퍼런싱을 위해 가장 효율적인 알고리즘으로 입증되었다. 따라서 제안된 고속 연속 번들조정인 FSEBA 알고리즘의 정확도를 검증하기 위하여 일괄 번들 조정의 결과를 기준으로 SEBA와 FSEBA에 의해 추정된 미지수를 비교한다. 일괄 번들 조정과 SEBA에 의해 추정된 미지수 간의 차이와 일괄 번들 조정와 FSEBA에 의해 추정된 미지수 간의 차이가 유사하다면 FSEBA는 SEBA에 버금가는 정확한 결과를 산출할 수 있는 것으로 간주할 수 있다.
이론/모형
영상매칭(image matching)을 통해 연속 번들 조정을 위한 공액점 측정이 요구된다. 상용소프트웨어인 Socet set v.5.6을 이용하여 자동 매칭을 수행하였으며 총 공액점의 수는 1488개로 연속 영상 간의 평균 공액점의 개수는 약 13개이며 공액점에 상응되는 총 지상점의 개수는 314개이다. 실험 데이터에 대한 보다 자세한 설명은 Choi and Lee (2013)를 참조한다.
성능/효과
이어서 영상이 취득됨에 따라 epoch가 진행될수록 이전 단계의 미지수가 계속해서 갱신되기 때문에 점차적으로 Sim의 결과와 유사해지는 경향을 확인할 수 있다. SEBA에 의해 추정된 위치 차이에 대한 RMS는 6 mm까지 감소하였으며, FSEBA에 의해 추정된 위치 차이에 대한 RMS도 7 mm까지 감소한 것을 확인할 수 있다.
3(b)와 같다. SEBA에 의해 추정된 자세 차이에 대한 RMS는 파랑색선과 같이 연속 결합 단계의 초반에는 9mdeg까지 증가하지만 epoch가 진행됨에 따라 5mdeg까지 점차적으로 감소하는 경향을 확인할 수 있다. FSEBA에 의해 추정된 자세 차이에 대한 RMS도 초반에는 10mdeg를 넘지만, 연속 결합 단계가 진행함에 따라 약 7mdeg까지 감소하였다.
제안된 FSEBA 알고리즘의 정확도 및 처리속도를 검증하기 위하여 SEBA와 일괄 번들 조정를 함께 구현하여 이에 실측데이터를 적용하였다. 가장 높은 정확도를 성취하는 일괄 번들 조정 결과와 비교하여, 지상점 좌표 기준 SEBA와 FSEBA는 각각 2 cm, 5 cm의 정확도로 영상이 추가되는 시점마다 영상의 외부표정요소와 지상점 좌표를 추정할 수 있었다. 반면, 처리시간에 있어서는 SEBA는 취득된 영상의 수가 증가함에 따라 선형적으로 증가하였으나, FSEBA의 경우 취득된 영상의 수와 무관하게 매 단계에서 0.
그 결과, 정확도와 처리시간 측면에서 Choi and Lee(2009b)에 의해 제안된 관측값 분류에 기반한 정규행렬 역행렬 갱신 방법을 활용한 온라인 항공삼각측량이 영상의 실시간 지오레퍼런싱에 적합한 것으로 검증되었다.
두 알고리즘 SEBA와 FSEBA 모두 65번째 영상이 취득되는 epoch에서 RMS가 급격히 증가하는 현상을 보인다.
기존 시스템과 비교하여 상대적으로 경량 저가 시스템 개발을 목표로 하였기 때문에 중저가 경량의 센서를 채택하였다. 따라서 제안된 알고리즘을 활용하여 실시간 영상 지오레퍼런싱이 얼마나 효율적으로 수행되는지 확인하기에 적합하다고 판단하였다. 카메라는 비측량용 중급 카메라이며 초당 3장의 영상을 획득할 수 있다.
이러한 상황에서 취득된 센서 데이터로부터 가장 정확한 결과를 산출할 수 있는 방법은 시간이 많이 소요되더라도, 모든 관측값과 기준데이터를 일괄적으로 조정하여 미지수를 추정하는 것으로써 일괄 번들 조정을 적용하는 것이다. 또한 SEBA는 정확도와 처리속도 측면에서 실시간 영상 지오레퍼런싱을 위해 가장 효율적인 알고리즘으로 입증되었다. 따라서 제안된 고속 연속 번들조정인 FSEBA 알고리즘의 정확도를 검증하기 위하여 일괄 번들 조정의 결과를 기준으로 SEBA와 FSEBA에 의해 추정된 미지수를 비교한다.
반면, FSEBA를 적용한 경우에 영상이 취득됨에 따라 처리 시간이 증가하지 않고 약 0.02초 이내로 아주 작게 유지되었다. FSEBA은 SEBA와 다르게 최근 영상의 외부표정요소와 상관계수가 높은 미지수만 갱신함으로 다음 단계에 활용될 축소정규행렬 역행렬의 서브블록행렬과 미지수 벡터의 크기가 일정 범위 이내로 한정되기 때문에 영상이 계속해서 추가되더라도 처리 시간을 일정하게 유지시킬 수 있다.
본 실험에서 FSEBA는 최근 영상과 상관계수가 높은 미지수만 갱신하기 때문에 그 효과가 더 크게 나타나 상대적으로 SEBA보다 지상점 좌표 Z의 결정에 있어 취약하다.
FSEBA에 의해 추정된 자세 차이에 대한 RMS도 초반에는 10mdeg를 넘지만, 연속 결합 단계가 진행함에 따라 약 7mdeg까지 감소하였다. 여기서 Sim의 결과를 기준으로 FSEBA로 추정된 결과가 SEBA에 의해 추정된 결과와 차이가 작다는 것도 중요하지만, 영상 취득이 진행되어 이전 단계의 미지수를 계속해서 갱신함에 따라 FSEBA의 RMS가 작아지면서 Sim의 결과와 유사해진다는 것도 상당히 중요한 의미를 갖는다.
따라서 10번째 epoch까지는 알고리즘 간의 차이가 존재하지 않는다. 연속 결합 단계가 시작되는 시점에서 SEBA와 FSEBA에 추정된 위치 차이에 대한 RMS는 급격하게 증가하였다. 이어서 영상이 취득됨에 따라 epoch가 진행될수록 이전 단계의 미지수가 계속해서 갱신되기 때문에 점차적으로 Sim의 결과와 유사해지는 경향을 확인할 수 있다.
영상이 추가될 때마다 추가되는 관측값과 미지수에 의존적인 새로운 연산만으로 기존 미지수와 새로운 미지수 모두와 관계된 정규행렬식의 정규행렬 역행렬을 효율적으로 갱신할 수 있다. 그러나 취득된 영상의 수가 증가할수록 갱신되어야 할 총 미지수의 개수 역시 증가하기 때문에, 역행렬 연산량을 일정하게 한정시켰음에도 불구하고 미지수 갱신에 소요되는 연산 시간이 증가하게 된다.
마지막 epoch에서 제안된 SEBA와 FSEBA에 의해 추정된 미지수의 RMS를 계산한 결과는 Table 3와 같다. 외부표정요소의 경우는 FSEBA에 의해 추정된 결과가 최근 영상과 상관계수가 높은 미지수만 갱신하였음에도 불구하고 모든 미지수를 갱신하는 SEBA의 결과와 위치는 1 cm 이내, 자세는 2mdeg 이내로 거의 유사하였다. 지상점 좌표의 경우에는 두 알고리즘의 결과 모두 지상점 좌표 중 Z변수의 결정이 상대적으로 부정확하다.
02초 이내의 처리시간을 소요하였다. 이를 통해 FSEBA는 기존 SEBA와 비교하여 유사한 정확도를 성취하면서 처리속도 측면에서 실시간 지오레퍼런싱의 요구에 부합한다는 것을 확인할 수 있었다. 따라서 본 연구에서 제안된 FSEBA 알고리즘은 영상의 실시간 지오레퍼런싱 기술이 요구되는 긴급 매핑, 영상기반 내비게이션, 무인 시스템 개발, 증강현실 구현 등 다양한 분야에 활용될 수 있을 것으로 판단된다.
이상으로부터 SEBA와 FSEBA는 Sim의 결과와 비교하여 지상점 좌표 기준 각각 약 ±2 cm, ±5 cm의 정확도로 영상이 새롭게 추가되는 시점마다 지상점 좌표를 추정할 수 있다고 분석된다.
이상의 방법으로 새로 취득된 영상과 상관관계가 높은 외부표정요소와 지상점이 결정되면 미지수 벡터의 크기는 거의 일정하게 유지될 수 있다.
따라서 제안된 고속 연속 번들조정인 FSEBA 알고리즘의 정확도를 검증하기 위하여 일괄 번들 조정의 결과를 기준으로 SEBA와 FSEBA에 의해 추정된 미지수를 비교한다. 일괄 번들 조정과 SEBA에 의해 추정된 미지수 간의 차이와 일괄 번들 조정와 FSEBA에 의해 추정된 미지수 간의 차이가 유사하다면 FSEBA는 SEBA에 버금가는 정확한 결과를 산출할 수 있는 것으로 간주할 수 있다. 또한, 일괄 번들 조정과 FSEBA에 의해 추정된 미지수 간의 차이의 절대적인 수치가 작다면, 제안된 FSEBA에 의해 일괄 번들 조정에 버금가는 결과를 산출할 수 있는 것으로, FSEBA의 정확도를 신뢰할 수 있을 것이다.
후속연구
따라서 본 연구에서 제안된 FSEBA 알고리즘은 영상의 실시간 지오레퍼런싱 기술이 요구되는 긴급 매핑, 영상기반 내비게이션, 무인 시스템 개발, 증강현실 구현 등 다양한 분야에 활용될 수 있을 것으로 판단된다.
또한, 일괄 번들 조정과 FSEBA에 의해 추정된 미지수 간의 차이의 절대적인 수치가 작다면, 제안된 FSEBA에 의해 일괄 번들 조정에 버금가는 결과를 산출할 수 있는 것으로, FSEBA의 정확도를 신뢰할 수 있을 것이다.
따라서 본 연구에서 제안된 FSEBA 알고리즘은 영상의 실시간 지오레퍼런싱 기술이 요구되는 긴급 매핑, 영상기반 내비게이션, 무인 시스템 개발, 증강현실 구현 등 다양한 분야에 활용될 수 있을 것으로 판단된다. 향후, FSEBA와 실시간 영상 매칭을 결합하고 이상점 탐지 및 제거와 관련된 추가 연구를 수행하여 FSEBA의 활용성을 증대시킬 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
지오레퍼런싱이란?
비디오카메라로부터 취득되는 영상 상에 경로나 교통 표지 등을 증강시키기 위해서 내비게이션 정보가 정의된 절대좌표계 기준으로 영상이 촬영된 순간에 카메라의 위치와 자세를 정확히 알아야 한다. 카메라의 위치와 자세 즉, 영상의 외부표정요소(exterior orientation parameters)를결정하는 과정을 지오레퍼런싱(georeferencing)이라고 한다. 실시간 증강현실 기반의 내비게이션을 위해서 이와 같은 영상 지오레퍼런싱 과정이 필수적이며 실시간으로 수행되어야 한다.
연속 번들 조정 알고리즘의 한계는?
최근에 제안된 연속 번들 조정 알고리즘은 이와 유사한 정확도의 결과를 고속으로 산출하여 실시간 처리의 가능성을 열었다. 그러나 처리시간이 영상의 개수에 따라 점진적으로 증가하기 때문에 영상이 아주 많은 경우에 실시간 수행이 보장되지 못하는 한계가 있었다. 이러한 연속 번들 조정 알고리즘을 보완하여 본 연구는 실시간 처리를 위해 영상의 개수와 무관하게 처리시간을 항상 일정 범위로 한정시킬 수 있는 알고리즘을 제안한다.
영상 기반의 정밀한 내비게이션이나 증강현실을 구현하기 위해 필수적인 것은?
영상 기반의 정밀한 내비게이션이나 증강현실을 구현하기 위해서 고정밀 영상 지오레퍼런싱의 실시간 수행이 필수적이다. 일반적으로 고정밀 영상 지오레퍼런싱은 일괄 번들 조정 알고리즘을 적용하여 성취될 수 있으나 처리시간으로 인해 후처리로만 가능하였다.
참고문헌 (15)
Choi, K. and I. Lee, 2009a. Image georeferencing using AT without GCPs for a UAV-based low-cost multisensor system, Korean Journal of Surveying, Geodesy, Photogrammetry and Cartography, 27(2): 249-260.
Choi, K. and I. Lee, 2009b. A sequential AT algorithm based on combined adjustment, Korean Journal of Surveying, Geodesy, Photogrammetry and Cartography, 27(6): 669-678.
Choi, K., J. Lee and I. Lee, 2011. Development of a close-range real-time aerial monitoring system based on a low altitude unmanned air vehicle, Korean Journal of Spatial Information Society, 19(4): 21-31.
Choi, K. and I. Lee, 2012. Comparison and performance validation of on-line aerial triangulation algorithms for real-time image georeferencing, Korean Journal of Remote Sensing, 28(1): 55-67.
Choi, K. and I. Lee, 2013. A sequential aerial triangulation algorithm for real-time georeferencing of image sequences acquired by an airborne multi-sensor system, Remote Sensing, 5(1): 57-82.
Cho, S.I., K.H. Kim, I.H. Joo, J.H. Park, G.J. Chae and S.Y. Lee, 2007. Trends and perspectives of the next-generation navigation technology, Electronics and Telecommunications Trends, 22(3): 12-19.
Hu, Z. and K. Uchimura, 2004. Real-time data fusion on stabilizing camera pose estimation output for vision-based road navigation, Proc. of SPIE Stereoscopic Displays and Virtual Reality Systems XI; Conference, San Jose, CA, May 21, vol. 5291. pp. 480-490.
Kaess, M., H. Johannasson, R. Roberts, V. Ila, J. Leonard and R. Dellaert, 2012. iSAM2: Incremental Smoothing and Mapping Using the Bayes Tree, International Journal of Robotics Research, 31: 217-236.
Kersten, T.P., K.R. Holm and A. Gruen, 1992. On-line Point Positioning with Single Frame Camera Data, Final Technical Report, Institute of Geodesy and Photogrammetry, ETH Zurich, Switzerland, Report no. 19.
McGlone, C., 2004. Manual of Photogrammetry, 5th Edition, ASPRS, Bethesda, Maryland, USA, pp. 847-870.
Mostafa, M.M.R., J. Hutton and E. Lithopoulous, 2001. Airborne direct georeferencing of frame imagery: an error budget, Proc. of The 3rd International Symposium on Mobile Mapping Technology, Cairo, Egypt.
Schwarz, K.P., M.A. Chapman, M.E. Cannon and P. Gong, 1993. An integrated INS/GPS approach to the georeferencing of remotely sensed data, Photogrammetry Engineering and Remote Sensing, 59(11): 1167-1174.
Skaloud, J. and K. Legat, 2008. Theory and reality of direct georeferencing in national coordinates, ISPRS Journal of Photogrammetry and Remote Sensing, 63(2): 272-282.
Tonnis, M., C. Sandor, C. Lange and H. Bubb, 2005. Experimental evaluation of an augmented reality visualization for directing a car driver's attention, Proc. of the 4th IEEE/ ACM International Symposium on Mixed and Augmented Reality, Vienna, Austria, Oct. 5-8, pp. 56-59.
Toth, C. and D.A. Grejner-Brzezinska, 1998. Performance analysis of the airborne integrated mapping system ( $AIMS^{TM}$ ), International Archives of the Photogrammetry and Remote Sensing, vol. 32, part. 3, pp. 320-326.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.