모바일 매핑 시스템 또는 로봇이 GPS (Global Positioning System)와 다중 스테레오 카메라만 탑재 할 경우, V-SLAM(Vision based Simultaneous Localization And Mapping)에 의한 카메라 외부표정과 3차원 데이터를 GIS데이터와 연계 또는 카메라 외부표정의 누적에러를 제거하기 위해 극부 카메라 좌표계에서 GPS (Global Positioning System) 좌표계로 변환이 필요로 한다. 이 요구사항을 만족시키기 위해, 본 논문은 GPS와 V-SLAM에 의한 3쌍의 카메라의 위치를 이용하여 GPS좌표계에서 카메라 자세를 계산하는 새로운 방법을 제안하였다. 제안한 방법은 간단한 4단계로 구성되어 있다; 1)각 3개의 카메라 위치에 기반한 두 평면 법선벡터가 병렬이되도록 하는 사원수 (quaternion)를 계산한다, 2) 계산된 사원수를 통하여 V-SLAM에 의한 3개의 카메라 위치를 변환한다, 3) 변환된 위치에서 두번째 또는 세번째 점이 GPS에 의한 점과 일치하도록 하는 두번째 사원수를 계산한다, 4)두 사원수의 곱을 통하여 최종 사원수 결정한다. 최종 사원수는 극부 카메라 좌표계에서 GPS좌표계로 변환할 수 있다. 추가적으로, 촬영된 물체 위치에서 카메라를 보는 시야각을 기반으로 물체의 3차원좌표 갱신방법을 제안하였다. 본 논문은 제안한 방법을 시뮬레이션과 실험을 통하여 증명하였다.
모바일 매핑 시스템 또는 로봇이 GPS (Global Positioning System)와 다중 스테레오 카메라만 탑재 할 경우, V-SLAM(Vision based Simultaneous Localization And Mapping)에 의한 카메라 외부표정과 3차원 데이터를 GIS데이터와 연계 또는 카메라 외부표정의 누적에러를 제거하기 위해 극부 카메라 좌표계에서 GPS (Global Positioning System) 좌표계로 변환이 필요로 한다. 이 요구사항을 만족시키기 위해, 본 논문은 GPS와 V-SLAM에 의한 3쌍의 카메라의 위치를 이용하여 GPS좌표계에서 카메라 자세를 계산하는 새로운 방법을 제안하였다. 제안한 방법은 간단한 4단계로 구성되어 있다; 1)각 3개의 카메라 위치에 기반한 두 평면 법선벡터가 병렬이되도록 하는 사원수 (quaternion)를 계산한다, 2) 계산된 사원수를 통하여 V-SLAM에 의한 3개의 카메라 위치를 변환한다, 3) 변환된 위치에서 두번째 또는 세번째 점이 GPS에 의한 점과 일치하도록 하는 두번째 사원수를 계산한다, 4)두 사원수의 곱을 통하여 최종 사원수 결정한다. 최종 사원수는 극부 카메라 좌표계에서 GPS좌표계로 변환할 수 있다. 추가적으로, 촬영된 물체 위치에서 카메라를 보는 시야각을 기반으로 물체의 3차원좌표 갱신방법을 제안하였다. 본 논문은 제안한 방법을 시뮬레이션과 실험을 통하여 증명하였다.
When a mobile mapping system or a robot is equipped with only a GPS (Global Positioning System) and multiple stereo camera system, a transformation from a local camera coordinate system to GPS coordinate system is required to link camera poses and 3D data by V-SLAM (Vision based Simultaneous Localiz...
When a mobile mapping system or a robot is equipped with only a GPS (Global Positioning System) and multiple stereo camera system, a transformation from a local camera coordinate system to GPS coordinate system is required to link camera poses and 3D data by V-SLAM (Vision based Simultaneous Localization And Mapping) to GIS data or remove the accumulation error of those camera poses. In order to satisfy the requirements, this paper proposed a novel method that calculates a camera rotation in the GPS coordinate system using the three pairs of camera positions by GPS and V-SLAM, respectively. The propose method is composed of four simple steps; 1) calculate a quaternion for two plane's normal vectors based on each three camera positions to be parallel, 2) transfer the three camera positions by V-SLAM with the calculated quaternion 3) calculate an additional quaternion for mapping the second or third point among the transferred positions to a camera position by GPS, and 4) determine a final quaternion by multiplying the two quaternions. The final quaternion can directly transfer from a local camera coordinate system to the GPS coordinate system. Additionally, an update of the 3D data of captured objects based on view angles from the object to cameras is proposed. This paper demonstrated the proposed method through a simulation and an experiment.
When a mobile mapping system or a robot is equipped with only a GPS (Global Positioning System) and multiple stereo camera system, a transformation from a local camera coordinate system to GPS coordinate system is required to link camera poses and 3D data by V-SLAM (Vision based Simultaneous Localization And Mapping) to GIS data or remove the accumulation error of those camera poses. In order to satisfy the requirements, this paper proposed a novel method that calculates a camera rotation in the GPS coordinate system using the three pairs of camera positions by GPS and V-SLAM, respectively. The propose method is composed of four simple steps; 1) calculate a quaternion for two plane's normal vectors based on each three camera positions to be parallel, 2) transfer the three camera positions by V-SLAM with the calculated quaternion 3) calculate an additional quaternion for mapping the second or third point among the transferred positions to a camera position by GPS, and 4) determine a final quaternion by multiplying the two quaternions. The final quaternion can directly transfer from a local camera coordinate system to the GPS coordinate system. Additionally, an update of the 3D data of captured objects based on view angles from the object to cameras is proposed. This paper demonstrated the proposed method through a simulation and an experiment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
GPS좌표계 변환이 필요하다. 본 논문은 GPS와 V- SLAM에 의한 3쌍의 카메라 위치점을 이용한 좌표변환 방법을 제안하였다. 이 3쌍에서 영상간의 거리는 근접 거리가 될 수도 있고, 원거리일 수도 있다.
본 논문은 RTK GPS와 V-SLAM을 통하여 계산된 3쌍의 카메라 외부표정을 이용하여 GPS 좌표계에서 카메라 자세를 계산하는 방법을 제안했다. 제안한 방법은 각 3 쌍을 기반한 두 평면의 법선벡터가 병렬이 되도록 하는 사원 수와 3쌍의 카메라 위치가 공간상에서 일치되도록 하는 사원수를 곱하여 최종 사원수를 계산 하는 것이다.
하지만, 50m 이상의 물체의 정밀도가 떨어지는 단점이있으며, RTK (Real Time BLinematic) GPS/IMU (Inertial Measuring Unit)에 로컬라이제이션을 의존하고 있기 때문에 GPS 수신 불능지역과 수신 불량지역에서는 3차원 파노라마 간의 중첩오차가 발생하는 문제가 있다. 본 논문은 건물 내와 같이 GPS 수신불능 지역과 수신 불량지역에서 모바일 매핑 시스템의 로컬라이제이션을 하기위한 것이며, 모바일 매핑 시스템에 탑재된 GPS와 다중스테레오 카메라만을 이용하여 모바일 매핑 시스템 로컬라이제이션을 위한 것이다.
촬영간격이 먼 거리의 경우, 하나의 근접한 물체가 여러 영상 프레임에서 촬영되지 않고 두 영상 프레임 또는 세개의 영상 프레임만 촬영되기 때문에 사후 확률 방법 적용이 용이하지 않다. 본 논문은 물체 위치를 중심으로 스테레오 카메라 시스템을 봐라보는 시각 θ로 융합하여 물체의 3차원 좌표를 추정하는 방법을 제안 하였다.
본 저자가 개발한 카메라 모델 (전재춘, 2008; 전재춘과 Sastry, 2008, 2007)에 기반한 V-SLAM (Vision based Simultaneous Localization And Mapping) (Se 외 2인, 2005) 을 통하여 계산된 카메라 외부표정과 SIFT (Scale Invariant Feature Transform) 특징점 (Lowe, 2004)의 3 차원데이터를 GPS 좌표계로 변환 하기 위해서, 본 논문은 영상 촬영시 동시에 GPS데이터가 수신된 3쌍의 영상을 선택 후, GPS와 V-SLAM에 의한 각 3개의 카메라 위치 기반한 두 평면을 병렬이 되도록 하는 회전과 두평면이 일치 하도록 하는 회전을 통하여 좌표계 변환을 수행 하는 것이다. 각 회전은 사원수(Qumtemion)로 표현할 수 있으며 (Hamilton, 1844), 두 사원수의 곱에 의한 최종 사원 수는 직접적으로 극부 카메라 좌표계에서 GPS좌표계로 변환하는 인자이다.
본장은 본 논문에서 사용된 V-SLAM기반 모바일 매핑시스템의 로컬라이제이션에 대해 소개한다.
가설 설정
그림 3(d)와 같이 일차적으로 GPS와 V-SLAM에 의한 각 3 점을 기반으로 평면 방정식을 만든다. 그림 3(e) 각 평면의 법선벡터의 일치화는사원수를 이용한다. 사원수q1는 두 법선벡터 iiG와 nC의 내적식 cos(nG .
제안 방법
본 논문에서는 3차원 좌표와 회전은 각각 미테m] 와각도[Deg] 단위로 사용한다. 식(10)을 증명하기 위해, GPS좌표계에서 3점의 좌표 G[0 00; 1 1 1; 1 2 3]외-, 이 좌표를 [10-5 100] 만큼 회전한 카메라 좌표계에서 좌표 C[0 .
계산하는 방법을 제안했다. 제안한 방법은 각 3 쌍을 기반한 두 평면의 법선벡터가 병렬이 되도록 하는 사원 수와 3쌍의 카메라 위치가 공간상에서 일치되도록 하는 사원수를 곱하여 최종 사원수를 계산 하는 것이다. 우리는 최종 사원수를 통하여 직접적으로 극부 카메라 좌표계에서 GPS좌표계로 변환할 수 있다.
첫번째 영상 프레임을 기준 좌표계로 하여 두번째 영상 프레임의 상대표정과 두번째 영상 프레임을 기준 좌표계로 하여 첫번째 영상프레임의 상대표정을 본 저자 SAmple Consensus)을 이용하여 최소의 화소에러를 가진상대표정을 계산하였다 (전재추 2008; 전재춘과 Sastry, 2008, 2007). RASANC 은 카메라 모델식이 필요로 하는 특징점(tie-point, feature correspondence)를 임의로 선택하여 화소 에러가 최소가 되는 쌍을 선택하는 방법이다(Fischler 와 Bolles, 1981).
우리는 최종 사원수를 통하여 직접적으로 극부 카메라 좌표계에서 GPS좌표계로 변환할 수 있다. 추가적으로, 다중 기선기선기반을 통한 촬영된 물체의 3차원 좌표 갱신 방법을 제안하였다.
각 회전은 사원수(Qumtemion)로 표현할 수 있으며 (Hamilton, 1844), 두 사원수의 곱에 의한 최종 사원 수는 직접적으로 극부 카메라 좌표계에서 GPS좌표계로 변환하는 인자이다. 추가적으로, 본 논문eSIFT 특징점의 공간상 기준으로부터 카메라를 보는 시야각들을 융합하여 SIFT 특징점의 3차원 좌표를 갱신하는 방법을 제안하였다.
대상 데이터
이 3쌍에서 영상간의 거리는 근접 거리가 될 수도 있고, 원거리일 수도 있다. 기준 영상은 모바일 매핑 시스템이 교차로와 같이 일시 정지한 경우이며, 수신지역에서 수신불능지역이나 수신 불량지역으로 진입전과 빠져 나온 이후에 각각 3쌍의 영상이 선택되어야 한다. 2쌍의 영상간의 외부표정을 GPS 좌표계로 매핑할 경우, 모바일 매핑 시스템의 Pitch와 Yaw를 결정할 수 있으면, 1쌍을 추가 할 경우 나머지 RoH을 결정할 수 있다.
본 논문은 실험을 통하여 제안한 방법을 증명하기 위해, 스테레오 카메라 캘리브레이션(전재춘 2007, 2008) 과카메라와 IMU캘리브레이션(전재춘, Shibasaki, 2008)을위한 2m 간격으로 촬영된 20개의 영상 프레임을 사용했다. 카메라 상대표정 계산시, 계산 오차를 줄이기 위해 40m 이상의 거리인 SIFT특징점은 제외를 하였다.
이론/모형
본 논문에서는 반복회수를 s=3, 8 =50%, p=99%로 설정 했지만, 영상투영오차가 2화소 이내일 때까지 수행하였다. 계산과정에서 필요로 하는 특징점의 추출과 정합은 Low가 개발한 SIFT 특징점(tiepoint, feature correspondence)을 이용하였다. SIFT 특징점은 영상 이동, 회전, 스케일과 밝기변화 대하여 불변한 성질을 가지고 있기에, 컴퓨터 비젼, 로보비젼 등 널리 사용되고 있다.
그러나, 동일 물체(Natural landmark or tie-point)가여러 영상 프레임에서 촬영된다면, 가장 근접한 거리에서 측정한 좌표가 오차를 적게 포함하게 되고, 여러 영상 프레임에서 이 물체를 보는 시각이 다르게 되므로 측정오차를 줄일 수 있게 된다. 그러므로 본 논문은 이러한 문제를 해결하기 위하여V-SLAM (Vision based Simultaneous Localization And Mapping)을 사용 하였다. V-SLAM 이란 갱신된 물체의 3차원 좌표기반으로 외부표정을 다시 계산하는 방법 이다 (Milford와 Gordon, 2008; Se 외 2인, 2005; Thrun et al, 2000).
SIFT 특징점은 영상 이동, 회전, 스케일과 밝기변화 대하여 불변한 성질을 가지고 있기에, 컴퓨터 비젼, 로보비젼 등 널리 사용되고 있다. 본 논문에서는 SIFT 알고리즘 계산속도를 비약적으로 향상시키기 위해 GPU(Graphics Processing Unit)을 사용하고 있다. (Sinha 외 3인, 2006).
본 논문은 Hamilton이 개발한 사원수 기반 상대 표정을 누적하였다 (Hamilton, 1844). 일반적으로 사용되는 Euler 좌표계에서 회전행렬은 짐발락(Gimbal Lock) 문제와 공간상에서 물체회전 표현이 불편한 단점있다.
V-SLAM에 관련된 연구들은 기본적으로 로봇이나 모바일 매핑 시스템의 모션을 위한 엔코더 등 추가적인 센서를 이용하고 있으며 영상 프레임간의 촬영 단위가 수 센티미터 이다. 센서와 영상 데이터 융합을 위해 EKF(Extended Kalman Filter)을 이용하여 상대표정 갱신할 수 있다. (Civera, 2009).
후속연구
제안한 방법은 고가의 IMU를 수입하기 어려운 우리나라 현실에 기여 할 것으로 예상되며, GPS수신이 불량한 도심지 내부와 건물 내부에서 3차원 데이터 취득 후 Geo-로컬라이제이션에 도움을 줄 것으로 예상된다.
참고문헌 (17)
전재춘 (2008), 벡터내적 기반 카메라 자세 추정, 대한원격탐사학회지, 대한원격탐사학회, 24(6), pp. 614-644
전재춘, Sastry, S. (2008), 벡터내적기반 카메라 외부파라메타, 응용: 절대표정, 제어로봇시스템학회지, 제어로봇 시스템학회, 14(1), pp. 70-74
전재춘, Sastry, S.(2007), 벡터내적 기반 카메라 외부 파라메터 응용: 카메라와 레이져스캐너간의 캘리브레이션, 대한원격탐사학회지, 대한원격탐사학회, 23(6), pp. 553-558
전재춘, Shibasaki, R. (2008), IMU/GPS와 카메라 좌표계간의 물리적 관계를 위한 수학적 모델, 한국측량학회지, 한국측량학회, 제 26권, 제 6호, pp. 611-616
Chon, J. Fuse, T., Shimizu, E, and Shivasaki, R. (2007), 3D Image Mosaicking Using Multiple Projection Planes, IEEE Tr. onSMC-B, 37(3), pp. 771-783
Chon, J Kim, H, and Lin, C., (2009), Seam-line determination for image mosaicking: A technique minimizing the maximum local mismatch and the global cost. ISPRS Journal of Photogrammetry and Remote Sensing, doi:10.1016/J.isprsjprs.2009.09001
Civera, Javier, Oscar G. Grasa, Andrew J. Davison and J. M. M. Montiel (2009), 1-Point RANSAC for EKF-Based Structure from Motion, IROS 2009, CD-ROM
Felzenszwalb, P. F., Girshick, R. B., McAllester, D., Ramanan, D., (2009), Object Detection with Discriminatively Trained Part Based Models, To appear in IEEE Trans. on PAMI
Fischler, M.A., Bolles, R.C.(1981), RANSAC random sampling concensus: A paradigm for model fitting with applications to image analysis and automated cartography, Communications of ACM, 26, pp. 381-395
Fruh, C., Jain,S., and Zakhor, A. (2005), Data Processing Algorithms for Generation Textured 3D Building Facade Meshes from Laser Scans and Camera Images, International Journal of Computer Vision, 61(2), pp. 159-184
Milford, Michael J., Gordon F (2008), Mapping a Suburb With a Single Camera Using a Biologically Inspired SLAM System, IEEE Tr. on Robotics, 24(5), pp. 1038-1053
Sinha, Sudipta N, Jan- Michael Frahm, Marc Pollefeys and Yakup Genc(2006), GPU-Based Video Feature Tracking and Matching, EDGE 2006, workshop on Edge Computing Using New Commodity Architectres, Chapel Hill, May 2006
Thrun, S., Fox, D., Burgard, W., and Dellaert, F. (2001), Robust Monte-Carlo localization for mobile robots, Artificial Intelligence, 128(1), pp. 99-141
Zhao, H., Shibasaki, R. (2003), A vehicle-borne urban 3-D acquisition system using single-row laser range scanners, IEEE Tr. on SMC-B, 33(4), pp. 658-666
※ AI-Helper는 부적절한 답변을 할 수 있습니다.