초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 카메라의 영상정보를 이용하여, LiDAR 기반의 3차원 포인트 클라우드 맵 사이의 실시간 정합 기법을 제안한다. 주변 환경에 대한 사전정보가 존재할 때, 제안한 기법은 국부 지도(local map)의 병합 과정을 수행하고, 추정된 강체 변환 행렬(rigid body transform)을 최적화함으로서 전역지도(global map)를 동시에 구축한다. 본 논문은 1) 센서 융합과 이미지 처리, 2) ...

본 논문은 카메라의 영상정보를 이용하여, LiDAR 기반의 3차원 포인트 클라우드 맵 사이의 실시간 정합 기법을 제안한다. 주변 환경에 대한 사전정보가 존재할 때, 제안한 기법은 국부 지도(local map)의 병합 과정을 수행하고, 추정된 강체 변환 행렬(rigid body transform)을 최적화함으로서 전역지도(global map)를 동시에 구축한다. 본 논문은 1) 센서 융합과 이미지 처리, 2) 맵핑과 오도메트리(odometry) 추정, 3) 좌표변환과 유사성 매칭(correspondence matching), 그리고 4) 이상치(outlier) 제거와 최적 강체 변환 행렬 추정 부분으로 이루어지며, 그 상세 구성은 다음과 같다.
첫째, 3차원 좌표계에서 영상 특징점들을 3차원 좌표값과 함께 고유한 기술자 값을 갖도록 만들기 위해, LiDAR, 카메라, 관성측정장치(IMU)와 같은 센서들로부터 받은 데이터를 결합하는 알고리즘 모듈을 설계한다. 우선, 측정된 LiDAR의 포인트 클라우드를 좌표변환을 통해 이미지 평면으로 투영시킨다. 이미지와 BRISK 기술자를 통해 이미지로부터 유효한 포인트가 될 가능성이 있는 이미지 특징점을 추출한다. 선택된 특징점들은 이미지 프레임뿐만 아니라 LiDAR의 레이저 스캔의 범위에도 동시에 존재하도록 설계되기 때문에, 특징점들은 LiDAR 중심을 원점으로 하는 3차원 좌표위치를 갖게 된다. 이 과정에서, 효율적인 메모리 할당과 LiDAR와 이미지에 동시에 존재하는 포인트만의 처리를 통해 처리속도를 향상시킨다.
둘째, 다수의 변수를 동시에 최적화를 목표로 하는 SLAM과정의 복잡한 문제는 맵핑과 상태추정의 두 알고리즘으로 구분되어 구현된다. 이러한 두 알고리즘은 동시에 병렬적으로 협력하여 작동된다. 이러한 알고리즘들은 보조의 IMU와 결합되어 오도메트리를 정밀하게 추정 가능하게하고, 스캔 매칭을 통해 인식될 포인트 클라우드 맵핑을 실시간으로 구현한다.
셋째, 이전의 SLAM 알고리즘에서의 추정된 오도메트리 정보와 추출된 특징점의 3차원 위치를 결합하여, 후보 포인트들이 각각의 생성된 맵을 기준으로 정렬되도록 설계된다. 다음으로, 변환된 특징점들이 유사성 매칭을 위해 서로 매칭되어진다.
최종적으로, 독립적인 각각의 맵에 공존하는 상응되는 포인트들을 기반으로, 데이터 매칭의 개선을 위해 이상치 값을 갖는 포인트 쌍들을 제거하는 모듈을 설계한다. 이 모듈은 정교한 맵 정합(registration)을 위해서는 필수적이다. 결과의 정밀성을 향상시키기 위하여, 축적되는 특징점들 사이에서 임의로 샘플 데이터를 선택한 후 최소평균제곱근 오차(Least root mean square) 비교를 통해 유효한 점들이 선택된다. 그리고 이러한 점들은 강체 변환 행렬을 추정하기 위해 사용된다. 각 맵의 원점 간의 자세 차이를 표현하는 강체변환 행렬은 회전행렬과 병진벡터를 계산하는 Kabsch 알고리즘을 이용하여 반복적으로 추정하여 얻는다. 추정된 강체변환행렬이 설정한 오차 기준을 만족시킬 때마다 사전의 구축된 3차원 포인트 클라우드 맵은 현재 생성되고 있는 맵에 실시간으로 정합되도록 설계한다.
제안한 기법에서의 영상 특징점을 통해 추정된 최적의 강체변환 행렬을 사전에 생성된 맵에 적용시켰을 때, 독립적으로 구축된 3차원 포인트 클라우드 맵이 실시간으로 점근적이게 정합되는 것을 증명한다. 제안한 실시간 정합 기법의 우수성은 실질적인 시뮬레이션과 실험을 통해 입증된다. 또한 ICP정합 기법과의 비교를 통해 정확도와 처리시간의 개선을 증명한다.

Abstract ▼ AI-Helper

In this thesis, a LiDAR, a laser ranging scanner sensor, based real-time registration method between point cloud maps that aided by visual information from camera is proposed. In the presence of any preliminary constructed map, the proposed method conducts the merging process of submaps, which achie...

In this thesis, a LiDAR, a laser ranging scanner sensor, based real-time registration method between point cloud maps that aided by visual information from camera is proposed. In the presence of any preliminary constructed map, the proposed method conducts the merging process of submaps, which achieves the constructing on of a global map concurrently by optimizing the estimated rigid body transform. The thesis is divided into four parts: 1) Sensor fusion and image processing, 2) mapping and odometry estimation, 3) coordinate transformation and correspondence matching, and 4) outlier removal and estimation of optimal rigid transform. The details are as follows:
In the first part, the algorithm module integrating the received data from sensors such as LiDAR, cameras and IMU is designed to make the feature points have the corresponding 3D coordinates and the unique descriptors information in a three-dimensional coordinate system. The measured point cloud of LiDAR is projected onto the image plane through coordinate transformation. Then, the potential visual keypoints are extracted from image frame by the feature extractor. Here, since the selected keypoints are designed to coexist, not only on the image frame, but also on the a sweep of the LiDAR's laser line at same time, the keypoint clouds get the geometrical three-dimensional positions with its origin at the center of LiDAR. In this process, it improves the processing time by efficient memory allocation and dealing with only the coexisting points LiDAR and the images not the whole pixels or point cloud.
In the second part, the complicated problem of Simultaneous Localization And Mapping (SLAM) process that aims to optimize a large number of variables simultaneously is implemented by dividing into two algorithms: mapping and motion estimation. The two algorithms runs cooperatively in parallel. They allow to estimate the odometry precisely integrated with the auxiliary IMU and implement the point cloud mapping to be perceived by scan matching in real time.
In the third part, the candidated points are designed to be aligned along each map by combining updated odometry data derived from previous SLAM algorithm and the 3D position of calculated keypoint clouds. Next, the transformed feature points are matched each other for correspondence matching.
In the final part, based on the potentially corresponding point cloud batches coexisting in independent maps, the module removing pairs of points with outliers is designed to refine the data association, which is indispensable for the fine map registration. To improve the accuracy of results, the valid point batches are selected by randomly selecting the sample data among the accumulative keypoints and comparing the Least Root Mean Square (LRMS), which are used for estimating the rigid body transform. The rigid body transform, which is the pose difference between the origins of each map, is recursively estimated using Kabsch algorithm calculating the rotation matrix and translation vector. Whenever the estimated rigid body transform satisfies the error criteria, the preliminarily constructed 3D point cloud map is designed to be registered onto the currently generated map with the matrix in real time.
It is proved that the independently scanned 3D point cloud maps become asymptotically registered when the proposed method is applied on the previously generated map by variation of visual features in 3D coordinate system. The superiority of the proposed real-time registration module is demonstrated by problematic simulations and implementing experiments. The proposed method is also proved that the accuracy and the processing time are improved considerably by comparing the conventional ICP registration method.

Keyword