[논문]3D-2D 모션 추정을 위한 LiDAR 정보 보간 알고리즘

전현호; 고윤호

doi:10.9717/kmms.2017.20.12.1865

[국내논문] 3D-2D 모션 추정을 위한 LiDAR 정보 보간 알고리즘
LiDAR Data Interpolation Algorithm for 3D-2D Motion Estimation 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.20 no.12, 2017년, pp.1865 - 1873

전현호 (Dept. of Mechatronics Eng., Graduate School, Chungnam National University) , 고윤호 (Dept. of Mechatronics Eng., Graduate School, Chungnam National University)

Abstract ▼ AI-Helper

The feature-based visual SLAM requires 3D positions for the extracted feature points to perform 3D-2D motion estimation. LiDAR can provide reliable and accurate 3D position information with low computational burden, while stereo camera has the problem of the impossibility of stereo matching in simple texture image region, the inaccuracy in depth value due to error contained in intrinsic and extrinsic camera parameter, and the limited number of depth value restricted by permissible stereo disparity. However, the sparsity of LiDAR data may increase the inaccuracy of motion estimation and can even lead to the result of motion estimation failure. Therefore, in this paper, we propose three interpolation methods which can be applied to interpolate sparse LiDAR data. Simulation results obtained by applying these three methods to a visual odometry algorithm demonstrates that the selective bilinear interpolation shows better performance in the view point of computation speed and accuracy.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 이러한 저가형 LiDAR는 상대적으로 채널수가 적기 때문에 정보가 성기게 분포하여 모션추정 결과에 좋지 않은 영향을 끼칠 수 있으며 또한 이러한 문제가 특징점 수의 부족과 결합되면 심각할 경우 모션 추정에 완전히 실패할 가능성도 있다. 따라서 본 논문에서는 이러한 LiDAR 정보의 성김으로 인한 모션 추정 실패 문제를 해결하기 위해 LiDAR 정보를 효과적으로 보간하기 위한 방법을 제안한다. 제안된 방법을 통해 카메라 계수의 오차나 영상 내 잡음 및 폐색에 영향을 받지 않는 3차원 지도를 생성하여 강인한 모션 추정 결과를 얻을 수 있다.
본 논문에서는 SLAM을 수행하기 위해서 프레임 간 모션을 추정하는 과정에서 사용되는 3차원 LiDAR의 정보가 성김으로 인한 문제를 해결하기 위해 보간하는 방법들을 제시하였으며 그 결과들을 비교하였다. 그 결과 제안하는 선택적 쌍선형 보간의 결과가 SLAM에서 요구되는 실시간성과 정확도를 모두 만족하는 적합한 보간 방법임을 확인하였다.

제안 방법

각 축 방향으로의 영상 보간 과정에서는 먼저 LiDAR 영상 전체 화소를 차례로 탐색하여 3차원 정보가 존재하는 화소를 선택한다. 각 선택된 화소에 대해서는 해당 화소를 기준으로 x축 방향의 보간 시에는 x축 방향으로 ∆x 만큼을 탐색하고 y축 방향의 보간 시에는 y축 방향으로 ∆y만큼을 탐색하여 3차원 정보가 존재하는 다른 화소의 여부를 탐색한다. 탐색을 통해 3차원 정보가 있는 화소가 발견될 경우 탐색을 중단하고 두 화소 사이의 선형 보간을 수행한다.
2절에서 설명된 LiDAR 정보의 투영 방법을 통해 얻어진 LiDAR 영상은 이차원 공간에 균일하지 않은 불규칙한 형태로 데이터가 분포한다. 따라서 이를 보간하기 위한 새로운 방법이 요구되는데 본 논문에서는 팽창, 선택적 쌍선형 보간, 평면 보간 총 3개의 방법을 제안하고 각 방법의 특징을 분석한다.
본 논문에서 제안한 세 가지 보간 방법을 각각 구현하고 성능을 평가하였다. 성능 평가를 위해 보간 결과에 기반을 두어 모션을 추정하고 그 정확도를 통해 보간 방법을 평가하였다.
본 논문에서 제안한 세 가지 보간 방법을 각각 구현하고 성능을 평가하였다. 성능 평가를 위해 보간 결과에 기반을 두어 모션을 추정하고 그 정확도를 통해 보간 방법을 평가하였다. 또한 재투영 오차를 함께 확인하여 정확도를 판단하는 지표로 삼았는데 재투영 오차란 계산된 3차원 좌표를 다시 영상에 투영하였을 때 투영 점과 이전에 가지고 있던 측정 점 사이의 위치 오차를 의미한다.

데이터처리

검증을 위해 KITTI 데이터셋의 참값이 제공되는 0번부터 10번까지의 데이터를 이용해 재투영 오차를 비교하였으며 visual odometry를 주관적으로 평가하였다. 그 결과 재투영 오차는 각각 화소 단위로 팽창 보간 3.

성능/효과

2.2절에서 설명된 LiDAR 정보의 투영 방법을 통해 얻어진 LiDAR 영상은 이차원 공간에 균일하지 않은 불규칙한 형태로 데이터가 분포한다. 따라서 이를 보간하기 위한 새로운 방법이 요구되는데 본 논문에서는 팽창, 선택적 쌍선형 보간, 평면 보간 총 3개의 방법을 제안하고 각 방법의 특징을 분석한다.
또한 평면 보간의 경우 해당 데이터셋에 대하여 200번대 프레임에서 큰 오차가 발생하며 모션 추정에 완전히 실패하였다. 200번대 프레임에서는 큰 회전 운동이 존재하며 평면 보간의 형태가 회전 운동을 추정하기에 다소 취약한 것을 확인할 수 있었다. 또한 평면 보간은 구현을 위해 카메라 내부 행렬이 사용되는데 이러한 카메라 계수의 오차가 전체 보간 과정에서 오차를 만드는 요인이 되기 때문에 선택적 쌍선형 보간 방법과 달리 카메라 계수의 정확도에 영향을 받는다는 단점이 존재한다.
7은 보간 결과를 이용하여 모션 추정을 수행해 얻어진 visual odometry의 결과이며 이 과정에서 모션 추정을 위해 RAFSet을 이용한 모션 추정 방법을 사용하였다[14]. 결과를 통해 선택적 쌍선형 보간이 가장 참값에 근사한 것을 확인할 수 있었으며 모션 추정에 있어서 작은 화소 단위의 오차일지라도 누적될 경우 큰 오차가 되는 것을 팽창 보간의 결과를 통해 확인할 수 있다. 또한 평면 보간의 경우 해당 데이터셋에 대하여 200번대 프레임에서 큰 오차가 발생하며 모션 추정에 완전히 실패하였다.
제안된 방법을 통해 카메라 계수의 오차나 영상 내 잡음 및 폐색에 영향을 받지 않는 3차원 지도를 생성하여 강인한 모션 추정 결과를 얻을 수 있다. 구체적으로 본 논문에서는 팽창 보간, 선택적 쌍선형 보간, 평면 보간으로 명명한 총 3가지 보간 방법을 소개하고 이들 방법을 간단한 실제 SLAM 알고리즘에 적용하여 선택적 쌍선형 보간 방법의 성능이 가장 우수함을 확인한다[13].
검증을 위해 KITTI 데이터셋의 참값이 제공되는 0번부터 10번까지의 데이터를 이용해 재투영 오차를 비교하였으며 visual odometry를 주관적으로 평가하였다. 그 결과 재투영 오차는 각각 화소 단위로 팽창 보간 3.4, 선택적 쌍선형 보간 1.8, 평면 보간 14.3이였으며 visual odometry의 경우 선택적 쌍선형 보간이 모든 경우에 대하여 참값에 가장 근접한 것을 확인할 수 있었다. 이를 통해 최종적으로 선택적 쌍선형 보간이 연산량과 정확도의 측면에서 우수한 보간 방법임을 확인하였다.
본 논문에서는 SLAM을 수행하기 위해서 프레임 간 모션을 추정하는 과정에서 사용되는 3차원 LiDAR의 정보가 성김으로 인한 문제를 해결하기 위해 보간하는 방법들을 제시하였으며 그 결과들을 비교하였다. 그 결과 제안하는 선택적 쌍선형 보간의 결과가 SLAM에서 요구되는 실시간성과 정확도를 모두 만족하는 적합한 보간 방법임을 확인하였다. 이를 이용해 SLAM을 수행함에 있어 3차원 정보의 결여로 모션 추정에 실패하는 경우를 막을 수 있으며 정확한 결과를 얻을 수 있을 것으로 기대된다.
첫째, t는 직선 ab에 의해 나누어지는 두 영역 중에서 점 c가 속한 영역에 있어야 한다. 둘째, t는 직선 bc에 의해 나누어지는 두 영역 중에서 점 a가 속한 영역에 있어야 한다. 셋째, t는 직선 ca에 의해 나누어지는 두 영역 중에서 점 b가 속한 영역에 있어야 한다.
둘째, t는 직선 bc에 의해 나누어지는 두 영역 중에서 점 a가 속한 영역에 있어야 한다. 셋째, t는 직선 ca에 의해 나누어지는 두 영역 중에서 점 b가 속한 영역에 있어야 한다. 위의 세 조건을 모두 만족하는 경우에만 t는 삼각형 내부 영역에 존재하며 이를 통해 보간 여부를 결정할 수 있다.
실제 실험에서는 최종적으로 ∆x, ∆y, THsb를 각각 10, 10, 0.1로 설정하였으며 파라미터의 설정에 따른 성능차이가 있음을 확인하였다. 여기서 ∆x와 ∆y는 화소 단위이며 TH_sb는 m단위이다.
3이였으며 visual odometry의 경우 선택적 쌍선형 보간이 모든 경우에 대하여 참값에 가장 근접한 것을 확인할 수 있었다. 이를 통해 최종적으로 선택적 쌍선형 보간이 연산량과 정확도의 측면에서 우수한 보간 방법임을 확인하였다.
따라서 본 논문에서는 이러한 LiDAR 정보의 성김으로 인한 모션 추정 실패 문제를 해결하기 위해 LiDAR 정보를 효과적으로 보간하기 위한 방법을 제안한다. 제안된 방법을 통해 카메라 계수의 오차나 영상 내 잡음 및 폐색에 영향을 받지 않는 3차원 지도를 생성하여 강인한 모션 추정 결과를 얻을 수 있다. 구체적으로 본 논문에서는 팽창 보간, 선택적 쌍선형 보간, 평면 보간으로 명명한 총 3가지 보간 방법을 소개하고 이들 방법을 간단한 실제 SLAM 알고리즘에 적용하여 선택적 쌍선형 보간 방법의 성능이 가장 우수함을 확인한다[13].
점 a, b, c 의 좌표를 모두 알고 있기 때문에 직선 ab, bc, ca의 식을 구할 수 있으며 t는 다음을 만족하여야 한다. 첫째, t는 직선 ab에 의해 나누어지는 두 영역 중에서 점 c가 속한 영역에 있어야 한다. 둘째, t는 직선 bc에 의해 나누어지는 두 영역 중에서 점 a가 속한 영역에 있어야 한다.

후속연구

그 결과 제안하는 선택적 쌍선형 보간의 결과가 SLAM에서 요구되는 실시간성과 정확도를 모두 만족하는 적합한 보간 방법임을 확인하였다. 이를 이용해 SLAM을 수행함에 있어 3차원 정보의 결여로 모션 추정에 실패하는 경우를 막을 수 있으며 정확한 결과를 얻을 수 있을 것으로 기대된다.
또한 단순히 거리 정보를 통해 보간의 여부를 결정하기 때문에 잘못된 보간이 수행되어 오차를 발생시키는 경우도 존재하였다. 향후 연구에서는 이러한 문제를 해결하기 위해 영상 정보를 융합하여 분할 기법등을 적용해 더욱 정확한 보간 영역을 선정할 필요성이 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	동시적 위치 추정 및 지도작성은 어떤 분야에서 연구되고 있는가?	로봇의 자율 주행을 위한 핵심 기술 중 하나인 동시적 위치 추정 및 지도작성(Simultaneous Localization and Mapping, SLAM)은 수년 전부터 컴퓨터 비전 및 로보틱스 분야에서 핵심 연구주제로서 연구되고 있다. SLAM 기술은 단순 GPS 정보보다 정확한 위치 추정이 가능하며 GPS 정보를 사용할 수 없는 실내, 우주, 심해 등에서도 자신의 위치를 추정할 수 있다는 큰 장점이 있다[1-3].
	SLAM 기술은 근래 어떤 분야에 적용이 시도되고있는가?	예를 들어 서비스 로봇의 실내 위치 추정을 위해 인공적인 마커를 이용하여 동작시킬 수 있으나[4] 이러한 방법은 실외 환경에서는 사용하기 어렵고 별도의 마커 설치가 필요하다는 문제점이 있는데 SLAM을 통해 실내외 환경에 구애받지 않고 동작하는 위치 추정이 가능하다는 장점이 있다. 이러한 SLAM 기술은 자율 주행 차, 실내 서비스 로봇, 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR) 등에 적용되고 있으며 최근 드론(drone)이라 불리는 무인항공기(Unmanned Aerial Vehicle, UAV)에도 적용이 시도되고 있는 추세이다[5,6].
	visual SLAM 에서 직접적 영상 기반 방법의 특징점 기반 방법에 반대한 장점은 무엇인가?	반면 직접적 영상 기반 방법은 영상에 존재하는 포토메트릭 오차를 최소화하는 방향으로 모션을 추정하며 대표적으로 LSD-SLAM[9]이 있다. 전통적으로 사용되던 특징점 기반 방법과 달리 직접적 영상 기반 방법은 상대적으로 최근에 제안되었으며 특징점 기반 방법이 가지는 대표적인 단점인 특징 의존성 문제를 해결할 수 있어 관련 연구가 활발히 진행 중에 있다[10,11]. 하지만 아직까지는 최신의 특징점 기반 방법의 성능을 넘어서지 못한 상태이며 이에 따라 특징점 기반 방법 역시 널리 사용되고 있으며 관련 연구 또한 활발히 진행 중에 있다[12].

참고문헌 (14)

R. Madhavan and E. Messina, "Iterative Registreation of 3D Lader Data for Autonomous Navigation," Proceedings of the IEEE Symposium on Intelligent Vehicles, pp. 156-191, 2003.
S. Thrun, W. Burgard, and D. Fox, Probabilistic Robotics, MIT Press, Cambridge, Massachusetts, 2005.
J.H. Kim, H.S. Kang, H.H. Jeon, and Y.H. Ko, "The Study on Robust Feature Selection and Management Techniques for Monocular Visual Odometry," Proceeding of Workshop on Image Processing and Image Understanding, pp. 366-369, 2016.
B.M. Ahn, Y.H. Ko, and J.H Lee, "Indoor Location and Pose Estimation Algorithm using Artificial Attached Marker," Journal of Korea Multimedia Society, Vol. 19, No. 2, pp. 240-251, 2016.

원문보기 상세보기
Y.W. Choi, K.D. Kim, J.W. Choi, and S.G. Lee, “Laser Image SLAM Based on Image Matching for Naviagation of a Mobile Robot,” Journal of Korean Society for Precision Engineering, Vol. 30, No. 2, pp. 177-184, 2013.

원문보기 상세보기
W.G. Aguilar, G.A. Rodriguez, L. Alvarez, S. Sandoval, F. Quisaguano, and A. Limaico, "Visual SLAM with a RGB-D Camera on a Quadrotor UAV Using on-Board Processing," Proceeding of International Work-Conference on Artificail Neural Networks, pp. 596-606, 2017.
G. Klein and D. Murray, "Parallel Tracking and Mapping for Small AR Workspace," Mixed and Augmented Reality, pp. 225-234, 2007.
A.J. Davison, I.D. Reid, N.D. Molton, and O. Stasse, “MonoSLAM: Real-time Single Camera SLAM,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 6, pp. 1052-1067, 2007.

상세보기
J. Engel, T. Schops, and D. Cremers, "LSD-SLAM: Large-scale Direct Monocular SLAM," Proceeding of European Conference on Computer Vision, pp. 834-849, 2014.
J. Engel, J. Stuckler, and D. Cremers, "Large-scale Direct SLAM with Stereo Cameras," Intelligent Robots and Systems, pp. 1935-1942, 2015.
J. Engel, V. Koltun, and D. Cremers, "Direct Sparse Odometry," http://arxiv.org/pdf/1607.02565.pdf, 2016.
A. Pumarola, A. Vakhitov, A. Agudo, A. Sanfeliu, and F. Moreno-Noguer, "PL-SLAM: Real-Time Monocular Visual SLAM with Points and Lines," Proceeding of International Conference on Robotics and Automation, pp. 4503-4508, 2017.
H.H. Jeon, J.H. Kim, and Y.H. Ko, "LiDAR Interpolation Algorithm for 3D-2D Frame to Frame Motion Estimation," Proceeding of the Spring Conference of the Korea Multimedia Society, pp. 690-693, 2017.
H.H. Jeon, J.H. Kim, T.W. Kim, and Y.H. Ko, "Robust Visual Odometry Using RAFSet Motion Estimation Method," Proceeding of Workshop on Image Processing and Image Understanding, pp. 198-201, 2017.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증