[논문]가상공간 생성을 위한 라이다와 스테레오 카메라 기반 포인트 클라우드 생성 방안

임요한; 정인혁; 이산성; 황성수

doi:10.9717/kmms.2021.24.11.1518

[국내논문] 가상공간 생성을 위한 라이다와 스테레오 카메라 기반 포인트 클라우드 생성 방안
Point Cloud Generation Method Based on Lidar and Stereo Camera for Creating Virtual Space 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.11, 2021년, pp.1518 - 1525

임요한 (School of Computer Science & Electrical Engineering, Handong Global University) , 정인혁 (School of Computer Science & Electrical Engineering, Handong Global University) , 이산성 (School of Computer Science & Electrical Engineering, Handong Global University) , 황성수 (School of Computer Science & Electrical Engineering, Handong Global University)

Abstract ▼ AI-Helper

Due to the growth of VR industry and rise of digital twin industry, the importance of implementing 3D data same as real space is increasing. However, the fact that it requires expertise personnel and huge amount of time is a problem. In this paper, we propose a system that generates point cloud data with same shape and color as a real space, just by scanning the space. The proposed system integrates 3D geometric information from lidar and color information from stereo camera into one point cloud. Since the number of 3D points generated by lidar is not enough to express a real space with good quality, some of the pixels of 2D image generated by camera are mapped to the correct 3D coordinate to increase the number of points. Additionally, to minimize the capacity, overlapping points are filtered out so that only one point exists in the same 3D coordinates. Finally, 6DoF pose information generated from lidar point cloud is replaced with the one generated from camera image to position the points to a more accurate place. Experimental results show that the proposed system easily and quickly generates point clouds very similar to the scanned space.

주제어

표/그림 (14)

그림 Fig. 1. System Block Diagram.
그림 Fig. 2. Flowchart for the point addition algorithm.
그림 Fig. 3. Scanning process.
그림 Fig. 4. Flowchart for the overlapping point filtering algorithm.
그림 Fig. 5. Device for scanning.
표 Table 1. Data saved from each sensor.
그림 Fig. 6. Result without pixel point addition algorithm.
그림 Fig. 8. Result using lidar 6DoF pose information.
그림 Fig. 10. Result without duplicate point removal algorithm.
그림 Fig. 7. Result with pixel point addition algorithm.
그림 Fig. 9. Result using camera 6DoF pose information.
그림 Fig. 11. Result with duplicate point removal algorithm.
표 Table 2. Comparison of capacity before and after algorithm application.
그림 Fig. 12. (a) study room, (b) study room scan result, (c) cafe, (d) cafe scan result, (e) octagon hall, and (f) octagon hall scan result.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 라이다 기반 SLAM에 스테레오 카메라를 융합해 가상공간을 생성하는 방안을 제안하였다. 고품질의 공간을 생성하기 위해 라이다의 비교적 정확한 위치정보, 스테레오 카메라의 색상 정보와 다수의 픽셀을 활용하여 라이다 기반 SLAM을 용도에 맞게 최적화했다.

제안 방법

1. ②에서는 3D 지도생성을 위해 로컬 좌표계의 포인트 클라우드를 월드 좌표계로 변환할 때, 라이다의 포즈값 대신 스테레오 카메라의 포즈값으로 대체한다. 이후 Fig.
본 논문에서는 라이다 기반 SLAM에 스테레오 카메라를 융합해 가상공간을 생성하는 방안을 제안하였다. 고품질의 공간을 생성하기 위해 라이다의 비교적 정확한 위치정보, 스테레오 카메라의 색상 정보와 다수의 픽셀을 활용하여 라이다 기반 SLAM을 용도에 맞게 최적화했다. 이 방식을 사용함으로써 실제 공간을 이용해 효율적으로 가상공간을 생성할 수 있다.
본 논문에서 제안한 기법들의 성능을 객관적으로 분석하기 위해서 각 기법을 적용하기 전과 후의 입력 데이터는 해당 기법의 적용 여부로 인한 결과 이외에는 동일해야 한다. 따라서 센서들로부터 생성되는 데이터를 모두 파일로 저장하고 기법 적용 전후 비교를 위한 결과물을 생성할 때 저장한 데이터들을 입력으로 생성할 수 있도록 시스템을 구현하였다.
1은 제안한 기법을 포함한 시스템의 블록도이다. 라이다로 생성한 포인트 클라우드와 스테레오 카메라의 좌측 렌즈 이미지를 두 센서의 위치 관계로 보정하여 색이 입혀진 포인트 클라우드를 생성한다. Fig.
따라서 포인트 클라우드의 밀도가 낮아 가상현실 콘텐츠로 적용하기에 적절하지 않다. 본 논문에서는 이를 보완하여 SLAM 기법을 활용하여 지도를 만들되, 스테레오 카메라를 이용해 색상 정보를 추가하고 포인트의 개수를 늘려 밀도가 높고, 시각적으로 개선된 3차원 가상지도 포인트 클라우드 생성 시스템을 제안한다.
실험은 특정 기법을 적용한 상태에서 파일들을 읽어 들여 결과물을 생성하고 적용하지 않은 상태에서 파일들을 읽어 들여 결과물을 생성하여 기법마다 두 개의 결과물을 생성하고 두 결과물을 비교하는 방식으로 진행하였다. Table 1은 각 센서로부터 저장한 데이터를 나타낸다.
본 논문에서 제안한 기법으로 기존 라이다로 생성한 포인트 대비 최대 9배 많은 포인트를 생성했다. 카메라의 포즈 정보를 이용하여 정확도를 개선하였다. 또한, 중복되는 점을 제거하여 생성되는 가상공간 데이터의 용량을 적용 전과 비교해 8% 줄였다.

성능/효과

11은 중복점 제거 기법을 적용했을 때의 결과물이다. 두 결과물을 육안으로 확인했을 때, 큰 차이를 확인할 수 없음으로 제거 대상이 아닌 포인트들은 제거되지 않음을 확인할 수 있다. 이어서 중복점 제거 기법으로 인해 생성된 두 결과물의 용량의 차이를 비교하였다.
1% 줄어든 것을 확인할 수 있다. 따라서 화질에는 큰 영향을 끼치지 않으면서 결과물의 용량을 효과적으로 줄일 수 있음을 알 수 있다.
카메라의 포즈 정보를 이용하여 정확도를 개선하였다. 또한, 중복되는 점을 제거하여 생성되는 가상공간 데이터의 용량을 적용 전과 비교해 8% 줄였다.
본 논문에서 제안한 기법으로 기존 라이다로 생성한 포인트 대비 최대 9배 많은 포인트를 생성했다. 카메라의 포즈 정보를 이용하여 정확도를 개선하였다.
9는 각각 라이다와 카메라가 제공해주는 6DoF 포즈 정보를 이용해 생성한 포인트 클라우드다. 스테레오 카메라의 정보를 사용한 결과의 정확도가 라이다의 정보를 사용했을 때보다 더 높음을육안으로 확인할 수 있다.
고품질의 공간을 생성하기 위해 라이다의 비교적 정확한 위치정보, 스테레오 카메라의 색상 정보와 다수의 픽셀을 활용하여 라이다 기반 SLAM을 용도에 맞게 최적화했다. 이 방식을 사용함으로써 실제 공간을 이용해 효율적으로 가상공간을 생성할 수 있다.
7은 픽셀 포인트 추가 기법 적용 전후를 비교한 이미지다. 적용 결과, 포인트 추가 기법을 적용하면 한 개의 점이 생성될 때 정사각형 모양으로 배치된 여러 개의 점이 한 번에 매핑되는 것을 확인할 수 있다. 이로 인해 포인트들이 매핑되지 않았던 검은 영역들이 상당수 메꿔졌음을 확인할 수 있다.
제안한 시스템을 이용해 장시간 스캔할 경우 누적되는 데이터가 증가함에 따라 시스템의 속도가 느려지고, 6DoF 정보의 오차가 발생했다. 따라서 누적되는 데이터를 최적화하여 시스템의 속도를 개선하는 연구가 수행되어야 한다.

후속연구

제안한 시스템을 이용해 장시간 스캔할 경우 누적되는 데이터가 증가함에 따라 시스템의 속도가 느려지고, 6DoF 정보의 오차가 발생했다. 따라서 누적되는 데이터를 최적화하여 시스템의 속도를 개선하는 연구가 수행되어야 한다.

참고문헌 (12)

Y.W. Kim, Concept of Digital Twin and Use Cases by Technology and Industry Sector, ICP Platform Society, 2021.
S.M. Lee, "Current status of VR regulation and direction for improvement -Focusing on VR content regulation-," Journal of Korea Broadcasting Corporation, Media Engineering Society, Vol. 24, No. 3, pp. 100-101, 2019.
Creating Me in Another World, VR Content Creator(2021), https://www.hani.co.kr/arti/soci ety/schooling/993388.html (accessed May 20, 2021).
Y.M. Lee and Y.D. Seo, "Vision-Based SLAM in Augmented/Mixed Reality," Journal of Korea Multimedia Society, Vol. 13, No. 3, pp. 12-20, 2009.
H.S. Kim, J.W. Kam, and S.S. Hwang, "An Evaluation System to Determine the Completeness of a Space Map Obtained by Visual SLAM," Journal of Korea Multimedia Society, Vol. 22, No. 4, pp. 417-423, 2019.

원문보기 상세보기
R. Mur-Artal, J.M.M. Montiel, and J.D. Tardos, "ORB-SLAM: a Versatile and Accurate Monocular SLAM System," IEEE Trans. Robot, Vol. 31, No. 5, pp. 1147-1163, 2015.

상세보기
Z. Ji, S. Sanjiv, LOAM: Lidar Odometry and Mapping in Real-Time, Carnegie Mellon University, 2014.
Y.C. Lee, S.H. Park, S.L Choi, and W.P. Yu, "3D-RGB Point Cloud Data Construction Method," Proceeding of the Summer Conference of the Institute of Electronics and Information Engineers, pp. 1059-1062, 2013.
Y.H. Shin and J.S. Min, "Fusion of Stereo Camera and Lidar for Dense Depth Map Acquisition," Proceeding of the Spring Conference of the Korean Society of Automotive Engineers, pp. 1424-1429, 2018.
K.J. Kim, B.S. Park, D.W. Kim, S.C. Kwon, and Y.H. Seo, "Real-Time 3D Volumetric Model Generation using Multiview RGB-D Camera," Journal of Broadcast Engineering, Vol. 25, No. 3, pp. 439-448, 2020.

원문보기 상세보기
C++ Reference of STL Set Container(n.d.), http://www.cplusplus.com/reference/set/set/ (accessed October 28, 2020).
The outline of OMO R1(n.d.), https://omoro bot.gitbook.io/manual/product/omo-r1 (accessed June 30, 2020).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증