[논문]라이다 깊이 맵과 이미지를 사용한 자기 조직화 지도 기반의 고밀도 깊이 맵 생성 방법

최한솔; 이종석; 심동규

doi:10.5909/jbe.2021.26.3.283

라이다 깊이 맵과 이미지를 사용한 자기 조직화 지도 기반의 고밀도 깊이 맵 생성 방법
Dense-Depth Map Estimation with LiDAR Depth Map and Optical Images based on Self-Organizing Map 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.3, 2021년, pp.283 - 295

최한솔 (광운대학교 컴퓨터공학과) , 이종석 (광운대학교 컴퓨터공학과) , 심동규 (광운대학교 컴퓨터공학과)

초록
AI-Helper

본 논문은 자기 조직화 지도 기법을 기반으로 라이다 기반으로 생성된 깊이 맵과 컬러 이미지의 정보를 기반으로 고밀도 깊이 맵을 생성하는 방법을 제안한다. 제안하는 깊이 맵 업샘플링 방법은 라이다에서 취득되지 않은 공간에 대한 초기 깊이 예측 단계와 초기 깊이 필터링 단계로 구성된다. 초기 깊이 예측 단계에서는 두 장의 컬러 이미지에 대해 스테레오 매칭을 수행하여 초기 깊이 값을 예측한다. 깊이 맵 필터링 단계에서는 예측된 초기 깊이 값의 오차를 감소시키고자 예측 깊이 픽셀에 대하여 주변의 실측 깊이 값을 이용하여 자기 조직화 지도 기법을 수행한다. 자기 조직화 기법 수행 시 예측 깊이 픽셀과 실측 깊이 픽셀의 거리와, 각 픽셀에 대응되는 컬러 값의 차이에 따라 가중치를 결정한다. 본 논문에서는 성능 비교를 위하여 깊이 맵 업샘플링 방법으로 널리 사용되고 있는 양방향 필터 및 k-최근접 이웃 알고리즘과 비교를 진행하였다. 제안하는 방법은 양방향 필터 방법 및 k-최근접 이웃 알고리즘 대비 MAE 관점에서 각각 약 6.4%, 8.6%이 감소하였고 RMSE 관점에서 각각 약 10.8%, 14.3%이 감소하였다.

Abstract ▼ AI-Helper

This paper proposes a method for generating dense depth map using information of color images and depth map generated based on lidar based on self-organizing map. The proposed depth map upsampling method consists of an initial depth prediction step for an area that has not been acquired from LiDAR and an initial depth filtering step. In the initial depth prediction step, stereo matching is performed on two color images to predict an initial depth value. In the depth map filtering step, in order to reduce the error of the predicted initial depth value, a self-organizing map technique is performed on the predicted depth pixel by using the measured depth pixel around the predicted depth pixel. In the process of self-organization map, a weight is determined according to a difference between a distance between a predicted depth pixel and an measured depth pixel and a color value corresponding to each pixel. In this paper, we compared the proposed method with the bilateral filter and k-nearest neighbor widely used as a depth map upsampling method for performance comparison. Compared to the bilateral filter and the k-nearest neighbor, the proposed method reduced by about 6.4% and 8.6% in terms of MAE, and about 10.8% and 14.3% in terms of RMSE.

주제어

표/그림 (16)

그림 그림 1. 라이다 취득 기하 정보를 카메라 이미지 평면으로 투영하여 이미지 평면 상의 좌표를 유도하는 방법 Fig. 1. The process of deriving coordinates on the image plane by projecting the LiDAR acquisition geometric information onto the camera image plane
그림 그림 2. (a) 라이다와 동일한 공간을 취득한 컬러 이미지, (b) 라이다 취득 포인트 클라우드, (c) 희소한 깊이 맵 Fig. 2. (a) Color image that acquires the same space as the LiDAR, (b) Lidar acquisition point cloud, (c) Sparse depth map
그림 그림 3. 라이다 깊이맵의 지역적 특성 Fig. 3. Regional characteristics of the lidar depth map
그림 그림 4. 제안하는 방법의 구조도 Fig. 4. Diagram of the proposed method
그림 그림 5. 스테레오 이미지 취득 과정 Fig. 5. Stereo image acquisition process
그림 그림 6. (a) 초기 조밀한 깊이 맵(D_dense)에서 임의의 실측 깊이 픽셀 및 필터링 윈도우, (b) 좌측 컬러 이미지(I_Left)에서 대응되는 픽셀 및 윈도우 Fig. 6. (a) Arbitrary measured depth pixel, filtering window in the initial dense depth map (D_dense), (b) Corresponding pixels and windows in the left color image (I_Left)
그림 그림 7. KITTI 데이터 셋 예시 Fig. 7. Example of KITTI datasets
표 표 1. 성능 평가를 위한 KITTI 데이터 셋의 시퀀스 목록 Table 1. Sequence list of KITTI data set for performance evaluation
그림 그림 8. "2011_09_26_drive_0013_sync_groundtruth_depth_0000000014_image_02" 프레임의 주관적 실험 결과 비교 Fig. 8. Comparison of subjective experiment results of "2011_09_26_drive_0013_sync_groundtruth_depth_0000000014_image_02" frame
표 표 2. 제안하는 방법과 기존 방법들의 MAE, RMSE 측면에서의 깊이 예측 성능 비교 Table 2. Comparison of depth prediction performance in terms of MAE and RMSE between the proposed method and the existing methods
표 표 3. 기존 방법들 대비 제안하는 방법의 깊이 예측 오차 감소율 Table 3. Depth prediction error reduction rate of the proposed method compared to existing methods
그림 그림 9. "2011_09_26_drive_0023_sync_groundtruth_depth_0000000260_image_02" 프레임의 주관적 실험 결과 비교 Fig. 9. Comparison of subjective experiment results of "2011_09_26_drive_0023_sync_groundtruth_depth_0000000260_image_02" frame
표 표 4. City 카테고리 시퀀스에 대한 기존 방법과 제안하는 방법의 MAE, RMSE 비교 Table 4. Comparison of MAE and RMSE between the existing method and the proposed method for the City category sequence
표 표 5. Residential 카테고리 시퀀스에 대한 기존 방법과 제안하는 방법의 MAE, RMSE 비교 Table 5. Comparison of MAE and RMSE between the existing method and the proposed method for the Residential category sequence
표 표 6. Road 카테고리 시퀀스에 대한 기존 방법과 제안하는 방법의 MAE, RMSE 비교 Table 6. Comparison of MAE and RMSE between the existing method and the proposed method for the Road category sequence
표 표 7. Campus 카테고리 시퀀스에 대한 기존 방법과 제안하는 방법의 MAE, RMSE 비교 Table 7. Comparison of MAE and RMSE between the existing method and the proposed method for the Campus category sequence

참고문헌 (20)

L. Wang, M. Liao, M. Gong, R. Yang, and D. Nister, "High-quality real-time stereo using adaptive cost aggregation and dynamic programming," Third International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT'06), Chapel Hill, NC, USA, 14-16 June 2006.
Q. Yang, L. Wang, R. Yang, H. Stewe'nius, and D. Niste'r, "Stereo matching with color-weighted correlation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no.3, pp. 492 - 504, Apr. 2008.
K.-J. Yoon and I. S. Kweon, "Adaptive support-weight approach for correspondence search," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 4, pp. 650 - 656, Apr. 2006.

상세보기
J. L. Schonberger and J.-M. Frahm, "Structure-from-motion revisited," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27-30 June. 2016.
S. B. Imandoust and M. Bolandraftar, "Application of K-Nearest Neighbor (KNN) Approach for Predicting Economic Events: Theoretical Background," International Journal of Engineering Research and Applications, vol. 3, no. 5, pp. 605-610, Sep. 2013.
WG 07 MPEG 3D Graphics coding, "Text of ISO/IEC FDIS 23090-9 Geometry-based Point Cloud Compression," ISO/IEC JTC1/SC29/WG07 N00004, Online, Oct. 2020
C. Premebida, L. Garrote, A. Asvadi, A. P. Ribeiro, and U. Nunes, "High-resolution LIDAR-based Depth Mapping using Bilateral Filter," 2016 IEEE 19th international conference on intelligent transportation systems (ITSC). IEEE, Rio de Janeiro, Brazil, 1-4 Nov. 2016.
A. Hirata, R. Ishikawa, M. Roxas, and T. Oishi, "Real-Time Dense Depth Estimation Using Semantically-Guided LIDAR Data Propagation and Motion Stereo," IEEE Robotics and Automation Letters, vol. 4, no. 4, pp. 3806-3811, Oct. 2019.

상세보기
N. Schneider, L. Schneider, P. Pinggera, U. Franke, M. Pollefeys, and C. Stiller, "Semantically Guided Depth Upsampling," German Conference on Pattern Recognition 2016, Hannover, Germany, 12-15 Sep. 2016.
C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," Sixth International Conference on Computer Vision, Bombay, India, India, 7-7 Jan. 1998.
T. Kohonen, "The Self-organizing Map," Proceedings of the IEEE, vol. 78, no. 9, pp. 1464-1480, Sep. 2009.
G. Bradski and A. Kaehler, Learning OpenCV: Computer vision with the OpenCV library, O'Reilly Media, Inc., 2008.
H. Hirschmuller, "Stereo Processing by Semi-Global Matching and Mutual Information," IEEE Transactions on pattern analysis and machine intelligence, vol. 30, no. 2, pp. 328-341, Feb. 2008.

상세보기
A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, "Vision meets robotics:The kitti dataset," The International Journal of Robotics Research, vol. 32, no. 11, pp. 1231-1237, Aug. 2013.

상세보기
J. Jung, Y. S. Ho, "Depth Map Up-sampling Using Maximum Gradient of Color Image", The Korean Society Of Broad Engineers, pp. 29-30, Nov. 2012.
S. Hong, Y. S. Ho, "Depth Upsampling Method Using Total Generalized Variation," JBE Vol. 21, No. 6, Nov. 2016.
Y. Ko, H. C. Moon, H. H. Kim, J. G. Kim, "Single-Image Depth Estimation Based on CNN Using Edge Map," The Korean Society Of Broad Engineers, pp. 573-574, Jul. 2020.
W. Lee, J. Lee, D. Sim, S. Oh, "A Deep Learning based Inter-Layer Reference Picture Generation Method for Improving SHVC Coding Performance," pp. 401-410, JBE Vol. 24, No. 3, May. 2019.
J. Park, J. Lee, S. Park, D. Sim, "Super Resolution Using Gradient-SR," The Korean Society Of Broad Engineers, pp. 198-199, Jul. 2018
T. Hui, C. Loy, and X. Tang. "Depth map super-resolution by deep multi-scale guidance," European conference on computer vision, pp. 353-369, Oct. 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증