[논문]딥러닝 기반 영상 주행기록계와 단안 깊이 추정 및 기술을 위한 벤치마크

최혁두

doi:10.7746/jkros.2019.14.2.114

딥러닝 기반 영상 주행기록계와 단안 깊이 추정 및 기술을 위한 벤치마크
Benchmark for Deep Learning based Visual Odometry and Monocular Depth Estimation 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.14 no.2, 2019년, pp.114 - 121

최혁두 (Department of Electronics and Information Engineering)

Abstract ▼ AI-Helper

This paper presents a new benchmark system for visual odometry (VO) and monocular depth estimation (MDE). As deep learning has become a key technology in computer vision, many researchers are trying to apply deep learning to VO and MDE. Just a couple of years ago, they were independently studied in a supervised way, but now they are coupled and trained together in an unsupervised way. However, before designing fancy models and losses, we have to customize datasets to use them for training and testing. After training, the model has to be compared with the existing models, which is also a huge burden. The benchmark provides input dataset ready-to-use for VO and MDE research in 'tfrecords' format and output dataset that includes model checkpoints and inference results of the existing models. It also provides various tools for data formatting, training, and evaluation. In the experiments, the exsiting models were evaluated to verify their performances presented in the corresponding papers and we found that the evaluation result is inferior to the presented performances.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

SfmLearner[5]나 Geonet[7] 등의 기존 연구와의 차이점은 최신 버전의 텐서플로우에 적합하도록 소스 코드와 데이터 형식이 개선되었고, 여러 연구의 결과 데이터를 통일된 형식으로 제공하며, 기존 연구의 실질적인 성능을 평가할 수 있는 새로운 평가 지표를 통해 객관적인 비교 결과를 제공하는 것이다.
따라서 본 논문에서는 이와 관련된 연구를 촉진하고자 심층 신경망 모델의 학습과 평가를 편리하게 할 수 있는 데이터와 도구를 제공한다. 이를 통해 기존 모델의 성능을 누구나 객관적으로 비교할 수 있고 새로운 모델도 쉽게 학습시켜 기존연구들과 비교할 수 있게 된다.
본 논문에서는 학습기반 VO를 비교하여 평가할 수 있고 이를 바탕으로 새로운 모델을 쉽게 개발할 수 있는 VODE 벤치마크를 소개하였다. 벤치마크를 통해 기존 연구들의 성능을 검증하여 각 모델에 대한 객관적인 성능 지표를 제시하였다.
우선 자신의 위치와 방향, 즉 자세, 혹은 그 변화량을 인식해야 하고 주변 환경의 2차원 혹은 3차원 형태를 알 수 있어야 주행의 방향과 속도 등을 결정할 수 있다. 본 논문은 이와 관련된 연구를 촉진하는 데이터와 도구 등을 제안한다.
GeoNet^[7]에서는 VO나 MDE 외에 옵티컬 플로우(optical flow)까지 추정하도록 네트워크를 설계하였다. 본 연구에서는GeoNet을 기반으로 VO와 MDE 기술을 개발하고 평가할 수 있는 환경을 제공한다.

가설 설정

3. 모델 학습: 기존 모델이나 새로운 모델을 학습시킬 수 있다. 학습에는 1 단계에서 만든 ‘tfrecords’ 형식의 데이터를 사용한다.

제안 방법

넷째, 평가와 비교를 위한 결과 데이터셋을 제공한다. VO와 영상 깊이의 기준 값(ground truth)과 대표적인 최신 연구들의 위치 및 깊이 추정 결과를 통일된 형식으로 제공한다. 새로운 모델 개발 시에도 같은 형식으로 결과를 저장하게 된다.
각깊이 지도는 [128 × 412] 형식의 부동소수점 이미지이고 이를 깊이 차원으로 묶어서 총 697 장의 영상에 대한 깊이 지도를 비교한다.
깊이 지도 추정은 앞서 제시된 학습기반 모델에 대해서 성능을 비교한다. [Fig.
3]은 영상을 보고 각 모델이 예측한 깊이 지도이다. 깊이 추정에서도 마찬가지로 논문에서 제시하는 성능과 주어진 출력 데이터나 모델을 이용해 얻은 출력으로부터 계산한 성능들을 비교한다. 깊이 지도에 대한 성능 지표는[Table 1]에 제시되어 있다.
다섯째, 기존의 딥러닝 기반 VO 논문들이 발표한 성능을 확인하고 다른 지표를 통해 실제적인 성능을 검증한다.
본 논문에서는 학습기반 VO를 비교하여 평가할 수 있고 이를 바탕으로 새로운 모델을 쉽게 개발할 수 있는 VODE 벤치마크를 소개하였다. 벤치마크를 통해 기존 연구들의 성능을 검증하여 각 모델에 대한 객관적인 성능 지표를 제시하였다. 성능을 확인한 결과 학습기반 VO는 회전오차로 인해 자세 추정 오차가 경로가 길어질수록 크게 벌어진다는 것을 확인할 수 있었다.
정리된 데이터셋이라고 할지라도 수십만개의 파일로 구성되어 있기 때문에 데이터 이동 및 복사에 크게 불리하다. 본 연구에서는 이를 단지 몇 개의 tfrecords 형식으로 변환한 파일을 만들어 공개하였다. 대부분의 CNN을 응용한 연구가 텐서플로우 기반으로 개발되고 있기 때문에 텐서플로우 용 데이터 형식을 취하였고 다양한 타입과 크기의 데이터를 자유롭게 포함 할 수 있으며 하나의 파일에 다수의 학습 영상 데이터를 담을 수 있다.
비슷한 VO & MDE 연구들은[5-7] 연속된 5 프레임 단위로만 경로를 추정하고 5 프레임 경로의 오차들의 평균으로 전체 성능을 측정하였다.
VODE 벤치마크는 각 모델의 출력 데이터들로부터 VO와 MDE의 각종 성능 지표들을 계산하여 csv 파일로 출력한다. 여기서는 기존 논문들에서 발표한 성능뿐만 아니라 그들이 공개한 결과 값이나 모델을 직접 평가하여 나온 성능을 비교하여 실제적인 성능을 검증한다.
초기에는 DeepVO^[3]와 같이 자세 정보가 주어진 영상데이터셋을 기반으로 딥러닝의 지도학습을 이용한 방법이 제안되었다. 연속적인 자세를 학습하기 위해 CNN (ConvolutionalNeural Network)과 RNN (Recurrent Neural Network)을 결합하였으며데이터셋에 주어진 영상의 자세를 학습하였다. 하지만 외부에서 카메라의 자세를 정밀하게 측정하는 것은 고가의 장비가 필요하고 제한된 환경에서만 가능하므로 사용할 수 있는데이터셋이 한정되어 있다.
, 총 5개이다. 이 모델들은 모두 단안 카메라를 이용하기 때문에 실제 데이터를 이용한 이동 스케일보정 후 성능을 평가한다. 이중 ‘orb_short’, ‘orb_full’은 전문가 시스템기반 Visual SLAM인 ORB SLAM^[10]으로부터 나온 결과이다.
이를 정확히 비교하기 위해서는 전체 시퀀스에서 절대 경로 오차를 봐야 한다. 프레임사이의 상대 자세만 출력하는 학습기반 모델의 출력을 연결하여 전체 경로를 복원하였다. 복원된 경로의 오차를 [Table 3]에 정리하였다.

대상 데이터

학습에는 1 단계에서 만든 ‘tfrecords’ 형식의 데이터를 사용한다.

이론/모형

‘orb_short’은 5 프레임 단위로만 SLAM을 한 결과이고 ‘orb_full’은 전체 시퀀스에 대해서 SLAM을 한 결과이다. ORB SLAM의 결과는 Zhou 등의 연구^[5]에서 오픈소스로 공개한 결과를 사용한다. 나머지 3개의 모델은 학습기반 모델로서 최근 발표된 논문들 중 소스코드와 결과를 오픈소스로 공개한 연구들을 선택했다.
현재 영상의 특징점들을 키프레임(keyframe)의 특징점들과 매칭하여 키프레임의 3차원 점 좌표들로부터 현재 영상의 상대적인 자세를 계산한다. 이를 연결하여 SLAM의 전역위치인식을 수행하며이 과정에서 갱신한 3차원 점들의 좌표를 지역추적(local tracking)의 지역 지도(local map)으로 사용한다. 이후 ORB-SLAM2^[16]에서는 스테레오 영상을 이용하여 스케일 모호성(scale ambiguouty)를 제거하고 성능을 크게 향상 시켰다.

성능/효과

2. Tfrecords 준비: Tensorflow에서는 학습할 때 영상 파일과 관련 데이터를 하나씩 직접 읽어오는 것보다는 데이터셋을 하나의 ‘tfreocrds’ 파일로 저장하여 사용하는 것을 권장한다.
4개 모델의 경로를 검은 선으로 표시된 실제 경로(gt)와 비교했을 때 ‘geonet’의 성능이 가장 나쁘다는 것을 알 수 있다.
[Table 4]의 결과를 보면 ‘sfmlearner’나 ‘deepvofeat’의 결과는 논문의 성능과 재측정한 성능이 비슷한 것을 볼 수 있으나‘geonet’의 경우에는 차이가 있다. 논문의 결과는 ‘deepvofeat’과 비슷하지만 저자가 공유한 모델을 받아 직접 평가한 결과는 ‘sfmlearner’ 정도의 상대적으로 낮은 성능이 나온다. 따라서 ‘deepvofeat’의 성능이 더 낫다고 볼 수 있지만 ‘deepvofeat’의 경우 딥러닝 프레임워크로 caffe를 사용하고 모델이 지나치게 복잡하기 때문에 이를 변형하여 응용하는 것이 쉽지 않다.
모든 모델에서 프레임간격을 최대로 할 때 성능이 높고‘sfmlearner’에서는 주어진 출력보다 모델에서 직접 출력한 경로의 결과가 더 정확하다.
본 연구에서 소개하는 VODE (Visual Odometry and Depth Estimation) 벤치마크는 다양한 VO와 MDE 기술들의 성능을 비교할 수 있는 기능과 새로운 모델을 학습시킬 수 있는 기능이 있다. 벤치마크에서 제공하는 단계별기능은 다음과 같다.
벤치마크를 통해 기존 연구들의 성능을 검증하여 각 모델에 대한 객관적인 성능 지표를 제시하였다. 성능을 확인한 결과 학습기반 VO는 회전오차로 인해 자세 추정 오차가 경로가 길어질수록 크게 벌어진다는 것을 확인할 수 있었다. MDE에서는 SfmLearner와 DeepVOFeat 논문과 결과가 비슷하게 나왔지만 GeoNet의 경우 상당한 차이가 있었다.
첫째, 딥러닝 기반으로 영상 깊이 추정과 VO를 위한 새로운 모델을 쉽게 학습하고 평가할 수 있는 도구를 제공한다. KITTI 데이터셋을 분석하고 가공하는데 들이는 시간과 노력을 줄이고 새로운 모델을 개발하는데 집중할 수 있다.
학습 모델들은 대부분 5 프레임씩경로를 추론하므로 1~4 프레임간격으로 전체 경로를 복원할 수 있다. 표의 결과를 보면 프레임 간격이 클수록 오차가 줄어드는 것을 확인할 수 있다. 무엇보다도 ORB SLAM에 비해 성능 격차가 크다는 것을 확인할 수 있다.

후속연구

이 연구는 향후 학습 VO & MDE 연구를 함에 있어서 새로운 모델을 학습하고 검증하는데 필요한 데이터와 도구를 제공하므로 후속 연구자들은 모델의 설계에만 집중할 수 있다. 이를 바탕으로 학습기반 시스템의 장점을 살리면서 이미 발전되어 있는 전문가 시스템기반 VO의 정확도를 따라잡을 수 있는 모델을 연구할 것이다.
이 연구는 향후 학습 VO & MDE 연구를 함에 있어서 새로운 모델을 학습하고 검증하는데 필요한 데이터와 도구를 제공하므로 후속 연구자들은 모델의 설계에만 집중할 수 있다. 이를 바탕으로 학습기반 시스템의 장점을 살리면서 이미 발전되어 있는 전문가 시스템기반 VO의 정확도를 따라잡을 수 있는 모델을 연구할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	딥러닝의 개념은?	딥러닝은 높은 유연성을 갖는 학습 알고리즘으로 다양한 분야에 적용되고 있고[1] 충분한 양의 학습 데이터만 주어진다면 좋은 성능을 내곤 한다. 딥러닝을 영상에 적용할 때 특히 효과적인데 영상 분류와 영상 속 객체 검출, 영역 분할 등에서 큰 발전을 이루었다[2].
	딥러닝을 영상에 적용하여 발생하는 효과는?	딥러닝은 높은 유연성을 갖는 학습 알고리즘으로 다양한 분야에 적용되고 있고[1] 충분한 양의 학습 데이터만 주어진다면 좋은 성능을 내곤 한다. 딥러닝을 영상에 적용할 때 특히 효과적인데 영상 분류와 영상 속 객체 검출, 영역 분할 등에서 큰 발전을 이루었다[2]. 최근에는 이러한 영상의 의미 분석에만 그치지 않고 영상에서 기하학적인 정보를 추론하는 연구들이 발표되고 있다[3-7].
	영상 주행기록계 기술의 확보가 지능형 이동체 개발에 중요한 요소인 이유는?	VO는 이동하는 카메라의 상대적인 자세 변화량을 계산하여 오차가 누적되는 반면 Visual SLAM은 VO에서 전역지도구축과 전역 경로최적화 기능을 추가하여 오차 누적을 최소화한 기술이다. 그러나 Visual SLAM의 성능도 사실상 VO의 성능에 의해 좌우되기 때문에 정확한 VO 기술의 확보가 지능형 이동체 개발에 중요한 요소라고 할 수 있다.

참고문헌 (19)

L. Deng and D. Yu, "Deep Learning: Methods and Applications," Now Foundations and Trends, vol. 7, no. 3, pp. 197-387, 2014.
Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning," Nature, vol. 521, pp. 436-444, 2015.

상세보기
S. Wang, R. Clark, H. Wen, and N. Trigoni, "Deepvo: Towards end-to-end visual odometry with deep recurrent convolutional neural networks," 2017 IEEE International Conference on Robotics and Automation (ICRA), Singapore, pp. 2043-2050, 2017.
R. Li, S. Wang, Z. Long, and D. Gu, "Undeepvo: Monocular visual odometry through unsupervised deep learning," 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, QLD, Australia, pp. 7286-7291, 2018.
T. Zhou, M. Brown, N. Snavely, and D. G. Lowe, "Unsupervised learning of depth and ego-motion from video," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017, DOI: 10.1109/CVPR.2017.700.
H. Zhan, R. Garg, C. S. Weerasekera, K. Li, H. Agarwal, and I. M. Reid, "Unsupervised Learning of Monocular Depth Estimation and Visual Odometry with Deep Feature Reconstruction," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, pp. 340-349, 2018.
Z. Yin and J. Shi, "GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018, DOI: 10.1109/CVPR.2018.00212.
J. Fuentes-Pacheco, J. Ruiz-Ascencio, and J. M. Rendon-Mancha, "Visual simultaneous localization and mapping: a survey," Artificial Intelligence Review, vol. 43, no. 1, pp. 55-81, Jan., 2015.

상세보기
T. Taketomi, H. Uchiyama, and S. Ikeda, "Visual SLAM algorithms: a survey from 2010 to 2016," IPSJ Transactions on Computer Vision and Applications, vol. 9, no. 16, 2017, DOI: DOI 10.1186/s41074-017-0027-2.

상세보기
R. Mur-Artal, J. M. M. Montiel, and J. D. Tardos, "ORB-SLAM: a versatile and accurate monocular SLAM system," IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147-1163, Oct., 2015.

상세보기
J. Engel, T. Schops, and D. Cremers, "LSD-SLAM: Large-scale direct monocular SLAM," European Conference on Computer Vision, pp. 834-849, 2014.
R. Mahjourian, M. Wicke, and A. Angelova, "Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, pp. 5667-5675, 2018.
A. Saxena, S. H. Chung, and A. Y. Ng, "Learning depth from single monocular images," 18th International Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, pp. 1161-1168, 2005.
A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, "Vision meets robotics: The KITTI dataset," The International Journal of Robotics Research, vol. 32, no. 11, pp. 1231-1237, 2013.

상세보기
D. Eigen, C. Puhrsch, and R. Fergus, "Depth map prediction from a single image using a multi-scale deep network," arXiv: 1406.2283 [cs.CV], 2014..
R. Mur-Artal and J. D. Tardos, "Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras," IEEE Transactions on Robotics, vol. 33, no. 5, pp. 1255-1262, Oct., 2017.

상세보기
J. Engel, V. Koltun, and D. Cremers, "Direct sparse odometry," arXiv:1607.02565 [cs.CV], 2016.
J. Engel, J. Stuckler, and D. Cremers, "Large-scale direct SLAM with stereo cameras," 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, Germany, pp. 1935-1942, 2015.
J. Sturm, N. Engelhard, F. Endres, W. Burgard, and D. Cremers, "A benchmark for the evaluation of RGB-D SLAM systems," 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, Vilamoura, Portugal, pp. 573-580, 2012.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증