[논문]단안 카메라와 저정밀 GPS-IMU 신호를 융합한 맵매칭 방법

김용균; 구형일; 강석원; 김준원; 김재관

doi:10.5762/kais.2018.19.4.34

단안 카메라와 저정밀 GPS-IMU 신호를 융합한 맵매칭 방법
High accuracy map matching method using monocular cameras and low-end GPS-IMU systems 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.19 no.4, 2018년, pp.34 - 40

김용균 (아주대학교 전자공학과) , 구형일 (아주대학교 전자공학과) , 강석원 (한화시스템) , 김준원 (한화시스템) , 김재관 (한화시스템)

초록
AI-Helper

본 논문에서는 단안 카메라와 비교적 오차가 큰 GPS-IMU 센서를 이용하여 이동체의 정확한 포즈를 예측하는 고정밀 맵매칭 방법을 제안한다. 제안하는 방법은 카메라로부터 입력 받은 영상을 딥뉴럴 네트워크를 이용하여 의미상으로 분할한 결과와 시맨틱 지도 정보를 비교함으로써 달성된다. 카메라로부터 입력 받은 주행 영상은 시맨틱 분할 알고리즘을 통해서 두 개의 클래스로 분할되며, 시맨틱 지도 정보와 가능한 레이블 페어에 대해 설정된 가중치에 따라 비교 정렬함으로써 현재 이동체의 정확한 포즈를 예측할 수 있도록 한다. 이 과정에서 비교적 오차가 큰 GPS-IMU 센서의 신호는 해 공간의 범위를 효과적으로 줄여준다. 본 논문은 비교적 저렴한 센서를 이용하여 증강현실 및 자율주행 등에 필요한 고정밀 맵매칭이 가능함을 보여준다. 보정 전후의 차량 경로를 지도에 비교 도시하고 시맨틱 지도를 현재 입력 영상에 오버레이 하여 제안한 방법의 효과를 입증하였다. 또한 non-open-sky 환경과 같은 GPS-IMU 수신이 어려운 환경에서도 성능 개선이 있음을 확인하였다.

Abstract ▼ AI-Helper

This paper presents a new method to estimate the pose of a moving object accurately using a monocular camera and a low-end GPS+IMU sensor system. For this goal, we adopted a deep neural network for the semantic segmentation of input images and compared the results with a semantic map of a neighborhood. In this map matching, we use weight tables to deal with label inconsistency effectively. Signals from a low-end GPS+IMU sensor system are used to limit search spaces and minimize the proposed function. For the evaluation, we added noise to the signals from a high-end GPS-IMU system. The results show that the pose can be recovered from the noisy signals. We also show that the proposed method is effective in handling non-open-sky situations.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 딥러닝 기반의 영상 분석 기술과 GPS-IMU 센서, 지도 정보를 사용한 고정밀 맵매칭 방법을 제안했다. 단안 카메라로부터 받은 차량의 전방 영상을 분석하여 도로와 배경에 해당하는 픽셀로 분류하였고, 영상 분석 결과와 지도 정보를 비교하여 정확한 포즈를 찾았다.
본 논문에서는 최근 다양한 영상 인식 문제에 성공적으로 적용되고 있는 딥러닝 기술을 이용하여 전방 영상에서 시맨틱 정보를 얻고 이를 비교적 오차가 큰 GPS-IMU 센서의 신호와 융합하여 지도에서의 이동체의 위치 추정 정확도를 높이는 방법을 제안한다. 구체적으로 제안하는 방법의 블록 다이어그램은 Fig.

제안 방법

실험을 위해서 KITTI tracking benchmark[4]에서 제공하는 주행 영상과 GPS-IMU 정보를 사용하였으며 지도 정보는 Air-Grounded-KITTI [5]에서 제공하는 정보를 사용하였다. KITTI 데이터 셋 취득에 고정밀GPS+IMU 센서가 사용되었으므로 이 값을 참값으로 보고 추가적인 잡음을 가해서 비교적 저가의 센서로부터 얻게 될 데이터를 생성했다. 구체적으로 위치 정밀도가 2m 이내, 방향(yaw) 정밀도가 1도 이내가 되도록 하였다.
논문은 현 이동체의 정확한 포즈를 유클리드 그룹인 SE(3)의 원소로 표현하고, 각 시간(t)에 이 값을 비교적 오차가 큰 GPS-IMU 센서가 제공하는 신호와 전방카메라를 통해 취득된 영상으로부터 추정하는 방법을 제안한다. 이를 위해 우선 포즈의 매개화 방법 및 기하학적 관계를 다룬다.
본 논문에서는 딥러닝 기반의 영상 분석 기술과 GPS-IMU 센서, 지도 정보를 사용한 고정밀 맵매칭 방법을 제안했다. 단안 카메라로부터 받은 차량의 전방 영상을 분석하여 도로와 배경에 해당하는 픽셀로 분류하였고, 영상 분석 결과와 지도 정보를 비교하여 정확한 포즈를 찾았다. 실험을 통해 제안하는 방법은 GPS-IMU 오차가 비교적 큰 상황에서 영상 정보를 사용하여 이를 효과적으로 보정할 수 있으며 다양한 분야에 적용될 수 있음을 확인하였다.
여기서 R(t)는 SO(3)의 원소로 시간 t 에서 센서의 3차원 회전 자세를 나타낸다. 본 논문에서는 RPY 각으로 R(t) 를 매개화한다. 구체적으로 RPY 각은 롤(roll,φ(t)), 피치(pitch,θ(t)), 요(yaw,ψ(t))로 이루어져있으며 R(t) 는
그림에서 볼 수 있듯이 제안하는 방법은 비교적 저렴한 GPS-IMU 센서를 사용하며 물체의 대략적인 포즈를 알 수 있지만 그 정확도는 상대적으로 높지 않다. 이 상황에서 CNN (convolutional neural network)을 사용하는 시맨틱 분할(semantic segmentation) 알고리즘을 카메라 영상에 적용하여 시맨틱 마스크를 얻고 [3], 이 마스크와 시맨틱 지도 정보를 비교하여 정확한 이동물의 포즈를 예측한다. 제안하는 방법의 효과를 입증하기 위해 알고리즘 적용 전/후의 차량 궤적을 지도에서 비교하였으며 GPS 정보의 오차가 큰 상황에서 제안하는 방법이 차량의 포즈의 예측 정확도를 높임을 확인하였다.
논문은 현 이동체의 정확한 포즈를 유클리드 그룹인 SE(3)의 원소로 표현하고, 각 시간(t)에 이 값을 비교적 오차가 큰 GPS-IMU 센서가 제공하는 신호와 전방카메라를 통해 취득된 영상으로부터 추정하는 방법을 제안한다. 이를 위해 우선 포즈의 매개화 방법 및 기하학적 관계를 다룬다.
4로 할당했다. 최적화는 GPS+IMU의 오차를 고려하여 가능한 모든 범위에서 그리디 서치를 진행한다. ( #)

대상 데이터

실험을 위해서 KITTI tracking benchmark[4]에서 제공하는 주행 영상과 GPS-IMU 정보를 사용하였으며 지도 정보는 Air-Grounded-KITTI [5]에서 제공하는 정보를 사용하였다. KITTI 데이터 셋 취득에 고정밀GPS+IMU 센서가 사용되었으므로 이 값을 참값으로 보고 추가적인 잡음을 가해서 비교적 저가의 센서로부터 얻게 될 데이터를 생성했다.

이론/모형

영상을 분석하기 위해서는 각 픽셀이 어떤 클래스에 속하는지 판단하는 시맨틱 분할(semantic segmentation) 알고리즘을 적용한다[3]. 이 알고리즘은 영상 정보를 VGG16 모델을 이용하여 인코딩하고 이 결과를 FCN(fully convolutional network)를 이용하여 디코딩하는 방식으로 동작하며 영상의 각 픽셀을 2개의 클래스(도로 픽셀, 도로 이외 픽셀)로 표현하고 있다.

성능/효과

그림에서 볼 수 있듯이 제안하는 방법은 비교적 저렴한 GPS-IMU 센서를 사용하며 물체의 대략적인 포즈를 알 수 있지만 그 정확도는 상대적으로 높지 않다. 이 상황에서 CNN (convolutional neural network)을 사용하는 시맨틱 분할(semantic segmentation) 알고리즘을 카메라 영상에 적용하여 시맨틱 마스크를 얻고 [3], 이 마스크와 시맨틱 지도 정보를 비교하여 정확한 이동물의 포즈를 예측한다.
3-(c)에 표현되어 있다. 그림에서 확인할 수 있듯이 제안하는 방법은 GPS+IMU센서의 오차를 효과적으로 줄이는 것을 알 수 있다. 특히, Fig.
단안 카메라로부터 받은 차량의 전방 영상을 분석하여 도로와 배경에 해당하는 픽셀로 분류하였고, 영상 분석 결과와 지도 정보를 비교하여 정확한 포즈를 찾았다. 실험을 통해 제안하는 방법은 GPS-IMU 오차가 비교적 큰 상황에서 영상 정보를 사용하여 이를 효과적으로 보정할 수 있으며 다양한 분야에 적용될 수 있음을 확인하였다.
5라는 값을 할당했다. 영상 분석 결과의 오검출과 미검출을 고려하여 시맨틱 지도의 클래스가 배경이고 영상 분석 결과에서는 도로인 경우에는 0.9,배경인 경우에는 0.4로 할당했다. 최적화는 GPS+IMU의 오차를 고려하여 가능한 모든 범위에서 그리디 서치를 진행한다.
4-(b)와 같이 도로 경계를 올바르게 정렬되는 것을 알 수 있다. 이는 제안하는 방법이 GPS+IMU 센서의 오차를 줄여 AR 관련 사용자에게 좀 더 나은 경험을 제공할 수 있음을 보여준다. Fig.
이 상황에서 CNN (convolutional neural network)을 사용하는 시맨틱 분할(semantic segmentation) 알고리즘을 카메라 영상에 적용하여 시맨틱 마스크를 얻고 [3], 이 마스크와 시맨틱 지도 정보를 비교하여 정확한 이동물의 포즈를 예측한다. 제안하는 방법의 효과를 입증하기 위해 알고리즘 적용 전/후의 차량 궤적을 지도에서 비교하였으며 GPS 정보의 오차가 큰 상황에서 제안하는 방법이 차량의 포즈의 예측 정확도를 높임을 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	GPS 를 기반으로 하는 방법과 LiDAR 센서를 이용하는 방식의 단점은?	하지만 이와 같이 고정밀 센서에 의존하는 방식은 높은 가격 때문에 일반적인 응용에 적용하기 어렵다는 문제점이 있다. 그 외에도 GPS 를 기반으로 하는 방법은 수신 상황에 따라 (Open-sky 환경이 아닌 경우) 통제할 수 없는 방식으로 오차가 증가할 수 있으며, LiDAR 센서를 이용하는 방식은 3차원 지도의 유지, 보수가 필요하다는 단점이 있다.
	GPS, IMU 등의 센서는 어떤 분야에 활용되는가?	GPS, IMU 등의 센서를 사용하여 측정된 신호를 바탕으로 현재 이동체(예, 차량, 로봇 등)의 정확한 포즈(위치, 방향)를 예측하는 방법의 개발은 자율 주행, AR경로 안내 등의 응용을 위해 꼭 필요하다. 현재 차량의 종방향, 횡방향 위치와 바라보는 방향에 대한 정확한 정보를 알고 있어야만 자율주행에 필요한 제어 신호를 생성할 수 있으며, 증강현실(Augmented Reality) 기반 네비게이션이나 원격 조정 같이 인간과의 인터랙션이 필요한 응용 분야에서도 이동체의 정확한 포즈 예측은 필수적이다.
	GPS, IMU 등의 센서가 자율주행 및 네비게이션에 필수적인 이유는?	GPS, IMU 등의 센서를 사용하여 측정된 신호를 바탕으로 현재 이동체(예, 차량, 로봇 등)의 정확한 포즈(위치, 방향)를 예측하는 방법의 개발은 자율 주행, AR경로 안내 등의 응용을 위해 꼭 필요하다. 현재 차량의 종방향, 횡방향 위치와 바라보는 방향에 대한 정확한 정보를 알고 있어야만 자율주행에 필요한 제어 신호를 생성할 수 있으며, 증강현실(Augmented Reality) 기반 네비게이션이나 원격 조정 같이 인간과의 인터랙션이 필요한 응용 분야에서도 이동체의 정확한 포즈 예측은 필수적이다. 일반적으로 이러한 고정밀 포즈 추정은 센서의 정확도를 높임으로써 달성되었다.

참고문헌 (5)

M. Limmer, J. Forster, D. Baudach, F. Schule, R. Schweiger and H. P. A. Lensch, "Robust Deep-Learning-Based Road-Prediction for Augmented Reality Navigation Systems at Night," 2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC), pp. 1888-1895, 2016. DOI: https://doi.org/10.1109/ITSC.2016.7795862
M. Szczot, M. Serfling, O. Lohlein, F. Schule, M. Konrad and K. Dietmayer, "Global positioning using a digital map and an imaging radar sensor," 2010 IEEE Intelligent Vehicles Symposium, pp. 406-411, 2010. DOI: https://doi.org/10.1109/IVS.2010.5548043
M. Teichmann, M. Weber, J. Zoellner, R. Cipolla and R. Urtasun, "MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving," arXiv preprint arXiv:1612.07695, 2016.
A. Geiger, P. Lenz and R. Urtasun, "Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite," 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3354-3361, 2012. DOI: https://doi.org/10.1109/CVPR.2012.6248074
G. Mattyus, S. Wang, S. Fidler and R. Urtasun, "HD Maps: Fine-grained Road Segmentation by Parsing Ground and Aerial Images," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3611-3619, 2016. DOI: https://doi.org/10.1109/CVPR.2016.393

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증