[논문]GPS와 단안카메라, HD Map을 이용한 도심 도로상에서의 위치측정 및 맵핑 정확도 향상 방안

김영훈; 김재명; 김기창; 최윤수

doi:10.7780/kjrs.2021.37.5.1.21

GPS와 단안카메라, HD Map을 이용한 도심 도로상에서의 위치측정 및 맵핑 정확도 향상 방안
Method to Improve Localization and Mapping Accuracy on the Urban Road Using GPS, Monocular Camera and HD Map 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.37 no.5 pt.1, 2021년, pp.1095 - 1109

김영훈 (서울시립대학교 공간정보공학과) , 김재명 (서경대학교 도시공학과) , 김기창 (서울시립대학교 공간정보공학과) , 최윤수 (서울시립대학교 공간정보공학과)

초록
AI-Helper

안전한 자율주행을 위해 정확한 자기위치 측위와 주변지도 생성은 무엇보다 중요하다. 고가의 고정밀위성항법시스템(Global Positioning System, GPS), 관성측정장치(Inertial Measurement Unit, IMU), 라이다(Light Detection And Ranging, LiDAR), 레이더(Radio Detection And Ranging, RADAR), 주행거리측정계(Wheel odometry) 등의 많은 센서를 조합하여 워크스테이션급의 PC장비를 사용하여 센서데이터를 처리하면, cm급의 정밀한 자기위치 계산 및 주변지도 생성이 가능하다. 하지만 과도한 데이터 정합비용과 경제성 부족으로 고가의 장비 조합은 자율주행의 대중화에 걸림돌이 되고 있다. 본 논문에서는 기존 단안카메라를 사용하는 Monocular Visual SLAM을 발전시켜 RTK가 지원되는 GPS를 센서 융합하여 정확성과 경제성을 동시에 확보하였다. 또한 HD Map을 활용하여 오차를 보정하고 임베디드 PC장비에 포팅하여 도심 도로상에서 RMSE 33.7 cm의 위치 추정 및 주변지도를 생성할 수 있었다. 본 연구에서 제안한 방법으로 안전하고 저렴한 자율주행 시스템 개발과 정확한 정밀도로지도 생성이 가능할 것으로 기대한다.

Abstract ▼ AI-Helper

The technology used to recognize the location and surroundings of autonomous vehicles is called SLAM. SLAM standsfor Simultaneously Localization and Mapping and hasrecently been actively utilized in research on autonomous vehicles,starting with robotic research. Expensive GPS, INS, LiDAR, RADAR, and Wheel Odometry allow precise magnetic positioning and mapping in centimeters. However, if it can secure similar accuracy as using cheaper Cameras and GPS data, it will contribute to advancing the era of autonomous driving. In this paper, we present a method for converging monocular camera with RTK-enabled GPS data to perform RMSE 33.7 cm localization and mapping on the urban road.

주제어

표/그림 (22)

표 Table 1. Camera Sensor Specification
표 Table 2. GPS Sensor Specification
그림 Fig. 1. Comparison of RTK Rock, RTK Flow, No RTK Mode.
그림 Fig. 2. Advanced SLAM Structure.
그림 Fig. 3. GPS data transformation from Polar coordinate to Cartesian coordinate system.
그림 Fig. 4. Axis representation of Camera sensor and GPS sensor.
그림 Fig. 5. Axis angle representation for Rodrigues rotation matrix calculation.
그림 Fig. 6. Optimization using Bundle Adjustment and Constraints.
표 Table 3. New object coordinate error before (left) and after (right) removal of bias error
그림 Fig. 7. Distribution of coordinate values and survey values of objects calculated as a result of SLAM (a) XYZ 3D Space, (b) ZY Plane, (c) XY Plane, (d) XZ Plane (traffic light coordinates are calculated using a dataset that has driven a total of 21 roads in 3 lanes, 7 times in 1 lane, 8 times in 2 lane, 6 times in 3 lane). ● Ground Truth ● Calculated traffic light coordinates ● Average
그림 Fig. 8. Test section and new objects near Dongtan Station and Dongtan Chidongcheon-ro.
그림 Fig. 9. (a) New-left traffic light, old-U turn ①, (b) New-left traffic light, old-right traffic light ②, (c) New-U turn, old-speed limit sign ③, (d) New-left traffic light, old- U-turn ④, (e) New-U turn, Old-left traffic light ⑤.
그림 Fig. 10. (a)(b)(c)(d)(e) SLAM Results (Map Points, Trajectory), (f)(g)(h) Camera images used in slam.
표 Table 4. Finding the bias of an existing U-turn object
표 Table 5. ①번 Left traffic light final coordinates and Error after removing the bias of the existing object
표 Table 6. ① Left traffic light 8 times driving data SLAM result 0.191 m error
표 Table 7. ② Left traffic light 8 times driving data SLAM result 0.177 m error
표 Table 8. ③ U-turn 8 times driving data SLAM result 0.146 m error
표 Table 9. ④ Left traffic light 8 times driving data SLAM result 0.109 m error
표 Table 10. ⑤ U-turn 8 times driving data SLAM result 0.074 m error
그림 Fig. 11. (a) ①Traffic light SLAM final result, (b) ②Traffic light SLAM final result, (c) ③U-turn SLAM final result, (d) ④Traffic light SLAM final result, (e) ⑤Traffic light SLAM final result, (f) New object 8 times driving data SLAM average final result.
표 Table 11. 95% confidence interval absolute accuracy based on location accuracy of point cloud data

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 단안카메라, GPS 센서와 HD Map을 이용하여 SLAM의 성능을 개선하는 방법론에 대해 알아보았다. 단안카메라는 단순한 구조와 저렴한 가격으로 그 동안 자율주행 뿐만 아니라 로봇 연구에서 입력센서로써 많이 활용이 되어 왔다.

제안 방법

Fig. 3과 같이 Geographic Library의 LocalCartesian 클래스를 사용하여 위도, 경도 및 고도 형식의 극좌표계 데이터를 데카르트 좌표계 형식으로 변환하였다.
GPS 위치정보를 번들조정의 고정값으로 사용하여 카메라 자세값뿐만 아니라 맵포인트의 정확도도 함께 최적화되어 위치 오차를 보정하였다. 이것은 SFM (Structure From Motion) 기술에서 GCP(Ground Control Point)를 고정값으로 설정하여 점군(Point Cloud)를 최적화하는 원리와 같다.
HD Map에 정확한 기존 객체의 공간좌표를 알고 있으므로 최적화 후 SLAM에서 계산된 좌표와 HD Map에 미리 측량하여 저장된 정확한 공간 좌표를 비교하여 ΔX, ΔY, ΔZ를 구하였다
그리고 SLAM 번들 조정 최적화 결과 맵포인트의 좌표가 특정한 편향오차(Bias error) 를 가진다는 것을 확인하였다. 이를 제거하기 위하여 신규 객체의 주변 기존 객체의 HD Map 좌표 정보를 이용하여 편향오차를 구한 후 맵포인트에서 제거하여 정확도를 높였다. 그 결과 평균오차 0.
알고리즘 검증의 신뢰성을 높이기 위해 테스트 구간을 총 8회 주행하였다. 주행한 이미지와 GPS, 딥러닝 객체 검출 데이터 셋을 사용하여 1회 주행 시 새로운 객체를 인식한 시점부터 200장의 이전 프레임부터 SLAM을 수행하고 최적화를 진행하였다.

대상 데이터

본 연구의 성과로 개발된 개선된 알고리즘의 성능을 검증하기 위해 총 거리 2.3 km인 동탄 치동천로와 동탄역 인근을 테스트 구간으로 선정하였다. SLAM의 특성상 최적화 이후의 카메라 자세 값과 맵포인트의 정확도는 함께 상승하게 된다.
편향오차(Bias error)를 계산하기 위해 기존 객체 정보를 신규객체와 함께 선택하였다. 신규객체 주변에 여러 개의 기존객체가 존재하면 신규객체와 가장 거리가 가까운 객체를 기존객체로 선정하였다. 알고리즘 검증의 신뢰성을 높이기 위해 테스트 구간을 총 8회 주행하였다.
카메라는 글로벌 셔터(Global Shutter)를 지원하는 비전용 카메라를 사용하였다. 글로벌 셔터는 이미지 전체를 동 시간대에 CMOS 센서를 통해 저장을 하므로 이미지 밀림 현상이 없다.

데이터처리

맵포인트는 카메라 자세 값을 기준으로 생성된 포인트의 정확도를 나타낸다. 알고리즘의 향상된 성능을 확인하기 위해 맵포인트의 좌표를 계산하여 토털스테이션과 같은 측량기구로 정밀 측량한 참값(Ground Truth)과 비교를 하였다. Fig.
테스트 구간에 5개의 검증용 신규객체가 존재하므로 총 8회 주행데이터에서 SLAM 결과를 산출하기 위해 총 40회 SLAM을 실행하였다. Fig.
편향오차(Bias error)를 계산하기 위해 기존 객체 정보를 신규객체와 함께 선택하였다. 신규객체 주변에 여러 개의 기존객체가 존재하면 신규객체와 가장 거리가 가까운 객체를 기존객체로 선정하였다.

이론/모형

SLAM 수행 이후 SLAM 내부에서 계산된 카메라 자세 값과 맵포인트를 실세계에서 사용하기 위해서는 SLAM 좌표계를 실세계 좌표계인 GPS 데카르트 좌표계(WGS84 UTM52N)로 변환하여야 한다. GPS 극좌표 데이터를 데카르트 좌표계로 변환한 이후에 데카르트 좌표계는 오른손 법칙에 의해 표현된다. X는 전방, Y는 좌측, Z는 상향을 나타낸다.
GPS는 RTK를 지원하는 ublox사의 zed-f9 모델을 사용하였다. 정지상태일 때 최대 1 cm의 오차를 보일 정도로 매우 정밀한 위치정보를 제공하지만, 이동 상태일 때 는 RTK Rock상태 기준으로 10~50 cm 정도의 정확도를 나타내었다.
g2o와 ceres solver는 모두 그래프 기반 비선형 최적화 알고리즘의 구현 라이브러리이다. 본 연구에서는 g2o를 사용하였다. SLAM에서의 번들 조정은 특정한 제약조건을 기반으로 최적의 카메라 자세 값과 맵포인트 위치를 찾아낸다.
② ‘초기화(Initialization) 모듈’에서는 카메라와 GPS 센서로부터 수신한 데이터를 이용하여 SLAM의 초기화를 진행하였다. 최초 프레임과 다음 프레임을 이용하여 에피폴라 기하학에 따라 삼각측량기법을 적용하여 카메라 자세와 특징점의 공간좌표인 맵포인트를 생성 하였다. 초기화 진행을 위한 두 프레임 사이의 매치되는 특징점의 최소 개수를 100개로 정의하였다.
회전행렬은 첫번째 프레임의 GPS위치 벡터와 SLAM 위치 벡터 사이의 회전을 나타내는 행렬로써 로드리게스 회전 공식(Rodriguesrotation formula)을 사용하여 계산하였다. 회전행렬은 벡터 v에 대해 GPS 위치 벡터(vGPS) 를 각도 θ만큼 시계 방향으로 회전한다.

성능/효과

이를 제거하기 위하여 신규 객체의 주변 기존 객체의 HD Map 좌표 정보를 이용하여 편향오차를 구한 후 맵포인트에서 제거하여 정확도를 높였다. 그 결과 평균오차 0.139 m 를 확인하였고 95% 신뢰구간 절대 정확도에서 RMSE 33.7 cm 의 높은 정확도를 가진 개선된 SLAM 알고리즘을 구현하였다. 본 연구결과는 자율주행 뿐만 아니라 HD Map 생성, 갱신에도 활용될 수 있다.
이러한 문제점을 RTK가 적용된 GPS정보 를Visual SLAM 에 융합하여 극복하였다. 그리고 SLAM 번들 조정 최적화 결과 맵포인트의 좌표가 특정한 편향오차(Bias error) 를 가진다는 것을 확인하였다. 이를 제거하기 위하여 신규 객체의 주변 기존 객체의 HD Map 좌표 정보를 이용하여 편향오차를 구한 후 맵포인트에서 제거하여 정확도를 높였다.
하지만 스케일 모호성, 스케일 표류, 순수 회전처리 실패와 같은 단점과 역광, 그림자, 야간 같은 빛의 변화에 민감하다는 특성 때문에 안정적이고 정밀한 SLAM의 수행에 어려움이 있었다. 이러한 문제점을 RTK가 적용된 GPS정보 를Visual SLAM 에 융합하여 극복하였다. 그리고 SLAM 번들 조정 최적화 결과 맵포인트의 좌표가 특정한 편향오차(Bias error) 를 가진다는 것을 확인하였다.
단안카메라는 단순한 구조와 저렴한 가격으로 그 동안 자율주행 뿐만 아니라 로봇 연구에서 입력센서로써 많이 활용이 되어 왔다. 하지만 스케일 모호성, 스케일 표류, 순수 회전처리 실패와 같은 단점과 역광, 그림자, 야간 같은 빛의 변화에 민감하다는 특성 때문에 안정적이고 정밀한 SLAM의 수행에 어려움이 있었다. 이러한 문제점을 RTK가 적용된 GPS정보 를Visual SLAM 에 융합하여 극복하였다.

후속연구

또 하나의 센서로 주목받는 HD Map은 기존 센서의 한계를 극복하고 안전한 자율주행을 가능하도록 하는 지능형 교통체계의 핵심 인프라 기술이다. GPS 센서 융합으로 Monocular Visual SLAM의 문제점을 해결하였지만 GPS의 특성상 지하, 터널, 고층 건물이 많은 도심과 같은 음영구역에서는 높은 정확도를 유지하기 어렵다는 것은 본 연구의 한계점이다. 그리고 편향오차가 0.
7 cm 의 높은 정확도를 가진 개선된 SLAM 알고리즘을 구현하였다. 본 연구결과는 자율주행 뿐만 아니라 HD Map 생성, 갱신에도 활용될 수 있다. 또 하나의 센서로 주목받는 HD Map은 기존 센서의 한계를 극복하고 안전한 자율주행을 가능하도록 하는 지능형 교통체계의 핵심 인프라 기술이다.
864 m로 큰 값을 보였다는 점도 한계점으로 지적할 수 있다. 이러한 한계점을 극복하기 위해 향후 IMU 센서와 Stereo Camera를 추가로 적용하여 GPS 센서 데이터 수신이 어려운 터널, 지하도로, 고층 건물이 많은 도심 공간에서도 안정적으로 위치측정과 맵핑을 수행할 수 있는 SLAM에 대한 연구를 진행할 것 이다.

참고문헌 (18)

Davison, A.J., I.D. Reid, N.D. Molton, and O. Stasse, 2007. MonoSLAM: Real-time single camera SLAM, IEEE Transactions on Pattern Analysis and Machine Intelligence, 29(6): 1052-1067.

상세보기
Eade, E. and T. Drummond, 2006. Scalable monocular SLAM, Proc. of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR '06), New York, NY, USA, Jun. 17-22, vol. 1, pp. 469-476.
Filipenko, M. and I. Afanasyev, 2018. Comparison of various slam systems for mobile robot in an indoor environment, Proc. of 2018 International Conference on Intelligent Systems (IS), Funchal, PT, Sep. 25-27, pp. 400-407.
He, K., G. Gkioxari, P. Dollar, and R. Girshick, 2017. Mask r-cnn. Proc. of the IEEE international conference on computer vision Venice, IT, Oct. 22-29, pp. 2961-2969.
Ho, K.L. and P. Newman, 2007. Detecting loop closure with scene sequences, International Journal of Computer Vision, 74(3): 261-286.

상세보기
Klein, G. and D. Murray, 2009. Parallel tracking and mapping on a camera phone, Proc. of 2009 8th IEEE International Symposium on Mixed and Augmented Reality, Orlando, FL, Oct. 19-22, pp. 83-86.
Mur-Artal, R. and J.D. Tardos, 2017. Orb-slam2: An opensource slam system for monocular, stereo, and rgb-d cameras, IEEE Transactions on Robotics, 33(5): 1255-1262.

상세보기
Pirchheim, C., D. Schmalstieg, and G. Reitmayr, 2013. Handling pure camera rotation in keyframe-based SLAM, Proc. of IEEE international symposium on mixed and augmented reality (ISMAR), Adelaide, SA, AU, Oct. 1-4, pp. 229-238.
Qin, T., P. Li, and S. Shen, 2018. Vins-mono: A robust and versatile monocular visual-inertial state estimator, IEEE Transactions on Robotics, 34(4): 1004-1020.

상세보기
Qi, Y., Y. Zhou, Z. Pan, L. Liu, and J. Shi, 2021. Crowd-Sensing Assisted Vehicular Distributed Computing for HD Map Update, Proc. of 2021- IEEE International Conference on Communications, Virtual, Montreal, CA, Jun. 14-23, pp. 1-6.
Rublee, E., V. Rabaud, K. Konolige, and G. Bradski, 2011. ORB: An efficient alternative to SIFT or SURF, Proc. of International conference on computer vision, Barcelona, ES, Nov. 6-13, pp. 2564-2571.
Strasdat, H., J. Montiel, and A.J. Davison, 2010. Scale drift-aware large scale monocular SLAM, Robotics: Science and Systems VI, 2(3): 7.
Strasdat, H., J.M. Montiel, and A.J. Davison, 2012. Visual SLAM: why filter?, Image and Vision Computing, 30(2): 65-77.

상세보기
Triggs, B., P.F. McLauchlan, R.I. Hartley, and A.W. Fitzgibbon, 1999. Bundle adjustment-a modern synthesis, Proc. of 1999 International Workshop on Vision Algorithms, Corfu, GR, Sep. 21-22, pp. 298-372.
Younes, G., D. Asmar, E. Shammas, and J. Zelek, 2017. Keyframe-based monocular SLAM: design, survey, and future directions, Robotics and Autonomous Systems, 98: 67-88.

상세보기
Ziebinski, A., R. Cupek, D. Grzechca, and L. Chruszczyk, 2017. Review of advanced driver assistance systems (ADAS), In American Institute of Physics Conference Series, Thessaloniki, GR, Apr. 21-25, Vol. 1906, No. 1, p. 120002.
Zhang, Z., 1998. Determining the epipolar geometry and its uncertainty: A review, International Journal of Computer Vision, 27(2): 161-195.
Zhang, Z., R. Deriche, O. Faugeras, and Q.T. Luong, 1995. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry, Artificial Intelligence, 78(1-2): 87-119.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증