[논문]IPM 기반 정밀도로지도 매칭을 통한 지도 신속 갱신 방법

김덕중; 이원종; 김기창; 최윤수

doi:10.7780/kjrs.2021.37.5.1.26

IPM 기반 정밀도로지도 매칭을 통한 지도 신속 갱신 방법
Quickly Map Renewal through IPM-based Image Matching with High-Definition Map 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.37 no.5 pt.1, 2021년, pp.1163 - 1175

김덕중 (서울시립대학교 공간정보공학과) , 이원종 (서울시립대학교 공간정보공학과) , 김기창 (서울시립대학교 공간정보공학과) , 최윤수 (서울시립대학교 공간정보공학과)

초록
AI-Helper

자율 주행에서 도로 표시는 객체 추적, 경로 계획을 위한 필수 요소이며 측위를 위한 중요한 정보를 제공할 수 있다. 이 논문은 역 관점 매핑 이미지와 정밀도로지도 투영 이미지를 매칭하여 비교함으로써 도로 노면 표지의 갱신 및 위치 측위를 하는 접근 방식을 제시한다. 역 관점 매핑(IPM; Inverse Perspective Mapping) 기법을 사용하여 차량의 전방을 촬영한 카메라 이미지에서 원근 효과를 제거하고 2D 도메인으로 버드뷰 이미지를 생성한다. 그 다음에 GNSS/INS를 참조하여 촬영된 이미지와 동일한 정밀도로지도 영역을 이미지로 생성하여 두 이미지의 노면표지가 최대한 일치하도록 피팅 한다. 또한 정지선, 횡단 보도, 점선 및 직선 등 문자와 화살표를 인식하여 정밀도로지도의 객체와 비교 함으로써 갱신 여부를 판단 한다. 그리고 새로 설치된 객체의 측위는 주변의 객체의 위치 좌표값을 정밀도로지도에서 참조하여 얻을 수 있다. 우리는 매우 낮은 계산 비용과 저가의 카메라 및 GNSS/INS 센서 만으로도 빠르게 갱신된 정밀도로지도를 얻을 수 있다.

Abstract ▼ AI-Helper

In autonomous driving, road markings are an essential element for object tracking, path planning and they are able to provide important information for localization. This paper presents an approach to update and measure road surface markers with HD maps as well as matching using inverse perspective mapping. The IPM removes perspective effects from the vehicle's front camera image and remaps them to the 2D domain to create a bird-view region to fit with HD map regions. In addition, letters and arrows such as stop lines, crosswalks, dotted lines, and straight lines are recognized and compared to objects on the HD map to determine whether they are updated. The localization of a newly installed object can be obtained by referring to the measurement value of the surrounding object on the HD map. Therefore, we are able to obtain high accuracy update results with very low computational costs and low-cost cameras and GNSS/INS sensors alone.

주제어

표/그림 (16)

그림 Fig. 1. Image coordinate system and camera coordinate system related to the world coordinate system.
그림 Fig. 2. HD-Map renewal pipeline.
그림 Fig. 3. Calculate yaw correction.
그림 Fig. 4. Yaw calibration result.
그림 Fig. 5. n_min calculation process.
그림 Fig. 6. m_min calculation process.
그림 Fig. 7. Example of road shadows by buildings around the road (left figure) Histogram for the left figure (right figure) (Sunny road marking: RGB-251 / Brightness- 98%, sunny floor: RGB-205 / Brightness-80%, road marking in shade: RGB-181 / Brightness -71%, floor in shade: RGB-102 / Brightness -40%.
그림 Fig. 8. Upper left: Original image / Upper right: Otsu's algorithm binarization result / Lower left: Adaptive binarization mean value algorithm result / Lower right: Adaptive binarization Gaussian distribution algorithm result (Source: https://docs.opencv.org/ master/d7/d4d/tutorial_py_thresholding.html).
그림 Fig. 9. IPM results for shadow removal (a), (b) Upper left: Original IPM image / Upper right: Histogram image / Lower left: Object recognized IPM image / Lower right: Adaptive binarization image (c) ① Adaptive An image reconstructed by extracting only objects from a binarized image ②Original image ③General binarization result.
그림 Fig. 11. Object comparison update judgment.
그림 Fig. 10. (a) spatial coordinates of objects recognized by CNN (based on GPS) (b) object space coordinates of HD map.
그림 Fig. 12. (a) Object recognition result in front view image (b) Reflect the recognition result of (a) after IPM image conversion (c) Display the update location of the new (created) object with HD map and IPM image fitting applied (blue rectangle).
그림 Fig. 13. IPM area and configuration diagram of the test vehicle.
표 Table 1. Specification of GNSS/INS sensor used in the experiment
그림 Fig. 14. (a) Test object of 2.3 km of test section (b) Matching result of HD map and IPM image of some objects (IDs: 906, 238, 260, 421).
표 Table 2. Spatial coordinate error of the newly discovered object in the experimental section

AI 본문요약
AI-Helper

제안 방법

카메라 중심의 저가의 센서(GNSS/INS)를 사용하여 IPM기술을 적용한 버드뷰 이미지를 생성하고, HD 맵과 비교하여 도로 노면 표시 객체간 매칭으로 차량위치를 추정하고, 객체를 추적(tracking)하는 부분에 대해 관련된 연구에서 착안하여 다음과 같은 연구를 진행하였다. 본 논문에서는 HD 맵에 신속한 갱신을 위해서 포함된 라벨 정보와 CNN(Convolutional Neural Network)를 통해 이미지에서 추정된 의미 정보를 사용하여 객체 단위의 맵 갱신 여부를 판단하고, 서브 미터 수준의 정확도를 갖는 갱신 객체의 글로벌 위치 결정 방법을 제안한다.
본 논문에서는 IPM 변환 이미지를 정밀도로지도와 매칭하는 방법으로 신속하게 도로시설물 객체의 갱신 여부를 판단하고, 객체의 공간좌표를 계산하는 방법론을 제시한다. IPM으로 버드 뷰 이미지 변환은 완전한 정사영상이 아니므로 정밀도로지도와 매칭 할 때, INS 센서의 yaw 오차와 GPS의 위도/경도 오차를 보정하여야 한다.
작은 움직임도 버드 뷰 이미지에 상당한 영향을 줄 수 있다. 본 논문에서는 모션 정보를 이용하여 카메라 영상을 버드 뷰 영상으로 정확하게 변환할 수 있는 IPM 개선형 모델을 제안한다. 실험 결과 제안된 접근 방식이 드라이브 중 큰 동작에서도 안정적인 버드 뷰 이미지를 제공할 수 있음을 보여준다.
이것은 부분 블록에 대한 이진화를 하더라도 명암 분포의 불균일 문제 때문에 이러한 얼룩이 생성되는 것은 어쩔 수 없다. 본 논문에서는 이 문제를 해결하기 위해 컨벌루션 신경망 네트워크(CNN)를 사용하여 노면 표지의 영상 분할(image segmentation) 정보로 버드뷰 이미지에 마스킹 하는 방법으로 얼룩을 제거하였다. Fig.
그러나 도로에 장애물이 있으면 매핑의 효율성이 떨어진다. 본 논문은 다중 센서의 융합 사용을 기반으로 한 강력한 솔루션을 제안한다.
카메라 중심의 저가의 센서(GNSS/INS)를 사용하여 IPM기술을 적용한 버드뷰 이미지를 생성하고, HD 맵과 비교하여 도로 노면 표시 객체간 매칭으로 차량위치를 추정하고, 객체를 추적(tracking)하는 부분에 대해 관련된 연구에서 착안하여 다음과 같은 연구를 진행하였다. 본 논문에서는 HD 맵에 신속한 갱신을 위해서 포함된 라벨 정보와 CNN(Convolutional Neural Network)를 통해 이미지에서 추정된 의미 정보를 사용하여 객체 단위의 맵 갱신 여부를 판단하고, 서브 미터 수준의 정확도를 갖는 갱신 객체의 글로벌 위치 결정 방법을 제안한다.

대상 데이터

사전지도 정보는 테스트베드 지역의 국토지리정보원에서 배포하는 정밀도로지도를 활용하여 일부 가공 하는 과정을 거쳐서 데이터베이스로 사용하였다. 데이터베이스는 GIS(지리정보시스템 객체를 저장할 수 있도록 지원하는 PostgreSQL에 확장프로그램인 PostGIS를 적용해서 공간처리 기능을 활용하였다.
14(b) 이미지의 좌측과 같이 HD 맵은 국토지리정보원에서 배포하는 정밀도로지도를 사용하여 shape 파일을 주황색으로 표시된다. 이미지의 우측 사진은 차량에 설치된 카메라에서 촬영된 도로사진이며, 사진내부의 초록색 폐곡선은 mask R-CNN으로 인식된 노면 표시 객체이며, 검정색 폐곡선은 mask R-CNN으로 인식된 노면 차선 객체의 인식 결과이다. 사진에서 인식된 객체의 고유 ID를 확인할 수 있고, 이 정보는 객체의 추적(tracking)에 사용된다.
카메라 이미지에서 객체를 인식하여 탐지하는 모듈에서 전달된 객체 정보 중에 IPM 이미지 영역에 포함되는 객체를 사전지도 정보에서 추출하여 비교 대상 객체로 선출한다. 차량에서 IPM 처리되는 ROI영역은 사전 계측을 통해 차량의 GPS 원점과 떨어진 거리와 위치를 실측한다.

이론/모형

이진화는 앞서 3장에서 설명한 적응형 이진화와 노면객체의 segmentation을 이용해서 그림자의 영향을 제거하고, 베이스 맵과 매칭은 종방향 횡방향 매칭 방법을 사용한다. 4장의 내용을 토대로 IPM 이미지와 베이스 맵이 매칭되면 노면객체간 매칭을 통해 갱신 여부를 판단하고 새로 발견된 노면객체의 공간 좌표를 계산한다.

성능/효과

본 논문에서는 IPM 변환 이미지를 정밀도로지도와 매칭하는 방법으로 신속하게 도로시설물 객체의 갱신 여부를 판단하고, 객체의 공간좌표를 계산하는 방법론을 제시한다. IPM으로 버드 뷰 이미지 변환은 완전한 정사영상이 아니므로 정밀도로지도와 매칭 할 때, INS 센서의 yaw 오차와 GPS의 위도/경도 오차를 보정하여야 한다. 우리는 제시된 알고리즘에 따라 비교적 정확하게 보정된 카메라의 4DoF (X, Y, Z, Yaw에 대한)를 얻을 수 있었다.
또한 카메라의 6DoF(6 Degree of Freedom) 포즈가 정확하다면 베이스 맵과 IPM을 비교할 때좀더 정교한 비교가 가능하고 신규객체 좌표 값 산출 시 정확도 향상시킬 수 있다. 따라서 기본적으로는 GPS와 INS센서 값으로 카메라의 포즈를 얻고 IPM 이미지를 사전지도(정밀도로지도)에 피팅하는 방법으로 객체의 비교와 공간 좌표 값 산출의 정확도를 향상시켰다.
실제 도로 노면은 배수로 경사 및 도로의 여러 상황(날씨, 도로 주변 건물의 영향 등)으로 빛의 반사와 그림자 차이가 많이 있을 수 있다. 따라서 본 연구에서는 이미지 히스토그램을 기반한 임계 값으로 이진화 하는 방법과 오츠의 이진화 방법인 전역 이진화 방법(Global binarization method)보다 효율이 좋은 적응형 이진화 알고리즘 사용이 적합하다.
본 논문에서는 모션 정보를 이용하여 카메라 영상을 버드 뷰 영상으로 정확하게 변환할 수 있는 IPM 개선형 모델을 제안한다. 실험 결과 제안된 접근 방식이 드라이브 중 큰 동작에서도 안정적인 버드 뷰 이미지를 제공할 수 있음을 보여준다.
IPM으로 버드 뷰 이미지 변환은 완전한 정사영상이 아니므로 정밀도로지도와 매칭 할 때, INS 센서의 yaw 오차와 GPS의 위도/경도 오차를 보정하여야 한다. 우리는 제시된 알고리즘에 따라 비교적 정확하게 보정된 카메라의 4DoF (X, Y, Z, Yaw에 대한)를 얻을 수 있었다.
이 방법론은 정밀도로지도 갱신의 자원을 매우 효과적으로 줄일 수 있으며, 신속한 갱신을 가능하게 한다. 또한 비교적 저렴한 센서(모노카메라와 저가 GNSS/INS)로 정확한 측위 정보를 얻을 수 있으므로 자율주행에 자차 측위 솔루션으로의 활용 등 광범위한 응용이 가능하다.

후속연구

이 방법론은 정밀도로지도 갱신의 자원을 매우 효과적으로 줄일 수 있으며, 신속한 갱신을 가능하게 한다. 또한 비교적 저렴한 센서(모노카메라와 저가 GNSS/INS)로 정확한 측위 정보를 얻을 수 있으므로 자율주행에 자차 측위 솔루션으로의 활용 등 광범위한 응용이 가능하다.
이 프로젝트의 향후 작업으로는 6DoF의 측위 정확도 향상과 공중에 떠있는 객체의 측위 방법에 대해 시스템을 더욱 강력하게 만드는 것이 포함된다.

참고문헌 (29)

Bertozzi, M., A. Broggi, and A. Fascioli, 1998, Stereo Inverse Perspective Mapping: Theory and Applications, Image and Vision Computing, 16: 585-590.

상세보기
Braillon, C., 2006, Real-time moving obstacle detection using optical flow models, Proc. of IEEE Intelligent Vehicle Symposium (IV'00), Tokyo, JP, Jun. 13-15, pp. 466-471.
Charbonnier, P., F. Diebolt, Y. Guillard, and F. Peyret, 1997, Road markings recognition using image processing, Proc. of IEEE Conference on Intelligent Transportatoin Systems, Boston, MA, USA, Nov. 12, pp. 912-917.
Dornaika, F., J. Alvarez, A. Sappa, and A. Lopez, 2011, A new framework for stereo sensor pose through road segmentation and registration, IEEE Transactions on Intelligent Transportation Systems, 12(4): 954-966.

상세보기
Guo, C., S. Mita, and D. McAllester, 2009, Stereovision-based road boundary detection for intelligent vehicles in challenging scenarios, Proc. of the IEEE International Conference on Intelligent Robots and Systems, St. Louis, MO, USA, Oct. 10-15, pp. 1723-1728.
Heisele, B., 2000, Motion-based object detection and tracking in color images sequences, Proc. of Fourth Asian Conference on Computer Vision (ACCV'00), Taipei, CN, Jan. 8-11, Vol. 2, pp. 1028-1033.
Kluge, K. and S. Lakshamanan, 2005, A deformable-template approach to lane detection, Proc. of IEEE Intelligent Vehicles Symposium, Las Vegas, NV, USA, Jun. 6-8, pp. 54-59.
Liu, Y.-C., K.-Y. Lin, and Y.-S. Chen, 2008, Bird's-Eye View Vision System for Vehicle Surrounding Monitoring, Proc. of RobVis 2008, Auckland, NZ, Feb. 18-20, pp. 207-218.

상세보기
Mallot, H.A., H.H. Bulthoff, J.J. Little, and S. Bohrer, 1991, Inverse Perspective Mapping Simplifies Optical Flow Computation and Obstacle Detection, Biological Cybernetics, 64(3): 177-185.

상세보기
McCall, J.C. and M.M. Trivedi, 2004, An integrated robust approach to lane marking detection and lane tracking, Proc. of IEEE Intelligent Vehicles Symposium, Parma, IT, Jun. 14-17, pp. 533-537.
Muad, A.M., A. Hussain, S.A. Samad, M.M. Mustaffa, and B.Y. Majlis, 2004. Implementation of Inverse Perspective Mapping Algorithm for the Development of an Automatic Lane Tracking System, Proc. of IEEE Region 10 Conference TENCON, Chiang Mai, TH, Nov. 21-24, pp. 207-210.
McCall, J.C. and M.M. Trivedi, 2005. Performance evaluation of a vision based lane tracker designed for driver assistance systems, Proc. of the IEEE Intelligent Vehicles Symposium, Las Vegas, NV, USA, Jun. 6-8, pp. 153-158.
McCall, J.C. and M.M. Trivedi, 2006, Video-Based Lane Estimation and Tracking for Driver Assistance: Survey, System, and Evaluation, IEEE Transactions on Intelligent Transportation Systems, 7: 20-37.

상세보기
Marita, T., M. Negru, R. Danescu, and S. Nedevschi, 2010, stop-line detection and localization method for intersection scenarios, Proc. of IEEE International Conference on Intelligent Computer Communication and Processing, Cluj-Napoca, RO, Aug. 26-28, pp. 293-298.
Ma, W.-C., I. Tartavull, I.A. Barsan, S. Wang, M. Bai, G. Mattyus, and N. Homayounfar, S.K. Lakshmikanth, A. Pokrovsky, and R. Urtasun, 2019. Exploiting sparse semantic HD maps for self-driving vehicle localization, Proc. of International Conference on Intelligent Robots and Systems, Macau, CN, Nov. 3-8, pp. 5304-5311
Nieto, M., L. Salgado, F. Jaureguizar, and J. Cabrera, 2007, Stabilization of Inverse Perspective Mapping Images Based on Robust Vanishing Point Estimation, Proc. of IEEE Conference on Intelligent Vehicles Symposium, Istanbul, TR, Jun. 13-15 pp. 315-320.
Okada, R. and K. Onoguchi, 2003. Obstacle Detection Using Projective Invariant and Vanishing Lines, Proc. of 9th IEEE International Conference on Computer Vision (ICCV'03), Nice, FR, Oct. 13-16, pp. 330-337.
Poggenhans, F., N.O. Salscheider, and C. Stiller, 2018, Precise localization in high-definition roadmaps for urban regions, Proc. of 2018 IEEE/RSJ international conference on intelligent robots and systems, Madrid, ES, Oct. 1-5, pp. 2167-2174.
Rabie, T.F., G. Auda, A. El-Rabbany, A. Shalaby, and B. Abdulhai, 2001, Active-Vision-based Traffic Surveillance and Control, Rabie 2001 Active Visionbased TS, 2001: 1-7.
Rebut, J., A. Bensrhair, and G. Toulminet, 2004, Image segmentation and pattern recognition for road marking analysis, Proc. of 2004 IEEE International Symposium on Industrial Electronics, Palais, FR, May. 4-7, Vol. 1, pp. 727-732.
Stein, G. P., O. Mano, and A. Shashua, 2000, A robust method for computing vehicle ego-motion, Proc. of 2000 IEEE Intelligent Vehicle Symposium (IV'00), Piscataway, NJ, USA, Oct. 5, pp. 362-368.
Schreiber, D., B. Alefs, and M. Clabian, 2005, Single Camera Lane Detection and Tracking, Proc. of IEEE Conference on Intelligent Transportation Systems, Vienna, AT, Sep. 13-16, pp. 302-307.
Schreiber, M., C. Knoppel, and U. Franke, 2013, Laneloc: Lane marking based localization using highly accurate maps, Proc. of 2013 of IEEE Intelligent Vehicles Symposium (IV), Gold Coast City, AU, Jun, 26-28, pp. 449-454.
Seo, Y.-W. and R. Rajkumar, 2014, A vision system for detecting and tracking of stop-lines, Proc. of 17th IEEE International Conference on Intelligent Transportation Systems (ITSC), IEEE, 2014, Qingdao, CN, Oct. 8-11, pp. 1970-1975.
Tan, S., J. Dale, A. Anderson, and A. Johnston, 2006, Inverse Perspective Mapping and Optic Flow: A Calibration Method and a Quantitative Analysis, Image and Vision Computing, 24(2) : 153-165.

상세보기
Vacec, S., C. Schimmel, and R. Dillman, 2007, Road-marking analysis for antonomous vehicle guidance, Proc. of European Conference on Mobile Robots 2007, Freiburg, DE. 19-21, pp. 1-6.
Vivacqua, R.P.D., M. Bertozzi, P. Cerri, F.N. Martins, and R.F. Vassallo, 2017. Self-localization based on visual lane marking maps: An accurate lowcost approach for autonomous driving, IEEE Transactions on Intelligent Transportation Systems, 19(2): 582-597.

상세보기
Welte, A., P. Xu, P. Bonnifait, and C. Zinoune, 2019, Estimating the reliability of georeferenced lane markings for map-aided localization, Proc. of 2019 IEEE Intelligent Vehicles Symposium (IV), Paris, FR, Jun. 9-12, pp. 1225-1231.
Ziegler, J., P. Bender, T. Dang, and C. Stiller, 2014, Trajectory planning for bertha a local, continuous method, Proc. of 2014 IEEE intelligent vehicles symposium proceedings, Dearborn, MI, USA, Jun. 8-11, pp. 450-457.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증