[논문]자율주행을 위한 센서 데이터 융합 기반의 맵 생성

강민성; 허수정; 박익현; 박용완

doi:10.7467/ksae.2014.22.6.014

자율주행을 위한 센서 데이터 융합 기반의 맵 생성
Map Building Based on Sensor Fusion for Autonomous Vehicle 원문보기

한국자동차공학회논문집 = Transactions of the Korean Society of Automotive Engineers, v.22 no.6, 2014년, pp.14 - 22

강민성 (영남대학교 정보통신공학과) , 허수정 (한국과학기술연구원 센서시스템 연구센터) , 박익현 (영남대학교 정보통신공학과) , 박용완 (영남대학교 정보통신공학과)

Abstract ▼ AI-Helper

An autonomous vehicle requires a technology of generating maps by recognizing surrounding environment. The recognition of the vehicle's environment can be achieved by using distance information from a 2D laser scanner and color information from a camera. Such sensor information is used to generate 2D or 3D maps. A 2D map is used mostly for generating routs, because it contains information only about a section. In contrast, a 3D map involves height values also, and therefore can be used not only for generating routs but also for finding out vehicle accessible space. Nevertheless, an autonomous vehicle using 3D maps has difficulty in recognizing environment in real time. Accordingly, this paper proposes the technology for generating 2D maps that guarantee real-time recognition. The proposed technology uses only the color information obtained by removing height values from 3D maps generated based on the fusion of 2D laser scanner and camera data.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 2차원 레이저 스캐너와 카메라 데이터 융합의 3차원 맵 생성에서 높이 값을 제외한 색상 정보만을 이용하여 데이터 처리량이 감소한 2차원 맵을 생성기술을 제안한다. 본 논문의 구성은 다음과 같다.
맵 생성 알고리즘에서 주행 가능 공간 인식에 사용하는 함수보다 차선 인식에 사용하는 함수의 복잡도가 높기 때문에 더 많은 데이터 처리량을 요구한다. 따라서 본 논문에서는 차선 인식에 필요한 데이터 처리량 감소에 초점을 두고 있다. 기존 알고리즘과 같이 맵을 생성하고 차선을 인식하게 되면 초기의 카메라 데이터(640×480)보다 일반적으로 맵의 범위(100m 공간을 표현하기 위해 1000×1000 필요)가 크기 때문에 데이터 처리량이 증가하게 된다는 문제점이 있다.
하지만 센서 융합 기반의 3차원 맵 생성 기술은 실제 환경과 유사하다는 장점은 있지만 데이터 처리 비용이 높아서 자율주행 자동차에서 실시간성을 보장하기 어렵다. 또한 자율주행 자동차에 있어 맵은 신속하게 목표 지점까지의 경로를 생성하는 것이 목표이다.
따라서 맵의 크기에 따라 차선 인식에 필요한 데이터 처리량이 변화하게 된다. 본 논문에서는 자율주행 자동차의 실시간 맵 생성을 위하여 카메라의 차선 인식에 필요한 데이터를 감소시킨다.
본 논문은 자율주행을 위한 2차원 레이저 스캐너와 카메라 데이터 융합 기반의 2차원 맵 생성 기술을 개발하였다. 자율주행 자동차에 있어 맵은 신속하게 목표 지점까지의 경로를 생성하는 것이 목표이기 때문에 융합 기반의 2차원 맵 생성에 초점을 두었다.

가설 설정

9) 센서에 인식되는 장애물의 거리가 멀어질수록 정확도가 낮아지게 된다. 따라서 센서에 인식된 장애물의 거리에 따라서 확률 값이 변화하는 함수를 적용하였다.
r_max와 r_min은 센서의 최대, 최소 거리이며 본 논문에서는 센서의 최대거리를 20m로 최소 거리는 0.1m로 설정하였다. 센서의 최대거리의 경우 차량이 저속 주행(30km/h)일 때 제동거리가 15m 정도이기 때문에 센서의 처리 속도를 고려하여 20m로 설정하였다.

제안 방법

4와 같이 센서로부터 필요한 정보를 먼저 인식한 후 좌표변환 하여 맵에 추가하는 방식을 제안한다. 2 차원 레이저 스캐너를 이용하여 주변 가장자리 인식 후 주행 가능 공간을 인식하고, 카메라를 이용하여 차선의 정보를 인식 후 차선 모델을 이용하여 차선을 예상한다. 이렇게 필요한 정보를 먼저 인식 후 맵에 추가하면 데이터 처리량을 줄일 수 있다.
13은 100m 지점까지 자율주행을 하며 맵 생성하는데 걸리는 시간을 비교하였다. 2차원 레이저 스캐너 기반 맵 생성 알고리즘, 제안 알고리즘, 기존 알고리즘을 비교하였다. 센서의 최대 인식 거리를 20m로 설정하였기 때문에 20m 지점까지는 로컬 맵의 크기가 증가하여 처리 시간이 증가한다.
그렇기 때문에 본 논문에서는 2차원 레이저 스캐너의 정보를 이용하여 전체적인 맵을 생성한다. 2차원 레이저 스캐너로 인식할 수 없는 차선과 같은 색상 정보를 카메라를 이용하여 인식하여 맵에 추가한다.
카메라는 색상정보 기반의 데이터이기 때문에 2차원 레이저 스캐너에 비해 거리 정보가 정확하지 않다. 그렇기 때문에 본 논문에서는 2차원 레이저 스캐너의 정보를 이용하여 전체적인 맵을 생성한다. 2차원 레이저 스캐너로 인식할 수 없는 차선과 같은 색상 정보를 카메라를 이용하여 인식하여 맵에 추가한다.
2차원 레이저 스캐너의 경우 차량 전방의 데이터만 수집하므로 차량의 진북방위각을 이용하여 회전하였다. 그리고 2차원 레이저 스캐너의 데이터는 mm단위이므로 점유 격자지도의 셀의 크기에 맞게 0.1m 단위로 변환하였다.
차량 범퍼 쪽에 2차원 레이저 스캐너를 설치하였으며 차량 앞 유리에 카메라를 설치하였다. 그리고 산업용 PC를 탑재하고 소프트웨어는 LabVIEW를 사용하여 테스트 하였다. 차량의 진북방위각은 RT3000 장비로부터 수집하였으며 속도는 차량의 뒷바퀴에 설치한 엔코더를 이용하여 계산하였다.
먼저 맵의 위치 정확도와 기존 알고리즘에 비하여 데이터 처리량이 감소하였는지에 대하여 비교하였다. 그리고 생성된 맵의 신뢰성을 확인하였다. 신뢰성의 경우 맵 생성의 최종 목표인 경로 생성이 가능한지에 대한 부분과 주위 장애물에 대한 정보가 맵으로 잘 표현되었는지를 확인하였다.
따라서 Fig. 4와 같이 센서로부터 필요한 정보를 먼저 인식한 후 좌표변환 하여 맵에 추가하는 방식을 제안한다. 2 차원 레이저 스캐너를 이용하여 주변 가장자리 인식 후 주행 가능 공간을 인식하고, 카메라를 이용하여 차선의 정보를 인식 후 차선 모델을 이용하여 차선을 예상한다.
하지만 도심 환경의 경우 주변 장애물뿐만 아니라 차선과 같은 정보도 인식 하여야 한다. 따라서 카메라의 색상 정보를 이용하여 차선을 인식한 후 주행 가능 공간에 추가하여 맵을 생성한다.
실험은 크게 두 가지 측면에 대하여 기존 알고리즘과 비교하였다. 먼저 맵의 위치 정확도와 기존 알고리즘에 비하여 데이터 처리량이 감소하였는지에 대하여 비교하였다. 그리고 생성된 맵의 신뢰성을 확인하였다.
그리고 생성된 맵의 신뢰성을 확인하였다. 신뢰성의 경우 맵 생성의 최종 목표인 경로 생성이 가능한지에 대한 부분과 주위 장애물에 대한 정보가 맵으로 잘 표현되었는지를 확인하였다.
실험은 크게 두 가지 측면에 대하여 기존 알고리즘과 비교하였다. 먼저 맵의 위치 정확도와 기존 알고리즘에 비하여 데이터 처리량이 감소하였는지에 대하여 비교하였다.
자율주행 자동차의 로컬 맵 생성은 실시간성을 만족하기 위하여 알고리즘 처리시간 안에 맵을 생성하여야 한다. 일반 센서(30 frame/s) 기준으로 차량의 속도에 따라 얼마만큼의 거리마다 맵을 생성하는지를 표현하였다. 센서는 t1시간에 데이터를 습득하고 t2 시간에 다음 데이터를 습득한다.
그리고 산업용 PC를 탑재하고 소프트웨어는 LabVIEW를 사용하여 테스트 하였다. 차량의 진북방위각은 RT3000 장비로부터 수집하였으며 속도는 차량의 뒷바퀴에 설치한 엔코더를 이용하여 계산하였다. 실험 장소는 영남대학교 교내에서 테스트 하였다.

대상 데이터

카메라는 Fig. 12(a)와 같이 Basler의 acA750-30gc 모델을 사용하였다. 해상도는 752×582이며 30fps 이다.
Fig. 1과 같은 맵에서 장애물, 차량위치에 대한 오차를 계산하기 위하여 DGPS 장비를 이용하여 위도, 경도 데이터를 수집하였다. 생성된 맵의 위치오차는 Table 1과 같이 35cm 정도로 DGPS 장비의 위치오차가 10cm 내외이기 때문에 제안 알고리즘의 위치오차는 30 ~ 40cm 정도로 계산할 수 있다.
본 논문에서는 주변 환경인식을 위하여 2차원 레이저 스캐너와 카메라를 사용하였다. 카메라는 Fig.
차량의 진북방위각은 RT3000 장비로부터 수집하였으며 속도는 차량의 뒷바퀴에 설치한 엔코더를 이용하여 계산하였다. 실험 장소는 영남대학교 교내에서 테스트 하였다.
자율주행 자동차는 Fig. 12(c)와 같이 스포티지R 차량을 개조하여 사용하였다. 차량 범퍼 쪽에 2차원 레이저 스캐너를 설치하였으며 차량 앞 유리에 카메라를 설치하였다.
최대 스캔 거리는 65m이며 스캐닝 범위는 0°에서 190°까지 0.5° 간격으로 381개의 극좌표 형태의 데이터를 수집할 수 있다.

이론/모형

인식된 양 차선의 정보를 이용하여 중심점을 찾은 후 차선 모델을 이용하였다. 도로 차선의 형태가 대부분 유사한 형태이기 때문에 차선 영상에서 일정 영역(ROI)에 대한 정보만을 이용하여 차선을 복구하기 위하여 차선 모델을 사용하였다.
11과 같이 표현할 수 있다. 이미지(Image)에서 이진화(Binarization)를 한 다음 차선을 인식하기 위하여 직선 인식 함수(Hough Transform)를 사용한다.
카메라로부터 차선 영상을 획득하여 일반적으로 직선을 추출할 때 사용하는 Hough Transform 함수를 이용하여 차선을 인식하였다. 인식된 양 차선의 정보를 이용하여 중심점을 찾은 후 차선 모델을 이용하였다. 도로 차선의 형태가 대부분 유사한 형태이기 때문에 차선 영상에서 일정 영역(ROI)에 대한 정보만을 이용하여 차선을 복구하기 위하여 차선 모델을 사용하였다.
주변 환경인식은 일반적으로 사용하는 점유 격자지도(Occupied Grid Map)를 사용하였다.¹⁶⁾ 점유 격자지도는 Fig.
카메라로부터 차선 영상을 획득하여 일반적으로 직선을 추출할 때 사용하는 Hough Transform 함수를 이용하여 차선을 인식하였다. 인식된 양 차선의 정보를 이용하여 중심점을 찾은 후 차선 모델을 이용하였다.

성능/효과

20m ~ 100m 까지는 로컬 맵을 글로벌 맵에 업데이트를 하는 데이터로 인해 글로벌 맵의 크기가 점차 증가하기 때문에 처리 시간이 조금씩 증가한다. 2차원 레이저 스캐너 기반 알고리즘의 평균 처리 시간은 24ms, 제안 알고리즘은 37ms, 기존 알고리즘은 109ms이다. 제안 알고리즘이 기존 알고리즘보다 약 3배정도 처리 속도가 증가하였다.
주변 환경인식에 사용하는 대표적인 센서로는 레이더(Radio Detecting Ranging), 레이저 스캐너(Laser Scanner), 카메라가 있다.⁴⁾ 센서의 성능은 인지 거리, 인지 범위, 거리 정확도, 거리 해상도, 각 해상도로 구별할 수 있다.
생성된 맵의 위치오차는 Table 1과 같이 35cm 정도로 DGPS 장비의 위치오차가 10cm 내외이기 때문에 제안 알고리즘의 위치오차는 30 ~ 40cm 정도로 계산할 수 있다. 기존 알고리즘의 평균 위치오차는 52cm이며 제안 알고리즘의 위치오차는 10cm정도 향상되었다.
그렇기 때문에 차선 인식에 필요한 데이터 처리량이 증가하게 된다. 따라서 제안 알고리즘의 경우 기본적인 맵의 형틀을 구축한 다음 차선 인식에 대한 정보를 추가하기 때문에 데이터 처리량을 감소할 수 있다.
이를 해결하기 위하여 맵 생성 이전에 차선의 정보에 모델을 적용하여 차선을 예상한 다음 맵에 추가하였기 때문에 양 차선 정보(200*2*2)에 해당하는 정보만 필요로 한다. 따라서 차선 인식에 필요한 데이터 처리량을 감소하여 전체적인 맵 생성에 필요한 데이터 처리량을 감소하여 자율주행 자동차의 실시간성을 만족하였다.
자율주행 자동차에 있어 맵은 신속하게 목표 지점까지의 경로를 생성하는 것이 목표이기 때문에 융합 기반의 2차원 맵 생성에 초점을 두었다. 맵 생성에 있어 카메라 데이터 부분을 Fig. 4와 같이 하면서 위치 정확도와 데이터 처리량이 감소됨을 확인하였다. 그리고 Fig.
하지만 기존 알고리즘의 경우 카메라 데이터를 좌표변환 하여 맵을 생성하고 차선을 인식하는 경우 좌표변환에 대한 오차와 차선 인식에 대한 오차가 중첩된다. 제안 알고리즘의 경우 차선을 인식하여 맵에 추가하기 때문에 좌표 변환에서 생기는 오차가 감소하여 위치 정확도가 향상된다.
2차원 레이저 스캐너 기반 알고리즘의 평균 처리 시간은 24ms, 제안 알고리즘은 37ms, 기존 알고리즘은 109ms이다. 제안 알고리즘이 기존 알고리즘보다 약 3배정도 처리 속도가 증가하였다.

후속연구

향후 연구 과제는 2차원 레이저 스캐너와 카메라 데이터 융합 기반의 맵에 주행 가능 공간과 차선뿐만 아니라 보행자, 신호등과 같은 정보도 추가하는 것이다. 이러한 연구는 자율주행 자동차에 있어 실시간으로 맵을 생성하여 경로를 생성하는 시스템에 도움이 될 것이다.
향후 연구 과제는 2차원 레이저 스캐너와 카메라 데이터 융합 기반의 맵에 주행 가능 공간과 차선뿐만 아니라 보행자, 신호등과 같은 정보도 추가하는 것이다. 이러한 연구는 자율주행 자동차에 있어 실시간으로 맵을 생성하여 경로를 생성하는 시스템에 도움이 될 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	자율주행 자동차는 무엇인가?	자율주행 자동차란 운전자의 개입 없이 주변 환경을 인식하고, 주행 상황을 판단하여, 차량을 제어함으로써 스스로 주어진 목적지까지 주행하는 자동차를 말한다. 자율주행 자동차의 핵심 기술로써 주변 환경을 인식하여 맵을 생성하는 기술이 있다.
	레이더 센서가 무인 자율주행 자동차에 적합하지 않는 이유는?	레이더 센서는 환경에 강인하고 탐지 거리가 길다는 장점이 있어 운전자 보조 시스템의 장애물 인식이나 크루즈 컨트롤(Adaptive Cruise Control) 시스템에 사용되고 있다.5) 하지만 거리 해상도에 비해 낮은 각 해상도 때문에 도시와 같이 다수개의 장애물이 있는 복잡한 환경에 대하여 인식하는데 어려움이 있어 무인 자율주행 자동차에 적합하지 않다.6)
	주변 환경인식에 사용하는 대표적인 센서는 무엇이 있는가?	이러한 맵을 기반으로 주행 경로를 생성하고 차량을 제어 하면서 자율주행을 하게 된다. 주변 환경인식에 사용하는 대표적인 센서로는 레이더(Radio Detecting Ranging), 레이저 스캐너(Laser Scanner), 카메라가 있다.4) 센서의 성능은 인지 거리, 인지 범위, 거리 정확도, 거리 해상도, 각 해상도로 구별할 수 있다.

참고문헌 (16)

Unmanned Ground Vehicle Master Plan, US Department of Defense Report, 1992.
K. Chu, J. Han, M. Lee, D. Kim, K. Jo, D. Oh, E. Yoon, M. Gwak, K. Han, D. Lee, B. Choe, Y. Kim, K. Lee, K. Huh and M. Sunwoo, "Development of an Autonomous Vehicle: A1," Transactions of KSAE, Vol.19, No.4, pp.146-154, 2011.
S. Thrun, M. Montemerlo, H. Dahlkamp, D. Stavens, A. Aron, J. Diebel, P. Fong, J. Gale, M. Halpenny, G. Hoffmann, K. Lau, C. Oakley, M. Palatucci, V. Pratt, P. Stang, S. Strohband, C. Dupont, L. E. Jendrossek, C. Koelen, C. Markey, C. Rummel, J. van Niekerk, E. Jensen, P. Alessandrini, G. Bradski, B. Davies, S. Ettinger, A. Kaehler, A. Nefian and P. Mahoney, "Stanley: The Robot That Won the DARPA Grand Challenge," J. Field Robot, Vol.23, No.9, pp.661-692, 2006.

상세보기
M. Montemerlo, J. Becker, S. Bhat, H. Dahlkamp, D. Dolgov, S. Ettinger, D. Haehnel, T. Hilden, G. Hoffmann, B. Huhnke, D. Johnston, S. Klumpp, D. Langer, A. Levandowski, J. Levinson, J. Marcil, D. Orenstein, J. Paefgen, I. Penny, A. Petrovskaya, M. Pflueger, G. Stanek, D. Stavens, A. Vogt and S. Thrun, "Junior: The Stanford Entry in the Urban Challenge," J. Field Robot, Vol.25, No.9, pp.569-597, 2008.

상세보기
J. Wenger, "Automotive Radar - Status and Perspectives," Proc. IEEE Compound Semicond. Integer. Circuit Symp., pp.21-24, 2005.
J. Han, D. Kim, M. Lee and M. Sunwoo, "Enhanced Road Boundary and Obstacle Detection Using a Downward-looking LIDAR Sensor," IEEE Trans. Veh. Technol., Vol.61, No.3, pp.971-985, 2012.

상세보기
A. Kirchner and T. Heinrich, "Model Based Detection of Road Boundaries with a Laser Scanner," Proceedings of the IEEE Intelligent Vehicles Symposium, pp.93-98, 1998.
T. Weiss, B. Schiele and K. Dietmayer, "Robust Driving Path Detection in Urban and Highway Scenarios Using a Laser Scanner and Online Occupancy Grids," Intelligent Vehicles Symposium, pp.184-189, 2007.
M. Konrad, M. Szczot and K. Dietmayer, "Road Course Estimation in Occupancy Grids," Intelligent Vehicles Symposium, pp.21-24, 2010.
K. Lin, C. Chang, A. Dopfer and C. Wang, "Mapping and Localization in 3D Environments Using a 2D Laser Scanner and a Stereo Camera," J. Science and Engineering, Vol.28, No.1, pp.131-144, 2012.
M. Cole and M. Newman, "Using Laser Range Data for 3D SLAM in Outdoor Environments," Robotics and Automation, Vol.1, No.4, pp.1556-1563, 2006.
R. Halterman and M. Bruch, "Velodyne HDL-64E LIDAR for Unmanned Surface Vehicle Obstacle Detection," Proceeding of International Society for Optical Engineering, Vol.7692, No.9, pp.224-231, 2010.
L. Iocchi and S. Pellegrini, "Building 3D Maps with Semantic Elements Integrating 2D Laser, Stereo Vision and IMU on a Mobile Robot," Proceedings of the 2nd International Society for Photogrammetry and Remote Sensing International Workshop 3D-ARCH, pp.915-926, 2007.
J. Joung, K. An, J. Kang, W. Kim, W. Kim and M. Chung, "3D Terrain Reconstruction Using 2D Laser Range Finder and Camera Based on Cubic Grid for UGV Navigation," Transactions of Korean Institute of Electrical Engineers, Vol.46, No.6, pp.26-34, 2008.
U. Wong, B. Garney, W. Whittaker and R. Whittaker, Camera and LIDAR Fusion for Mapping of Actively Illuminated Subterranean Voids, Field and Service Robotics, Springer, Berlin, Vol.62, No.4, pp.421-430, 2010.
S. Thrun, W. Burgard and D. Fox, Probabilistic Robotics, The MIT Press, Cambridge, Massachusetts, 2005.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증