[논문]카메라와 라이다의 객체 검출 성능 향상을 위한 Sensor Fusion

이종서; 김만규; 김학일

doi:10.5909/jbe.2019.24.4.580

카메라와 라이다의 객체 검출 성능 향상을 위한 Sensor Fusion
Camera and LiDAR Sensor Fusion for Improving Object Detection 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.4, 2019년, pp.580 - 591

이종서 (인하대학교 미래형자동차공학과) , 김만규 (인하대학교 정보통신공학과) , 김학일 (인하대학교 정보통신공학과)

초록
AI-Helper

본 논문의 목적은 자율주행을 위하여 카메라와 라이다를 이용하여 객체를 검출하고 각 센서에서 검출된 객체를 late fusion 방식으로 융합을 하여 성능을 향상하는 것을 목적으로 한다. 카메라를 이용한 객체 검출은 one-stage 검출인 YOLOv3을, 검출된 객체의 거리 추정은 perspective matrix를, 라이다의 객체 검출은 K-means 군집화 기반 객체 검출을 각각 이용하였다. 카메라와 라이다 calibration은 PnP-RANSAC을 이용하여 회전, 변환 행렬을 구하였다. 센서 융합은 라이다에서 검출된 객체를 이미지 평면에 옮겨 Intersection over union(IoU)을 계산하고, 카메라에서 검출된 객체를 월드 좌표에 옮겨 거리, 각도를 계산하여 IoU, 거리 그리고 각도 세 가지 속성을 로지스틱 회귀를 이용하여 융합을 하였다. 융합을 통하여 각 센서에서 검출되지 않은 객체를 보완해주어 성능이 약 5% 증가하였다.

Abstract ▼ AI-Helper

This paper focuses on to improving object detection performance using the camera and LiDAR on autonomous vehicle platforms by fusing detected objects from individual sensors through a late fusion approach. In the case of object detection using camera sensor, YOLOv3 model was employed as a one-stage detection process. Furthermore, the distance estimation of the detected objects is based on the formulations of Perspective matrix. On the other hand, the object detection using LiDAR is based on K-means clustering method. The camera and LiDAR calibration was carried out by PnP-Ransac in order to calculate the rotation and translation matrix between two sensors. For Sensor fusion, intersection over union(IoU) on the image plane with respective to the distance and angle on world coordinate were estimated. Additionally, all the three attributes i.e; IoU, distance and angle were fused using logistic regression. The performance evaluation in the sensor fusion scenario has shown an effective 5% improvement in object detection performance compared to the usage of single sensor.

주제어

표/그림 (15)

그림 그림 1. 카메라와 라이다 부착 위치 Fig. 1. Camera and LiDAR sensor mount position
표 표 1. 주변 환경별 센서의 성능 비교 Table 1. Comparison of sensor performance by environment
그림 그림 2. CNN과 헝가리안 알고리즘을 이용한 객체 추적 프로세스^[14] Fig. 2. Object tracking process using CNN with Hungarian data association
그림 그림 3. 다양한 센서 융합 방법 Fig. 3. Architectures of different sensor fusion schemes
그림 그림 4. 제안하는 센서 융합 시스템의 개요 Fig. 4. Overview of the proposed fusion system
그림 그림 5. 행렬 계산에 사용되는 센서 실측값 측정 예시 Fig. 5. Example of measuring sensor values used in matrix calculations
그림 그림 6. 이미지상의 거리 추정과 보정 Fig. 6. Distance estimation and correction on images
그림 그림 7. 라이다를 이용한 객체 검출 과정 Fig. 7. Object detection process using LiDAR
그림 그림 8. 차량 위치에 따른 point cloud의 배열 Fig. 8. Arrangement of point clouds according to vehicle location
그림 그림 9. 월드 좌표에서의 거리와 각도 정의 Fig. 9. Define distance and angle in world coordinates
그림 그림 10. 라이다를 이용하여 검출된 객체를 이미지 평면에 옮기는 방법 Fig. 10. Projection detected object to the image plane using LiDAR
그림 그림 11. 로지스틱 회귀에 사용된 layers Fig. 11. Layers used for logistic regression
그림 그림 12. 카메라 객체 검출 (좌). 라이다 객체 검출 (중), 센서 융합 결과 (우) Fig. 12. Camera object detection (left), LiDAR object detection (middle), sensor fusion result (right)
그림 그림 13. 객체 검출이 잘 되지 않은 경우 Fig. 13. Case of miss detection
표 표 2. 카메라와 라이다 객체 검출과 융합의 성능 분석 Table 2. Performance analysis of camera and LiDAR detection and fusion

질의응답

핵심어	질문	논문에서 추출한 답변
	딥러닝을 이용한 객체 검출 방법에는 무엇이 있고 어떤 계열이 있는가?	객체 검출은 영상에서 사람, 차량 등과 같이 특정한 물체를 검출하는 알고리즘이다. 딥러닝을 이용한 객체 검출 방법 중 대표적으로 one-stage network인 YOLO, SSD[10], RetinaNet등이 있고 two-stage network인 R-CNN[11] 계열이 있다. One-stage network가 two-stage network보다 속도가 빠른 장점이 있어 실시간 처리가 필요한 시스템에 많이 사용되고 있다.
	객체 검출은 무엇인가?	객체 검출은 영상에서 사람, 차량 등과 같이 특정한 물체를 검출하는 알고리즘이다. 딥러닝을 이용한 객체 검출 방법 중 대표적으로 one-stage network인 YOLO, SSD[10], RetinaNet등이 있고 two-stage network인 R-CNN[11] 계열이 있다.
	One-stage detector인 YOLO는 어떻게 객체 검출을 하게되는가?	One-stage detector는 물체의 위치를 찾는 localization과 물체를 식별하는 classification을 동시에 수행하는 방법이다. One-stage 검출기인 YOLO는 이미지 feature를 sparse grid로 분할하고 그리드별 classification과 bounding box regression을 동시에 진행하여 객체 검출을 하게 된다. SSD는 미리 정의된 다양한 크기의 anchor box를 사용하여 다양한 객체의 크기 및 모양을 검출한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증