초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

카메라 센서를 중심으로 구성된 인지 시스템은 주행 환경에서 마주칠 수 있는 태양의 역광, 날씨 등의 환경에 민감하므로 안정적인 인지 시스템을 구현하기에는 어려움을 가진다. 이를 극복하기 위해 서로 다른 센서를 함께 사용하는 센서 퓨전 연구가 대두되고 있다. 대표적으로 카메라 센서와 라이다 센서를 융합하여 사용하는 방법이 존재한다. 카메라 센서 같은 경우는 가격이 저렴하고 주변 물체의 식별과 색상을 파악할 수 있다는 장점이 있지만, 역광 등과 날씨와 같은 주행 상태의 환경이 매우 민감하고 물체와의 거리를 알 수 없다는 한계점을 가진다. 라이다 센서는 최근 자율주행 시스템에서 꼭 필요한 기술로 꼽히며 주변 물체와의 거리나 형상을 정확히 알 수 있고, 야간 주행이나 역광 등으로부터 강인하다는 특징이 있지만, 센서 특성상 표현이 ...

카메라 센서를 중심으로 구성된 인지 시스템은 주행 환경에서 마주칠 수 있는 태양의 역광, 날씨 등의 환경에 민감하므로 안정적인 인지 시스템을 구현하기에는 어려움을 가진다. 이를 극복하기 위해 서로 다른 센서를 함께 사용하는 센서 퓨전 연구가 대두되고 있다. 대표적으로 카메라 센서와 라이다 센서를 융합하여 사용하는 방법이 존재한다. 카메라 센서 같은 경우는 가격이 저렴하고 주변 물체의 식별과 색상을 파악할 수 있다는 장점이 있지만, 역광 등과 날씨와 같은 주행 상태의 환경이 매우 민감하고 물체와의 거리를 알 수 없다는 한계점을 가진다. 라이다 센서는 최근 자율주행 시스템에서 꼭 필요한 기술로 꼽히며 주변 물체와의 거리나 형상을 정확히 알 수 있고, 야간 주행이나 역광 등으로부터 강인하다는 특징이 있지만, 센서 특성상 표현이 Sparse 하다는 단점을 가지고 있으며, 멀리 떨어진 물체일수록 분해능이 떨어져 분류 성능이 떨어진다는 단점을 가진다. 따라서 안정적인 자율주행 인지 시스템을 위해서는 각 센서의 단점을 보완할 센서 퓨전이 필요하다.
본 연구에서는 센서 간의 단점을 극복하기 위해 센서 퓨전을 활용한 객체 검출 모델 LiDAR Camera Fusion Network를 제안한다. 본 모델은 LiDAR 센서에서 추출되는 LiDAR Point 데이터를 이용하여 객체의 위치를 추정한 후 객체를 판별하는 2-Stage Detector 방식을 사용하며 R-CNN 구조와 Fast R-CNN 구조를 참고하였다.
본 모델의 검출 방법은 다음과 같다. 먼저, 객체의 위치를 추정하기 위해 LiDAR Point 데이터에서 Clustering과 전처리를 사용하여 객체를 분류한다. 이때 분류된 객체들에서 배경과 객체를 분류하기 위해 분류된 군체의 규모를 비교하여 배경과 객체를 구분해준다. 구분된 Lidar Point는 LiDAR 좌표계에 있는 Cluster이고 이를 토대로 객체의 위치를 추정해주기 위해 Cluster를 Camera 좌표계로 변환해준다. 변환된 Lidar Point는 3D에서 2D로 변환되게 되며 이를 이미지에 Projection 해줘 최종적으로 객체의 위치 후보군을 추출한다. 마지막으로 추출된 후보군의 IoU를 계산하여 학습에 사용할 데이터를 백본 네트워크로 전달하여 학습 및 추론을 진행한다.
본 논문에서는 학습을 위하여 자율주행 분야 실험에서 사용되는 KiTTi- Dataset을 사용하였으며, 모델의 정확한 검증을 위해 Dataset을 Train, Validation, Test로 나누어 학습을 진행하며, 사용되는 백본 네트워크는 VGG, ResNet 모델을 사용한다.
본 연구에서 개발된 LiDAR Camera Fusion Network는 센서 퓨전을 통해 LiDAR Clustering을 사용하는 방법으로 객체의 위치를 추정한다. 해당 모델은 환경 변화에 강건한 LiDAR 센서를 객체 위치 추정에 사용함으로써 안정적인 객체 위치 추정을 할 수 있었으며, 2-Stage Detector에서 사용되던 Selective Search보다 빠르고 효율적인 학습 및 검출을 할 수 있었고 RPN(Region Proposal Network)과 같이 사전 학습을 하지 않아도 사용할 수 있다는 장점을 가질 수 있었다. 전체적인 실험 결과는 센서 퓨전을 적용한 본 모델이 객체 검출과 동시에 객체와의 정확한 거리 추정을 수행할 수 있음을 보여준다.

주제어