스마트차량은 환경 감지, 경로 비전, 스마트 의사 결정, 행위 제어 등의 기능을 갖춘 차량이다. 스마트 교통 시스템(ITS, Intelligent Transport System)의 중요한 구성 부분으로서 교통 정체를 완화하고 양호한 교통 환경을 조성하는 데 가장 중요한 역할을 할 수 있습니다. 환경 감지는 라이다와 카메라, ...
스마트차량은 환경 감지, 경로 비전, 스마트 의사 결정, 행위 제어 등의 기능을 갖춘 차량이다. 스마트 교통 시스템(ITS, Intelligent Transport System)의 중요한 구성 부분으로서 교통 정체를 완화하고 양호한 교통 환경을 조성하는 데 가장 중요한 역할을 할 수 있습니다. 환경 감지는 라이다와 카메라, GPS 센서를 통해 외부 환경 정보를 전달받고 이를 메인 시스템으로 전송해 처리하는 데 가장 중요한 부분이다. 라이다는 거리 측정, 빠른 속도, 높은 정밀도, 환경 영향을 덜 받는 등의 장점이 있다. 카메라는 색상 정보와 보행자 식별 기능을 제공할 수 있다. 따라서 본 논문에서는 라이다와 카메라의 융합을 통해 차량, 보행자 등의 검출 연구를 통해 두 가지 융합 검출 알고리즘을 개발고자 한다. 카메라는 보행자를 식별하여 검사한다. 각각 전통검의 DPM 알고리즘을 이용해 딥러닝에 기반한 YOLO와 SSD 알고리즘이 보행자를 식별합니다. 라이다는 보행자 거리를 제공합니다. 라이다 원시 데이터의 축방향 거리를 제한함으로써 주위의 효율적인 데이터를 유지하고, 평면 분할 알고리즘에 기초하여 보행자 점 구름을 지면 점 구름과 분할하여 지상 점 구름 데이터를 걸러내고, 표적 구름을 설계한다. 그리고 라이다와 카메라의 결합을 통해 점 구름의 3차원 정보를 이미지의 2차원 좌표에 투영시켜 레이저 점 구름과 이미지를 통합함으로써 보행자를 식별하고 보행자의 거리 정보를 얻게 된다. 데이터의 입력 포맷 변환은 필요하지 않으며, 직접 포인트넷에 기반한 분할 네트워크와 3D 경계 프레임 평가 네트워크가 포인트 클라우드 데이터 중 3D 표적 검출을 토해 객체 검출 성능을 향상시키고자 한다.
스마트차량은 환경 감지, 경로 비전, 스마트 의사 결정, 행위 제어 등의 기능을 갖춘 차량이다. 스마트 교통 시스템(ITS, Intelligent Transport System)의 중요한 구성 부분으로서 교통 정체를 완화하고 양호한 교통 환경을 조성하는 데 가장 중요한 역할을 할 수 있습니다. 환경 감지는 라이다와 카메라, GPS 센서를 통해 외부 환경 정보를 전달받고 이를 메인 시스템으로 전송해 처리하는 데 가장 중요한 부분이다. 라이다는 거리 측정, 빠른 속도, 높은 정밀도, 환경 영향을 덜 받는 등의 장점이 있다. 카메라는 색상 정보와 보행자 식별 기능을 제공할 수 있다. 따라서 본 논문에서는 라이다와 카메라의 융합을 통해 차량, 보행자 등의 검출 연구를 통해 두 가지 융합 검출 알고리즘을 개발고자 한다. 카메라는 보행자를 식별하여 검사한다. 각각 전통검의 DPM 알고리즘을 이용해 딥러닝에 기반한 YOLO와 SSD 알고리즘이 보행자를 식별합니다. 라이다는 보행자 거리를 제공합니다. 라이다 원시 데이터의 축방향 거리를 제한함으로써 주위의 효율적인 데이터를 유지하고, 평면 분할 알고리즘에 기초하여 보행자 점 구름을 지면 점 구름과 분할하여 지상 점 구름 데이터를 걸러내고, 표적 구름을 설계한다. 그리고 라이다와 카메라의 결합을 통해 점 구름의 3차원 정보를 이미지의 2차원 좌표에 투영시켜 레이저 점 구름과 이미지를 통합함으로써 보행자를 식별하고 보행자의 거리 정보를 얻게 된다. 데이터의 입력 포맷 변환은 필요하지 않으며, 직접 포인트넷에 기반한 분할 네트워크와 3D 경계 프레임 평가 네트워크가 포인트 클라우드 데이터 중 3D 표적 검출을 토해 객체 검출 성능을 향상시키고자 한다.
IV(Intelligent Vehicle) are vehicles with functions such as environmental awareness, path planning, intelligent decision-making, and behavior control. As an important part of ITS (Intelligent Transport System), it can play a vital role in alleviating traffic pressure and creating a good traffic envi...
IV(Intelligent Vehicle) are vehicles with functions such as environmental awareness, path planning, intelligent decision-making, and behavior control. As an important part of ITS (Intelligent Transport System), it can play a vital role in alleviating traffic pressure and creating a good traffic environment. Environmental perception is one of the most important links. It obtains external environmental information through lidar, camera, and GPS sensors, and transmits the information to the main system for processing. Lidar has the advantages of long measurement distance, fast measurement speed, high accuracy, and less environmental impact. The camera can provide color information and object recognition. Therefore, this dissertation studies the fusion of lidar and camera for object detection, and studies two types of fusion detection algorithms. The camera recognizes and detects objects. DPM algorithm using traditional detection, YOLO and SSD algorithm based on deep learning are used to identify objects. Lidar provides object distance. By limiting the axial distance of the lidar raw data, the surrounding valid lidar data is retained; based on the plane segmentation algorithm, the object point cloud is separated from the ground point cloud, and the ground point cloud data is filtered out; the target point is designed using the European distance theory Cloud clustering algorithm for distance detection of objects. Then through laser radar and camera calibration, the 3D information of the point cloud is mapped to the 2D coordinates of the picture, and the fusion of the laser point cloud and the image is realized, so that the object is identified and the distance information of the object is obtained. There is no need to transform the input format of point cloud data, and the 3D object detection in point cloud data is directly implemented by the PointNet-based segmentation network and 3D bounding box evaluation network.
IV(Intelligent Vehicle) are vehicles with functions such as environmental awareness, path planning, intelligent decision-making, and behavior control. As an important part of ITS (Intelligent Transport System), it can play a vital role in alleviating traffic pressure and creating a good traffic environment. Environmental perception is one of the most important links. It obtains external environmental information through lidar, camera, and GPS sensors, and transmits the information to the main system for processing. Lidar has the advantages of long measurement distance, fast measurement speed, high accuracy, and less environmental impact. The camera can provide color information and object recognition. Therefore, this dissertation studies the fusion of lidar and camera for object detection, and studies two types of fusion detection algorithms. The camera recognizes and detects objects. DPM algorithm using traditional detection, YOLO and SSD algorithm based on deep learning are used to identify objects. Lidar provides object distance. By limiting the axial distance of the lidar raw data, the surrounding valid lidar data is retained; based on the plane segmentation algorithm, the object point cloud is separated from the ground point cloud, and the ground point cloud data is filtered out; the target point is designed using the European distance theory Cloud clustering algorithm for distance detection of objects. Then through laser radar and camera calibration, the 3D information of the point cloud is mapped to the 2D coordinates of the picture, and the fusion of the laser point cloud and the image is realized, so that the object is identified and the distance information of the object is obtained. There is no need to transform the input format of point cloud data, and the 3D object detection in point cloud data is directly implemented by the PointNet-based segmentation network and 3D bounding box evaluation network.
주제어
#Keywords: Intelligent Vehicle Camera Lidar Calibration Fusion Object detection PointNet
학위논문 정보
저자
추려결
학위수여기관
전남대학교 대학원
학위구분
국내석사
학과
전자컴퓨터공학과
지도교수
최수일
발행연도
2020
총페이지
72
키워드
Keywords: Intelligent Vehicle Camera Lidar Calibration Fusion Object detection PointNet
※ AI-Helper는 부적절한 답변을 할 수 있습니다.