초록 ▼

CNN을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법 및 장치가 제시된다. 본 발명에서 제안하는 CNN을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법은 반사율 및 거리 정보를 포함하는 PCD(Point Cloud Data)와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계, PCD와 영상 데이터에 기초하여 학습된 각각의 객체 탐지 모델에서의 객체에 대한 경계상자와 신뢰도 점수를 예측하는 단계 및 객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체

CNN을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법 및 장치가 제시된다. 본 발명에서 제안하는 CNN을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법은 반사율 및 거리 정보를 포함하는 PCD(Point Cloud Data)와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계, PCD와 영상 데이터에 기초하여 학습된 각각의 객체 탐지 모델에서의 객체에 대한 경계상자와 신뢰도 점수를 예측하는 단계 및 객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체에 대한 신뢰도 점수를 기반으로 가중평균을 통해 최종 경계상자를 결정하는 단계를 포함한다

대표청구항 ▼

반사율 및 거리 정보를 포함하는 PCD(Point Cloud Data)와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계; PCD와 영상 데이터에 기초하여 학습된 각각의 객체 탐지 모델에서의 객체에 대한 경계상자와 신뢰도 점수를 예측하는 단계; 및 객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체에 대한 신뢰도 점수를 기반으로 가중평균을 통해 최종 경계상자를 결정하는 단계 를 포함하고, 반사율 및 거리 정보를 포함하는 PCD와 영상 데이터에 기초하여 CNN 기반의 복수의

반사율 및 거리 정보를 포함하는 PCD(Point Cloud Data)와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계; PCD와 영상 데이터에 기초하여 학습된 각각의 객체 탐지 모델에서의 객체에 대한 경계상자와 신뢰도 점수를 예측하는 단계; 및 객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체에 대한 신뢰도 점수를 기반으로 가중평균을 통해 최종 경계상자를 결정하는 단계 를 포함하고, 반사율 및 거리 정보를 포함하는 PCD와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계는, RGB 카메라의 시야각과 동일한 전면뷰로 투영하는 변환과정을 통해 PCD의 차원과 좌표계를 영상 데이터와 같은 2차원 픽셀 좌표계로 변환하는 전처리 수행 후, 영상 데이터, 깊이 맵, 반사율 맵으로 분류된 데이터에 기초하여 각각의 객체 탐지 모델을 통해 학습을 수행하고, 전처리 수행 후, 영상 데이터, 깊이 맵, 반사율 맵에 기초하여 각각의 객체 탐지 모델 C-YOLO, D-YOLO, R-YOLO를 통해 학습을 진행하고, 영상 데이터, 깊이 맵, 반사율 맵으로 분류되어 개별적으로 학습된 각각의 데이터에 대해 최적화된 파라미터를 이용하여 독립적으로 객체 탐지를 진행하며,객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체에 대한 신뢰도 점수를 기반으로 가중평균을 통해 최종 경계상자를 결정하는 단계는,각각의 객체 탐지 모델에서의 객체에 대한 경계상자들의 신뢰도 점수에 따라 가중된 평균값을 갖고, 각각의 경계상자의 기하학적 정보만을 기초로 하여 하나의 경계상자로 융합하고,하나의 경계상자로 융합할 때, 상기 C-YOLO, D-YOLO, R-YOLO 모델이 모두 객체를 탐지한 경우, 또는 상기 C-YOLO, D-YOLO, R-YOLO 모델 중 적어도 하나 이상의 모델이 객체를 탐지한 경우에 따라 복수의 격자 구역 중 중심점이 격자 구역 내부에 포함된 후보 경계상자의 개수 및 분류 가능한 객체의 개수를 이용하여 구한 길이를 갖는 텐서가 모든 격자 구역에 대한 예측을 진행한 이후 경계상자에 객체가 포함되는 확률과 포함된 객체가 어떤 객체일지를 나타내는 객체를 분류하기 위한 신뢰도 점수로 확장하여 예측되는 경계상자 내부에 객체가 포함될 확률과 분류되는 객체가 실제값과 일치하는 확률을 모두 나타내는 값을 계산하고, 최종적으로 분류되는 객체에 대하여 입력 텐서의 예측된 후보 경계상자 중에서 가장 높은 계산 값을 가진 후보 경계상자를 해당 객체의 경계상자로 선택하는 실시간 객체 탐지 방법.