초록 ▼

본 발명은 카메라 및 라이다 센서를 이용하는 장애물 인식 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 라이다센서 및 카메라센서를 포함하는 장애물 인식 장치를 이용한 장애물 인식 방법에 있어서, 장애물 인식 방법은 상기 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 단계, 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 단계, 상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출

본 발명은 카메라 및 라이다 센서를 이용하는 장애물 인식 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 라이다센서 및 카메라센서를 포함하는 장애물 인식 장치를 이용한 장애물 인식 방법에 있어서, 장애물 인식 방법은 상기 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 단계, 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 단계, 상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출하는 단계, 상기 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성하는 단계, 기 설정된 딥러닝 알고리즘을 통해 상기 검출된 2차원 좌표와 상기 재구성영상데이터의 좌표를 비교하여 특징점을 검출하는 단계, 그리고 상기 검출된 특징점을 이용하여 상기 재구성영상데이터로부터 상기 피사체를 인식하는 단계를 포함한다. 이와 같이 본 발명에 따르면, 기존의 단일 센서를 이용하는 객체 인식 기술보다 객체의 인식률을 향상시킬 수 있다. 또한 카메라 영상의 전체 지역을 탐지 대상으로 하지 않고 라이다를 통해 탐색 영역을 줄임으로써 객체 인식 속도를 크게 향상시킬 수 있다.

대표청구항 ▼

라이다센서 및 카메라센서를 포함하는 장애물 인식 장치를 이용한 장애물 인식 방법에 있어서, 상기 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 단계, 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 단계, 상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출하는 단계, 상기 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성하는 단계, 기 설정된 딥러닝 알고리즘을 통해 상기 검출된

라이다센서 및 카메라센서를 포함하는 장애물 인식 장치를 이용한 장애물 인식 방법에 있어서, 상기 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 단계, 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 단계, 상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출하는 단계, 상기 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성하는 단계, 기 설정된 딥러닝 알고리즘을 통해 상기 검출된 2차원 좌표와 상기 재구성영상데이터의 좌표를 비교하여 특징점을 검출하는 단계, 그리고 상기 검출된 특징점을 기 저장된 딥러닝 학습 알고리즘에 입력하여 상기 피사체의 종류를 분류하고, 상기 특징점에 대응하는 재구성영상데이터의 좌표에 위치한 피사체를 상기 분류된 종류의 장애물로 인식하는 단계를 포함하는 장애물 인식 방법.