본 논문에서는 자율주행 자동차에 물체를 인식하고 거리를 측정하는데 효율적인 센서 융합을 제안한다. 자율주행 자동차에 사용되는 대표적인 센서는 레이더, 라이다, 카메라이다. 이 중 라이다 센서는 차량 주변의 맵을 만드는 역할을 한다. 하지만 날씨 조건에 성능이 하락하고 센서의 가격이 매우 비싸다는 단점 있다. 본 논문에서는 이러한 단점을 보완하고자 비교적 저렴하고 눈, 비, 안개에 지장 없는 레이더 센서로 거리를 측정하며 차량 주변을 관찰한다. 물체 인식률이 뛰어난 카메라 센서를 융합하여 물체 인식 및 거리를 측정한다. 융합된 영상은 IP서버를 통해 실시간으로 스마트폰에 전송되어 현재 차량의 상황을 내부, 외부에서 판단하는 자율주행 보조 시스템에 사용될 수 있다.
본 논문에서는 자율주행 자동차에 물체를 인식하고 거리를 측정하는데 효율적인 센서 융합을 제안한다. 자율주행 자동차에 사용되는 대표적인 센서는 레이더, 라이다, 카메라이다. 이 중 라이다 센서는 차량 주변의 맵을 만드는 역할을 한다. 하지만 날씨 조건에 성능이 하락하고 센서의 가격이 매우 비싸다는 단점 있다. 본 논문에서는 이러한 단점을 보완하고자 비교적 저렴하고 눈, 비, 안개에 지장 없는 레이더 센서로 거리를 측정하며 차량 주변을 관찰한다. 물체 인식률이 뛰어난 카메라 센서를 융합하여 물체 인식 및 거리를 측정한다. 융합된 영상은 IP서버를 통해 실시간으로 스마트폰에 전송되어 현재 차량의 상황을 내부, 외부에서 판단하는 자율주행 보조 시스템에 사용될 수 있다.
In this paper, we propose an efficient sensor fusion method for autonomous vehicle recognition and distance measurement. Typical sensors used in autonomous vehicles are radar, lidar and camera. Among these, the lidar sensor is used to create a map around the vehicle. This has the disadvantage, howev...
In this paper, we propose an efficient sensor fusion method for autonomous vehicle recognition and distance measurement. Typical sensors used in autonomous vehicles are radar, lidar and camera. Among these, the lidar sensor is used to create a map around the vehicle. This has the disadvantage, however, of poor performance in weather conditions and the high cost of the sensor. In this paper, to compensate for these shortcomings, the distance is measured with a radar sensor that is relatively inexpensive and free of snow, rain and fog. The camera sensor with excellent object recognition rate is fused to measure object distance. The converged video is transmitted to a smartphone in real time through an IP server and can be used for an autonomous driving assistance system that determines the current vehicle situation from inside and outside.
In this paper, we propose an efficient sensor fusion method for autonomous vehicle recognition and distance measurement. Typical sensors used in autonomous vehicles are radar, lidar and camera. Among these, the lidar sensor is used to create a map around the vehicle. This has the disadvantage, however, of poor performance in weather conditions and the high cost of the sensor. In this paper, to compensate for these shortcomings, the distance is measured with a radar sensor that is relatively inexpensive and free of snow, rain and fog. The camera sensor with excellent object recognition rate is fused to measure object distance. The converged video is transmitted to a smartphone in real time through an IP server and can be used for an autonomous driving assistance system that determines the current vehicle situation from inside and outside.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러므로 레이더 데이터와 카메라 데이터를 융합하면 물체의 거리 및 인식에 정확성을 높일 수 있다. 본 논문에서는 센서 융합을 통해 물체 인식 및 거리 측정을 하는 알고리즘을 제안한다. 2장에서는 레이더 센서의 거리측정 기술을 소개하고, 3장에서는 딥러닝을 이용한 물체 인식을 소개한다.
본 논문은 물체 감지, 거리 측정, 센서 융합, 영상 스트리밍 이러한 모든 요소를 결합한 차량 감시 시스템을 제안한다. 실험 결과 제안한 알고리즘은 발생할 수 있는 사고와 지나간 사고를 정확하게 파악하고 효율적으로 증거자료를 수집할 수 있어 원인 규명할 수 있게 된다.
제안 방법
Mask와 반대되는 Mask_inv를 만들기 위해 Mask의 값을 반전시킨다. 마지막으로 and 연산과 Mask, Mask_inv를 이용하여 대상 영상은 삽입할 부분을, 삽입할 영상은 배경을 제거하여 겹치는 부분이 사라진 상태로 or 연산을 이용해 두 영상을 완전히 융합한다. 최종적으로 융합한 탑뷰 영상을 원본 사진에 넣기 위해 다시 한 번 어파인 변환하고 어파인한 영상을 비트 연산으로 재 융합한다[10].
YOLO v3로 학습한 영상은 물체 인식된 좌표에 맞게 상자를 만들어 주고 물체 이름을 기재한다. 마지막으로 영상 융합을 위해 YOLO 영상을 레이더 영상의 거리에 맞춰 탑뷰로 만드는 작업을 한다. 탑뷰는
최근 자율주행 시장동향을 보면 카메라, 레이더, 라이다, 초음파와 같은 여러 가지 센서를 융합하여 사용한다. 센서들을 이용해 물체를 식별하고 주행 환경도 판단한다. 그 중 보행자, 자동차, 동물과 같이 움직이는 것을 판단하는 것이 가장 중요하다.
대상 데이터
로 표기 했다. 논문의 개발은 76-81GHz의 주파수 범위를 가진 밀리미터파 레이더 모듈을 사용하여 수행하였다. 경사의 시작과 끝 사이의 주파수 간격을 나타내는 주파수 스윕 대역폭은 B이다.
카메라 BRIO 4K PRO와 레이더 AWR1843BOOST를 설치해 실험 데이터를 얻는다. 실험 데이터는 라우터 WR246를 통해 스마트폰으로 전송 되며 전송 FPS는 30프레임이다.
입력 모양의 이미지 배치는 (m, 416, 416, 3)이다. 출력은 인식 된 클래스와 함께 바운딩 박스 목록입니다.
실험에 사용된 시스템의 사양은 표1 과 같다. 카메라 BRIO 4K PRO와 레이더 AWR1843BOOST를 설치해 실험 데이터를 얻는다. 실험 데이터는 라우터 WR246를 통해 스마트폰으로 전송 되며 전송 FPS는 30프레임이다.
이론/모형
본 논문에서는 Python 환경에서 OpenCV라이브러리를 사용한다. 실험에 사용된 시스템의 사양은 표1 과 같다.
성능/효과
본 논문은 물체 감지, 거리 측정, 센서 융합, 영상 스트리밍 이러한 모든 요소를 결합한 차량 감시 시스템을 제안한다. 실험 결과 제안한 알고리즘은 발생할 수 있는 사고와 지나간 사고를 정확하게 파악하고 효율적으로 증거자료를 수집할 수 있어 원인 규명할 수 있게 된다. 또한 무인 자동차 개발에 적용할 수 있을 것으로 판단된다.
후속연구
실험 결과 제안한 알고리즘은 발생할 수 있는 사고와 지나간 사고를 정확하게 파악하고 효율적으로 증거자료를 수집할 수 있어 원인 규명할 수 있게 된다. 또한 무인 자동차 개발에 적용할 수 있을 것으로 판단된다.
질의응답
핵심어
질문
논문에서 추출한 답변
라이다 센서의 역할은?
자율주행 자동차에 사용되는 대표적인 센서는 레이더, 라이다, 카메라이다. 이 중 라이다 센서는 차량 주변의 맵을 만드는 역할을 한다. 하지만 날씨 조건에 성능이 하락하고 센서의 가격이 매우 비싸다는 단점 있다.
자동차의 레이더가 자융주행에 핵심적인 센서인 이유는?
자동차의 레이더는 자율주행에 핵심적인 센서 중 하나이다. 왜냐하면 안개, 비, 눈 등 모든 환경 조건에 가장 높은 내성을 가지고 있기 때문이다. 일반적으로 사용되는 FMCW 레이더는 주파수 변조 연속파 신호이다.
최근 자율주행에서 사용하는 센서는?
최근 자율주행 시장동향을 보면 카메라, 레이더, 라이다, 초음파와 같은 여러 가지 센서를 융합하여 사용한다. 센서들을 이용해 물체를 식별하고 주행 환경도 판단한다.
참고문헌 (10)
Alex Krizhevsky, Ilya Sutskever and Geoffrey E. Hinton, "Imagenet classification with deep convolutional neural networks," Advances in neural information processing systems, 2012. DOI: 10.1145/3065386
Ross Girshick, Jeff Donahue, Trevor Darrell and Jitendra Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," Proceedings of the IEEE conference on computer vision and pattern recognition, 2014. DOI: 10.1109/cvpr.2014.81
Shaoqing Ren, Kaiming He, Ross Girshick and Jian Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.39, No.6, pp.1137-1149, 2017. DOI: 10.1109/TPAMI.2016.2577031
Kaiming He, Georgia Gkioxari, Piotr Dollar and Ross Girshick, "Mask r-cnn," Proceedings of the IEEE international conference on computer vision, 2017. DOI: 10.1109/iccv.2017.322
A. G. Stove, "Linear FMCW radar techniques," IEE Proceedings F-Radar and Signal Processing, Vol.139, pp.343-350, 1992. DOI: 10.1049/ip-f-2.1993.0019
Jau-Jr Lin, Yuan-Ping Li, Wei-Chiang Hsu and Ta-Sung Lee, "Design of an FMCW radar baseband signal processing system for automotive application," SpringerPlus, Vol.5, pp.42, 2016. DOI: 10.1186/s40064-015-1583-5
Redmon, Joseph, and Ali Farhadi. "Yolov3: An incremental improvement," arXiv preprint arXiv:1804.02767 2018.
Gareth Dwyer, Jack Stouffer and Shalabh Aggarwal, Flask : building Python web services, Packt Publishing, 2017.
Hyunggi Cho, Young-Woo Seo, B.V.K. Vijaya Kumar and Ragunathan Raj Rajkumar, "A multi-sensor fusion system for moving object detection and tracking in urban driving environments," 2014 IEEE International Conference on Robotics and Automation (ICRA), pp.1836-1843, 2014. DOI: 10.1109/ICRA.2014.6907100
Ricardo Omar Chavez-Garcia and Olivier Aycard, "Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking," IEEE Transactions on Intelligent Transportation Systems, Vol.17, No.2, pp.525-534, 2016. DOI: 10.1109/TITS.2015.2479925
※ AI-Helper는 부적절한 답변을 할 수 있습니다.