[논문]딥러닝을 활용한 단안 카메라 기반 실시간 물체 검출 및 거리 추정

김현우; 박상현

doi:10.7746/jkros.2019.14.4.357

Abstract ▼ AI-Helper

This paper proposes a model and train method that can real-time detect objects and distances estimation based on a monocular camera by applying deep learning. It used YOLOv2 model which is applied to autonomous or robot due to the fast image processing speed. We have changed and learned the loss fun...

This paper proposes a model and train method that can real-time detect objects and distances estimation based on a monocular camera by applying deep learning. It used YOLOv2 model which is applied to autonomous or robot due to the fast image processing speed. We have changed and learned the loss function so that the YOLOv2 model can detect objects and distances at the same time. The YOLOv2 loss function added a term for learning bounding box values x, y, w, h, and distance values z as 클래스ification losses. In addition, the learning was carried out by multiplying the distance term with parameters for the balance of learning. we trained the model location, recognition by camera and distance data measured by lidar so that we enable the model to estimate distance and objects from a monocular camera, even when the vehicle is going up or down hill. To evaluate the performance of object detection and distance estimation, MAP (Mean Average Precision) and Adjust R square were used and performance was compared with previous research papers. In addition, we compared the original YOLOv2 model FPS (Frame Per Second) for speed measurement with FPS of our model.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 스테레오 카메라나 라이다, 레이더 등을 결합하여 물체검출과 거리 추출을 하던 방식을 대체할 단안 카메라 기반의 실시간 물체검출과 거리 추출을 하나의 모델에서 할 수 있는 방법을 제안한다. 또한 기존 물체 검출의 결과의 BBOX의 가로, 세로 값 기반으로 회귀 모델링하여 거리를 예측하는 방법보다 높은 성능을 내고자 물체검출과 함께 거리 추출을 같이 학습하고자 하였다.

제안 방법

이 학습 방법은 기존 물체 검출의 모델에서 Backbone Network를 변경하지 않고 출력 네트워크와 비용 함수만을 변경하여 학습함으로써 기존 검출모델의 장점을 살리며 거리 추출을 기능을 추가할 수 있다. 또한 거리 추출의 정확도를 높이고 카메라가 오르막이나 내리막에서의 변화되는 상황에서도 거리를 올바르게 추출하기 위해 학습에 사용된 데이터에서의 거리 값은 라이다로 취득한 값으로 학습 하고자 하였다. 때문에 학습 시 Annotation 파일에는 이미지에서 물체에 대한 BBOX (Bounding Box) 정보와 함께 라이다로 취득한 물체의 거리 값이 저장되어 있어야 한다.
본 논문에서는 딥러닝을 활용하여 단안 카메라 기반 물체 검출 및 거리추출을 실시간으로 하기 위해 기존 딥러닝 물체 검출 모델의 출력 레이어와 비용 함수만을 변경하여 학습하는 것을 제안한다. 변경된 출력 레이어와 비용함수로 학습을 하여 물체의 위치 및 물체의 종류 뿐 아닌 검출된 물체의 거리 정보를 하나의 모델에서 같이 추출할 수 있다.
이에 따라 실시간으로 단안 카메라 기반의 물체 검출 및 거리 추출을 하나의 모델에서 동시에 할 수 있으며 학습된 모든 클래스 별 물체의 거리 추출이 가능한 모델 및 학습 방법을 제안한다. 이 학습 방법은 기존 물체 검출의 모델에서 Backbone Network를 변경하지 않고 출력 네트워크와 비용 함수만을 변경하여 학습함으로써 기존 검출모델의 장점을 살리며 거리 추출을 기능을 추가할 수 있다. 또한 거리 추출의 정확도를 높이고 카메라가 오르막이나 내리막에서의 변화되는 상황에서도 거리를 올바르게 추출하기 위해 학습에 사용된 데이터에서의 거리 값은 라이다로 취득한 값으로 학습 하고자 하였다.

대상 데이터

KITTI 3D OBJECT DATA에서 제공하는 카메라의 이미지 데이터와 이미지 데이터 Annotation 파일은 본 논문에서 필요로 하는 이미지 객체에 대한 정보와 라이다로 취득한 객체의 거리값이 포함되어 있다. 그 때문에 KITTI 3D OBJECT DATA를 본 논문에서 제안하는 모델의 학습 및 검증 데이터로 활용하였으며 총 7,848장의 데이터에서 7,000장은 학습데이터로 1,000장은 검증데이터로 848장은 테스트 데이터로 사용하였다.

데이터처리

모델의 정확도를 확인하기 위해 차량 검출률 계산은 mAP(Mean Average Precision)을 사용하고 거리 정확도는 회귀의 정확도를 측정하는 Adjust R Square를 사용하였다. Adjust R Square 계산 시 미검출된 물체는 포함하지 않았다.

이론/모형

3.2에서 설명한 바와 같이 기본 YOLOv2의 출력 레이어와 비용 함수를 변경하고 KITTI 3D OBJECT DATA를 활용하여 학습하였다. 다음 [Fig.
변경된 출력 레이어와 비용함수로 학습을 하여 물체의 위치 및 물체의 종류 뿐 아닌 검출된 물체의 거리 정보를 하나의 모델에서 같이 추출할 수 있다. 본 논문에서 사용된 기초 물체 검출 모델은 이미지 프레임당 처리 속도가 높은 YOLOv2 모델을 사용한다. 학습 시 KITTI 3D OBJECT DATA를 활용하여 학습한 후 성능을 검증한다.

성능/효과

결과적으로 기존 딥러닝 물체검출 모델에서 출력 레이어와 비용함수를 변경하여 학습함으로써 물체 검출뿐 아니라 거리 추출이 가능하며 정확도 또한 기존 방법보다 높은 것을 확인 하였다. 그 뿐만 아니라 기존 모델의 속도인 FPS를 크게 저하시키지 않는다는 것을 확인 할 수 있다.
결과적으로 기존 딥러닝 물체검출 모델에서 출력 레이어와 비용함수를 변경하여 학습함으로써 물체 검출뿐 아니라 거리 추출이 가능하며 정확도 또한 기존 방법보다 높은 것을 확인 하였다. 그 뿐만 아니라 기존 모델의 속도인 FPS를 크게 저하시키지 않는다는 것을 확인 할 수 있다. 이러한 결과를 통해 기존 딥러닝 기반 물체 검출 모델에도 이러한 방법을 적용하면 물체 검출뿐 아닌 거리 추출이 가능할 것이다.

후속연구

추후 모델의 정확도를 높이고자 occlusion 영역은 Annotation 파일에 포함하지 않은 데이터를 확보하여 학습하고자 한다. 또한, YOLOv2 뿐 아닌, SSD, Faster R-CNN 등의 다른 모델에도 본 논문에서 제안하는 비용함수 및 학습 방법을 적용하여 모델별로 거리추출 성능을 비교 분석 후 AEB 시스템에 적용하여 실제 자동차에서 테스트 하고자 한다.
이러한 표기는 물체의 occlusion 영역을 나타낼 수 있으나 학습 시 동일 영역에서 같은 물체를 다른 거리 값으로 학습하기 때문에 모델의 성능을 감소시킬 수 있다. 추후 모델의 정확도를 높이고자 occlusion 영역은 Annotation 파일에 포함하지 않은 데이터를 확보하여 학습하고자 한다. 또한, YOLOv2 뿐 아닌, SSD, Faster R-CNN 등의 다른 모델에도 본 논문에서 제안하는 비용함수 및 학습 방법을 적용하여 모델별로 거리추출 성능을 비교 분석 후 AEB 시스템에 적용하여 실제 자동차에서 테스트 하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	ADAS 기능의 예시는?	이 센서들을 활용한 기술로 자동차의 운전자 안전 시스템인 ADAS (Advanced Driving Assistant System)가 있다 [1]. 대표적인 ADAS 기능중 차선 유지 시스템(Lane Keeping Assistant System), 적응형 순항 제어(Adaptive Cruise Control), 긴급 제동 보조 시스템(Autonomous Emergency Braking)등이 있다. 이중 차선 유지 시스템의 경우 단안 카메라만으로 기능구현이 가능하지만, 적응형 순항 제어나 긴급 제동 보조시스템의 경우 전방 물체의 거리값이 필요하여 단안 카메라만으로는 기능 구현이 어렵다.
	카메라 센서가 자율주행 자동차와 로봇의 주변 환경 인지 연구에서 사용되는 대표적인 센서인 이유는?	카메라 센서는 가격이 저렴하고 데이터 처리가 편리하고 물체검출에 용이하다는 장점이 있기 때문에 자율주행 자동차와 로봇의 주변 환경 인지 연구에서 사용되는 대표적인 센서이다. 그 외에 사용되는 센서는 라이다, 레이더 등이 있다.
	카메라 센서와 같이 주변 환경 인지 연구에서 사용되는 센서는?	카메라 센서는 가격이 저렴하고 데이터 처리가 편리하고 물체검출에 용이하다는 장점이 있기 때문에 자율주행 자동차와 로봇의 주변 환경 인지 연구에서 사용되는 대표적인 센서이다. 그 외에 사용되는 센서는 라이다, 레이더 등이 있다.

참고문헌 (15)

P. S. Heo, "A Study on the automotive ADAS market diffusion factors," Symposium of the Korean Institute of communications and Information Sciences, pp. 942-945, 2009.
I. M. Elzayat, M. A. Saad, M. M. Mostafa, R. M. Hassan, H. A. E. Munim, M. Ghoneima, M. S. Darweesh, and H. Mostafa, "Real-Time Car Detection-Based Depth Estimation Using Mono Camera," 2018 30th International Conference on Microelectronics (ICM), Sousse, Tunisia, 2018, DOI: 10.1109/ICM.2018.8704024.
Y. Cao, Z. Wu, and C. Shen, "Estimating depth from monocular images as classification using deep fully convolutional residual networks," IEEE Transactions on Circuits and Systems for Video Technology, vol. 28, no. 11, pp 3174-3182, 2018.

상세보기
A. Geiger, P. Lenz, and R. Urtasun, "Are we ready for autonomous driving? the KITTI vision benchmark suite," 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, pp. 3354-3361, 2012.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet Classification with Deep Convolutional," Advances in Neural Information Processing Systems 25 (NIPS 2012), pp. 1097-1105, 2012.
K. Simonyan and A. Zisserman. "Very deep convolutional networks for large-scale image recognition," arXiv:1409.1556 [cs.CV], 2015.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 2015, DOI: 10.1109/CVPR.2015.7298594.
K. He, X. Zhang, S. Ren, and J. Sun. "Deep residual learning for image recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, DOI: 10.1109/CVPR.2016.90.
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, and A. C. Berg, "SSD: Single shot multibox detector," Computer Vision - ECCV 2016, pp. 21-37, 2016.
S. Ren, K. He, R. Girshick, and J. Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," Advances in Neural Information Processing Systems 28 (NIPS 2015), pp. 91-99, 2015.
J. Redmon and A. Farhadi. "Yolo9000: Better, faster, stronger," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp. 6517-6525, 2017.
L.-C. Chen, G. Papandreou, F. Schroff, and H. Adam, "Rethinking atrous convolution for semantic image segmentation," arXiv: 1706.05587 [cs.CV], 2017.
H. Zhao, J. Shi, X. Qi, X. Wang, and J. Jia, "Pyramid scene parsing network," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017, DOI: 10.1109/CVPR.2017.660.
A. Toshev and C. Szegedy. "Deeppose: Human pose estimation via deep neural networks," 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, pp 1653-1660, 2014.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You only look once: unified, real-time object detection," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, DOI: 10.1109/CVPR.2016.91.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝을 활용한 단안 카메라 기반 실시간 물체 검출 및 거리 추정
Monocular Camera based Real-Time Object Detection and Distance Estimation Using Deep Learning 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝을 활용한 단안 카메라 기반 실시간 물체 검출 및 거리 추정 Monocular Camera based Real-Time Object Detection and Distance Estimation Using Deep Learning 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

박상현 (1)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝을 활용한 단안 카메라 기반 실시간 물체 검출 및 거리 추정
Monocular Camera based Real-Time Object Detection and Distance Estimation Using Deep Learning 원문보기

AI 본문요약
AI-Helper