[논문]교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지

강지수; 심세은; 조선문; 정경용

doi:10.22156/cs4smb.2020.10.08.040

교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지
Yolo based Light Source Object Detection for Traffic Image Big Data Processing 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.10 no.8, 2020년, pp.40 - 46

강지수 (경기대학교 컴퓨터과학과) , 심세은 (경기대학교 컴퓨터공학부) , 조선문 (배재대학교 IT교육학과) , 정경용 (경기대학교 컴퓨터공학부)

초록
AI-Helper

교통안전에 대한 관심이 높아짐에 따라 교통사고의 발생률을 줄이는 자율 주행에 대한 연구가 지속적으로 진행되고 있다. 객체의 인식과 탐지는 자율 주행을 위한 필수적인 요소이다. 때문에 도로 상황을 판단하기 위하여 교통 영상 빅데이터에서 객체 인식 및 탐지에 대한 연구가 활발히 진행 중이다. 하지만 기존 연구들은 대부분 주간 데이터만 사용하기 때문에 야간 도로에서 객체 인식이 어렵다. 특히 광원 객체의 경우 빛 번짐과 백화 현상으로 인해 주간의 특징을 그대로 사용하기 어렵다. 따라서 본 연구에서는 교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지를 제안한다. 제안하는 방법은 야간 교통 영상을 대상으로 색상 모델 변화를 적용하여 이미지 처리를 수행한다. 이미지 처리를 통해서 객체의 특징을 추출하여 객체의 후보군을 결정한다. 후보군 데이터를 활용하여 딥러닝 모델을 통해 야간 도로에서 광원 객체 탐지의 인식률을 높이는 것이 가능하다.

Abstract ▼ AI-Helper

As interest in traffic safety increases, research on autonomous driving, which reduces the incidence of traffic accidents, is increased. Object recognition and detection are essential for autonomous driving. Therefore, research on object recognition and detection through traffic image big data is being actively conducted to determine the road conditions. However, because most existing studies use only daytime data, it is difficult to recognize objects on night roads. Particularly, in the case of a light source object, it is difficult to use the features of the daytime as it is due to light smudging and whitening. Therefore, this study proposes Yolo based light source object detection for traffic image big data processing. The proposed method performs image processing by applying color model transitions to night traffic image. The object group is determined by extracting the characteristics of the object through image processing. It is possible to increase the recognition rate of light source object detection on a night road through a deep learning model using candidate group data.

주제어

표/그림 (4)

그림 Fig 1. Traffic lights in daytime and nighttime
그림 Fig 2. Image processing result of converting the input traffic image data
그림 Fig 3. Process of Yolo based Light Source Object Detection for Traffic Image Big Data Processing
표 Table 1. Accuracy of Light Source Object Detection via Color Model in Nighttime

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한 야간도로상황에서 신호등과 가로등 같은 광원 객체는 데이터에 노이즈와 간섭이 발생하여 탐지가 어렵다[6]. 따라서 본 연구에서는 교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지를 제안한다. 제안하는 방법으로 빛 번짐 현상과 퍼짐 현상을 보정하고 최적화함으로써 야간 도로상황에서 광원 객체 탐지의 한계점을 극복한다.
또한 광원 객체는 빛 번짐과 백화 현상에 의해 특징 추출이 어렵다. 본 연구에서는 야간 발광 객체의 탐지 인식률을 높이는 방법을 개발하였다. 이는 교통 영상을 특징 추출과 분류가 용이한 HSV 색상 모델로 변환하고 YCbCr 색상 모델을 적용하여 밝기의 성분 분석을 통해 빛 번짐과 백화 현상을 보완한다.

가설 설정

그림 2의 (c)는 (b)의 HSV 색상 모델에서 YCbCr 색상으로 변환한 이미지이다. 이 이미지의 경우 (b)보다 빛 번짐 현상이 줄어든다. HSV 색상 모델로 효과적으로 분류하고, YCbCr 색상 모델의 밝기와 색차 성분을 분석하여 이미지 처리함으로써 야간도로에서 광원 객체의 빛 번짐 현상을 보정하고 광원 객체를 정확하게 탐지하기 용이하게 교통 영상을 처리한다.

제안 방법

신호등 후보군을 생성하는 과정에서는 컬러 점수를 도입하여 신호 등의 후보 픽셀 유무를 판단한다. HIS컬러 모델에서 색상별로 임계 범위를 설정하고, 컬러에 점수를 매김으로써 해당 픽셀이 신호등일 확률을 계산한다. 단순히 실시간으로 신호등 객체 인식뿐만 아니라 계산한 컬러 점수를 통해서 신호등의 색상을 분류한다.
이 이미지의 경우 (b)보다 빛 번짐 현상이 줄어든다. HSV 색상 모델로 효과적으로 분류하고, YCbCr 색상 모델의 밝기와 색차 성분을 분석하여 이미지 처리함으로써 야간도로에서 광원 객체의 빛 번짐 현상을 보정하고 광원 객체를 정확하게 탐지하기 용이하게 교통 영상을 처리한다.
딥러닝 모델은 실시간 탐지에 적합한 Yolo[8]를 기반 모델로 사용하였고, 정확도를 높이기 위해서 그리드 사이즈를 최적화하여 변경한다. 가중치 계층과 완전 합성곱 계층, 단순 합성곱 계층으로 모델을 구성하여 탐지와 추적을 수행한다. 설계된 Yolo 기반 딥러닝 모델을 사용하여 높은 정확도와 실시간 기능을 제공한다.
입력된 이미지를 고정된 그리드 셀로 나누어 물체의 중심 위치를 찾는다. 각 그리드에 대해서 그리드 중앙을 중심으로 미리 지정된 형태의 지정 경계 박스의 개수를 예측하고 예측된 박스를 기반으로 신뢰도를 계산한다. 신뢰도가 높을수록 경계 박스는 진하게 나타난다.
[11]은 딥러닝 방법을 이용하여 실시간 신호등을 탐지하고 추적하는 시스템을 제안했다. 딥러닝 모델은 실시간 탐지에 적합한 Yolo[8]를 기반 모델로 사용하였고, 정확도를 높이기 위해서 그리드 사이즈를 최적화하여 변경한다. 가중치 계층과 완전 합성곱 계층, 단순 합성곱 계층으로 모델을 구성하여 탐지와 추적을 수행한다.
또한 YCbCr의 Y값은 광원 단위 면적에서 단위 입체각으로 발산하는 빛의 양을 의미하기 때문에 YCbCr모델을 이용하여 빛 번짐 현상의 보완이 가능하다. 따라서 HSV 색상 모델을 통해 색을 효과적으로 분류하고, YCbCr의 밝기와 색차 성분을 분석하여 야간도로에서 광원 객체의 빛 번짐 현상을 보정한다. 이를 통해 딥러닝 모델의 학습 과정에서 광원 객체의 특징을 추출하기 적합한 영상으로 변환하는 것이 가능하다.
딥러닝 모델이 학습 과정에서 야간도로의 광원 객체의 특징을 추출하기 용이하도록 이미지를 처리해야 한다. 따라서 본 연구에서는 HSV 모델로 전처리된 입력 영상을 YCbCr 색상 모델을 이용하여 변환하여 이미지를 처리함으로써 딥러닝 학습에 적합하게 구성한다. HSV 모델은 색상(Hue), 채도(Saturation), 명도(Value)의 좌표를 사용해서 특정한 색을 지정하는 방법으로 인간의 색 인식에 기반을 둔 색상 모델이다[12].
또한 신호등의 색상은 전체 프레임에서 작은 부분을 차지하는 class 불균형 문제가 있다. 따라서 작은 프레임도 탐지가 가능하고, 많은 파라미터 수에도 성능을 높게 유지하는 CSPDarknet53 모델을 사용하여 신호등 탐지와 색상의 분류를 수행한다. 활성화 함수는 LeakyReLU를 사용하여 경사가 음수인 경우도 고려하기 때문에 loss를 줄인다.
또한 전체 이미지에서 일부분을 의도적으로 가려 물체의 전체 구조를 보존하는 Random Erasing 방식을 사용한다. 또한, 임의로 지정된 영역의 픽셀에 값을 다시 할당하고, 가려진 부분을 통해서 이미지에 노이즈를 가하여 과적합 문제를 예방한다. 또한 배치 정규화를 사용하여 학습률을 높임으로써 속도와 정확도에 대한 성능을 향상시킨다[13].
가중치 계층과 완전 합성곱 계층, 단순 합성곱 계층으로 모델을 구성하여 탐지와 추적을 수행한다. 설계된 Yolo 기반 딥러닝 모델을 사용하여 높은 정확도와 실시간 기능을 제공한다.
그림 3은 제안하는 교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지의 흐름도이다. 원본의 교통 도로 영상에서 RGB 픽셀 값을 추출하여 RGB 색상 모델에서 HSV 색상 모델로 변환해준다. HSV 모델로 변환된 이미지를 YCbCr 색상 모델로 변환하여 특징 추출을 원활하게 한다.
본 연구에서는 야간 발광 객체의 탐지 인식률을 높이는 방법을 개발하였다. 이는 교통 영상을 특징 추출과 분류가 용이한 HSV 색상 모델로 변환하고 YCbCr 색상 모델을 적용하여 밝기의 성분 분석을 통해 빛 번짐과 백화 현상을 보완한다. Yolo 기반 딥러닝 모델을 Random Erasing 방법을 이용하여 학습시키고 학습 속도와 성능을 향상시키기 위해서 배치 정규화를 사용한다.
Yolo 기반 딥러닝 모델을 Random Erasing 방법을 이용하여 학습시키고 학습 속도와 성능을 향상시키기 위해서 배치 정규화를 사용한다. 작은 객체의 탐지가 가능한 CSPDarknet53기반 모델을 이용하여 클래스 불균형 문제를 해결한다. 따라서 효율적인 교통 영상에서 광원 객체 탐지를 통해서 자율 주행의 핵심 부분인 신호등 인식 단계의 인식률을 높이고 주간 도로 상황뿐만 아니라 야간 도로상황에서도 적용이 가능하다.
따라서 본 연구에서는 교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지를 제안한다. 제안하는 방법으로 빛 번짐 현상과 퍼짐 현상을 보정하고 최적화함으로써 야간 도로상황에서 광원 객체 탐지의 한계점을 극복한다. 야간에서 최적화된 광원 객체 탐지를 통해 신호등 교통신호관련 정보를 제공하여 큰 비중을 차지하는 교통신호 위반 사고를 줄이는 등 다양한 환경에서 적용한다.

대상 데이터

Berkely DeepDrive에서 공개한 BDD100K Tracking Challenge 데이터 셋을 사용한다[9]. BDD100K 데이터 셋의 경우 5만개의 자동차를 통해 미국 뉴욕, 샌프란시스코 해안가 등의 지역에서 촬영된 영상이다. 데이터는 날씨, 위치, 시간대로 구성된다.
Berkely DeepDrive에서 공개한 BDD100K Tracking Challenge 데이터 셋을 사용한다[9]. BDD100K 데이터 셋의 경우 5만개의 자동차를 통해 미국 뉴욕, 샌프란시스코 해안가 등의 지역에서 촬영된 영상이다.
원시 데이터는 총 10만개의 도로 영상으로 이루어져 있으며, 영상 크기는 1280x720이다. 본 연구에서는 야간도로영상에서 대표적인 광원 객체인 신호등을 탐지하고 색상을 추적하기 때문에 시간대가 nighttime인 영상 데이터를 사용한다. 총 39986개의 야간 영상 데이터에서 훈련데이터로 적합하지 않은 흔들린 이미지나 신호등이 없는 이미지를 제거하여 훈련 데이터로 구성한다.
날씨는 clear, partly cloudy, overcast, rainy, snowy, foggy의 값을 가지며, 위치는 residential, highway, city street, parking lot, gas stations, tunnel, 시간대는 dawn/dusk, daytime, nighttime으로 분류된다. 원시 데이터는 총 10만개의 도로 영상으로 이루어져 있으며, 영상 크기는 1280x720이다. 본 연구에서는 야간도로영상에서 대표적인 광원 객체인 신호등을 탐지하고 색상을 추적하기 때문에 시간대가 nighttime인 영상 데이터를 사용한다.
본 연구에서는 야간도로영상에서 대표적인 광원 객체인 신호등을 탐지하고 색상을 추적하기 때문에 시간대가 nighttime인 영상 데이터를 사용한다. 총 39986개의 야간 영상 데이터에서 훈련데이터로 적합하지 않은 흔들린 이미지나 신호등이 없는 이미지를 제거하여 훈련 데이터로 구성한다.

데이터처리

제안하는 색상모델 변화를 통한 딥러닝 기반의 광원 객체 탐지의 성능을 평가하기 위해 다른 색상 모델과의 인식 정확도를 비교한다. Table 1은 야간 도로 상황에서 제안하는 방법과 기존의 색상모델을 통한 광원 객체 탐지의 인식 정확도를 나타낸다.

이론/모형

이는 교통 영상을 특징 추출과 분류가 용이한 HSV 색상 모델로 변환하고 YCbCr 색상 모델을 적용하여 밝기의 성분 분석을 통해 빛 번짐과 백화 현상을 보완한다. Yolo 기반 딥러닝 모델을 Random Erasing 방법을 이용하여 학습시키고 학습 속도와 성능을 향상시키기 위해서 배치 정규화를 사용한다. 작은 객체의 탐지가 가능한 CSPDarknet53기반 모델을 이용하여 클래스 불균형 문제를 해결한다.
Yolo는 작은 객체까지 확인이 가능한 CSPDarknet 53 모델을 적용한다. Yolo 기반 딥러닝 모델을 학습시키기 위해 활성화 함수로 LeakyReLU를 사용하며 배치 정규화와 합성곱 레이어를 거처 광원 객체를 탐지한다.
신호등 이미지의 경우 신호등은 보통 가로등, 전광판, 표시판 등에 의해서 부분적으로 가려지는 현상이 발생한다. 가려진 데이터 셋에서 객체를 찾는 학습을 하기 위해서 Cropping방식을 사용한다. 또한 전체 이미지에서 일부분을 의도적으로 가려 물체의 전체 구조를 보존하는 Random Erasing 방식을 사용한다.
가려진 데이터 셋에서 객체를 찾는 학습을 하기 위해서 Cropping방식을 사용한다. 또한 전체 이미지에서 일부분을 의도적으로 가려 물체의 전체 구조를 보존하는 Random Erasing 방식을 사용한다. 또한, 임의로 지정된 영역의 픽셀에 값을 다시 할당하고, 가려진 부분을 통해서 이미지에 노이즈를 가하여 과적합 문제를 예방한다.
이 과정에서 가로등 같은 신호등과 비슷한 특징을 가지는 광원 객체를 제외하고 신호등만 탐지한다. 임계값을 넘으면 Random Erasing 방식을 사용하여 Yolo를 학습시킨다. Yolo는 작은 객체까지 확인이 가능한 CSPDarknet 53 모델을 적용한다.

성능/효과

하지만 기존의 색상 모델 모두 인식 정확도가 80%보다 낮아 성능이 좋지 않다. 하지만 제안하는 모델의 경우 HSV 색상 모델과 YCbCr 색상모델을 혼합하여 사용함으로써 기존 모델들의 한계였던 백화 현상과 빛 번짐 현상을 모두 극복한다. 때문에 0.

질의응답

핵심어	질문	논문에서 추출한 답변
	자율 주행을 위한 필수적인 요소는 무엇인가?	교통안전에 대한 관심이 높아짐에 따라 교통사고의 발생률을 줄이는 자율 주행에 대한 연구가 지속적으로 진행되고 있다. 객체의 인식과 탐지는 자율 주행을 위한 필수적인 요소이다. 때문에 도로 상황을 판단하기 위하여 교통 영상 빅데이터에서 객체 인식 및 탐지에 대한 연구가 활발히 진행 중이다.
	자율주행에 대한 관심이 높아지고 있는 이유는 무엇인가?	교통사고의 주요 원인 중 하나인 인적 관련 교통사고에서는 주간과 야간 모두 법규 위반으로 사고가 발생하였다[2]. 사고 원인 중 인적 원인이 큰 비중을 차지함에 따라 자율주행에 관한 관심이 높아지고 있다. 미국에서는 절반 이상의 주가 자율주행을 허용하고 있으며, 자율주행 자동차가 사람이 직접 운전하는 것보다 더 안전하다는 연구가 있다[3].
	야간 도로에서 광원 객체의 경우 객체 인식이 어려운 이유는 무엇인가?	하지만 기존 연구들은 대부분 주간 데이터만 사용하기 때문에 야간 도로에서 객체 인식이 어렵다. 특히 광원 객체의 경우 빛 번짐과 백화 현상으로 인해 주간의 특징을 그대로 사용하기 어렵다. 따라서 본 연구에서는 교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지를 제안한다.

참고문헌 (16)

TAAS. (2020). Traffic Accident Analysis System. http://taas.koroad.or.kr
KOSIS. (2020). KOrean Statisitcal Information Service. http://kosis.kr
D. J. Fagnant & K. Kockelman. (2015). Preparing a nation for autonomous vehicles: opportunities, barriers and policy recommendations. Transportation Research Part A: Policy and Practice, 77, 167-181. DOI: 10.1016/j.tra.2015.04.003

상세보기
Korea Ministry of Government Legislation. (2020). Automobile Management Law. http://www.law.go.kr
E. Frazzoli, M. A. Dahleh & E. Feron. (2002). Real-time motion planning for agile autonomous vehicles. Journal of guidance, control, and dynamics, 25(1), 116-129. DOI: 10.2514/2.4856

상세보기
H. Nicolas & J. M. Pinel. (2006). Joint moving cast shadows segmentation and light source detection in video sequences. Signal processing: Image communication, 21(1), 22-43. DOI: 10.1016/j.image.2005.06.001

상세보기
L. Liu, W. Ouyang, X. Wang, P. Fieguth, J. Chen, X. Liu & M. Pietikainen. (2020). Deep learning for generic object detection: A survey. International journal of computer vision, 128(2), 261-318. DOI: 10.1007/s11263-019-01247-4

상세보기
J. Redmon, S. Divvala, R. Girshick & A. Farhadi. (2016). You only look once: Unified, real-time object detection. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 779-788. DOI: 10.1109/CVPR.2016.91
F. Yu, H. Chen, X. Wang, W. Xian, Y. Chen, F. Liu & T. Darrell. (2020). BDD100K: A diverse driving dataset for heterogeneous multitask learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2636-2645. arXiv: 1805.04687
Y. Zhang, J. Xue, G. Zhang, Y. Zhang & N. Zheng. (2014). A multi-feature fusion based traffic light recognition algorithm for intelligent vehicles. In Proceedings of the 33rd Chinese Control Conference, IEEE, 4924-4929. DOI: 10.1109/ChiCC.2014.6895775
K. Behrendt, L. Novak & R. Botros. (2017). A deep learning approach to traffic lights: Detection, tracking, and classification, IEEE International Conference on Robotics and Automation (ICRA), 1370-1377. DOI: 10.1109/ICRA.2017.7989163
S. Kolkur, D. Kalbande, P. Shimpi, C. Bapat & J. Jatakia. (2017). Human skin detection using RGB, HSV and YCbCr color models. arXiv, arXiv:1708.02694.
D. Shin, R. C. Park & K. Chung. (2020). Decision Boundary-based Anomaly Detection Model using Improved AnoGAN from ECG Data. IEEE Access, 8(1), 108664-108674. DOI: 10.1109/ACCESS.2020.3000638

상세보기
A. Bochkovskiy, C. Y. Wang & H. Y. M. Liao. (2020). YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv:2004.10934.
J. Baek & K. Chung. (2020). Context Deep Neural Network Model for Predicting Depression Risk Using Multiple Regression. IEEE Access, 8, 18171-18181 DOI: 10.1109/ACCESS.2020.2968393.

상세보기
J. Kang, J. Baek & K. Chung. (2020). PrefixSpan based Pattern Mining using Time Sliding Weight for Streaming Data. IEEE Access, 8(1), 124833-124844. DOI: 10.1109/ACCESS.2020.3007485

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증