[논문]차량용 블랙박스 영상을 이용한 주간 신호등 탐지 및 인식 시스템

황지은; 안다솔; 이승화; 박성호; 박천수

차량용 블랙박스 영상을 이용한 주간 신호등 탐지 및 인식 시스템
Traffic Lights Detection and Recognition System Using Black-Box Images 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.15 no.2, 2016년, pp.43 - 48

황지은 (세종대학교 디지털콘텐츠학과) , 안다솔 (세종대학교 디지털콘텐츠학과) , 이승화 (세종대학교 디지털콘텐츠학과) , 박성호 (세종대학교 디지털콘텐츠학과) , 박천수 (세종대학교 디지털콘텐츠학과)

Abstract ▼ AI-Helper

In this paper, we propose a traffic light detection and recognition (TLDR) algorithm in the daytime. The proposed algorithm utilizes the color and shape information for the TLDR. At first, a traffic light is detected and recognized based on its shape information. Then, the color range of the detected traffic light is investigated in HSV color space. The input data of the proposed TLDR algorithm is the color image captured using the black box camera during driving. Our simulations demonstrate that the proposed algorithm can achieve a high detection and recognition performance for the images including traffic lights.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

영상 이진화와 Morphology연산을 통해 원형 모양의 후보 영역을 검출하고, 후보 영역의 색상 및 형태정보를 이용하여 교통신호등을 검출한다. 또한 본 논문에서는 교통신호등 배면판의 위치와 밝기를 이용하여 교통신호등 검출 성능을 높이는 기술을 제안한다.
본 논문에서는 교통신호등을 보다 정확히 인식하기 위하여 주간 신호등 탐지 및 인식 알고리즘을 제안한다. 제안하는 알고리즘은 주변 환경을 고려한 교통신호등의 유동적인 색상정보와 영상 이진화를 통해 얻어진 형태 정보를 동시에 이용한다.
본 논문에서는 신호등 영상의 몇 가지 특성을 이용하여 주행 중 실시간으로 교통신호를 인식하는 시스템을 제안하였다. 제안하는 시스템은 입력된 영상에서 신호등이 위치할 확률이 높은 영역을 추출한 후, 신호등 후보를 탐색하는 과정을 통해 시스템의 수행 시간을 줄여 실시간으로 교통 신호를 인식하는 데에 큰 어려움이 없게 하였다.
본 논문에서는 주행 중 블랙박스로 촬영된 영상을 대상으로 신호등을 탐색하는 시스템을 제안한다. 제안하는 시스템은 ROI (Region of Interest) 추출, HSV영상 생성, 이진화, 레이블링, 신호등 탐색의 5단계로 구성되며, 각 단계는 입력 영상을 대상으로 순차적으로 수행된다.

가설 설정

1) 레이블의 높이와 너비가 너무 작거나 큰 경우 신호등이 아니다.

제안 방법

ROI에 대한 두 번째 전처리 과정으로서 HSV영상을 이용하여 배경 영역과 신호등 후보 영역을 분리하는 이진화를 수행한다.
신호등은 항상 검정색 배면판 앞쪽에 위치하며, 영상에서 배면판의 명도는 상대적으로 낮은 값을 가진다. 검출된 신호의 정확도를 높이기 위해 신호등 후보 영역의 반지름 2/3을 너비로 하여 각 후보 영역에서 오른쪽 한 칸, 왼쪽 두 칸의 명도 값을 탐색한다.
그 후 각각의 레이블의 좌표, 높이, 너비를 조사하고, 이 정보를 바탕으로 각 레이블의 중심점과 반지름을 구한다. 반지름은 레이블의 높이와 너비 중 큰 값의 절반으로 결정한다.
그 후 신호등 후보에서 제외되지 않은 영역들을 탐색하여 각 영역의 평균 색상을 구한다. 신호등 후보 영역의 평균 색상이 각 신호등의 색상 범위에 포함되고, Fig.
다음으로, 생성된 흑백 영상의 픽셀 Q(x, y)의 값을 이용하여 영상을 관심대상(Object)과 배경영상(Ground)의 이진영상으로 분리한다. 이진화를 위해 임계 값 T_b을 설정하여 T_b와 픽셀 Q(x, y)의 값을 비교하여 다음과 같이 이진화 이후의 픽셀 R(x, y)의 값을 수정한다.
또한, P(x, y)를 탐색하는 과정에서 사용되는 임계 값은 채도, 명도가 각각 다르다. 또한 입력되는 영상마다 그 명도에 따라서 신호등의 채도와 명도가 다르게 나타나기 때문에 이전 단계에서 계산한ROI영상의 평균 명도를 이용하여 각각의 임계 값을 구한다.
레이블을 이용한 후보 영역 추리기가 끝나면 이전 단계에서 구한 원형 신호등 영역 내부에 이진영상의 흰 픽셀이 얼마나 포함되어 있는지를 조사한다. Fig.
반지름은 레이블의 높이와 너비 중 큰 값의 절반으로 결정한다. 신호등의 모양은 직사각형이 아닌 원형이므로 앞서 구한 반지름을 이용하여 원형 신호등 후보 영역의 넓이를 계산한다.
제안하는 알고리즘은 주변 환경을 고려한 교통신호등의 유동적인 색상정보와 영상 이진화를 통해 얻어진 형태 정보를 동시에 이용한다. 영상 이진화와 Morphology연산을 통해 원형 모양의 후보 영역을 검출하고, 후보 영역의 색상 및 형태정보를 이용하여 교통신호등을 검출한다. 또한 본 논문에서는 교통신호등 배면판의 위치와 밝기를 이용하여 교통신호등 검출 성능을 높이는 기술을 제안한다.
이전 과정의 이진 영상을 살펴보면 잡음이 많이 나타나는 것을 확인 할 수 있다. 이를 제거하기 위하여 이진 영상에 침식 연산을, 침식 연산을 수행하면서 줄어든 관심 대상 영역의 크기를 복구하기 위하여 팽창 연산을 차례로 수행한다. 이 과정을 거쳐 보다 명확한 신호등 후보(원) 설정이 가능하다.
일반적으로 블랙박스에서 촬영된 영상에서 신호등의 위치는 대부분 영상의 상단 중앙부분에 위치하게 된다. 제안하는 시스템에서는 이러한 특성을 이용하여 불필요한 영역을 탐색하는 시간을 줄이고, 탐색의 정확도를 높이기 위하여 신호등 영상 가로 길이의 1/4지점에서 3/4지점까지, 세로 길이의 1/2지점까지를 잘라 ROI로 설정한다. Fig.
제안하는 시스템에서는 효과적으로 신호등을 검출하기 위하여 이전 단계에서 추출한 ROI에 두 단계의 전처리 과정을 수행한다.
본 논문에서는 주행 중 블랙박스로 촬영된 영상을 대상으로 신호등을 탐색하는 시스템을 제안한다. 제안하는 시스템은 ROI (Region of Interest) 추출, HSV영상 생성, 이진화, 레이블링, 신호등 탐색의 5단계로 구성되며, 각 단계는 입력 영상을 대상으로 순차적으로 수행된다. Fig.
본 논문에서는 신호등 영상의 몇 가지 특성을 이용하여 주행 중 실시간으로 교통신호를 인식하는 시스템을 제안하였다. 제안하는 시스템은 입력된 영상에서 신호등이 위치할 확률이 높은 영역을 추출한 후, 신호등 후보를 탐색하는 과정을 통해 시스템의 수행 시간을 줄여 실시간으로 교통 신호를 인식하는 데에 큰 어려움이 없게 하였다. 또한, 신호등 인식률과 인식에 대한 정확도를 높이기 위하여 RGB 모델 대신 HSV 모델을 사용, 신호등의 색상 범위와 배면판의 명도를 이용하였다.
본 논문에서는 교통신호등을 보다 정확히 인식하기 위하여 주간 신호등 탐지 및 인식 알고리즘을 제안한다. 제안하는 알고리즘은 주변 환경을 고려한 교통신호등의 유동적인 색상정보와 영상 이진화를 통해 얻어진 형태 정보를 동시에 이용한다. 영상 이진화와 Morphology연산을 통해 원형 모양의 후보 영역을 검출하고, 후보 영역의 색상 및 형태정보를 이용하여 교통신호등을 검출한다.
흑백 영상을 생성하기 위하여 ROI와 같은 크기의 검정색 영상을 생성한 후, ROI 영역의 각 픽셀을 검사하여 채도와 명도가 임계 값(Threshold)보다 높은 픽셀을 탐색한다.

대상 데이터

실험은 Full HD 동영상 20개를 대상으로, 빨강 신호와 초록 신호 탐색에 대하여 진행하였다. 동영상의 평균 프레임 수는 약 1200개였고 이 중 절반의 프레임은 신호등이 나타나지 않아 제외되었다.

이론/모형

제안하는 시스템은 입력된 영상에서 신호등이 위치할 확률이 높은 영역을 추출한 후, 신호등 후보를 탐색하는 과정을 통해 시스템의 수행 시간을 줄여 실시간으로 교통 신호를 인식하는 데에 큰 어려움이 없게 하였다. 또한, 신호등 인식률과 인식에 대한 정확도를 높이기 위하여 RGB 모델 대신 HSV 모델을 사용, 신호등의 색상 범위와 배면판의 명도를 이용하였다. 실험 결과에 따르면 신호등 영상의 특성을 이용하는 것이 신호등 인식에 대한 정확도를 높이는 데에 긍정적인 역할을 한다는 것을 확인 할 수 있었다.

성능/효과

2) 블랙박스 영상에서 나타나는 신호등의 정면이 레이블링 되었을 때, 레이블의 모양은 정사각형에 가깝다. 레이블의 높이와 너비의 비율이 정사각형과 큰 차이가 나는 경우 신호등이 아니다.
3) 블랙박스 영상에서 신호등은 거리가 가까울수록 크기가 크게 높은 위치에 나타나고 거리가 멀수록 크기가 작게 낮은 위치에 나타난다. 레이블의 높이에 따른 크기가 적절하지 않은 경우 신호등이 아니다.
4) 신호등이 ROI의 경계에 위치하면 신호등의 일부가 잘릴 수 있다. 이 같은 경우 레이블이 실제 신호등이라 하더라도 제외한다.
인식률은 두 색상 신호등 모두 약 70%의 성능을 보였다. 또, 인식된 신호의 정확도는 각각 100%, 약 95%로 평균 정확도는 약 97%로 나타났다. 초록 신호의 경우 색상을 잘못 인식하거나 신호가 아닌 것을 인식하는 경우는 없었다.
또한, 신호등 인식률과 인식에 대한 정확도를 높이기 위하여 RGB 모델 대신 HSV 모델을 사용, 신호등의 색상 범위와 배면판의 명도를 이용하였다. 실험 결과에 따르면 신호등 영상의 특성을 이용하는 것이 신호등 인식에 대한 정확도를 높이는 데에 긍정적인 역할을 한다는 것을 확인 할 수 있었다.

후속연구

본 논문에서 제안하는 알고리즘은 정지영상에서 더 나아가 시간적으로 연속적인 영상에 적용함으로써 보다 효과적인 사용자 서비스를 개발할 수 있다. 예를 들어, 이전에 촬영된 영상에서 정지 신호를 검출하였고 현재 영상에서 주행신호를 검출하였다면 운전자에게 주행 시작 신호를 알려줄 수 있다.
이 시스템은 향후 실시간 교통 신호등 인식, 지능형 교통 신호등, 음성안내 장애인 자동 보행시스템 등 다양한 분야에 적용시켜 활용 될 것으로 사료된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	제안된 주간 신호등 탐지 및 인식 알고리즘의 특징은?	본 논문에서는 교통신호등을 보다 정확히 인식하기 위하여 주간 신호등 탐지 및 인식 알고리즘을 제안한다. 제안하는 알고리즘은 주변 환경을 고려한 교통신호등의 유동적인 색상정보와 영상 이진화를 통해 얻어진 형태 정보를 동시에 이용한다. 영상 이진화와 Morphology연산을 통해 원형 모양의 후보 영역을 검출하고, 후보 영역의 색상 및 형태정보를 이용하여 교통신호등을 검출한다. 또한 본 논문에서는 교통신호등 배면판의 위치와 밝기를 이용하여 교통신호등 검출 성능을 높이는 기술을 제안한다.
	차량용 블랙박스의 특징은?	현대에는 IT 기술의 급속한 발전으로 인해 다양한 차량용 멀티미디어 기기가 등장하고 있다. 그 중 차량용 블랙박스는 음성, 영상 및 자동차의 여러 운행정보를 저장하는 매체이며, 이를 근거로 사고의 재구성이 가능하기 때문에 최근 자동차 시장에서 주목을 받고있다. 현재는 상업용 차량을 중심으로 블랙박스의 장착이 급격히 확산되었고 일반 차량에서도 블랙박스 보급률이 현격히 증가하고 있다 [1].
	RGB모델이 신호등 고유의 색상을 판별하기 어려운 이유는?	ROI 각 픽셀의 색상 정보는 기본적으로 빨강(Red), 초록(Green), 파랑(Blue) 세 가지 색상을 사용하는 RGB 모델로 나타낸다. RGB모델은 색상 정보, 밝기 정보 등이 분리되지 않기 때문에 신호등 고유의 색상을 판별하기 어렵다. 반면에, HSV 모델은 색상 H (Hue), 채도 S (Saturation), 명도 V (Value)로 나타내어지는 모델로, RGB 모델에 비하여 색상 분포가 집중되어 있어 신호등 고유의 색상을 판별하는 데에 더 적합하다.

참고문헌 (12)

C. Yeon, et al., "A Video based Traffic Light Recognition System for Intelligent Vehicles", Journal of the Semiconductor & Display Technology, vol. 14, no. 2, pp. 29-34, Jun. 2015.
National Police Agency, "Standard for LED Traffic Lights", 2011.11.09.
J. Yoon, et. al., "Traffic light recognition based on stereo vision system", Inha University, 2009.
S. Dong, et. al. "Development of Traffic Light Automatic Discrimination System Using Digital Image Processing Technology", Journal of the institute of Electronics and Information Engineers, vol. 46, no. 2, pp. 92-99, 2009.
J. Kim, "Traffic Lights Detection Based on Visual Attention and Spot-Lights Regions Detection", Journal of the institute of Electronics and Information Engineers, vol. 51, no. 6, pp. 132-142, 2014.

원문보기 상세보기
Ying Jie, Chen Xiaomin, Gao Pengfei and Xiong Zhonglong, "A New Traffic Light Detection and Recognition Algorithm for Electronic Travel Aid", Fourth International Conference on Intelligent Control and Information Processing, 2013.
N. Kehtarnavaz, N. C. Griswold, and D. S. Kang, "Stop-sign recognition based on color-shape processing," Machine Vision and Applications, Vol.6, pp.206-208, 1993.

상세보기
Michael Shneier, "Road Sign Detection and Recognition", IEEE Computer Society International Conference on Computer Vision and Pattern Recognition, 2005.
G. Piccioli, et al., "Robust Road Sign Detection and Recognition from Image Sequences", Intelligent Vehicles Symposium, Paris, 1994.
Hwang Tae-Hyun, Joo In-Hak, and Cho Seong-Ik, "Detection of Traffic Lights for Vision-Based Car Navigation System", Springer-Verlag Berlin Heidelberg, pp.682-691, 2006.
Masako Omachi, Shinichiro Omachi, "Detection of Traffic Light Using Structural Information", 2007.
Youn K. Kim, Kyoung W. Kim and Xiaoli Yang, "Real Time Traffic Light Recognition for Color Vision Dependencies", IEEE International Conference on Mechatronics and Automation, 2007.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증