[논문]자율주행 차량을 위한 교통표지판 인식 및 RANSAC 기반의 모션예측을 통한 추적

김성욱; 이준웅

doi:10.5302/j.icros.2016.15.0191

문제 정의

본 논문은 단안 카메라를 이용한 표지판 인식과 RANSAC 기반의 표지판 추적 알고리즘을 제안하였다.
특징점은 해리스 코너(Harris Comer) 추출기[15]로 추출한다. 본 연구에서는 특징점의 수가 너무 많아 연산량이 증가하거나 또는 불필요한 특징점이 추출되는 것을 예방하기 위해 특징점 추출 시 반응 값이 국부 최대 (local maxima)인 위치의 점을 특징점으로 한다 [16]. 이후 광류 (optical flow)를 이용하여 현재 시점의 영상에서 특징점들의 대응점을 찾는다.
즉, 영상에서 표지판이 보이는데도 불구하고 표지판을 인식하지 못하는 경우가 있다. 이런 문제를 해결하기 위해 연속된 매프레임의 영상에서 인식된 대상에 대해 추적을 수행한다.

가설 설정

이후 광류 (optical flow)를 이용하여 현재 시점의 영상에서 특징점들의 대응점을 찾는다. 이때 연속된 영상에서 물체의 이동과 변화는 크지 않다는 가정 하에 현재 영상에서의 광류 계산 범위는 이전 시점의 추적 대상 영역보다 30% 더 큰 영역으로 설정한다. 현재 제안된 알고리즘은 초당 100프레임 이상 처리할 수 있으므로 차량。] lOOkm/h로 주행한다고 해도 한 프레임 사이에 변화된 거리는 30cm에 미치지 못한다.
첫째, 차량은 계속 주행하고 실제 표지판은 시야에서 벗어났을 경우, 추적에 의해 예측된 영역에 대해 SVMe 이 영역이 비표지판이라고 판정할 것이다. 이때 이 추적 대상은
이 방법에서는 연속된 영상 간에 검출된 표지판을 Kalman-Bucy 필터링을 이용한 추적을 통해 인식률을 높인다. 추적은 차량이 카메라의 광축 방향으로 등가속도 운동을 한다는 가정하에 이루어진다. 검출된 표지판의 영상에서의 크기와 실제 크기를 비교하여 거리를 계산하고, 이를 통해 표지판의 상대적인 모션을 계산하여 영상에서 표지판이 위치할 영역을 예측하였다.

제안 방법

N面 번 가운데 3가 최소일 때 선정된 인라이어들을 대상으로 번들조정(bundle aeustment)으로 알려진 방법으로 최적의 모션을 계산한다. 추적 대상의 모션을 계산하는 식 (8)을 식 (15)와 같이 나타낼 수 있다.
SVM 학습을 위해 각 표지판마다 표지판 영상 816장, 비 표지판 영상 2158장을 사용하였고 가로길이와 세로 길이가 비슷한 표지판의 크기를 고려하여 각 영상을 64x64 크기로 일정하게 조정한 후 HOG를 구축하였다.
Ⅲ 장에서 제안한 방법을 통해 단일 시점의 영상에서 표지판의 후보 영역을 검출하고 표지판 여부를 판단하여 분류하는 과정을 수행하였다. 하지만 연속된 매프레임의 영상에는 불규칙한 잡음이 포함될 수 있으며 변화하는 조명이나 그늘 등의 영향으로 동일 대상에 대해 항상 후보 영역이 선정된다는 보장은 할 수 없다.
추적은 차량이 카메라의 광축 방향으로 등가속도 운동을 한다는 가정하에 이루어진다. 검출된 표지판의 영상에서의 크기와 실제 크기를 비교하여 거리를 계산하고, 이를 통해 표지판의 상대적인 모션을 계산하여 영상에서 표지판이 위치할 영역을 예측하였다.
색상별로 교통표지판 여부를 판단하고 표지판 종류를 분류하는 단계를 수행한다. 교통표지판 여부를 판단하기 위해 삼각형, 원형 등의 특정 모양을 갖는 교통표지판의 형태적 특징을 고려한다. 이러한 형태적 특징을 고려하기 위해서 영상의 국부적인 밝기 변화 방향과 변화량에 관한 히스토그램인 HOG를 구축한다.
이러한 형태적 특징을 고려하기 위해서 영상의 국부적인 밝기 변화 방향과 변화량에 관한 히스토그램인 HOG를 구축한다. 구축한 HOG와 미리 학습된 SVM을 이용하여 표지판 여부와 종류를 결정한다. 그림 1에서 언급된 인식은 궁극적으로 SVM에 의해 표지판가부 결정과 표지판일 경우 그 종류의 판단 결과를 의미한다.
수 있도록 하였다. 그리고 실외 환경에서 수시로 변화하는 조명 등 밝기 변화에 대응하기 위해 다양한 밝기의 영상을 포함시켰고 표지판이 검출된 거리에 따라 변하는 후보 영역의 크기에 따른 영향을 줄이고자가우시안 블러 (GaussianBlur) [14]를 적용한 표지판 영상을 포함시켰다.
표지판은 일반적으로 원이나 삼각형 등의 형태로 되었으며 표지판 내부의 표식도 종류마다 고정적이다. 따라서 11장에서 언급한 바와 같이 검출된 표지판 후보 영역에 대해 표지판의 형태적 특징을 고려하여 HOG를 만들고, 이 HOG를 입력으로 한 SVM을 이용해 분류를 한다. HOG [8]는 에지의 방향과 크기를 이용하여 얻는 특징 벡터로서 관심 영역을 고정된 크기의 셀(cell)들로 분할하고, 각 셀마다 에지 방향을 몇 개의 구간으로 등분한 후, 각 구간에해당된 빈(bin)에 그 셀에 속한 픽셀들의 에지크기를 누적시킴으로써 구축된다.
이루어진 표지판 추적을 수행한다. 먼저 표지판으로 판단된 영역에서 특징점을 추출하고 연속된 영상에서 광류를 이용하여 RANSAC 기반으로 표지판 영역의 크기와 위치 변화량을 계산한다. 계산된 변화량을 토대로 다음 시점에서의 표지판 영역을 예측한다.
연속된 영상에서 표지판 인식 성능을 높이기 위해 여러 과정으로 이루어진 표지판 추적을 수행한다. 먼저 표지판으로 판단된 영역에서 특징점을 추출하고 연속된 영상에서 광류를 이용하여 RANSAC 기반으로 표지판 영역의 크기와 위치 변화량을 계산한다.
통해 표지판을 검출하는 기법이 있다 [2]. 이 방법에서는 연속된 영상 간에 검출된 표지판을 Kalman-Bucy 필터링을 이용한 추적을 통해 인식률을 높인다. 추적은 차량이 카메라의 광축 방향으로 등가속도 운동을 한다는 가정하에 이루어진다.
그러나 실외 환경에서는 밝기 변화가 나타나거나 차량의 움직임에 의해 표지판의 일부가 가려지는 경우가 발생할 수 있다. 이러한 이유로 광류(optical flow) [11] 와 RANSAC (RANdom SAmple Consensus) [12] 기 반의 모션예측을 활용한 추적 알고리즘을 제안한다.
본 연구에서는 표지판 후보 영역검출에 색조를 고려하기 위해 HSI 색상 모델을 적용한다. 이후 삼각형이나 원등 특정 형태를 갖는 표지판의 특성을 고려하기 위해서 탐색된 후보 영역에 대해 HOG (Histogram of Oriented Gradients) [9]를 구죽하고, HOG를 입력으로 하는 SVM (Support Wctor Machine) [10] 을 이용하여 교통표지판을 인식한다. SVMe 차원 공간에서 집단을 가장 잘 분류하는 초평면(hyperplme) 을 찾는 알고리즘으로 인공신경망처럼 분류율을 최대화함과 동시에 차원 공간상에서 집단 간의 거리를 최대화하는 특징이 있다.
구축하고 SVM을 이용하여 분류하였다. 이후 표지판으로 분류된 영역들을 대상으로 RANSAC 기반의 추적을 수행하였다. 추적을 수행함으로써 후보 영역검출에 실패하는 경우에도 연속된 영상간의 모션을 계산함으로써 인식률을 높일 수 있었다.
II! 장에서 제안한 방법에 의해 인식된 표지판 영역이 현재 추적 중인 대상인지를 판단하는 중첩 검사를 한다. 중첩 검사는 영상에서 후보 영역과 추적에 의해 예측(J戏diction)된 영역이 겹치는지를 판단하는 것으로 중첩되지 않을 경우 후보 영역을 새로운 추적 대상으로 추가시킨다.
제안된 표지판 인식 알고리즘은 색상 정보를 이용하여 표지판 후보 영역을 검출하고, 후보 영역에 대해 HOG 특징 벡터를 구축하고 SVM을 이용하여 분류하였다. 이후 표지판으로 분류된 영역들을 대상으로 RANSAC 기반의 추적을 수행하였다.
학습용 영상은 영상의 중앙에 표지판이 위치하도록 하였으며, 조금씩 회전된 표지판 영상을 포함하여 차량의 운동이나 다른 요인에 의해 영상에서 표지판이 뒤틀리는 경우에도 대응할 수 있도록 하였다. 그리고 실외 환경에서 수시로 변화하는 조명 등 밝기 변화에 대응하기 위해 다양한 밝기의 영상을 포함시켰고 표지판이 검출된 거리에 따라 변하는 후보 영역의 크기에 따른 영향을 줄이고자가우시안 블러 (GaussianBlur) [14]를 적용한 표지판 영상을 포함시켰다.

대상 데이터

따라서 본 논문에서는 그림 2와 같이 일반적인 교통표지판의 색상과 형태를 고려하여 과속방지턱, 속도제한, 보행자 전용 도로 표지판을 대상으로 한다.만약 이 세 가지 표지판 이외의 교통표지판 인식을 위해서는 본 논문에서 제안한 방법과 같이 색상에 따라 구분한 뒤 같은 색의 표지판은 SVM을 통해 다중 분류가 가능하다.

데이터처리

그림 8. 광류와 제안된 방법의 특징점 매칭 성능 비교.

이론/모형

일반적인 RGB 색상 모델은 조명이나 그늘 등에 의한 밝기 변화에 민감하기 때문에 같은 색상의 물체에 대해서도 환경에 따라 색상값의 범위가 균일하지 않고 다양하게 나타나는 단점이 있다. 따라서 본 연구에서는 이러한 RGB 색상 모델의 단점을 보완하기 위해 Paulo 등μ3] 이 제안한 HSI 색상 모델로 변환한 후 색조(Sue)과 채도 (saturation)를 고려하는 방법을 이용한다.
있다. 본 연구에서는 표지판 후보 영역검출에 색조를 고려하기 위해 HSI 색상 모델을 적용한다. 이후 삼각형이나 원등 특정 형태를 갖는 표지판의 특성을 고려하기 위해서 탐색된 후보 영역에 대해 HOG (Histogram of Oriented Gradients) [9]를 구죽하고, HOG를 입력으로 하는 SVM (Support Wctor Machine) [10] 을 이용하여 교통표지판을 인식한다.
SVMe 차원 공간에서 집단을 가장 잘 분류하는 초평면(hyperplme) 을 찾는 알고리즘으로 인공신경망처럼 분류율을 최대화함과 동시에 차원 공간상에서 집단 간의 거리를 최대화하는 특징이 있다. 이런 이유로 본 연구에서는 SVM을 채택하였다.

성능/효과

제거한다. 둘째, 예측된 영역에 대한 SVM 결과는 표지판이었는데, 이 영역 이 후보 영역으로 검출되지 않았을 경우 추적에 의해 예측된 영역이 표지판이 된다.
추적을 수행함으로써 후보 영역검출에 실패하는 경우에도 연속된 영상간의 모션을 계산함으로써 인식률을 높일 수 있었다. 또한 다른 물체에 의해 표지판의 일부가 가려지는 경우에도 추적을 수행함으로써 표지판을 지속적으로인식하여 인식 정확도를 약 26% 개선시킬 수 있었다.
따라서 본 논문에서는 그림 2와 같이 일반적인 교통표지판의 색상과 형태를 고려하여 과속방지턱, 속도제한, 보행자 전용 도로 표지판을 대상으로 한다.만약 이 세 가지 표지판 이외의 교통표지판 인식을 위해서는 본 논문에서 제안한 방법과 같이 색상에 따라 구분한 뒤 같은 색의 표지판은 SVM을 통해 다중 분류가 가능하다. 다만 속도제한 표지판과 같은 경우에는 숫자를 인식하는 단계가 요구된다.
이러한 상황에서 광류를 이용하여 계산된 모션에 의해 표지판의 위치를 추정할 경우 추정에러를 피할 수 없다. 이런 문제점을 해결하기 위해 RANSAC을 통해 인라이어를 선정한 후 번들조정법을 이용하여 계산된 모션에 의해 연속된 두 영상 사이의 특징점 매칭 결과를 보면 광류에 의한 방법에서 발생한 오매칭이 개선되었다는 것을 알 수 있다.
제안된 알고리즘은 실험 결과에서 보였듯이 평균 3.9ms/fige의 빠른 처리 속도로 실시간 처리가 가능하였다.
제안한 알고리즘에서 표지판을 인식하지 못하는 상황倒se negative)은 표지판에 대한 후보 영역 탐색에 실패하거나 후보 영역이 검출되었더라도 SVM을 이용한 분류에 실패한 경우에 발생하였다. 표지판 후보 영역검출에 실패하는 경우는 HSI 색상 정보를 이용한 필터링을 수행하였을 때 실제 표지판 영역에 대한 필터링 결과가 영상에 불규칙적으로 나타나는 잡음(noise) 등에 의해서 하나의 블랍으로 연결되지 못하는 상황에서 발생하였다.
9ms/fiag으로 빠른 처리가 가능하였다. 추적 과정을 수행하였을 때 최대 처리 시간은 8ms/ge으로 평균 처리 시간보다 약 2배 정도 증가하였다.
이후 표지판으로 분류된 영역들을 대상으로 RANSAC 기반의 추적을 수행하였다. 추적을 수행함으로써 후보 영역검출에 실패하는 경우에도 연속된 영상간의 모션을 계산함으로써 인식률을 높일 수 있었다. 또한 다른 물체에 의해 표지판의 일부가 가려지는 경우에도 추적을 수행함으로써 표지판을 지속적으로인식하여 인식 정확도를 약 26% 개선시킬 수 있었다.
얻은 결과다. 표 1에 제시된 결과와 같이 제안된 표지판 인식 알고리즘의 성능은 정확도(accuB》)와 진 양성률 (true positive rate)이 추적 과정을 수행하지 않았을 때 각각 68.57%와 66.92%였는데, 추적 과정을 수행하였을 때 94.71% 와 94.69%로 크게 향상되었다.
표지판 후보 영역을 검출한 후 HOG특징과 SVM을 이용한 인식 과정의 평균 처리 시간은 3.4ms/fiame이며 추적 과정을 포함한 평균 처리 시간은 3.9ms/fiag으로 빠른 처리가 가능하였다. 추적 과정을 수행하였을 때 최대 처리 시간은 8ms/ge으로 평균 처리 시간보다 약 2배 정도 증가하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

자율주행 차량을 위한 교통표지판 인식 및 RANSAC 기반의 모션예측을 통한 추적
Traffic Sign Recognition, and Tracking Using RANSAC-Based Motion Estimation for Autonomous Vehicles 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

자율주행 차량을 위한 교통표지판 인식 및 RANSAC 기반의 모션예측을 통한 추적 Traffic Sign Recognition, and Tracking Using RANSAC-Based Motion Estimation for Autonomous Vehicles 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

이준웅 (30)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

자율주행 차량을 위한 교통표지판 인식 및 RANSAC 기반의 모션예측을 통한 추적
Traffic Sign Recognition, and Tracking Using RANSAC-Based Motion Estimation for Autonomous Vehicles 원문보기

AI 본문요약
AI-Helper