[논문]컬러 세그멘테이션 및 정규화 템플릿 매칭의 계층적 적용에 의한 속도 표지판 인식

이강호; 이규원

doi:10.3745/kipstb.2009.16-b.4.257

컬러 세그멘테이션 및 정규화 템플릿 매칭의 계층적 적용에 의한 속도 표지판 인식
Speed Sign Recognition by Using Hierarchical Application of Color Segmentation and Normalized Template Matching 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.16B no.4, 2009년, pp.257 - 262

이강호 (대전대학교 정보통신공학과) , 이규원 (대전대학교 정보통신공학과)

초록
AI-Helper

본 논문에서는 실제 도로환경의 속도 표지판 영역 추출 및 인식 방법을 제안한다. 화소의 색상정보를 이용하여 속도 표지판 영역을 추출하고 추출된 속도 표지판 영역 안에서 숫자 영역만 다시 추출한다. 표지판의 경사여부를 판단하여 시계방향, 반시계방향으로 각각 표지판을 회전시켜 기울기를 보정한 후 인식을 행함으로써 인식률을 제고한다. 도로환경의 동영상을 대상으로 인식을 행한 결과 일반적인 속도표지판 뿐 아니라 기울어진 환경에서도 매우 강건한 인식 결과를 보인다.

Abstract ▼ AI-Helper

A method of the region extraction and recognition of a speed sign in the real road environment is proposed. The region of speed sign is extracted by using color information and then numbers are segmented in the region. We improve the recognition rate by performing an incline compensation of the speed sign for directions clockwise and counterclockwise. In image sequences of the real road environment, a robust recognition results are achieved with speed signs at normal condition as well as inclined.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

임계값은 식(1)에서 보는 바와 같이 설정하였고 P₁ (x,y) = 1 이면 적색으로 판단하였다. 또한 표지판말고도 다른 곳에서 임계값에 맞는 부분이 있어 잡음이 생길 수 있으므로 잡음을 제거하기 위한 연산을 하였다. 사용한 알고리즘은 점단위의 잡음제거에 매우 강한 형태학적 열림(opening)연산을 사용하였다.
본 논문에서 속도 표지판 영역 추출 및 인식 방법을 제안하였다. 제안된 방법은 표지판 영역 추출과 인식의 두 단계로 구분할 수 있다.
본 논문에서는 교통 표지판에서 운전자의 안전에 영향을 주는 것이 속도라고 판단하여 속도표지판 인식 시스템을 제안한다. 이 시스템은 도로 주행 중에 차량에 장착된 카메라로부터 도로에 있는 속도표지판 영상을 수집하여 운전자 대신 인지해줌으로써 이러한 요구를 충족시킬 수 있는 시스템이다.
이러한 지능형 교통 시스템 서비스 중 AVHS(Advanced Vehicle and Highway System)란 서비스는 차량에 교통상황, 장애물 인식 등의 고성능 센서와 자동제어장치를 부착하여 운전을 자동화하며, 도로상에 지능형 통신시설을 설치하여 일정간격 주행으로 교통사고를 예방하고 도로소통의 능력을 증대시키는 서비스이다. 본 논문에서는 이러한 AVHS 시스템을 위한 표지판 인식 시스템을 제안한다.
인식을 수행 하는 동안 빛에 의한 밝기변화, 잡음, 카메라의 흔들림 등으로 각각의 프레임에서 매칭에 성공하지 못하는 경우가 발생할 수 있다. 이것을 보완하기 위해 연속된 프레임에서 초당 인식된 프레임 수로 인식의 성공 실패 여부를 판단하였다. 또한 정지영상이 아닌 동영상에서 순간 몇 개의 프레임을 인식하지 못하였다 하더라도 나머지 프레임에서 인식하였다면 그것은 인식에 성공했다고 판단하였다.

제안 방법

기울기 보정은 템플릿과 정합하는 동시에 입력영상을 시계방향 과 반시계방향으로 각각 1°씩 회전을 반복하여 정합도를 알아보는 방법으로 수행하였다.
또한 53*23크기로 정규화 한 이유는 실제 숫자영역의 크기를 최대한 왜곡하지 않고 보존 할 수 있기 때문이다. 기울어진 표지판에서는 기울어진 정도가 어느 정도일 때 인식이 되지 않는지 알아보기 위해 시뮬레이션을 행하였다. 시뮬레이션은 오른쪽 왼쪽 각각 기울어진 표지판 20장으로 숫자영역만 추출하여 실시하였다.
실제 도로 상의 속도표지판의 숫자 형태가 일정하다는 점에 착안하여 실시간 처리를 위해 비교적 연산과정이 단순한 템플릿 매칭을 이용하였다. 단, 템플릿 매칭방법은 비교영상의 크기가 변하거나 기울어져 있으면 인식률이 저하되는 문제점이 있으므로 이 문제점을 보완하기 위해 숫자의 크기정규화 및 기울기 보정을 하여 인식률을 제고하였다. 본 논문은 3장에서는 전체 시스템 개요를 설명하고, 4장에서는 계층적 적용에 의한 속도 표지판 인식 알고리즘을 설명하고, 5장은 실험 및 결과 고찰 마지막으로 6장에서는 결론을 제시한다.
먼저 영상입력에서 표지판으로 예상되는 영역을 색상 정보를 이용하여 추출 한다. 기존연구에서는 각각 다양한 색상 정보를 이용하였다.
본 논문에서 제안하는 (그림 1)의 전체 알고리즘 흐름도에서 보는 바와 같이 CCD 카메라에 영상이 입력되면 속도 표지판 검출 알고리즘과 인식 알고리즘을 계층적으로 이용하여 인식하고 인식된 프레임들의 히스토리 정보를 이용하여 표지판과 내용을 문자로 출력한다.
본 논문에서는 속도 표지판을 검출 및 인식하기 위해 색상정보와 형태정보를 계층적으로 이용하였다. 색상정보를 이용하여 속도표지판의 영역을 검출하고 테두리를 제거한 후 형태정보를 이용하여 숫자영역을 인식하였다.
또한 표지판말고도 다른 곳에서 임계값에 맞는 부분이 있어 잡음이 생길 수 있으므로 잡음을 제거하기 위한 연산을 하였다. 사용한 알고리즘은 점단위의 잡음제거에 매우 강한 형태학적 열림(opening)연산을 사용하였다. 카메라의 시야에서 가까워질 수록 표지판의 사각영역 크기는 변하게 된다.
본 논문에서는 속도 표지판을 검출 및 인식하기 위해 색상정보와 형태정보를 계층적으로 이용하였다. 색상정보를 이용하여 속도표지판의 영역을 검출하고 테두리를 제거한 후 형태정보를 이용하여 숫자영역을 인식하였다. 실제 도로 상의 속도표지판의 숫자 형태가 일정하다는 점에 착안하여 실시간 처리를 위해 비교적 연산과정이 단순한 템플릿 매칭을 이용하였다.
색상정보를 이용하여 속도표지판의 영역을 검출하고 테두리를 제거한 후 형태정보를 이용하여 숫자영역을 인식하였다. 실제 도로 상의 속도표지판의 숫자 형태가 일정하다는 점에 착안하여 실시간 처리를 위해 비교적 연산과정이 단순한 템플릿 매칭을 이용하였다. 단, 템플릿 매칭방법은 비교영상의 크기가 변하거나 기울어져 있으면 인식률이 저하되는 문제점이 있으므로 이 문제점을 보완하기 위해 숫자의 크기정규화 및 기울기 보정을 하여 인식률을 제고하였다.
카메라의 시야에서 가까워질 수록 표지판의 사각영역 크기는 변하게 된다. 영역의 크기가 변하면 원근왜곡 때문에 제대로 인식할 수 없으므로 80*80크기로 크기 정규화 하였다. 마지막으로 크기 정규화 된 사각영역에서 숫자영역만 다시 추출한다.
제안된 방법은 표지판 영역 추출과 인식의 두 단계로 구분할 수 있다. 우선 표지판 영역 추출 단계에서는 RGB컬러모델 중 R값을 이용하여 표지판을 사각영역으로 추출하였으며 인식 단계에서는 템플릿 매칭 및 지그재그 스캔을 이용한 기울기 보정을 시행한 후 인식을 행 하였다. 제안된 방법을 실제 도로 영상에 대하여 적용한 결과 표지판이 약간 기울어져 있는 영상에서도 잘 적용됨을 확인하였으며, 전체 영상을 다 처리할 필요 없이 표지판이 존재하는 윗부분과 오른쪽 부분에서만 적용시켜 처리 시간을 줄일 수 있다.
위에서 언급한 바와 같이 속도 표지판 테두리는 적색이므로 RGB 컬러모델 중 R값을 이용하여 표지판을 사각영역으로 추출하였다. 임계값은 식(1)에서 보는 바와 같이 설정하였고 P₁ (x,y) = 1 이면 적색으로 판단하였다.
본 논문에서 속도 표지판 영역 추출 및 인식 방법을 제안하였다. 제안된 방법은 표지판 영역 추출과 인식의 두 단계로 구분할 수 있다. 우선 표지판 영역 추출 단계에서는 RGB컬러모델 중 R값을 이용하여 표지판을 사각영역으로 추출하였으며 인식 단계에서는 템플릿 매칭 및 지그재그 스캔을 이용한 기울기 보정을 시행한 후 인식을 행 하였다.

대상 데이터

전체 프레임 수는 1524프레임이며 이는 취득된 영상에서 실험 시나리오에 해당하는 구간의 프레임이다. 사용된 이미지 해상도는 320*240 이다.
기울어진 표지판에서는 기울어진 정도가 어느 정도일 때 인식이 되지 않는지 알아보기 위해 시뮬레이션을 행하였다. 시뮬레이션은 오른쪽 왼쪽 각각 기울어진 표지판 20장으로 숫자영역만 추출하여 실시하였다. 시뮬레이션 결과 (그림 14)에서 보는 바와 같이 오른쪽 왼쪽 모두 3도 이상 기울어지면 거의 인식을 못하였다.
실험에 사용된 영상은 실제 도로에서 캠코더로 촬영한 실영상이다. 전체 프레임 수는 1524프레임이며 이는 취득된 영상에서 실험 시나리오에 해당하는 구간의 프레임이다.

이론/모형

Akatsuka와 Imai는 Nrgb 컬러모델과 원형 정합 방법을이용하였으며[1], Chiung-Yao는 HSI 컬러모델과 기하학 모델을 이용하였다[2]. Kehtarnavaz와 Griswold는 HSI 컬러모델에서 통계적 처리로 색,채도,명도의 범위를 결정하고 허프 변환 알고리즘을 이용하였으며[3], Yasuo도 HSI 컬러모델과 에지를 병합 이용하였다[4].
또한 검색 속도를 빠르게 하기 위하여 1° ,-1° ,2° ,-2°... 로 검색하는 지그재그 방법을 사용하였다.
본 논문에서는 도로상에 속도표지판의 숫자 형태가 일정하다는 점에 착안하여 실시간 처리를 위해 비교적 연산과정이 단순한 알고리즘인 템플릿 매칭 방법을 이용하였다. 템플릿 매칭 방법은 픽셀정보를 이용하여 미리 정의된 템플릿과 오브젝트를 정합하는 방법이다.
마지막으로 크기 정규화 된 사각영역에서 숫자영역만 다시 추출한다. 숫자 영역을 추출하는 방법도 RGB 컬러모델을 이용하였다. 숫자 영역은 검정색을 쓰는 것이 표준으로 되어 있으므로 식(2)와 같이 임계값을 정하여 P₂ (x,y)= 1 이면 검정색으로 판단하고 사각영역으로 추출하였다.

성능/효과

100프레임 이전에 검출을 제대로 하지 못하는 이유는 카메라와 표지판이 멀리 떨어져 있기 때문이다. 100프레임을 기준으로 표지판과 카메라의 거리는 약 50m가 되는데 거리가 50m보다 멀게 되면 검출 및 인식이 잘되지 않는 것을 알 수 있었다. (그림 10)의 0, 10, 20, 80번 프레임을 보면 숫자 영역이 제대로 보여지지 않는 것을 알 수 있는데 해당하는 프레임의 숫자영역을 검출한 (그림 11)의 0, 10, 20, 80 번 프레임을 보면 그냥 어둡게만 검출되는 것을 볼 수 있다.
3도 이하라고 하여도 인식률이 떨어지는 것을 알 수 있었다. 기울어진 표지판을 기울기 보정을 한 후 템플릿 매칭 한 결과 각도와 관계없이 92.8%의 인식률을 보였다. (그림 15)는 기울기를 보정한 후 인식률을 보여준다.
속도표지판을 제대로 검출할 수 있는 거리인 50m이하에서 인식률은 94.3%를 보였다. 인식의 기준은 다음과 같다.
우선 표지판 영역 추출 단계에서는 RGB컬러모델 중 R값을 이용하여 표지판을 사각영역으로 추출하였으며 인식 단계에서는 템플릿 매칭 및 지그재그 스캔을 이용한 기울기 보정을 시행한 후 인식을 행 하였다. 제안된 방법을 실제 도로 영상에 대하여 적용한 결과 표지판이 약간 기울어져 있는 영상에서도 잘 적용됨을 확인하였으며, 전체 영상을 다 처리할 필요 없이 표지판이 존재하는 윗부분과 오른쪽 부분에서만 적용시켜 처리 시간을 줄일 수 있다. 그러나 빛이 거의 없는 밤이나 빛반사가 심한 환경에서 속도 표지판은 추출하지만 이진화 오류에 의하여 숫자영역 추출에 있어서 오류가 발생하는 경우도 있었다.

후속연구

이 시스템은 도로 주행 중에 차량에 장착된 카메라로부터 도로에 있는 속도표지판 영상을 수집하여 운전자 대신 인지해줌으로써 이러한 요구를 충족시킬 수 있는 시스템이다. 이 시스템으로 운전자의 시각 및 지각의 한계를 보완하여 운전자의 과실로 인한 사고발생을 줄일 수 있을 것이다.
그러나 빛이 거의 없는 밤이나 빛반사가 심한 환경에서 속도 표지판은 추출하지만 이진화 오류에 의하여 숫자영역 추출에 있어서 오류가 발생하는 경우도 있었다. 향후 과제로는 급격한 조도의 변화, 야간에도 강건한 인식이 이루어질 수 있는 방안에 대한 고려가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	템플릿 매칭 방법은 어떤 방법인가?	본 논문에서는 도로상에 속도표지판의 숫자 형태가 일정하다는 점에 착안하여 실시간 처리를 위해 비교적 연산과정이 단순한 알고리즘인 템플릿 매칭 방법을 이용하였다. 템플릿 매칭 방법은 픽셀정보를 이용하여 미리 정의된 템플릿과 오브젝트를 정합하는 방법이다.
	지능형 교통 시스템은 무엇인가?	지능형 교통 시스템(ITS : Intelligent Transportation Systems)은 당면한 각종 교통문제를 해결하고 날로 증가하는 교통수요를 충족시키기 위하여 도로 신호등 차량 등 기존 교통체계의 구성요소에 제어, 전자, 통신 등 첨단기술을 접목시켜 구성요소들이 상호 유기적으로 작동하도록 하는 차세대 교통체계이다. 이러한 지능형 교통 시스템 서비스 중 AVHS(Advanced Vehicle and Highway System)란 서비스는 차량에 교통상황, 장애물 인식 등의 고성능 센서와 자동제어장치를 부착하여 운전을 자동화하며, 도로상에 지능형 통신시설을 설치하여 일정간격 주행으로 교통사고를 예방하고 도로소통의 능력을 증대시키는 서비스이다.
	본 논문에서 제안된 속도 표지판 영역 추출 및 인식 방법은 어떤 단계로 구분할 수 있는가?	본 논문에서 속도 표지판 영역 추출 및 인식 방법을 제안하였다. 제안된 방법은 표지판 영역 추출과 인식의 두 단계로 구분할 수 있다. 우선 표지판 영역 추출 단계에서는 RGB컬러모델 중 R값을 이용하여 표지판을 사각영역으로 추출하였으며 인식 단계에서는 템플릿 매칭 및 지그재그 스캔을 이용한 기울기 보정을 시행한 후 인식을 행 하였다.

참고문헌 (10)

H. Akasuka and S. Imai, 'Road signposts recognition system,' Proc. of SAE vehicle highway infrastructure : safety compatibility, pp.189-196, 1987
Chiung-Yao Fang, Sei-Wang Chen, Chiou-Shann Fuh, 'Road-sign detection and tracking,' IEEE Transactions on Vehicular Technology, Vol.52, No.5, September, 2003, pp. 1329-1341

상세보기
N. Kehtarnavaz, N. C. Griswold, and D. S. Kang, 'Stop-sign recognition based on color-shape processing,' Machine Vision and Applications, Vol.6, pp.206-208, 1993

상세보기
Yasuo Inoue, Yuuichirou Kohashi, Naoto Ishikaw, Masato Nakajima, 'Automatic Recognition of Road Signs,' Proceedings of SPIE Vol.4790, 2002, pp.543-550
정의윤, 정호철, 윤형진, '도로상황 인식을 위한 신호등 및 표지판 인식시스템,' 한국자동차공학회 2005년도 춘계학술대회논문집, Vol.1, pp.527-531, 2005
오준택, 곽현욱, 김욱현, '실영상에서 형태 정보와 에지 영상을 이용한 교통 표지판 인식,' 정보처리학회논문지B, Vol.11, No.2, pp.198-203, 2004

원문보기 상세보기
김용권, 이기성, 조성익, 박정호, 최경호, '차세대 실감 네비게이션을 위한 실시간 신호등 및 표지판 객체 인식,' 한국공간정보시스템학회논문지, Vol.10, No.2, pp.13-24, 2008

원문보기 상세보기
손영선, 신일식, 박상열, '픽셀 수치 정보를 이용한 교통안전표지판 인식,' 한국지능시스템학회 학술발표논문집, Vol.17, No.1, pp.29-32, 2007
신민철, 나상일, 이정호, 정준호, 정동석, '색상정보와 신경회로망을 이용한 교통 표지판 검출,' 한국정보과학회 학술발표논문집, Vol.32, No.2, pp.943-945, 2005
Kyu Won Lee, Seong Won Ryu, Soo Jong Lee, Kyu Tae Park, 'Motion based object tracking with mobile camera,' Electronics Letters, Vol.34, No.3, pp.256-258, 1998

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증