복합 특성 정보와 SVM을 이용한 차량 번호판 추출 및 검증 Vehicle License Plate Extraction and Verification Using Compounded Feature Information and Support Vector Machines원문보기
본 논문에서는 번호판 고유의 복합 색상 정보와 수직 에지 정보를 이용한 번호판 후보 영역 추출기법을 제안한다. 또한 추출된 번호판 영역의 정확성을 높이기 위해서, Fast DCT를 거쳐 압축된 이미지에 대하여 Support Vector Machines(SVM)을 이용한 검증 과정을 제안한다. 제안하는 기법은 차량번호판 인식의 대상이 되는 자동차의 위치가 정면, 후면을 구분하지 않는 다양함을 가지고, 주변 배경이 충분히 포함되는 상황에서 다양한 크기를 가지는 355장의 영상들을 대상으로 한다. 실험 결과, SVM을 이용한 검증 과정을 거친 방법이 그렇지 않은 경우보다 20%이상 향상된 번호판 추출 성공률을 나타내었다.
본 논문에서는 번호판 고유의 복합 색상 정보와 수직 에지 정보를 이용한 번호판 후보 영역 추출기법을 제안한다. 또한 추출된 번호판 영역의 정확성을 높이기 위해서, Fast DCT를 거쳐 압축된 이미지에 대하여 Support Vector Machines(SVM)을 이용한 검증 과정을 제안한다. 제안하는 기법은 차량번호판 인식의 대상이 되는 자동차의 위치가 정면, 후면을 구분하지 않는 다양함을 가지고, 주변 배경이 충분히 포함되는 상황에서 다양한 크기를 가지는 355장의 영상들을 대상으로 한다. 실험 결과, SVM을 이용한 검증 과정을 거친 방법이 그렇지 않은 경우보다 20%이상 향상된 번호판 추출 성공률을 나타내었다.
In this paper, we propose a new approach to detect candidate area of vehicle license plate using compounded color and vertical edge information it's own. Also, we propose a verification course, to compressed image generated by Fast DCT, using SVM to increase accuracy of extracted vechicle license pl...
In this paper, we propose a new approach to detect candidate area of vehicle license plate using compounded color and vertical edge information it's own. Also, we propose a verification course, to compressed image generated by Fast DCT, using SVM to increase accuracy of extracted vechicle license plate area. Proposed method is consider that vehicle's position, become a object of it's license plate recognition, has various angle, scale and include enough environment informations. As a experimental results, proposed method shows a superior performance compared with the case that not includes verification course using SVM.
In this paper, we propose a new approach to detect candidate area of vehicle license plate using compounded color and vertical edge information it's own. Also, we propose a verification course, to compressed image generated by Fast DCT, using SVM to increase accuracy of extracted vechicle license plate area. Proposed method is consider that vehicle's position, become a object of it's license plate recognition, has various angle, scale and include enough environment informations. As a experimental results, proposed method shows a superior performance compared with the case that not includes verification course using SVM.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 복잡한 주변 환경이 충분히 포함되고 촬영 위치가 일정하지 않은 주, 정차 위반 단속용 영상에서 번호판을 추출하기 위하여, 차량 번호판이 가지는 복합적인 특성 정보를 이용하였다. 유사한 색상을 잘 나타내는 Hue와 조명에 강한 장점을 가지는 I, Q 컬러모델을 상호 보완적으로 사용하여 효과적으로 번호판 영역을 검출하였으며, 번호판의 수직 에지 정보를 이용하여 영역 결과를 보완하였다.
본 논문에서는 정확한 번호판 영역 추출을 위하여 위와 같은 컬러 모델 간의 특성을 상호 보완하여 복합적으로 사용한다. 그림 1은 원영상과 복합 색상 정보로 검출한 번호판 후보 영역의 이 진화 결과를 나타내고 있다.
제안 방법
먼저, 영상이 들어오면 영상의 복합 색상 정보를 이용하여 번호판의 후보 영역을 검출한다. 검출된 후보 영역의 신뢰성을 보완하기 위해 명암 정보를 이용하여 범위를 재설정한다. 마지막으로 검출된 후보 영역들을 대상으로 레이블링을 수행하여, 번호판 후보 영역들을 추출한다.
유사한 색상을 잘 나타내는 Hue와 조명에 강한 장점을 가지는 I, Q 컬러모델을 상호 보완적으로 사용하여 효과적으로 번호판 영역을 검출하였으며, 번호판의 수직 에지 정보를 이용하여 영역 결과를 보완하였다. 또한, 추출한 번호판의 신뢰성을 검증하기 위하여 Fast DCT로 원 정보를 축소한 후, SVM을 사용하여 등록된 번호판 정보들과의 비교를 통하여 유사도를 측정하였다.
검출된 후보 영역의 신뢰성을 보완하기 위해 명암 정보를 이용하여 범위를 재설정한다. 마지막으로 검출된 후보 영역들을 대상으로 레이블링을 수행하여, 번호판 후보 영역들을 추출한다.
추출된 번호판 영역의 크기는 각 레이블의 인덱스에 따라서 차이가 나므로, 이미지를 일정한 크기로 만드는 정규화 작업을 수행한다. 본 논문 에서는 64x64의 크기로 모든 후보 영역들을 정규화한 이미지에 DCT를 적용하여 다른 차원의 값으로 변환하였다. 변환된 이미지에서 저주파 성분에 속하는 20x20 영역을 설정하여 이를 0과 255 사이의 값으로 다시 정규화하는 과정을 거쳤다.
본 논문에서는 이 문제를 해결하기 위해서 영상의 명암 정보를 바탕으로 한 수직 에지 필터를 사용한다. 번호판은 수직적인 정보를 많이 포함하고 있기 때문에 영상 전체에 수직 에지 필터를 적용하여 후보 영역을 추출할 수 있다
입력된 컬러 영상에서 번호판 후보 영역을 검출하기 위해서 단일 색상 정보를 사용할 경우, 유사한 색상이 주변 환경에 포함되어 있거나, 조명이 다양하면 올바른 결과를 얻기가 어렵다. 본 논문에서는 이러한 문제점을 보완하기 위해서 HSI 와 YIQ의 색상 정보를 복합적으로 이용하였다 [, 10] HSI 컬러 모델에서 색상 정보를 가지고 있는 H(Hue)는 모든 색상에 대한 표현이 가능하며 유사한 색상은 잘 구분하지만, 조명에 약한 단점을 가지고 있다. YIQ 컬러모델에서 색상 정보를 나타내는 1, Q는 유사한 색상에 대한 분별력은 부족하지만, 조명에 강한 장점을 가지고 있다.
만약 차량임을 나타내는 SV가 많은 경우 값이 증가하고, 차량이 아닌 경우는 값이 감소한다. 본 논문에서는 차량임을 나타내는 유사도 임계값, 즉 optimal hyperplane을 0으로 설정하였다. 즉, 0이하는 차량이 아니며, 0이상의 값은 차량임을 의미 한다.
우선, 추출된 번호판 후보 영역에 대하여 중위 수 필터, 모폴로지 연산 등을 사용하여 잡영을 제 거하는 등의 전처리를 수행한다. 전처리를 거친 영상에서 설정한 임계치0=1000) 이하의 값은 포함하지 않는 레이블링으로 번호판 후보 영역을 재설정한다.
본 논문에서는 복잡한 주변 환경이 충분히 포함되고 촬영 위치가 일정하지 않은 주, 정차 위반 단속용 영상에서 번호판을 추출하기 위하여, 차량 번호판이 가지는 복합적인 특성 정보를 이용하였다. 유사한 색상을 잘 나타내는 Hue와 조명에 강한 장점을 가지는 I, Q 컬러모델을 상호 보완적으로 사용하여 효과적으로 번호판 영역을 검출하였으며, 번호판의 수직 에지 정보를 이용하여 영역 결과를 보완하였다. 또한, 추출한 번호판의 신뢰성을 검증하기 위하여 Fast DCT로 원 정보를 축소한 후, SVM을 사용하여 등록된 번호판 정보들과의 비교를 통하여 유사도를 측정하였다.
입력 영상은 들어오는 차량의 각도나 조명의 변화가 매우 다양하고, 번호판의 특징 정보와 유사한 주변 환경 요소들도 많이 포함하고 있다. 제안하는 방법은 번호판 고유의 색상, 수직 에지 정보를 이용하여 차량 번호판 후보 영역들을 추출한 다음, 후보 영역들의 수직 에지 정 보에 DCT를 적용하여 영상을 분할하고, 판별 기능이 뛰어난 SVM으로 번호판 후보 영역들의 저주파 영역에 대해 검증을 실시하여 최종적인 번호판 영역을 추출한다.
대상 데이터
본 논문에서는 주변 환경이 충분히 포함되도록 촬영된 주, 정차 위반 지역을 대상으로 하여 실험을 진행한다. 입력 영상은 들어오는 차량의 각도나 조명의 변화가 매우 다양하고, 번호판의 특징 정보와 유사한 주변 환경 요소들도 많이 포함하고 있다.
제안하는 방법의 실험을 위해서 도로 상에 설치된 웹 카메라에서 주변 배경을 충분히 포함한 차량 영상을 총 355장 사용하였다. 영상은 720x486의 크기를 가지며 해상도는 72pixel/inch 이다. 차량 번호판이 들어오는 방향은 전면, 후면을 구분하지 않으며, 조명의 상태도 역광과 순광 을 전부 포함하였다.
제안하는 방법의 실험을 위해서 도로 상에 설치된 웹 카메라에서 주변 배경을 충분히 포함한 차량 영상을 총 355장 사용하였다. 영상은 720x486의 크기를 가지며 해상도는 72pixel/inch 이다.
데이터처리
두 번째 성능 평가는 복합 특성 정보를 이용하여 차량 번호판을 추출하되 SVM을 통한 검증과 정을 거치지 않은 방법과 제안한 방법을 비교하는 방식을 선택하였다.
첫 번째 성능 평가는 SVM의 검증을 거치지 않고 복합 색상, 수직 에지 정보를 각각 사용한 번호판 영역 추출 방법과 복합 특성 정보를 사용한 방법의 결과를 비교하였다. 실험 결과는 다음의 표 1과 같다.
이론/모형
번호판 후보 영역으로 설정된 각 레이블들에 대해서 판별을 하기 위해서 SVM을 사용한다. SVM은 통계학자인 Vapnik에 의해 1995년에 제안되었으며, 통계적 학습 이론에 기반을 두고 최적 분류를 수행함으로서 뛰어난 일반화 성능을 보여준다[11, 12].
SVM은 통계학자인 Vapnik에 의해 1995년에 제안되었으며, 통계적 학습 이론에 기반을 두고 최적 분류를 수행함으로서 뛰어난 일반화 성능을 보여준다[11, 12]. 본 논문에서는 비선형 커널 함수 중의 하나인 Radial Basis Function(RBF) 을 사용 하여 번호판 판별에 사용한다[12].
성능/효과
변환된 이미지에서 저주파 성분에 속하는 20x20 영역을 설정하여 이를 0과 255 사이의 값으로 다시 정규화하는 과정을 거쳤다. DCT는 영상 부호화 방법의 하나로 알려져 있으몌3], 본 논문에서는 Fast DCT기법을 사용하여 기존의 DCT보다 수행 시간을 줄여 보다 빠르게 결과를 얻을 수 있었다[13].
'오판단' 부분에 있어서도 각 특징의 AND 연산으로 인하여 '다추출'에 해당하는 오류가 현저하게 줄어들었다. 각 방법의 평균 처리 시간은 특징 정보들 간의 비교 연산이 추가된, 복합 특성 정보를 이용한 차량 번호판 영역 추출 방법이 가장 많이 걸렸다.
아래의 표에서와 같이 SVM 검증을 거친 결과가 거치지 않은 방법보다 약 20% 이상의 성능 향상을 가지고 왔음을 확인할 수 있다. 평균 처리 시간은 상대적으로 많은 번호판 후보 영역을 처리해야 하는 검증을 거치지 않는 방법이 더 크게 나타나, 제안한 방법의 효율성을 증명해주었다.
위의 결과에서 보듯이 복합 색상 정보와 수직 에지 정보를 각각 사용한 경우의 차량 번호판 영역 추출 성공률보다 두 가지 특성을 AND 연산 하여 번호판 영역을 추출한 경우의 성능이 더 높았다. '오판단' 부분에 있어서도 각 특징의 AND 연산으로 인하여 '다추출'에 해당하는 오류가 현저하게 줄어들었다.
즉, 0이하는 차량이 아니며, 0이상의 값은 차량임을 의미 한다. 차량 번호판 영역으로 인정된 영상에 대해서도 가장 큰 값을 가진 것을 최종 번호판 영역으로 선택하게 하여, 검증의 신뢰성을 높였다.
아래의 표에서와 같이 SVM 검증을 거친 결과가 거치지 않은 방법보다 약 20% 이상의 성능 향상을 가지고 왔음을 확인할 수 있다. 평균 처리 시간은 상대적으로 많은 번호판 후보 영역을 처리해야 하는 검증을 거치지 않는 방법이 더 크게 나타나, 제안한 방법의 효율성을 증명해주었다.
후속연구
향후에는 번호판 영역을 좀 더 효율적으로 추출하기 위하여 번호판 고유의 색상 정보에 대하여 다양한 관점으로 분석하고, 복합적인 특성 정 보의 상호 보완성을 파악하는 연구가 수행되어야 한다. 또한, 영상의 특징을 분석하여 검증을 위한 SVM의 번호판 판별 기준을 실험 환경에 의한 영상의 변화에 대해 적응적으로 설정하는 방법에 대해서도 연구가 필요하다.
향후에는 번호판 영역을 좀 더 효율적으로 추출하기 위하여 번호판 고유의 색상 정보에 대하여 다양한 관점으로 분석하고, 복합적인 특성 정 보의 상호 보완성을 파악하는 연구가 수행되어야 한다. 또한, 영상의 특징을 분석하여 검증을 위한 SVM의 번호판 판별 기준을 실험 환경에 의한 영상의 변화에 대해 적응적으로 설정하는 방법에 대해서도 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.