[논문]딥 컨볼루션 신경망을 이용한 자동차 번호판 영역 검출 시스템

정윤주; 이스라필 안사리; 심재창; 이정환

doi:10.9717/kmms.2017.20.8.1166

[국내논문] 딥 컨볼루션 신경망을 이용한 자동차 번호판 영역 검출 시스템
A Car Plate Area Detection System Using Deep Convolution Neural Network 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.20 no.8, 2017년, pp.1166 - 1174

정윤주 (School of Computer Science & Eng., Graduate School, Kyungpook National University) , 이스라필 안사리 (Dept. of Computer Eng. Andong National University) , 심재창 (Dept. of Computer Eng. Andong National University) , 이정환 (Dept. of Electronic Eng. Andong National University)

Abstract ▼ AI-Helper

In general, the detection of the vehicle license plate is a previous step of license plate recognition and has been actively studied for several decades. In this paper, we propose an algorithm to detect a license plate area of a moving vehicle from a video captured by a fixed camera installed on the road using the Convolution Neural Network (CNN) technology. First, license plate images and non-license plate images are applied to a previously learned CNN model (AlexNet) to extract and classify features. Then, after detecting the moving vehicle in the video, CNN detects the license plate area by comparing the features of the license plate region with the features of the license plate area. Experimental result shows relatively good performance in various environments such as incomplete lighting, noise due to rain, and low resolution. In addition, to protect personal information this proposed system can also be used independently to detect the license plate area and hide that area to secure the public's personal information.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 문제들을 해결하기 위하여 본 논문에서는 감시 카메라로 촬영한 영상에서 주행 중인 자동차를 탐지하고, CNN 기술을 이용하여 자동차에서 번호판 영역을 검출하는 알고리즘을 제안한다. 지난 수십 년동안 인공지능 분야 연구자들의 끊임없는 연구 노력과 더불어 최근 웹을 통하여 대량의 디지털 데이터를 쉽게 구할 수 있게 되었고, 막대한 계산량이 요구되는 과학과 공학 문제에 고수준의 병렬연산처리가 가능한 고성능 GPU를 사용하면서 딥러닝 분야는 급격하게 발전하고 있다[2].
본 논문에서는 도로 감시카메라로 촬영한 동영상에서 주행 중인 자동차를 탐지하고 CNN 기술 기반으로 자동차 번호판을 검출하는 알고리듬을 제안한다. Fig.
본 논문에서는 옵티컬 플로우(Optical flow) 알고리즘을 사용하여 CCTV 영상의 각 프레임에서 주행중인 자동차를 검출하였다. 옵티컬 플로우는 객체와 뷰어의 상대적인 움직임에서 발생하는 것으로 연속하는 두 프레임의 차이를 통해 객체가 움직이는 방향과 속도를 추정할 수 있다.
본 논문에서는 도로에 설치된 감시용 고정 카메라로 촬영한 영상에서 옵티컬 플로우를 이용하여 주행중인 자동차를 탐지하고, 컨볼루션 신경망(Convolution Neural Network, CNN) 기술을 이용하여 번호판 영역을 검출하는 알고리즘을 제안하였다. 실험 결과 낮 시간대나 불빛의 교란이 크지 않은 저녁 시간대에는 카메라의 흔들림이나 비가 오는 등의 가상조건에 관계없이 높은 번호판 영역 검출 성공률을 보였다.

제안 방법

본 논문에서는 먼저, 각각 1400개씩의 번호판과 비번호판 이미지를 미리 훈련된 CNN 모델 중의 하나인 AlexNet[3]에 적용하여 번호판 이미지와 비번호판 이미지의 특징을 찾아서 분류한다. 감시 카메라 동영상을 프레임 단위로 분할한 후 이전 프레임에서 다음 프레임으로 움직이는 객체의 방향과 속력을 추정하고 일정 속력 이상으로 움직이는 블롭(blob)을 검출한다.
본 논문에서는 먼저, 각각 1400개씩의 번호판과 비번호판 이미지를 미리 훈련된 CNN 모델 중의 하나인 AlexNet[3]에 적용하여 번호판 이미지와 비번호판 이미지의 특징을 찾아서 분류한다. 감시 카메라 동영상을 프레임 단위로 분할한 후 이전 프레임에서 다음 프레임으로 움직이는 객체의 방향과 속력을 추정하고 일정 속력 이상으로 움직이는 블롭(blob)을 검출한다. 더불어 블롭의 크기에 대한 하한과 상한을 적절하게 설정하여 자동차 블롭을 필터링하고 바운딩 박스(bounding box)를 설정한다.
감시 카메라 동영상을 프레임 단위로 분할한 후 이전 프레임에서 다음 프레임으로 움직이는 객체의 방향과 속력을 추정하고 일정 속력 이상으로 움직이는 블롭(blob)을 검출한다. 더불어 블롭의 크기에 대한 하한과 상한을 적절하게 설정하여 자동차 블롭을 필터링하고 바운딩 박스(bounding box)를 설정한다. 검출된 자동차 영역(RGB)의 하단 중앙부에서 일정한 크기의 윈도우를 슬라이딩 방식으로 움직이며 번호판 후보영역을 정한다.
검출된 자동차 영역(RGB)의 하단 중앙부에서 일정한 크기의 윈도우를 슬라이딩 방식으로 움직이며 번호판 후보영역을 정한다. 그리고 CNN을 이용하여 각 후보 영역의 특징을 추출하고 분류하여 번호판 영역인지 아닌지를 판단한다. 이때, 번호판 후보 영역의 수를 줄이기 위하여 자동차 영역에서 에지를 추출하고, 슬라이딩 윈도우 시 에지 픽셀의 위치 정보를 이용한다.
조명 변화에 강한 자동차 번호판 영역 검출을 위하여 Long[9] 등은 톤 매핑 방법을 이용하여 저조도 이미지를 향상시킨 후, 향상된 이미지를 RGB 색상 공간에서 HSI 색상 공간으로 변환시켰다. HSI 색상 공간에서 I 성분을 추출하고 Sobel 연산자를 사용하여 수직 에지 이미지를 얻은 다음, 대부분의 곡선 에지와 노이즈 에지를 제거하고, 남아있는 에지 이미지에서 직사각형 창으로 번호판 영역을 검색하는 방법을 사용하였다. 윤종호 등[10]은 확률밀도함수와 누적분포함수를 이용하여 영상의 밝기 분포도를 분석하고, 밝기 분포도에 따라 각각 다르게 명암비 조절을 하여 영상의 화질을 개선시킨 후 번호판 영역을 검출하는 방법을 제안하였다.
Farneback의 알고리즘의 정확도가 높기 때문에 Fig. 3(b)에는 불필요한 노이즈가 거의 없지만 혹시 남아 있을 노이즈 블롭을 제거하기 위하여 본 논문에서는 이후 블롭 사이즈를 이용하여 한 번 더 필터링 과정을 거쳐서 주행 중인 자동차를 정확하게 검출하였다.
3절에서 검출한 자동차 블롭의 경계상자 안에서 슬라이딩 윈도우 방식으로 스캔하면서 CNN을 이용하여 각 윈도우의 특징을 추출하고 분류하여 번호판 영역을 찾는다. 이때 번호판 후보 영역을 대폭 감소시키기 위하여 본 논문에서는 Fig. 4와 같이 자동차 경계상자 안의 RGB 이미지를 그레이 이미지로 변환시킨 다음 에지를 추출하고, 에지 픽셀에 한해서 후보 영역을 설정하도록 하였다.
의 값을 변화시키면서 검출할 에지의 넓이를 조절할 수 있다. 본 연구에서는 DoG필터링을 위한 컨볼루션 마스크의 크기는 5, ₁과 ₂는 각각 3과 4로 설정하여 실험을 하였다. DoG 필터링 과정을 거친 이미지를 이진화하고 세선화하여 Fig.
번호판이 아닌 영역을 번호판 영역이라고 잘못 분류할 False Positive 오류의 가능성이 있으므로 검색영역 내에서 계속 스캔하며 번호판 영역을 최대 3회까지 검출하도록 하였다. 실험 결과 카메라 렌즈가 심하게 오염되었거나 저조도의 야간 시간대가 아니라면 대부분의 자동차 이미지에서 번호판 영역을 한번씩만 검출해도 좋은 결과를 얻을 수 있었다.
검출된 번호판 영역은 Fig. 6과 같이 에지 이미지의 가운데 부분에서 긴 직선 성분을 검출한 다음 기울기를 보정하고 수평/수직 방향으로 에지 픽셀을 투영하는 방법을 사용하여 번호판 영역을 재설정하였다. Fig.
실험에 사용한 CCTV 영상은 맑은 날과 바람이 심하게 부는 날, 그리고 비가 오는 날의 낮과 밤에 주택가 도로를 촬영한 것이다. 자동차가 라이트를 켜고 주행을 하는 시간대를 저녁이라고 분류하였으며, 저조도 상황으로 채도가 거의 0에 가까운 시간대를 야간으로 분류하였다. 실험 결과 낮 시간대에는 기상조건에 관계없이 99.
이는 영상 내 분석 대상의 복잡한 특징을 추출할 때 이미지 데이터로부터 고수준 특징(highlevel feature)을 학습할 수 있는 딥러닝 기술을 적용하였고, 또한 잡음에 강한 DoG 필터를 에지를 추출에 이용하여 번호판 후보 영역을 결정하였기 때문이다. 자동차 이미지에서 번호판 후보 영역을 결정할 때 번호판 위치의 지역적 제약 조건을 사용하고 에지 화소의 위치 정보를 이용하여 번호판 영역 검출 속도를 향상시켰다. 하지만 Fig.

대상 데이터

사람이나 동물의 시각 처리 과정을 모방하기 위하여 개발된 CNN은 컴퓨터 비전 분야에서 독보적인 방법으로 사용되고 있으며 다양한 형태의 데이터에서 원하는 특징을 추출하여 유사점을 찾는 이미지 판단에 탁월한 성능을 보여주고 있다[13]. 본 연구에서는 컨볼루션 신경망 구조를 갖는 AlexNet[14]을 딥러닝 모델로 사용하였으며, Fig. 2와 같이 AlexNet은 가중치가 있는 8개의 레이어를 포함한다. 처음 5개의 레이어(C1～C5)는 컨벌루션 레이어이고 나머지 3개(F6～F8)는 완전히 연결된 레이어이다.
실험에 사용한 CCTV 영상은 맑은 날과 바람이 심하게 부는 날, 그리고 비가 오는 날의 낮과 밤에 주택가 도로를 촬영한 것이다. 자동차가 라이트를 켜고 주행을 하는 시간대를 저녁이라고 분류하였으며, 저조도 상황으로 채도가 거의 0에 가까운 시간대를 야간으로 분류하였다.
본 연구를 위하여 실제 주택가 도로에 설치된 감시 카메라로 획득한 영상과 인터넷에서 얻은 이미지에서 각각 1400장씩의 번호판 이미지와 비번호판 이미지를 준비하여 그 중에서 각각 랜덤하게 60%는 학습을 위한 이미지로 사용하였고, 나머지 40%를 테스트를 위한 이미지로 사용하였다. Fig.

이론/모형

5(a)와 같이 단순히 번호판 후보 영역의 수를 줄이는 것이다. 따라서 2차 미분 방식으로 잡음에 강하고 밝기 차이가 뚜렷한 부분의 에지를 주로 추출하며 속도가 빠른 DoG(Difference of Gaussian) 알고리즘[16]을 사용하여 에지를 추출하였다. 그 결과 비나 눈이 오거나 저녁과 야간의 이미지에서 빛의 변화로 인하여 발생할 수 있는 잡음의 양을 상당히 줄일 수 있었다.

성능/효과

따라서 2차 미분 방식으로 잡음에 강하고 밝기 차이가 뚜렷한 부분의 에지를 주로 추출하며 속도가 빠른 DoG(Difference of Gaussian) 알고리즘[16]을 사용하여 에지를 추출하였다. 그 결과 비나 눈이 오거나 저녁과 야간의 이미지에서 빛의 변화로 인하여 발생할 수 있는 잡음의 양을 상당히 줄일 수 있었다. DoG 알고리즘은 서로 다른 가우시안 편차()를 가진 가우시안 마스크의 차 연산을 식(1)과 같이 계산하고, 그레이 이미지와 가우시안 필터 DoG(x, y)의 2차원 컨벌루션을 수행하여 에지를 찾는 방법이다.
번호판이 아닌 영역을 번호판 영역이라고 잘못 분류할 False Positive 오류의 가능성이 있으므로 검색영역 내에서 계속 스캔하며 번호판 영역을 최대 3회까지 검출하도록 하였다. 실험 결과 카메라 렌즈가 심하게 오염되었거나 저조도의 야간 시간대가 아니라면 대부분의 자동차 이미지에서 번호판 영역을 한번씩만 검출해도 좋은 결과를 얻을 수 있었다.
결과는 테스트할 때마다 미세한 차이를 보였지만 평균적으로 Table 2와 같이 True-Positive(TP)는 99.82%, True-Negative(TN)는 0.18%, False-Positive (FP)는 1.81%, False-Negative(FN)는 98.18 %의 결과를 얻었다.
자동차가 라이트를 켜고 주행을 하는 시간대를 저녁이라고 분류하였으며, 저조도 상황으로 채도가 거의 0에 가까운 시간대를 야간으로 분류하였다. 실험 결과 낮 시간대에는 기상조건에 관계없이 99.14%의 높은 번호판 영역 검출률을 나타내었으며, 저녁 시간대와 비가 올 때에는 각각 92.30%와 93.52%의 자동차에서 번호판 영역을 정확하게 검출하였으며, 저조도의 야간 시간대에도 절반 이상(54.16%)의 자동차에서 번호판 영역을 찾을 수 있었다.
본 논문에서는 도로에 설치된 감시용 고정 카메라로 촬영한 영상에서 옵티컬 플로우를 이용하여 주행중인 자동차를 탐지하고, 컨볼루션 신경망(Convolution Neural Network, CNN) 기술을 이용하여 번호판 영역을 검출하는 알고리즘을 제안하였다. 실험 결과 낮 시간대나 불빛의 교란이 크지 않은 저녁 시간대에는 카메라의 흔들림이나 비가 오는 등의 가상조건에 관계없이 높은 번호판 영역 검출 성공률을 보였다. 이는 영상 내 분석 대상의 복잡한 특징을 추출할 때 이미지 데이터로부터 고수준 특징(highlevel feature)을 학습할 수 있는 딥러닝 기술을 적용하였고, 또한 잡음에 강한 DoG 필터를 에지를 추출에 이용하여 번호판 후보 영역을 결정하였기 때문이다.

후속연구

향후 연구 계획은 야간 영상의 번호판 영역 검출을 개선하고, 반복적인 CNN(Recurrent CNN) 방법을 적용하여 번호판을 인식하고, 차종 및 차량의 색상을 분류할 수 있는 시스템을 개발할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	에지 정보를 이용하는 방법의 단점은 무엇인가?	주로 에지 연산자와 모폴로지 연산자를 결합하여 번호판의 후보 영역이 될 수 있는 사각형을 찾는 방법으로 수행 속도가 빠르다[5,6]. 하지만 에지 정보를 이용하는 방법은 조명상태나 노이즈에 민감한 단점을 가지고 있다. Duan 등[7]은 Hough 변환을 이용하여 입력영상에서 강한 수평, 수직의 에지 성분을 추출한 후 번호판의 가로와 세로 비율을 고려하여 번호판을 추출하였다.
	자동차 번호판을 검출하기 위한 기존의 알고리즘들은 어떤 속성을 이용하는가?	최근 지능형 교통 시스템의 발전에 따라 자동차 번호판 검출 및 인식에 대한 연구가 새롭게 관심을 끌고 있다. 자동차 번호판을 검출하기 위한 대부분의 기존 알고리즘들은 번호판의 모양, 색상 또는 질감 등의 속성을 이용한다[1]. 이러한 속성들은 이미지 내의 노이즈, 조명의 변화, 배경의 복잡도 등에 민감하다.
	자동차 번호판을 검출하기 위해 컨볼루션 신경망 기술을 이용할 때 가상조건에 관계없이 높은 번호판 영역 검출 성공률을 보인 이유는 무엇인가?	실험 결과 낮 시간대나 불빛의 교란이 크지 않은 저녁 시간대에는 카메라의 흔들림이나 비가 오는 등의 가상조건에 관계없이 높은 번호판 영역 검출 성공률을 보였다. 이는 영상 내 분석 대상의 복잡한 특징을 추출할 때 이미지 데이터로부터 고수준 특징(highlevel feature)을 학습할 수 있는 딥러닝 기술을 적용하였고, 또한 잡음에 강한 DoG 필터를 에지를 추출에 이용하여 번호판 후보 영역을 결정하였기 때문이다. 자동차 이미지에서 번호판 후보 영역을 결정할 때 번호판 위치의 지역적 제약 조건을 사용하고 에지 화소의 위치 정보를 이용하여 번호판 영역 검출 속도를 향상시켰다.

참고문헌 (16)

D. Zheng, Y. Zhao, and J. Wang, "An Efficient Method of License Plate Location," Proceeding of Pattern Recognition Letters, pp. 2431-2438, 2005.
Korea Creative Content Agency, Evolving Deep-Running, from user Predictions to Translations, CT Culture and Technology Meeting, Korea Creative Content Agency, Korea, 2016.
R. Chen and Y. Luo, "An Improved License Plate Location Method Based on Edge Detection," Proceeding of International Conference on Applied Physics and Industrial Engineering, pp. 1350-1356, 2012.
M.A. Lalimia, S. Ghofrania, and D. McLernonb, "A Vehicle License Plate Detection Method Using Region and Edge Based Methods," Journal of Computers and Electrical Engineering, Vol. 39, No. 3, pp. 834-845, 2013.

상세보기
J. Tan, S. AbuBakar, and M. Mokji, "License Plate Localization Based on Edge-Geometrical Features Using Morphological Approach," Proceeding of IEEE International Conference on Image Processing, pp. 4549-4553, 2013.
H. Bai and C. Liu, "A Hybrid License Plate Extraction Method Based on Edge Statistics and Morphology," Proceeding of IEEE International Conference on Pattern Recognition, pp. 831-834, 2014.
T.D. Duan, D.A. Duc, and T.L.H. Du, "Combining Hough Transform and Contour Algorithm for Detecting Vehiclesi License-Plates," Proceeding of International Symposium on Intelligent Multimedia, Video and Speech Processing, pp. 747-750, 2004.
B. Oh and D. Choi, “Number Region Extraction of License Plates Using Colors and Arrangement of Number,” Journal of Korea Multimedia Society, Vol. 14, No. 9, pp. 1117-1124, 2011.

원문보기 상세보기
X. Long and J. Zhou, “An Efficient Method for Dark License Plate Detection,” International Journal of Digital Content Technology and its Applications, Vol. 7, No. 55, pp. 477-485, 2013.
J. Yun, Y. Choi, and S. Lee, “An Image Enhancement Algorithm for Detecting the License Plate Region Using the Image of the Car Personal Recorder,” Journal of the Korea Academia-Industrial Cooperation Society, Vol. 17, No. 3, pp. 1-8, 2016.
K. Lim, H. Byun, and Y. Choi, "Vehicle License Plate Detection in Road Images," Journal of Korean Institute of Information Science and Engineers, Vol. 43, No. 2, pp. 186-195, 2016.
H. Li and C. Shen, "Reading Car License Plates Using Deep Convolutional Neural Networks and LSTMs," arXiv:1601.05610, 2016.
E.J. Kim, Introduction to Artificial Intelligence, Machine Learning, and Deep Learning, Wikibooks, Paju-si, 2016.
A. Krizhevsky, I. Sutskever, and G.E. Hinton, “Imagenet Classification with Deep Convolutional Neural Networks,” Journal of Advances in Neural Information Processing Systems, Vol. 60, No. 6, pp. 84-90, 2017.
G. Farneback, "Two-Frame Motion Estimation Based on Polynomial Expansion," The 13th Scandinavian Conference on Image Analysis, Gothenburg, Sweden, pp. 363-370, 2003.
L. Assirati, N.R. Silva, L. Berton, A.A. Lopes, and O.M. Bruno, "Performing Edge Detection by Difference of Gaussians Using Q-Gaussian Kernels," Journal of Physics: Conference Series, Vol. 490, No. 1, arXiv:1311.2561, 2014.

상세보기

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증