[논문]딥러닝과 의미론적 영상분할을 이용한 자동차 번호판의 숫자 및 문자영역 검출

이정환

doi:10.15207/jkcs.2021.12.1.029

딥러닝과 의미론적 영상분할을 이용한 자동차 번호판의 숫자 및 문자영역 검출
Detection of Number and Character Area of License Plate Using Deep Learning and Semantic Image Segmentation 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.12 no.1, 2021년, pp.29 - 35

초록
AI-Helper

자동차 번호판 인식은 지능형 교통시스템에서 핵심적인 역할을 담당한다. 따라서 효율적으로 자동차 번호판의 숫자 및 문자영역을 검출하는 것은 매우 중요한 과정이다. 본 연구에서는 딥러닝과 의미론적 영상분할 알고리즘을 적용하여 효과적으로 자동차 번호판의 번호영역을 검출하는 방법을 제안한다. 제안된 방법은 화소 투영과 같은 전처리과정 없이 번호판 영상에서 바로 숫자 및 문자영역을 검출하는 알고리즘이다. 번호판 영상은 도로 위에 설치된 고정 카메라로 부터 획득한 영상으로 날씨 및 조명변화 등을 모두 포함한 다양한 실제 상황에서 촬영된 것을 사용하였다. 입력 영상은 색상변화를 줄이기 위해 정규화하고 실험에 사용된 딥러닝 신경망 모델은 Vgg16, Vgg19, ResNet18 및 ResNet50이다. 제안방법의 성능을 검토하기 위해 번호판 영상 500장으로 실험하였다. 학습을 위해 300장을 할당하였으며 테스트용으로 200장을 사용하였다. 컴퓨터모의 실험결과 ResNet50을 사용할 때 가장 우수하였으며 95.77% 정확도를 얻었다.

Abstract ▼ AI-Helper

License plate recognition plays a key role in intelligent transportation systems. Therefore, it is a very important process to efficiently detect the number and character areas. In this paper, we propose a method to effectively detect license plate number area by applying deep learning and semantic image segmentation algorithm. The proposed method is an algorithm that detects number and text areas directly from the license plate without preprocessing such as pixel projection. The license plate image was acquired from a fixed camera installed on the road, and was used in various real situations taking into account both weather and lighting changes. The input images was normalized to reduce the color change, and the deep learning neural networks used in the experiment were Vgg16, Vgg19, ResNet18, and ResNet50. To examine the performance of the proposed method, we experimented with 500 license plate images. 300 sheets were used for learning and 200 sheets were used for testing. As a result of computer simulation, it was the best when using ResNet50, and 95.77% accuracy was obtained.

주제어

표/그림 (9)

그림 Fig. 1. Block diagram of the proposed method
표 Table 1. Structure of Vgg16 and Vgg19
그림 Fig. 2. Connection structure of ResNet
그림 Fig. 3. Original license plate
그림 Fig. 4. Color normalized and resized license plate
그림 Fig. 6. Comparison of simulation results according to neural network models. ⓐ,ⓒ Original image ⓑ,ⓓ Partial enlargement of ground-truth image
그림 Fig. 5. Original image and experimental results using Vgg16 model. ⓐOriginal image ⓑGround-truth image ⓒSegmented image ⓓOverlap with original and segmented result ⓔOverlap with ground-truth and segmented result
그림 Fig. 7. Convergence characteristics of cross entropy loss function using sgdm optimization
표 Table 2. Accuracy, mean IoU and mean BF value for each neural network model

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 딥러닝과 의미론적 영상분할을 사용하여 자동차 번호판의 숫자 및 문자영역을 검출하는 방법을 연구하였다. 그림1에 제안방법의 블록도를 표시하였다.
본 연구에서는 기존방법에서 사용하던 에지검출, 수직 및 수평 방향으로의 투영과정과 같은 전처리과정 없이 의미론적 분할을 이용하여 자동차 번호판 영상에서 숫자 및 문자영역을 원 영상으로부터 바로 추출하는 방법을 연구하였다. 조명 및 날씨 변화에 따른 번호판 영상의 색상변화를 줄이기 위해 정규화하였으며 전경 및 배경 영역의 면적 비율 차이에 따른 편향을 줄이는 방법을 연구하였다.

제안 방법

Long[10]등은 조명변화에 강인한 번호판 영역 검출방법을 제안하였는데 HSI 칼라 영역으로 변환한 후 밝기성분에 대하여 소 벨 연산자로 수직 에지성분을 검출한다. 그리고 길이가 작은 잡음 에지 및 곡선에지 등을 제거하고 남아 있는 에지 영상에 대하여 직사각형 창을 스캔하면서 번호판 영역을 검출하는 방법을 제안하였다.
사용하였다. 먼저 촬영된 동영상에서 AlexNet 합성곱 신경망을 이용한 전이학습을 통하여 자동차 영역을 분리하고 번호판 영역을 검출하는 선행연구를 진행하였다[16]. 본 논문에서는 후속 연구로 추출된 번호판 영역에 의미론적 분할 방법을 적용하여 숫자 및 문자영역을 검출하는 방법을 제안한다.
의미론적 영상분할은 화소 단위로 분류된 기준영상 (ground-truth)이 필요하다. 본 논문에서는 영상레이블러(image labeler)를 사용하여 번호판 영상을 화소 단위로 레이블링한다. 즉 번호판의 숫자와 문자영역이 포함된 전경 부분(foreground)과 이를 제외한 배경부분 (background)으로 레이블링하고 이를 딥러닝 신경망 학습에 사용한다.
의미론적 영상분할은 자율주행 자동차 연구분야에서 자동차 주행중에 주변 환경을 인식하는데 주로 사용하는 알고리즘이다. 본 논문에서는 획득된 번호판 원본 영상에 기존의 화소 투영과 같은 추가적인 전처리과정 없이 딥러닝 및 의미론적 분할을 적용하여 바로 숫자 및 문자영역을 검출하는 방법을 제안한다.
먼저 촬영된 동영상에서 AlexNet 합성곱 신경망을 이용한 전이학습을 통하여 자동차 영역을 분리하고 번호판 영역을 검출하는 선행연구를 진행하였다[16]. 본 논문에서는 후속 연구로 추출된 번호판 영역에 의미론적 분할 방법을 적용하여 숫자 및 문자영역을 검출하는 방법을 제안한다.
조명 및 날씨 변화에 따른 번호판 영상의 색상변화를 줄이기 위해 정규화하였으며 전경 및 배경 영역의 면적 비율 차이에 따른 편향을 줄이는 방법을 연구하였다. 의미론적 분할을 위한 심층신경망 학습을 위해 영상레이블러로 기준영상을 생성하였으며, 심층신경망으로 Vgg16, Vgg19, ResNet18과 ResNet50을 사용하여 성능을 비교하였다. 실험결과 번호판에서 숫자 및 문자 영역검출은 ResNet50을 사용할 때 성능이 가장 우수하였다.
조명 및 날씨 변화에 따른 번호판 영상의 색상변화를 줄이기 위해 정규화하였으며 전경 및 배경 영역의 면적 비율 차이에 따른 편향을 줄이는 방법을 연구하였다. 의미론적 분할을 위한 심층신경망 학습을 위해 영상레이블러로 기준영상을 생성하였으며, 심층신경망으로 Vgg16, Vgg19, ResNet18과 ResNet50을 사용하여 성능을 비교하였다.

대상 데이터

본 논문에서 의미론적 영상분할을 위해 사용한 기저 신경망은 Vgg16, Vgg19, ResNet18 및 ResNet50이다. 각 모델에 따른 실험결과를 그림 6에 나타내었다.
실험에 사용된 번호판 영상은 500장으로 하루 중 햇빛과 날씨의 변화에 따른 색상변화가 포함되어 있다. 그림 3은 실험에 사용된 번호판 영상 일부이다.
제안방법의 성능을 평가하기 위해 본 연구에서는 실제 도로 위의 CCTV 카메라에서 촬영된 영상을 사용하였다. 먼저 촬영된 동영상에서 AlexNet 합성곱 신경망을 이용한 전이학습을 통하여 자동차 영역을 분리하고 번호판 영역을 검출하는 선행연구를 진행하였다[16].

이론/모형

본 논문에서는 자동차 번호영역을 분할하는 기저모델 (base model)로 Vgg계열 및 ResNet계열을 사용한다. [7, 13, 15].
본 논문에서는 카메라로부터 획득된 원본 자동차 번호판 영상으로부터 번호영역을 추출하기 위해 의미론적 (semantic) 영상분할과 딥러닝(deep learning) 알고리즘을 사용한다[5-8]. 의미론적 영상분할은 자율주행 자동차 연구분야에서 자동차 주행중에 주변 환경을 인식하는데 주로 사용하는 알고리즘이다.

성능/효과

녹색부분은 기준영상에서는 어떤 클래스(전경 혹은 배경)에도 포함되지 않았던 화소를 분할 영상에서는 전경부분으로 분류된 화소이다. 실험결과 Vgg계열 신경망을 사용할 때는 번호 및 테두리 부분에 잡음이 검출되었으나 ResNet계열은 상대적으로 번호영역 검출성능이 우수함을 알 수 있다.
의미론적 분할을 위한 심층신경망 학습을 위해 영상레이블러로 기준영상을 생성하였으며, 심층신경망으로 Vgg16, Vgg19, ResNet18과 ResNet50을 사용하여 성능을 비교하였다. 실험결과 번호판에서 숫자 및 문자 영역검출은 ResNet50을 사용할 때 성능이 가장 우수하였다. 향후 연구과제는 제안방법을 전체 교통관제 시스템에 연결하는 연구가 필요하다.

후속연구

실험결과 번호판에서 숫자 및 문자 영역검출은 ResNet50을 사용할 때 성능이 가장 우수하였다. 향후 연구과제는 제안방법을 전체 교통관제 시스템에 연결하는 연구가 필요하다.

참고문헌 (16)

S. An, B. Lee & D. Shin. (2011).A Survey of Intelligent Transportation Systems. Third International Conference on Computational Intelligence, Communication Systems and Networks, Bali, 332-337. DOI: 10.1109/CICSyN.2011.76
M.A. Lalimia, S. Ghofrania & McLernonb. (2013). A Vehicle License Plate Detection Method Using Region and Edge Based Methods. [Online]. DOI: 10.1016/j.compeleceng.2012.09.015.

상세보기
M. Ko. (2004). Effective License Plate Character Recognition based on Geometric Invariant Features. Doctoral dissertation, Kyungpook National University, Daegu.
H. Bai & C. Liu. (2004). A Hybrid License Plate Extraction Method Based on Edge Statistics and Morphology. Proceedings of the 17th International Conference on Pattern Recognition, 831-834. DOI: 10.1109/ICPR.2004.1334387
J. Schmidhuber. (2014). Deep Learning in Neural Networks: An Overview. [Online]. arxiv. org/abs/1404.7828. DOI:10.1016/j.neunet.2014.09.003

상세보기
A. Khan1, A. Sohail1, U. Zahoora1 & A. S. Qureshi1.(2020). A Survey of the Recent Architectures of Deep Convolutional Neural Networks. [Online]. arxiv.org/abs/1901. 06032. DOI: 10.1007/s10462-020-09825-6

상세보기
Vijay Badrinarayanan, Alex Kendall & Roberto CipollaSegNet. (2017). SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39, 2481-2495. DOI: 10.1109/TPAMI.2016.2644615

상세보기
J. Lee. (2018). A Method of Eye and Lip Region Detection using Faster R-CNN in Face Image. Journal of the Korea Convergence Society, 9(8), 1-8. DOI: 10.15207/JKCS.2018.9.8.001

원문보기 상세보기
B. Oh & D. Cho. (2011). Number Region Extraction of License Plates Using Colors and Arrangement of Number. Journal of Korea Multimedia Society, 14(9), 1117-1124.
X. Long & J. Zhou. (2013). An Efficient Method for Dark License Plate Detection. Int. Journal of Digital Content Technology and its Applications, 7(55), 477-485. DOI: 10.4156/JDCTA.VOL7.ISSUE1.55
R. Chen & Y. Luo. (2012). An Improved License Plate Location Method Based on Edge Detection. Proceeding of International Conference on Applied Physics and Industrial Engineering, 1350-1356.
K. Lim, H. Byun & Y. Cho. (2016). Vehicle License Plate Detection in Road Images. Journal of Korean Institute of Information Science and Engineers, 43(2), 186-195.
K. Simonyan & A. Zisserman. (2015). Very Deep Convolutional Networks for Large-scale Image Recognition. [Online]. arXiv:1409.1556. DOI:10.2146/ajhp170251
T. D. Duan, D. A. Duc & T. L. H. Du. (2004). Combining Hough Transform and Contour Algorithm for Detecting Vehiclesi License-Plates. Proceeding of International Symposium on Intelligent Multimedia, Video and Speech Processing, 747-750.
H. Li & C. Shen. (2016). Reading Car License Plates Using Deep Convolutional Neural Networks and LSTMs. [Online]. arXiv:1601.05610
Y. Jeong, I. Ansari, J. Shim & J. Lee. (2017). A Car Plate Area Detection System Using Deep Convolution Neural Network. Journal of Korea Multimedia Society. 20(8), 1166-1174. DOI: 10.9717/KMMS.2017.20.8.1166

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증