[논문]YOLOv5에서 가상 번호판 생성을 통한 차량 번호판 인식 시스템에 관한 연구

하상현; 정석찬; 전영준; 장문석

doi:10.21289/ksic.2021.24.6.699

YOLOv5에서 가상 번호판 생성을 통한 차량 번호판 인식 시스템에 관한 연구
A Study on Vehicle License Plate Recognition System through Fake License Plate Generator in YOLOv5 원문보기

한국산업융합학회 논문집 = Journal of the Korean Society of Industry Convergence, v.24 no.6/1, 2021년, pp.699 - 706

하상현 (동의대학교, 인공지능학과) , 정석찬 (동의대학교, e비즈니스학과, 인공지능그랜드ICT연구센터) , 전영준 (동의대학교, 부산IT융합부품연구소) , 장문석 (동의과학대학교 AI 전자과)

Abstract ▼ AI-Helper

Existing license plate recognition system is used as an optical character recognition method, but a method of using deep learning has been proposed in recent studies because it has problems with image quality and Korean misrecognition. This requires a lot of data collection, but the collection of license plates is not easy to collect due to the problem of the Personal Information Protection Act, and labeling work to designate the location of individual license plates is required, but it also requires a lot of time. Therefore, in this paper, to solve this problem, five types of license plates were created using a virtual Korean license plate generation program according to the notice of the Ministry of Land, Infrastructure and Transport. And the generated license plate is synthesized in the license plate part of collectable vehicle images to construct 10,147 learning data to be used in deep learning. The learning data classifies license plates, Korean, and numbers into individual classes and learn using YOLOv5. Since the proposed method recognizes letters and numbers individually, if the font does not change, it can be recognized even if the license plate standard changes or the number of characters increases. As a result of the experiment, an accuracy of 96.82% was obtained, and it can be applied not only to the learned license plate but also to new types of license plates such as new license plates and eco-friendly license plates.

주제어

표/그림 (8)

그림 Fig. 1 Part of the license plate specifications and character detail standards(typeface) in the notice of the Ministry of Land, Infrastructure and Transport
그림 Fig 2. Five license plates created by virtual Korean license plate generation program
표 Table 1. Fig 2(c) Bounding box information of 2006 license plate
그림 FIg 3. Process of building data for training
그림 Fig. 4 Comparison of data training and validation loss rates with YOLOv5 models
표 Table 2. Experimental environment and experimental settings
표 Table 3. Comparison of YOLOv5 models
그림 Fig 5. License plate recognition result

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 공개 번호판 규격과 번호판 비율에 따른 데이터셋과 클래스 정보 파일을 이용해 각각의 문자를 YOLO에서 학습하여 번호판 인식 방법을 제안한다. 개인 정보 보호법으로 인해 데이터 수집 문제를 해결하기 위해 국토교통부 고시에서 제시하는 번호판 규격 및 문자 세부 기준을 참고하여 가상 번호판을 생성해 문제를 해결하였다.

제안 방법

본 논문에서는 공개 번호판 규격과 번호판 비율에 따른 데이터셋과 클래스 정보 파일을 이용해 각각의 문자를 YOLO에서 학습하여 번호판 인식 방법을 제안한다. 개인 정보 보호법으로 인해 데이터 수집 문제를 해결하기 위해 국토교통부 고시에서 제시하는 번호판 규격 및 문자 세부 기준을 참고하여 가상 번호판을 생성해 문제를 해결하였다. 자동차 번호판의 경계박스 정보를 담는 라벨링 작업에 소요 시간과 인력 문제를 해결하기 위해 생성된 번호판을 자동차 이미지의 번호판 영역에 비율을 계산하여 합성하였다.
자동차 번호판의 경계박스 정보를 담는 라벨링 작업에 소요 시간과 인력 문제를 해결하기 위해 생성된 번호판을 자동차 이미지의 번호판 영역에 비율을 계산하여 합성하였다. 그리고 클래스를 개개의 문자로 분류하여 총 67개의 클래스로 할당하여 학습시간의 문제를 해결하였다.
이를 위해 5가지의 가상 한글 번호판 을 생성하고, 임의의 차량 이미지의 번호판 영역에 합성하였다. 번호판의 각 문자는 종횡비를 구해서 경계박스 정보를 만들고, 개별로 클래스를 분류해 학습을 시켰다. 실험결과 차종을 분류하는 숫자가 3자리인 신형 번호판과 문양이 들어가는 친환경 번호판 형태의 경우 학습을 하지 않았지만, 정상적으로 인식되는 결과를 얻을 수 있었다.
자동차 번호판은 수집에 어려움이 있고, 개개의 번호판과 문자에 경계박스 라벨링 작업을 하기 위해서 많은 인력과 시간 소요되는 문제가 있다. 본 논문에서는 3.1절에서 생성한 가상의 한글 번호판을 임의의 해외 자동차 이미지의 번호판 영역에 종횡비를 계산해 합성하여, 데이터셋을 구축하 는데 걸리는 문제를 해결하였다.
하지만 개인 정보 보호법으로 인해 번호판 수집에 어려움이 많고, 각 문자 라벨링 작업 을 하는데 많은 시간과 인력이 소요되는 문제점이 있다. 본 논문에서는 가상 번호판 생성하는 프로그램을 활용함으로써 해당 문제를 해결하였다.
본 논문에서는 가상 한글 번호판을 생성하여 자동차 이미지에 합성한 데이터를 사용해 학습을 통해 모델을 만들어 차량 번호판을 인식하는 실험을 하였다. 이를 위해 5가지의 가상 한글 번호판 을 생성하고, 임의의 차량 이미지의 번호판 영역에 합성하였다.
본 논문에서는 가상 한글 번호판을 생성하여 자동차 이미지에 합성한 데이터를 사용해 학습을 통해 모델을 만들어 차량 번호판을 인식하는 실험을 하였다. 이를 위해 5가지의 가상 한글 번호판 을 생성하고, 임의의 차량 이미지의 번호판 영역에 합성하였다. 번호판의 각 문자는 종횡비를 구해서 경계박스 정보를 만들고, 개별로 클래스를 분류해 학습을 시켰다.
개인 정보 보호법으로 인해 데이터 수집 문제를 해결하기 위해 국토교통부 고시에서 제시하는 번호판 규격 및 문자 세부 기준을 참고하여 가상 번호판을 생성해 문제를 해결하였다. 자동차 번호판의 경계박스 정보를 담는 라벨링 작업에 소요 시간과 인력 문제를 해결하기 위해 생성된 번호판을 자동차 이미지의 번호판 영역에 비율을 계산하여 합성하였다. 그리고 클래스를 개개의 문자로 분류하여 총 67개의 클래스로 할당하여 학습시간의 문제를 해결하였다.

대상 데이터

자동차 번호판을 인식을 위한 차량 이미지를 534장과 각 번호판 타입별로 2006년형 A 2880개, 2006년형 B 4800개, 2006년형 사업용 990개, 2007년형 사업용 990개, 2004년형 1000개를 조합하여 총 10,147개의 한글 번호판을 합성한 차량 이미지 데이터를 생성했다. 10,147개의 데이터 학습용 80%, 검증용 20%로 구분하여 학습용 8,117장, 검증용 2030장을 사용하였다. YOLOv5는 가볍고 빠른 것부터 S(Small), M(Medium), L(Large), X(XLarge) 총 4가지 모델로 구성되어 있다.
10,147개의 데이터 학습용 80%, 검증용 20%로 구분하여 학습용 8,117장, 검증용 2030장을 사용하였다. YOLOv5는 가볍고 빠른 것부터 S(Small), M(Medium), L(Large), X(XLarge) 총 4가지 모델로 구성되어 있다. Table 3의 depth_multiple (dm)은 모델의 깊이 배수를 의미하며 해당 값이 클수록 레이어(layer)를 깊게 하여 학습량을 늘려준다.
번호판 생성 프로그램은 2.1절의 국내 번호판 체계에 맞춰 번호판의 종횡비 비율, 문자의 위치 및 종횡비에 따라 5종류의 번호판을 생성한다. 번호판을 생성할 때 각 문자의 경계박스 정보인 중심 좌표값, 너비, 높이의 비율 값을 파일로 저장한다.
본 연구의 실험환경은 Table 2와 같이 윈도우10, Python 3.8을 사용하고 GPU RTX3060을 사용하기 위해 CUDA 환경을 구성하였다. 자동차 번호판을 인식을 위한 차량 이미지를 534장과 각 번호판 타입별로 2006년형 A 2880개, 2006년형 B 4800개, 2006년형 사업용 990개, 2007년형 사업용 990개, 2004년형 1000개를 조합하여 총 10,147개의 한글 번호판을 합성한 차량 이미지 데이터를 생성했다.
8을 사용하고 GPU RTX3060을 사용하기 위해 CUDA 환경을 구성하였다. 자동차 번호판을 인식을 위한 차량 이미지를 534장과 각 번호판 타입별로 2006년형 A 2880개, 2006년형 B 4800개, 2006년형 사업용 990개, 2007년형 사업용 990개, 2004년형 1000개를 조합하여 총 10,147개의 한글 번호판을 합성한 차량 이미지 데이터를 생성했다. 10,147개의 데이터 학습용 80%, 검증용 20%로 구분하여 학습용 8,117장, 검증용 2030장을 사용하였다.

성능/효과

각 모델을 비교하기 위해 Table 2와 같이 이미지 사이즈 416, batch 16, epoch 50의 동일한 값을 설정하여 학습하였다. 그 결과 각 모델 크기 별로 검출 결과 중 옳게 검출한 비율을 나타내는 정확도(precision)는 Table 3과 같이 small 67%, midium 88%, large 94%, xLarge 97%가 나오는 결과를 확인할 수 있다. Fig.
번호판의 각 문자는 종횡비를 구해서 경계박스 정보를 만들고, 개별로 클래스를 분류해 학습을 시켰다. 실험결과 차종을 분류하는 숫자가 3자리인 신형 번호판과 문양이 들어가는 친환경 번호판 형태의 경우 학습을 하지 않았지만, 정상적으로 인식되는 결과를 얻을 수 있었다. 그러나 인식된 번호판을 식별하기 쉽게 정렬의 필요성을 느꼈고, 정확성을 더 높이기 위해 학습량 증가 모델과 학습을 하지 않은 형태의 번호판 등에 대해 추가 학습을 통해서 번호판 인식의 성능을 높일 계획이다.

후속연구

실험결과 차종을 분류하는 숫자가 3자리인 신형 번호판과 문양이 들어가는 친환경 번호판 형태의 경우 학습을 하지 않았지만, 정상적으로 인식되는 결과를 얻을 수 있었다. 그러나 인식된 번호판을 식별하기 쉽게 정렬의 필요성을 느꼈고, 정확성을 더 높이기 위해 학습량 증가 모델과 학습을 하지 않은 형태의 번호판 등에 대해 추가 학습을 통해서 번호판 인식의 성능을 높일 계획이다.

참고문헌 (18)

김남우, 허창우, "Emgu CV를 이용한 자동차 번호판 자동 인식 프로그램의 성능 평가에 관한 연구", 한국정보기술학회논문지, 20, 6, pp. 1209-1214, (2016).
채호열, 석호식, "OCR 엔진 기반 분류기 애드온 결합을 통한 이미지 내부 텍스트 인식 성능 향상", 전기전자학회논문지, 24, 4, pp. 166-172, (2020).
신현경, "카메라 영상 위에서의 문자 영역 추출 및 OCR", 정보처리학회논문지D, 17, 1, pp. 59-66, (2010).
김재정, 김창복, "YOLO와 CNN을 이용한 강인한 차량 번호판 인식 시스템 구현", 학국정보기술학회논문지, 19, 4, pp. 1-9, (2021).
Tang Quang Hieu, 연승호, 김재민, "CNN기반 한국 번호판 인식", 전기전자학회논문지, 23, 4, pp. 222-227, (2019).
김정환, 임준홍, "딥러닝을 이용한 번호판 검출과 인식 알고리즘", 전기전자학회논문지, 23, 2, pp. 642-651, (2019).

원문보기 상세보기
김운기, Fatemeh Dehghan, 조성원, "SSD -Mobilenet 과 ResNet을 이용한 모바일 기기용 자동차 번호판 인식시스템", 스마트미디어저널, 9, 2, pp. 92-98, (2020).

원문보기 상세보기
Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, UC Berkeley, "Rich feature hierarchies for accurate object detection and semantic segmentation", CVPR, pp. 1-10, (2014).
Ross Girshick, "Fast R-CNN", ICCV, (2015).
Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", "arxiv.org/abs/1506.01497" (2015).
Jifeng Dai, Yi Li, Kaiming He, Jian Sun, "R-FCN: Object Detection via Region - based Fully Convolutional Networks", "arxiv.org/1605.06409" (2016).
Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection", pp. 1-10, "arxiv.org/abs/1506.02640" (2016).
Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, "SSD: Single Shot MultiBox Detector", "arxiv.org/abs/1512.02325" (2015).
Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollar, "Focal Loss for Dense Object Detection", "arxiv.org/abs/1708.02002" (2017).
이승주, 박구만, "가상 데이터를 활용한 번호판 문자 인식 및 차종 인식 시스템 제안", 방송공학회논문지, 25, 4, pp. 776-788, (2020).
이재현, 조성만, 이승주, 김청화, 박구만, "인조 데이터를 활용한 차량 번호판 인식 시스템", 전자공학회논문지, 57, 1, pp. 107-115, (2020).
국토교통부 고시 제2020-344호, "https://www.law.go.kr/", (2020).
Korean License Plate Generator, "https://github.com/yakhyo/Korean-License-Plate-Generator"

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증