[논문]YOLOv4 알고리즘을 이용한 저품질 자동차 번호판 영상의 숫자 및 문자영역 검출

이정환

doi:10.17662/ksdim.2022.18.4.001

[국내논문] YOLOv4 알고리즘을 이용한 저품질 자동차 번호판 영상의 숫자 및 문자영역 검출
Detecting Numeric and Character Areas of Low-quality License Plate Images using YOLOv4 Algorithm 원문보기

디지털산업정보학회논문지 = Journal of the Korea Society of Digital Industry and Information Management, v.18 no.4, 2022년, pp.1 - 11

Abstract ▼ AI-Helper

Recently, research on license plate recognition, which is a core technology of an intelligent transportation system(ITS), is being actively conducted. In this paper, we propose a method to extract numbers and characters from low-quality license plate images by applying the YOLOv4 algorithm. YOLOv4 is a one-stage object detection method using convolution neural network including BACKBONE, NECK, and HEAD parts. It is a method of detecting objects in real time rather than the previous two-stage object detection method such as the faster R-CNN. In this paper, we studied a method to directly extract number and character regions from low-quality license plate images without additional edge detection and image segmentation processes. In order to evaluate the performance of the proposed method we experimented with 500 license plate images. In this experiment, 350 images were used for training and the remaining 150 images were used for the testing process. Computer simulations show that the mean average precision of detecting number and character regions on vehicle license plates was about 93.8%.

주제어

표/그림 (14)

그림 <그림 1> 자동차 번호판 샘플 (a) 7자리 (b) 8자리
그림 <그림 2> 현재 사용되고 있는 다양한 차량 번호판
그림 <그림 3> 제안방법의 블록도
그림 <그림 4> YOLOv4 알고리즘의 블록도[19]
그림 <그림 5> 두 개의 지주상자 및 해당변수 예
그림 <그림 6> 영상개선결과 (a)원영상 (b)Super resolution결과 (c)칼라 평활화 결과
그림 <그림 7> 실험에 사용된 자동차 번호판 영상 일부
그림 <그림 8> 영상 개선된 결과
그림 <그림 9> 11개 기준영역의 정규화 면적과 가로 및 세로 종횡비
그림 <그림 10> 지주상자 수에 따른 평균 IoU(intersection over union)
그림 <그림 11> 제안방법의 정밀도 및 재현율 곡선
그림 <그림 12> 제안방법을 적용하여 숫자 및 문자영역 검출결과 (a) 1열식 번호판 (b) 2열식 번호판
그림 <그림 13> 검출방법에 따른 각 객체별 평균 정밀도 비교
표 <표 1> 실험환경 및 mAP, TPI

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 품질이 낮은 자동차 번호판 영상에 영상분할 및 에지검출과 같은 별도의 추가적인 영상처리 과정 없이 YOLOv4 알고리즘을 이용하여 바로 문자 및 숫자 영역을 검출하는 연구를 하였다. YOLOv4는 1단계 알고리즘으로 2단계 알고리즘인 faster R-CNN과 달리 상대적으로 객체검출 속도가 빨라서 실시간 처리가 가능하다.
본 연구에서는 최근 다중객체 인식 알고리즘으로 활발한 연구가 진행되고 있는 YOLOv4(version 4) 신경망을 이용하여 실제 도로에 고정된 CCTV로부터 획득한 저품질의 자동차 번호판 영상에서 영상분할 및 에지검출과 같은 별도의 추가적인 영상처리 과정 없이 바로 숫자 및 문자영역을 검출하는 방법을 연구한다.

제안 방법

YOLOv4 알고리즘을 이용하여 자동차 번호판 영상의 숫자 및 글자영역을 검출하기 위해 먼저 현재 우리나라에서 사용되고 있는 자동차 번호판 규격을 살펴보고, YOLOv4 신경망의 동작 원리를 분석한다. 그리고 본 논문에서 저품질의 자동차 번호판 영상을 개선하기 위한 영상개선 방법과 합성곱 신경망에서 필요한 데이터 증강에 대하여 설명한다.
즉 도로 위에 설치된 고정 카메라로부터 차량이 포함된 영상을 입력받아서 자동차 영역이 포함된 부분을 먼저 분리하고, 이로부터 저품질의 차량 번호판 영역을 추출하고 영상의 품질 개선을 위한 전처리과정을 수행한다. 그리고 여기에 YOLOv4 알고리즘을 적용하여 숫자 및 글자영역을 검출하는 방법을 연구하였다.
본 논문에서는 1열식 및 2열식 자동차 번호판 규격을 고려하여 6개로 설정하였다. <그림 11>은 제안방법의 PR(Precision-Recall)곡선을 나타낸 것이다.
YOLOv4 알고리즘은 입력 영상 크기를 설정해야 하는데 번호판 영상을 확대하면 영상에 블러링 현상이 발생한다. 본 논문에서는 Super Resolution과 칼라영상 평활화를 적용하여 영상을 개선하였다[21]. <그림 6>은 본 논문에서 사용한 영상개선 결과를 표시한 것인데 (a)는 크기가 확대된 영상이고, (b)는 Super Resolution 방법을 적용한 결과, (c)는 (b)를 칼라 평활화한 것이다.
YOLOv4 알고리즘은 학습데이터 증강(data augmentation)을 수행한다. 본 논문에서는 원본 영상의 크기를 10% 증가하고 칼라 지터링(jittering)을 통해 칼라 색상을 변경하였다.
본 논문에서 제안한 방법의 전체적인 블록도는 <그림 3>과 같다. 즉 도로 위에 설치된 고정 카메라로부터 차량이 포함된 영상을 입력받아서 자동차 영역이 포함된 부분을 먼저 분리하고, 이로부터 저품질의 차량 번호판 영역을 추출하고 영상의 품질 개선을 위한 전처리과정을 수행한다. 그리고 여기에 YOLOv4 알고리즘을 적용하여 숫자 및 글자영역을 검출하는 방법을 연구하였다.

대상 데이터

제안방법의 성능을 평가하기 위해 실험에 사용된 영상은 낮과 밤을 포함하여 며칠 동안 촬영된 비디오 영상에서 추출하였으며, 비와 안개가 있는 날씨에 촬영된 영상도 포함하였다. <그림 7>은 실험에 사용된 영상 일부를 표시한 것이다.

성능/효과

<그림 12>는 자동차 번호판 영상에 대하여 제안방법을 적용하여 얻은 결과를 표시한 것이다. 1열식 및 2열식 자동차 번호판에서 큰 숫자 및 글자뿐만 아니라 작은 숫자 및 글자도 검출함을 알 수 있다. 다만 2열식 번호판의 경우 위쪽에 지역을 표시하기 위한 작은 문자 및 숫자의 인식율은 상대적으로 낮은데 이는 지주상자의 크기 및 개수에 따른 영향으로 보인다.
faster R-CNN과 YOLOv4의 경우 mAP는 YOLOv2에 비해 우수하다. 그리고 TPI는 테스트영상 하나를 처리하는데 소요되는 평균 시간으로 YOLOv2 및 YOLOv4가 faster R-CNN보다 고속이며, 또한 YOLOv4의 mAP가 YOLOv2보다 우수함을 알 수 있다.
또한 영상 콘텐츠의 맥락적인 내용을 파악하여 객체를 인식하는 방법으로 인간시각 시스템과 유사하게 객체를 검출한다. 본 연구에서는 도로 위에 설치된 카메라로부터 획득한 영상을 사용하여 실험하였는데 기후변화, 밤과 낮의 조명변화가 모두 포함된 영상에서 숫자 및 문자영역을 검출할 수 있음을 보였다. 향후 후속 연구로는 2열식 번호판에서 크기가 상대적으로 작은 객체를 효과적으로 검출하기 위해 지주상자의 크기 및 개수에 따른 영향 분석과 추출된 문자영역을 각 개별문자로 인식하는 연구가 필요하다.
영상분할 및 에지기반 방법은 자동차 번호판 영상으로부터 캐니, 소밸 등의 에지 검출 연산자를 사용하여 자동차 번호판에 있는 숫자 및 문자를 구별할 수 있는 에지를 검출하고, 상하좌우 투영을 통해 숫자 및 문자 위치를 추출한 후 다양한 기하학적 특징을 구하여 자동차 번호판을 인식하는 방식으로 자동차 번호판 영상의 화질이 고해상도인 경우 양호한 결과를 얻을 수 있다. 그러나 실제 도로 환경은 카메라 렌즈 상태.
<그림 7>은 실험에 사용된 영상 일부를 표시한 것이다. 영상은 카메라 렌즈의 노화, 빛의 산란, 야간촬영, 비 및 안개 등의 날씨 조건, 움직이는 차량으로 인한 모션블러링 등으로 영상의 화질이 열악함을 알 수 있다. <그림 8>은 <그림 7>의 자동차 번호판 영상을 Super Resolution 및 평활화 방법으로 영상 개선된 것이다.

후속연구

따라서 여러 가지 종류의 자동차 번호판 영상을 통합적으로 인식할 수 있는 알고리즘 개발이 필요하다. 즉 자동차 번호판 종류에 따라 서로 다른 알고리즘을 적용하는 것이 아니라 하나의 알고리즘으로 통합적으로 번호판 영상을 인식하는 방법을 연구할 필요가 있다.
다만 2열식 번호판의 경우 위쪽에 지역을 표시하기 위한 작은 문자 및 숫자의 인식율은 상대적으로 낮은데 이는 지주상자의 크기 및 개수에 따른 영향으로 보인다. 앞으로 이 문제를 해결하기 위한 후속 연구가 필요하다.
따라서 여러 가지 종류의 자동차 번호판 영상을 통합적으로 인식할 수 있는 알고리즘 개발이 필요하다. 즉 자동차 번호판 종류에 따라 서로 다른 알고리즘을 적용하는 것이 아니라 하나의 알고리즘으로 통합적으로 번호판 영상을 인식하는 방법을 연구할 필요가 있다.
본 연구에서는 도로 위에 설치된 카메라로부터 획득한 영상을 사용하여 실험하였는데 기후변화, 밤과 낮의 조명변화가 모두 포함된 영상에서 숫자 및 문자영역을 검출할 수 있음을 보였다. 향후 후속 연구로는 2열식 번호판에서 크기가 상대적으로 작은 객체를 효과적으로 검출하기 위해 지주상자의 크기 및 개수에 따른 영향 분석과 추출된 문자영역을 각 개별문자로 인식하는 연구가 필요하다.

참고문헌 (22)

Q.. Kashif and A.. Hanan., "A Survey on？Intelligent Transportation Systems," MiddleEast Journal of Scientific Research. 15. 2013, pp.？629-642.
J. Shashirangana, H. Padmasiri, D. Meedeniya,？and C. Perera, "Automated License Plate？Recognition: A Survey on Methods and？Techniques," IEEE Access, Vol. 9, 2021, pp.？11203-11225.

상세보기
M. A. Lalimi, S. Ghofrani, and D. McLernon, "A？Vehicle License Plate Detection Method Using？Region and Edge Based Methods," Computers？& Electrical Engineering, Vol. 39, No. 3, 2013,？pp. 834-845.

상세보기
Lubna, N. Mufti, and S.A.A. Shah. "Automatic？Number Plate Recognition:A Detailed Survey of？Relevant Algorithms," Sensors. Vol. 21, No. 9,？2021.

상세보기
김진호, "LPR시스템트리거 신호 생성을 위한 딥러닝 슬라이딩 윈도우 방식의 객체 탐지 및 추적," 디지털산업정보학회논문지, 제17권, 제4호,？2021년, pp. 85-94.
임광용.변혜란.최영우, "도로주행 영상에서의 차량 번호판 검출," 정보과학회논문지, 제43권, 제3호,？2016년, pp. 186-195.
R. Chen and Y. Luo. "An Improved License？Plate Location Method Based on Edge？Detection," Proceeding of International？Conference on Applied Physics and Industrial？Engineering, 2012, pp. 1350-1356.
H. Li, P. Wang, M, You, and C. Shen, "Reading？Car License Plates using Deep Neural？Networks," Image and Vision Computing, Vol.？72, 2018, pp. 14-23.

상세보기
정윤주.이스라필 안사리.심재창.이정환, "딥 컨볼루션 신경망을 이용한 자동차 번호판 영역 검출 시스템," 한국멀티미디어학회논문지, 제20권,？제8호, 2017, pp. 1166-1174.

원문보기 상세보기
Z. Li, F. Liu, W. Yang, S. Peng, and J. Zhou, "A？Survey of Convolutional Neural Networks:？Analysis, Applications, and Prospects," IEEE？Transactions on Neural Networks and Learning？Systems, doi: 10.1109/TNNLS.2021. 3084827.

상세보기
김정환.임준홍, "딥러닝을 이용한 번호판 검출과？인식 알고리즘," 전기전자학회논문지, 제23권 제2호, 2019년, pp. 642-651.

원문보기 상세보기
A. Bochkovskiy, C. Wang, and H. Y. Liao,？"YOLOv4: Optimal Speed and Accuracy of？Object Detection," 2020, ArXiv, abs/2004.10934.
S. Ren, K. He, R. Girshick and J. Sun, "Faster？R-CNN: Towards Real-Time Object Detection？with Region Proposal Networks," IEEE？Transactions on Pattern Analysis & Machine？Intelligence, Vol. 39, No. 06, 2017, pp. 1137-1149.

상세보기
공용해.권춘기.김명숙, "차량 번호판 인식 효율향상을 위한 연구," 한국산학기술학회논문지, 제10권, 제8호, 2009년, pp. 1947-1954.

원문보기 상세보기
정일식.박구만, "인조 번호판을 이용한 자동차 번호인식 성능 향상 기법," 방송공학회논문지, 제26권, 제4호, 2021년, pp. 453-462.

원문보기 상세보기
자동차 등록번호판 등의 기준에 관한 고시(국토교통부고시 제2022-89호), https://www.law.go.kr/
대한민국의 차량 번호판, https://ko.wikipedia.org/wiki/
J. Redmon, S. Divvala, R. Girshick, and A.？Farhadi, "You Only Look Once: Unified,？Real-Time Object Detection," IEEE Conference？on Computer Vision and Pattern Recognition？(CVPR), 2016, pp. 779-788.
Getting Started with YOLO v4, https://kr.mathworks.com/help/vision/ug/getting-started-with-yolo-v4.html
C. Wang, A. Bochkovskiy, and H. M. Liao,？"Scaled-YOLOv4: Scaling Cross Stage Partial？Network," 2021 IEEE/CVF Conference on？Computer Vision and Pattern Recognition？(CVPR), 2021, pp. 13024-13033.
Kim, J., J. K. Lee, and K. M. Lee. "Accurate？Image Super-Resolution Using Very Deep？Convolutional Networks," Proceedings of the？IEEE Conference on Computer Vision and？Pattern Recognition. 2016, pp. 1646-1654.
김진호, "딥러닝 신경망을 이용한 문자 및 단어단위의 영문 차량 번호판 인식," 디지털산업정보학회논문지, 제16권, 제4호, 2020, pp.19-28.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증