[논문]YOLOv2 기반의 영상 워핑을 이용한 강인한 오토바이 번호판 검출 및 인식

당순정; 김응태

YOLOv2 기반의 영상 워핑을 이용한 강인한 오토바이 번호판 검출 및 인식
Robust Motorbike License Plate Detection and Recognition using Image Warping based on YOLOv2 원문보기

한국방송공학회 2019년도 하계학술대회, 2019 June 19, 2019년, pp.17 - 20

당순정 (한국산업기술대학교) , 김응태 (한국산업기술대학교)

초록
AI-Helper

번호판 자동인식 (ALPR: Automatic License Plate Recognition)은 지능형 교통시스템 및 비디오 감시 시스템 등 많은 응용 분야에서 필요한 기술이다. 대부분의 연구는 자동차를 대상으로 번호판 감지 및 인식을 연구하였고, 오토바이를 대상으로 번호판 감지 및 인식은 매우 적은 편이다. 자동차의 경우 번호판이 차량의 전방 또는 후방 중앙에 위치하며 번호판의 뒷배경은 주로 단색으로 덜 복잡한 편이다. 그러나 오토바이의 경우 킥 스탠드를 이용하여 세우기 때문에 주차할 때 오토바이는 다양한 각도로 기울어져 있으므로 번호판의 글자 및 숫자 인식하는 과정이 훨씬 더 복잡하다. 본 논문에서는 다양한 각도로 주차된 오토바이 데이트세트에 대하여 번호판의 문자 인식 정확도를 높이기 위하여 2-스테이지 YOLOv2 알고리즘을 사용하여 오토바이 영역을 선 검출 후 번호판 영역을 검지한다. 인식률을 높이기 위해 앵커박스의 사이즈와 개수를 오토바이 특성에 맞추어 조절하였다. 그 후 기울어진 번호판을 검출한 후 영상 워핑(Image Warping) 알고리즘을 적용하였다. 모의실험 결과, 기존 방식의 인식률이 47,74%에 비해 제안된 방식은 80.23%의 번호판의 인식률을 얻었다. 제안된 방법은 전체적으로 오토바이 번호판 특성에 맞는 앵커박스와 이미지 워핑을 통해서 다양한 기울기의 오토바이 번호판 문자 인식을 높일 수 있었다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에는 다양한 각도로 주차된 오토바이내 번호판 인식을 위하여 2-stage YOLOv2 기반의 2-라인 오토바이 번호판 인식 시스템을 구현하였다. 오토바이 및 번호판 영역을 우선 잘 검출하기 위하여 기존 YOLOv2의 앵커 박스 사이즈 및 개수를 조절하였다.
또한 다수의 오토바이들이 주차시에도 빠르게 구별하여 인식할 수 있는 방식이 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해서 2줄형식의 오토바이 번호판 인식을 위해 YOLOv2 기반하에 번호판에 맞는 앵커박스와 이미지 워핑을 적용하고자 한다.

제안 방법

본 논문에서 속도 측면을 고려하여 이미지 워핑하기 위하여 번호판의 4개 꼭짓점을 찾아서 투영변환(Perspective Transformation)을 사용한 기하학적 변형 방법을 사용한다. Hough Transform를 사용하여영상의 모든 직선 성분을 찾아서 Voting 방법으로 가장 많이 나타난각도를 가진 직선들을 찾는다.
본 논문에는 다양한 각도로 주차된 오토바이내 번호판 인식을 위하여 2-stage YOLOv2 기반의 2-라인 오토바이 번호판 인식 시스템을 구현하였다. 오토바이 및 번호판 영역을 우선 잘 검출하기 위하여 기존 YOLOv2의 앵커 박스 사이즈 및 개수를 조절하였다. 또한 문자 인식할 때 기울어진 번호판 문자를 제대로 인식하지 못하는 점을 개선하기 위하여 번호판 영역내 이미지 워핑 알고리즘 이용하였다.
또한, 오토바이 특성에 맞는 번호판 인식을 위해 그림 2와 같은 형태의 앵커박스를 사용하였다. 오토바이 및 번호판 인식률을 높이기 위해 앵커 박스는 6개 쓰고 사이즈도 k-means 알고리즘 통하여 기존 앵커 박스보다 오토바이 모양에 더 적합하게 만들었다.
제안된 방식에서는 Fast-YOLOv2를 수정한 OCR-net를 사용하므로 문자 인식을 위한 경계박스(bounding box)를 찾게 된다. 그림 6에서보는 바와 같이 영상 워핑 없이 경계박스를 찾게 되면 번호판은 약간 기울어져 있어도 한 경계박스 안에 한 문자아니라 옆에 있는 문자도일부 들어가는 현상이 나타나기 때문에 인식 잘 안 됨을 알 수 있다.
일반적인 번호판 인식 시스템은 특징 추출, 탐식, 분류, 위치 추정과 같은 단계들로 이루어져 있다[9,10]. 특히 Edge, Conner, Harr-like, HOG(Histogram of Oriented Gradient) 와 같이 특징들을 사용하였다. 이런 기존 방법은 객체 데이터를 학습하는 과정이 필요 없으므로 구현이 용이한 장점이 있지만, 다양한 환경, 조명, 크기 등 여러 가지 조건들에 따라서 성능이 저하되는 단점도 있다.

대상 데이터

모의실험을 위해 그림 4와 같이 다양한 각도의 오토바이 1,230장 포함된 2-lines motorbike license plate (2L_MLP) dataset을 만들어 사용하였다.
제안된 오토바이 번호판을 검출하기 위해서 2개의 CNN 구조를 가진다. 첫번째는 영상내 오토바이를 인식하기 위한 YOLOv2 모델이며, 두 번째는 검출된 오토바이내 번호판을 인식하기 위해 Fast-YOLOv2모델이다. 수행 속도 및 인식률을 고려해서 복잡한 배경을 갖는 입력영상에서 오토바이 인식률이 높이기 위한 YOLOv2 방식을 사용한 후간단한 배경 가진 오토바이 번호판의 인식 속도를 높이기 위해 Fast-YOLOv2 사용하였다.

이론/모형

본 논문에서 속도 측면을 고려하여 이미지 워핑하기 위하여 번호판의 4개 꼭짓점을 찾아서 투영변환(Perspective Transformation)을 사용한 기하학적 변형 방법을 사용한다. Hough Transform를 사용하여영상의 모든 직선 성분을 찾아서 Voting 방법으로 가장 많이 나타난각도를 가진 직선들을 찾는다. 찾은 직선들을 바로 번호판의 수직 축테두리나 수평 축 테두리의 후보들이다.
오토바이 및 번호판 영역을 우선 잘 검출하기 위하여 기존 YOLOv2의 앵커 박스 사이즈 및 개수를 조절하였다. 또한 문자 인식할 때 기울어진 번호판 문자를 제대로 인식하지 못하는 점을 개선하기 위하여 번호판 영역내 이미지 워핑 알고리즘 이용하였다. 모의실험결과, 기존 방법의 인식률은 47.
다양한 나라 번호판 문자 인식 잘 하기위하여 OCR-net는 많은 나라의 번호판 하고 인공 번호판같이 트러닝하였. 본 논문에도 OCR-net 기반하여 문자 인식하였다. 다만 [7]은 3:1비율 가진 자동차 번호판 인식하기 때문에 OCR-net의 입력 영상 사이즈는 240 x 80인데 본 논문에는 3:2 비율 가진 오토바이 번호판 인식하기 때문에 입력 영상 사이즈는 200 x 160으로 바꿨다.
첫번째는 영상내 오토바이를 인식하기 위한 YOLOv2 모델이며, 두 번째는 검출된 오토바이내 번호판을 인식하기 위해 Fast-YOLOv2모델이다. 수행 속도 및 인식률을 고려해서 복잡한 배경을 갖는 입력영상에서 오토바이 인식률이 높이기 위한 YOLOv2 방식을 사용한 후간단한 배경 가진 오토바이 번호판의 인식 속도를 높이기 위해 Fast-YOLOv2 사용하였다. 이는 Fast-YOLOv2는 보다 간단한 배경에서 객체를 빨리 인식을 할 수 있으나 복잡한 환경에서는 인식률이 떨어지기 때문이다.

성능/효과

2L_MLP dataset를 사용하여 2-stage YOLOv2기반의 제안된 방식에 대하여 오토바이 및 번호판 인식을 수행한 결과, 오토바이 인식률은 90.91%이며 번호판 인식률은 99.87%인 결과를 얻었다. 또한 오토바이 및 번호판 인식시간은 각각 16.
첫 번째는 입력 영상에 차량 찾는 단계이며 둘 번째는 찾은 차량 영상에는 번호판 찾는 단계이다. 2단계 나눠 번호핀 인시하면 번호판은 찾은 차량 사진에 비하여 상당히 적당한 사이즈이라 속도 빠르며 인식률을 많이 높아졌다.
또한 문자 인식할 때 기울어진 번호판 문자를 제대로 인식하지 못하는 점을 개선하기 위하여 번호판 영역내 이미지 워핑 알고리즘 이용하였다. 모의실험결과, 기존 방법의 인식률은 47.74%에 비해 제안된 오토바이 번호판인식 방법은 80.23%의 인식률을 얻었다.
본 논문에서 제안한 영상 워핑 알고리즘은 그림 5에서 보는 바와같이 다양한 사이즈 및 각도를 가진 번호판 영상들을 잘 워핑하고 있음을 알 수 있다. 특히 그림 5의 마지막 영상처럼 문자가 거의 잘 안보이더라도 워핑을 통해서 인식을 개선할 수 있게 됨을 알 수 있다.
23%를 보였다. 이 결과를 통하여 제안된 YOLOv2기반의오토바이 번호판 인식 시스템은 전체적으로 오토바이 번호판 특성에맞는 앵커박스와 이미지 워핑을 통해서 다양한 기울기의 번호판 문자인식률을 높일 수 있었다.
74%로 낮은 편이다. 이에 반해 제안한 영상 워핑을 적용한 방식의 인식률은 80.23%를 보였다. 이 결과를 통하여 제안된 YOLOv2기반의오토바이 번호판 인식 시스템은 전체적으로 오토바이 번호판 특성에맞는 앵커박스와 이미지 워핑을 통해서 다양한 기울기의 번호판 문자인식률을 높일 수 있었다.
5ms가 걸렸다. 표 3의 결과에서 보듯이 번호판 인식의 경우, 간단한 구조로 더 빠르게 인식할 수 있으며 인식율도 엄청 높은 것을 확인 할 수 있었다.

후속연구

향후에 오토바이 뿐 만 아니라 자동차, 버스, 트럭 대상도 인식할수 있게 적응적인 번호판 인식 방식을 연구하려고 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	번호판 자동인식은 어떤 분야에서 필요한 기술인가?	번호판 자동인식 (ALPR: Automatic License Plate Recognition)은 지능형 교통시스템 및 비디오 감시 시스템 등 많은 응용 분야에서 필요한 기술이다. 대부분의 연구는 자동차를 대상으로 번호판 감지 및 인식을 연구하였고, 오토바이를 대상으로 번호판 감지 및 인식은 매우 적은 편이다.
	일반적인 번호판 인식 시스템은 어떤 단계들로 이루어져 있나?	일반적인 번호판 인식 시스템은 특징 추출, 탐식, 분류, 위치 추정과 같은 단계들로 이루어져 있다[9,10]. 특히 Edge, Conner, Harr-like, HOG(Histogram of Oriented Gradient) 와 같이 특징들을 사용하였다.
	오토바이는 킥 스탠드를 이용하여 주차하기 때문에 주차할 때, 오토바이가 많이 기울어져 번호판도 기울게되는데, 이로 인해 어떤 현상이 발생하나?	특히 오토바이는 킥 스탠드 이용하여 주차하기 때문에 주차할 때 오토바이가 많이 기울어져 번호판도 따라서 상당히 기울어진다. 따라서 기울어진 번호판의 인식률이 낮아지는 현상이 발생한다. 또한 다수의 오토바이들이 주차시에도 빠르게 구별하여 인식할 수 있는 방식이 필요하다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

YOLOv2 기반의 영상 워핑을 이용한 강인한 오토바이 번호판 검출 및 인식
Robust Motorbike License Plate Detection and Recognition using Image Warping based on YOLOv2 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

YOLOv2 기반의 영상 워핑을 이용한 강인한 오토바이 번호판 검출 및 인식 Robust Motorbike License Plate Detection and Recognition using Image Warping based on YOLOv2 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

YOLOv2 기반의 영상 워핑을 이용한 강인한 오토바이 번호판 검출 및 인식
Robust Motorbike License Plate Detection and Recognition using Image Warping based on YOLOv2 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper