선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 다각도로 촬영된 자동차 번호판 영상의 인식률을 보완하기 위해 3차원으로 회전한 인조 번호판을 생성하여 딥러닝 학습한 모델을 구현하였다. 또한 2차원 회전한 인조 번호판을 학습한 모델과 실제 번호판의 인식 성능을 비교 분석하였다.
- 이에 본 논문에서는 다양한 카메라 설치 위치에 따른 다각도로 촬영된 번호판 영상의 인식률을 보완하기 위해 인조 번호판 생성 시 3차원으로 회전시켜 데이터를 생성하는 것을 제안한다. 아래 그림 1과 같이 생성된 번호판을 x, y축 뿐만 아니라 z축으로 회전시킴으로써 데이터 셋을 더 다양하게 구축할 수 있어 이를 통해 다양한 환경에 강인한 딥러닝 모델을 구현할 수 있다.
제안 방법
- 본 논문에서는 인조 번호판을 생성하는데 openFrameworks를 이용하였다. openFrameworks의 OpenCV라이브러리를 addon에 추가하여 이미지의 잡음, 블러, 밝기 조절과 같은 효과를 주었고, 2차원 회전 모듈을 구현하였다. 그리고 자체 내장되어있는 openGL 라이브러리를 이용하여 3차원 벡터를 다루는 ofVec3f메소드를 통해 이미지의 3차원 회전을 구현하였다.
- 구축한 데이터 셋을 바탕으로 Darknet-53으로 구성된 YOLOv3를 사용하여 총 10번의 학습을 진행하였다. 클래스는 그림 2의 글자 이미지와 같이 총 84개로 구성하였고, iteration은 class 수 * 2000 값인 168,000으로 설정하였다.
- 이러한 클래스 불균형 문제를 해결하기 위해 그림 4와 같이 한글 이미지를 무작위로 추가한 균형 데이터를 생성하였다. 그리고 일반 번호판 이미지와 균형번호판 이미지를 조합하여 데이터 셋을 구성하였다. 그림 4는 한글과 지역 이미지를 무작위로 조합하여 생성된 균형 번호판 데이터의 예시이다.
- openFrameworks의 OpenCV라이브러리를 addon에 추가하여 이미지의 잡음, 블러, 밝기 조절과 같은 효과를 주었고, 2차원 회전 모듈을 구현하였다. 그리고 자체 내장되어있는 openGL 라이브러리를 이용하여 3차원 벡터를 다루는 ofVec3f메소드를 통해 이미지의 3차원 회전을 구현하였다.
- 본 논문에서는 다각도로 촬영된 자동차 번호판 영상의 인식률을 보완하기 위해 3차원으로 회전한 인조 번호판을 생성하여 딥러닝 학습한 모델을 구현하였다. 또한 2차원 회전한 인조 번호판을 학습한 모델과 실제 번호판의 인식 성능을 비교 분석하였다. 제안 방법으로 학습하여 번호판을 인식할 시, 성능 테스트를 위해 준비한 test set 중 번호판의 정면 이미지뿐만 아니라 측면 이미지 인식에 효과가 있다는 점을 증명하였다.
- 마지막으로 회전된 이미지에 가우시안 노이즈를 생성하고, 밝기를 조절한 뒤 가우시안 블러를 적용하였다. 잡음 생성은 먼저 입력된 이미지와 똑같은 크기의 이미지를 만들고 그곳에 미리 설정한 평균과 표준편차를 따르는 가우시안 분포의 노이즈를 랜덤으로 생성한다.
- 따라서 일반 번호판 이미지만으로 학습을 진행한다면 데이터가 많은 숫자 클래스로 학습이 압도되어 한글 클래스의 인식률이 저하될 수 있다. 이러한 클래스 불균형 문제를 해결하기 위해 그림 4와 같이 한글 이미지를 무작위로 추가한 균형 데이터를 생성하였다. 그리고 일반 번호판 이미지와 균형번호판 이미지를 조합하여 데이터 셋을 구성하였다.
- 그리고 src1은 입력 이미지, src2는 노이즈 이미지를 의미한다. 이미지의 밝기는 입력 이미지의 RGB값에 랜덤으로 생성된 스칼라 값을 차감하여 조절하였다. 블러 효과는 OpenCV에서 제공하는 가우시안 블러 기법을 적용하였다.
- 2차원 회전과 3차원 회전을 하였을 때 번호판 인식 성능을 비교하기 위해 각각 2차원, 3차원 회전한 일반 번호판 이미지 300,000장과 균형 번호판 이미지 300,000장을 생성하여 총 1,200,000장을 생성하였다. 인조 번호판의 문자 인식 성능 비교를 위해 2차원 회전과 3차원 회전 여부, 일반 데이터와 균형 데이터의 비율에 따라 표 1과 같은 경우의 수를 나누어 총 10가지의 데이터 셋을 구축하였다. 데이터 셋 No.
- 아래 그림 1과 같이 생성된 번호판을 x, y축 뿐만 아니라 z축으로 회전시킴으로써 데이터 셋을 더 다양하게 구축할 수 있어 이를 통해 다양한 환경에 강인한 딥러닝 모델을 구현할 수 있다. 효용성을 증명하기 위해 2차원으로 회전하여 생성된 번호판 데이터와 3차원으로 회전하여 생성된 번호판 데이터 각각을 학습하여 번호판 인식 정확도를 측정하였다. 그림 1에서 왼쪽 이미지는 기존에 연구되었던 인조 번호판의 이미지로, x와 y축으로만 회전하였고, 오른쪽 이미지는 본 논문에서 제안하는 x, y, z축으로 회전된 이미지이다.
대상 데이터
- 2차원 회전과 3차원 회전을 하였을 때 번호판 인식 성능을 비교하기 위해 각각 2차원, 3차원 회전한 일반 번호판 이미지 300,000장과 균형 번호판 이미지 300,000장을 생성하여 총 1,200,000장을 생성하였다. 인조 번호판의 문자 인식 성능 비교를 위해 2차원 회전과 3차원 회전 여부, 일반 데이터와 균형 데이터의 비율에 따라 표 1과 같은 경우의 수를 나누어 총 10가지의 데이터 셋을 구축하였다.
- 인조 번호판 데이터 생성 과정은 그림 2와 같다. 본 연구에서는 비사업용 자동차(흰색, 초록색) 번호판과 자동차운수사업용 자동차(노란색) 번호판, 친환경 자동차(파란색) 번호판 이미지를 생성했다. 먼저 번호판 배경 이미지가 랜덤으로 선택되고, 해당 번호판 배경의 규격에 맞게 숫자와 한글 이미지가 선택된다.
이론/모형
- 또한 “addon” 시스템을 통해 OpenCV나 openGL, FreeImage등을 포함한 이미 구현된 라이브러리를 추가하거나 직접 구현하여 확장할 수 있다. 본 논문에서는 인조 번호판을 생성하는데 openFrameworks를 이용하였다. openFrameworks의 OpenCV라이브러리를 addon에 추가하여 이미지의 잡음, 블러, 밝기 조절과 같은 효과를 주었고, 2차원 회전 모듈을 구현하였다.
- 또한 객체 검출을 한 단계로 진행하기 때문에 속도가 빨라 실시간 처리 속도를 유지하고 이전 버전인 YOLO[3]의 작은 객체를 검출하지 못했던 약점을 보완하면서 성능이 향상된 버전이다. 본 논문에서는 자동차 번호판 인식의 실시간 처리와 번호판의 작은 문자들을 인식하기 위해 YOLOv3를 사용하였다.
- 이미지의 밝기는 입력 이미지의 RGB값에 랜덤으로 생성된 스칼라 값을 차감하여 조절하였다. 블러 효과는 OpenCV에서 제공하는 가우시안 블러 기법을 적용하였다.
성능/효과
- 또한 데이터 셋이 일반 번호판으로만 이루어진 경우 글자클래스가 숫자 클래스 보다 인식률이 좋지 않았고, 균형 번호판으로만 이루어진 경우 숫자 클래스가 글자 클래스보다 인식률이 좋지 않았다. 2차원 회전하여 생성한 데이터 셋의 경우 일반 번호판 이미지와 균형 번호판 이미지의 비율이 1대 2인 4번 데이터 셋의 번호판 인식 성능이 가장 높았고, 3차원 회전하여 생성한 데이터 셋의 경우 일반 번호판 이미지와 균형 번호판 이미지의 비율이 2대 1인 7번 데이터 셋의 번호판 인식 성능이 가장 높았다.
- 3차원으로 회전하여 생성한 데이터 셋의 경우 image_set_1의 인식 결과가 2차원으로 회전하여 생성한 데이터 셋과 비슷하거나 약간 떨어지는 것을 볼 수 있지만 image_set_2의 인식 결과는 2차원으로 회전하여 생성한 데이터 셋보다 성능이 뛰어난 것을 볼 수 있다. 또한 데이터 셋이 일반 번호판으로만 이루어진 경우 글자클래스가 숫자 클래스 보다 인식률이 좋지 않았고, 균형 번호판으로만 이루어진 경우 숫자 클래스가 글자 클래스보다 인식률이 좋지 않았다. 2차원 회전하여 생성한 데이터 셋의 경우 일반 번호판 이미지와 균형 번호판 이미지의 비율이 1대 2인 4번 데이터 셋의 번호판 인식 성능이 가장 높았고, 3차원 회전하여 생성한 데이터 셋의 경우 일반 번호판 이미지와 균형 번호판 이미지의 비율이 2대 1인 7번 데이터 셋의 번호판 인식 성능이 가장 높았다.
- 또한 2차원 회전한 인조 번호판을 학습한 모델과 실제 번호판의 인식 성능을 비교 분석하였다. 제안 방법으로 학습하여 번호판을 인식할 시, 성능 테스트를 위해 준비한 test set 중 번호판의 정면 이미지뿐만 아니라 측면 이미지 인식에 효과가 있다는 점을 증명하였다. 하지만 번호판 이미지의 해상도가 너무 낮은 경우 인식 성능이 저하되었으며, 한글 클래스는 숫자 클래스에 비해 전체적으로 인식률이 좋지 않았다.
후속연구
- 또한 번호판 생성 시 진행되는 이미지 블러의 범위를 조정하여 해상도가 낮은 이미지도 인식할 수 있도록 보완할 것이다. 그리고 번호판을 회전시킨 후 각 문자의 파라미터를 텍스트 파일로 저장하는데 한글 이미지의 경우 숫자에 비해 면적이 넓어 회전시 이웃해 있는 문자도 포함하는 경향이 있어 파라미터가 적절하게 적용되도록 조정할 계획이다. 마지막으로 최적의 상태로 번호판을 인식할 수 있도록 입력 이미지의 전처리 및 후처리 방법을 분석하여 번호판 인식 성능 향상 연구를 진행할 예정이다.
- 총 300,000장의 데이터 셋으로 학습을 진행하였는데, 일반 번호판 데이터와 균형 번호판 데이터의 비율에 따른 학습 성능 결과를 바탕으로 최적의 비율로 데이터 셋을 재구성할 계획이다. 또한 번호판 생성 시 진행되는 이미지 블러의 범위를 조정하여 해상도가 낮은 이미지도 인식할 수 있도록 보완할 것이다. 그리고 번호판을 회전시킨 후 각 문자의 파라미터를 텍스트 파일로 저장하는데 한글 이미지의 경우 숫자에 비해 면적이 넓어 회전시 이웃해 있는 문자도 포함하는 경향이 있어 파라미터가 적절하게 적용되도록 조정할 계획이다.
- 그리고 번호판을 회전시킨 후 각 문자의 파라미터를 텍스트 파일로 저장하는데 한글 이미지의 경우 숫자에 비해 면적이 넓어 회전시 이웃해 있는 문자도 포함하는 경향이 있어 파라미터가 적절하게 적용되도록 조정할 계획이다. 마지막으로 최적의 상태로 번호판을 인식할 수 있도록 입력 이미지의 전처리 및 후처리 방법을 분석하여 번호판 인식 성능 향상 연구를 진행할 예정이다.
- 번호판 인식 시스템의 인식률을 개선하기 위해 향후 연구계획으로는 먼저 데이터 셋의 크기를 백만 장 단위로 늘리는 것이다. 총 300,000장의 데이터 셋으로 학습을 진행하였는데, 일반 번호판 데이터와 균형 번호판 데이터의 비율에 따른 학습 성능 결과를 바탕으로 최적의 비율로 데이터 셋을 재구성할 계획이다.
- 번호판 인식 시스템의 인식률을 개선하기 위해 향후 연구계획으로는 먼저 데이터 셋의 크기를 백만 장 단위로 늘리는 것이다. 총 300,000장의 데이터 셋으로 학습을 진행하였는데, 일반 번호판 데이터와 균형 번호판 데이터의 비율에 따른 학습 성능 결과를 바탕으로 최적의 비율로 데이터 셋을 재구성할 계획이다. 또한 번호판 생성 시 진행되는 이미지 블러의 범위를 조정하여 해상도가 낮은 이미지도 인식할 수 있도록 보완할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.