선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 기울어지거나 햇빛 또는 조명 등의 영향을 강하게 받아 번호판 고유의 기하학적 구조나 문자 특징이 변형된 경우에도 이를 인식할 수 있도록 왜곡에 불변한 번호판 검출 및 인식 알고리즘을 제안하였다. 먼저 문자 획이 잘 보존된 이진 영상을 생성한 다음 번호판이 왜곡된 경우에도 특징이 잘 보존되는 4개의 큰 숫자들을 찾고 이를 이용해서 상향식(bottom-up)으로 번호판을 검출하였다.
- 본 논문에서는 차량의 기울어짐, 햇빛 영향 그리고 그림자 영향 등의 왜곡에 불변한 차량 번호판 검출 및 인식 알고리즘을 제안하고 시뮬레이션을 통해서 그 성능을 분석하였다.
가설 설정
- 본 연구에서는 녹색 번호판과 흰색 번호판을 동시에 고려하였으며 먼저 녹색 번호판이라 가정하고 인식을 시도해 보고 이어서 흰색 번호판에 대한 인식을 시도하였다. 인텔 i7 CPU 및 2.
제안 방법
- 다양한 환경에서 입력된 차량 영상을 문자들의 획이 잘 보존된 이진 영상으로 변환하기 위해서 DoG 필터를 사용하였다. DoG 필터를 사용해서 정교한 에지 정보를 추출하고 에지들을 연결해서 문자 획이 잘 보전된 이진 영상을 생성하였다. 이진 영상으로부터 연속된 4개의 숫자들을 검출하고 그 위치 정보를 이용해서 번호판 영역을 개략적으로 추정하였다.
- DoG 필터를 이용해서 문자 획이 강조된 이진 영상을 생성하였으며 상향식 번호판 해석 알고리즘을 사용해서 다양하게 왜곡된 차량 영상으로부터 번호판 영역을 비교적 정확하게 검출할 수 있도록 하였다. 번호판 영상의 기하학적인 왜곡을 고속으로 보정하고 문자 획이 강조된 영상 개선 방법을 사용함으로써 신경망을 이용한 개별 문자 인식 성능이 높아지도록 하였다.
- LPR 시스템으로부터 획득한 1296x964 크기의 명도 영상들을 이용해서 번호판 검출, 문자 추출 및 인식 알고리즘을 구현하였다. 번호판 영역 추정 단계에서는 검출 속도를 빠르게 하기 위해서 차량영상의 크기를 1/4 로 축소한 648x482 크기의 영상을 사용하였다.
- 5 사이 값으로 설정하였다. Viola와 Jones의 적분 영상 개념을 도입하여 국소 영역의 크기에 관계없이 평균과 표준 편차를 고속으로 계산하였다[5].
- 절단(crossing) 피쳐는 문자영역을 가로 및 세로 방향으로 스캐닝할 때 만나는 문자 획 개수들의 분포를 이용해서 계산했다. 거리(distance) 피쳐는 외접 사각형에서 문자 획까지의 거리 분포를 이용해서 계산했다. 투영(projection) 피쳐는 문자영역을 가로 및 세로 방향으로 투영했을 때 누적되는 문자 화소 개수들의 분포를 이용해서 계산했다.
- 검출된 차량 번호판을 대상으로 신경망을 이용한 문자 인식을 시도하고 그 결과를 [표 2]에 도시하였다. 문자 인식 대상은 번호판의 아래 줄 전체 한글 및 숫자들로 하였다.
- 고속으로 번호판 영역을 검출하기 위해 입력된 차량 영상을 축소한 다음 번호판 영역을 추정하였다. 이를 바탕으로 다시 원본 영상을 대상으로 번호판 영상을 추출하고 개별 문자 영역을 찾아서 인식하였다.
- 8배, TYPE 5 및 TYPE 6의 경우 가로 2배로 왼쪽 및 위쪽으로 확장시켜 번호판 영역을 추정하였다. 고속처리를 위해 축소된 영상으로부터 번호판 영역을 추정한 다음 원본 영상으로부터 번호판 영역을 추출할 때에는 [그림 8]과 같이 가장 자리에 여유 공간을 추가하였다. 두 가지 형태로 추정한 번호판 영역에 대해서 보다 정밀한 블롭 해석 과정을 거쳐 정확한 번호판의 유형을 알아내 고 개별 문자들을 추출하였다.
- 구청과 대학에 설치된 상용 LPR 시스템의 카메라로부터 입력받은 6,200장의 차량 영상 데이터를 사용해서 [그림 11]과 같이 차량 번호판 인식용 시뮬레이션 소프트웨어를 구현하고 인식 성능을 분석하였다.
- 기울기 보정 및 영상 개선 작업을 수행함으로써 배경에 대해서 문자 획이 강조된 선명한 이진영상을 얻을 수 있도록 하였다.
- 번호판 영역을 추출한 다음 기하학적 왜곡이나 명도 차이에 따른 왜곡 등을 보정하고 번호판 영역의 크기를 정규화 하였다. 다양한 입력 상황에서 획득한 차량 영상의 경우 명도 레벨 분포가 불규칙하기 때문에 문자 획이 강조되도록 지수 변환 함수를 이용해서 영상 개선 작업을 수행하였다.
- 고속처리를 위해 축소된 영상으로부터 번호판 영역을 추정한 다음 원본 영상으로부터 번호판 영역을 추출할 때에는 [그림 8]과 같이 가장 자리에 여유 공간을 추가하였다. 두 가지 형태로 추정한 번호판 영역에 대해서 보다 정밀한 블롭 해석 과정을 거쳐 정확한 번호판의 유형을 알아내 고 개별 문자들을 추출하였다.
- 번호판 영역에 왜곡이 발생한 경우 번호판 고유의 기하학적 특징들이 많이 소실될 수 있지만 연속적으로 배치된 4개의 큰 숫자들의 크기와 위치 등에는 규칙성이 남아있게 된다. 따라서 왜곡에 불변한 번호판 검출 및 인식 시스템을 구현하기 위해 연속된 4개의 큰 숫자들을 먼저 찾은 다음 번호판 영역을 추정하고 개별문자들을 추출해서 인식하는 상향식 방식의 번호판 인식 알고리즘을 제안하였다.
- 본 논문에서는 기울어지거나 햇빛 또는 조명 등의 영향을 강하게 받아 번호판 고유의 기하학적 구조나 문자 특징이 변형된 경우에도 이를 인식할 수 있도록 왜곡에 불변한 번호판 검출 및 인식 알고리즘을 제안하였다. 먼저 문자 획이 잘 보존된 이진 영상을 생성한 다음 번호판이 왜곡된 경우에도 특징이 잘 보존되는 4개의 큰 숫자들을 찾고 이를 이용해서 상향식(bottom-up)으로 번호판을 검출하였다. 지수 변환 함수를 사용해서 문자 획이 강하게 나타나도록 영상 개선 작업을 하고 개별 문자들을 추출한 다음 문자 인식 작업을 수행하였다.
- 문자 블롭들의 크기를 정규화 시키고 메쉬 피쳐, 절단 피쳐, 거리 피쳐 그리고 투영 피쳐 등 네 가지 종류의 피쳐들을 추출해서 신경망의 입력으로 사용하였다. 메쉬(mesh) 피쳐는 문자영역을 가로 및 세로로 분할하고 각 분할 영역에서 구한 문자 화소 개수들의 분포를 이용해서 계산하였다. 절단(crossing) 피쳐는 문자영역을 가로 및 세로 방향으로 스캐닝할 때 만나는 문자 획 개수들의 분포를 이용해서 계산했다.
- 이진 영상에서 연결화소(connected component)들로 구성된 블롭(blob)들을 추출하였다. 모든 블롭들의 위치와 크기를 해석해서 숫자열을 찾고 번호판 영역을 추정하였다.
- 문자 블롭들의 크기를 정규화 시키고 메쉬 피쳐, 절단 피쳐, 거리 피쳐 그리고 투영 피쳐 등 네 가지 종류의 피쳐들을 추출해서 신경망의 입력으로 사용하였다. 메쉬(mesh) 피쳐는 문자영역을 가로 및 세로로 분할하고 각 분할 영역에서 구한 문자 화소 개수들의 분포를 이용해서 계산하였다.
- 문자 추출과정에서 잡음으로 인해 녹색 번호판과 흰색 번호판의 판단이 모호할 경우에는 추출한 블롭들에 대해서 문자 인식을 시도해보고 그 결과에 따라 최종 판단을 하였다.
- 문자 획이 강조된 영상 개선을 위해 [그림 10] (a)와 같이 점선으로 표시한 문자 영역 내의 화소들만 고려해서 히스토그램을 구하고 영상 개선을 위한 변환 함수를 추정하였다. 특히 녹색 번호판과 흰색 번호판은 서로 다른 형태의 히스토그램 분포를 갖기 때문에 시뮬레이션 경험에 따라 각각 별도의 지수 변환 적용 구간을 추정하고 식 (7)에 따라 영상개선 작업을 수행하였다.
- 번호판 색상의 종류, 주야간 입력 시간 차이, 번호판의 왜곡형태 그리고 폰트 종류 등을 다양하게 반영할 수 있는 번호판 영상을 선정해서 학습용 문자들을 추출하고 신경망을 훈련시켰다
- 번호판 영상으로부터 추출한 숫자 및 한글 데이터 각각에 대해서 별도의 문자 인식용 신경망을 구현하고 문자 블롭들을 인식하였다.
- DoG 필터를 이용해서 문자 획이 강조된 이진 영상을 생성하였으며 상향식 번호판 해석 알고리즘을 사용해서 다양하게 왜곡된 차량 영상으로부터 번호판 영역을 비교적 정확하게 검출할 수 있도록 하였다. 번호판 영상의 기하학적인 왜곡을 고속으로 보정하고 문자 획이 강조된 영상 개선 방법을 사용함으로써 신경망을 이용한 개별 문자 인식 성능이 높아지도록 하였다.
- 번호판 영역 검출과정에서 찾은 연속된 숫자들의 위치 정보를 이용해서 번호판 영상의 기하학적 왜곡에 대한 보정 작업을 수행하였다.
- 번호판 영역을 추출한 다음 기하학적 왜곡이나 명도 차이에 따른 왜곡 등을 보정하고 번호판 영역의 크기를 정규화 하였다. 다양한 입력 상황에서 획득한 차량 영상의 경우 명도 레벨 분포가 불규칙하기 때문에 문자 획이 강조되도록 지수 변환 함수를 이용해서 영상 개선 작업을 수행하였다.
- 번호판 유형에 따라 해석한 숫자 블롭과 한글 블롭들에 대해 각각 별도의 신경망 인식기를 사용해서 문자 인식을 수행하였다. 문자 추출과정에서 잡음으로 인해 녹색 번호판과 흰색 번호판의 판단이 모호할 경우에는 추출한 블롭들에 대해서 문자 인식을 시도해보고 그 결과에 따라 최종 판단을 하였다.
- 식 (2)-(6)에 나열한 숫자 열 규칙에 따라 우측에서 좌측으로 블롭들을 해석하고 연속된 4개의 큰 숫자들을 찾았을 경우 그 위치 정보를 이용해서 번호판 영역을 추정하였다. 번호판의 종류를 번호판 색상, 숫자와 한글의 배치 형태 그리고 문자 사이의 간격 등에 따라 [그림 7]과 같이 6가지 유형으로 구분하였다. TYPE 1 - TYPE 4는 이중으로 문자들이 배치된 유형이고 TYPE 5 및 TYPE 6는 한 줄 로 문자들이 배치된 유형이다.
- 추출된 번호판의 색상과 종류를 확인하고 기하학적 왜곡에 대한 보정 작업과 배경으로부터 문자 획을 강조하기 위한 영상 개선 작업을 수행 하였다. 블롭들의 위치 및 크기를 해석한 결과에 따라 [그림 7]의 번호판 유형을 결정한 다음 개별 문자 영역을 정확하게 추출하고 신경망을 이용해서 번호판의 숫자 및 한글들을 인식하였다.
- 숫자열의 가로 길이 Ws 및 높이 Hs를 기준으로 TYPE 1에서 TYPE 4의 경우 가로 1.5배 세로 1.8배, TYPE 5 및 TYPE 6의 경우 가로 2배로 왼쪽 및 위쪽으로 확장시켜 번호판 영역을 추정하였다. 고속처리를 위해 축소된 영상으로부터 번호판 영역을 추정한 다음 원본 영상으로부터 번호판 영역을 추출할 때에는 [그림 8]과 같이 가장 자리에 여유 공간을 추가하였다.
- 번호판 검출과정에서 찾은 숫자들의 위치는 번호판 영상의 왜곡 보정과 영상 개선 과정에서 달라질 수 있기 때문에 식 (2)-(6)에 보인 문자열 배치 규칙에 따라 연속된 숫자 블롭들의 정확한 위치를 다시 추정하였다. 연속된 4개의 숫자 블롭들의 위치를 기준으로 나머지 주변 블롭들의 위치 및 크기들을 해석하고 번호판의 유형을 판단하였다.
- 고속으로 번호판 영역을 검출하기 위해 입력된 차량 영상을 축소한 다음 번호판 영역을 추정하였다. 이를 바탕으로 다시 원본 영상을 대상으로 번호판 영상을 추출하고 개별 문자 영역을 찾아서 인식하였다.
- 이진 영상에서 연결화소(connected component)들로 구성된 블롭(blob)들을 추출하였다. 모든 블롭들의 위치와 크기를 해석해서 숫자열을 찾고 번호판 영역을 추정하였다.
- DoG 필터를 사용해서 정교한 에지 정보를 추출하고 에지들을 연결해서 문자 획이 잘 보전된 이진 영상을 생성하였다. 이진 영상으로부터 연속된 4개의 숫자들을 검출하고 그 위치 정보를 이용해서 번호판 영역을 개략적으로 추정하였다.
- 입력된 영상의 번호판이 녹색 또는 흰색 중 어느 것인지 모르기 때문에 각 경우에 대해서 별도로 번호판 영역 추출 과정을 수행하였다. 추출된 번호판의 색상과 종류를 확인하고 기하학적 왜곡에 대한 보정 작업과 배경으로부터 문자 획을 강조하기 위한 영상 개선 작업을 수행 하였다.
- 메쉬(mesh) 피쳐는 문자영역을 가로 및 세로로 분할하고 각 분할 영역에서 구한 문자 화소 개수들의 분포를 이용해서 계산하였다. 절단(crossing) 피쳐는 문자영역을 가로 및 세로 방향으로 스캐닝할 때 만나는 문자 획 개수들의 분포를 이용해서 계산했다. 거리(distance) 피쳐는 외접 사각형에서 문자 획까지의 거리 분포를 이용해서 계산했다.
- 제안한 방법대로 차량 번호판 인식시스템을 구현한 다음 상용 LPR 시스템의 카메라로부터 입력받은 영상을 대상으로 번호판 인식 시뮬레이션을 수행하고 그 결과를 분석 검토하였다.
- 먼저 문자 획이 잘 보존된 이진 영상을 생성한 다음 번호판이 왜곡된 경우에도 특징이 잘 보존되는 4개의 큰 숫자들을 찾고 이를 이용해서 상향식(bottom-up)으로 번호판을 검출하였다. 지수 변환 함수를 사용해서 문자 획이 강하게 나타나도록 영상 개선 작업을 하고 개별 문자들을 추출한 다음 문자 인식 작업을 수행하였다.
- 식 (7)에서 a 및 b는 변환 곡선이 적용되는 히스토그램 구간에 따라 결정되는 상수들이다. 지수 변환 함수에 따라 명도 영상 개선용 LUT(look-up table)를 생성함으로써 고속의 영상 변환 작업이 가능하도록 하였다. 지수 변환 함수에 따라 [그림 10] (b)와 같이 영상 개선 작업을 수행한 다음 그 결과에 다시 가우시안 평활화 작업을 수행해서 [그림 10] (c)와 같이 부드러운 영상을 얻을 수 있도록 하였다.
- 그러나 번호판의 형태가 왜곡되더라도 연속된 4개의 큰 숫자들이 배치된 형태에는 일정한 규칙성을 갖게 된다. 차량 번호판에서 4개의 큰 숫자들을 먼저 찾고 이를 이용해서 번호판의 나머지 영역을 추정하였다. 추정된 번호판 영역에서 번호판 종류에 따른 문자들의 배치구조를 해석하고 개별 문자들을 추출하는 방식으로 알고리즘을 설계하였다.
- 차량 영상에서 4개의 연속된 큰 숫자 열을 찾았을 때 문자들이 두 줄로 배치된 TYPE 1 - TYPE 4와 한 줄로 배치된 TYPE 5 및 TYPE 6의 두 가지 형태로 구분해서 번호판의 나머지 영역을 추정하였다. [그림 8]에 두 가지 형태의 번호판 영역 추정 규칙을 도시하였다.
- 차량의 기울어짐, 햇빛 영향 그리고 그림자 영향 등으로 다양하게 왜곡된 차량 영상으로부터 번호판 영역의 검출, 왜곡 보정 및 정규화, 개별 문자 추출 그리고 신경망을 이용한 문자 인식 등의 과정을 [그림 1]에 도시하였다.
- 차량 번호판에서 4개의 큰 숫자들을 먼저 찾고 이를 이용해서 번호판의 나머지 영역을 추정하였다. 추정된 번호판 영역에서 번호판 종류에 따른 문자들의 배치구조를 해석하고 개별 문자들을 추출하는 방식으로 알고리즘을 설계하였다.
- 추출된 번호판 영상을 이진 영상으로 변환하고 잡음을 제거한 다음 번호판 형태에 대한 사전 지식을 바탕으로 각 블롭(blob)들을 해석하고 개별 문자 영역을 추출해서 신경망 인식기로 번호판 인식을 수행하였다.
- 입력된 영상의 번호판이 녹색 또는 흰색 중 어느 것인지 모르기 때문에 각 경우에 대해서 별도로 번호판 영역 추출 과정을 수행하였다. 추출된 번호판의 색상과 종류를 확인하고 기하학적 왜곡에 대한 보정 작업과 배경으로부터 문자 획을 강조하기 위한 영상 개선 작업을 수행 하였다. 블롭들의 위치 및 크기를 해석한 결과에 따라 [그림 7]의 번호판 유형을 결정한 다음 개별 문자 영역을 정확하게 추출하고 신경망을 이용해서 번호판의 숫자 및 한글들을 인식하였다.
- 거리(distance) 피쳐는 외접 사각형에서 문자 획까지의 거리 분포를 이용해서 계산했다. 투영(projection) 피쳐는 문자영역을 가로 및 세로 방향으로 투영했을 때 누적되는 문자 화소 개수들의 분포를 이용해서 계산했다.
대상 데이터
- 문자 인식용 신경망을 구현하기 위해서 차량 영상 데이터베이스에 포함된 10개의 숫자 및 35개의 한글 샘플들을 추출하였다. 숫자 인식기 및 한글 인식기를 별도로 구현했으며 각 출력 클래스별로 400개의 표준 샘플들을 사용해서 신경망을 학습시켰다.
- LPR 시스템으로부터 획득한 1296x964 크기의 명도 영상들을 이용해서 번호판 검출, 문자 추출 및 인식 알고리즘을 구현하였다. 번호판 영역 추정 단계에서는 검출 속도를 빠르게 하기 위해서 차량영상의 크기를 1/4 로 축소한 648x482 크기의 영상을 사용하였다. 번호판 영역을 추정한 이후에는 다시 원본 영상을 대상으로 번호판 인식용 영상을 추출하였다.
- 문자 인식용 신경망을 구현하기 위해서 차량 영상 데이터베이스에 포함된 10개의 숫자 및 35개의 한글 샘플들을 추출하였다. 숫자 인식기 및 한글 인식기를 별도로 구현했으며 각 출력 클래스별로 400개의 표준 샘플들을 사용해서 신경망을 학습시켰다. 신경망의 입력으로 메쉬 피쳐 56개, 절단 피쳐 22개, 거리 피쳐 44개 그리고 투영 피쳐 22개 등 전체 144개의 피쳐를 사용하였다.
- 숫자 인식기 및 한글 인식기를 별도로 구현했으며 각 출력 클래스별로 400개의 표준 샘플들을 사용해서 신경망을 학습시켰다. 신경망의 입력으로 메쉬 피쳐 56개, 절단 피쳐 22개, 거리 피쳐 44개 그리고 투영 피쳐 22개 등 전체 144개의 피쳐를 사용하였다. 은닉층 뉴런의 개수는 실험에 따라 45개로 설정하였다.
- 신경망의 입력으로 메쉬 피쳐 56개, 절단 피쳐 22개, 거리 피쳐 44개 그리고 투영 피쳐 22개 등 전체 144개의 피쳐를 사용하였다. 은닉층 뉴런의 개수는 실험에 따라 45개로 설정하였다.
이론/모형
- [그림 2]에 알고리즘의 각 처리 단계에서 생성되는 영상들을 도시하였다. 다양한 환경에서 입력된 차량 영상을 문자들의 획이 잘 보존된 이진 영상으로 변환하기 위해서 DoG 필터를 사용하였다. DoG 필터를 사용해서 정교한 에지 정보를 추출하고 에지들을 연결해서 문자 획이 잘 보전된 이진 영상을 생성하였다.
- 영상 개선작업을 수행한 명도 레벨 번호판 영상에 식 (8)과 같은 Sauvola의 적응적 이진화 방법[5]을 적용하여 이진 영상을 생성하였다.
성능/효과
- [표 1]에 번호판 추출 결과를 도시하였다. 번호판 추출 결과에서 흰색 번호판의 경우 녹색 번호판에 비해 추출 성공률이 높게 나타났다. 흰색 번호판의 경우 녹색 번호판에 비해 명도 대비가 높아서 문자 획이 잘 보존된 이진 영상을 만들 수 있었기 때문이다.
- 상용 LPR 시스템의 카메라로부터 입력받은 6,200장의 차량 영상에 대해서 시뮬레이션 해 본 결과 97.5%의 번호판 검출률을 얻었고 검출된 번호판 영상에 대해서 98.4%의 인식률을 얻을 수 있었다. 하나의 차량 영상에 대한 인식 속도가 0.
- 실험결과 비교적 양호한 차량 영상에 대해서는 번호판 검출 및 인식에 에러가 거의 없었으나 번호판 테두리나 잡음에 문자 획이 붙어있거나 문자 획에 그림자가 나타나서 배경과 문자 획 사이의 명암도 차이가 낮을 때에는 번호판 검출 및 인식에 에러가 발생하는 경우가 있었다.
- 05 초가 소요되었다. 제안한 알고리즘은 연속적으로 입력되는 차량영상에 대해서 1초당 20프레임 정도로 인식할 수 있어서 실시간 차량 번호판 인식 시스템에 효율적으로 사용될 수 있음을 확인하였다.
- 4%의 인식률을 얻을 수 있었다. 하나의 차량 영상에 대한 인식 속도가 0.05초 정도로서 제안한 알고리즘은 실시간 응용에도 효율적으로 사용될 수 있음을 확인하였다.
후속연구
- 향후 번호판 문자가 주변 잡음 블롭에 접촉되어 있는 경우에도 정확하게 번호판을 검출하고 인식할 수 있는 알고리즘 개발에 대한 연구가 계속될 필요가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.