선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 영상 내 차량의 위치 및 촬영 각도의 제한 없이 다양한 촬영 환경에서 적용할 수 있는 차량번호판 인식 시스템을 제안하였다. 이를 위해 에지의 양, 수직 수평에지의 위치 관계, 그리고 지역적 밝기 히스토그램을 활용하여 번호판 영역을 검출하였으며, 현행 번호판 규격정보와 비교 검증하는 과정을 통해 오검출된 번호판 영역을 제거해 주었다.
- 본 논문에서는 현행 번호판의 규격정보를 활용하여 오검출된 번호판 영역의 제거 및 번호판 내 글자추출을 수행하고, 한글 특성을 고려하여 번호판 내 글자를 인식을 수행함으로써 다양한 촬영 각도 및 차량 위치에 강인한 번호판 인식 시스템을 제안한다. 제안 시스템은 번호판 내 글자 영역에 발견되는 풍부한 수직에지 특성 및 번호판 영역의 위아래 테두리에서 기인한 수평에지 특성을 동시에 활용함으로써 번호판 후보 영역을 검출한 뒤, 기울기 보정을 수행하였다.
가설 설정
- 본 논문에서는 영상 내에 차량이 한대라고 가정하였으며, 성공적인 번호판 내 글자인식을 위해 글자의 수직 크기가 15픽셀 이상이어야 한다는 정보를 근거로[7], 번호판 너비는 80∼300픽셀이라고 가정하였다.
- 논문에서는 번호판 후보 영역에 대해서 이진화를 수행한 뒤, 번호판이 가질 수 있는 종횡비와 내부에 존재하는 글자의 개수 및 배열 정보, 배경색의 밝기 정보를 활용하여서 번호판 유형을 분류하였다. 제안 기법에서는 번호판 내 글자와 관련된 정보를 획득하기 위해 이진화 영상에서 연결성을 가진 객체는 글자 영역이라고 가정하였으며, 객체의 연결성은 8-neighborhood 방식을 이용하여 판단하였다. 이외에도 이진화 영상의 가장자리 밝기값 정보를 토대로 파악된 배경색의 밝기 정보 및 수평방향으로의 투영 결과를 이용한 글자 영역의 라인개수 정보도 유형 분류에 활용되었다.
제안 방법
- 겹침 정도 비교 시 구간 설정이 세분화 되어 겹침 정도가 작게 나오는 것을 방지하기 위해, 실험에서는 0～255의 밝기값에 대해서 7개의 구간으로 양자화를 수행하였다. 각 히스토그램 대해서 특정 양자화 구간 내 존재하는 빈도수를 전체 빈도수의 합으로 나누어 줌으로서 정규화를 시켰으며, 유사도 비교에는 정규화된 두 히스토그램의 구간별로 작은 빈도수값들로만 구성된 유사도 값을 합산하는 방법이 사용되었다.
- 겹침 정도 비교 시 구간 설정이 세분화 되어 겹침 정도가 작게 나오는 것을 방지하기 위해, 실험에서는 0～255의 밝기값에 대해서 7개의 구간으로 양자화를 수행하였다. 각 히스토그램 대해서 특정 양자화 구간 내 존재하는 빈도수를 전체 빈도수의 합으로 나누어 줌으로서 정규화를 시켰으며, 유사도 비교에는 정규화된 두 히스토그램의 구간별로 작은 빈도수값들로만 구성된 유사도 값을 합산하는 방법이 사용되었다.
- 이는 실시간 계산이 요구되는 번호판 인식 시스템에 적합하지 못하므로 본 논문에서는 intra-class간에 중복성을 최소로 하면서, inter-class간에는 확연히 구분되는 표준 패턴을 구성할 수 있는 계층적 클러스터링 기법을 제안하였다. 계층적 클러스터링에서는 미리 추출한 같은 클래스 내 n개의 글자 영상샘플들에 대해서 이진화를 수행한 뒤, 템플릿 매칭 수행을 위해 크기를 정규화 하였다. 그 후 정규화된 이진화 영상들 간에 템플릿 매칭을 수행하여 Tanimoto distance를 측정하고 가장 유사한 2 개의 샘플들을 하나로 병합해 주었다.
- 제안 시스템은 번호판 내 글자 영역에 발견되는 풍부한 수직에지 특성 및 번호판 영역의 위아래 테두리에서 기인한 수평에지 특성을 동시에 활용함으로써 번호판 후보 영역을 검출한 뒤, 기울기 보정을 수행하였다. 그 후 기울기 보정된 후보 영역 내에서 글자로 판명되는 객체의 위치 및 형태 정보를 현행 번호판 규격정보와 비교 검증하는 과정을 거쳐 오검출된 번호판 영역을 최종적으로 제거하였다. 또한 번호판 내에 존재하는 글자를 추출하기 위해서 영역 내 밝기 변화를 고려한 이진화를 수행한 뒤, 이진화 영상의 배경색 및 투영정보, 객체의 연결성 및 현행 번호판 규격 정보를 종합적으로 활용하였다.
- 번호판 후보 영역이 검출되면, 기울기 보정을 수행한 후, 에지 및 밝기값 분포의 특성을 분석하여 번호판의 정확한 경계 정보를 추출하였다. 그 후 번호판 후보 영역 내 글자로 판명되는 객체의 위치 및 형태 정보를 현행 번호판 규격 정보와 비교 검증하는 과정을 거쳐 오검출된 번호판 영역을 제거하였다. 본 논문에서는 영상 내에 차량이 한대라고 가정하였으며, 성공적인 번호판 내 글자인식을 위해 글자의 수직 크기가 15픽셀 이상이어야 한다는 정보를 근거로[7], 번호판 너비는 80∼300픽셀이라고 가정하였다.
- 따라서 본 논문에서는 이진화 영상으로부터 한글 영역과는 달리 한 글자에서의 연결성이 보장되는 숫자 영역의 위치를 먼저 검출하였다. 그 후 이진화 영상에서의 숫자 위치 및 번호판 규격상에서의 숫자 위치를 비교하여 이진화 영상에서의 한글 영역의 위치를 추정하였다. 한글 영역의 위치가 추정되면 부근의 분리된 객체들에 대한 bounding rectangle을 생성하여 영역 내 객체들을 병합한 뒤 글자추출을 수행하였다.
- 계층적 클러스터링에서는 미리 추출한 같은 클래스 내 n개의 글자 영상샘플들에 대해서 이진화를 수행한 뒤, 템플릿 매칭 수행을 위해 크기를 정규화 하였다. 그 후 정규화된 이진화 영상들 간에 템플릿 매칭을 수행하여 Tanimoto distance를 측정하고 가장 유사한 2 개의 샘플들을 하나로 병합해 주었다. 남대은 n-1개의 샘플들에 대해서도 동일한 과정을 수행하였으며, 남아있는 n-k의 샘플들 간에 템플릿 매칭을 수행하여 얻어진 Tanimoto distance의 최소값이 미리 설정한 임계값 이상이면 클러스터링 과정을 종료하였다.
- 번호판의 상하 경계 검출 단계에서는 수평에지들에 대해서 번호판 후보 영역 검출 시 활용한 번호판 내 수직, 수평에지 간의 위치 관계 특성을 활용하여 후보를 선정하였다. 그 후 추출한 후보 간의 간격이 추정한 번호판의 높이와 유사하지 않은 후보들을 제거한 뒤, 수평 방향으로의 겹침 정도가 크고 기울기가 유사한 경계후보를 번호판의 상 하단 경계로 판단하였다.
- 따라서 본 논문에서 글자인식 시 추출된 글자 영상과의 템플릿 매칭 결과가 제일 유사한 표준 패턴이 그 다음으로 유사한 표준 패턴과의 거리 차이가 충분히 큰 경우에만 템플릿 매칭 결과를 신뢰하고 해당 글자로 인식하였다. 그렇지 않을 경우, 기하학적 특성 정보를 토대로 얻은 신뢰도값을 기존의 매칭 결과값에 가중해주고, 이를 토대로 글자인식을 수행하였다. 글자로부터 기하학적 특성 정보를 얻기 위해 숫자 인식에서는 이진화 된 글자영상의 Convex hull을 기준으로 내부에 존재하는 홀의 개수 및 종횡비 정보를 활용하였다.
- 본 논문에서는 번호판 검출 시 번호판 내 모든 글자 영역을 포함한 경계가 찾아진 경우 검출 성공이라고 판단하였고, 번호판 후보를 검출하지 못하거나 번호판의 일부만이 검출된 경우 검출 실패라고 판단하였다. 글자 영역 추출 단계에서는 현행 번호판 규격을 토대로, 번호판 영상으로부터 글자 영역이 존재할 만한 곳을 추정한 뒤 해당 위치에서 글자가 추출된 경우만 성공으로 판단하고, 그렇지 않은 경우 실패로 판단하였다. 글자인식에서는 번호판 검출, 글자 영역 추출, 글자 인식 단계가 순차적으로 수행되며, 표 2는 단계별 성공률의 누적값을 표 3은 단계별 수행시간을 나타낸다.
- 그렇지 않을 경우, 기하학적 특성 정보를 토대로 얻은 신뢰도값을 기존의 매칭 결과값에 가중해주고, 이를 토대로 글자인식을 수행하였다. 글자로부터 기하학적 특성 정보를 얻기 위해 숫자 인식에서는 이진화 된 글자영상의 Convex hull을 기준으로 내부에 존재하는 홀의 개수 및 종횡비 정보를 활용하였다. 또한 관할 관청 기호 인식에서는 영상을 n x n 의 격자로 구분 한 뒤 정점 sampling방법을 활용하였다.
- 또한 번호판 내에 존재하는 글자를 추출하기 위해서 영역 내 밝기 변화를 고려한 이진화를 수행한 뒤, 이진화 영상의 배경색 및 투영정보, 객체의 연결성 및 현행 번호판 규격 정보를 종합적으로 활용하였다. 글자인식에 있어서는 템플릿 매칭 및 각 글자의 기하학적 특성 정보를 활용하여 수행하였으며, 앞서 언급한 바와 같이 오인식 가능성이 높은 용도별 기호의 인식을 위해, 각 글자를 자음과 모음으로 분리한 뒤 기하학적 특성과 외각 정보, 투영 정보를 추가적으로 활용하였다.
- 이를 위해 에지의 양, 수직 수평에지의 위치 관계, 그리고 지역적 밝기 히스토그램을 활용하여 번호판 영역을 검출하였으며, 현행 번호판 규격정보와 비교 검증하는 과정을 통해 오검출된 번호판 영역을 제거해 주었다. 글자추출 단계에서는 번호판 영역 내 밝기 변화를 고려한 국소적 이진화를 수행한 뒤, 이진화 영상의 분석과 현행 번호판 규격 정보와의 비교를 통해 글자를 추출하였다. 또한 번호판 내 글자인식을 위해서는 템플릿 매칭 및 각 글자의 기하학적 특성 정보를 활용하였으며, 종류가 다양하며 오인식률이 높은 용도별 기호에 대해서는 형태적 유사성에 따라 초기 그룹을 형성한 뒤, 기하학적 특성과 외각 경계 정보 및 투영 정보를 토대로 계층적으로 계층을 좁혀나가는 super-class기법을 활용하였다.
- 논문에서는 번호판 후보 영역에 대해서 이진화를 수행한 뒤, 번호판이 가질 수 있는 종횡비와 내부에 존재하는 글자의 개수 및 배열 정보, 배경색의 밝기 정보를 활용하여서 번호판 유형을 분류하였다. 제안 기법에서는 번호판 내 글자와 관련된 정보를 획득하기 위해 이진화 영상에서 연결성을 가진 객체는 글자 영역이라고 가정하였으며, 객체의 연결성은 8-neighborhood 방식을 이용하여 판단하였다.
- 하지만 관할 관청 기호에서의 ‘대전’과 ‘대구’, 숫자에서는 ‘5’와 ‘6’ 등 형태가 유사한 경우 오인식의 가능성이 존재하기 때문에 글자인식에 있어서 템플릿 매칭 결과를 전적으로 신뢰할 수는 없다. 따라서 본 논문에서 글자인식 시 추출된 글자 영상과의 템플릿 매칭 결과가 제일 유사한 표준 패턴이 그 다음으로 유사한 표준 패턴과의 거리 차이가 충분히 큰 경우에만 템플릿 매칭 결과를 신뢰하고 해당 글자로 인식하였다. 그렇지 않을 경우, 기하학적 특성 정보를 토대로 얻은 신뢰도값을 기존의 매칭 결과값에 가중해주고, 이를 토대로 글자인식을 수행하였다.
- 따라서 본 논문에서는 그림 7과 같이 번호판 영상 내 x좌표별로 주변 영역에 특정 크기의 윈도우를 생성한 뒤, 내부의 밝기 특성을 반영한 이진화 임계값을 설정하였다. 이진화 수행 시 윈도우의 크기는 추정된 번호판 내 글자 크기 정보 및 번호판 영역은 수직 방향으로의 밝기 변화가 적다는 특성을 고려하여 설정하였다.
- 하지만 번호판 내 글자 영역 중에서 한글로 이루어진 용도별 기호 및 관할관청 기호는 자음, 모음의 형태에 따라 한 글자가 2개 이상의 객체로 분리 될 수 있으며, 이로 인해 추출 실패가 발생할 수 있다. 따라서 본 논문에서는 이진화 영상으로부터 한글 영역과는 달리 한 글자에서의 연결성이 보장되는 숫자 영역의 위치를 먼저 검출하였다. 그 후 이진화 영상에서의 숫자 위치 및 번호판 규격상에서의 숫자 위치를 비교하여 이진화 영상에서의 한글 영역의 위치를 추정하였다.
- 자음의 경우 형태가 유사한 경우가 다수 존재하기 때문에 템플릿 매칭 결과값으로는 구분이 용이치 않다. 따라서 본 논문에서는 자음을 인식하기 위해 템플릿 매칭 결과를 그대로 활용하지 않고, 형태적 유사성에 따라 초기 그룹을 형성한 뒤 추가적인 정보를 활용하여 계층을 좁혀나가는 방식을 활용하였다. 제안 기법에서는 초기 그룹을 형성하기 위하여 각 자음 별로 표준 패턴들 간에 템플릿 매칭을 수행하여 얻어진 Tanimoto distance 의 평균값이 미리 설정한 임계값보다 작은 경우 같은 그룹으로 묶어주었다.
- 하지만 용도별 기호의 경우 한글의 특성상 여러 가지 조합의 자음과 모음으로 구성되어 있으며, 비슷한 형태를 가진 경우가 많기 때문에 인식에 어려움이 따른다. 따라서 본 논문에서는 종류가 다양하지 않고 비슷한 형태가 적은 관할 관청 기호 및 숫자에 대해서는 템플릿 매칭 결과에 기하학적 특성 정보를 토대로 가중치를 주는 기법을 활용하여서 글자인식을 수행하였다. 또한 종류가 다양하며 오인식률이 높은 용도별 기호에 대해서는 기하학적 특성과 외각 경계 정보 및 투영 정보를 토대로 자음과 모음을 개별적으로 인식함으로써 한글 인식의 정확도를 높였다.
- 이를 방지하기 위해 번호판 검출 시 영상 내 차량의 위치 및 촬영 각도를 제한하게 되는 경우, 다양한 촬영 환경에서의 적용이 어렵게 된다. 따라서 본 논문에서는 현행 번호판의 규격정보를 활용하여 오검출된 번호판 후보 영역들을 제거하였다.
- 번호판 영역 내부에는 길이가 긴 수평에지들이 거의 존재하지 않으므로, 상하 경계 검출 시 수평에지를 직접 활용할 수 있었지만, 수직에지는 번호판의 좌우 경계는 물론 글자 영역에도 존재하기 때문에 에지 특성만을 이용한 기법으로는 좌우 경계를 정확히 추출하기 어렵다. 따라서 제안 기법은 수평 및 수직에지의 분포 특성 외에도 번호판 영역이 가지는 밝기값 분포의 특성을 활용하여 좌우 경계를 추출하였다. 번호판 영역은 좌우경계를 기준으로 내부는 글자로 인해 수직에지의 발생이 빈번하고, 외부는 상대적으로 수직에지의 양이 적다.
- 제안하는 기법에서는 번호판 규격 정보를 활용하여서 글자들 사이의 빈 공간의 위치를 추정하고, 해당 위치 주변에서 이진화 영상을 수직방향으로 투영했을 때 높이가 급격히 줄어드는 지점을 찾아서 글자 간 혹은 테두리와 글자가 붙어있는 영역을 분리해 주었다. 또한 규격 정보를 토대로 글자 영역의 위치를 추정한 뒤 연결성 있는 객체의 종횡비 및 크기 정보가 번호판 내 글자의 특성과 상이한 경우 노이즈로 판단하고 제거과정을 수행하였다.
- 이진화 수행 시 윈도우의 크기는 추정된 번호판 내 글자 크기 정보 및 번호판 영역은 수직 방향으로의 밝기 변화가 적다는 특성을 고려하여 설정하였다. 또한 글자 영역과 배경 사이의 경계는 밝기값 차이가 크다는 점을 고려하여, 윈도우 내부 영역에 소벨 에지연산자(Sobel Edge Operator)[22]를 활용하여 에지의 크기가 급격히 변하는 픽셀들을 구한 뒤, 해당 픽셀들의 밝기값 평균을 구하여서 이진화 임계값으로 설정하였다. 그림 7에 제시된 번호판 영상에 대해서 이진화 수행 결과, 기존 기법들과 차별화 된 제안 기법의 이진화 수행 결과를 그림 8에서와 같이 확인 할 수 있었다.
- 그 후 기울기 보정된 후보 영역 내에서 글자로 판명되는 객체의 위치 및 형태 정보를 현행 번호판 규격정보와 비교 검증하는 과정을 거쳐 오검출된 번호판 영역을 최종적으로 제거하였다. 또한 번호판 내에 존재하는 글자를 추출하기 위해서 영역 내 밝기 변화를 고려한 이진화를 수행한 뒤, 이진화 영상의 배경색 및 투영정보, 객체의 연결성 및 현행 번호판 규격 정보를 종합적으로 활용하였다. 글자인식에 있어서는 템플릿 매칭 및 각 글자의 기하학적 특성 정보를 활용하여 수행하였으며, 앞서 언급한 바와 같이 오인식 가능성이 높은 용도별 기호의 인식을 위해, 각 글자를 자음과 모음으로 분리한 뒤 기하학적 특성과 외각 정보, 투영 정보를 추가적으로 활용하였다.
- 본 논문에서는 그림 9과 같이 제안된 분류기를 토대로 번호판 유형을 분류하는 과정에서 해당 조건이 현행 번호판의 규격을 만족시키지 않는 경우 비번호판이라고 판단하고 제거과정을 수행하였다. 또한 분류조건을 모두 만족시키는 후보 영역이 2개 이상인 경우, 영역 내 글자로 판명된 객체의 크기 및 상대적인 위치가 해당 번호판 유형 규격정보와 제일 유사한 후보를 번호판으로 판단하고 검출하였다.
- 또한‘ㅏ’ 와 ‘ㅓ’, ‘ㅗ’ 와 ‘ㅜ’를 각각 구분하기 위해서 영상으로부터 chain code[22]를 생성한 뒤 외각 경계 픽셀들의 방향성 정보를 활용하였다.
- 번호판 검출을 위해 본 논문에서는 입력 영상 내 에지의 양 및 에지간의 위치 관계 특성에 기반하여 번호판 후보 영역을 검출하였다. 번호판 후보 영역이 검출되면, 기울기 보정을 수행한 후, 에지 및 밝기값 분포의 특성을 분석하여 번호판의 정확한 경계 정보를 추출하였다.
- 번호판 검출을 위해 본 논문에서는 입력 영상 내 에지의 양 및 에지간의 위치 관계 특성에 기반하여 번호판 후보 영역을 검출하였다. 번호판 후보 영역이 검출되면, 기울기 보정을 수행한 후, 에지 및 밝기값 분포의 특성을 분석하여 번호판의 정확한 경계 정보를 추출하였다. 그 후 번호판 후보 영역 내 글자로 판명되는 객체의 위치 및 형태 정보를 현행 번호판 규격 정보와 비교 검증하는 과정을 거쳐 오검출된 번호판 영역을 제거하였다.
- 번호판의 상하 경계 검출 단계에서는 수평에지들에 대해서 번호판 후보 영역 검출 시 활용한 번호판 내 수직, 수평에지 간의 위치 관계 특성을 활용하여 후보를 선정하였다. 그 후 추출한 후보 간의 간격이 추정한 번호판의 높이와 유사하지 않은 후보들을 제거한 뒤, 수평 방향으로의 겹침 정도가 크고 기울기가 유사한 경계후보를 번호판의 상 하단 경계로 판단하였다.
- 72:1과 2:1규격으로 구분되며 글자 영역은 1～2줄로 구성되어 있고 글자 개수는 7～9개로 제한된다[25]. 본 논문에서는 그림 9과 같이 제안된 분류기를 토대로 번호판 유형을 분류하는 과정에서 해당 조건이 현행 번호판의 규격을 만족시키지 않는 경우 비번호판이라고 판단하고 제거과정을 수행하였다. 또한 분류조건을 모두 만족시키는 후보 영역이 2개 이상인 경우, 영역 내 글자로 판명된 객체의 크기 및 상대적인 위치가 해당 번호판 유형 규격정보와 제일 유사한 후보를 번호판으로 판단하고 검출하였다.
- 본 논문에서는 번호판 영역에 대해서 이진화를 수행하여 번호판 유형을 분류한 후, 번호판 유형에 따른 규격 정보 및 이진화 영상의 연결성 정보를 토대로 번호판 내 글자 영역을 추출하였다. 검출된 번호판으로부터 글자 영역 추출 시, 번호판 유형이 파악되면 해당 번호판 규격 정보를 토대로 글자의 위치를 추정할 수 있으며, 이를 통해 글자 영역을 정확하게 추출할 수 있다.
- 본 논문에서는 수직, 수평에지 성분과, 이러한 에지성분들의 위치 관계를 기반으로 번호판 후보 영역을 검출하였다. 번호판 영역은 차량 영상 내 다른 영역과 달리 사각형 테두리를 가지며, 특정 개수의 글자로 구성되어있다.
- 본 논문에서는 종류가 다양하지 않고 비슷한 형태가 적은 관할 관청 기호 및 숫자에 대해서는 템플릿 매칭결과에 기하학적 특성 정보를 토대로 가중치를 주는 기법을 활용하였다. 템플릿 매칭 결과 Tanimoto distance가 가장 가깝게 측정된 표준 패턴은 해당 글자일 가능성이 높다.
- 본 논문에서는 캐니 에지 연산자(Canny Edge Operator)[22]를 활용하여 영상 내 에지를 추출하였다. 수평방향과 이루는 각도가 특정값 이하이면 수평에지로, 그렇지 않은 경우 수직에지로 판명하였으며, 분류된 에지들에 대해서 필터링을 거쳐 번호판 후보 영역을 검출하였다.
- 이러한 후보군 중, 후보군 내부의 부분 영역들 간 밝기값 분포가 모두 bimodal한 형태를 띄고, 유사한 경우, 번호판의 좌우 경계로 판단하였다. 부분 영역들 간 밝기값 분포 비교를 위해서 본 논문에서는 그림 6과 같이 각 부분 영역들의 총 픽셀 수로 정규화된 히스토그램간의 겹침 정도를 비교하였다.
- 필터링 된 수직에지들을 번호판후보 영역으로 확장시키기 위해서, 제안 기법에서는 각 수직에지를 포함한 주변 영역의 수직에지의 밀집도가 높은 경우, dilation연산을 수행하여 후보영역을 생성하였다. 생성된 번호판 후보 영역은 추가적으로 종횡비 및 크기 정보를 토대로 필터링하였다.
- 를 활용하여 영상 내 에지를 추출하였다. 수평방향과 이루는 각도가 특정값 이하이면 수평에지로, 그렇지 않은 경우 수직에지로 판명하였으며, 분류된 에지들에 대해서 필터링을 거쳐 번호판 후보 영역을 검출하였다. 수직에지 필터링에서는 번호판 내 글자에서 기인된 수직에지만 유효하다고 판단하고 추정된 번호판의 글자보다 너비 및 높이가 큰 수직에지들을 제거하였으며, 각 수직에지별로 상하단에 존재하는 수평에지의 밀집도가 낮은 경우 추가적으로 제거하였다.
- 실험에서 제안하는 방법은 Intel(R) CoreTM i5-3570CPU 3.40GHz, Memory 4.00 GB, Windows7환경에서 C++을 활용하여 구현하였다.
- 정점 샘플링 기법에서는 글자 영역 내의 특정 위치에 존재하는 픽셀들을 counting하는 방식을 사용하였으며 에지의 방향성 정보파악에는 chain code가 활용되었다. 에지 투영 시 수평방향으로 추출된 에지 성분들을 투영하고 길이가 짧은 성분들을 노이즈로 판단하고 제거하였으며, 전체 글자영상 대비 작은 홀 영역들은 홀의 개수 파악 시 포함하지 않았다. 그림 13은 super-class 기법을 활용하여 용도별 기호의 자음을 인식하는 과정을 보여준다.
- 표준 패턴 구성시 intra-class내에서 유사한 형태를 가진 패턴이 다수 존재할 경우 인식 성능의 향상 없이 계산량의 증가를 가져오게 된다. 이는 실시간 계산이 요구되는 번호판 인식 시스템에 적합하지 못하므로 본 논문에서는 intra-class간에 중복성을 최소로 하면서, inter-class간에는 확연히 구분되는 표준 패턴을 구성할 수 있는 계층적 클러스터링 기법을 제안하였다. 계층적 클러스터링에서는 미리 추출한 같은 클래스 내 n개의 글자 영상샘플들에 대해서 이진화를 수행한 뒤, 템플릿 매칭 수행을 위해 크기를 정규화 하였다.
- 그 결과 번호판 영역 내부에서는 그림 2와 같이 글자에서 기인 된 수직에지 성분이 다수 존재하며, 번호판의 위아래 테두리에서 기인한 수평에지 성분이 수직에지 성분의 상하에 위치하게 된다. 이러한 특성에 기반하여, 입력 영상의 특정 영역에 존재하는 수직, 수평 에지의 밀집도 및 에지 간의 위치 관계를 살펴보고, 해당 영역의 번호판 후보 영역여부를 판별하였다.
- 또한 번호판 내의 부분 영역들은 그림 5와 같이 크기 및 위치와 무관하게 밝기값의 분포가 bimodal한 형태를 가진다. 이러한 특성을 토대로 좌우에 존재하는 수직에지의 양 차이가 큰 x좌표를 기준으로 번호판 좌우 경계후보군을 선정하였다. 이러한 후보군 중, 후보군 내부의 부분 영역들 간 밝기값 분포가 모두 bimodal한 형태를 띄고, 유사한 경우, 번호판의 좌우 경계로 판단하였다.
- 이러한 정보를 토대로 분리된 자음들에 대해서 초기 그룹을 판단하면, 총 33가지 종류의 용도별 기호는 (ㄱ), (ㄴ ㄷ ㄹ ㅁ ㅂ ㅇㅎ), (ㅅ ㅈ) 중에 하나의 클래스에 속하게 된다. 이렇게 구분된 3개의 클래스를 시작으로 에지 투영 결과 및 방향성 정보, 정점 샘플링 기법, 홀 정보 등을 활용함으로써 자음 인식을 수행하였다. 정점 샘플링 기법에서는 글자 영역 내의 특정 위치에 존재하는 픽셀들을 counting하는 방식을 사용하였으며 에지의 방향성 정보파악에는 chain code가 활용되었다.
- 을 수행하여 기울어짐을 보정하였다. 이를 위해 번호판 후보 영역에 존재하는 수평에지 성분들의 각도를 평균화하여 기울어진 각도를 추정한 후, 이를 기반으로 번호판 후보 영역에 호모그래피 변환을 수행하였다.
- 본 논문에서는 영상 내 차량의 위치 및 촬영 각도의 제한 없이 다양한 촬영 환경에서 적용할 수 있는 차량번호판 인식 시스템을 제안하였다. 이를 위해 에지의 양, 수직 수평에지의 위치 관계, 그리고 지역적 밝기 히스토그램을 활용하여 번호판 영역을 검출하였으며, 현행 번호판 규격정보와 비교 검증하는 과정을 통해 오검출된 번호판 영역을 제거해 주었다. 글자추출 단계에서는 번호판 영역 내 밝기 변화를 고려한 국소적 이진화를 수행한 뒤, 이진화 영상의 분석과 현행 번호판 규격 정보와의 비교를 통해 글자를 추출하였다.
- 그러나 검출된 번호판 후보영역은 정확한 경계 정보를 포함하고 있지 않으며, 또한 번호판 영역이 기울어져 있을 가능성이 높다. 이에 따라 제안 기법에서는 번호판 후보 영역에 대해서 경계정보 추출 및 기울기 보정을 수행하였으며, 기울기 보정을 먼저 수행한 후 번호판 경계 정보를 추출하였다.
- 으로 구성되어 있다. 자음 인식을 위해 제안 기법에서는 모임 인식 결과를 토대로 글자 내 자음의 위치를 추정한 뒤 자음만을 분리해서 인식하였다. 자음의 경우 형태가 유사한 경우가 다수 존재하기 때문에 템플릿 매칭 결과값으로는 구분이 용이치 않다.
- 제안 기법에서는 각 글자는 하나의 연결성을 띈다고 가정하고 이진화 영상으로부터 8-neighborhood를 이용한 연결성 있는 객체를 추출함으로써 글자 영역을 추출하였다. 하지만 번호판 내 글자 영역 중에서 한글로 이루어진 용도별 기호 및 관할관청 기호는 자음, 모음의 형태에 따라 한 글자가 2개 이상의 객체로 분리 될 수 있으며, 이로 인해 추출 실패가 발생할 수 있다.
- 검출된 번호판으로부터 글자 영역 추출 시, 번호판 유형이 파악되면 해당 번호판 규격 정보를 토대로 글자의 위치를 추정할 수 있으며, 이를 통해 글자 영역을 정확하게 추출할 수 있다. 제안 기법에서는 번호판 유형을 분류하기 위해 번호판후보 영역 검증 단계에서 수행되었던 개선된 국소 이진화 기법 및 번호판 유형 분류기를 활용하였다.
- 따라서 본 논문에서는 자음을 인식하기 위해 템플릿 매칭 결과를 그대로 활용하지 않고, 형태적 유사성에 따라 초기 그룹을 형성한 뒤 추가적인 정보를 활용하여 계층을 좁혀나가는 방식을 활용하였다. 제안 기법에서는 초기 그룹을 형성하기 위하여 각 자음 별로 표준 패턴들 간에 템플릿 매칭을 수행하여 얻어진 Tanimoto distance 의 평균값이 미리 설정한 임계값보다 작은 경우 같은 그룹으로 묶어주었다. 이러한 정보를 토대로 분리된 자음들에 대해서 초기 그룹을 판단하면, 총 33가지 종류의 용도별 기호는 (ㄱ), (ㄴ ㄷ ㄹ ㅁ ㅂ ㅇㅎ), (ㅅ ㅈ) 중에 하나의 클래스에 속하게 된다.
- 제안 기법에서는 표준 패턴에 대해서 용도별 기호와의 템플릿 매칭 결과값이 유사한 상위클래스를 선별한 뒤, 자음은 고려하지 않고 모음이 ‘ㅏ’ 또는 ‘ㅓ’인 경우와 ‘ㅗ’ 또는 ‘ㅜ’인 경우에 대해서 character counting을 통해 클래스를 구분하였다.
- 번호판 규격 정보의 활용을 위해서는 검출된 번호판 영역에 대한 번호판 유형 파악이 선행되어야 한다. 제안 기법에서는 해당 영역의 이진화를 통하여 번호판 유형 분류에 필요한 정보를 획득하였다. 번호판 영상에 대해서 단일 임계값을 통한 이진화[24] 수행 시 조도가 균일하지 않은 경우 좋은 성능을 기대할 수 없다.
- 본 논문에서는 현행 번호판의 규격정보를 활용하여 오검출된 번호판 영역의 제거 및 번호판 내 글자추출을 수행하고, 한글 특성을 고려하여 번호판 내 글자를 인식을 수행함으로써 다양한 촬영 각도 및 차량 위치에 강인한 번호판 인식 시스템을 제안한다. 제안 시스템은 번호판 내 글자 영역에 발견되는 풍부한 수직에지 특성 및 번호판 영역의 위아래 테두리에서 기인한 수평에지 특성을 동시에 활용함으로써 번호판 후보 영역을 검출한 뒤, 기울기 보정을 수행하였다. 그 후 기울기 보정된 후보 영역 내에서 글자로 판명되는 객체의 위치 및 형태 정보를 현행 번호판 규격정보와 비교 검증하는 과정을 거쳐 오검출된 번호판 영역을 최종적으로 제거하였다.
- 분류된 번호판 유형에 따라 글자 영역을 추출하기에 앞서, 이진화된 번호판 영상은 조명환경 및 촬영 각도에 따라 외각 경계와 글자가 연결되거나 번호판 내부의 변형 및 왜곡에 의해 노이즈가 발생할 수 있으므로, 이에 따른 전처리 과정이 수반되어야 한다. 제안하는 기법에서는 번호판 규격 정보를 활용하여서 글자들 사이의 빈 공간의 위치를 추정하고, 해당 위치 주변에서 이진화 영상을 수직방향으로 투영했을 때 높이가 급격히 줄어드는 지점을 찾아서 글자 간 혹은 테두리와 글자가 붙어있는 영역을 분리해 주었다. 또한 규격 정보를 토대로 글자 영역의 위치를 추정한 뒤 연결성 있는 객체의 종횡비 및 크기 정보가 번호판 내 글자의 특성과 상이한 경우 노이즈로 판단하고 제거과정을 수행하였다.
- density_edge_hor는 window 내 수평에지의 밀집도를 의미하며, window의 너비는 추정된 글자 너비의 1/2, 높이는 추정된 글자의 높이로 설정하였다. 필터링 된 수직에지들을 번호판후보 영역으로 확장시키기 위해서, 제안 기법에서는 각 수직에지를 포함한 주변 영역의 수직에지의 밀집도가 높은 경우, dilation연산을 수행하여 후보영역을 생성하였다. 생성된 번호판 후보 영역은 추가적으로 종횡비 및 크기 정보를 토대로 필터링하였다.
- 그 후 이진화 영상에서의 숫자 위치 및 번호판 규격상에서의 숫자 위치를 비교하여 이진화 영상에서의 한글 영역의 위치를 추정하였다. 한글 영역의 위치가 추정되면 부근의 분리된 객체들에 대한 bounding rectangle을 생성하여 영역 내 객체들을 병합한 뒤 글자추출을 수행하였다.
대상 데이터
- 00 GB, Windows7환경에서 C++을 활용하여 구현하였다. 향후 번호판 인식이 다양한 환경에서 활용될 것으로 예상됨에 따라, 본 논문에서는 제안기법의 성능 검증을 위해 근거리 및 원거리에서 다양한 각도로 촬영된 총 1472장의 영상이 입력으로 사용하였으며, 영상구성은 표 1과 같다. 입력 영상에는 자가용, 영업용 번호판뿐 아니라 버스나 대형 트럭 등에서 사용되는 대형 번호판도 포함되었으며, 전체 영상에 대해서 93.
이론/모형
- 국내 번호판에는 지역명으로 표기된 관할관청 기호, 숫자, 한글로 구성된 용도별 기호가 존재한다. 기존에 제안되었던 대부분의 번호판 인식 시스템에서는 글자인식을 위해서 관할관청 기호, 숫자, 용도별 기호에 일괄적으로 템플릿매칭[19] 혹은 PCA(Principal Component Analysis)[20], LDA(Linear Discriminant Analysis)[21] 기법을 적용하였다. 하지만 용도별 기호는 자음 및 모음이 유사한 경우가 다수 존재하여, ‘ㅁ’, ‘ㅂ’, ‘ㅇ’간, 혹은 ‘ㅏ’, ‘ㅓ’간의 오인식이 발생할 가능성이 높으므로, 이러한 특성을 고려한 한글 인식 기법이 필요하다.
- 글자로부터 기하학적 특성 정보를 얻기 위해 숫자 인식에서는 이진화 된 글자영상의 Convex hull을 기준으로 내부에 존재하는 홀의 개수 및 종횡비 정보를 활용하였다. 또한 관할 관청 기호 인식에서는 영상을 n x n 의 격자로 구분 한 뒤 정점 sampling방법을 활용하였다.
- 글자추출 단계에서는 번호판 영역 내 밝기 변화를 고려한 국소적 이진화를 수행한 뒤, 이진화 영상의 분석과 현행 번호판 규격 정보와의 비교를 통해 글자를 추출하였다. 또한 번호판 내 글자인식을 위해서는 템플릿 매칭 및 각 글자의 기하학적 특성 정보를 활용하였으며, 종류가 다양하며 오인식률이 높은 용도별 기호에 대해서는 형태적 유사성에 따라 초기 그룹을 형성한 뒤, 기하학적 특성과 외각 경계 정보 및 투영 정보를 토대로 계층적으로 계층을 좁혀나가는 super-class기법을 활용하였다. 성능검증을 위해 다양한 배경에서 촬영된 영상에 대해서 실험을 수행한 결과 총 1472장의 영상으로부터 93.
- 용도별 기호는 한글의 특성상 종류가 다양하며, 그림 11과 같이 비슷한 자음 혹은 모음간의 형태적 유사성에서 기인된 오인식 사례가 다수 존재하기 때문에 다른 글자 영역보다 정교한 인식 과정이 수행되어야 한다. 본 논문에서는 그림 12와 같이 자음과 모음을 분리하여서 글자인식을 수행하였는데, 이를 위해 형태적 유사성에 따라 초기 그룹을 형성한 뒤, 기하학적 특성과 외각경계 및 투영정보를 토대로 계층을 좁혀나가는 super-class기법을 활용하였다.
- 본 논문에서는 글자인식을 위해 템플릿 매칭을 사용하였으며, 유사도 측정에는 Tanimoto distance[26]를 활용하였다. 템플릿 매칭을 수행하기 위해서는 각 글자에 대해서 표준 패턴이 구성되어야 한다.
- 이렇게 구분된 3개의 클래스를 시작으로 에지 투영 결과 및 방향성 정보, 정점 샘플링 기법, 홀 정보 등을 활용함으로써 자음 인식을 수행하였다. 정점 샘플링 기법에서는 글자 영역 내의 특정 위치에 존재하는 픽셀들을 counting하는 방식을 사용하였으며 에지의 방향성 정보파악에는 chain code가 활용되었다. 에지 투영 시 수평방향으로 추출된 에지 성분들을 투영하고 길이가 짧은 성분들을 노이즈로 판단하고 제거하였으며, 전체 글자영상 대비 작은 홀 영역들은 홀의 개수 파악 시 포함하지 않았다.
성능/효과
- 따라서 본 논문에서는 종류가 다양하지 않고 비슷한 형태가 적은 관할 관청 기호 및 숫자에 대해서는 템플릿 매칭 결과에 기하학적 특성 정보를 토대로 가중치를 주는 기법을 활용하여서 글자인식을 수행하였다. 또한 종류가 다양하며 오인식률이 높은 용도별 기호에 대해서는 기하학적 특성과 외각 경계 정보 및 투영 정보를 토대로 자음과 모음을 개별적으로 인식함으로써 한글 인식의 정확도를 높였다.
- 번호판 인식 시스템은 번호판 검출, 글자 영역 추출, 글자인식 세 단계로 구성되어 있다. 본 논문에서는 번호판 검출 시 번호판 내 모든 글자 영역을 포함한 경계가 찾아진 경우 검출 성공이라고 판단하였고, 번호판 후보를 검출하지 못하거나 번호판의 일부만이 검출된 경우 검출 실패라고 판단하였다. 글자 영역 추출 단계에서는 현행 번호판 규격을 토대로, 번호판 영상으로부터 글자 영역이 존재할 만한 곳을 추정한 뒤 해당 위치에서 글자가 추출된 경우만 성공으로 판단하고, 그렇지 않은 경우 실패로 판단하였다.
- 또한 번호판 내 글자인식을 위해서는 템플릿 매칭 및 각 글자의 기하학적 특성 정보를 활용하였으며, 종류가 다양하며 오인식률이 높은 용도별 기호에 대해서는 형태적 유사성에 따라 초기 그룹을 형성한 뒤, 기하학적 특성과 외각 경계 정보 및 투영 정보를 토대로 계층적으로 계층을 좁혀나가는 super-class기법을 활용하였다. 성능검증을 위해 다양한 배경에서 촬영된 영상에 대해서 실험을 수행한 결과 총 1472장의 영상으로부터 93.54%의 인식률을 확인할 수 있었다.
- 향후 번호판 인식이 다양한 환경에서 활용될 것으로 예상됨에 따라, 본 논문에서는 제안기법의 성능 검증을 위해 근거리 및 원거리에서 다양한 각도로 촬영된 총 1472장의 영상이 입력으로 사용하였으며, 영상구성은 표 1과 같다. 입력 영상에는 자가용, 영업용 번호판뿐 아니라 버스나 대형 트럭 등에서 사용되는 대형 번호판도 포함되었으며, 전체 영상에 대해서 93.54%의 인식률을 확인할 수 있었다.
후속연구
- 제안 시스템에서 쓰인 번호판 영역의 밝기값 변화를 고려한 국소적 이진화 기법은 번호판 외에도, bimodal한 분포 특성을 가지는 영상의 검출 및 세그먼테이션에 쓰일 수 있을 것으로 기대된다. 또한 한글을 인식하기 위해서 사용된 자음 및 모음 분리 기법과 자음 인식을 위한 super-class기법 역시 다른 한글 인식 연구에서 널리 쓰일 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.