선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 기존연구에서 기하학적으로 왜곡된 형태의 번호판 영상을 정규화한 크기의 영상으로 변환할 때 번호판의 테두리 정보를 주로 이용하였으나 도로상에 설치된 CCTV에서 야간에 입력된 영상이나 물리적으로 뒤틀리거나 훼손된 번호판 영상에서는 정확한 테두리 정보를 추출하기 어려울 수가 있다. 본 논문에서는 이를 개선하기 위해 개별 문자의 위치 정보를 이용해서 왜곡 정도를 추정하고 기하학적 왜곡 보정 처리를 하였다.
- 본 논문에서는 카메라 촬영 각도에 따른 기하학적 왜곡이나 조명 및 햇빛의 영향에 따른 화질의 저하에도 강한 CCTV 감시용 차량 번호판 인식시스템을 제안하였다. 2차 미분 필터를 사용한 에지기반 문자 세그먼트 영상을 구해서 왜곡이나 화질 저하에도 번호판 검출을 위한 문자 획의 세밀한 해석이 가능하도록 하였다.
- 본 논문에서는 트리거 신호를 이용하지 않은 상태에서 왜곡되어 입력될 수 있는 차량 영상들에 대해서도 고성능으로 인식할 수 있는 CCTV 감시용 차량 번호판 인식 시스템을 제안하였다. 기하학적 왜곡이나 화질의 저하가 일어난 영상에서도 문자 획의 정밀한 분석이 가능하도록 하기 위해 에지기반 문자 세그먼트 레이블링 영상을 생성해서 번호판 인식 성능을 높일 수 있도록 하였다.
제안 방법
- 번호판 영상의 종류는 [그림 4]에서와 같이 배열 개수 b(=1,2)와 문자 개수 c(=7,8,9)에 따라 TYPEbc로 표현 할 수 있다. 2차 미분 결과 에지들의 라인별 세그먼트들을 누적시키는 방식으로 문자 획들을 완성하면서 두 줄로 배치된 TYPE2c와 한 줄로 배치된 TYPE1c 두 형태의 번호판에 대해 숫자열의 존재 유무를 탐색한다. 두 형태의 번호판에서 공히 우측에 4개의 큰 숫자(D4,D3,D2,D1)들이 존재하기 때문에 4개 숫자들로 추정되는 영역을 찾았을 경우 좌측으로 탐색 영역을 확장해서 나머지 숫자 및 한글 영역의 존재 유무를 판단하고 번호판 위치를 추정한다.
- 본 논문에서는 카메라 촬영 각도에 따른 기하학적 왜곡이나 조명 및 햇빛의 영향에 따른 화질의 저하에도 강한 CCTV 감시용 차량 번호판 인식시스템을 제안하였다. 2차 미분 필터를 사용한 에지기반 문자 세그먼트 영상을 구해서 왜곡이나 화질 저하에도 번호판 검출을 위한 문자 획의 세밀한 해석이 가능하도록 하였다.
- 2차 미분 필터를 사용한 에지기반 세그먼트 영상 레이블링 방안을 마련함으로써 왜곡되거나 화질이 저하된 영상에서도 번호판 후보 영역 검출을 위한 문자 추출이 비교적 정확하게 이루어지도록 하였다. 번호판의 각 문자 영역을 세그멘테이션하고 신경망을 이용해서 번호판 인식을 하였다.
- CCTV에서 획득한 영상으로부터 차량의 종류, 번호판 색상, 폰트, 주야간 입력 시간 차이, 그리고 왜곡형태 등을 다양하게 반영할 수 있는 영상을 선정해서 학습용 문자들을 추출하고 신경망을 학습시켰다
- 차량 영상에 미분 필터링 처리를 하기 전에 가우시안 스무딩과 메디안 필터링을 차례로 수행하여 가능한 많은 잡음을 제거하였다. CCTV에서 획득한 차량 영상에서 번호판은 차량의 아래 부분에 위치하고 있기 때문에 영상의 아래쪽에서 위쪽 방향으로 번호판 영역을 탐색하였다.
- [그림 5]에 밝은 색 바탕과 어두운 색 바탕 두 종류의 번호판 문자 색상 형태에 대해 DoG(Difference of Gaussain) 필터를 이용해서 영상을 미분한 결과를 도시하였다. 영상의 2차 미분결과에서는 문자와 배경 색상에 따라 에지 부분의 영(zero) 교차 방식이 달라지기 때문에 문자 획의 시작점과 끝점을 정확하게 추정할 수 있다.
- 위 시그모이드 함수에서 파라미터 a는 시그모이드 곡선의 경사도를 결정하는 것으로 a가 1에 가까울수록 계단 함수와 같은 형태를 가지게 된다. [그림 9]와 같이 큰 숫자 영역의 히스토그램 분포를 계산한 다음 시그모이드 함수를 적용할 중심 값과 경사도를 추정하고 히스토드램 스트레칭 방식으로 번호판 전체 영역에 대한 영상 변환을 수행하였다.
- [그림 8]에 차량영상으로부터 추출한 녹색 번호판 및 흰색 번호판에 대해 기하학적 왜곡 보정과정을 거쳐 240x120 크기로 정규화한 예를 도시하였다. 기하학적 변환 과정에 보간법을 사용함으로써 변환 결과 영상의 화질을 높일 수 있도록 하였다.
- 기하학적으로 정규화된 명도 레벨 번호판 영상을 이진 영상으로 변환하여 개별 문자 영역을 세그멘테이션 하기 전에 잡음 제거를 위한 가우시안 스무딩 작업과 영상 개선 작업을 선행하였다.
- 번호판 영역을 검출할 때 문자 배열 형태에 따라 두 가지 형태의 번호판에 대한 해석을 하였다. 두 줄로 배치된 TYPE2c의 경우 4개의 숫자배열(D4-D1), 한 줄로 배치된 TYPE1c의 경우 6개의 숫자배열(D6-D1)에서 기하학적 왜곡정보를 추출하고 기하학적 변형을 통해 왜곡을 보정하면서 크기를 정규화 하였다.
- 번호판 인식 대상 문자의 종류에 따라 지역 명 인식기, 한글 인식기 및 숫자 인식기를 각각 별도로 구현하였다. 지역을 표시하는 한글을 인식하기 위해 16개 지역 명 각각에 하나의 출력 뉴런을 배정하여 인식기를 구현하였고 지역 명을 제외한 한글 인식을 위해 37개 문자별로 출력 뉴런을 갖는 인식기를 구현하였다.
- 에지기반 세그먼트 영상을 생성하면서 번호판 위치를 추정한 다음 명도 레벨 차량 영상으로부터 번호판 영역을 검출하고 기하학적 왜곡에 대한 보정(de-skew) 작업과 번호판 배경 대비 문자들의 획을 강조하기 위한 영상 개선(image enhancement) 작업을 수행 하였다. 번호판 형태에 따른 문자열 배치 정보를 바탕으로 개별 문자들을 세그멘테이션하고 신경망을 이용해서 개별 숫자 및 한글을 인식하였다.
- 2차 미분 필터를 사용한 에지기반 세그먼트 영상 레이블링 방안을 마련함으로써 왜곡되거나 화질이 저하된 영상에서도 번호판 후보 영역 검출을 위한 문자 추출이 비교적 정확하게 이루어지도록 하였다. 번호판의 각 문자 영역을 세그멘테이션하고 신경망을 이용해서 번호판 인식을 하였다. 제안한 차량 번호판 인식 시스템을 도로상에 설치된 CCTV에 구현하고 그 성능을 분석하였다.
- 지역을 표시하는 한글을 인식하기 위해 16개 지역 명 각각에 하나의 출력 뉴런을 배정하여 인식기를 구현하였고 지역 명을 제외한 한글 인식을 위해 37개 문자별로 출력 뉴런을 갖는 인식기를 구현하였다. 숫자 인식을 위해서 10개의 출력 뉴런을 갖는 신경망 인식기를 구현하였다.
- 시그모이드 변환 함수를 사용한 히스토그램 스트레칭 방법으로 영상 개선 작업을 수행하였으며 영상 개선을 위한 시그모이드 곡선의 중심과 경사도는 문자 영역의 히스토그램 분포를 이용해서 유추하였다. 시그모이드 변환 함수[8]는 다음과 같이 두 개의 지수함수를 이용해서 구현하였다.
- 시그모이드 변환 함수에 따라 명도 영상 변환용 룩업 테이블(look-up table)를 생성함으로써 고속 영상 변환 작업이 가능하도록 하였다. 시그모이드 변환 후에 다시 가우시안 평활화 작업을 수행하여 문자 획의 가장자리가 부드럽게 표현될 수 있도록 하였다.
- 시그모이드 변환 함수에 따라 명도 영상 변환용 룩업 테이블(look-up table)를 생성함으로써 고속 영상 변환 작업이 가능하도록 하였다. 시그모이드 변환 후에 다시 가우시안 평활화 작업을 수행하여 문자 획의 가장자리가 부드럽게 표현될 수 있도록 하였다.
- 에지 기반 세그먼트 레이블링 영상을 생성해서 번호판 영역을 추정하고 번호판의 문자 블롭들을 추출한 다음 번호판 문자들을 인식하는 전체 과정을 [그림 2]에 도시하였다.
- 차량 영상 전체에 대해서 2차 미분 필터링을 수행한 다음 수평 방향으로 에지성분을 추출하고 이들을 연결한 에지 세그먼트를 수직방향으로 누적시켜서 생성된 세그먼트들에 대해서 동일한 레이블 값을 할당하는 방식으로 문자 세그먼트 영상을 생성하였다. 에지 기반 세그먼트 영상에서 4개의 연속된 큰 숫자 블롭들을 찾고 이를 바탕으로 [그림 4]에 설명한 번호판 영역을 추정하였다.
- 에지기반 세그먼트 영상을 생성하면서 번호판 위치를 추정한 다음 명도 레벨 차량 영상으로부터 번호판 영역을 검출하고 기하학적 왜곡에 대한 보정(de-skew) 작업과 번호판 배경 대비 문자들의 획을 강조하기 위한 영상 개선(image enhancement) 작업을 수행 하였다. 번호판 형태에 따른 문자열 배치 정보를 바탕으로 개별 문자들을 세그멘테이션하고 신경망을 이용해서 개별 숫자 및 한글을 인식하였다.
- 번호판 후보 영역을 검출한 다음에는 번호판 내의 문자 배열 정보에 따라 기하학적 형태를 정규화하고 잡음제거를 위한 필터링 처리를 수행한다. 이어서 영상 개선 작업을 수행하고 이진 영상으로의 변환 작업을 수행한다. 이진 영상에서 인식 대상 개별 문자 블롭(blob)들을 추출한 다음 한글 및 숫자 인식기를 이용해서 번호판의 문자들을 정확하게 인식하는 과정을 수행한다.
- 이어서 영상 개선 작업을 수행하고 이진 영상으로의 변환 작업을 수행한다. 이진 영상에서 인식 대상 개별 문자 블롭(blob)들을 추출한 다음 한글 및 숫자 인식기를 이용해서 번호판의 문자들을 정확하게 인식하는 과정을 수행한다.
- 5 사이 값으로 설정하였다. 적분 영상 개념[5]을 도입하여 평균과 표준 편차를 고속으로 계산하였다.
- 정규화된 번호판 영상의 T(x,y) 좌표에 대입될 화소 값이 추출된 원본 번호판 영상의 어느 좌표에 위치하는 화소 값인지를 계산하였다. 정규화된 번호판의 모든 화소 위치에서 이와 같이 역 매칭 방법에 의한 화소 값을 찾아서 채움으로써 기하학적으로 왜곡이 보정된 영상을 만들 수 있다.
- 제안한 차량 번호판 인식 시스템을 구현해서 도로상에 설치된 CCTV에 탑재하고 [그림 11]과 같이 차량 번호판 인식 실험을 수행한 다음 그 결과를 분석하였다.
- 번호판의 각 문자 영역을 세그멘테이션하고 신경망을 이용해서 번호판 인식을 하였다. 제안한 차량 번호판 인식 시스템을 도로상에 설치된 CCTV에 구현하고 그 성능을 분석하였다.
- 제안한 차량 번호판 인식 시스템을 도로에 설치된 CCTV에 구현한 다음 일주일동안 통과한 차량들에 대해서 번호판 검출 및 인식을 시도하고 그 결과를 분석하였다. 하루 평균 1,535대의 차량 영상에 대해서 97.
- 주행하는 차량의 번호판을 실시간으로 인식하기 위해 번호판 검출 단계에서는 차량 영상을 648x482 크기로 축소해서 번호판 위치를 검출하고 다시 원본 영상에서 번호판 영역을 추출하여 번호판 인식을 시도하였다. 인텔 i7 CPU, 2.
- 번호판 인식 대상 문자의 종류에 따라 지역 명 인식기, 한글 인식기 및 숫자 인식기를 각각 별도로 구현하였다. 지역을 표시하는 한글을 인식하기 위해 16개 지역 명 각각에 하나의 출력 뉴런을 배정하여 인식기를 구현하였고 지역 명을 제외한 한글 인식을 위해 37개 문자별로 출력 뉴런을 갖는 인식기를 구현하였다. 숫자 인식을 위해서 10개의 출력 뉴런을 갖는 신경망 인식기를 구현하였다.
- [그림 6]에 번호판 영역 검출 과정을 간략하게 도시하였다. 차량 영상 전체에 대해서 2차 미분 필터링을 수행한 다음 수평 방향으로 에지성분을 추출하고 이들을 연결한 에지 세그먼트를 수직방향으로 누적시켜서 생성된 세그먼트들에 대해서 동일한 레이블 값을 할당하는 방식으로 문자 세그먼트 영상을 생성하였다. 에지 기반 세그먼트 영상에서 4개의 연속된 큰 숫자 블롭들을 찾고 이를 바탕으로 [그림 4]에 설명한 번호판 영역을 추정하였다.
대상 데이터
- 도로상에 설치된 CCTV에서 ROI(Region of interest) 영역에 물체의 이동이 탐지될 때 1296x964 크기의 영상을 획득하였다. CCTV가 설치된 도로상의 차량 통행 규정 속도는 80km이었으며 1주일동안 실험한 결과 하루 평균 1,535대의 차량이 통과한 것으로 나타났다.
이론/모형
- k8의 값을 구할 수 있다. 기하학적 변환 결과에 홀 현상(hole effect)이 발생하지 않도록 하기 위해 역 매칭(reverse-matching)을 수행하였다.
- 영상 개선작업을 수행한 명도 레벨 번호판 영상에 다음과 같이 Sauvola[5] 적응적 이진화 규칙을 적용하여 이진 영상을 생성하였다.
성능/효과
- 도로상에 설치된 CCTV에서 ROI(Region of interest) 영역에 물체의 이동이 탐지될 때 1296x964 크기의 영상을 획득하였다. CCTV가 설치된 도로상의 차량 통행 규정 속도는 80km이었으며 1주일동안 실험한 결과 하루 평균 1,535대의 차량이 통과한 것으로 나타났다.
- 문자들의 에지 정보를 이용하는 방식들[6][7]과 비교했을 때도 본 논문의 실험 결과가 도로상에서 설치된 CCTV로 획득한 실 환경 데이터베이스라는 점을 고려하면 매우 안정된 번호판 검출 및 인식 성능을 보여주고 있음을 알 수 있다. [그림 12]에 그림자의 영향을 받은 번호판의 검출 예를 도시하였다.
- 5%의 문자 인식률을 얻을 수 있었다. 번호판 검출과정에서 야간 헤드라이트 조명의 간섭으로 인한 에러가 다수 발생했으나 정상적으로 입력된 영상에 대해서는 비교적 높은 번호판 인식률을 얻을 수 있었다.
- [표 2]에 번호판 검출 및 인식 실험결과들을 비교해서 도시하였다. 번호판 테두리를 이용하여 번호판을 검출하고 왜곡을 보정하는 방식[2][4]에 비해 제안한 알고리즘이 좀 더 우수한 성능을 보여주고 있음을 확인하였다.
- [그림 12]에 그림자의 영향을 받은 번호판의 검출 예를 도시하였다. 본 연구에서는 2차 미분 필터를 이용하여 세로 방향 성분의 문자 에지 정보들을 추출해서 번호판을 검출했기 때문에 수평 방향의 그림자 영향이 상당히 줄어들었음을 확인할 수도 있었다.
- 번호판 p에 기록된 문자 k를 인식했을 경우 S = 1이고 오인식했을 경우 S = 0일 때 Spk의 합계는 인식 대상 전체 번호판에 기록된 모든 문자들 중 인식에 성공한 문자들의 합을 의미한다. 실험결과 문자 인식률 R = 99.3%로 나타났다. 개별 문자 세그멘테이션에 실패한 경우를 제외하고는 문자 인식 에러가 거의 없음을 확인 할 수 있었다.
- 주행하는 차량의 번호판을 실시간으로 인식하기 위해 번호판 검출 단계에서는 차량 영상을 648x482 크기로 축소해서 번호판 위치를 검출하고 다시 원본 영상에서 번호판 영역을 추출하여 번호판 인식을 시도하였다. 인텔 i7 CPU, 2.8GHz의 컴퓨터상에서 1296x964 크기의 차량 영상에 대한 인식 실험을 수행한 결과 1초당 12프레임의 차량 영상을 인식할 수 있었다.
- 제안한 차량 번호판 인식 시스템을 도로에 설치된 CCTV에 구현한 다음 일주일동안 통과한 차량들에 대해서 번호판 검출 및 인식을 시도하고 그 결과를 분석하였다. 하루 평균 1,535대의 차량 영상에 대해서 97.5%의 번호판 검출률을 얻을 수 있었으며 99.5%의 문자 인식률을 얻을 수 있었다. 번호판 검출과정에서 야간 헤드라이트 조명의 간섭으로 인한 에러가 다수 발생했으나 정상적으로 입력된 영상에 대해서는 비교적 높은 번호판 인식률을 얻을 수 있었다.
후속연구
- 향후 CCTV에서 화질의 저하를 줄일 수 있는 영상획득 방안이 마련된다면 더욱 높은 번호판 인식률을 얻을 수 있을 것으로 보인다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.