선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 레이블링 기법은 인식 시스템에서 영상 전처리로 많이 사용되는 기법 중 하나로 수학적 계산이 적어 임베디드 인식 시스템에 적합하다. 본 연구에서는 레이블링 기법과 번호판에 표현되어 있는 숫자영상의 특징을 사용하여 효과적인 번호판 검출 알고리듬을 구현하였다.
- 본 연구에서는 이러한 임베디드 시스템의 장점에 자동차 번호판 인식 시스템을 탑재시켜 그 성능을 측정하고 향후 임베디드 시스템에서의 실시간 인식 가능성에 대해 연구하고자 한다.
제안 방법
- 본 연구에 사용된 S5PV210 제품은 자동차 번호판 인식 시스템에서 필요한 충분한 메모리 용량을 가지고 있다. 그러나 성능측정을 위해 사용되는 표본 데이터 300장은 그 용량이 메모리보다 크기 때문에 별도의 외부 메모리 저장장치를 사용하여 측정하였다.
- 높이 비교와 동일하게 끝 숫자 4개 중 첫 번째와 마지막 숫자의 좌표를 기준으로 비교 한다. 상단에서 하단 좌표로, 좌측 숫자에서 우측 숫자로 탐색을 하여 일정 수준 이상 차이가 발생하면 영상이 한쪽으로 확대되어 있다고 판단을 한다.
- 그러나 테두리의 특성 또는 색상을 이용한 방법은 번호판의 상태 또는 번호판의 음영에 따라 인식률의 차이를 보이게 된다. 따라서 본 연구에서는 번호판 테두리가 아닌 레이블링 기법을 통한 객체 탐색으로 번호판 영역을 찾게 된다.
- 임베디드 시스템의 또 다른 특징은 부동 소수점 연산이 매우 느리거나, 지원되지 않는다는 것이다. 따라서 본 연구에서는 부동 소수점 연산을 최대한 줄이고 복잡한 소수점 연산은 비트이동과 정수를 이용하여 처리하도록 하였다.
- 그러나 현재 임베디드 시스템의 한계 상 수학연산이 많은 알고리듬, 특히 부동 소수점 연산이 많은 알고리듬에 취약한 결과를 내고 있다. 따라서 본 연구에서는 임베디드 시스템에서의 구현을 목적으로 비교적 수학적 연산이 적은 템플릿 매칭 기법을 통해 문자와 숫자를 인식한다. 인식시스템 전 단계에서 영상을 충분히 보정하기 때문에 템플릿 매칭만으로 높은 인식률을 나타낼 수 있도록 하였으며 ARM Cortex-A8 CPU 환경에서 자동차 번호판 인식 시스템을 구현하여 그 성능을 수치로 확인하였다.
- 성능을 측정할 표본 데이터는 자동차 이동이 많은 특정지역에 설치된 CMOS 카메라로 크기는 640x480이다. 또한 PC기반의 인식이 아닌 임베디드 시스템에서의 최적화된 인식 시스템으로 현재 출시되고 있는 ARM CPU코어에 적합하도록 설계하였다.
- 본 연구에서 성능 측정을 위해 사용되는 임베디드 모듈은 삼성 S5PV210으로 CPU 클럭은 800Mhz이다. 또한 이와 비교하기 위해 S5PV210보다 성능이 낮은 S3C6410(CPU 클럭: 667)에서 그 성능을 측정 비교하였다. 현재 임베디드 보드에서의 번호판 시스템을 구축한 논문이 많이 발표되지 않아 인식률과 시간측정를 비교하기에는 어려움이 있다.
- 본 연구에서는 SoC를 이용하여 임베디드 시스템을 구축하고 번호판 인식을 구현하여 그 성능을 측정하였다. 성능을 측정할 표본 데이터는 자동차 이동이 많은 특정지역에 설치된 CMOS 카메라로 크기는 640x480이다.
- 본 연구에서는 개별문자 추출 방법으로 번호판 고유의 형태학적인 특징을 이용하였다. 한국의 번호판의 특징상 숫자와 문자를 합쳤을 경우 9개를 넘지 않는다.
- 본 연구에서는 기존의 PC기반의 인식 시스템이 아닌 SoC를 이용한 임베디드 시스템에 OS 환경을 구축하고 레이블링 기법과 템플릿 매칭을 이용하여 자동차 번호판 인식 시스템을 구현하였다.
- 영상의 크기를 너무 작게 하면 영상의 특징점을 구분할 수 없어 인식률이 낮아지고 너무 크게 하면 인식 시간이 길어지는 문제점이 존재한다. 본 연구에서는 한 문자의 크기를 100x50으로 고정한 후 템플릿 매칭을 하였다.
- 그러나 똑같은 문자라 하더라도 서로 기울기 및 크기에 따라 차이점을 보인다면 인식률이 크게 떨어진다. 이러한 문제점을 해결하기 위해 본 연구에서는 템플릿 매칭 기법을 통한 인식 전에 영상의 크기를 일정하게 조정하고 기울어진 영상에 한해 보정하는 작업을 거치게 된다.
- 따라서 본 연구에서는 임베디드 시스템에서의 구현을 목적으로 비교적 수학적 연산이 적은 템플릿 매칭 기법을 통해 문자와 숫자를 인식한다. 인식시스템 전 단계에서 영상을 충분히 보정하기 때문에 템플릿 매칭만으로 높은 인식률을 나타낼 수 있도록 하였으며 ARM Cortex-A8 CPU 환경에서 자동차 번호판 인식 시스템을 구현하여 그 성능을 수치로 확인하였다.
- 템플릿 매칭을 하기 위해 다양한 크기의 입력영상을 항상 일정한 크기로 정규화 하였다. 영상의 크기를 너무 작게 하면 영상의 특징점을 구분할 수 없어 인식률이 낮아지고 너무 크게 하면 인식 시간이 길어지는 문제점이 존재한다.
대상 데이터
- 번호판 인식률은 96%로 나타났으며 오인식된 12장의 데이터 영상은 훼손이 심한 번호판 영상이거나, 또는 기존 번호판 테두리에 별도의 장식물을 부착하여 오인식되는 경우이다. 그 외의 일반적인 번호판 영상은 모두 검출하였으며 300장의 표본데이터에는 일반 자가용, 영업용, 대형차량등도 포함되어 테스트되었다.
- 본 연구에 사용되는 커널은 2.6.31 버전이고 리눅스 파일 시스템을 설치하여 인식 시스템 환경을 구축하였다. 또한 소스 컴파일러는 Arm-linux-gcc 4.
- 모든 임베디드 시스템은 메모리 크기에 제한을 받게 된다. 본 연구에 사용된 S5PV210 제품은 자동차 번호판 인식 시스템에서 필요한 충분한 메모리 용량을 가지고 있다. 그러나 성능측정을 위해 사용되는 표본 데이터 300장은 그 용량이 메모리보다 크기 때문에 별도의 외부 메모리 저장장치를 사용하여 측정하였다.
- 본 연구에서 사용되는 SoC칩은 (주)삼성전자에서 제공하는 S5PV210[8]으로 현재 Tablet PC에 탑재되어 있는 최신형 SoC이다. 그림 2는 S5PV210의 블록 다이어그램으로 CPU core는 ARM사의 CoretexA8을 사용하고 있다.
- 본 연구에서 사용하는 영상 데이터는 자동차의 이동이 많은 특정 지역에서 촬영되었다. 촬영에 사용되는 카메라의 경우 실제 CCTV 또는 IP 카메라에 사용되는 CMOS 카메라로 사이즈는 640x480이다.
- 본 연구에서 성능 측정을 위해 사용되는 임베디드 모듈은 삼성 S5PV210으로 CPU 클럭은 800Mhz이다. 또한 이와 비교하기 위해 S5PV210보다 성능이 낮은 S3C6410(CPU 클럭: 667)에서 그 성능을 측정 비교하였다.
- 본 연구에서는 SoC를 이용하여 임베디드 시스템을 구축하고 번호판 인식을 구현하여 그 성능을 측정하였다. 성능을 측정할 표본 데이터는 자동차 이동이 많은 특정지역에 설치된 CMOS 카메라로 크기는 640x480이다. 또한 PC기반의 인식이 아닌 임베디드 시스템에서의 최적화된 인식 시스템으로 현재 출시되고 있는 ARM CPU코어에 적합하도록 설계하였다.
- 실험에 사용되는 임베디드 모듈은 S3C6410과 S5PV210 SoC가 탑재된 모듈이다. 두 모듈은 스마트폰 또는 Tablet PC에 탑재되어 있는 최신형 SoC 칩으로 인식 시스템을 측정함에 있어 현재의 인식 시스템 성능을 알 수 있는 적합한 모델이라 생각된다.
- 영상의 출력 형태는 YUV420 포맷으로 영상 데이터가 생성 되며 본 연구에서 사용되는 인식의 경우 색상의 대한 정보가 필요 없기 때문에 'Y'영역만을 추려낸 그레이스케일 영상을 연구 데이터로 사용한다.
- 본 연구에서 사용하는 영상 데이터는 자동차의 이동이 많은 특정 지역에서 촬영되었다. 촬영에 사용되는 카메라의 경우 실제 CCTV 또는 IP 카메라에 사용되는 CMOS 카메라로 사이즈는 640x480이다. 영상의 출력 형태는 YUV420 포맷으로 영상 데이터가 생성 되며 본 연구에서 사용되는 인식의 경우 색상의 대한 정보가 필요 없기 때문에 'Y'영역만을 추려낸 그레이스케일 영상을 연구 데이터로 사용한다.
이론/모형
- 번호판 인식 시스템에서 사용되는 알고리듬은 오래 전부터 지속적으로 연구되어 현재는 매우 다양하고 고성능을 보이고 있다. 다양한 인식 알고리듬 중 본 연구에서 사용되는 것은 템플릿 매칭 기법이다.
- 이진화 방법에는 단순, 반복적, Otsu 등의 방법이 있으며 본 연구에서는 여러 기법 중 Otsu 알고리즘[8]을 사용하였다. Otsu 알고리즘은 classification 기법을 이용하고 있다.
성능/효과
- (1) 번호판에 표기되어 있는 숫자의 특징상 가로의 크기가 세로의 크기보다 작다.
- (2) 번호판에 표기되어 있는 숫자의 비율은 전체 영상 이미지 중에 일정한 범위 안에서 나타난다.
- 표 2는 두 모듈에서 인식 시스템의 성능을 측정한 결과이다. 640x480 크기의 영상 데이터 1장을 측정한 결과의 평균값으로 S3C6410에서는 약 1.8초, S5PV210에서는 약 0.66초가 소요되었다. 인식 시스템을 크게 3단계로 구분하였을 경우에는 S5PV210에서는 영상 보정에서 가장 많은 시간이 소요되었고 S3C6410에서는 파일 접근이 많은 템플릿 매칭이 가장 많은 시간이 소요되었다.
- 제시된 방법 1절에서는 레이블링 기법을 이용한 번호판 검출방법을, 2절에서는 템플릿 매칭을 하기위한 영상보정방법을 설명하고 3절에서 보정된 영상에서 각 문자영역을 추출하는 방법을 설명한다. 그리고 결론으로 300장의 표본 데이터를 측정한 인식률과 소요시간을 종합하여 결론을 맺는다.
- 인식 성능 테스트에서 살펴보았듯이 레이블링 기법과 영상 특징을 이용한 번호판 검출은 96%로 우수한 성능을 보였다. 그리고 표본 데이터 300장으로 측정한 인식 결과는 문자의 경우 73%, 숫자의 경우 97%로 나타났으면 총 인식 시스템의 소요 시간은 평균 0.66초로 측정되었다.
- 기존의 번호판 테두리 및 영상을 이용한 번호판 검출이 아닌 임베디드 보드에 최적화된 레이블링 기법을 이용하여 번호판을 검출하였고 그 성능 또한 우수하다.
- 위와 같은 레이블링 기법과 번호판 숫자 고유의 특징을 이용한 객체 탐색으로 번호판을 검출하게 되면 번호판의 훼손, 주변 환경에 크게 영향을 받지 않고 번호판을 검출 할 수 있다. 또한 표본 데이터 영상을 토대로 테스트 해본 결과 우수한 검출 결과를 나타내었다.
- 표 1은 표본데이터 300장의 영상 데이터를 레이블링 기법과 영상 특징을 이용하여 번호판을 검출한 결과이다. 번호판 인식률은 96%로 나타났으며 오인식된 12장의 데이터 영상은 훼손이 심한 번호판 영상이거나, 또는 기존 번호판 테두리에 별도의 장식물을 부착하여 오인식되는 경우이다. 그 외의 일반적인 번호판 영상은 모두 검출하였으며 300장의 표본데이터에는 일반 자가용, 영업용, 대형차량등도 포함되어 테스트되었다.
- 임계값을 설정하는데 있어서 비용함수를 설정하고 그 비용함수의 최소값을 주는 값으로 임계값을 취하는 방식이다. 영상 이미지를 나타내는 그레이 값을 2개의 클래스로 분리하고 클래스내에 들어있는 픽셀의 그레이값의 분산을 작게 할수록 효과가 뚜렷하다. 비용함수는 가중치를 갖는 클래스 내의 분산의 합이고, 임계 값은 이 비용함수를 최소화하는 그레이 값이다.
- 인식 성능 테스트에서 살펴보았듯이 레이블링 기법과 영상 특징을 이용한 번호판 검출은 96%로 우수한 성능을 보였다. 그리고 표본 데이터 300장으로 측정한 인식 결과는 문자의 경우 73%, 숫자의 경우 97%로 나타났으면 총 인식 시스템의 소요 시간은 평균 0.
후속연구
- 본 연구의 기대효과는 PC기반이 아닌 SoC 자체적으로 인식 시스템을 갖춰 시스템의 크기가 소형화되고 제품으로 개발 시 비교적 저렴한 가격이 형성되어 시장성에서 우위를 점할 것으로 생각된다. 그러나 문제점으로는 숫자에 비해 인식률이 낮은 문자 인식에 다양한 알고리듬을 통한 성능 개선이 필요하며, 또한 현재 출시되고 있는 Multi Core SoC에서의 연구도 필요하다.
- 본 연구의 기대효과는 PC기반이 아닌 SoC 자체적으로 인식 시스템을 갖춰 시스템의 크기가 소형화되고 제품으로 개발 시 비교적 저렴한 가격이 형성되어 시장성에서 우위를 점할 것으로 생각된다. 그러나 문제점으로는 숫자에 비해 인식률이 낮은 문자 인식에 다양한 알고리듬을 통한 성능 개선이 필요하며, 또한 현재 출시되고 있는 Multi Core SoC에서의 연구도 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.