[논문]딥러닝 SW 기술을 이용한 임베디드형 융합 CCTV 카메라

손경식; 김종원; 임재현

doi:10.15207/jkcs.2019.10.1.103

딥러닝 SW 기술을 이용한 임베디드형 융합 CCTV 카메라
Convergence CCTV camera embedded with Deep Learning SW technology 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.10 no.1, 2019년, pp.103 - 113

손경식 (공주대학교 컴퓨터공학부) , 김종원 (공주대학교 컴퓨터공학부) , 임재현 (공주대학교 컴퓨터공학부)

초록
AI-Helper

차량 번호판 인식 카메라는 차량 번호판 내 문자와 숫자의 인식을 위하여 대상 차량의 이미지 취득을 목적으로 하는 전용 카메라를 말하며 대부분 단독 사용보다는 서버와 영상 분석 모듈과 결합된 시스템의 일부로 적용된다. 그러나 차량 번호판 인식을 위한 시스템 구축을 위해서는 취득 영상 관리 및 분석 지원을 위한 서버와 문자, 숫자의 추출 및 인식을 위한 영상 분석 모듈을 함께 구성하여야 하므로 구축을 위한 설비가 필요하고 초기 비용이 많이 든다는 문제점이 있다. 이에 본 연구에서는 카메라의 기능을 차량 번호판 인식에만 한정하지 않고 방범 기능을 함께 수행할 수 있도록 확장하고 카메라 단독으로도 두가지 기능 수행이 가능한 Edge Base의 임베디드형 융합 카메라를 개발한다. 임베디드형 융합 카메라는 선명한 영상 취득 및 빠른 데이터 전송을 위해 고해상도 4K IP 카메라를 탑재하고 오픈소스 신경망 알고리즘 기반의 다중 객체 인식을 위한 딥러닝 SW인 YOLO를 적용하여 차량 번호판 영역을 추출한 후 차량 번호판 내의 문자와 숫자를 검출하고 검출 정확도와 인식 정확도를 검증하여 CCTV 방범 기능과 차량 번호 인식 기능이 가능한지를 확인 하였다.

Abstract ▼ AI-Helper

License plate recognition camera is dedicated device designed for acquiring images of the target vehicle for recognizing letters and numbers in a license plate. Mostly, it is used as a part of the system combined with server and image analysis module rather than as a single use. However, building a system for vehicle license plate recognition is costly because it is required to construct a facility with a server providing the management and analysis of the captured images and an image analysis module providing the extraction of numbers and characters and recognition of the vehicle's plate. In this study, we would like to develop an embedded type convergent camera (Edge Base) which can expand the function of the camera to not only the license plate recognition but also the security CCTV function together and to perform two functions within the camera. This embedded type convergence camera equipped with a high resolution 4K IP camera for clear image acquisition and fast data transmission extracted license plate area by applying YOLO, a deep learning software for multi object recognition based on open source neural network algorithm and detected number and characters of the plate and verified the detection accuracy and recognition accuracy and confirmed that this camera can perform CCTV security function and vehicle number plate recognition function successfully.

주제어

표/그림 (16)

그림 Fig. 1. Conventional vehicle's parking management system configuration
그림 Fig. 2. Conventional vehicle's parking management system block diagram
그림 Fig. 3. Conventional LPR camera system configuration
그림 Fig. 4. Edge base convergence CCTV camera block diagram
그림 Fig. 5. Vehicle number plate‘s characters and numbers extraction process utilizing deep learning SW
그림 Fig. 6. Camera setting drawing
그림 Fig. 7. Live video for vehicle's entering and exiting
그림 Fig. 8. Number plate recognition web viewer
표 Table 1. Performance objectives
그림 Fig. 9. Extraction and recognition for entering vehicle's license plate
그림 Fig. 10. Extraction and recognition for exitingvehicle's license plate
표 Table 2. Measurement method
표 Table 3. Assessment of data extraction
표 Table 4. Number plate extraction assessment by time
표 Table 6. Number plate recognition assessment by time
표 Table 5. Accuracy of number plate recognition

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에 본 연구에서는 카메라 단독으로 차량 번호판의 판독 기능 수행이 가능하고 방범 기능을 함께 수행 할 수 있도록 확장이 가능한 Edge Base의 임베디드형 융합 CCTV 카메라를 제안한다. 이를 위해 고해상도의 영상취득을 지원하는 이미지 센서 및 효율적인 영상데이터전송이 가능한 IP 기반 카메라를 이용한다.

제안 방법

Bound Box는 숫자, 문자를 각각 개별적으로 구분시켜 검출 하도록 도와주고 문자 분류는 학습된 YOLO 플랫폼 기반의 컨볼루션 CNN으로 분류하고 인식하게 하였다.
S3L66(SOC)을 영상 신호 처리에만 사용하지 않고 영상 분석 두가지 기능을 동시에 처리할 수 있도록 했다. 선명한 영상 획득을 위해 이미지 센서는 4K(3840×2160 Pixel)를 사용하여 분해능을 높였다.
딥러닝 SW 기술을 이용한 Edge Base 임베디드 융합 CCTV 카메라는 평소에는 일반적인 방범용 CCTV 카메라로 방범 기능을 수행 하고 있다가 진출입 하는 차량의 번호판 내의 문자와 숫자를 검출 하고 인식 하는지를 평가 하였다.
번호판 내 문자, 숫자 인식 검증을 위해 Fig. 6처럼 카메라를 설치하여 원격지에서 웹서비스로 접속한 후 방범 라이브 영상 화면과 문자, 숫자 인식용 시스템 로그 화면을 실행시켰다.
본 연구에서는 번호판 인식만을 위한 기존의 주차 관리 LPR 카메라, 도로 방범용 LPR 카메라의 제한적인 용도를 벗어나 간단한 Edge Base의 융합(카메라+영상 분석 모듈+IP Network) 카메라에 탑재시켜 차량의 번호판인식에 한정하지 않고 CCTV 방범 까지도 수행 할 수 있음을 확실하게 검증 하였다. 즉 기존의 LPR 카메라(도로 방범용 LPR 카메라, 주차 관리 LPR 카메라)처럼 서버와 영상 분석 모듈, LPR 카메라가 시스템으로 구성되지 않아도 Edge Base의 카메라는 카메라 자체만으로도 차량 번호판 인식과 CCTV 방범 기능을 수행할 수 있는 것이다.
선명한 영상 획득을 위해 이미지 센서는 4K(3840×2160 Pixel)를 사용하여 분해능을 높였다. 영상 분석을 하기 위한 GPU 역할도 SOC에서 할당하여 수행 하도록 했다.
차량 진출입이 많은 주차장 입구에 딥러닝 SW 기술을 이용한 융합 CCTV 카메라를 설치하여 일반적인 CCTV 방범 카메라의 수행과 동시 번호판 내의 문자와 숫자를 인식 할 수 있는지 Fig. 9와 같이 인식률을 측정하였다.
차량이 인식 영역 내에 들어오면 번호판 검출을 시작하여 웹서비스 시스템 로그 화면에 실시간으로 인식 로그 데이터가 저장 되는지, 조회도 가능한지를 확인하였다.

대상 데이터

영상 정보를 입력 받은 S3L66 SOC는 평상시 CCTV 방범기능을 수행하기 위해 신호 처리 하고 전송 시키면서 영상 분석용 영상 정보는 배경 모델링하기 위해 Color 신호 YUV를 RGB(Red, Green, Blue)로 변환 한다. 배경모델링은 움직이지 않는 모델은 없애버리고 움직이는 객체(사람, 동물, 자동차, 오토바이 등)들만 추출 하는데 본연구의 카메라는 자동차 모형을 학습 데이터에서 비교하여 유사한 것들만 추출하고 번호판 인식을 위해 제일 큰 차량 이미지만을 분석용 데이터로 사용한다. 딥러닝 검출부는 CNN과 Bound Box 회귀 학습을 통해 차량의 형태 중에서 번호판처럼 형상을 가진 사각형 구조물을 계속해서 탐색하다 차량이 좀 더 가까이 진입하게 되면 번호판 프레임이 객체로 인식 되고 프레임 속에 있는 문자와 숫자가 존재하는 것으로 인식 되면 번호판 프레임으로 인정하고 추출하기 시작한다.

이론/모형

ISO/IEC/IEEE 29119 표준에 따라 국제공인시험기관에서 인정받은 ㈜스탠다드 랩스와 성능지표를 만들어 측정하고 평가를 하였다.
이를 위해 고해상도의 영상취득을 지원하는 이미지 센서 및 효율적인 영상데이터전송이 가능한 IP 기반 카메라를 이용한다. 또한 효율적인 차량 번호 검출을 위해 오픈소스 신경망 알고리즘 기반의 다중 객체 인식을 위한 딥러닝 SW(Soft Ware)인 YOLO(Your Only Look Once) 플랫폼의 컨볼루션 신경망(CNN: Convolutional Neural Networks)을 적용한다[12,13].
이에 본 연구에서는 카메라 단독으로 차량 번호판의 판독 기능 수행이 가능하고 방범 기능을 함께 수행 할 수 있도록 확장이 가능한 Edge Base의 임베디드형 융합 CCTV 카메라를 제안한다. 이를 위해 고해상도의 영상취득을 지원하는 이미지 센서 및 효율적인 영상데이터전송이 가능한 IP 기반 카메라를 이용한다. 또한 효율적인 차량 번호 검출을 위해 오픈소스 신경망 알고리즘 기반의 다중 객체 인식을 위한 딥러닝 SW(Soft Ware)인 YOLO(Your Only Look Once) 플랫폼의 컨볼루션 신경망(CNN: Convolutional Neural Networks)을 적용한다[12,13].

성능/효과

265 Encoder, IP(Internet Protocol) 기능을 갖는 복합 System On Chip이나 GPU(Graphic Processor Unit)가 탑재되어있지 않는 Entry Version 이다. GPU가 없어 영상 분석을 SW(Soft Ware)로 처리하기 위해 SOC의 4K 영역을 나누어 사용함으로 이미지 센서의 4K 영상 정보를 모두 활용하지 못한 점이 인식률을 떨어뜨리는 요인으로 보였다. 인식률을 개선시키기 위해서는 HW(Hard Ware) 구조를 갖는 전용 GPU 칩을 별도로 설치하거나, 또는 SOC 내부에 GPU 기능이 탑재된 SOC로 구현 한다면 차량 번호판인식률 개선은 물론 CCTV 방범시의 라이브 영상을 전송하는 전송 속도도 상당히 향상시킬 수 있을 것이다.
LPR 전용 카메라는 차량의 번호판만을 인식하기 위해 차량과 가까이 설치하여 번호판 이미지를 크게 확대 촬영함으로써 인식률을 높일 수 있는 조건과 또 깨끗한 이미지를 얻기 위해 IR LED를 적절하게 조광 시키는 유리한 조건과는 차이를 보였다. 인식을 하지 못한 [Table 5] 번호판 인식 정확도에서 약 2%의 오인식 경우는 두 가지 정도의 개선점을 알 수 있었다.
기존의 일반적인 CCTV 카메라의 경우 사건 사고 발생 시 DVR(Digital Video Recorder)에 녹화된 영상 기록을 많은 시간과 비용을 들여 검색해야 하는 것과 달리 본 연구의 Edge Base 융합 CCTV 카메라는 로그 데이터를 통해 보다 빠르고 쉽게 차량 번호판을 검색할 수 있는 효과를 갖는다.
본 연구는 카메라를 방범 기능도 수행 하도록 일반적인 감시 카메라와 비슷한 조건으로 설치하고 번호판의 문자, 숫자 인식률을 측정하기 위해 총 115회의 진출입하는 차량을 측정한 결과 [Table 5] 와 같이 98% 이상의 인식률을 보였다.
여러 가지 시나리오별 카메라가 진입할 때도 관제 SW에 영상이 녹화 되는지와 카메라 내부에 로그 파일이 수집 되는지를 확인 하였는데 매우 정확하게 인식되는 것을 확인하였다.
본 연구에서는 번호판 인식만을 위한 기존의 주차 관리 LPR 카메라, 도로 방범용 LPR 카메라의 제한적인 용도를 벗어나 간단한 Edge Base의 융합(카메라+영상 분석 모듈+IP Network) 카메라에 탑재시켜 차량의 번호판인식에 한정하지 않고 CCTV 방범 까지도 수행 할 수 있음을 확실하게 검증 하였다. 즉 기존의 LPR 카메라(도로 방범용 LPR 카메라, 주차 관리 LPR 카메라)처럼 서버와 영상 분석 모듈, LPR 카메라가 시스템으로 구성되지 않아도 Edge Base의 카메라는 카메라 자체만으로도 차량 번호판 인식과 CCTV 방범 기능을 수행할 수 있는 것이다.
그런데, 차량의 이미지가 작은 경우에 전체 화면 속에서 차량의 번호판이 더욱 작은 이미지에 불과하여 번호판 내의 문자나 숫자의 이미지 상태가 전체 화면을 중심으로 조절되다 보니 번호판 내의 이미지는 적절하게 조절 되지 않았다. 즉 주변 피사체의 폭넓은 조도가 밝으면 번호판의 이미지는 어둡게 됐고, 피사체의 넓은 환경 조도가 어두우면 차량 번호판 내의 문자, 숫자는 밝게 포화(Highlight Saturation)점까지 이르러 하얗게 번져 인식을 하지 못하는 경우도 나타났다. 인식률을 높이기 위해서는 AE는 1장(1Frame)의 화면 전체를 계산 하는 방식이 아닌 관심 영역(차량 번호판 중심)만을 AE 시켜주고 또 학습된 DB에 딥러닝 시켜 번호판의 문자, 숫자 이미지도 선명하게 분해 되도록 밝기를 지능적으로 조절되게 하는 것이 필요했다.
현재의 LPR 카메라처럼 차량 출입 가까이 설치하여 번호판 이미지를 크게 촬영 하지 못하고 또, 별도의 IR LED 조명도 없이 태양의 상태에 따라 그림자 및 역광, 어두운 환경 등이 인식률을 떨어뜨리는 장애 요인으로 나타났다.

후속연구

고해상도(8K급), 고감도 이미지 센서를 사용하고, 전용 GPU를 탑재 시키고 속도가 빠른 SOC로 처리 한다면 인식률은 크게 향상 시킬 수 있다. 이러한 요소별 성능들을 향상시켜 연구 한다면 향후에는 번호판 인식에만 한정하지 않고 차량의 색상, 차량의 종류, 탑승자의 이미지 까지도 구분하여 인식할 수 있는 지능형 융복합 CCTV 카메라 실현이 가능함을 본 연구에서 확인 하였다.
GPU가 없어 영상 분석을 SW(Soft Ware)로 처리하기 위해 SOC의 4K 영역을 나누어 사용함으로 이미지 센서의 4K 영상 정보를 모두 활용하지 못한 점이 인식률을 떨어뜨리는 요인으로 보였다. 인식률을 개선시키기 위해서는 HW(Hard Ware) 구조를 갖는 전용 GPU 칩을 별도로 설치하거나, 또는 SOC 내부에 GPU 기능이 탑재된 SOC로 구현 한다면 차량 번호판인식률 개선은 물론 CCTV 방범시의 라이브 영상을 전송하는 전송 속도도 상당히 향상시킬 수 있을 것이다.
Table 3의 검출 정확도와 관계성은 가지고 있지만 인식률이 떨어진 이유에 대해서는 좀 더 연구해야 할 과제이다. 향 후 다양한 테스트 베드 데이터에 대한 딥러닝학습 적용을 통해 인식률 개선이 필요했다.

질의응답

핵심어	질문	논문에서 추출한 답변
	차량 번호판 인식 카메라는 무엇인가?	차량 번호판 인식(LPR: License Plate Recognition)카메라는 차량번호판 내 문자, 숫자만을 추출하고 인식하기 위한 전용 카메라이다[1,2]. LPR 카메라는 주차 관리시스템이나 도로상의 과속 단속이나 방범용 시스템의 구축에 주로 적용된다[3].
	LPR 카주차 관리, 과속 단속, 도로 방범 기능 등을 목적으로 하는 LPR 카메라란?	주차 관리, 과속 단속, 도로 방범 기능 등을 목적으로 하는 LPR 카메라는 일반적인 CCTV(Closed Circuit Television)의 일부 구조 변경을 통해 구현되어 자동차 번호판 내의 문자와 숫자를 인식할 수 있다[4][5]. LPR카메라는 차량 번호판의 인식을 위해 차량의 진출입 통로 가까이에 설치된다. 그렇지만 근접거리에서 더욱 강한 빛을 발하는 차량의 전조등으로 인해 번호판은 역광상태가 심화되고 번호판 내 이미지가 어두워지면서 사실상 문자나 숫자의 추출이 불가능해 진다[6].
	차량 번호판 인식 카메라의 단점은?	차량 번호판 인식 카메라는 차량 번호판 내 문자와 숫자의 인식을 위하여 대상 차량의 이미지 취득을 목적으로 하는 전용 카메라를 말하며 대부분 단독 사용보다는 서버와 영상 분석 모듈과 결합된 시스템의 일부로 적용된다. 그러나 차량 번호판 인식을 위한 시스템 구축을 위해서는 취득 영상 관리 및 분석 지원을 위한 서버와 문자, 숫자의 추출 및 인식을 위한 영상 분석 모듈을 함께 구성하여야 하므로 구축을 위한 설비가 필요하고 초기 비용이 많이 든다는 문제점이 있다. 이에 본 연구에서는 카메라의 기능을 차량 번호판 인식에만 한정하지 않고 방범 기능을 함께 수행할 수 있도록 확장하고 카메라 단독으로도 두가지 기능 수행이 가능한 Edge Base의 임베디드형 융합 카메라를 개발한다.

참고문헌 (15)

J. H. Yoon. (2017). A study on extraction algorithm of multi-license plate recognition for ITS applications. Doctoral dissertation, Hanyang University, 1-118.
M. A. Ko. (2004). Effective license plate character recognition based on geometric invariant features. Doctoral dissertation, Kyungpook National University, 1-105.
D. J. Kim. (2018). Implementation of Parking Management System using Cloud based License Plate Recognition Service. Journal of Digital Contents Society, 19(1), 173-179. DOI : 10.9728/dcs.2018.19.1.173
H. W. Kang. (2011). License Plate Recognition for Speed and Red Light Enforcement System Based on Character Circumscribed Quadrilateral. Journal of Korean institute of information technology, 9(3), 67-76. http://www.riss.kr/ link?idA82575539
E. Polders, et al. (2015). Drivers' Behavioral Responses to Combined Speed and Red Light Cameras. Accident Analysis & Prevention, Vol.81, 153-166. DOI : 10.1016/j.aap.2015.05.006

상세보기
B. S. Lee, et al. (2011, Apr). The Recognition of License Plate Characters Using Regional Adaptive Binarization. Proceedings of the Korea Information Processing Society Conference. (pp. 437-440). Seoul : Korea Information Processing Society. http://www.ndsl.kr/ndsl/search/detail/ article/article SearchResultDetail.do?cnNPAP09711248
J. H. Kim. (2013). Malaysian Vehicle License Plate Recognition in Low Illumination Images. The Journal of the Korea Contents Association, 13(10), 19-26. DOI : 10.5392/JKCA.2013.13.10.019
T. Natio, et al. (1999, Oct). License Plate Recognition Method for Inclined Plates Outdoors. International Conference on Information Intelligence and Systems. (pp. 304-312). Bethesda, MD : IEEE Computer society. DOI : 10.1109/ICIIS.1999.810281
D. Bissessar & D.O. Gorodnichy. (2011, May). Integrating LPR with CCTV systems: problems and solutions. In Automatic Target Recognition XXI (Vol.8049, p.80490T). Orlando, FL : International Society for Optics and Photonics. DOI : 10.1117/12.883540
B. J. Kim, D. H. Kim & J. H. Lee. (2016). An Improved License Plate Recognition Technique in Outdoor Image. Journal of Korean institute of intelligent systems, 26(5), 423-431. DOI : 10.5391/JKIIS.2016.26.5.423

원문보기 상세보기
B. C. Kim. (2013). An intelligent video security system for the tracking of multiple moving objects. The Journal of digital policy & management, 11(10), 359-366. DOI : 10.14400/JDPM.2013.11.10.359
H. C. Kwon. (2015). A Study on Efficient Vehicle Tracking System using Dynamic Programming Method. Journal of Digital Convergence, 13(12), 209-215. DOI : 10.14400/JDC.2015.13.12.209
C. J. Seo. (2014). Artificial Vision System using Human Visual Information Processing. Journal of Digital Convergence, 12(11), 349-355. DOI : 10.14400/JDC.2014.12.11.349
K. H. Kim, et al. (2003, May). Car Plate Extraction and Recognition System Using DSP Board. Proceedings of the Korea Information Processing Society Conference. (pp. 627-630). Seoul : Korea Information Processing Society. http://www.ndsl.kr/ndsl/search/detail/article/articleSearchResultDetail.do?cnNPAP08040394
M. J. Kang, H. M. Kang, Y. W. Woo & K. B. Kim. (2008). Intelligent Recognition System of Car License Plate. Proceedings of the Korean Institute of Information and Commucation Sciences Conference. (pp. 337-342). Busan : The Korea Institute of Information and Commucation Engineering. http://www.ndsl.kr/ndsl/search/detail/article/articleSearchResultDetail.do?cnNPAP08297842

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증