[논문]깊이 정보로 평면 유사도 측정을 통한 자동차 번호판 검출 방법

이동석; 권순각

doi:10.9723/jksiis.2019.24.2.047

깊이 정보로 평면 유사도 측정을 통한 자동차 번호판 검출 방법
Vehicle Plate Detection Method by Measuring Plane Similarity Using Depth Information 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.24 no.2, 2019년, pp.47 - 55

이동석 (동의대학교 컴퓨터소프트웨어공학과) , 권순각 (동의대학교 컴퓨터소프트웨어공학과)

초록
AI-Helper

본 논문에서는 조명의 영향을 받지 않는 깊이 정보를 이용한 번호판 검출 방법을 제안한다. 깊이 정보를 통해 블록 내 화소들의 3차원 카메라 좌표를 구하고, 이를 통해 블록 내 평면의 인자를 계산한다. 그 후 인접한 블록간의 평면의 법선 벡터들을 비교하여 유사도를 측정한다. 평면 유사도가 높을 경우 두 블록이 한 평면에 속해 있다고 간주하여 그룹화함으로써 평면 영역을 검출한다. 검출된 평면 영역에 대해 깊이 정보를 이용하여 영역의 높이와 너비를 실제 번호판과 비교하여 번호판을 검출한다.

Abstract ▼ AI-Helper

In this paper, we propose a method for vehicle plate detection using depth information which is not influenced by illumination. The 3D camera coordinates of pixels in each block are obtained by using the depth information. Factors of the plane in the block are calculated by 3D coordinates of pixels. After that, the plane similarity between adjacent blocks is calculated by comparing between factors of planes. The adjacent blocks are grouped if the plane similarity is high so that the plane areas are detected. The actual height and width of the plane area are calculated by using depth information and compared with the vehicle plate in order to detect the vehicle plate.

주제어

표/그림 (11)

그림 Fig. 1 Flowchart of proposed method
그림 Fig. 2 Projection into picture in pinhole camera model
그림 Fig. 3 Plane in camera coordinate system: (a) planedetermined by three points and (b) closestplane to the given points
그림 Fig. 4 Measuring similarity of two planes
그림 Fig. 5 Calculating width and height of plane area
표 Table 1 Specification of Korean vehicle plate
표 Table 2 Simulation results of vehicle plate detection
그림 Fig. 6 Vehicles pictures for simulation
그림 Fig. 7 Plane surface detection by using proposed method
그림 Fig. 8 Vehicle plate detection by using proposed method
그림 Fig. 9 Vehicle plate detection by using conventional method for color picture[4]

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 깊이 영상을 이용하여 번호판 영역을 검출하는 방법을 제안하였다. 본 논문에 서는 평면을 검출하기 위해 정사각형 블록 단위로 영상을 분할한 후, 블록 내 2차원 영상 좌표를 깊이 정보를 이용하여 3차원 카메라 좌표계의 좌표로 변환하였다.
본 논문에서는 색상 영상을 이용한 번호판 검출에서의 조명의 변화와 카메라의 자세 변환에 취약한 단점을 극복하고자 깊이 영상을 적용한 번호판 검출 방법을 제안한다. 번호판이 평면으로 이루어졌다는 구조적인 특성을 통해 유사한 평면으로 이루어진 영역들을 차량 번호판 후보 영역으로 간주할 수 있다.

가설 설정

카메라와 공간 물체의 좌표관계를 규명하기 위해 핀 홀카메라 모델을 적용할 수 있다. 공간상에 놓여있는 물체 위의 어떤 점 좌표가 영상 면에 투영될 때 구멍을 통해 한 가상의 면에 맺힌다고 가정한다. 이 때 영상은 바늘 구명 뒤에 투영되는데, 이를 바늘구멍과 물체 사이로 옮기면 물체의 상은 뒤집혀 지지 않고 원래 상과 같은 방향으로 보인다.

제안 방법

만약 해당 블록이 평면으로 이루어져 있을 경우 해당 평면의 법선 벡터와 카메라와의 기하학적인 거리를 계산한 후, 인접한 블록 간에 두 특성이 일정 오차내로 동일할 경우, 두 블록을 같은 평면으로 그룹화하여 평면영역을 분할하였다. 그 후 분할된 각 영역에 대해 깊이 정보를 이용하여 너비와 높이를 실제 크기로 변환한 후 실제 번호판 크기와 일치하는지를 검사하여 실제 번호판을 검출하였다. 본 논문에서 제안된 방법을 통해 4m 이내로 촬영된 번호판의 깊이 영상을 대상으로 실험한 결과 95% 이상의 번호판 검출률을 보였다.
만약 블록 내 평면의 오차가 일정 수치 이하면 해당 블록은 평면으로 이루어졌다고 간주한다. 그 후 인접한 블록간의 평면의 법선 벡터들을 비교하여 유사도를 측정한다. 두 블록 간 유사도가 충분히 높으면 두 블록은 같은 평면으로 이루어졌다고 생각할 수 있다.
번호판 검출을 수행하기 위해서 먼저 평면 영역을 분할하기 위해서 영상을 블록 단위로 분할한 후, 블록 내 2D 영상 좌표를 깊이정보를 이용하여 실세계의 3D 카메라 좌표로 변환한다. 그 후 주어진 카메라 좌표들로 구성된 점들과 제일 인접한 평면을 모델링한 후, 모델링된 평면이 실제 주어진 점들과 일치하는지를 검사하여 평면 여부를 판단한다. 그 후 평면으로 이루어졌다고 판명된 각 블록의 법선 벡터를 구한 후, 법선 벡터를 이용하여 인접한 두 블록이 서로 같은 평면에 속하였는지를 계산한 후, 같은 평면에 속해있다고 판명된 블록들을 그룹화하여 평면 영역을 분할한다.
그 후 주어진 카메라 좌표들로 구성된 점들과 제일 인접한 평면을 모델링한 후, 모델링된 평면이 실제 주어진 점들과 일치하는지를 검사하여 평면 여부를 판단한다. 그 후 평면으로 이루어졌다고 판명된 각 블록의 법선 벡터를 구한 후, 법선 벡터를 이용하여 인접한 두 블록이 서로 같은 평면에 속하였는지를 계산한 후, 같은 평면에 속해있다고 판명된 블록들을 그룹화하여 평면 영역을 분할한다. 그 후 번호판의 너비와 높이의 실제 길이를 깊이 정보를 통해 계산하여 실제 번호판 크기와 일정 오차 이내로 측정되면 해당 영역을 번호판 영역으로 검출한다.
를 구한다. 그 후 평면으로 판명된 상하좌우로 인접한 두 블록 간의 평면의 유사도를 측정하여 같은 평면인지를 확인한다. 이 때해당 평면의 법선 벡터는 식 (1)에서의 x, y, z 좌표의 인자로 구성된 벡터로써, 즉 (a_p, b_p, -1)이다.
깊이 영상의 정확한 보정 방법에 대한 연구를 통해 인식 정확도를 개선할 수 있을 것이다. 또한 제안된 방법은 깊이 카메라의 특성상 4m를 초과하는 객체에 대해서는 깊이 정보를 정확하게 측정하지 못하여 인식이 힘들다는 단점이 있다. 하지만 자동차 출입 시스템 등의 응용에서는 거의 근접하여 카메라를 설치하기 때문에 본 방법을 사용하여 번호판 영역 검출을 개선시킬 수 있을 것이다.
이렇게 변환된 3차원 좌표들을 이용하여 제일 인접한 하나의 평면을 모델링한 후 실제 측정된 깊이와 모델링된 평면에서 계산된 깊이의 오차를 계산하는 방법을 통해 평면 여부를 검사하였다. 만약 해당 블록이 평면으로 이루어져 있을 경우 해당 평면의 법선 벡터와 카메라와의 기하학적인 거리를 계산한 후, 인접한 블록 간에 두 특성이 일정 오차내로 동일할 경우, 두 블록을 같은 평면으로 그룹화하여 평면영역을 분할하였다. 그 후 분할된 각 영역에 대해 깊이 정보를 이용하여 너비와 높이를 실제 크기로 변환한 후 실제 번호판 크기와 일치하는지를 검사하여 실제 번호판을 검출하였다.
본 논문에서는 깊이 영상을 이용하여 번호판 영역을 검출하는 방법을 제안하였다. 본 논문에 서는 평면을 검출하기 위해 정사각형 블록 단위로 영상을 분할한 후, 블록 내 2차원 영상 좌표를 깊이 정보를 이용하여 3차원 카메라 좌표계의 좌표로 변환하였다. 이렇게 변환된 3차원 좌표들을 이용하여 제일 인접한 하나의 평면을 모델링한 후 실제 측정된 깊이와 모델링된 평면에서 계산된 깊이의 오차를 계산하는 방법을 통해 평면 여부를 검사하였다.
본 논문에서 제안한 깊이 정보를 이용한 평면유사도 측정을 통한 번호판 검출 방법의 정확도를 모의실험으로 측정한다. 먼저 본 논문에서 제안한 평면 영역 검출에 대해 Fig.
본 논문에 서는 평면을 검출하기 위해 정사각형 블록 단위로 영상을 분할한 후, 블록 내 2차원 영상 좌표를 깊이 정보를 이용하여 3차원 카메라 좌표계의 좌표로 변환하였다. 이렇게 변환된 3차원 좌표들을 이용하여 제일 인접한 하나의 평면을 모델링한 후 실제 측정된 깊이와 모델링된 평면에서 계산된 깊이의 오차를 계산하는 방법을 통해 평면 여부를 검사하였다. 만약 해당 블록이 평면으로 이루어져 있을 경우 해당 평면의 법선 벡터와 카메라와의 기하학적인 거리를 계산한 후, 인접한 블록 간에 두 특성이 일정 오차내로 동일할 경우, 두 블록을 같은 평면으로 그룹화하여 평면영역을 분할하였다.
3은 3차원 좌표계에서 주어진 점들을 통해 평면을 결정하는것을 보인다. 이렇게 주어진 좌표로 부터 평면의 인자를 결정하여 최적의 평면을 모델링한다.
차량 번호판을 촬영한 영상을 깊이 정보를 이용하여 깊이 영역들을 구한다. 구해진 각 평면 영역에서 상단, 하단, 좌단, 우단에 위치한 화소를 Fig.

대상 데이터

본 논문에서 제안한 깊이 정보를 이용한 평면유사도 측정을 통한 번호판 검출 방법의 정확도를 모의실험으로 측정한다. 먼저 본 논문에서 제안한 평면 영역 검출에 대해 Fig. 6의 차량 번호판을 촬영한 영상을 대상으로 실험을 수행하였다. 영상을 촬영한 깊이 카메라는 Intel Realsense D435이다.
6의 차량 번호판을 촬영한 영상을 대상으로 실험을 수행하였다. 영상을 촬영한 깊이 카메라는 Intel Realsense D435이다. 깊이 영상의 해상도는 320×240이고, mm단위로 깊이 값을 측정한다.

데이터처리

이렇게 구한 평면과 실제 주어진 점들 간의 오차는 평면의 인자행렬 R을 이용하여 계산된 각점의 깊이 #와 실제 측정된 깊이 di의 차이의 절대값의 평균(Mean of Absolute Error: MAE)를 통해 구한다.

성능/효과

9는 기존 색상 영상에서 LBP를 이용하여 번호판을 검출한 방법[4]를 적용한 결과이다. 검출 결과는 제안된 방법과 비슷하거나 더 높았다. 하지만 색상 영상을 이용한 방법을 적용하기 위해서는 많은 기존 번호판에 대해 기계학습을 미리 수행하여야 한다는 단점이 있지만, 제안된 방법은 번호판의 너비와 높이만 주어지면 거의 비슷한 성능으로 번호판을 검출할 수 있다는 것이 장점이다.
기존 색상 영상에서 번호판 영역을 검출하는 방법은 환경적인 요인으로 인해 검출의 정확도가 떨어지는 문제가 있었지만, 깊이 영상을 이용하여 본 논문에서 제안하는 방법을 적용할 경우 번호판 영역을 정확하게 검출할 수 있었다. 하지만 깊이 영상의 잡음으로 인해 번호판의 인식이 불가능한 경우가 발생하기도 하였다.
그 후 분할된 각 영역에 대해 깊이 정보를 이용하여 너비와 높이를 실제 크기로 변환한 후 실제 번호판 크기와 일치하는지를 검사하여 실제 번호판을 검출하였다. 본 논문에서 제안된 방법을 통해 4m 이내로 촬영된 번호판의 깊이 영상을 대상으로 실험한 결과 95% 이상의 번호판 검출률을 보였다.
8은 실제 번호판 검출에 대한 결과이다. 실험 결과 번호판 검출이 잘 이루어짐을 보인다.
그 후 해당 영역들의 실제 크기를 깊이 정보를 통해 측정하여 측정된 영역의 실제 높이와 너비가 실제 번호판 크기와 유사하다면 해당 영역을 번호판 영역으로 간주한다. 제안된 방법은 법선 벡터를 계산하여 유사도를 계산하고, 유사도가 높은 근접한 영역을 그룹화한다는 점에서 기존 방법[7]과 유사하지만, 블록 단위로 제일 유사한 평면을 모델링하여 모델링된 평면의 법선 벡터를 이용한다는 점에서 큰 차이점이 있다. 본 논문에서 제안된 방법을 통해 조명 환경에 의존하지 않는 번호판 검출을 할 수 있다.
검출 결과는 제안된 방법과 비슷하거나 더 높았다. 하지만 색상 영상을 이용한 방법을 적용하기 위해서는 많은 기존 번호판에 대해 기계학습을 미리 수행하여야 한다는 단점이 있지만, 제안된 방법은 번호판의 너비와 높이만 주어지면 거의 비슷한 성능으로 번호판을 검출할 수 있다는 것이 장점이다.

후속연구

그 후 평면으로 이루어졌다고 판명된 각 블록의 법선 벡터를 구한 후, 법선 벡터를 이용하여 인접한 두 블록이 서로 같은 평면에 속하였는지를 계산한 후, 같은 평면에 속해있다고 판명된 블록들을 그룹화하여 평면 영역을 분할한다. 그 후 번호판의 너비와 높이의 실제 길이를 깊이 정보를 통해 계산하여 실제 번호판 크기와 일정 오차 이내로 측정되면 해당 영역을 번호판 영역으로 검출한다. Fig.
하지만 깊이 영상의 잡음으로 인해 번호판의 인식이 불가능한 경우가 발생하기도 하였다. 깊이 영상의 정확한 보정 방법에 대한 연구를 통해 인식 정확도를 개선할 수 있을 것이다. 또한 제안된 방법은 깊이 카메라의 특성상 4m를 초과하는 객체에 대해서는 깊이 정보를 정확하게 측정하지 못하여 인식이 힘들다는 단점이 있다.
하지만 자동차 출입 시스템 등의 응용에서는 거의 근접하여 카메라를 설치하기 때문에 본 방법을 사용하여 번호판 영역 검출을 개선시킬 수 있을 것이다. 본 논문에서 제안된 방법을 통해 지능형 교통 시스템에 적용함으로써 더욱 신속하게 차량 번호판을 검출할 수 있을 것으로 예상된다.
또한 제안된 방법은 깊이 카메라의 특성상 4m를 초과하는 객체에 대해서는 깊이 정보를 정확하게 측정하지 못하여 인식이 힘들다는 단점이 있다. 하지만 자동차 출입 시스템 등의 응용에서는 거의 근접하여 카메라를 설치하기 때문에 본 방법을 사용하여 번호판 영역 검출을 개선시킬 수 있을 것이다. 본 논문에서 제안된 방법을 통해 지능형 교통 시스템에 적용함으로써 더욱 신속하게 차량 번호판을 검출할 수 있을 것으로 예상된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	주로 쓰인 차량 번호판 검출 기술은 무엇인가?	기존 차량 번호판을 검출하는 기술은 주로 색상 영상 내 번호판의 외곽의 특징을 검출하는 방법이 주로 쓰였다. Zunino and Rovetta[1]는 Concentric 윈도우 분할과 벡터 양자화를 이용한 번호판 영역 검출 방법을 제안하였다.
	본 연구에서 쓰인 깊이 정보를 통한 평면 검출 방법을 통해 평면 영역을 구하는 방법에는 어떠한 것들이 있는가?	깊이 정보를 통해 영상에서의 평면 영역을 구하는 방법이 다음과 같이 연구되었다. 색상 영상을 통해 먼저 영역을 분할한 후, 분할된 영역에 서의 깊이 정보를 3차원 점군으로 변환하여 분할된 영역을 보정하는 방법[5]과, 3차원 데카르트 좌표계로 표현되는 스켈레톤 좌표에 대해 3차원 랜덤 허프 변환를 적용하여 제일 많이 선택된 영역을 영역의 대표적인 평면으로 검출하는 방법 [6], 깊이 영상을 3차원 점군으로 변환한 후, 이웃한 점군을 통해 법선 벡터를 계산하여 평면을 검출하는 방법[7]등이 쓰인다. 이러한 깊이 정보를 통한 평면 검출은 SLAM[8-9]뿐만 아니라 평면을 기반으로 하는 깊이 영상 부호화[10-11]에도 적용할 수 있다.
	지능형 교통시스템란?	지능형 교통시스템(Intelligent Transportation System, ITS)은 교통체계에 정보, 통신 기술 등의 지능형 기술을 접목시킨 차세대 교통시스템으로 정의된다. 지능형 교통시스템을 이용하여 교통 혼잡 및 교통환경 등을 개선할 수 있다.

참고문헌 (12)

R Zunino and S Rovetta, “Vector Quantization for License-Plate Location and Image Coding,” IEEE Transactions on Industrial Electronics, Vol. 47, No. 1, pp. 159-167, 2000.

상세보기
S. Chang, L. Chen, Y. Chung, and S. Chen, “Automatic License Plate Recognition,” IEEE Transactions on Intelligent Transportation Systems, Vol. 5, No. 1, pp. 42-53, 2004.

상세보기
H. Zhang, W. Zia, X. He, and Q. Wu, "Learning Based License Plate Detection Using Global and Local Features," Proceeding of 18th International Conference on Pattern Recognition, pp. 1102-1105, 2006.
S. Du, M. Ibrahim, M. Shehata, and W. Badawy, “Automatic License Plate Recognition (ALPR): A State-of-the-art Review,” IEEE Transactions on Circuits and Systems for Video Technology, Vol. 23, No. 2, pp. 311-325, 2013.

상세보기
Y. Zhang, T. Lu, J. Yang, and H. Kong, "Split and Merge for Accurate Plane Segmentation in RGB-D Images," Proceeding of 4th IAPR Asian Conference on Pattern Recognition, pp. 49-54, 2017.
W. H. Lee, K. G. Kim, and S. H. Chung, “Volume Measurement of Limb Edema Using Three Dimensional Registration Method of Depth Images Based on Plane Detection,” Journal of Korea Multimedia Society, Vol. 17, No. 7, pp. 818-828, 2014.

원문보기 상세보기
D. Holz1, S. Holzer, R. B. Rusu, and S. Behnke1, "Real-Time Plane Segmentation Using RGB-D Cameras," Proceeding of Robot Soccer World Cup, pp. 306-317, 2011.
J. Sturm, N. Engelhard, F. Endres, W, Burgard, and D. Cremers, "A Benchmark for The Evaluation of RGB-D SLAM Systems," Proceeding of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 573-580, 2012.
F. Pomerleau, S. Magnenat, F. Colas, M. Liu, and R. Siegwart, "Tracking A Depth Camera: Parameter Exploration for Fast ICP," Proceeding of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3824-3829, 2011.
D. S. Lee and S. K. Kwon, “Intra Prediction of Depth Picture with Plane Modeling,” Symmetry, Vol. 10, No. 12, pp. 1-16, 2018.
S. K. Kwon and D. S. Lee, “Method for Determining Variable-Block Size of Depth Picture for Plane Coding,” Journal of the Korea Industrial Information Systems Research, Vol. 22, No. 3, pp. 39-47, 2017.
R. Penrose, “On Best Approximate Solutions of Linear Matrix Equations,” Proceeding of the Cambridge Philosophical Society, Vol. 52, No. 1, pp. 17-19, 1956.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증