로드뷰 영상에서 번호판 영역의 저해상도 특징을 이용한 원거리 자동차 번호판 영역 검출 Long Distance Vehicle License Plate Region Detection Using Low Resolution Feature of License Plate Region in Road View Images원문보기
본 논문은 포털 사이트에서 서비스 되고 있는 로드뷰 영상에서 개인정보 보호를 위해 자동차 번호판 영역을 검출하는 방법을 제안한다. 로드뷰 영상에서 번호판 영역은 거리에 따라 서로 다른 특징을 갖고 있으며, 특히 원거리의 번호판 영역은 저해상도 특징으로 인해 번호판 영역을 검출하는데 어려움이 있다. 따라서 본 연구에서는 근거리에 있는 번호판 영역은 에지 특징을 이용하고 원거리에 있는 번호판 영역은 MSER 특징을 이용하여 번호판 영역을 검출하는 기법을 제안하였다. 각각의 방법으로 검출된 영역을 번호판 후보 영역으로 선정하고, 자동차 번호판의 숫자는 구조적 특징을 갖기 때문에 이를 이용하여 최종적인 번호판 영역을 검출하였다. 실험결과, 다양한 로드뷰 영상에서 precision 75%, recall 93%, 그리고 F-Score 80%의 성능평가 결과를 얻었다.
본 논문은 포털 사이트에서 서비스 되고 있는 로드뷰 영상에서 개인정보 보호를 위해 자동차 번호판 영역을 검출하는 방법을 제안한다. 로드뷰 영상에서 번호판 영역은 거리에 따라 서로 다른 특징을 갖고 있으며, 특히 원거리의 번호판 영역은 저해상도 특징으로 인해 번호판 영역을 검출하는데 어려움이 있다. 따라서 본 연구에서는 근거리에 있는 번호판 영역은 에지 특징을 이용하고 원거리에 있는 번호판 영역은 MSER 특징을 이용하여 번호판 영역을 검출하는 기법을 제안하였다. 각각의 방법으로 검출된 영역을 번호판 후보 영역으로 선정하고, 자동차 번호판의 숫자는 구조적 특징을 갖기 때문에 이를 이용하여 최종적인 번호판 영역을 검출하였다. 실험결과, 다양한 로드뷰 영상에서 precision 75%, recall 93%, 그리고 F-Score 80%의 성능평가 결과를 얻었다.
For privacy protection, we propose a vehicle license plate region detection method in road view image served from portal site. Because vehicle license plate regions in road view images have different feature depending on distance, long distance vehicle license plate regions are not detected by featu...
For privacy protection, we propose a vehicle license plate region detection method in road view image served from portal site. Because vehicle license plate regions in road view images have different feature depending on distance, long distance vehicle license plate regions are not detected by feature of low resolution. Therefore, we suggest a method to detect short distance vehicle license plate regions by edge feature and long distance vehicle license plate regions using MSER feature. And then, we select candidate region of vehicle license plate region from detected region of each method, because the number of the vehicle license plate has a structural feature, we used it to detect the final vehicle license plate region. As the experiment result, we got a recall rate of 93%, precision rate of 75%, and F-Score rate of 80% in various road view images.
For privacy protection, we propose a vehicle license plate region detection method in road view image served from portal site. Because vehicle license plate regions in road view images have different feature depending on distance, long distance vehicle license plate regions are not detected by feature of low resolution. Therefore, we suggest a method to detect short distance vehicle license plate regions by edge feature and long distance vehicle license plate regions using MSER feature. And then, we select candidate region of vehicle license plate region from detected region of each method, because the number of the vehicle license plate has a structural feature, we used it to detect the final vehicle license plate region. As the experiment result, we got a recall rate of 93%, precision rate of 75%, and F-Score rate of 80% in various road view images.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 로드뷰 영상에서 원거리에 존재하는 번호판의 저해상도 특징으로 인해서 번호판 영역을 정확하게 검출할 수 없는 문제점을 해결하기 위한 방법으로 원거리 및 근거리에 따라 에지 및 연결 요소 특징을 이용하여 번호판 영역을 효과적으로 검출하기 위한 방법을 제안하였다.
본 논문은 로드뷰 영상에서 개인정보 보호를 위해서 원거리의 자동차 번호판 영역을 검출 방법을 제안하였다. 거리에 따른 해상도 차이로 인해서 번호판 영역을 정확하게 검출하지 못하는 문제점을 해결하고자 원거리와 근거리를 각각 에지 및 연결요소 특징을 이용하여 번호판 영역을 효과적으로 검출하였다.
제안 방법
본 논문은 로드뷰 영상에서 개인정보 보호를 위해서 원거리의 자동차 번호판 영역을 검출 방법을 제안하였다. 거리에 따른 해상도 차이로 인해서 번호판 영역을 정확하게 검출하지 못하는 문제점을 해결하고자 원거리와 근거리를 각각 에지 및 연결요소 특징을 이용하여 번호판 영역을 효과적으로 검출하였다.
기울기는 레이블의 중심점 좌표와 3또는 4개 좌표의 상호간의 기울기를 구하였고, 실험결과, 기울기 임계값은 표준편차 값이 < 0.3보다 작은 것으로 하고, 거리는 4 또는 3개의 좌표 간의 거리를 구하여 표준편차의 임계값이 3이하인 값으로 설정하였다.
로드뷰 영상으로부터 번호판 영역을 검출하기 위해서 근거리에 존재하는 번호판 영역은 에지 특징으로 검출하고, 원거리의 번호판 영역은 연결 요소 특징을 이용하여 검출한다. 이렇게 검출된 특징으로 번호판 영역 숫자의 구조적인 특징을 적용하여 번호판 후보영역을 선정하고 최종적으로 검출된 번호판 영역을 통합함으로써 번호판 영역을 검출한다.
에지 요소 성분에 대한 필터링 과정을 수행하여 얻은 레이블을 번호판 후보 레이블로 선정하여 하여 번호판에지의 구조적인 특징을 적용한다. 이것은 문자 및 숫자의 에지 영상이 갖는 특징으로 수평방향으로 에지의 수는 [Fig.
연결 요소 성분으로 검출된 특징은 아래와 같은 조건으로 필터링 과정을 수행한다. 연결 요소 성분에서는 상대적으로 먼 거리에 존재하는 번호판 영역의 특징에 맞도록 필터링 값을 설정하였다.
2차 필터링 과정으로 얻은 레이블 중에서 해당 레이블 높이의 2배에 거리에 인접한 레이블을 구한다. 이 특징으로 얻은 레이블 집합에서 3 또는 4개의 레이블 상호간의 기울기 및 거리 특징을 조사하여 최종적인 번호판 영역을 검출한다. 기울기는 레이블의 중심점 좌표와 3또는 4개 좌표의 상호간의 기울기를 구하였고, 실험결과, 기울기 임계값은 표준편차 값이 < 0.
로드뷰 영상으로부터 번호판 영역을 검출하기 위해서 근거리에 존재하는 번호판 영역은 에지 특징으로 검출하고, 원거리의 번호판 영역은 연결 요소 특징을 이용하여 검출한다. 이렇게 검출된 특징으로 번호판 영역 숫자의 구조적인 특징을 적용하여 번호판 후보영역을 선정하고 최종적으로 검출된 번호판 영역을 통합함으로써 번호판 영역을 검출한다.
로드뷰 영상과 비슷한 영상을 얻기 위해서 도로를 기준면으로 촬영된 총 100개의 영상으로 실험하였다. 자동차 번호판을 다양한 각도, 거리 그리고 조명환경 등에서 촬영하여 영상을 얻었다. 사용한 프로그래밍 언어는 MATLAB 버전 2016을 사용하였고, 성능 평가는 아래 수식과 같이 F-Score, Precision, 그리고 Recall을 이용하였다[29].
대상 데이터
본 논문에서 제안한 번호판 영역 검출을 위한 실험대상 영상은 도로를 기준으로 촬영된 것으로, 도로 주변의 건물, 사람, 자동차 등이 도로를 기준으로 좌우 방향으로 배치된 영상이다. 로드뷰 영상과 비슷한 영상을 얻기 위해서 도로를 기준면으로 촬영된 총 100개의 영상으로 실험하였다. 자동차 번호판을 다양한 각도, 거리 그리고 조명환경 등에서 촬영하여 영상을 얻었다.
본 논문에서 제안한 번호판 영역 검출을 위한 실험대상 영상은 도로를 기준으로 촬영된 것으로, 도로 주변의 건물, 사람, 자동차 등이 도로를 기준으로 좌우 방향으로 배치된 영상이다. 로드뷰 영상과 비슷한 영상을 얻기 위해서 도로를 기준면으로 촬영된 총 100개의 영상으로 실험하였다.
이론/모형
자동차 번호판을 다양한 각도, 거리 그리고 조명환경 등에서 촬영하여 영상을 얻었다. 사용한 프로그래밍 언어는 MATLAB 버전 2016을 사용하였고, 성능 평가는 아래 수식과 같이 F-Score, Precision, 그리고 Recall을 이용하였다[29].
에지 특징을 이용한 방법에서는 로드뷰 컬러 영상을 Grayscale(명도)영상으로 변환하고 에지를 추출하기 위해서 Canny-edge(캐니 에지)검출기를 이용하였다[23]. 캐니 에지 검출기를 위한 파라미터로서 임계값은 0.
연결 요소 성분을 이용한 방법에서는 연결 요소 성분 검출하기 위한 방법으로 MSER(Maximally Stable Extremal Regions) 영역 검출 방법을 이용하였다. MSER 방법은 영상에서 연결요소 성분(bolb)을 효과적으로 검출하는 방법으로 컴퓨터 비전 분야에서 다양하게 이용되고 있으며 최근에는 문자 검출을 위한 방법으로 많이 이용하고 있다[24,25,26,27].
후속연구
따라서 이러한 번호판 영역이 그림자를 갖는 경우를 고려하여 이를 검출 할 수 있는 방법에 대한 연구가 필요하다. 그리고 번호판의 일부분의 숫자를 검출하는 경우에도 전체 번호판 영역으로 검출될 수 있는 구조적인 특징을 추가적으로 적용할 수 방법에 대한 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
인터넷 검색 포털 사이트는 지도검색 서비스를 이용할 때 무엇을 기본적으로 제공하는 것이 일반화되어있는가?
인터넷 검색 포털 사이트는 지도검색 서비스를 이용할 때 로드뷰 영상을 기본적으로 제공하는 것이 일반화되었다. 로드뷰 영상은 도로 주변에 있는 건물, 사람, 자동차 등이 다양한 각도에서 촬영된 영상 정보를 포함하고 있다.
원거리의 번호판 영역은 어떤 특징으로 인해 번호판 영역을 검출하는데 어려움이 있는가?
본 논문은 포털 사이트에서 서비스 되고 있는 로드뷰 영상에서 개인정보 보호를 위해 자동차 번호판 영역을 검출하는 방법을 제안한다. 로드뷰 영상에서 번호판 영역은 거리에 따라 서로 다른 특징을 갖고 있으며, 특히 원거리의 번호판 영역은 저해상도 특징으로 인해 번호판 영역을 검출하는데 어려움이 있다. 따라서 본 연구에서는 근거리에 있는 번호판 영역은 에지 특징을 이용하고 원거리에 있는 번호판 영역은 MSER 특징을 이용하여 번호판 영역을 검출하는 기법을 제안하였다.
개인정보 보호에 따른 해당 위치에서 촬영된 개인의 정보를 보호하기 위해서 반드시 해야만 하는 추가적인 작업은 무엇인가?
그러나 [Fig. 1]을 보면 로드뷰 영상에서 사람의 얼굴과 자동차 번호판이 모자이크되어 볼 수 없도록 처리 된 것을 알 수 있다. 이는 개인정보 보호에 따른 해당 위치에서 촬영된 개인의 정보를 보호하기 위해서 반드시 해야만 하는 추가적인 작업이다.
참고문헌 (31)
J. M. Yoon, D. J. Kim, "Car License Plate Detector Robust to Shape variation for Privacy Protection in Road View Service," proc. KIISE 2011 Autumn, vol. 38, no. 2(B), pp. 427-430, 2011.
H. D. Moon, Y. C. Lee, D. I. Lee, "A Study on Worldwide & Korea Market Trends of Intelligent Transportation System" Electronics and telecommunications trends, vol. 17, no. 6, pp. 48-58, 2002.
S. W. Jang, M. H. Huh1, "Mosaic Detection Based on Edge Projection in Digital Video," Journal of the Korea Academia-Industrial cooperation Society, vol. 17, no. 5, pp. 339-345, 2016.
D. D. Hwang, K. S. Lee, "A Study on Adaptive Skin Extraction using a Gradient Map and Saturation Features," Journal of the Korea Academia-Industrial cooperation Society, vol. 15, no. 7, pp. 4508-4515, 2014.
S. J. Kang, Am-Seog Sur, Sung-Hwan Jeong, "Stop Object Method within Intersection with Using Adaptive Background Image," Journal of the Korea Academia-Industrial cooperation Society, vol. 14, no. 5, pp. 2430-2436, 2013.
J. H. Ryu, J. H. Kim, C. G. Lee, "The navigation method of mobile robot using a omni-directional position detection system," Journal of the Korea Academia-Industrial cooperation Society, vol. 10, no. 2, pp. 237-242, 2009.
D. K. Kim, Chi-Jung Hwang, "Change Area Detection using Color and Edge Gradient Covariance Features," Journal of the Korea Academia-Industrial cooperation Society, vol. 17, no. 1, pp. 717-724, 2016.
D. K. Kim, "Moving Object Detection using Gaussian Pyramid based Subtraction Images in Road Video Sequences," Journal of the Korea Academia-Industrial cooperation Society, vol. 12, no. 12, pp. 5856-5864, 2011.
S. W. Jang, M. H. Huh, "Target Object Detection Based on Robust Feature Extraction," Journal of the Korea Academia-Industrial cooperation Society, vol. 15, no. 12, pp. 7302-7308, 2014.
S. W. Jang, S. W. Byun, "Detection of Special Effects with Circular Moving Borders," Journal of the Korea Academia-Industrial cooperation Society, vol. 12, no. 7, pp. 3184-3190, 2011.
B. C. Jang, "A Study on Algorithm for Inspection of Automobile's plastic part locking lever," Journal of the Korea Academia-Industrial cooperation Society, vol. 11, no. 5, pp. 1558-1563, 2010.
S. J. Kim, S. C. Lee, "Development of Inspection System for Surface of a Shock Absorber Rod using Machine vision," Journal of the Korea Academia-Industrial cooperation Society, vol. 15, no. 6, pp. 3416-3422, 2014.
S. W. Jang, Y. J. Park, M. H. Huh, "Detection of Harmful Images Based on Color and Geometrical Features," Journal of the Korea Academia-Industrial cooperation Society, vol. 14, no. 11 pp. 5834-5840, 2013.
C. S. Choi, M. G Min, B. M. Jun, "A Fast Iris Feature Extraction Method For Embedded System," Journal of the Korea Academia-Industrial cooperation Society, vol. 10, no. 1, pp. 128-134, 2009.
H. J. Park, "ROI Detection by Genetic Algorithm Based on Probability Map," Journal of the Korea Academia-Industrial cooperation Society, vol. 11, no. 8, pp. 3028-3035, 2010.
Y. Yang, J. Bai, R. Tian, N. Liu, "A vehicle license plate recognition system based on fixed color collocation," Proc. of the 4th International Conference on Machine Learning and Cybernetics, pp. 5394-5397, Aug. 2005.
S. Y. Kwon, B. H. Jun, "License-Plate Extraction from Parking Regulation Images using Intensity Vector and Composite Color," The Institute of Electronics and Information Engineers(CI), vol. 40, no. 6, pp. 47-55, 2003.
T. D. Duan, D. A. Duc, T. L. H. Du, "Combining Hough transform and contour algorithm for detecting vehicles' license-plates," International Conference on Computer Systems and Technologies, pp. 747-750, Oct. 2004.
J. H. Yun, M. R. Choi, S. S. Lee, "An image enhancement algorithm for detecting the license plate region using the image of the car personal recorder," Journal of the Korea Academia-Industrial cooperation Society, vol. 17, no. 3, pp. 1-8, 2016.
B. G. Kim, "Design of Improved UI of Automatic Parking Management System using License Plate Recognition," Journal of the Korea Academia-Industrial cooperation Society, vol. 15, no. 2, pp. 1083-1088, 2014.
H. K. Yong, C. K. Kwon, M. S. Kim, "A Study On The Improvement Of Vehicle Plate Recognition," Journal of the Korea Academia-Industrial cooperation Society, vol. 10, no. 8, pp. 1947-1954, 2009.
M. C. Jung, "Machine-printed Numeral Recognition using Weighted Template Matching," Journal of the Korea Academia-Industrial cooperation Society, vol. 10, no. 3, pp. 554-559, 2009.
Canny, John, "A Computational Approach to Edge Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-8, no. 6, 1986, pp. 679-698.
J. Matas, O. Chum, M. Urban, T. Pajdla., "Robust wide baseline stereo from maximally stable extremal regions," Proc. of British Machine Vision Conference, pp. 384-396, 2002.
Nister, D., H. Stewenius, "Linear Time Maximally Stable Extremal Regions", Lecture Notes in Computer Science. 10th European Conference on Computer Vision, Marseille, France: no. 5303, pp. 183-196, 2008.
Obdrzalek D., S. Basovnik, L. Mach, and A. Mikulik., "Detecting Scene Elements Using Maximally Stable Colour Regions," Communications in Computer and Information Science, La Ferte-Bernard, France; vol. 82 CCIS (2010 12 01), pp. 107-115, 2009.
Mikolajczyk, K., T. Tuytelaars, C. Schmid, A. Zisserman, T. Kadir, and L. Van Gool, "A Comparison of Affine Region Detectors," International Journal of Computer Vision, vol. 65, no. 1-2, pp. 43-72, Nov. 2005.
Y. W. Lee, H. S. Kim, W. U. Kang, G. H. Kim, "A Robust License Plate Extraction Method for Low Quality Images,", Journal of the Institute of Electronics Engineers of Korea SC, vol. 45, no. 2, pp. 8-17, 2008.
Junker, M., R. Hoch, "On the Evaluation of Document analysis components by recall, precision, and accuracy, Proceedings of ICDAR, pp.713-716, 1999.
J.G. Ha, H.J. Moon, "Performance Improvement for Robust Eye Detection Algorithm under Environmental Changes", Journal Of Digital Convergence, vol 14, no. 10, pp. 271-276, 2016.
G.O. Kim, G.S. Lee, S. H. Lee, "An Edge Extraction Method Using K-means Clustering In Image", Journal Of Digital Convergence, vol. 12, no. 11, pp. 281-288, 2014.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.