[논문]딥러닝을 이용한 판류형 간판의 인식

권상일; 김의명

doi:10.7848/ksgpc.2019.37.4.219

딥러닝을 이용한 판류형 간판의 인식
Recognition of Flat Type Signboard using Deep Learning 원문보기

한국측량학회지 = Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, v.37 no.4, 2019년, pp.219 - 231

권상일 (Department of Spatial Information Engineering, Namseoul University) , 김의명 (Department of Spatial Information Engineering, Namseoul University)

초록
AI-Helper

간판은 유형마다 간판의 규격이 정해져 있으나 실제 설치된 간판은 형태와 크기가 일정하지 않다. 또한, 간판은 간판 내부의 색상에 대한 규정이 정해져 있지 않기 때문에 다양한 색상을 갖고 있다. 간판을 인식하기 위한 방법은 도로표지판과 차량번호판을 인식하는 유사한 방법으로 생각할 수 있으나 간판의 특성으로 인해 도로표지판과 차량번호판과 유사한 방법으로 간판을 인식할 수 없는 한계점이 있다. 이에 본 연구에서는 딥러닝 기반의 Faster R-CNN 알고리즘을 이용하여 불법 및 노후 간판의 주요 대상이 되는 판류형 간판을 인식하고 간판의 영역을 자동으로 추출하는 방법론을 제안하였다. 스마트폰 카메라를 이용하여 촬영한 간판 영상을 통해 판류형 간판을 인식하는 과정은 2가지의 순서로 나뉜다. 먼저, 다양한 유형의 간판 영상에서 판류형 간판을 인식하기 위해 딥러닝을 이용하여 간판의 유형을 인식하였으며 그 결과는 약 71%의 정확도로 나타났다. 다음으로 판류형 간판의 경계영역을 인식하기 위해 간판 영역 인식 알고리즘을 적용하였을 때 85%의 정확도로 판류형 간판의 경계영역을 인식하였다.

Abstract ▼ AI-Helper

The specifications of signboards are set for each type of signboards, but the shape and size of the signboard actually installed are not uniform. In addition, because the colors of the signboard are not defined, so various colors are applied to the signboard. Methods for recognizing signboards can be thought of as similar methods of recognizing road signs and license plates, but due to the nature of the signboards, there are limitations in that the signboards can not be recognized in a way similar to road signs and license plates. In this study, we proposed a methodology for recognizing plate-type signboards, which are the main targets of illegal and old signboards, and automatically extracting areas of signboards, using the deep learning-based Faster R-CNN algorithm. The process of recognizing flat type signboards through signboard images captured by using smartphone cameras is divided into two sequences. First, the type of signboard was recognized using deep learning to recognize flat type signboards in various types of signboard images, and the result showed an accuracy of about 71%. Next, when the boundary recognition algorithm for the signboards was applied to recognize the boundary area of the flat type signboard, the boundary of flat type signboard was recognized with an accuracy of 85%.

주제어

표/그림 (38)

그림 Fig. 1. Types of signboard
그림 Fig. 2. Methodology of classifying types of signboards
그림 Fig. 3. Signboards image
그림 Fig. 4. Unclear types
그림 Fig. 5. Bounding boxes
그림 Fig. 6. Result of classifying the type of signboards
표 Table 1. Camera setting
표 Table 2. Setting of bounding boxes
표 Table 3. Result of Training
표 Table 4. Result of Prediction
표 Table 5. Error Matrix
그림 Fig. 7. Image of signboard
그림 Fig. 8. Methodology of color clustering of signboard image
그림 Fig. 9. Convert to HSV color model
그림 Fig. 10. Gaussian blur image
그림 Fig. 11. K-means clustering image
그림 Fig. 12. HSV – Value image
그림 Fig. 13. Methodology of extract edges
그림 Fig. 14. Signboard of various colors
그림 Fig. 15. Binaryized images(1~3)
그림 Fig. 16. Binaryized images(4~5)
그림 Fig. 17. Extraction of polygons
그림 Fig. 18. Polygon deviated from the area of a signboard
그림 Fig. 19. Merged polygon
그림 Fig. 20. Laplacian ﬁlter
그림 Fig. 21. Extraction of edges using Hough transform
그림 Fig. 22. Methodology of extracting rectangle area
그림 Fig. 23. Intersection point outside the area of image
그림 Fig. 24. Detected signboard
그림 Fig. 25. Methodology of image segmentation
그림 Fig. 26. Dilation image
그림 Fig. 28. K-means clustering image for image segmentation
그림 Fig. 29. Segmentation image
그림 Fig. 27. Erosion image
그림 Fig. 30. Original signboard images
그림 Fig. 31. Detected rectangular area of signboard images
그림 Fig. 32. Mis-detected image
표 Table 6. Result of signboard detection

질의응답

핵심어	질문	논문에서 추출한 답변
	Faster R-CNN의 특징은 무엇인가?	간판을 촬영한 영상에서 판류형, 입체형, 돌출간판의 유형을 판별하기 위해 딥러닝 기반의 Faster R-CNN 알고리즘을 이용하였다. Faster R-CNN은 영상 내에서 다수의 간판에 대한 위치를 추정하기 위해 후보 영역이 되는 간판의 바운딩 박스(bounding box)를 설정하고 바운딩 박스를 기준으로 훈련과 예측이 이뤄지는 R-CNN 계열의 대표적인 딥러닝 기반 객체 검출알고리즘이다(Ahn and Lee, 2018). Faster R-CNN을통해 간판의 유형을 훈련하기 위해 바운딩 박스를 통해 영역을 절취하는 과정이 필요하다.
	판류형 간판이란 무엇인가?	판류형 간판은 Fig. 1(a)와 같이 일반적으로갈바륨(Galvalume, 알류미늄과 아연), 목재, 고무, 플라스틱등으로 이루어진 사각형 형태의 프레임 위에 플렉스(flex) 천을 고정하여 문구를 새긴 간판이다. 입체형 간판은 Fig.
	야간 환경에서 간판의 경계선을 구분하기 위한 간판 영상을 이용하는 것이 보편적이지 않은 이유는 무엇인가?	간판의 경계선을 명확하게 구분하기위해 야간에 발광하는 간판을 촬영하고 픽셀 밝기값이 높은영역만 탐색하여 간판의 경계선을 구분하는 연구가 수행되었다(Hua and Xiaoou, 2015). 그러나 간판을 포함한 옥외광고물은 지자체에서 1~2명 정도의 적은 인원으로 업무시간에 관리가 이루어지기 때문에 야간 환경에서 촬영하여 간판 영상을 이용하는 것은 보편적이지 않다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증