[논문]R-CNN 기법을 이용한 건물 벽 폐색영역 추출 적용 연구

김혜진; 이정민; 배경호; 어양담

doi:10.22640/lxsiri.2018.48.2.213

R-CNN 기법을 이용한 건물 벽 폐색영역 추출 적용 연구
Application Research on Obstruction Area Detection of Building Wall using R-CNN Technique 원문보기

지적과 국토정보 = Journal of cadastre & land informatix, v.48 no.2, 2018년, pp.213 - 225

김혜진 (건국대학교 신기술융합학과) , 이정민 ((주)신한항업 연구소) , 배경호 ((주)신한항업 연구소) , 어양담 (건국대학교 신기술융합학과)

초록
AI-Helper

3차원 공간정보 구축을 위해 건물 텍스처를 촬영하는 과정에서 폐색영역 문제가 발생한다. 이를 해결하기 위해선 폐색영역을 자동 인식하여 이를 검출하고 텍스처를 자동 보완하는 자동화 기법 연구가 필요하다. 현실적으로 매우 다양한 구조물 형상과 폐색을 발생시키는 경우가 있으므로 이를 극복하는 대안들이 고려되고 있다. 본 연구는 최근 대두되고 있는 딥러닝 기반의 알고리즘을 이용하여 폐색지역 패턴화하고, 학습기반 폐색영역 자동 검출하는 접근을 시도한다. 영상 내 객체 추출에서 우수한 성과를 발표하는 Convolutional Neural Network (CNN) 기법의 향상된 알고리즘인 Faster Region-based Convolutional Network (R-CNN)과 Mask R-CNN 2가지를 이용하여, 건물 벽면 촬영 시 폐색을 유발하는 사람, 현수막, 차량, 신호등에 대한 자동 탐지하는 성능을 알아보기 위해 실험하고, Mask R-CNN의 미리 학습된 모델에 현수막을 학습시켜 자동탐지하는 실험을 통해 적용이 높은 결과를 확인할 수 있었다.

Abstract ▼ AI-Helper

For constructing three-dimensional (3D) spatial information occlusion region problem arises in the process of taking the texture of the building. In order to solve this problem, it is necessary to investigate the automation method to automatically recognize the occlusion region, issue it, and automatically complement the texture. In fact there are occasions when it is possible to generate a very large number of structures and occlusion, so alternatives to overcome are being considered. In this study, we attempt to apply an approach to automatically create an occlusion region based on learning by patterning the blocked region using the recently emerging deep learning algorithm. Experiment to see the performance automatic detection of people, banners, vehicles, and traffic lights that cause occlusion in building walls using two advanced algorithms of Convolutional Neural Network (CNN) technique, Faster Region-based Convolutional Neural Network (R-CNN) and Mask R-CNN. And the results of the automatic detection by learning the banners in the pre-learned model of the Mask R-CNN method were found to be excellent.

주제어

표/그림 (20)

그림 Figure 1. In case of a occlusion area (a) an aerial photograph (b) a ground photograph
그림 Figure 2. Obstacle detection results
그림 Figure 3. Occlusion area restoration process (a) Occlusion areas of building wall (b) Masking of occlusion areas (c) Restored building wall texture
그림 Figure 4. Object detection system overview of R-CNN algorithm
그림 Figure 5. Object detection system overview of Faster R-CNN algorithm
그림 Figure 6. Region proposal network (RPN)
그림 Figure 7. Head architecture of Mask R-CNN.
그림 Figure 8. Object detection results (a) Faster R-CNN (b) Mask R-CNN
그림 Figure 9. Object detection results (a) Faster R-CNN (b) Mask R-CNN
그림 Figure 10. Object detection results (a) Faster R-CNN (b) Mask R-CNN
그림 Figure 11. Object detection results (a) Faster R-CNN (b) Mask R-CNN
그림 Figure 12. Image labeling using the VGG image annotator tool
표 Table 1. Experimental environment.
그림 Figure 13. Banner detection results (a) Input Image (b) Output Image
그림 Figure 14. Banner detection results (a) Input Image (b) Output Image
그림 Figure 15. Tree detection results (a) Input Image (b) Output Image
그림 Figure 16. Tree detection results (a) Input Image (b) Output Image
그림 Figure 17. The results of precision-recall in banner class
표 Table 2. Definition of precision and recall.
그림 Figure 18. The results of precision-recall in Tree class

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

가로수나 현수막 등 폐색을 발생시키나 기존 모델에 학습되어있지 않은 항목을 학습시킬 필요성을 느꼈다. 따라서 기존 모델에 현수막 데이터를 학습시키고 탐지하려고 하였다.

제안 방법

faster R-CNN 방법의 소스코드는 tensorflow git hub 페이지(https://github.com/tensorflow/models/tree/master/research/object_detection)에서 다운받았고 본 연구를 위해 학습된 모델을 사용하고 탐지 결과를 저장하도록 수정하였다. mask R-CNN 방법은 Python3에서 Keras와 Tensorflow로 구현한 소스코드를 기반으로 (https://github.
com/tensorflow/models/tree/master/research/object_detection)에서 다운받았고 본 연구를 위해 학습된 모델을 사용하고 탐지 결과를 저장하도록 수정하였다. mask R-CNN 방법은 Python3에서 Keras와 Tensorflow로 구현한 소스코드를 기반으로 (https://github.com/matterport/Mask_RCNN) input 영상 경로를 설정하고 탐지 결과를 저장하도록 수정 활용하였다.
본 연구는 최근 영상 내 객체 추출에서 우수한 성과를 발표하는 Region-based Convolutional Neural Network (R-CNN) 기법의 향상된 알고리즘인 Faster R-CNN과 Mask R-CNN 2가지를 공간벽면텍스처 추출이 가능한 지상영상에 적용하여 폐색영역추출 성능을 분석하고 Mask R-CNN 방법의 미리 학습된 모델에 현수막, 가로수를 추가로 학습시켜 폐색영역 추출 성능을 분석하였다.
본 연구에서는 Faster R-CNN과 Mask R-CNN 알고리즘을 도입하여 객체탐지를 수행하였다. FasterR-CNN은 영상에서 하나의 관심영역을 만들어 객체탐지를 수행하며, Region Proposal Network(RPN) 단계를 CNN안에 넣어서 R-CNN의 알고리즘의 정확성과 속도 문제를 개선하였다.
학습한 모델의 성능평가를 위해 precision-recall을 측정하였다. precision은 검출된 결과가 얼마나 정확한지를 나타낸다.

대상 데이터

faster R-CNN의 모델은 다른 모델에 비해 속도가 빠르고 정확도가 높은 faster_rcnn_nas_coco로 선정하였다. mask R-CNN의 모델은 matterport github 페이지(https://github.com/matterport/Mask_RCNN/releases)에서 제공되는 mask_rcnn_coco.h5를 사용하였다.
본 실험은 스트리트 뷰 영상에서 건물의 폐색지역을 탐지하기 위해 Faster R-CNN 방법과 MaskR-CNN 방법을 사용하고 비교 분석한다. 실험에 사용된 영상은 도심지의 신호등, 차량, 가로수, 현수막과 같은 장애물로 건물에 폐색지역이 발생한 곳을 선정하였고 구글 스트리트 뷰(https://www.instantstreetview.com)에서 캡처하였다.
따라서 작은 데이터 세트만으로 충분하다. 학습 시킬 영상 데이터는 현수막이 포함된 영상 225장과 가로수가 포함된 영상 225장을 준비하였다. 학습 영상 개수 별 검출율과 정확도의 변화를 알아보기 위하여 학습 세트(training set)를5세트(10장, 50장, 100장, 150장, 200장)로 나누었고 검증 세트(validation set)로 25장을 사용하였다.
학습 시킬 영상 데이터는 현수막이 포함된 영상 225장과 가로수가 포함된 영상 225장을 준비하였다. 학습 영상 개수 별 검출율과 정확도의 변화를 알아보기 위하여 학습 세트(training set)를5세트(10장, 50장, 100장, 150장, 200장)로 나누었고 검증 세트(validation set)로 25장을 사용하였다. 검증 세트는 모델의 성능을 평가하기 위해서 필요하다.
그림 17은 현수막 학습 영상개수 별 검출율과 정확도를 측정하여 그래프로 나타낸 것이다. 현수막 탐지성능 평가를 위해서 학습과 검증 용도의 225장 이외의 20장의 영상을 사용하였고 총 67개의 현수막이 포함되어있다. 검출율을 높이기 위하여 학습 시킬 때 세로 모양의 현수막이나 다양한 크기의 영상을 학습시켰고 학습 영상 개수가 많아질수록 검출율이 증가되는 것을 볼 수 있었다.
그림 18은 가로수 학습 영상개수 별 검출율과 정확도를 측정하여 그래프로 나타낸 것이다. 현수막과 마찬가지로 가로수 탐지 성능 평가를 위해서 학습과 검증 용도의 225장 이외의 20장의 영상을 사용하였고 총 112개의 가로수가 포함되어있다. 현수막 탐지 결과와는 다르게 가로수는 오탐지가 거의 발생하지 않아 정확도가 0.

이론/모형

객체 탐지 모델은 미리 학습된 COCO 모델을 사용하였다. (https://github.
본 실험은 스트리트 뷰 영상에서 건물의 폐색지역을 탐지하기 위해 Faster R-CNN 방법과 MaskR-CNN 방법을 사용하고 비교 분석한다. 실험에 사용된 영상은 도심지의 신호등, 차량, 가로수, 현수막과 같은 장애물로 건물에 폐색지역이 발생한 곳을 선정하였고 구글 스트리트 뷰(https://www.

성능/효과

실제로 현수막과 가로수 이외에도 전봇대, 공중전화부스 등 지상에서 건물에 폐색을 유발하는 항목은 다양하다. Mask R-CNN 기법으로 형태가 일정한 현수막과 같은 객체탐지는 좋은 결과를 보인 반면 가로수와 같이 형태가 일정하지 않고 여러 객체가 겹쳐있는 경우는 좋지 않는 결과를 보였다.
현수막 탐지성능 평가를 위해서 학습과 검증 용도의 225장 이외의 20장의 영상을 사용하였고 총 67개의 현수막이 포함되어있다. 검출율을 높이기 위하여 학습 시킬 때 세로 모양의 현수막이나 다양한 크기의 영상을 학습시켰고 학습 영상 개수가 많아질수록 검출율이 증가되는 것을 볼 수 있었다. 현수막의 객체 탐지는 0.
미리 학습된 모델로 검출한 결과 신호등, 차량, 오토바이, 자전거, 사람 항목은 탐지 결과가 좋았다. 그러나 가로수나 현수막은 대부분 탐지하지 못했다.
본 실험에서는 Faster R-CNN방법과 Mask RCNN방법으로 폐색영역 탐지를 수행했고, 현수막과 가로수를 추가로 학습시켜 건물의 폐색영역을 탐지하고 마스크를 생성함으로써 자동적으로 폐색영역을 처리할 수 있다는 것을 확인했다. 실제로 현수막과 가로수 이외에도 전봇대, 공중전화부스 등 지상에서 건물에 폐색을 유발하는 항목은 다양하다.
현수막과 마찬가지로 가로수 탐지 성능 평가를 위해서 학습과 검증 용도의 225장 이외의 20장의 영상을 사용하였고 총 112개의 가로수가 포함되어있다. 현수막 탐지 결과와는 다르게 가로수는 오탐지가 거의 발생하지 않아 정확도가 0.98~1 사이로 측정되었으나 탐지율이 최고 0.63으로 높지 않았다.

후속연구

본 연구의 활용 방안으로 항구/해안 감시의 선박 탐지나 시각장애인을 위한 물체인식 등을 제안할 수 있다. 향후 연구에서는 고품질 공간정보 데이터 생성에 활용할 수 있도록 Semantic segmentation 기법을 활용하여 가로수에 의해 발생하는 폐색영역을 자동탐지하고 폐색영역으로 탐지된 영상을 자동으로 복원하는 부분폐색 복원 연구를 지속할 예정이다.
이를 해결하기 위해선 폐색영역을 자동 인식하여 이를 검출하고 텍스처를 자동 보완하는 자동화기법연구가 필요하다. 최근 대두되고 있는 딥러닝 기반의 알고리즘을 이용하는 경우, 고정밀 데이터를 이용한폐색지역 패턴화하고, 학습기반의 폐색영역을 자동검출하는 대안이 될 수 있다.
본 연구의 활용 방안으로 항구/해안 감시의 선박 탐지나 시각장애인을 위한 물체인식 등을 제안할 수 있다. 향후 연구에서는 고품질 공간정보 데이터 생성에 활용할 수 있도록 Semantic segmentation 기법을 활용하여 가로수에 의해 발생하는 폐색영역을 자동탐지하고 폐색영역으로 탐지된 영상을 자동으로 복원하는 부분폐색 복원 연구를 지속할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	객체탐지란 무엇인가?	객체탐지란 제공된 영상에서 사람, 얼굴 등과 같이 찾고자 하는 객체를 확인하여 위치와 크기를 탐지하는 것이다(Papageorgiou et al. 1998).
	FasterR-CNN이 R-CNN의 알고리즘의 정확성과 속도 문제를 개선한 방법은?	본 연구에서는 Faster R-CNN과 Mask R-CNN 알고리즘을 도입하여 객체탐지를 수행하였다. FasterR-CNN은 영상에서 하나의 관심영역을 만들어 객체탐지를 수행하며, Region Proposal Network(RPN) 단계를 CNN안에 넣어서 R-CNN의 알고리즘의 정확성과 속도 문제를 개선하였다. (그림 5)
	기존의 객체의 특징을 추출하는 알고리즘의 단점은?	기존의 방법은 객체 특징을 추출하기 위하여 입력데이터 제작하기 위한 비용과 객체 분류시키기 위한 학습데이터 연산 비용이 많이 발생하는 단점이 있다. 이러한 비용을 줄이기 위해 인공신경망 중 하나인 CNN은 영상에서의 특징을 추출한 convolutionallayer와 fully connected layer로 객체를 검출하고 영상을 대상으로 객체탐지에 향상된 성능을 보여준다(Simard et al.

참고문헌 (22)

Kim SS, Kim BG. 2002. Adjustment of texture image for construction of a 3D virtual city. Journal of the Korean Society for Geospatial Information Science. 10(2):49-56.
Kim HJ, Han YK, Choi JW, Kim YI. 2009. High resolution satellite image classification enhancement using restortation of buildin shadow and occlusion. The Korean Society of Remote Sensing. Proceedings of the KSRS Conference (Mar):13-17.
Park JH, Suh YC. 2017. Calculation of the Duration of Sunshine Using a Three-Dimensional Spatial Information Open Platform. Journal of the Korean Association of Geographic Information Studies. 20(3):80-89.
Shin DK, Park CW, Park JW, Kim YM, Park KT, Moon YS. 2011. Feature based Depth Map Generation for Compensation of Occlusion Region using Disparity Estimation. The Journal of Korean Institute of Information Technology. 9(5):217-230.
Lee JS, Lee IG. 2018. The 3D Modeling Data Production Method Using Drones Photographic Scanning Technology. Journal of the Korea Institute of Information and Communication Engineering. 22(6):874-880.
Jung SH, Lee JK. 2008. Application of Photorealitstic Modeling and Visualization Using Digital Image Data in 3D GIS. Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography. 26(1):73-83.
Cho MH, Seo JT, Lee CY, Par YJ. 2011. The Realization of Disaster Information using Virtual Simulation based on 3D Spatial Information. Journal of the Korean Society of Hazard Mitigation. 11(5):175-184.
Girshick R, Donahue J, Darrell T, Malik J. 2014. Rich feature hierarchies for accurate object detection and semantic segmentation. 2014 IEEE Conference on Computer Vision and Pattern Recognition. pp.580-587.
Gruen A, Huang X, Qin R, Du T, Fang W, Boavida J, Oliveira A. 2013. Joint processing of UAV imagery and terrestrial mobile mapping system data for very high resolution city modeling. Remote Sens Spatial Inf Sci. pp.175-182.
Hammoudi K, Dornaika F, Soheilian B, Vallet B, McDonald J, Paparoditis N. 2012. Recovering occlusion-free textured 3D maps of urban facades by a synergistic use of terrestrial images, 3D point clouds and area-based information. Procedia Engineering. 41(2012): 971-980.
He K, Gkioxari G, Dollar P, Girshick R. 2017. Mask R-CNN. IEEE International Conference on Computer Vision (ICCV). pp.2980-2988.
Ho WT, Lim HW, Tay YH. 2009. Two-stage license plate detection using gentle Adaboost and SIFT-SVM. Intelligent Information and Database Systems. pp.109-114.
Kim HT, Kim SB, Go JS, Eo YD, Lee BK. 2010. Building 3D Geospatial Information using Airborne Multi-Looking Digital Camera System. Journal of Convergence Information Technology. 5(1):15-22.
Levi D, Garnett N, Fetaya E. 2015. StixelNet: A Deep Convolutional Network for Obstacle Detection and Road Segmentation. British Machine Vision Conference 2015. pp.109.1-109.12.
Papageorgiou CP, Oren M, Poggio T. 1998. A general framework for object detection. Sixth International Conference on Computer Vision. pp.555-562.
Powers, David MW. 2011. Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation. Journal of Machine Learning Technologies. 2(1):37-63.
Remondino F, Barazzetti L, Nex F, Scaioni M, Sarazzi D. 2011. UAV photogrammetry for mapping and 3D modeling-Current status and future perspectives. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. XXXVIII-1(C22):25-31.
Ren S, He K, Girshick R, Sun J. 2015. Faster r-cnn: Towards real-time object detection with region proposal networks. Neural Information Processing Systems (NIPS). pp.91-99.
Simard PY, Steinkraus D, Platt JC. 2003. Best practices for convolutional neural networks applied to visual document analysis. Document Analysis and Recognition. p.958.
Sivaraman S, Trivedi MM. 2013. A review of recent developments in vision-based vehicle detection. Intelligent Vehicles Symposium (IV). pp.310-315.
Sivaraman S, Trivedi MM. 2014. Active learning for on-road vehicle detection: A comparative study. Machine vision and applications. 25(3): 599-611.

상세보기
Xiao J, Fang T, Zhao P, Lhuillier M, Quan L. 2009. Image-based street-side city modeling. In ACM transactions on Graphics (TOG). 28(5):114.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증