[논문]Mask R-CNN을 이용한 항공 영상에서의 도로 균열 검출

이민혜; 남광우; 이창우

doi:10.9723/jksiis.2019.24.3.023

Mask R-CNN을 이용한 항공 영상에서의 도로 균열 검출
Crack Detection on the Road in Aerial Image using Mask R-CNN 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.24 no.3, 2019년, pp.23 - 29

이민혜 (군산대학교 컴퓨터정보통신공학부) , 남광우 (군산대학교 컴퓨터정보통신공학부) , 이창우 (군산대학교 컴퓨터정보통신공학부)

초록
AI-Helper

기존의 균열 검출 방법은 많은 인력과 시간, 비용이 소모되는 문제점이 있다. 이러한 문제를 해결하고자 차량이나 드론을 이용하여 취득한 영상에서 균열 정보를 파악하고 정보화하는 자동검출시스템이 요구되고 있다. 본 논문에서는 드론으로 촬영한 도로 영상에서의 균열 검출 연구를 진행한다. 획득한 항공영상은 전처리와 라벨링(Labeling) 작업을 통해 균열의 형태정보 데이터셋(data set)을 생성한다. 생성한 데이터셋을 Mask R-CNN(regions with convolution neural network) 딥러닝(deep learning) 모델에 적용하여 다양한 균열 정보가 학습된 새로운 모델을 획득하였다. 획득 모델을 이용한 실험 결과, 제시된 항공 영상에서 균열을 평균 73.5%의 정확도로 검출하였으며 특정 형태의 균열 영역도 예측하는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

Conventional crack detection methods have a problem of consuming a lot of labor, time and cost. To solve these problems, an automatic detection system is needed to detect cracks in images obtained by using vehicles or UAVs(unmanned aerial vehicles). In this paper, we have studied road crack detection with unmanned aerial photographs. Aerial images are generated through preprocessing and labeling to generate morphological information data sets of cracks. The generated data set was applied to the mask R-CNN model to obtain a new model in which various crack information was learned. Experimental results show that the cracks in the proposed aerial image were detected with an accuracy of 73.5% and some of them were predicted in a certain type of crack region.

주제어

표/그림 (6)

그림 Fig. 1 Preprocessing
그림 Fig. 2 Annotation data using VIA
그림 Fig. 3 Display images and masks
그림 Fig. 4 Example of ideal crack detection (training data set)
그림 Fig. 5 Detection of crack on the roads
표 Table 1 Accuracy of crack on the roads

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서, 본 논문에서는 딥러닝을 이용한 항공영상에서의 도로 균열 검출 자동화에 대한 연구를 진행한다. 드론에서 획득한 영상을 전처리하여 데이터셋을 생성하고, 객체 검출에 우수한 성능을 보이는 딥러닝 모델인 Mask R-CNN[7]에 적용하여 균열 정보에 대한 학습을 진행한다.
본 논문에서는 도시환경, 교통 정보 등의 공간정보의 구현에 앞서 Mask R-CNN 모델을 이용하여 고해상도 항공영상에서의 도로 균열을 검출하는 연구를 수행하였다. 실험 결과, 학습된 모델을 기반으로 항공영상에서 균열의 개수를 평균적으로 73.

제안 방법

학습데이터를 만들기 위해 얻어진 원본 항공영상을 2차적으로 각 4분할하여 균열이 포함된 영상만 선별하였다. 다양한 균열을 학습시키기 위해 선별 영상에서 일부를 회전하여 각도를 달리 저장하여 영상의 수를 증가시켰다.
작업한 도로 균열 데이터를 추가적으로 학습시키기 위해 GitHub의 matterport 페이지[16]에서 제공하는 python용 학습 코드를 받아 수행하였다. 라벨링된 데이터는 대규모의 객체탐지, 분할, 캡셔닝(captioning)을 목적으로 만들어진 마이크로소프트의 데이터셋인 COCO(CommonObjects in Context) 모델[17]에 분류를 추가하여 도로 균열을 검출할 수 있도록 하였다.
도로 영상에서의 균열 검출은 일반적으로 정상적인 도로 표면보다 진하고 불규칙한 텍스쳐를 갖는 균열의 특징을 이용하여 검출하게 된다. 먼저, 취득한 영상을 그레이스케일로 변환하고 모폴로지 기법과 블러링 등을 이용하여 잡음을 제거한다. 잡음을 제거한 영상은 균열의 텍스쳐 정보만을 나타내기 위해 히스토그램 모양기반 이진화(histogram shape-based thresholding), Otsu 방법 등을 이용하여 이진 영상으로 분리된다.
본 논문에서는 균열이 포함하고 있는 여러 가지 특징점을 고려하여 객체의 영역을 선택하고 ‘crack’으로 라벨링하였다.
본 논문은 Python과 Keras 라이브러리를 기반으로 구현된 Mask R-CNN 모델과 라벨링된 훈련 데이터셋을 이용하여 도로 균열을 검출하였다. 작업한 도로 균열 데이터를 추가적으로 학습시키기 위해 GitHub의 matterport 페이지[16]에서 제공하는 python용 학습 코드를 받아 수행하였다.
5는 Mask R-CNN 모델의 학습을 통해 균열 정보가 추가된 모델을 이용하여 항공영상에서 도로의 균열을 검출한 결과이다. 운동장, 주차장, 자동차도로 세 가지 영상이 포함된 실험 데이터셋을 이용하여 균열의 검출 정확도를 확인하였다. 규칙적인 형태의 균열이 주를 이루는 Fig.
드론에서 획득한 영상을 전처리하여 데이터셋을 생성하고, 객체 검출에 우수한 성능을 보이는 딥러닝 모델인 Mask R-CNN[7]에 적용하여 균열 정보에 대한 학습을 진행한다. 이를 통해 얻어진 학습모델을 항공영상에 적용하여 도로 균열의 검출 성능을 분석하였다.
학습을 위한 데이터 경로의 설정 후 학습 반복횟수(epoch)는 30, 반복된 학습에 대한 가중치업데이트 횟수(Steps per epoch)는 100으로 설정하고 학습을 수행하였다.
도로 균열에 대한 데이터셋을 만들기 위해 드론을 이용하여 시작지점으로부터 1km 반경 내의 거리를 100m 상공에서 비행하여 4,864×3,648 크기의 고해상도 항공 영상 600장을 획득하였다. 획득 영상은 차량 및 계절의 영향을 받아 자연적으로 발생한 도로노면의 균열을 검출하기 위해 실제 도로를 촬영하였다.

대상 데이터

600장의 원본영상으로부터 최종적으로 선별된 크랙이 포함된 영상은 각 2432×1824 크기(원본영상의 1/4)로 총 200장을 얻었으며, 이 중에서 150장은 훈련 데이터셋, 50장은 검증 데이터셋으로 사용하였다.
도로 균열에 대한 데이터셋을 만들기 위해 드론을 이용하여 시작지점으로부터 1km 반경 내의 거리를 100m 상공에서 비행하여 4,864×3,648 크기의 고해상도 항공 영상 600장을 획득하였다.
실험 데이터셋은 서로 다른 아스팔트 도로의 균열 검출율을 확인하고자, 각각 10장의 운동장, 7장의 주차장 구역과 43장의 자동차도로를 포함한 총 60장의 원본 영상(4,864×3,648 크기의 고해상도 항공 영상)으로 구성되어진다.
실험 데이터셋은 서로 다른 아스팔트 도로의 균열 검출율을 확인하고자, 각각 10장의 운동장, 7장의 주차장 구역과 43장의 자동차도로를 포함한 총 60장의 원본 영상(4,864×3,648 크기의 고해상도 항공 영상)으로 구성되어진다. 원본영상은 1/4 크기로 분할하여 검출을 수행할 경우 240장의 실험 데이터셋을 형성한다.
본 논문은 Python과 Keras 라이브러리를 기반으로 구현된 Mask R-CNN 모델과 라벨링된 훈련 데이터셋을 이용하여 도로 균열을 검출하였다. 작업한 도로 균열 데이터를 추가적으로 학습시키기 위해 GitHub의 matterport 페이지[16]에서 제공하는 python용 학습 코드를 받아 수행하였다. 라벨링된 데이터는 대규모의 객체탐지, 분할, 캡셔닝(captioning)을 목적으로 만들어진 마이크로소프트의 데이터셋인 COCO(CommonObjects in Context) 모델[17]에 분류를 추가하여 도로 균열을 검출할 수 있도록 하였다.
학습데이터를 만들기 위해 얻어진 원본 항공영상을 2차적으로 각 4분할하여 균열이 포함된 영상만 선별하였다. 다양한 균열을 학습시키기 위해 선별 영상에서 일부를 회전하여 각도를 달리 저장하여 영상의 수를 증가시켰다.

이론/모형

따라서, 본 논문에서는 딥러닝을 이용한 항공영상에서의 도로 균열 검출 자동화에 대한 연구를 진행한다. 드론에서 획득한 영상을 전처리하여 데이터셋을 생성하고, 객체 검출에 우수한 성능을 보이는 딥러닝 모델인 Mask R-CNN[7]에 적용하여 균열 정보에 대한 학습을 진행한다. 이를 통해 얻어진 학습모델을 항공영상에 적용하여 도로 균열의 검출 성능을 분석하였다.
먼저, 취득한 영상을 그레이스케일로 변환하고 모폴로지 기법과 블러링 등을 이용하여 잡음을 제거한다. 잡음을 제거한 영상은 균열의 텍스쳐 정보만을 나타내기 위해 히스토그램 모양기반 이진화(histogram shape-based thresholding), Otsu 방법 등을 이용하여 이진 영상으로 분리된다. 다음으로 에지(edge), HOG(histogram of orientedgradients), Haar-like 피쳐 등과 같은 경계 추출알고리즘과 세선화 작업을 통해 균열 영역을 추출하게 된다.

성능/효과

본 논문에서는 도시환경, 교통 정보 등의 공간정보의 구현에 앞서 Mask R-CNN 모델을 이용하여 고해상도 항공영상에서의 도로 균열을 검출하는 연구를 수행하였다. 실험 결과, 학습된 모델을 기반으로 항공영상에서 균열의 개수를 평균적으로 73.5%의 정확도로 검출하는 성과를 보였다. 그러나 훈련 데이터셋의 부족으로 특정 형태의 균열을 검출하지 못하거나, 유사한 형태의 나뭇가지들을 균열로 인식하는 문제가 발생하였다.
결과 영상을 토대로 Table 1은 육안으로 보이는 실제 균열 개수와 학습모델을 이용하여 검출된 균열의 수를 비교한 결과이다. 실험 결과, 해당 영상에 대한 균열의 평균값은 운동장 77.7%,주차장 70.1%, 자동차도로 72.6%로 도출되었으며, 평균 73.5%의 정확도를 보이는 것으로 확인되었다.
학습 환경은 Dell inspron 7577 (Intel(R) Core(TM) i7-7000HQ CPU, RAM 16.0GB, NVIDIA1060Max-Q 6G) 노트북을 사용하였으며 총 학습시간은 4시간, 항공 영상 한 장에 대한 균열 검출 시간은 평균적으로 약 31초가 소요되었다.

후속연구

그러나 훈련 데이터셋의 부족으로 특정 형태의 균열을 검출하지 못하거나, 유사한 형태의 나뭇가지들을 균열로 인식하는 문제가 발생하였다. 본 연구는 차후 보완을 통해 3차원 도시 환경의 재현, 공간정보의 구현에 사용되는 도로나 교통정보에 대한 변칙적인 데이터를 보다 정확하게 파악하고 실생활에서 도로 파손으로 인한 사고를 예방할 수 있는 지표로 활용할 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	기존의 균열 검출 방법의 단점은?	기존의 균열 검출 방법은 많은 인력과 시간, 비용이 소모되는 문제점이 있다. 이러한 문제를 해결하고자 차량이나 드론을 이용하여 취득한 영상에서 균열 정보를 파악하고 정보화하는 자동검출시스템이 요구되고 있다.
	균열을 검출하는 방법에는 무엇이 있으며 각각의 특징은?	균열을 검출하는 방법은 크게 진동을 이용하는 방법, 레이저 스캐너를 이용한 3D 복원, 영상을 이용한 영상처리 방법으로 분류된다[9]. 진동을 이용하는 방법은 가속도 센서를 이용하여 흔들림에 따라 균열 유무를 검출하며 노면 상태에 따라 변동률이 높아 신뢰성이 낮다. 3D 복원 방법은 도로표면과 균열 내부의 깊이를 측정하는 방법으로 고가의 레이저 스캐너가 필요하기 때문에 효율적이지 못하다. 영상처리 방법은 카메라로 획득한 영상에서 도로와 균열의 텍스쳐 특성을 이용하여 검출하는 방법으로 영상의 화질에 큰 영향을 주는 광 잡음, 열화 등을 감소시키는 연구가 진행되어 왔다.
	통상적인 균열의 검출방법은 어떤 방법이 사용되는가?	아스팔트 도로에 발생하는 포트홀, 균열의 검출은 도로의 파손 상태를 알리는 중요한 척도이다. 통상적인 균열의 검출방법은 노면의 갈라진틈을 검출하여 두께, 길이, 진행 방향을 측정하고 파손정도를 판단하는 방법이 사용되고 있다.

참고문헌 (17)

Kang, Y. M. and Kang, C. W, Han, K. S., Kim, J. B., “A study on network strategy for smart society by analysis of spatial information technology trends,” Journal of the Korea Institute of Information and Communication Engineering, Vol. 19, No. 6, pp. 1411-1418, 2015.
Seo, G. H., "GeoAI-based land-use change monitoring innovation and utilization plan," Technical Report: KRIHS Policy Brief, No. 694. 2018.
Kim, H. J., Eo, Y. D., Lee, J. M. and Bae, G. H., “Application research on Obstruction area detection of building wall using R-CNN technique,” Journal of Cadastre & Land InformatiX, Vol. 48, No. 2, pp. 213-225, 2018.
Joo, Y. J., “Detection method for road pavement defect of UAV imagery based on computer vision,” Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 35, No. 6, pp. 599-608, 2017.
Choi, S. W., Lee, K. T., Kim, K. S. and Kwak, S. Y., "Lane departure warning system using deep learning," Journal of the Korea Industrial Information Systems Research Vol. 24 No. 2, pp. 25-31, 2019.
Lee, D. S. and Kwon, S. K., "Vehicle plate detection method by measuring plane similarity using depth information," Journal of the Korea Industrial Information Systems Research, Vol. 24 No. 2, pp. 47-55, 2019.
He, K., Gkioxari G., Dollar P. and Girshick R., "Mask R-CNN", IEEE International Conference on Computer Vision(ICCV), pp. 2980-2988, March 2017.
Eulsukdo Bridge Corporation, "Bridge maintenance management system," Maintenance Guide Book, 2014.
Kim, Y. R., Kim, T. H. and Ryu, S. K., “Pothole detection method in asphalt pavement,” Journal of The Institute of Electronics and Information Engineers, Vol. 51, No. 10, pp. 2382-2389, 2014.
Zhang, A., Kelvin, C. P. W., Li, B., Yang, E., Dai, X., Peng, Y., Fei, Y., Liu, Y., Joshua, Q. Li. and Chen, D., “Automated pixel-level pavement crack detection on 3D asphalt surfaces using a deep-learning metwork,” Computer-Aided Civil and Infrastructure Engineering, Vol. 32, No. 5, pp. 1-15, 2017.

상세보기
Krizhevsky A., Sutskever I. and Hinton G., "ImageNet classification with deep convolutional neural networks," Advances in Neural Information Processing Systems (NIPS), pp.1097-1105, 2012.
Lee, D. S. and Yoon, S., Lee, J. W., Park, D. S., “Real-time license plate detection based on faster R-CNN,” KIPS Transactions on Software and Data Engineering, Vol. 5, No. 11, pp. 511-520, 2016.

원문보기 상세보기
Lee, J. H., Kim, B. M. and Shin, S. Y., "Effects of preprocessing and feature extraction on CNN-based fire detection performance," Journal of the Korea Industrial Information Systems Research Vol. 23 No. 4, pp. 41-53, 2018.
Ren, S., He. K., Girshick R. and Sun J., "Faster R-CNN: Towards real-time object detection with region proposal networks," Advances in Neural Information Processing Systems (NIPS), pp.91-99, 2015.
Dutta, A., Gupta, A. and Zisserman A., Visual geometry group, University of Oxford, http://www.robots.ox.ac.uk/-vgg/software/via (accessed on June, 19th, 2019)
https://github.com/matterport/Mask_RCNN (accessed on June, 19th, 2019)
Lin, T.-Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Dollar P. and ZitnickL, C., "Microsoft COCO: common objects in context," European Conference on Computer Vision(ECCV), 2014.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증