[논문]Faster R-CNN을 활용한 GPR 영상에서의 지하배관 위치추적 성능분석

고형용; 김남기

doi:10.22156/cs4smb.2019.9.5.021

Faster R-CNN을 활용한 GPR 영상에서의 지하배관 위치추적 성능분석
Performance Analysis of Detecting buried pipelines in GPR images using Faster R-CNN 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.9 no.5, 2019년, pp.21 - 26

고형용 (경기대학교 컴퓨터과학과) , 김남기 (경기대학교 컴퓨터과학과)

초록
AI-Helper

도심지에는 상 하수관로, 가스관, 수소관 등 필요에 따라 여러 가지 배관이 매설된다. 매설된 배관은 시간이 경과됨에 따라 균열 등으로 노후화되면서 폭발, 누수 등의 사고 발생 위험을 가지게 된다. 이러한 위험을 방지하기 위해 많은 노후 배관 수리, 교체되지만, 배관의 위치 또한 변경될 수 있다. 변경된 배관의 위치를 확인하지 못하면 배관을 건드려서 사고가 발생할 수 있다. 본 논문에서는 GPR을 사용하여 지하 단면 영상을 얻고, Faster R-CNN을 활용하여 지하 배관의 위치를 추정해보고, augmentation을 적용하여 부족한 데이터를 늘려서 실험을 진행하였다.

Abstract ▼ AI-Helper

Various pipes are buried in the city as needed, such as water pipes, gas pipes and hydrogen pipes. As the time passes, buried pipes becomes aged due to crack, etc. these pipes has the risk of accidents such as explosion and leakage. To prevent the risks, many pipes are repaired or replaced, but the location of the pipes can also be changed. Failure to identify the location of the altered pipe may cause an accident by touching the pipe. In this paper, we propose a method to detect buried pipes by gathering the GPR images by using GPR and Learning with Faster R-CNN. Then experiments was carried out by raw data sets and data sets augmentation applied to increase the amount of images.

주제어

표/그림 (16)

그림 Fig. 1. GPR Exploration path
그림 Fig. 2. GPR Sample Image
그림 Fig. 3. Faster R-CNN Process
그림 Fig. 4. Faster R-CNN 13-Layer Structure
그림 Fig. 5. Faster R-CNN Learning Process
그림 Fig. 6. Data set A
표 Table 1. Experiment Environment
그림 Fig. 7. Data set B
그림 Fig. 8. Data set C
그림 Fig. 9. Data set A verification image example
그림 Fig. 10. Data set B verification image example
그림 Fig. 11. Data set C verification image example
표 Table 2. Experiment result symbol meaning
표 Table 3. Experiment result
그림 Fig. 12. Graph result with augmentation applied
표 Table 4. Result with augmentation applied

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그리고 GPR에서 얻은 지하영상 단면은 해당 지하 지점의 토지상태, 금속류의 물체 위치 등을 대략적으로 파악할 수 있다. 그리고 GPR에서 얻은 지하 영상 단면을 객체탐지 방법 중 딥러닝 기반의 Faster R-CNN에 학습해보고자 한다. 이렇게 GPR과 물체 탐지 방법들을 활용하여 지하탐지 문제를 해결하려는 연구가 진행되었으며, GPR과 딥러닝 기법을 활용한 연구도 여러 가지 진행되었지만, 실험은 방해요소가 거의 없는 지하 1m의 표면 데이터이거나 대부분 시뮬레이터로 만든 가상 데이터가 사용되었다[2-5].
향후 연구로는 이미지 전처리 후 학습 진행, 배관크기에 따라 개별학습진행, 임계값 변경, 효율적인 augmentation 방법 적용 등을 통해서 적은 이미지에도 만족할만한 정확도를 보여주는 방법을 연구하고자 한다. 또한, 배관 이외에 지반함몰, 매질상태 등에 따라 배관이 없음에도 불구하고 포물선 형태를 띠는 곳을 따로 개별 학습하여 정확도를 개선해보려고 한다.
이렇게 GPR과 물체 탐지 방법들을 활용하여 지하탐지 문제를 해결하려는 연구가 진행되었으며, GPR과 딥러닝 기법을 활용한 연구도 여러 가지 진행되었지만, 실험은 방해요소가 거의 없는 지하 1m의 표면 데이터이거나 대부분 시뮬레이터로 만든 가상 데이터가 사용되었다[2-5]. 본 논문에서는 실제 GPR 이미지를 Faster R-CNN을 이용하여 GPR에서 얻은 배관의 정보를 학습하고, 간단한 Augmentation으로 검출 정확성 향상을 시키고자 하였다. Augmentation 진행 후 학습 데이터의 수 조정, stepsize 조정 2가지 방법으로 정밀도 변화를 측정했다.
RPN은 입력된 이미지에서 물체가 있을만한 여러 후보 regions을 제안하고, Object Detection에서는 RPN에서 제안한 regions에 대한 분류를 진행하게 된다. 본 논문은 GPR로부터 얻은 이미지 속 배관위치 정보를 Faster R-CNN으로 학습하여 배관의 위치를 추정해보고자 한다.

제안 방법

본 논문에서는 실제 GPR 이미지를 Faster R-CNN을 이용하여 GPR에서 얻은 배관의 정보를 학습하고, 간단한 Augmentation으로 검출 정확성 향상을 시키고자 하였다. Augmentation 진행 후 학습 데이터의 수 조정, stepsize 조정 2가지 방법으로 정밀도 변화를 측정했다.
실험환경은 Table 1과 같이 구성되었다. Faster R-CNN에서 CNN은 VGGNet을 사용했으며, ImageNet에서 제공되는 데이터 셋으로 미리 훈련한 모델을 불러와서 fine-tuning 작업을 거쳤다. 훈련은 다음 표 1 환경 하에서 진행되었다.
GPR 영상에 딥러닝 기법 중에 하나인 Faster R-CNN을 적용하여 배관 위치를 추정해보는 연구를 진행하였다. 실제로 측정한 데이터로만 학습하였고, 데이터 수가 학습하기에는 적어서 낮은 정확도를 보이고 있다.
5처럼 학습이 진행된다. ImageNet에서 제공되는 데이터 셋으로 미리 학습된 CNN모델 M0을 기반으로 fine-tuning 목적으로 GPR 이미지를 넣어서 RPN을 학습한다. 학습된 RPN M1으로 Region P1을 추출하고, M0과 P1을 기반으로 Faster R-CNN을 학습하여 모델 M2를 얻는다.
학습된 RPN M1으로 Region P1을 추출하고, M0과 P1을 기반으로 Faster R-CNN을 학습하여 모델 M2를 얻는다. M2의 convolution feature map을 고정하고 RPN 학습을 진행하여 모델 M3를 얻고, RPN M3를 기반으로 region P2를 추출하고, M3와 P2로 Feature R-CNN을 학습하여 최종적으로 모델 M4를 얻는다.
실험은 3가지 방법으로 진행되었다. 데이터 셋에 Augmentation 미적용과 적용해보고, epoch당 step size를 조정해서 실험을 진행하였다.
데이터 셋은 GPR 영상에서 나타나는 배관의 선명도에 따라 A, B, C 데이터 셋으로 나누었다.
Augmentation은 간단하게 포물선 이미지의 각도를 좌측이나 우측으로 1-3도까지 바꾸면서 생성하였다. 실험은 학습 데이터 수 조정, epoch당 step size 조정 2가지 방법으로 진행하였다.
배관관련 문서 등으로 배관의 위치를 대략적으로 파악하고 공사가 진행되지만, 확인되지 않은 배관을 건드리면 폭발, 누수, 지반함몰 등의 위험한 사고발생 위험이 있다. 이를 해결하기 위해 GPR(Ground Penetrating Radar)와 Faster R-CNN(Faster Region-based Convolutional Neural Network)을 활용해보고자 한다. GPR은 지하에 묻힌 물체를 탐지하기 위해 송신 안테나로부터 전자파를 방사하여 되돌아오는 반사파를 수신해서 지하영상 단면화를 수행한다[1].

대상 데이터

실험 A은 데이터집합 A 60장 학습, 11장 검증으로 진행하였다. Fig.
실험 B는 데이터집합 A 60장 학습하고 Fig. 10과 같은 데이터집합 B 11장 검증으로 진행했다. 포물선이라고 추정되는 이미지는 분류하지만, 모두 추정하지는 못하는 결과를 확인할 수 있다.
실험 C는 데이터집합 A 60장 학습, Fig. 11과 같은 데이터집합 C 11장 검증으로 진행했다. 뚜렷한 배관만을 학습한 모델로는 포물선이 선명하지 않은 대부분의 배관을 탐지하지 못하는 결과를 얻었다.
본 연구는 GPR 지하단면 이미지에서 배관을 찾는 과정이다. 실험에 사용된 이미지는 울산광역시에서 얻은 데이터로, GPR 300MHz, 500MHz 규격을 사용해서 얻은 지하2-10m 데이터이다.
제안된 여러 가지VGGNet 모델 중 가장 좋은 것은 16개의 Convolutional/Fully Connected Layers로 이뤄지며, 모든 convolutional Layers는 3x3, 모든 pooling Layers는 2x2로 이루어져 있다. 실험에서 사용된 모델은 13-Layer로 다음 Fig. 4처럼 구성되어 있다[10].
그리고 GPR에서 얻은 지하 영상 단면을 객체탐지 방법 중 딥러닝 기반의 Faster R-CNN에 학습해보고자 한다. 이렇게 GPR과 물체 탐지 방법들을 활용하여 지하탐지 문제를 해결하려는 연구가 진행되었으며, GPR과 딥러닝 기법을 활용한 연구도 여러 가지 진행되었지만, 실험은 방해요소가 거의 없는 지하 1m의 표면 데이터이거나 대부분 시뮬레이터로 만든 가상 데이터가 사용되었다[2-5]. 본 논문에서는 실제 GPR 이미지를 Faster R-CNN을 이용하여 GPR에서 얻은 배관의 정보를 학습하고, 간단한 Augmentation으로 검출 정확성 향상을 시키고자 하였다.
ImageNet에서 제공되는 데이터 셋으로 미리 학습된 CNN모델 M0을 기반으로 fine-tuning 목적으로 GPR 이미지를 넣어서 RPN을 학습한다. 학습된 RPN M1으로 Region P1을 추출하고, M0과 P1을 기반으로 Faster R-CNN을 학습하여 모델 M2를 얻는다. M2의 convolution feature map을 고정하고 RPN 학습을 진행하여 모델 M3를 얻고, RPN M3를 기반으로 region P2를 추출하고, M3와 P2로 Feature R-CNN을 학습하여 최종적으로 모델 M4를 얻는다.

성능/효과

원본 실험데이터가 불충분하므로 augmentation은 400장까지만 진행하였다. 결과에서 확인할 수 있듯이 데이터의 수가 늘어날수록 정확도가 향상되는 것을 확인할 수 있다. 또한 100-300장까지는 stepsize 1000에서 최적의 성능을 보여주고 있고, 400장은 stepsize 1500에서 최적의 성능을 보여주고 있다.
실제로 측정한 데이터로만 학습하였고, 데이터 수가 학습하기에는 적어서 낮은 정확도를 보이고 있다. 다만, 간단한 augmentation을 적용하여 데이터의 수를 늘려서 학습을 진행했을 때 정확도가 향상되는 점을 확인하였다. 향후 연구로는 이미지 전처리 후 학습 진행, 배관크기에 따라 개별학습진행, 임계값 변경, 효율적인 augmentation 방법 적용 등을 통해서 적은 이미지에도 만족할만한 정확도를 보여주는 방법을 연구하고자 한다.
따라서 적은 양의 데이터로 모델을 효율적으로 학습하기 위해서 데이터를 늘려야 될 필요가 있다. 데이터를 수집하면서 GPR 주파수, 수집범위 등에 따라 데이터가 달라지는 것을 확인하였다. 이를 이용하여 수집된 데이터를 확대, 회전으로 데이터를 늘릴 수 있었다[11].

후속연구

다만, 간단한 augmentation을 적용하여 데이터의 수를 늘려서 학습을 진행했을 때 정확도가 향상되는 점을 확인하였다. 향후 연구로는 이미지 전처리 후 학습 진행, 배관크기에 따라 개별학습진행, 임계값 변경, 효율적인 augmentation 방법 적용 등을 통해서 적은 이미지에도 만족할만한 정확도를 보여주는 방법을 연구하고자 한다. 또한, 배관 이외에 지반함몰, 매질상태 등에 따라 배관이 없음에도 불구하고 포물선 형태를 띠는 곳을 따로 개별 학습하여 정확도를 개선해보려고 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	배관 위치를 추정을 위해 augmentation을 적용하여 학습을 진행했을 때 어떤 결과를 얻을 수 있는가?	원본 실험데이터가 불충분하므로 augmentation은 400장까지만 진행하였다. 결과에서 확인할 수 있듯이 데이터의 수가 늘어날수록 정확도가 향상되는 것을 확인할 수 있다. 또한 100-300장까지는 stepsize 1000에서 최적의 성능을 보여주고 있고, 400장은 stepsize 1500에서 최적의 성능을 보여주고 있다. 그 이후로는 비슷한 이미지가 너무 많이 학습되어서 오버피팅되는 결과가 나타났다.
	GPR의 역할은 무엇인가?	이를 해결하기 위해 GPR(Ground Penetrating Radar)와 Faster R-CNN (Faster Region-based Convolutional Neural Network)을 활용해보고자 한다. GPR은 지하에 묻힌 물체를 탐지하기 위해 송신 안테나로부터 전자파를 방사하여 되돌아오는 반사파를 수신해서 지하영상 단면화를 수행한다[1]. 그리고 GPR에서 얻은 지하영상 단면은 해당 지하 지점의 토지상태, 금속류의 물체 위치 등을 대략적으로 파악할 수 있다.
	Selective Search 알고리즘을 RPN으로 대체하여 얻은 장점은?	Selective Search 알고리즘은 Region Proposal에서 좋은 성과를 보였지만, CPU에서 동작해서 전체적인 학습 및 추론 시간에서 Selective Search 알고리즘으로 인해 병목현상이 발생해서 전체적인 속도가 느려진다. 이에 비해 RPN은 GPU에서도 동작이 되고, Faster R-CNN와 네트워크를 공유해서 계산속도가 향상되고, 정확도도 향상되었다[8,9]. 그래서 Faster R-CNN은 RPN과 Object Detection으로 구성된다.

참고문헌 (11)

D. Daniels. (2004). Ground penetrating rader. The Institution of Engineering and Technology Publishing.
D. Y. Lee. (2018). Analysis of sewer pipe defect and ground subsidence risk by using CCTV and GPR monitering results. Journal of Korean Geosynthetics Society, 17(3), 47-55. DOI : 10.12814/jkgss.2018.17.3.047

원문보기 상세보기
M. G. Huici. (2013). Accurate ground penetrating radar numerical modeling for automatic detection and recognition of antipersonnel landmines. Doctoral dissertation. Rheinischen Friedrich Wilhelms Universitat Bonn, Bonn.
Q. Dou, L. Wei, D. R. Magee & A. G. Cohn. (2017). Real-time hyperbola recognition and fitting in GPR data. IEEE Transactions on Geoscience and Remote Sensing, 55(1), 51-62. DOI : 10.1109/TGRS.2016.2592679

상세보기
M. C. Lee, H. C. Shin & J. H. Yoon. (2011). A study on the ground following and location marking method for mine detection system. Journal of the Korea Institute of Military Science and Technology, 14(6), 1002-1008. DOI : 10.9766/KIMST.2011.14.6.1002

원문보기 상세보기
R. Girshick, J. Donahue, T. Darrell & J. Malik. (2014). Rich feature hierarchies for accurate object detection and semantic segmentation. 2014 IEEE Conference on Computer Vision and Pattern Recognition (pp. 580-587). DOI : 10.1109/CVPR.2014.81
R. Girshick. (2015, Sep). Fast R-CNN. 2015 International Conference on Computer Vision (pp. 1440-1448). DOI : 10.1109/ICCV.2015.169
S. Ren, K. He, R. Girshick & J. Sun. (2017). Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), 1137-1149. DOI : 10.1109/TPAMI.2016.2577031

상세보기
S. J. Shin, J. K. Park, Y. Y. Kim, J. H. Jang & I. C. Moon. (2017). Analsys of the effect of convolutional neural network model on training and prediction in Faster R-CNN. Journal of Korean Institute of Industrial Engineers, 1-5.
K. Simonyan & A. Zisserman. (2015, Apr). Very deep convolutional networks for large-scale image recognition. Proceedings of International Conference on Learning Representations (pp. 1-14).
C. J. Kim, S. K. Ko, B. E. Kim, H. D. Jung & C. S. Cho. (2018). Object detection based on data augmentation using image rotation. Journal of Institute of Electronics and Information Engineers, 545-548.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증