[논문]딥러닝 영상처리를 통한 비탈면의 지반 특성화 영역 자동 분류에 관한 연구

이규범; 신휴성; 김승현; 하대목; 최이수

doi:10.7474/tus.2019.29.6.508

딥러닝 영상처리를 통한 비탈면의 지반 특성화 영역 자동 분류에 관한 연구
A Study on Automatic Classification of Characterized Ground Regions on Slopes by a Deep Learning based Image Segmentation 원문보기

터널과 지하공간: 한국암반공학회지 = Tunnel and underground space, v.29 no.6, 2019년, pp.508 - 522

이규범 (한국과학기술연합대학원대학교&한국건설기술연구원) , 신휴성 (한국건설기술연구원) , 김승현 (한국건설기술연구원) , 하대목 (서울과학기술대학교) , 최이수 (한양대학교)

초록
AI-Helper

비탈면의 붕괴로 인해 재산피해뿐만 아니라 인명피해 또한 발생할 수 있으므로 안정성 평가를 통해 비탈면의 붕괴여부 예측 및 보강을 진행해야 한다. 본 논문은 비탈면 영상에서 암반 절리군, 암반 단층, 토양, 비탈면 누수영역 등 비탈면 붕괴와 관련하여 특성화 시킬 수 있는 지반 영역들을 정의하고 이를 딥러닝 기법을 통해 자동으로 분류해 낼 수 있는 방법에 대해 고찰하였다. 이에 따라 딥러닝 객체 영역분할(Instance segmentation) 네트워크를 활용하여 영상에 보여지는 다른 특성을 갖는 지반영역의 정확한 형상을 인식하고 자동 분할 할 수 있음을 보였으며, 향후 비탈면 안정성 평가를 위해 시행되는 비탈면 매핑 작업을 지원하고, 비탈면 보강 대책 등 의사결정에 필요한 비탈면의 지반특성 정보를 자동으로 산출할 수 있는 가능성을 보였다.

Abstract ▼ AI-Helper

Because of the slope failure, not only property damage but also human damage can occur, slope stability analysis should be conducted to predict and reinforce of the slope. This paper, defines the ground areas that can be characterized in terms of slope failure such as Rockmass jointset, Rockmass fault, Soil, Leakage water and Crush zone in sloped images. As a result, it was shown that the deep learning instance segmentation network can be used to recognize and automatically segment the precise shape of the ground region with different characteristics shown in the image. It showed the possibility of supporting the slope mapping work and automatically calculating the ground characteristics information of slopes necessary for decision making such as slope reinforcement.

주제어

표/그림 (10)

그림 Fig. 1. Three computer vision tasks for slope ground characteristic recognition (KICT, 2016) (a) object detection (b) semantic segmentation (c) instance segmentation
그림 Fig. 2. Architecture of Mask R-CNN (Lim, 2017)
그림 Fig. 3. 2 slope camera image examples (a) captured by drone (b) captured by human
그림 Fig. 4. Slope stereo image instance segmentation labeling samples (a) Rockmasss jointset, Rockmass fault, Soil, Slope failure area (b) Water leaked area
표 Table 1. Composition of deep learning datasets
표 Table 2. Deep learning management parameters
표 Table 3. Deep learning management environments
그림 Fig. 5. Deep learning validation results (a) Result for training dataset using instance segmentation standard (b) Result for validation dataset using instance segmentation standard (c) Result for training dataset using object detection standard (d) Result for validation dataset using object detection standard
그림 Fig. 6. Deep learning inference image examples with 5 object classes: (1) jointed rockmass(green) (2) Rockmass fault(red) (3) Soil (yellow) (4) Crush zone (orange) (5) Leakage water (blue)
그림 Fig. 7. Comparison between ground truths and deep learning model inference results

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

절리 암반(Rockmass jointset) 영역은 절리가 발달된 암반체로 정의하였으며, 절리의 방향성과 간격 등의 절리 정보를 특성화 하지는 않았으며, 절리가 발달된 암반 영역으로 단순화해 하나의 분류 클래스로 정의하였다. 본 논문에서는 인스턴스 분류기법을 기반으로 연구를 진행하므로 절리군의 방향성을 고려하지 않고 암반 절리군 영역을 인식하는 것에 초점을 맞추었다. 이후, 보다 세분화된 절리암반체의 특성 정보를 얻기 위한 연구가 진행될 계획이다.
본 연구는 기존 연구에 실시간 대응성을 강화하고, 영상 해상도 조건 및 그림자 조건과 상관없이 보다 일관성 있는 비탈면 매핑 작업을 자동으로 수행하기 위한 연구를 시도한다. 이를 위한 일환으로, 딥러닝 학습을 통해 토양 및 절리 암반면을 분류해 내고, 누수지점 및 부분 함몰영역 등 비탈면 지반 특성화 영역들을 자동 구분하고 분할할 수 있는 딥러닝 영상처리 기법을 제안한다.
이를 위한 일환으로, 딥러닝 학습을 통해 토양 및 절리 암반면을 분류해 내고, 누수지점 및 부분 함몰영역 등 비탈면 지반 특성화 영역들을 자동 구분하고 분할할 수 있는 딥러닝 영상처리 기법을 제안한다. 이에 따라 국내 도로 현장에서 촬영된 실제 비탈면 현장영상으로 딥러닝 학습 데이터셋을 구성하여 학습하며, 학습하지 않은 비탈면영상에 대한 영역 분류 추론 결과 분석을 수행하고, 제안 기법의 성능과 현장 적용 가능성을 고찰해 보고자 한다.

가설 설정

4(c)와 Fig. 4(d))에도 객체 영역 인식율에 대한 척도(AP값)의 계산은 어려웠음을 알 수 있다. 절리 암반 영역, 토양과 비탈면 붕괴영역은 비탈면 붕괴영상에서 큰 면적 비율로 객체가 존재하므로 무리없이 학습되어 높은 추론 성능을 보였음을 알 수 있다.

제안 방법

Fig. 4는 상기 설명한 내용을 바탕으로 COCO Annotator를 활용하여 암반 절리군, 암반 단층, 토양, 비탈면 붕괴영역 및 비탈면 누수영역 클래스를 레이블링한 영상 샘플들이며, 암반 절리군은 초록색, 암반 단층은 빨간색, 토양은 노란색, 비탈면 붕괴영역은 주황색, 그리고 누수영역은 하늘색으로 구분하여 레이블링을 진행하였다.
딥러닝 모델의 학습은 Nvidia GTX 1070 Ti 8GB 2장을 기준으로 약23시간 24분이 소요되었으며, AP값을 바탕으로 학습용 및 검증용 데이터셋마다 딥러닝 모델의 인식성능을 평가하였다. 그런데, 데이터셋의 평가는 상당한 시간이 소요되므로 본 논문에서는 10 Epoch마다 딥러닝 모델을 평가하였다. 그리고 인스턴스 분류기법 기준보다 더쉬운 객체인식 기준을 포함하여 AP값의 평가 및 분석을 진행하였으며, Fig.
토양(Soil)은 비탈면에서 취약한 요소로 판단할 수 있으며, 강우 및 지진 등의 자연재해로 비탈면이 붕괴될 수 있으므로 본 논문의 인식 목표중 하나로 선정하였다. 그런데, 비탈면에서 풍화된 암반이 존재하기 때문에 영상에서 토양과 풍화된 암반을 구별하는 것은 쉽지 않으므로 시공현장 보고서에서 각 비탈면 현장에 대한 도면을 참조하여 토양의 위치를 파악한 후, 레이블링을 진행하였다.
딥러닝 모델을 학습하기 위해서는 해당 딥러닝 모델에 대한 최적의 학습상수를 설정한 다음 학습할 수 있어야 한다. 그런데, 아무런 배경 없이 딥러닝 모델에 대한 최적의 학습상수를 설정하는 연구는 상당한 시간이 소요되므로 본 논문에서는 Table 2와 같이 Mask R-CNN 딥러닝 모델에 대하여 이미검증된 최적의 학습 상수값으로 설정하였다 (He et al., 2017).
3(b)와 같이 인력으로 비탈면현장을 촬영한 경우, 드론으로 촬영한 영상과 비교했을 때 비탈면현장 전체를 촬영하기 힘들기 때문에 비탈면현장의 일부를 카메라로 근접 촬영한 영상이 다수이다. 그럼에도 불구하고 현재 인력에 의해 촬영된 비탈면 붕괴영상이 다수 존재하므로 데이터셋에 인력으로 촬영된 영상을 포함하여 딥러닝 모델의 학습에 반영하였다.
그런데, 데이터셋의 평가는 상당한 시간이 소요되므로 본 논문에서는 10 Epoch마다 딥러닝 모델을 평가하였다. 그리고 인스턴스 분류기법 기준보다 더쉬운 객체인식 기준을 포함하여 AP값의 평가 및 분석을 진행하였으며, Fig. 5와 같이 딥러닝 모델의 검증결과를 객체 클래스마다, 그리고 10 Epoch 학습 완료시 마다 그래프로 도시하였다. Fig.
Table 1은 딥러닝 모델을 학습할 비탈면 붕괴영상 데이터셋의 현황을 나타내었다. 데이터셋에 대한 딥러닝 모델의 과적합을 피하기 위해 전체 681개의 비탈면 붕괴영상에서 학습 및 검증용 데이터셋을 9:1의 비율로 임의로 나누었다. 각 데이터셋에서 객체수는 암반 절리군, 비탈면 붕괴영역, 암반 단층, 토양 및 누수영역 순서로 다수 존재하였다.
Zhao(2018)는 노천 광산 및 채석장의 비탈면 영상을 촬영하였으며, 비탈면 상공에서 드론으로 촬영하였으므로 태양빛에 의한 그림자의 영향을 받았으나, 인력이 접근할 수 없는 비탈면 영역을 쉽게 접근할 수 있으므로 가까운 상공에서 선명한 비탈면 영상을 얻을 수 있다. 드론 영상을 바탕으로 밝기 및 대비 조정을 통해 촬영 비탈면 영상 내의 그림자 영역을 제거하는 영상처리 과정을 거쳐, RGB영상에서 흑백 영상으로 변환한 다음, 소프트웨어를 통해 암반 비탈면에서 나타날 수 있는 암반 비탈면 불연속면의 크기 및 위치를 알 수 있는 영상을 추출하였다. 그러나 영상처리 알고리즘으로 영상을 보정하므로 영상의 해상도, 선명도 및 노이즈 등의 조건에 매우 의존적인 특징을 갖는다.
딥러닝 모델의 학습은 Nvidia GTX 1070 Ti 8GB 2장을 기준으로 약23시간 24분이 소요되었으며, AP값을 바탕으로 학습용 및 검증용 데이터셋마다 딥러닝 모델의 인식성능을 평가하였다. 그런데, 데이터셋의 평가는 상당한 시간이 소요되므로 본 논문에서는 10 Epoch마다 딥러닝 모델을 평가하였다.
그런데, 영상에서 단층은 대부분 선의 형태로 관찰되므로 영역을 인식하는 것이 목적인 인스턴스 분류기법을 적용하기 위해 암반 단층을 대상으로 레이블링을 진행하여도 제대로 인식하지 못할 가능성이 있다. 따라서 본 논문은 암반 단층에 대하여 단층선 주변의 영역까지 포함하여 레이블링을 진행하였으며, 결과적으로 암반 단층은 발달방향으로 길쭉한 영역의 형태로 레이블링된다.
본 논문에서는 Mask R-CNN을 활용하므로 영상의 특징을 추출하는 합성곱 인공신경망이 중요한 역할을 하며, 50층의 Residual network를 사용한다. Residual network는 기존 합성곱 인공신경망과 다르게 일부 합성곱층만 거치는 구조이며, 이미지 분류에서 매우 우수한 성능을 보인다(He et al.
딥러닝 모델을 바탕으로 비탈면의 지반특성 자동분류를 하려면 먼저 비탈면 붕괴영상을 수집한 다음, 분류를 위한 비탈면 지반 특성화 영역(class)들을 사전에 정의하고, 기 확보된 모든 비탈면영상에 보여지는 모든 지반 특성화 영역을 대해 레이블링 작업을 진행해야 한다. 본 논문에서는 단일 비탈면 시공 지역에 대한 데이터셋을 활용하여 레이블링을 진행하였으며, 딥러닝 모델의 학습과 검증에 활용하였다.
본 논문에서는 딥러닝 학습 대상 지반 자동분류 대상 객체 클래스인 암반 절리군, 암반 단층, 토양, 비탈면 붕괴영역 및 비탈면 누수영역을 선정하여 비탈면 붕괴영상의 레이블링을 진행하였다. 영상의 레이블링 작업은 COCO Annotator 웹 기반 레이블링 프로그램을 활용하였으며, 정지영상 기준으로 기 정의된 클래스 객체의 영역을 다각형의 형태로 그리는 작업을 진행하였다 (Brooks, 2019).
본 연구에 활용된 비탈면 현장은 OO도로 시공 현장이며, 해당 도로 시공구간의 5개 비탈면에 대해 드론 및 인력을 통해 다각도에서 동영상으로 촬영하였다. 본 논문은 Fig. 2와 같이 CNN이 다양한 영상들의 특징을 추출하도록 학습하는 것이 가능하므로 딥러닝 모델의 범용성을 높이기 위해 드론과 인력이 촬영한 영상들을 구분 없이 모두 딥러닝 모델 구성에 활용하였다. 5개의 비탈면 지역에서 촬영된 영상은 정지영상 기준으로 총681장이며, Fig.
본 논문은 딥러닝 인스턴스 분류기법을 통해 비탈면의 지반특성 자동분류에 대한 연구를 수행하였으며, 5개의 자동인식 대상 클래스들에 대한 딥러닝 모델의 인식성능을 인스턴스 분류 기준과 객체인식 기준으로 평가하였다. 그 결과, 암반 절리군, 토양, 비탈면 붕괴영역과 누수영역은 영상의 해상도와 촬영지점의 위치/방향 등의 영상조건과 무관하여 인스턴스 분류가 가능함을 보였다.
, 2006). 비탈면 누수영역의 레이블링은 비탈면을 부분적으로 촬영한 영상에서 명백하게 젖어있는 영역과 각 비탈면 현장에 대한 도면에 기록된 누수지점을 참조하였다.
, 2006). 비탈면 붕괴영역은 영상에서 육안 상으로 명백하게 확인 가능하므로 레이블링이 수월하며, 각 비탈면 현장에 대한 도면을 참조하여 비탈면 붕괴영역의 존재유무를 판단하여 레이블링을 진행하였다.
상기 설명한 비탈면 지반분류 대상 객체 클래스들을 인식하기 위한 영상 데이터셋을 준비한 다음, 딥러닝 모델의 인식능력을 검증하기 위한 실험을 진행하였다. 이에 맞추어 딥러닝 모델의 학습조건 및 환경을 설정한 다음, 추론성능을 검토하였다.
4(a)에서 암반 절리군은 영상에서 암반임이 명확하며, 절리들이 표현된 영역을 레이블링하였다. 암반 단층은 영상에서 암반층이 균열을 기준으로 명확하게 나누어 졌을 때, 균열에 해당하는 영역을 레이블링하였으며, 단층선 주변의 영역까지 포함하여 레이블링을 진행하였다. 토양은 영상에서 토양으로 관찰된 영역을 레이블링하였으며, 마지막으로 Fig.
본 연구는 기존 연구에 실시간 대응성을 강화하고, 영상 해상도 조건 및 그림자 조건과 상관없이 보다 일관성 있는 비탈면 매핑 작업을 자동으로 수행하기 위한 연구를 시도한다. 이를 위한 일환으로, 딥러닝 학습을 통해 토양 및 절리 암반면을 분류해 내고, 누수지점 및 부분 함몰영역 등 비탈면 지반 특성화 영역들을 자동 구분하고 분할할 수 있는 딥러닝 영상처리 기법을 제안한다. 이에 따라 국내 도로 현장에서 촬영된 실제 비탈면 현장영상으로 딥러닝 학습 데이터셋을 구성하여 학습하며, 학습하지 않은 비탈면영상에 대한 영역 분류 추론 결과 분석을 수행하고, 제안 기법의 성능과 현장 적용 가능성을 고찰해 보고자 한다.
그렇기 때문에 암반 단층의 인식목표는 영역이 아니라 선의 형태를 인식하는 것이므로 영상을 추론한 다음 시각화하여 암반 단층의 인식된 형태를 판단할 필요가 있다. 이에 따라 Fig. 6과 같이 추론 데이터의 시각화를 통해 암반 단층을 포함한 5개의 지반 특성화 영역 클래스들에 대한 딥러닝 모델의 인식능력을 판단하였다.
AP는 인스턴스 분류기법에서 딥러닝 모델의 인식성능을 하나의 값으로 간단하게 비교할 수 있으므로 컴퓨터 비전 분야에서 널리 사용되고 있는 지표이다. 이에 따라 본 논문에서도 지반특성의 인식을 위해 IoU 인식기준을 0.75로 설정한 다음, AP값을 기반으로 딥러닝 모델에 대한 평가를 진행하였다
상기 설명한 비탈면 지반분류 대상 객체 클래스들을 인식하기 위한 영상 데이터셋을 준비한 다음, 딥러닝 모델의 인식능력을 검증하기 위한 실험을 진행하였다. 이에 맞추어 딥러닝 모델의 학습조건 및 환경을 설정한 다음, 추론성능을 검토하였다.
, 2015). 제안된 영역들은 관심영역 정렬층(RoI align)을 통해 고정된 형태의 특징도(Fixed size feature map)로 변환되며, 합성곱 층(Convolutional layer)로 구성된 마스크 브랜치(Mask branch)를 통해 객체모양을 정확하게 분리한다. 그리고 완전 연결층(Fully-connected layer)은 깊은 구조의 인공신경망 층을 말하며, 직사각형 형태의 경계박스 (Bounding Box)와 객체의 클래스를 출력할 수 있다(Ren et al.
1 버전의 딥러닝 프레임워크를 이용한다. 하드웨어의 경우, CPU는 6코어 6스레드인 Intel i5-8500, Ram capacity는 8GB, GPU는 Nvidia GTX 1070 Ti 8GB 2장을 학습에 활용하였으며, 딥러닝 코드의 구조상 CPU 및 RAM을 활용하므로 딥러닝 모델 및 데이터셋의 용량에 맞추어 CPU 및 RAM을 설정하였다.
, 2016). 학습반복회수(Epoch)와 학습율(Learning rate)은 Mask R-CNN 논문에서 사용했던 최적값을 그대로 사용했으며, 영상배치크기(Image batch size)는 1장으로 설정하여, 매 영상마다 학습과 가중치 업데이트가 이루어 진다

대상 데이터

2와 같이 CNN이 다양한 영상들의 특징을 추출하도록 학습하는 것이 가능하므로 딥러닝 모델의 범용성을 높이기 위해 드론과 인력이 촬영한 영상들을 구분 없이 모두 딥러닝 모델 구성에 활용하였다. 5개의 비탈면 지역에서 촬영된 영상은 정지영상 기준으로 총681장이며, Fig. 3과 같이 드론촬영은 상공에서, 인력촬영은 지상에서 비탈면 촬영을 시행하였다.
본 논문은 681개의 비탈면 붕괴영상들을 바탕으로 레이블링 및 데이터셋 구성을 진행하였으며, Table 1와 같이 딥러닝 모델의 학습을 위한 데이터셋을 구성하였다.
본 연구에 활용된 비탈면 현장은 OO도로 시공 현장이며, 해당 도로 시공구간의 5개 비탈면에 대해 드론 및 인력을 통해 다각도에서 동영상으로 촬영하였다. 본 논문은 Fig.

이론/모형

각 출력값에 대한 판단은 IoU를 바탕으로 진행된다. 그러나 딥러닝 모델의 인식성능은 평균 정밀도 (Average precision, AP)를 바탕으로 판단한다.
본 논문에서는 딥러닝 학습 대상 지반 자동분류 대상 객체 클래스인 암반 절리군, 암반 단층, 토양, 비탈면 붕괴영역 및 비탈면 누수영역을 선정하여 비탈면 붕괴영상의 레이블링을 진행하였다. 영상의 레이블링 작업은 COCO Annotator 웹 기반 레이블링 프로그램을 활용하였으며, 정지영상 기준으로 기 정의된 클래스 객체의 영역을 다각형의 형태로 그리는 작업을 진행하였다 (Brooks, 2019).
상기 설명한 데이터셋, 학습 상수 및 환경을 설정하여 딥러닝 모델을 학습한 다음, 딥러닝 모델의 평가를 통해 검증하는 과정이 필요하다. 이에 따라 본 논문은 인스턴스 분류기법에서 참과 거짓을 정하는 기준인 Intersection over union (IoU)을 바탕으로 평가를 진행한다(Lin et al., 2014).

성능/효과

1) 본 연구에서는 절리가 발단된 암반영역, 토양 영역, 선형의 암반 단층 영역, 지하수가 흐르는 누수 영역, 부분 함몰 지반 영역 등 5개의 지반 특성화 영역에 대해 딥러닝 인스턴스 분류 알고리즘을 적용하여 자동 영역 분류를 시도하였으며, 높은 추론 성능으로 지반 특성화 영역 추론을 수행할 수 있음을 보였다. 딥러닝 기반 영역분류에서는 인력으로 가까운 거리에서 촬영된 영상이나 드론으로 먼 거리에서 촬영된 영상에 대해서도 동일한 수준의 높은 성능으로 영역 추론이 가능하였으며, 그림자 등의 노이즈 영역이 영상에 포함되어 있어도 정의된 클래스의 영역 분류에는 그리 영향을 미치지 않았다.
2) 그러나, 정의된 클래스의 영역 형상 특징에 따라 추론 성능 지표인 AP값 계산에는 영향을 미쳤다. 객체 모양이 작거나 얇고 긴 형태인 경우 딥러닝 모델을 인스턴스 분류 기준으로 계산된 IoU는 민감하게 변하며, AP를 계산할 때IoU기준이 높으면 참값이 아예 존재하지 않을 수 있다.
3) 본 논문에서 사용한 비탈면 붕괴영상 데이터의 규모는 영상 개수기준으로 볼때, 일반적인 데이터셋 규모가 최소 5,000개 이상인 것을 고려하면 작다고 볼 수 있다. 따라서 후속 연구에서 다양한 비탈면 붕괴현장의 영상을 레이블링하여 데이터셋의 규모를 키워서 학습한다면 보다 신뢰성 있는 딥러닝 모델을 학습할 수 있을 것으로 판단된다.
6는 정의된 실제 영역과 추론된 영역을 겹쳐서 함께표시한 그림이다. 4장의 영역추론 결과에서 딥러닝 모델은 객체 클래스들의 모양을 정확하게 인식하고 있으며, 특히 절리 암반 영역은 비탈면 붕괴영상마다 객체 영역 형상을 거의 완벽하게 인식하고 있다. 나머지 객체 클래스도 객체 형상을 대체로 정확하게 인식하였으며, 암반단층 또한 객체모양을 대체로 정확하게 인식한다.
객체인식 기준으로 딥러닝 모델의 검증결과를 살펴보면, 160 Epoch에서 딥러닝 모델의 인식성능은 암반 절리군, 토양, 비탈면 붕괴영역, 암반 단층 및 누수영역 순서로 높은 인식성능을 보였다. 암반 단층은 인스턴스 영역 분류와 다르게 Fig.
본 논문은 딥러닝 인스턴스 분류기법을 통해 비탈면의 지반특성 자동분류에 대한 연구를 수행하였으며, 5개의 자동인식 대상 클래스들에 대한 딥러닝 모델의 인식성능을 인스턴스 분류 기준과 객체인식 기준으로 평가하였다. 그 결과, 암반 절리군, 토양, 비탈면 붕괴영역과 누수영역은 영상의 해상도와 촬영지점의 위치/방향 등의 영상조건과 무관하여 인스턴스 분류가 가능함을 보였다. 그러나, 선형적으로 길쭉한 객체 형상 특성을 갖는 암반 단층은 객체 영역의 존재 유무는 정확히 인식되었지만, 그 형상을 정확히 추론하는데 한계가 있었다.
전체적인 학습 경향을 감안하였을 때, Epoch가 증가할수록 AP값도 일정하게 증가하는 경향이었으며, 120 Epoch에서 최고 AP값에 도달한 이후 160 Epoch 이후에는 큰AP값이 변화없이 수렴하는 경향을 보였다. 그리고 학습용 데이터셋은 일정하게 AP값이 증가하는 경향을 보였지만, 검증용 데이터셋은 절리 암반 영역을 제외하고 증가 및 감소를 반복하면서 AP값이 향상되었다. 딥러닝 모델은 검증용 데이터셋을 학습하지 않으며, 검증용 데이터셋에 포함된 객체 개수가 적기 때문에 이러한 경향을 보인 것으로 판단된다.
딥러닝 모델에 대한 AP값을 평가하면 절리암반 영역, 비탈면 붕괴영역과 토양은 딥러닝 모델이 대체로 정확하게 객체모양을 추출한 것으로 판단할 수 있다. 누수영역은 정확도가 떨어진 편이지만, 딥러닝 모델을 통한 인식 가능성은 높아 보인다
인스턴스 분류기법 기준으로 최종 학습 종료시점인 160 Epoch에서 딥러닝 모델의 추론결과를 살펴보면, 절리 암반 영역이 가장 높은 인식성능을 보였으며, 토양, 비탈면 붕괴영역, 누수영역과 암반 단층 순서로 높은 인식성능을 보였다. 암반 단층 영역에 대한 인스턴스 분류에서는 학습용 데이터셋과 검증용 데이터셋 모두 0부터 160 Epoch까지 AP값이 0이었으며, IoU 0.
전체적인 학습 경향을 감안하였을 때, Epoch가 증가할수록 AP값도 일정하게 증가하는 경향이었으며, 120 Epoch에서 최고 AP값에 도달한 이후 160 Epoch 이후에는 큰AP값이 변화없이 수렴하는 경향을 보였다. 그리고 학습용 데이터셋은 일정하게 AP값이 증가하는 경향을 보였지만, 검증용 데이터셋은 절리 암반 영역을 제외하고 증가 및 감소를 반복하면서 AP값이 향상되었다.

후속연구

1(c)와 같이 객체모양을 정확하게 분리하여 표현 가능하며, 객체인식과 똑같이 개별적으로 객체의 정보를 파악할 수 있다. 그렇기 때문에 객체인식이나 시멘틱 분할기법보다 더 어렵지만 각 객체의 면적 및 위치 등의 정보를 활용할 수 있으므로 본 논문에서 지향하는 목표인 비탈면 지반특성 인식이나 균열 검출 등 세밀한 정보가 필요한 분야에 적용가능하다는 이점이 있다. 특히 인스턴스 분할기법으로 영상에서 비탈면 지반특성 정보를 얻게 되면 영상의 좌표계에서 실제 지형의 좌표계로 변환을 통해 비탈면에 나타나는 암반 불연속면의 길이, 간극 및 간격 등의 실제 정보를 계산하는 것이 가능하며, 비탈면 안정성 평가를 진행할 때 중요한 자료로 활용할 수 있다(Kim et al.
그러나 영상처리 알고리즘으로 영상을 보정하므로 영상의 해상도, 선명도 및 노이즈 등의 조건에 매우 의존적인 특징을 갖는다. 그리고 영상에서 암반 불연속면에 대한 개별적인 정보를 알 수 없고 하나의 프로그램이 아닌 영상처리 프로그램, 암반 비탈면 불연속면 추출 프로그램, 암반 불연속면 구조식별 프로그램 및 암반 비탈면 안정성 분석 프로그램 순서로 분석을 수행하므로 분석 절차가 복잡하다는 한계점이 존재한다.
3) 본 논문에서 사용한 비탈면 붕괴영상 데이터의 규모는 영상 개수기준으로 볼때, 일반적인 데이터셋 규모가 최소 5,000개 이상인 것을 고려하면 작다고 볼 수 있다. 따라서 후속 연구에서 다양한 비탈면 붕괴현장의 영상을 레이블링하여 데이터셋의 규모를 키워서 학습한다면 보다 신뢰성 있는 딥러닝 모델을 학습할 수 있을 것으로 판단된다.
상기 언급한 문제점을 보완하여 딥러닝 모델을 바탕으로 비탈면의 지반특성을 정확하게 분류할 수 있다면 비탈면 안정성 평가에 중요한 자료로 활용할 수 있으며, 이에 더 나아가 비탈면 현장에서 자동적으로 붕괴가능성을 평가할 수 있는 프로세스의 핵심 기능으로 역할을 할 수 있을 것이다.
영상처리 알고리즘과 비교했을 때, 네트워크의 구조가 어느 데이터에 특화되지 않으며, 인식 목표 데이터셋의 구성에 따라 딥러닝 모델의 개선이 용이하다는 장점이 있다. 이러한 장점은 비탈면 붕괴영상을 바탕으로 데이터셋을 구성한 다음, 딥러닝 모델의 학습을 통해 본 논문의 목표인 비탈면의 지반특성 자동분류를 달성할 수 있을 것이다.
본 논문에서는 인스턴스 분류기법을 기반으로 연구를 진행하므로 절리군의 방향성을 고려하지 않고 암반 절리군 영역을 인식하는 것에 초점을 맞추었다. 이후, 보다 세분화된 절리암반체의 특성 정보를 얻기 위한 연구가 진행될 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	암반 단층이란	암반 단층 (Rockmass fault)은 어느 면을 경계로 양쪽 암반에 변위가 발생한 불연속면을 말하며, 비탈면의 붕괴에 큰 영향을 미치므로 반드시 인식하여 분류해야 하는 분류 클래스이다. 그런데, 영상에서 단층은 대부분 선의 형태로 관찰되므로 영역을 인식하는 것이 목적인 인스턴스 분류기법을 적용하기 위해 암반 단층을 대상으로 레이블링을 진행하여도 제대로 인식하지 못할 가능성이 있다.
	비탈면 안정성 평가를 통해 비탈면을 시공한 이후에는 꾸준히 모니터링 및 유지보수를 통해 비탈면을 관리해야하는 이유는?	비탈면은 자연적으로 존재하는 자연비탈면과 깎거나 쌓아서 인공적으로 조성된 인공비탈면으로 구분할 수 있으며 도로, 철도 선로, 건설재료 및 부지 등의 확보를 위한 목적으로 조성된다(MLTMA, 2011). 자연비탈면과 깎아서 조성된 인공비탈면은 일반적으로 불균질한 토양과 암반으로 구성되어 있고, 암반 불연속면의 상태와 방향성에 민감하며, 강우 등의 기상상태와 지진 등의 지반 현상에 대해 항시 중대형 붕괴 위험이 존재한다(Park et al., 2006).
	영상처리 알고리즘과 비교했을 때, Mask R-CNN의 장점은?	Mask R-CNN의 가장 큰 특징은 특징도 추출, 특징도에서 영역 제안, 그리고 영역 분리, 직사각형 경계박스 회귀 및 객체 클래스 분류과정이 모두 딥러닝 네트워크에 속하며, 학습이 가능하다는 것이다. 영상처리 알고리즘과 비교했을 때, 네트워크의 구조가 어느 데이터에 특화되지 않으며, 인식 목표 데이터셋의 구성에 따라 딥러닝 모델의 개선이 용이하다는 장점이 있다. 이러한 장점은 비탈면 붕괴영상을 바탕으로 데이터셋을 구성한 다음, 딥러닝 모델의 학습을 통해 본 논문의 목표인 비탈면의 지반특성 자동분류를 달성할 수 있을 것이다.

참고문헌 (20)

Brooks, J., 2019, COCO Annotator, https://github.com/jsbroks/coco-annotator/
He, K., Gkioxari, G., Dollar, P., and Girshick, R., 2017, Mask r-cnn, In Proceedings of the IEEE international conference on computer vision, pp. 2961-2969.
He, K., Zhang, X., Ren, S., and Sun, J., 2016, Deep residual learning for image recognition, In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778.
Ioffe, S., and Szegedy, C., 2015, Batch normalization: Accelerating deep network training by reducing internal covariate shift, arXiv preprint arXiv:1502.03167.
Kim, J., H., and Kim, J., D., 2001, 암반 비탈면 영상을 이용한 절리의 방향성 해석, 한국암반공학회 학술대회 및 세미나 자료집, pp. 59-68.
Kim, J., T., Lee, C., J., Kim, J., H., Lee, Y., S., Ahn, K., H., Kim, S., D., and Jeong, G., C., 2008, Mapping and Slope Stability Analysis in Weathered Gneiss, Conference of Korean Society of Engineering Geology, pp. 163-170.
Korea Institute of Civil Engineering and Building Technology(KICT), 2016, 옥동-농소 2공구 도로개설공사: 비탈면 정밀조사 및 대책안 제시 검토의견서.
Krizhevsky, A., Sutskever, I., and Hinton, G. E., 2012, Imagenet classification with deep convolutional neural networks, In Advances in neural information processing systems, pp. 1097-1105.
LeCun, Y., Bengio, Y., and Hinton, G., 2015, Deep learning, Nature, Vol. 521, pp. 436-444.

상세보기
Lim, C.U., 2017, Mask R-CNN, www.slideshare.net/windmdk/mask-rcnn
Lin, T. Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Bourdev, J., Girshick , R., Dollar, P., and Zitnick, C. L., 2014, Microsoft coco: Common objects in context, In European conference on computer vision, pp. 740-755.
Ministry of Land, Transport and Maritime Affairs(MLTMA), 2011, 도로비탈면 유지관리 실무매뉴얼.
Nair, V., and Hinton, G. E., 2010, Rectified linear units improve restricted boltzmann machines, In Proceedings of the 27th international conference on machine learning (ICML-10), pp. 807-814.
Park, D. G., Kim, T. H., and Park, J. H., 2006, 우리나라 비탈면재해 피해현황과 대책, Geotechnical Engineering, Vol. 22, No. 6, pp. 6-18.
Ren, S., He, K., Girshick, R., and Sun, J., 2015, Faster r-cnn: Towards real-time object detection with region proposal networks, In Advances in neural information processing systems, pp. 91-99.
Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R., 2014, Dropout: a simple way to prevent neural networks from overfitting, The journal of machine learning research, Vol. 15, No. 1, pp. 1929-1958.
Voulodimos, A., Doulamis, N., Doulamis, A., and Protopapadakis, E., 2018, Deep learning for computer vision: A brief review, Computational intelligence and neuroscience.
Zhao, H., 2018, New image processing algorithm for geological structure identification of rock slopes based on drone-captured images, PhD Thesis, Colorado School of Mines, Arthur Lakes Library.
Zhu, M., 2004, Recall, precision and average precision, Department of Statistics and Actuarial Science, University of Waterloo.
Zitnick, C. L., and Dollar, P., 2014, Edge boxes: Locating object proposals from edges, In European conference on computer vision, pp. 391-405.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증