[논문]손실함수의 특성에 따른 UNet++ 모델에 의한 변화탐지 결과 분석

정미라; 최호성; 최재완

doi:10.7780/kjrs.2020.36.5.2.7

손실함수의 특성에 따른 UNet++ 모델에 의한 변화탐지 결과 분석
Analysis of Change Detection Results by UNet++ Models According to the Characteristics of Loss Function 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.36 no.5 pt.2, 2020년, pp.929 - 937

정미라 (충북대학교 토목공학과) , 최호성 (충북대학교 토목공학과) , 최재완 (충북대학교 토목공학과)

초록
AI-Helper

본 논문에서는 의미론적 분할을 위한 딥러닝 기술 중의 하나인 UNet++ 모델을 이용하여 다시기 위성영상의 변화지역을 탐지하고자 하였다. 다양한 손실함수에 대한 학습결과를 분석하기 위하여, 이진 교차 엔트로피, 자카드 변수에 의하여 학습된 UNet++ 모델에 의한 변화탐지 결과를 평가하였다. 또한, 딥러닝 모델의 결과는 WorldView-3 위성영상을 활용하여 기존의 화소기반 변화탐지 기법의 결과와 비교하여 평가하였다. 실험결과, 손실함수의 특성에 따라서 딥러닝 모델의 성능이 달라질 수 있음을 확인하였으나, 기존 기법들과 비교하여 우수한 결과를 나타내는 것도 확인하였다.

Abstract ▼ AI-Helper

In this manuscript, the UNet++ model, which is one of the representative deep learning techniques for semantic segmentation, was used to detect changes in temporal satellite images. To analyze the learning results according to various loss functions, we evaluated the change detection results using trained UNet++ models by binary cross entropy and the Jaccard coefficient. In addition, the learning results of the deep learning model were analyzed compared to existing pixel-based change detection algorithms by using WorldView-3 images. In the experiment, it was confirmed that the performance of the deep learning model could be determined depending on the characteristics of the loss function, but it showed better results compared to the existing techniques.

주제어

표/그림 (9)

그림 Fig. 1. Structure of the UNet++.
그림 Fig. 2. Structure of the convolution unit in UNet++.
그림 Fig. 3. Examples of KOMPSAT-3/3A satellite training dataset: (a) Image before change, (b) image after change, (c) reference data.
표 Table 1. Specifications for WorldView-3 satellite sensor
그림 Fig. 4. (a) WorldView-3 imagery acquired from May 2017, (b) WorldView-3 imagery acquired from May 2018, (c) reference data.
표 Table 2. Hyperparameter for training
표 Table 3. Confusion matrix for evaluation of change detection result
그림 Fig. 5. Change detection results : (a) WorldView-3 image (2017/05/26), (b) WorldView-3 image (2018/05/04), (c) reference data, (d) result by CVA, (e) result by IRMAD, (f) result by PCA, (g) result by UNet++ (BCE), (h) result by UNet++ (JC).
표 Table 4. Quantitative evaluation results of each method

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

한편, 학습된 네트워크의 성능을 평가하기 위하여, 본 연구에서는 대표적인 화소기반 변화탐지 기법들과의 비교평가를 수행하고자 하였다. CVA(Change Vector Analysis) 기법, PCA(Principal Component Analysis) 기법, IRMAD(Iteratively Reweighted Multivariate Alteration Detection) 기법을 WorldView-3 영상에 적용하고, 이에 따른 결과를 함께 비교하고자 하였다. CVA, PCA, IRMAD 기법의 경우에는 학습된 네트워크와 마찬가지로 변화탐지의 결과물은 변화가능성을 나타내는 지수(index)로 표현된다.
2와 같이 활성함수가 포함된 2차원 합성곱레이어(Conv2D) 와 배치 정규화(batch normalization, BN)로 구성된 이전의 모든 합성곱 유닛으로 구성되며, 합성곱 유닛의 입력 레이어에 추가(addition)하는 잔류 네트워크(residual network)의 형태로 구성하여 효과적으로 모델의 학습이 이루어지도록 구성되었다. 따라서, UNet++는 합성곱 유닛을 통하여 딥러닝 모델의 깊이를 증대시켜 모델의 성능을 향상시켰으며, 잔류 네트워크를 통하여 학습이 제대로 이루어지지 않는 문제를 제거하고자 하였다. 특히, 본 논문에서는 Fig.
특히, 딥러닝 모델을 구축함에 있어서 다양한 해상도 및 특성을 가진 영상을 이용하여 훈련자료를 생성하고, UNet++ 모델의 깊이를 증대시켜, 다양한 위성영상에 딥러닝 모델이 적용될 수 있는지를 분석해보고자 하였다. 또한, 해당 모델을 학습함에 있어서 대표적으로 사용되는 손실함수들을 적용하여 보고, 이에 따른 결과를 평가하였다. 이를 통하여, 모델학습 시에 손실함수가 미치는 영향을 분석하고 다양한 센서에의 적용가능성을 확인하고자 하였으며, 특히 본 연구에서 개발한 딥러닝 모델을 향후 국내에서 발사 예정인 국토관측위성과 같은 차세대중형위성에의 활용가능성을 검증하고자 하였다.
특히, 다양한 공간적/분광적 특성을 가지는 위성영상에 딥러닝 모델을 적용하기 위하여 본 연구에서는 KOMPSAT-2, 3, 3A호에서 취득된 영상들을 모두 활용하여 훈련자료를 제작하였다. 또한, 훈련자료 내에는 계절이 다른 시기에 취득된 다시기 영상도 포함하여 변화탐지 과정에서 발생할 수 있는 계절적 영향에 따른 오탐지를 감소시킬 수 있는 자료를 구성하고자 하였다. 특히, 세 종류의 센서에서 취득된 영상들을 훈련자료로 사용하였기 때문에, 이를 통해 생성된 딥러닝 모델은 KOMPSAT과는 다른 해상도를 가지는 위성영상에도 적용 가능할 것으로 판단되었기 때문에, 이에 따른 모델의 효용성을 평가하고자 하였다.
본 논문에서는 UNet++ 모델을 고해상도 위성영상의 변화탐지에 적용하여 보고, 이에 따른 결과를 분석해보고자 하였다. 특히, 딥러닝 모델을 구축함에 있어서 다양한 해상도 및 특성을 가진 영상을 이용하여 훈련자료를 생성하고, UNet++ 모델의 깊이를 증대시켜, 다양한 위성영상에 딥러닝 모델이 적용될 수 있는지를 분석해보고자 하였다.
본 논문에서는 UNet++ 모델을 이용하여 다시기 위성영상의 변화지역을 탐지하고, 이에 따른 결과를 분석하고자 하였다. 특히, 다양한 손실함수에 대한 네트워크의 학습결과를 분석하고자 하였으며, 훈련자료를 이용하여 학습된 딥러닝 모델을 훈련자료에 포함되지 않은 지역 및 센서 특성에 대한 다시기 영상에 적용할 경우의 결과를 분석하여 딥러닝 모델의 활용성을 분석하고자 하였다.
본 연구에서 생성된 훈련자료를 통하여 학습된 손실함수에 따른 UNet++의 성능을 비교평가하기 위하여, 평가자료를 구성하였다. 특히, 생성된 UNet++ 모델은 다양한 KOMPSAT 위성영상에서 취득된 훈련자료를 통하여 생성되었기 때문에, UNet++ 모델의 효용성을 검증하기 위하여, KOMPSAT 위성영상을 제외한 타 위성센서에서 취득된 영상을 활용하고자 하였다.
손실함수는 딥러닝 모델 내의 변수를 최적화시킬 수 있는 기능을 가진 지표이며, 일반적으로, 평균 제곱 오차(mean squared error)와 교차 엔트로피 오차(cross entropy error) 등이 사용된다. 본 연구에서는 UNet++ 모델의 학습에 있어서 손실함수의 특성에 따른 영향을 분석하고자 하였다. 이를 위하여, 변화탐지를 위한 딥러닝 모델의 학습에 사용할 수 있는 대표적인 손실함수들을 모델학습에 적용하고, 이에 따른 결과를 비교평가하고자 하였다.
또한, 해당 모델을 학습함에 있어서 대표적으로 사용되는 손실함수들을 적용하여 보고, 이에 따른 결과를 평가하였다. 이를 통하여, 모델학습 시에 손실함수가 미치는 영향을 분석하고 다양한 센서에의 적용가능성을 확인하고자 하였으며, 특히 본 연구에서 개발한 딥러닝 모델을 향후 국내에서 발사 예정인 국토관측위성과 같은 차세대중형위성에의 활용가능성을 검증하고자 하였다.
1과 같으며, UNet과 비교하여 UNet++는 인코더 네트워크의 각 단계별로 동일한 스케일을 가지는 특징맵들을 서로 통합하는 스킵 경로(skip connection)를 구성하여 망과 같은 형태를 구성하였다는 점에 있다. 이를 통하여, 특정 스케일에서 추출할 수 있는 영상 내의 특징들을 세분화하고 딥러닝 모델 내에서 의미있는 정보를 효과적으로 추출하고자 하였다. UNet ++의 스킵경로들은 Fig.
특히, 생성된 UNet++ 모델은 다양한 KOMPSAT 위성영상에서 취득된 훈련자료를 통하여 생성되었기 때문에, UNet++ 모델의 효용성을 검증하기 위하여, KOMPSAT 위성영상을 제외한 타 위성센서에서 취득된 영상을 활용하고자 하였다. 이를 통해, 향후 국토관측위성(CAS 500-1/2) 등과 같은 센서에 의하여 취득된 영상의 활용가능성을 검증하고자 하였다. 실험에 사용한 영상은 WorldView-3 센서를 이용하여 취득된 영상을 사용하였으며, 센서의 제원은 Table 1과 같다.
3에서 확인할 수 있는 것과 같이, 변화 전/후에 대한 위성영상 및 해당 영상 내의 변화지역을 마스킹한 참조자료(reference data)를 제작하였다. 참조자료의 효과적인 생성을 위하여 딥러닝 모델에서 추출하고자 하는 변화지역은 인공구조물의 변화로 한정하고자 하였다. 따라서, 다시기 위성영상에서 판독될 수 있는 농경지와 같은 토지의 계절적 변화, 식생의 생장 등에 의한 변화, 차량과 같은 이동체 및 소규모 객체들의 변화는 미변화지역으로 가정하였다.
변화탐지를 위한 UNet++ 모델의 학습을 위하여 훈련자료를 제작하였다. 특히, 다양한 공간적/분광적 특성을 가지는 위성영상에 딥러닝 모델을 적용하기 위하여 본 연구에서는 KOMPSAT-2, 3, 3A호에서 취득된 영상들을 모두 활용하여 훈련자료를 제작하였다. 또한, 훈련자료 내에는 계절이 다른 시기에 취득된 다시기 영상도 포함하여 변화탐지 과정에서 발생할 수 있는 계절적 영향에 따른 오탐지를 감소시킬 수 있는 자료를 구성하고자 하였다.
본 논문에서는 UNet++ 모델을 이용하여 다시기 위성영상의 변화지역을 탐지하고, 이에 따른 결과를 분석하고자 하였다. 특히, 다양한 손실함수에 대한 네트워크의 학습결과를 분석하고자 하였으며, 훈련자료를 이용하여 학습된 딥러닝 모델을 훈련자료에 포함되지 않은 지역 및 센서 특성에 대한 다시기 영상에 적용할 경우의 결과를 분석하여 딥러닝 모델의 활용성을 분석하고자 하였다. 실험결과, 본 연구에서 학습된 UNet++ 모델은 기존의 화소기반 변화탐지 기법과 비교하여 우수한 변화탐지 성능을 보이는 것을 확인하였다.
본 논문에서는 UNet++ 모델을 고해상도 위성영상의 변화탐지에 적용하여 보고, 이에 따른 결과를 분석해보고자 하였다. 특히, 딥러닝 모델을 구축함에 있어서 다양한 해상도 및 특성을 가진 영상을 이용하여 훈련자료를 생성하고, UNet++ 모델의 깊이를 증대시켜, 다양한 위성영상에 딥러닝 모델이 적용될 수 있는지를 분석해보고자 하였다. 또한, 해당 모델을 학습함에 있어서 대표적으로 사용되는 손실함수들을 적용하여 보고, 이에 따른 결과를 평가하였다.
따라서, UNet++는 합성곱 유닛을 통하여 딥러닝 모델의 깊이를 증대시켜 모델의 성능을 향상시켰으며, 잔류 네트워크를 통하여 학습이 제대로 이루어지지 않는 문제를 제거하고자 하였다. 특히, 본 논문에서는 Fig. 2와 같이 3개의 Conv2D 연산으로 합성곱 유닛을 구성하여 네트워크의 깊이를 더욱 증가시켜 적용하고자 하였다. 또한, 영상에서 의미 있는 개체를 효과적으로 추출하기 위해 UNet++ 모델은 Fig.
본 연구에서 생성된 훈련자료를 통하여 학습된 손실함수에 따른 UNet++의 성능을 비교평가하기 위하여, 평가자료를 구성하였다. 특히, 생성된 UNet++ 모델은 다양한 KOMPSAT 위성영상에서 취득된 훈련자료를 통하여 생성되었기 때문에, UNet++ 모델의 효용성을 검증하기 위하여, KOMPSAT 위성영상을 제외한 타 위성센서에서 취득된 영상을 활용하고자 하였다. 이를 통해, 향후 국토관측위성(CAS 500-1/2) 등과 같은 센서에 의하여 취득된 영상의 활용가능성을 검증하고자 하였다.
또한, 훈련자료 내에는 계절이 다른 시기에 취득된 다시기 영상도 포함하여 변화탐지 과정에서 발생할 수 있는 계절적 영향에 따른 오탐지를 감소시킬 수 있는 자료를 구성하고자 하였다. 특히, 세 종류의 센서에서 취득된 영상들을 훈련자료로 사용하였기 때문에, 이를 통해 생성된 딥러닝 모델은 KOMPSAT과는 다른 해상도를 가지는 위성영상에도 적용 가능할 것으로 판단되었기 때문에, 이에 따른 모델의 효용성을 평가하고자 하였다. Fig.
한편, 학습된 네트워크의 성능을 평가하기 위하여, 본 연구에서는 대표적인 화소기반 변화탐지 기법들과의 비교평가를 수행하고자 하였다. CVA(Change Vector Analysis) 기법, PCA(Principal Component Analysis) 기법, IRMAD(Iteratively Reweighted Multivariate Alteration Detection) 기법을 WorldView-3 영상에 적용하고, 이에 따른 결과를 함께 비교하고자 하였다.

가설 설정

참조자료의 효과적인 생성을 위하여 딥러닝 모델에서 추출하고자 하는 변화지역은 인공구조물의 변화로 한정하고자 하였다. 따라서, 다시기 위성영상에서 판독될 수 있는 농경지와 같은 토지의 계절적 변화, 식생의 생장 등에 의한 변화, 차량과 같은 이동체 및 소규모 객체들의 변화는 미변화지역으로 가정하였다. 딥러닝 모델의 학습을 위하여, 생성된 훈련자료들은 256×256크기의 영상 패치(image patch)로 균등하게 분할하여 랜덤한 순서로 재구성하였으며, 총 2,336개의 영상 패치를 제작하였다.
여기서 t_i는 참조자료 내의 i번째 화소를 의미하며, 본 논문에서 변화지역의 화소는 1의 값, 미변화지역의 화솟값은 0의 값을 가지는 것을 가정한다. BCE는 참조자료의 화솟값 t_i를 기준으로 로그함수에 의하여 계산되며, 딥러닝 모델에 의하여 변화지역을 추정한 결과가 참조자료에 근접할수록 0에 가까운 값을 가지게 된다.

제안 방법

이를 통하여, 특정 스케일에서 추출할 수 있는 영상 내의 특징들을 세분화하고 딥러닝 모델 내에서 의미있는 정보를 효과적으로 추출하고자 하였다. UNet ++의 스킵경로들은 Fig. 2와 같이 활성함수가 포함된 2차원 합성곱레이어(Conv2D) 와 배치 정규화(batch normalization, BN)로 구성된 이전의 모든 합성곱 유닛으로 구성되며, 합성곱 유닛의 입력 레이어에 추가(addition)하는 잔류 네트워크(residual network)의 형태로 구성하여 효과적으로 모델의 학습이 이루어지도록 구성되었다. 따라서, UNet++는 합성곱 유닛을 통하여 딥러닝 모델의 깊이를 증대시켜 모델의 성능을 향상시켰으며, 잔류 네트워크를 통하여 학습이 제대로 이루어지지 않는 문제를 제거하고자 하였다.
(2019)의 연구와 마찬가지로, 변화탐지에 UNet++ 모델을 활용하기 위하여 모델의 입력자료로는 다시기 위성영상의 모든 밴드를 통합한 자료를 활용하며, 출력자료는 무감독 변화탐지의 결과물과 동일하게, 해당 화소가 변화지역으로 추정될 수 있는 0~1사이의 값을 가지는 확률맵으로 표현하였다. UNet++ 모델을 고해상도 위성영상에 적용하기 위하여, Fig. 2에서 언급한 바와 같이 합성곱 유닛의 합성곱 레이어는 3단계로 구성하여 네트워크의 깊이를 증대시켰다.
실험에 사용한 영상은 WorldView-3 센서를 이용하여 취득된 영상을 사용하였으며, 센서의 제원은 Table 1과 같다. WorldView-3 위성영상은 총 8개의 다중분광밴드를 가지고 있으나, 훈련자료는 4개의 밴드로 이루어져있기 때문에, 본 연구에서는 WorldView-3 영상 내에서 훈련자료와 동일한 분광파장대인 Red, Green, Blue, NIR 밴드를 추출하여 실험을 수행하였다. 연구지역은 광주광역시의 평동산업단지 주변지역이며, 2017년 5월 26일, 2018년 5월 4일에 촬영된 영상이다(Fig.
1과 같이 각 스케일 단계에서 추정된 특징맵을 통합하는 MSOF(Multiple Side-Outputs Fusion) 방법을 활용하였다. 각 스케일별 특징맵들은 해당 자료 자체가 변화지역을 탐지한 결과가 될수있지만, 해당 네 종류의 특징맵을 융복합하고, 시그모이드(sigmoid) 함수를 적용하여 최종적인 출력영상을 생성한다. 이를 통하여, 각 스케일별 정보를 효과적으로 추정하는 장점을 가지고 있다.
딥러닝 모델의 학습을 위하여, 생성된 훈련자료들은 256×256크기의 영상 패치(image patch)로 균등하게 분할하여 랜덤한 순서로 재구성하였으며, 총 2,336개의 영상 패치를 제작하였다.
해당 지역의 촬영 기간 내에 산업단지 내의 개발로 인하여 산업단지를 포함한 다양한 토지피복을 포함하고 있다. 또한, 변화탐지 결과의 평가를 위하여 영상판독 기법을 활용하여 해당 지역의 변화유무를 나타내는 참조자료를 생성하였다(Fig. 4(c)).
변화탐지를 위한 UNet++ 모델의 학습을 위하여 훈련자료를 제작하였다. 특히, 다양한 공간적/분광적 특성을 가지는 위성영상에 딥러닝 모델을 적용하기 위하여 본 연구에서는 KOMPSAT-2, 3, 3A호에서 취득된 영상들을 모두 활용하여 훈련자료를 제작하였다.
본 논문에서는 Peng et al. (2019)의 연구와 마찬가지로, 변화탐지에 UNet++ 모델을 활용하기 위하여 모델의 입력자료로는 다시기 위성영상의 모든 밴드를 통합한 자료를 활용하며, 출력자료는 무감독 변화탐지의 결과물과 동일하게, 해당 화소가 변화지역으로 추정될 수 있는 0~1사이의 값을 가지는 확률맵으로 표현하였다. UNet++ 모델을 고해상도 위성영상에 적용하기 위하여, Fig.
본 연구에서는 UNet++ 모델의 학습에 있어서 손실함수의 특성에 따른 영향을 분석하고자 하였다. 이를 위하여, 변화탐지를 위한 딥러닝 모델의 학습에 사용할 수 있는 대표적인 손실함수들을 모델학습에 적용하고, 이에 따른 결과를 비교평가하고자 하였다. 본 연구에서 사용한 손실함수는 이진 교차 엔트로피(binary cross entropy, BCE)와 자카드 계수(Jaccard coefficient, JC)를 사용하였다.
CVA, PCA, IRMAD 기법의 경우에는 학습된 네트워크와 마찬가지로 변화탐지의 결과물은 변화가능성을 나타내는 지수(index)로 표현된다. 학습된 네트워크는 0~1 사이의 값을 가지기 때문에, 0.5 이상의 값을 가지는 지역을 변화지역으로 설정하여 이진영상(binary image)로 변환하였으며, 나머지 기법들은 변화탐지지수의 히스토그램에 대하여 평균과 표준편차를 이용한 임계치를 적용하여 이진영상으로 변환하였다. 생성된 변화탐지 결과영상에 대해서는 오차 행렬(confusion matrix)에 기반한 정량적 평가를 수행하였다.
학습된 딥러닝 모델의 변화탐지 성능 평가를 위하여, 본 연구에서는 생성된 훈련자료를 이용하여 UNet++모델의 학습을 수행하였다. 모델학습은 keras를 통하여 수행되었으며, 학습에 사용된 하이퍼파라미터(hyperparameter)는 Table 2와 같다.

대상 데이터

이를 통해, 향후 국토관측위성(CAS 500-1/2) 등과 같은 센서에 의하여 취득된 영상의 활용가능성을 검증하고자 하였다. 실험에 사용한 영상은 WorldView-3 센서를 이용하여 취득된 영상을 사용하였으며, 센서의 제원은 Table 1과 같다. WorldView-3 위성영상은 총 8개의 다중분광밴드를 가지고 있으나, 훈련자료는 4개의 밴드로 이루어져있기 때문에, 본 연구에서는 WorldView-3 영상 내에서 훈련자료와 동일한 분광파장대인 Red, Green, Blue, NIR 밴드를 추출하여 실험을 수행하였다.
WorldView-3 위성영상은 총 8개의 다중분광밴드를 가지고 있으나, 훈련자료는 4개의 밴드로 이루어져있기 때문에, 본 연구에서는 WorldView-3 영상 내에서 훈련자료와 동일한 분광파장대인 Red, Green, Blue, NIR 밴드를 추출하여 실험을 수행하였다. 연구지역은 광주광역시의 평동산업단지 주변지역이며, 2017년 5월 26일, 2018년 5월 4일에 촬영된 영상이다(Fig. 4(a) and 4(b)).

이론/모형

2와 같이 3개의 Conv2D 연산으로 합성곱 유닛을 구성하여 네트워크의 깊이를 더욱 증가시켜 적용하고자 하였다. 또한, 영상에서 의미 있는 개체를 효과적으로 추출하기 위해 UNet++ 모델은 Fig. 1과 같이 각 스케일 단계에서 추정된 특징맵을 통합하는 MSOF(Multiple Side-Outputs Fusion) 방법을 활용하였다. 각 스케일별 특징맵들은 해당 자료 자체가 변화지역을 탐지한 결과가 될수있지만, 해당 네 종류의 특징맵을 융복합하고, 시그모이드(sigmoid) 함수를 적용하여 최종적인 출력영상을 생성한다.
오차 행렬은 학습된 네트워크가 예측을 수행하면서 얼마나 정확한지 보여주는 지표로 전체 영상의 픽셀에 대하여 참조자료와 비교를 통해 정확도를 평가하는 방법이다. 변화탐지 기법을 위성영상에 적용함에 있어, 결과영상과 참조자료에 대한 오차행렬은 Table 3과 같이 구성할 수 있으며, 본 연구에서는 이진분류 결과를 평가하기 위하여 F1-Score과 FPR(False Positive Rate)를 활용하였다.
이를 위하여, 변화탐지를 위한 딥러닝 모델의 학습에 사용할 수 있는 대표적인 손실함수들을 모델학습에 적용하고, 이에 따른 결과를 비교평가하고자 하였다. 본 연구에서 사용한 손실함수는 이진 교차 엔트로피(binary cross entropy, BCE)와 자카드 계수(Jaccard coefficient, JC)를 사용하였다. 딥러닝 모델에 의한 결과 영상 x내 화소 i의 변화탐지 결과에 따른 화솟값을 x_i라고 정의할 때, BCE는 식 (1)과 같이 계산된다.
5 이상의 값을 가지는 지역을 변화지역으로 설정하여 이진영상(binary image)로 변환하였으며, 나머지 기법들은 변화탐지지수의 히스토그램에 대하여 평균과 표준편차를 이용한 임계치를 적용하여 이진영상으로 변환하였다. 생성된 변화탐지 결과영상에 대해서는 오차 행렬(confusion matrix)에 기반한 정량적 평가를 수행하였다. 오차 행렬은 학습된 네트워크가 예측을 수행하면서 얼마나 정확한지 보여주는 지표로 전체 영상의 픽셀에 대하여 참조자료와 비교를 통해 정확도를 평가하는 방법이다.

성능/효과

또한, 동일한 위성센서를 이용하여 훈련자료를 제작하지 않더라도, 유사한 분광/공간적인 특성을 가지는 위성영상에 학습된 모델을 활용할 수 있음을 확인하였다. F1-score 및 FPR에 있어서도 JC를 이용하여 학습한 네트워크보다 BCE를 이용하여 학습한 네트워크의 결과가 더욱 개선된 수치를 나타내었다. 특히, UNet++(BCE)는 FPR의 관점에 있어서도 가장 우수한 결과를 보였다.
해당 지역에 대한 오탐지는 본 실험에서 인공구조물에 대한 탐지를 중점적으로 수행하기 위하여 훈련자료 제작과정에서 다양한 토지피복에 대한 변화양상을 반영하지 못하여 학습된 네트워크도 이러한 부분을 완전히 반영하지 못한 것으로 판단된다. 그러나,전체적인지역내에존재하는변화지역은 UNet++이 효과적으로 추정한 것을 확인하였다. 또한, 학습에 사용된 손실함수에 따른 영향을 분석한 결과, Fig.
Table 4에서 확인할 수 있는 것과 같이, UNet++에 의한 변화탐지 결과는 모든 정량적 지표에서 화소기반의 변화탐지 결과와 비교하여 우수한 성능을 보이는 것을 알 수 있다. 다만, 재현율에 있어서 CVA 기법이 가장 우수한 결과를 보이는 것은 CVA 기법은 실험 지역 전체에 대하여 변화지역을 과대 추정하였기 때문에 상대적으로 높은 값을 가지는 것으로 보이며, 정밀도가 매우 낮은 것으로 과대추정의 결과임을 확인할 수 있다. 따라서, 딥러닝 모델을 이용하여 변화탐지를 수행하는 것이 기존의 화소기반 변화탐지 기법과 비교하여 우수한 결과를 얻을 수 있음을 확인하였다.
다만, 재현율에 있어서 CVA 기법이 가장 우수한 결과를 보이는 것은 CVA 기법은 실험 지역 전체에 대하여 변화지역을 과대 추정하였기 때문에 상대적으로 높은 값을 가지는 것으로 보이며, 정밀도가 매우 낮은 것으로 과대추정의 결과임을 확인할 수 있다. 따라서, 딥러닝 모델을 이용하여 변화탐지를 수행하는 것이 기존의 화소기반 변화탐지 기법과 비교하여 우수한 결과를 얻을 수 있음을 확인하였다. 또한, 동일한 위성센서를 이용하여 훈련자료를 제작하지 않더라도, 유사한 분광/공간적인 특성을 가지는 위성영상에 학습된 모델을 활용할 수 있음을 확인하였다.
따라서, 딥러닝 모델을 이용하여 변화탐지를 수행하는 것이 기존의 화소기반 변화탐지 기법과 비교하여 우수한 결과를 얻을 수 있음을 확인하였다. 또한, 동일한 위성센서를 이용하여 훈련자료를 제작하지 않더라도, 유사한 분광/공간적인 특성을 가지는 위성영상에 학습된 모델을 활용할 수 있음을 확인하였다. F1-score 및 FPR에 있어서도 JC를 이용하여 학습한 네트워크보다 BCE를 이용하여 학습한 네트워크의 결과가 더욱 개선된 수치를 나타내었다.
특히, 변화탐지 결과 영상에 발생하는 노이즈 및 소규모 객체의 과대추정 현상이 감소된 것을 확인하였다. 또한, 훈련자료와 유사한 분광/공간적인 특징을 지니는 다양한 위성 영상에도 학습된 모델을 활용할 수 있음을 확인하였다. 마지막으로 모델의 훈련과정에 있어서 손실함수에 따라 모델의 성능이 변화될 수 있음을 확인하였다.
또한, 훈련자료와 유사한 분광/공간적인 특징을 지니는 다양한 위성 영상에도 학습된 모델을 활용할 수 있음을 확인하였다. 마지막으로 모델의 훈련과정에 있어서 손실함수에 따라 모델의 성능이 변화될 수 있음을 확인하였다. 향후 연구에서는 변화탐지를 위한 모델생성, 훈련자료 생성 등에 대한 추가적인 연구와 국토관측위성에 최적화된 모델 개발을 진행하고자 한다.
특히, 다양한 손실함수에 대한 네트워크의 학습결과를 분석하고자 하였으며, 훈련자료를 이용하여 학습된 딥러닝 모델을 훈련자료에 포함되지 않은 지역 및 센서 특성에 대한 다시기 영상에 적용할 경우의 결과를 분석하여 딥러닝 모델의 활용성을 분석하고자 하였다. 실험결과, 본 연구에서 학습된 UNet++ 모델은 기존의 화소기반 변화탐지 기법과 비교하여 우수한 변화탐지 성능을 보이는 것을 확인하였다. 특히, 변화탐지 결과 영상에 발생하는 노이즈 및 소규모 객체의 과대추정 현상이 감소된 것을 확인하였다.
F1-score 및 FPR에 있어서도 JC를 이용하여 학습한 네트워크보다 BCE를 이용하여 학습한 네트워크의 결과가 더욱 개선된 수치를 나타내었다. 특히, UNet++(BCE)는 FPR의 관점에 있어서도 가장 우수한 결과를 보였다. 따라서, 동일한 네트워크 및 훈련자료를 이용하여 모델을 생성하는 경우에 있어서도 최적의 손실함수를 결정하는 것이 중요함을 확인하였다.
실험결과, 본 연구에서 학습된 UNet++ 모델은 기존의 화소기반 변화탐지 기법과 비교하여 우수한 변화탐지 성능을 보이는 것을 확인하였다. 특히, 변화탐지 결과 영상에 발생하는 노이즈 및 소규모 객체의 과대추정 현상이 감소된 것을 확인하였다. 또한, 훈련자료와 유사한 분광/공간적인 특징을 지니는 다양한 위성 영상에도 학습된 모델을 활용할 수 있음을 확인하였다.
5(g) and 5(h)). 특히, 실험 영상 내에 존재하는 공사현장 지역들을 매우 효과적으로 탐지한 것을 확인할 수 있었다. 다만, 딥러닝 네트워크에 의하여 추정된 변화지역도 WorldView-3 영상 내에 존재하는 일부 농경지 지역에 대한 변화지역들에 대해서는 일부 오탐지가 발생하였다.

후속연구

따라서, 변화탐지 기법은 다양한 시기에 취득된 다시기 위성영상을 활용하여 관심지역의 변화유무를 탐지할 수 있는 대표적인 원격탐사 활용 기법이라고 할 수 있으며, 도시계획, 토지피복의 변화 분석, 재난/재해 분석, 국방 분야 등에 적용되고 있다. 특히, 국내에서 발사 예정인 국토관측위성은 국내의 다양한 국토를 주기적으로 촬영함에 따라 국토모니터링을 위한 다량의 자료를 제공할 예정이기 때문에 최적의 변화탐지 기법의 개발은 국토관측위성의 활용도를 극대화시킬 수 있을 것으로 기대된다.
다만, 딥러닝 네트워크에 의하여 추정된 변화지역도 WorldView-3 영상 내에 존재하는 일부 농경지 지역에 대한 변화지역들에 대해서는 일부 오탐지가 발생하였다. 해당 지역에 대한 오탐지는 본 실험에서 인공구조물에 대한 탐지를 중점적으로 수행하기 위하여 훈련자료 제작과정에서 다양한 토지피복에 대한 변화양상을 반영하지 못하여 학습된 네트워크도 이러한 부분을 완전히 반영하지 못한 것으로 판단된다. 그러나,전체적인지역내에존재하는변화지역은 UNet++이 효과적으로 추정한 것을 확인하였다.
마지막으로 모델의 훈련과정에 있어서 손실함수에 따라 모델의 성능이 변화될 수 있음을 확인하였다. 향후 연구에서는 변화탐지를 위한 모델생성, 훈련자료 생성 등에 대한 추가적인 연구와 국토관측위성에 최적화된 모델 개발을 진행하고자 한다.

참고문헌 (12)

Badrinarayanan, V., A. Kendall, and R. Cipolla, 2017. SegNet: A deep convolutional encoder-decoder architecture for image segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495.

상세보기
Fang, B., L. Pan, and R. Kou, 2019. Dual learningbased siamese framework for change detection using bi-temporal VHR optical remote sensing image, Remote Sensing, 11(11): 1292.

상세보기
Hou, B., Q. Liu, H. Wang, and Y. Wang, 2020. From W-Net to CDGAN: Bitemporal change detection vis deep learning techniques, IEEE Transactions on Geoscience and Remote Sensing, 58(3): 1790-1802.

상세보기
Lee, S., H. Yoo, and M. Kim, 2011. Requirements analysis on the acquisition and sharing of land-monitoring data, Seoul Studies, 12(3): 185-201.
Li, L., C. Wang, H. Zhang, B. Zhang, and F. Wu, 2019. Urban building change detection in SAR images using combined differential image and residual U-Net network, Remote Sensing, 11(9): 1091.

상세보기
Liu, J., K. Chen, G. Xu, X. Sun, M. Yan, W. Diao, and H. Han, 2020. Convolutional neural network-based transfer learning for optical aerial images change detection, IEEE Geoscience and Remote Sensing Letters, 17(1): 127-131.

상세보기
Lu, D., P. Mausel, E. Brondizio, and E. Moran, 2004. Change detection techniques, International Journal of Remote Sensing, 25(12): 2365-2401.

상세보기
Lu, D., G. Li, and E. Moran, 2014. Current situation and needs of change detection techniques, International Journal of Image and Data Fusion, 5(1): 13-38.

상세보기
Peng, D., Y. Zhang, and H. Guan, 2019. End-to-end change detection for high resolution satellite images using improved UNet++, Remote Sensing, 11(11): 1382.

상세보기
Zhan, Y., K. Fu, M. Yan, X. Sun, H .Wang, and X. Qiu, 2017. Change detection based on deep siamese convolutional network for optical aerial images, IEEE Geoscience and Remote Sensing Letters, 14(10): 1845-1849.

상세보기
Zhang, W. and X. Lu, 2019. The spectral-spatial joint learning for change detection in multispectral imagery, Remote Sensing, 11(3): 240.

상세보기
Zhou, Z., M.M.R. Siddiquee, N. Tajbakhsh, and J. Liang, 2018. Unet++: A nested u-net architecture for medical image segmentation. In Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer, Cham, pp. 3-11.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증