[논문]SPADE 기반 U-Net을 이용한 고해상도 위성영상에서의 도시 변화탐지

송창우; 정지훈; 홍성재; 김대희; 강주형

doi:10.7780/kjrs.2020.36.6.2.8

SPADE 기반 U-Net을 이용한 고해상도 위성영상에서의 도시 변화탐지
Urban Change Detection for High-resolution Satellite Images Using U-Net Based on SPADE 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.36 no.6 pt.2, 2020년, pp.1579 - 1590

송창우 (주식회사 컨텍) , (주식회사 컨텍) , 정지훈 (주식회사 컨텍) , 홍성재 (주식회사 컨텍) , 김대희 (주식회사 컨텍) , 강주형 (주식회사 컨텍)

초록
AI-Helper

본 논문에서는 고해상도의 위성영상을 활용하여 도시의 변화 양상을 분석하기 위하여 SPADE기반의 U-Net과 객체 영역기반 변화탐지 방법을 제안한다. 제안하는 네트워크는 기존의 U-Net에서 공간 정보를 잃지 않기 위해 SPADE를 사용했다. 고해상도 위성영상을 활용한 변화탐지 방법은 계획, 예측 등 다양한 도시 문제를 해결하기 위해 활용할 수 있다. IR-MAD 등 전통적인 방법인 화소 기반의 변화탐지를 수행할 경우, 다중 시기 영상 간의 기후, 계절 변화 등에 의해 화소의 변화가 민감하기 때문에 미변화 지역들이 변화 지역으로 오탐지될 가능성이 매우 크다. 이에 본 논문에서는 시계열 위성영상에서 도시를 구성하는 객체에 대한 변위를 정확하게 탐지하기 위해 도시를 구성하는 주요 공간 객체를 정의하고, 딥러닝 기반 영상 분할을 통해 추출한 후 영역 간의 변위 오차를 분석하여 변화탐지를 수행한다. 변화 양상을 분석하기 위한 공간 객체로 건축물, 도로, 농경지, 비닐하우스, 산림 영역, 수변 영역의 6개로 정의하였다. KOMPSAT-3A 위성영상으로 학습한 각 네트워크 모델을 시계열 KOMPSAT-3 위성영상에 대한 변화탐지를 수행한다. 객관적인 성능 평가를 위한 변화탐지 지표는 F1-score, Kappa를 사용한다. 제안하는 변화탐지 기법은 U-Net, UNet++ 대비 뛰어난 결과를 보이며, 평균 F1 score는 0.77, kappa는 77.29의 성능을 확인할 수 있다.

Abstract ▼ AI-Helper

In this paper, spatially-adaptive denormalization (SPADE) based U-Net is proposed to detect changes by using high-resolution satellite images. The proposed network is to preserve spatial information using SPADE. Change detection methods using high-resolution satellite images can be used to resolve various urban problems such as city planning and forecasting. For using pixel-based change detection, which is a conventional method such as Iteratively Reweighted-Multivariate Alteration Detection (IR-MAD), unchanged areas will be detected as changing areas because changes in pixels are sensitive to the state of the environment such as seasonal changes between images. Therefore, in this paper, to precisely detect the changes of the objects that consist of the city in time-series satellite images, the semantic spatial objects that consist of the city are defined, extracted through deep learning based image segmentation, and then analyzed the changes between areas to carry out change detection. The semantic objects for analyzing changes were defined as six classes: building, road, farmland, vinyl house, forest area, and waterside area. Each network model learned with KOMPSAT-3A satellite images performs a change detection for the time-series KOMPSAT-3 satellite images. For objective assessments for change detection, we use F1-score, kappa. We found that the proposed method gives a better performance compared to U-Net and UNet++ by achieving an average F1-score of 0.77, kappa of 77.29.

주제어

표/그림 (22)

그림 Fig. 1. The general flowchart of the proposed change-detection. (a) proposed segmentation network (b) proposed change-detection method.
그림 Fig. 2. The flowchart of proposed network.
그림 Fig. 3. The flowchart of SPADE (Park et al., 2019).
그림 Fig. 4. Example of images showing (a) low-rise buildings in image (October, 2015) and (b) low-rise buildings in image (January, 2019).
그림 Fig. 5. Example of images showing (a) high-rise buildings in image (October, 2015) and (b) high-rise buildings in image (January, 2019).
그림 Fig. 6. The flowchart of object-region based change detection method.
그림 Fig. 7. (a) Building, (b) road, (c) farmland, (d) vinyl house, (e) forest area, and (f) waterside area.
표 Table 1. The list of KOMPSAT-3A satellite images
그림 Fig. 8. (a) Satellite image and (b) defined 'building' on satellite image.
표 Table 2. Hyperparameter for training
그림 Fig. 9. Example of dataset showing (a) input image for Area 1 (March, 2014), (b) input image for Area 1 (October, 2015), and (c) its ground truth for Area 1.
그림 Fig. 10. Example of dataset showing (a) input image for Area 2 (March, 2014), (b) input image for Area 2 (October, 2015), and (c) its ground truth for Area 2.
그림 Fig. 11. Example of dataset showing (a) input image for Area 3 (March, 2014), (b) input image for Area 3 (October, 2015), and (c) its ground truth for Area 3.
그림 Fig. 12. Example of dataset showing (a) input image for Area 4 (March, 2014), (b) input image for Area 4 (October, 2015), and (c) its ground truth for Area 4.
그림 Fig. 13. Example of dataset showing (a) input image for Area 5 (March, 2014), (b) input image for Area 5 (October, 2015), and (c) its ground truth for Area 5.
그림 Fig. 14. Ground truth and detection results for validation and testing Area 1 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.
그림 Fig. 15. Ground truth and detection results for validation and testing Area 2 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.
그림 Fig. 16. Ground truth and detection results for validation and testing Area 3 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.
그림 Fig. 17. Ground truth and detection results for validation and testing Area 4 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.
그림 Fig. 18. Ground truth and detection results for validation and testing Area 5 with the existing and proposed algorithms: (a) ground truth, (b) U-Net, (c) UNet++, and (d) proposed.
표 Table 3. F1-score comparison of the proposed and existing works
표 Table 4. Kappa comparison of the proposed and existing works

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 고해상도 위성영상을 활용한 도시 변화탐지를 수행하기 위해 딥러닝 기반 영상 분할 네트워크를 제안한다. 제안하는 도시 변화탐지를 위한 과정은 크게 두 단계로 이루어진다: 영상 분할을 통해 주요 공간객체를 추출하고, 패치 단위의 분석을 통해 변화를 탐지한다.

제안 방법

본 논문에서는 고해상도 위성영상을 활용한 도시 변화탐지를 수행하기 위해 딥러닝 기반 영상 분할 네트워크를 제안한다. 제안하는 도시 변화탐지를 위한 과정은 크게 두 단계로 이루어진다: 영상 분할을 통해 주요 공간객체를 추출하고, 패치 단위의 분석을 통해 변화를 탐지한다. 제안하는 방법은 다중시기 영상 간의 chromatic aberration, 노이즈 등의 다양한 영상 조건에도 강인한 변화탐지 결과를 얻었다.

대상 데이터

55 m의 공간해상도를 가진다. KOMPSAT-3A에서 취득한 L0F 데이터를 기본 방사보정을 거쳐 산출한 L1R 표준영상을 사용한다. Table 1은 KOMPSAT-3A 위성영상의 목록으로, 변화탐지를 위한 다시기의 영상을 학습 데이터로 사용하였다.
KOMPSAT-3A에서 취득한 L0F 데이터를 기본 방사보정을 거쳐 산출한 L1R 표준영상을 사용한다. Table 1은 KOMPSAT-3A 위성영상의 목록으로, 변화탐지를 위한 다시기의 영상을 학습 데이터로 사용하였다. 데이터를 분류하기 위해 층화추 출법(stratified sampling)을 사용하여 학습 데이터와 검증 데이터를 각각 80%, 20%로 분류하였다.

이론/모형

또한, 제안하는 방법이 다른 네트워크에 비해 ground truth에 근접하다고 볼 수 있다. 객관적인 성능평가를 위해, 본 논문에서는 F1-score와 kappa를 사용한다. Table 3는 F1-score를 비교한 것으로, 제안하는 방법은 U-Net과 UNet++에 비해 0.
Table 1은 KOMPSAT-3A 위성영상의 목록으로, 변화탐지를 위한 다시기의 영상을 학습 데이터로 사용하였다. 데이터를 분류하기 위해 층화추 출법(stratified sampling)을 사용하여 학습 데이터와 검증 데이터를 각각 80%, 20%로 분류하였다. 또한, 학습에 활용한 하이퍼파라미터는 Table 2와 같다.

성능/효과

제안하는 방법은 다중시기 영상 간의 chromatic aberration, 노이즈 등의 다양한 영상 조건에도 강인한 변화탐지 결과를 얻었다. 또한, 정량적인 평가인 F1-score와 kappa의 결과로도 기존의 네트워크들보다 뛰어난 결과를 얻었다. 하지만, 나지를 포함한 농경지, 토사를 포함한 수변 영역 등 정의하기 어려운 객체에 대한 문제가 남아 있기 때문에 향후 이를 위한 연구가 필요하다.
또한, Table 4은 변화탐지에서 평가측도로 쓰이는 kappa의 결과이다. 제안하는 방법은 U-Net보다 평균 22.93 높으며, UNet++보다 22.6 높은 결과를 얻었다.
제안하는 도시 변화탐지를 위한 과정은 크게 두 단계로 이루어진다: 영상 분할을 통해 주요 공간객체를 추출하고, 패치 단위의 분석을 통해 변화를 탐지한다. 제안하는 방법은 다중시기 영상 간의 chromatic aberration, 노이즈 등의 다양한 영상 조건에도 강인한 변화탐지 결과를 얻었다. 또한, 정량적인 평가인 F1-score와 kappa의 결과로도 기존의 네트워크들보다 뛰어난 결과를 얻었다.

후속연구

또한, 정량적인 평가인 F1-score와 kappa의 결과로도 기존의 네트워크들보다 뛰어난 결과를 얻었다. 하지만, 나지를 포함한 농경지, 토사를 포함한 수변 영역 등 정의하기 어려운 객체에 대한 문제가 남아 있기 때문에 향후 이를 위한 연구가 필요하다.

참고문헌 (20)

Badrinarayanan, V., A. Kendall, and R. Cipolla, 2017. Segnet: A deep convolutional encoder-decoder architecture for image segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495.

상세보기
Bezdek, J.C., R. Ehrlich, and W. Full, 1984. FCM: The fuzzy c-means clustering algorithm, Computers & Geosciences, 10(2-3): 191-203.

상세보기
Cicek, O., A. Abdulkadir, S. S. Lienkamp, T. Brox, and O. Ronneberger, 2016. 3D U-Net: learning dense volumetric segmentation from sparse annotation, International conference on medical image computing and computer-assisted intervention, Springer, Cham, Munich, Germany, pp. 424-432.
Cleve, C., M. Kelly, F. R. Kearns, and M. Moritz, 2008. Classification of the wildland-urban interface: A comparison of pixel-and object-based classifications using high-resolution aerial photography, Computers, Environment and Urban Systems, 32(4): 317-326.

상세보기
Cortes, C. and V. Vapnik, 1995. Support-vector networks, Machine Learning, 20(3): 273-297.

상세보기
Gong, M., H. Yang, and P. Zhang, 2017. Feature learning and change feature classification based on deep learning for ternary change detection in SAR images, ISPRS Journal of Photogrammetry and Remote Sensing, 129: 212-225.

상세보기
Im, J.-H., J. R. Jensen, and J. A. Tullis, 2008. Objectbased change detection using correlation image analysis and image segmentation, International Journal of Remote Sensing, 29(2): 399-423.

상세보기
Ioffe, S. and C. Szegedy, 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift, Proc. of 2015 International Conference on Machine Learning, Lille, FRA, Jul. 6-11, pp. 448-456.
Jiang, H., X. Hu, K. Li, J. Zhang, J. Gong, and M. Zhang, 2020. PGA-SiamNet: Pyramid Feature-Based Attention-Guided Siamese Network for Remote Sensing Orthoimagery Building Change Detection, Remote Sensing, 12(3): 484.

상세보기
Jung, S.-J., T.-H Kim, W.-H Lee, and Y.-K Han, 2019. Object-based Change Detection using Various Pixel-based Change Detection Results and Registration Noise, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 37(6): 481-489 (in Korean with English abstract).

원문보기 상세보기
Long, J., E. Shelhamer, and T. Darrell, 2015. Fully convolutional networks for semantic segmentation, Proc. of the IEEE conference on computer vision and pattern recognition, Boston, MA, Jun. 8-12, pp. 3431-3440
Nielsen, A. A., 2007. The regularized iteratively reweighted MAD method for change detection in multi-and hyperspectral data, IEEE Transactions on Image Processing, 16(2): 463-478.

상세보기
Otsu, N., 1979. A threshold selection method from gray-level histograms, IEEE Transactions on Systems, Man, and Cybernetics, 9(1): 62-66.

상세보기
Park, T., M.-Y Liu, T.-C Wang, and J.-Y Zhu, 2019. Semantic image synthesis with spatially-adaptive normalization, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, Jun. 16-20, pp. 2337-2346.
Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention, Springer, Cham, Munich, Germany, pp. 234-241.
Song, A.-R, J.-W Choi, and Y.-I Kim, 2019. Change Detection for High-resolution Satellite Images Using Transfer Learning and Deep Learning Network, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 37(3): 199-208 (in Korean with English abstract).

원문보기 상세보기
Szeliski, R., 2006. Image alignment and stitching: A tutorial, Foundations and Trends® in Computer Graphics and Vision, 2(1): 1-104.
Szegedy, C., V. Vanhoucke, S. loffe, J. Shlens, and Z. Wonjna, 2016. Rethinking the inception architecture for computer vision, Proc. of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, Jun. 26-Jul. 1, pp. 2818-2826.
Wahyu, W., J.-S Lee, and D.-G Sim, 2020. Change Detection on Multi-Spectral Images Based on Feature-level U-Net, IEEE Access, 8: 12279-12289.

상세보기
Zhou, Z., M. M. R. Siddiquee, and N. Tajbakhsh, 2018. Unet++: A nested u-net architecture for medical image segmentation, Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer, Cham, Granada, Spain, pp. 3-11.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증