[논문]DeepLabV3+를 이용한 이종 센서의 구름탐지 기법 연구

김미정; 고윤호

doi:10.7780/kjrs.2022.38.5.1.6

초록
AI-Helper

위성영상에서의 구름 탐지 및 제거는 지형관측과 분석을 위해 필수적인 과정이다. 임계값 기반의 구름탐지 기법은 구름의 물리적인 특성을 이용하여 탐지하므로 안정적인 성능을 보여주지만, 긴 연산시간과 모든 채널의 영상 및 메타데이터가 필요하다는 단점을 가지고 있다. 최근 활발히 연구되고 있는 딥러닝을 활용한 구름탐지 기법은 4개 이하의 채널(RGB, NIR) 영상만을 활용하고도 짧은 연산시간과 우수한 성능을 보여주고 있다. 본 논문에서는 해상도가 다른 이종 데이터 셋을 활용하여 학습데이터 셋에 따른 딥러닝 네트워크 성능 의존도를 확인하였다. 이를 위해 DeepLabV3+ 네트워크를 구름탐지의 채널 별 특징이 추출되도록 개선하고 공개된 두 이종 데이터 셋과 혼합 데이터로 각각 학습하였다. 실험결과 테스트 영상과 다른 종류의 영상으로만 학습한 네트워크에서는 낮은 Jaccard 지표를 보여주었다. 그러나 테스트 데이터와 동종의 데이터를 일부 추가한 혼합 데이터로 학습한 네트워크는 높은 Jaccard 지표를 나타내었다. 구름은 사물과 달리 형태가 구조화 되어 있지 않아 공간적인 특성보다 채널 별 특성을 학습에 반영하는 것이 구름 탐지에 효과적이므로 위성 센서의 채널 별 특징을 학습하는 것이 필요하기 때문이다. 본 연구를 통해 해상도가 다른 이종 센서의 구름탐지는 학습데이터 셋에 매우 의존적임을 확인하였다.

Abstract ▼ AI-Helper

Cloud detection and removal from satellite images is an essential process for topographic observation and analysis. Threshold-based cloud detection techniques show stable performance because they detect using the physical characteristics of clouds, but they have the disadvantage of requiring all cha...

Cloud detection and removal from satellite images is an essential process for topographic observation and analysis. Threshold-based cloud detection techniques show stable performance because they detect using the physical characteristics of clouds, but they have the disadvantage of requiring all channels' images and long computational time. Cloud detection techniques using deep learning, which have been studied recently, show short computational time and excellent performance even using only four or less channel (RGB, NIR) images. In this paper, we confirm the performance dependence of the deep learning network according to the heterogeneous learning dataset with different resolutions. The DeepLabV3+ network was improved so that channel features of cloud detection were extracted and learned with two published heterogeneous datasets and mixed data respectively. As a result of the experiment, clouds' Jaccard index was low in a network that learned with different kind of images from test images. However, clouds' Jaccard index was high in a network learned with mixed data that added some of the same kind of test data. Clouds are not structured in a shape, so reflecting channel features in learning is more effective in cloud detection than spatial features. It is necessary to learn channel features of each satellite sensors for cloud detection. Therefore, cloud detection of heterogeneous sensors with different resolutions is very dependent on the learning dataset.

주제어

표/그림 (12)

표 Table 1. Characteristics of Satellite Sensors
그림 Fig. 1. L8-Biome Data Set: (a) Band 5 Image, (b) 4 class Ground Truth, (c) 2 class Ground Truth.
그림 Fig. 2. KOMPSAT-3 Data Set: (a) RGB Image, (b) 4 class Ground Truth, (c) 2 class Ground Truth.
그림 Fig. 3. ResNet50 Structure.
그림 Fig. 4. Cloud Detection Network.
그림 Fig. 5. Validation loss according to Epoch number.
그림 Fig. 6. KOMPSAT-3 Test Image Experiment Results: (a) RGB image, (b) 4 class GT, (c) 2 class GT, (d) Test result applying network learned by KOMPSAT-3, (e) Test result applying network learned by L8-Biome, (f) Test result applying network learned by a mixture of KOMPSAT-3 and L8-Biome.
표 Table 2. Test Results of KOMPSAT-3 image
그림 Fig. 7. L8-Biome Test Image Experiment Results: (a) NIR image, (b) 4 class GT, (c) 2 class GT, (d) Test result applying network learned by L8-Biome, (e) Test result applying network learned by KOMPSAT-3, (f) Test result applying network learned by a mixture of KOMPSAT-3 and L8-Biome.
표 Table 3. Test Results of L8-Biome image
그림 Fig. 8. L8-Biome Test Image Experiment Results: (a) Band5 image, (b) 2 class GT, (c) Test results applying network learned by L8-Biome, (d) Test result applying network learned by a mixture of KOMPSAT-3 and L8-Biome.
그림 Fig. 9. KOMPSAT-3 Test Image Experiment Results: (a) NGR image, (b) 2 class GT, (c) Test results applying network learned by KOMPSAT-3, (d) Test result applying network learned by a mixture of KOMPSAT-3 and L8-Biome.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 이종의 데이터 셋에 대해 일관성 있는 결과를 얻을 수 있는 네트워크를 구현하기 위해 필요한 요소에 대해 고찰하였다. 2장에서는 구름탐지를 위한 다양한 공개 데이터 셋과 네트워크에 대해 다루었다.
본 논문에서는 학습 데이터에 따른 구름탐지 네트워크의 성능에 대해 확인하였다. 테스트 데이터와 동종의 영상을 일부라도 포함하여 학습한 네트워크는 학습데이터가 적더라도 구름탐지가 가능하다.

대상 데이터

Fig. 4의 네트워크는 KOMPSAT-3, L8-Biome, KOMPSAT-3+L8-Biome 데이터로 각각 학습되어 3개의 best weights 파일을 확보하였다.
본 논문에서는 많은 논문에서 성능이 입증된 Deep LabV3+ 기반으로 네트워크를 구성하였다. 인코더 부분은 구름 픽셀의 채널 간 의존성을 고려하여 Xception 모듈 대신 Fig.

이론/모형

실험에 사용한 손실함수는 영역기반의 Jaccard 손실함수이며 이는 식(1)과 같다. Jaccard 지표는 두 집단이 얼마나 유사한지를 나타내 주는 것으로 본 논문에서는 정답지와 예측치의 유사도를 얻기 위해 사용하였다. 그러나 이 식에서는 구름이 거의 없는 맑은 영상은 분모가 0에 가까워 맑은 영상을 학습하기 어렵다.

성능/효과

Table 2의 지표 가운데 육안으로 구름 탐지 결과를 판단하는 것과 가장 비슷한 지표는 Jaccard 지표이다. Jaccard 지표를 통해 학습데이터에 테스트 영상과 같은 종류의 KOMPSAT-3 영상이 일부라도 포함한 경우는 구름 탐지가 가능함을 확인하였다.
구름은 물체와 달리 구체적인 형태가 없어 일반화된 공간적 특성을 정의하기 어렵고 공간적인 특성보다 채널 별 특성이 중요하므로 다른 위성에서는 다른 특성을 보여주기 쉽기 때문이다. 소량의 데이터 셋을 학습에 포함하는 것만으로도 이종 센서의 네트워크 성능을 크게 향상시키므로, 네트워크 종류보다 데이터 셋의 확보와 신뢰성이 구름탐지 기능을 향상 시키는데 더 중요하다는 것을 확인하였다. 그러나 위성마다 데이터 셋을 확보하기는 어려우므로 소량의 데이터가 정량적으로 얼마나 추가되어야 구름탐지가 가능한지 추가 연구가 필요하다.

후속연구

소량의 데이터 셋을 학습에 포함하는 것만으로도 이종 센서의 네트워크 성능을 크게 향상시키므로, 네트워크 종류보다 데이터 셋의 확보와 신뢰성이 구름탐지 기능을 향상 시키는데 더 중요하다는 것을 확인하였다. 그러나 위성마다 데이터 셋을 확보하기는 어려우므로 소량의 데이터가 정량적으로 얼마나 추가되어야 구름탐지가 가능한지 추가 연구가 필요하다. 또한 해상도가 유사한 이종 데이터 셋의 네트워크 성능에 대해 추가 확인함으로써 데이터셋의 의존도를 줄일 수 있는 방안에 대해 연구할 필요가 있다.
그러나 위성마다 데이터 셋을 확보하기는 어려우므로 소량의 데이터가 정량적으로 얼마나 추가되어야 구름탐지가 가능한지 추가 연구가 필요하다. 또한 해상도가 유사한 이종 데이터 셋의 네트워크 성능에 대해 추가 확인함으로써 데이터셋의 의존도를 줄일 수 있는 방안에 대해 연구할 필요가 있다.

참고문헌 (8)

Chen, L.-C., Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation, Proc. of the 15th European Conference on Computer Vision (ECCV), Munich, Sep. 8-14, vol. 11211, pp. 833-851. https://doi.org/10.1007/978-3-030-01234-2_49
Hughes, M.J. and D.J. Hayes, 2014. Automated detection of cloud and cloud shadow in single-date Landsat imagery using neural networks and spatial postprocessing, Remote Sensing, 6(6): 4907-4926. https://doi.org/10.3390/rs6064907

상세보기
Jeppesen, J.H., R.H. Jacobsen, F. Inceoglu, and T.S. Toftegaard, 2019. A cloud detection algorithm for satellite imagery based on deep learning, Remote Sensing of Environment, 229: 247-259. https://doi.org/10.1016/j.rse.2019.03.039

상세보기
Kim, M.J. and Y.-H. Ko, 2022. Performance Analysis of Cloud-Net with Cross-sensor Training Dataset for Satellite Image-based Cloud Detection, Korean Journal of Remote Sensing, 38(1): 103-110. https://doi.org/10.7780/kjrs.2022.38.1.8

원문보기 상세보기
Li, P., L. Dong, H. Xiao, and M. Xu, 2015. A cloud image detection method based on SVM vector machine, Neurocomputing, 169: 34-42. https://doi.org/10.1016/j.neucom.2014.09.102

상세보기
Lopez-Puigdollers, D., G. Mateo-Garcia, and L. GomezChova, 2021. Benchmarking deep learning models for cloud detection in Landsat-8 and Sentinel-2 images, Remote Sensing, 13(5): 992. https://doi.org/10.3390/rs13050992

상세보기
Mohajerani, S. and P. Saeedi, 2019. Cloud-Net: An end-to-end cloud detection algorithm for Landsat 8 imagery, Proc. of 2019 IEEE International Geoscience and Remote Sensing Symposium, Yokohama, Jul. 28-Aug. 2, pp. 1029-1032. https://doi.org/10.1109/IGARSS.2019.8898776
Qiu, S., Z. Zhu, and B. He, 2019. Fmask 4.0: Improved cloud and cloud shadow detection in Landsats 4-8 and Sentinel-2 imagery, Remote Sensing of Environment, 231: 111205. https://doi.org/10.1016/j.rse.2019.05.024

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

DeepLabV3+를 이용한 이종 센서의 구름탐지 기법 연구
A Study on the Cloud Detection Technique of Heterogeneous Sensors Using Modified DeepLabV3+ 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12)

표/그림 (12)

AI 본문요약
AI-Helper

문제 정의

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (8)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

DeepLabV3+를 이용한 이종 센서의 구름탐지 기법 연구 A Study on the Cloud Detection Technique of Heterogeneous Sensors Using Modified DeepLabV3+ 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12) 모든 표/그림 보기

표/그림 (12) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (8)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

DeepLabV3+를 이용한 이종 센서의 구름탐지 기법 연구
A Study on the Cloud Detection Technique of Heterogeneous Sensors Using Modified DeepLabV3+ 원문보기

초록
AI-Helper

표/그림 (12)

표/그림 (12)

AI 본문요약
AI-Helper