Sentinel-2는 분광파장대나 공간해상도 측면에서 우리나라 차세대중형위성 4호(농림위성)의 모의영상으로 활용될 수 있다. 이 단보에서는 향후 농림위성영상에 적용하기 위한 예비실험으로, 딥러닝 기술을 이용한 Sentinel-2 영상의 구름탐지를 수행하였다. 전통적인 Convolutional Neural Network (CNN) 모델인 DeepLabV3+와 최신의 Transformer 모델인 Shifted Windows (Swin) Transformer를 이용한 구름탐지 모델을 구축하고, Radiant Earth Foundation (REF)에서 제공하는 22,728장의 학습자료에 대한 암맹평가를 실시하였다. Swin Transformer 모델은 0.886의 정밀도와 0.875의 재현율로, 과탐지와 미탐지가 어느 한쪽으로 치우치지 않는 경향을 보였다. 딥러닝 기반 구름탐지는 향후 우리나라 중심의 실험을 거쳐 농림위성 영상에 활용될 수 있을 것으로 기대된다.
Sentinel-2는 분광파장대나 공간해상도 측면에서 우리나라 차세대중형위성 4호(농림위성)의 모의영상으로 활용될 수 있다. 이 단보에서는 향후 농림위성영상에 적용하기 위한 예비실험으로, 딥러닝 기술을 이용한 Sentinel-2 영상의 구름탐지를 수행하였다. 전통적인 Convolutional Neural Network (CNN) 모델인 DeepLabV3+와 최신의 Transformer 모델인 Shifted Windows (Swin) Transformer를 이용한 구름탐지 모델을 구축하고, Radiant Earth Foundation (REF)에서 제공하는 22,728장의 학습자료에 대한 암맹평가를 실시하였다. Swin Transformer 모델은 0.886의 정밀도와 0.875의 재현율로, 과탐지와 미탐지가 어느 한쪽으로 치우치지 않는 경향을 보였다. 딥러닝 기반 구름탐지는 향후 우리나라 중심의 실험을 거쳐 농림위성 영상에 활용될 수 있을 것으로 기대된다.
Sentinel-2 can be used as proxy data for the Korean Compact Advanced Satellite 500-4 (CAS500-4), also known as Agriculture and Forestry Satellite, in terms of spectral wavelengths and spatial resolution. This letter examined cloud detection for later use in the CAS500-4 based on deep learning techno...
Sentinel-2 can be used as proxy data for the Korean Compact Advanced Satellite 500-4 (CAS500-4), also known as Agriculture and Forestry Satellite, in terms of spectral wavelengths and spatial resolution. This letter examined cloud detection for later use in the CAS500-4 based on deep learning technologies. DeepLabV3+, a traditional Convolutional Neural Network (CNN) model, and Shifted Windows (Swin) Transformer, a state-of-the-art (SOTA) Transformer model, were compared using 22,728 images provided by Radiant Earth Foundation (REF). Swin Transformer showed a better performance with a precision of 0.886 and a recall of 0.875, which is a balanced result, unbiased between over- and under-estimation. Deep learning-based cloud detection is expected to be a future operational module for CAS500-4 through optimization for the Korean Peninsula.
Sentinel-2 can be used as proxy data for the Korean Compact Advanced Satellite 500-4 (CAS500-4), also known as Agriculture and Forestry Satellite, in terms of spectral wavelengths and spatial resolution. This letter examined cloud detection for later use in the CAS500-4 based on deep learning technologies. DeepLabV3+, a traditional Convolutional Neural Network (CNN) model, and Shifted Windows (Swin) Transformer, a state-of-the-art (SOTA) Transformer model, were compared using 22,728 images provided by Radiant Earth Foundation (REF). Swin Transformer showed a better performance with a precision of 0.886 and a recall of 0.875, which is a balanced result, unbiased between over- and under-estimation. Deep learning-based cloud detection is expected to be a future operational module for CAS500-4 through optimization for the Korean Peninsula.
이단보에서는 향후 농림위성영상에 적용하기 위한 예비실험으로, 딥러닝 기술을 이용한 Sentinel-2 영상의 구름 탐지를 수행하였다. 전통적인 CNN 모델인 DeepLabV3+와 최신의 Transformer 모델인 Swin Transformer를 이용한 구름탐지 모델을 구축하고, REF에서 제공하는 22,728장의 학습자료에 대한 암맹평가 결과, Swin Transformer 모델이 상당히 앞선 성능을 나타냈다.
대상 데이터
DeepLabV3+와SwinTransformer 모델훈련에서 손실함수(lossfunction)는 Binary Cross Entropy (BCE)를 사용하였고, 세밀한 가중치 조정을 위해 학습률(learning rate)은 1e-6로 설정하였으며, 옵티마이저(optimizer)는 학습의 안정성과 속도를 보장하는 Adaptive Moment Estimation (ADAM)을 사용하였다. DeepLabV3+는 백본(backbone)으로 resnet-101을 사용하였고, Swin Transformer를 위한 모델 구조는 Pyramid Attention Network (PAN)을 사용하였다. Blue,Green, Red, NIR의 4개 입력채널을 가진 DeepLabV3+와 Swin Transformer 모델의 하이퍼파라미터와 구동환경은 다양한 실험을 거쳐 Table 1과 같이 설정되었다.
전체 데이터는 학습 데이터셋 11,748개와 시험 데이터셋 10,980개로구성되며,학습데이터셋에대하여훈련대 검증 영상이 9:1의 비율이 되도록 구성하였다. DeepLabV3+와SwinTransformer 모델훈련에서 손실함수(lossfunction)는 Binary Cross Entropy (BCE)를 사용하였고, 세밀한 가중치 조정을 위해 학습률(learning rate)은 1e-6로 설정하였으며, 옵티마이저(optimizer)는 학습의 안정성과 속도를 보장하는 Adaptive Moment Estimation (ADAM)을 사용하였다.
데이터처리
시험 데이터셋에서 레이블 영상과 예측 영상을 비교하여 혼동행렬(confusionmatrix)을 작성하고,True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN)를 계산하였다. 또한 이를 통해 정확도(accuracy), 정밀도(precision), 재현율(recall), F1점수, 평균 교집합 대합집합 비율(Mean Intersection over Union, mIOU) 등의 성능지표를 산출하였다. 정확도는 예측 영상의 화소 중에 레이블 영상과 동일한 화소의 비율이다.
시험 데이터셋에서 레이블 영상과 예측 영상을 비교하여 혼동행렬(confusionmatrix)을 작성하고,True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN)를 계산하였다. 또한 이를 통해 정확도(accuracy), 정밀도(precision), 재현율(recall), F1점수, 평균 교집합 대합집합 비율(Mean Intersection over Union, mIOU) 등의 성능지표를 산출하였다.
입력 영상은 화소값을 평균(μ) 0, 표준편차(σ) 1의 분포가 되도록 z 표준화하여 사용하였다
이론/모형
전체 데이터는 학습 데이터셋 11,748개와 시험 데이터셋 10,980개로구성되며,학습데이터셋에대하여훈련대 검증 영상이 9:1의 비율이 되도록 구성하였다. DeepLabV3+와SwinTransformer 모델훈련에서 손실함수(lossfunction)는 Binary Cross Entropy (BCE)를 사용하였고, 세밀한 가중치 조정을 위해 학습률(learning rate)은 1e-6로 설정하였으며, 옵티마이저(optimizer)는 학습의 안정성과 속도를 보장하는 Adaptive Moment Estimation (ADAM)을 사용하였다. DeepLabV3+는 백본(backbone)으로 resnet-101을 사용하였고, Swin Transformer를 위한 모델 구조는 Pyramid Attention Network (PAN)을 사용하였다.
성능/효과
Fig. 3은 탐지 결과를 육안으로 비교하기 위해 시험 데이터셋에서 무작위로 추출된 데이터의 원본 영상, 레이블 영상, DeepLabV3+예측 영상, Swin Transformer 예측 영상을 비교한 것이며, 예측 영상이 실제와 상당히 유사하게 나타난 것을 확인할 수 있다.
786으로 계산되었다. 여러 측도로 미루어 볼 때, 구름 탐지 성능은 두 모델 모두 안정적으로 높다고 볼 수 있으며, DeepLabV3+에 비해 Swin Transformer가 전반적으로 보다 나은 성능을 나타냈다. Fig.
이단보에서는 향후 농림위성영상에 적용하기 위한 예비실험으로, 딥러닝 기술을 이용한 Sentinel-2 영상의 구름 탐지를 수행하였다. 전통적인 CNN 모델인 DeepLabV3+와 최신의 Transformer 모델인 Swin Transformer를 이용한 구름탐지 모델을 구축하고, REF에서 제공하는 22,728장의 학습자료에 대한 암맹평가 결과, Swin Transformer 모델이 상당히 앞선 성능을 나타냈다. 0.
후속연구
786로 나타났다. 구름은 높이나 모양에 따라 권적운, 권층운, 권운, 고적운, 고층운, 적란운 등으로 다양하게 구분되기 때문에(Kang et al., 2020), 이를 반영한 탐지 알고리듬 개선이 필요할 것이며, 우리나라 인근 지역의 영상을 위주로 한 모델의 최적화가 추가적으로 수반되어야 할 것이다.
참고문헌 (6)
Chen, L.C., Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation, arXiv preprint arXiv:1802.02611. https://doi.org/10.48550/arXiv.1802.02611
Dosovitskiy, A., L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, 2020. An Image is Worth 16 × 16 Words: Transformers for Image recognition at scale, arXiv preprint arXiv:2010.11929. https://doi.org/10.48550/arXiv.2010.11929
ESA (European Space Agency), 2022. Cloud Masks, https://sentinels.copernicus.eu/web/sentinel/technical-guides/sentinel-2-msi/level-1c/cloud-masks, Accessed on Nov. 30, 2022.
Kang, J., G. Kim, Y. Jeong, S. Kim, Y. Youn, S. Cho, and Y. Lee, 2021. U-Net cloud detection for the SPARCS cloud dataset from Landsat 8 images, Korean Journal of Remote Sensing, 37(5-1): 1149-1161. https://doi.org/10.7780/kjrs.2021.37.5.1.25
Liu, Z., Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, 2021. Swin Transformer: Hierarchical vision transformer using shifted windows, arXiv preprint arXiv:2103.14030. https://doi.org/10.48550/arXiv.2103.14030
※ AI-Helper는 부적절한 답변을 할 수 있습니다.