[논문]Landsat 8 기반 SPARCS 데이터셋을 이용한 U-Net 구름탐지

강종구; 김근아; 정예민; 김서연; 윤유정; 조수빈; 이양원

doi:10.7780/kjrs.2021.37.5.1.25

초록
AI-Helper

컴퓨터 비전 기술이 위성영상에 적용되면서, 최근 들어 딥러닝 영상인식을 이용한 구름 탐지가 관심을 끌고 있다. 본연구에서는 SPARCS (Spatial Procedures for Automated Removal of Cloud and Shadow) Cloud Dataset과 영상자료증대 기법을 활용하여 U-Net 구름탐지 모델링을 수행하고, 10폴드 교차검증을 통해 객관적인 정확도 평가를 수행하였다. 512×512 화소로 구성된 1800장의 학습자료에 대한 암맹평가 결과, Accuracy 0.821, Precision 0.847, Recall 0.821, F1-score 0.831, IoU (Intersection over Union) 0.723의 비교적 높은 정확도를 나타냈다. 그러나 구름그림자 중 14.5%, 구름 중 19.7% 정도가 땅으로 잘못 예측되기도 했는데, 이는 학습자료의 양과 질을 보다 더 향상시킴으로써 개선 가능할 것으로 보인다. 또한 최근 각광받고 있는 DeepLab V3+ 모델이나 NAS(Neural Architecture Search) 최적화 기법을 통해 차세대중형위성 1, 2, 4호 등의 구름탐지에 활용 가능할 것으로 기대한다.

Abstract ▼ AI-Helper

With a trend of the utilization of computer vision for satellite images, cloud detection using deep learning also attracts attention recently. In this study, we conducted a U-Net cloud detection modeling using SPARCS (Spatial Procedures for Automated Removal of Cloud and Shadow) Cloud Dataset with t...

With a trend of the utilization of computer vision for satellite images, cloud detection using deep learning also attracts attention recently. In this study, we conducted a U-Net cloud detection modeling using SPARCS (Spatial Procedures for Automated Removal of Cloud and Shadow) Cloud Dataset with the image data augmentation and carried out 10-fold cross-validation for an objective assessment of the model. Asthe result of the blind test for 1800 datasets with 512 by 512 pixels, relatively high performance with the accuracy of 0.821, the precision of 0.847, the recall of 0.821, the F1-score of 0.831, and the IoU (Intersection over Union) of 0.723. Although 14.5% of actual cloud shadows were misclassified as land, and 19.7% of actual clouds were misidentified as land, this can be overcome by increasing the quality and quantity of label datasets. Moreover, a state-of-the-art DeepLab V3+ model and the NAS (Neural Architecture Search) optimization technique can help the cloud detection for CAS500 (Compact Advanced Satellite 500) in South Korea.

주제어

표/그림 (18)

그림 Fig. 1. Structure of a convolutional neural network (Saha, 2018).
그림 Fig. 2. Transforming fully connected layers into convolution layers (Long et al., 2015).
그림 Fig. 3. A fully convolutional network for semantic segmentation (Long et al., 2015).
그림 Fig. 4. U-Net architecture (Ronneberger et al., 2015).
그림 Fig. 5. Examples of SPARCS Cloud Dataset: SWIR-NIR-Red false-color composite (left) and labeled images (right).
표 Table 1. Label classification for SPARCS Cloud Dataset
그림 Fig. 6. Examples of excluded data: (a) ambiguous segmen -tation, (b) unrealistic distribution, and (c) confusion with other classes.
그림 Fig. 7. Examples of image data augmentation using Albumentations library.
그림 Fig. 8. Concept of 10-fold cross-validation.
표 Table 2. Configuration for U-Net model
표 Table 3. Confusion matrix from the 10-fold cross-validation for 1800 datasets
표 Table 4. Confusion matrix in percentage (same as Table 3)
그림 Fig. 9. Histogram of the accuracy from the 10-fold cross-validation for 1800 datasets.
표 Table 5. Validation scores from the 10-fold cross-validation for 1800 datasets
그림 Fig. 10. Four result datasets randomly chosen from Fold 1.
그림 Fig. 11. Four result datasets randomly chosen from Fold 2.
그림 Fig. 12. Four result datasets randomly chosen from Fold 4.
그림 Fig. 13. Four result datasets randomly chosen from Fold 5.

AI 본문요약
AI-Helper

문제 정의

이처럼 지금까지 CNN과 FCN 기반의 구름 탐지를 위한 여러 시도가 있었으나, 레이블 데이터가 충분하지 않아 이들 기법의 적합성을 객관적으로 평가하기 쉽지 않았다. 이에 본연구에서는, 영상자료증대(image data augmentation) 기법을 활용하여 원본과 유사한 패턴을 가지지만 원본과는 다르게 변형된 영상을 발생시킴으로써 충분한 레이블 데이터를 확보하고, 이 데이터를 이용하여 구름 탐지 모델 최적화와 K폴드 교차검증(crossvalidation)을 적용함으로써 객관적인 정확도 평가를 수행하고자 한다. 구름 영상과 레이블 영상은 미국 정부 오픈데이터 플랫폼인 data.

제안 방법

gov/dataset/l8-sparcscloud-validation-masks). Landsat 8의 적색, 근적외, 단파적 외 밴드 반사도를 입력채널로 하여 U-Net 구름 탐지 모델을 구성하고, Albumentations 라이브러리를 사용하여 영상자료증대를 통해 생성된 1800장의 레이블 데이터를 활용하였으며, 다양한 검증지수를 이용하여 정확도 평가를 수행하였다.
또한 영상자료증대 기법을 통해 원본 레이블 60장을 이용해 30배 증가한 1800장의 학습자료 준비하여 U-Net 모델을 훈련시켰다. 본 연구에서는 Albumentations 라이브러리를 사용하여 가로회전(horizontal flip), 세로회전(vertical flip), 임의회전(random rotation), 광학왜곡(optical distortion), 격자왜곡(grid distortion) 등의 변형을 발생시켜 원본 데이터와 유사하지만 약간 다른 데이터를 발생시켜 훈련에 사용하였다(Fig. 7).
본 연구에서는 SPARCS Cloud Dataset과 영상자료증대 기법을 활용하여 U-Net 구름탐지 모델링을 수행하고, 10폴드 교차검증을 통해 객관적인 정확도 평가를 수행하였다. 512×512 화소로 구성된 1800장의 학습자료에 대한 암맹평가 결과,Accuracy 0.
학습 속도를 효율적으로 하기 위해, 1000×1000 화소를 가진 원래 입력 영상을 512×512 화소로 축소하였고, min-max normalization을 이용하여 SWIR, NIR, Red 반사도를 0에서 1 사이 스케일로 조정하였다

대상 데이터

이에 본연구에서는, 영상자료증대(image data augmentation) 기법을 활용하여 원본과 유사한 패턴을 가지지만 원본과는 다르게 변형된 영상을 발생시킴으로써 충분한 레이블 데이터를 확보하고, 이 데이터를 이용하여 구름 탐지 모델 최적화와 K폴드 교차검증(crossvalidation)을 적용함으로써 객관적인 정확도 평가를 수행하고자 한다. 구름 영상과 레이블 영상은 미국 정부 오픈데이터 플랫폼인 data.gov의 SPARCS (Spatial Procedures forAutomatedRemoval ofCloud and Shadow)Cloud Dataset 을 사용하였다(https://catalog.data.gov/dataset/l8-sparcscloud-validation-masks). Landsat 8의 적색, 근적외, 단파적 외 밴드 반사도를 입력채널로 하여 U-Net 구름 탐지 모델을 구성하고, Albumentations 라이브러리를 사용하여 영상자료증대를 통해 생성된 1800장의 레이블 데이터를 활용하였으며, 다양한 검증지수를 이용하여 정확도 평가를 수행하였다.
학습 속도를 효율적으로 하기 위해, 1000×1000 화소를 가진 원래 입력 영상을 512×512 화소로 축소하였고, min-max normalization을 이용하여 SWIR, NIR, Red 반사도를 0에서 1 사이 스케일로 조정하였다. 또한 영상자료증대 기법을 통해 원본 레이블 60장을 이용해 30배 증가한 1800장의 학습자료 준비하여 U-Net 모델을 훈련시켰다. 본 연구에서는 Albumentations 라이브러리를 사용하여 가로회전(horizontal flip), 세로회전(vertical flip), 임의회전(random rotation), 광학왜곡(optical distortion), 격자왜곡(grid distortion) 등의 변형을 발생시켜 원본 데이터와 유사하지만 약간 다른 데이터를 발생시켜 훈련에 사용하였다(Fig.
데이터 양적인 증가는 영상자료증대 기법을 통해 보완할 수 있으며, 질적인 향상을 위해서는 노이즈 제거가 우선 수행되어야 한다. 본 연구에서는 육안식별을 통해 레이블의 적합도가 낮은 18개의 영상을 전체 78개 영상 중에서 제외하고, 60장의 영상만을 사용하였다. 제외된 영상은 Fig.

데이터처리

10폴드 교차검증을 위하여 레이블 영상과 예측 영상을 이용하여 혼동행렬(confusion matrix)을 작성하고, TP (true positive or hit), TN (true negative or correct rejection), FP (false positive or false alarm), FN (false negative or miss)를 계산하여, Accuracy, Precision, Recall, F1-score, IoU (Intersection over Union) 등의 정확도 측도를 산출하였다. Accuracy는 예측 영상의 모든 화소 중에서 레이블 영상과 동일한 화소의 비율이다.

성능/효과

512×512 화소로 구성된 1800장의 학습자료에 대한 암맹평가 결과,Accuracy 0.821, Precision 0.847, Recall 0.821, F1-score 0.831, IoU 0.723의 비교적 높은 정확도를 나타냈다
723의 비교적 높은 정확도를 나타냈다. 그러나 구름그림자 중 14.5%, 구름 중 19.7% 정도가 땅으로 잘못 예측되기도 했는데, 이는 학습자료의 양과 질을 보다 더 향상시킴으로써 개선 가능할 것으로 보인다. 또한 구름은 높이나 모양에 따라 권적운, 권층운, 권운, 고적운, 고층운, 적란운 등으로 다양하게 구분되기 때문에, 향후 이를 반영한 정확도 분석이 필요할 것으로 사료된다.

후속연구

7% 정도가 땅으로 잘못 예측되기도 했는데, 이는 학습자료의 양과 질을 보다 더 향상시킴으로써 개선 가능할 것으로 보인다. 또한 구름은 높이나 모양에 따라 권적운, 권층운, 권운, 고적운, 고층운, 적란운 등으로 다양하게 구분되기 때문에, 향후 이를 반영한 정확도 분석이 필요할 것으로 사료된다. 최근 각광받고 있는 DeepLab V3+ 모델이나 NAS (Neural Architecture Search) 최적화 기법을 통해 차세대중형위성 1, 2, 4호 등의 구름탐지에 활용 가능할 것으로 기대하며, 이때 SWIR 밴드가 없더라도 클래스 구분이 가능한 다른 방식의 위색영상을 이용하여 학습자료를 구축하는 것이 우선적으로 필요할 것이다.
7% 정도가 땅으로 잘못 예측되기도 했다. 이는 구름이나 구름그림자가 가지는 탐지의 모호성 때문으로 사료되며, 향후 연구에서 레이블 데이터의 양과 질을 보다 더 향상시킴으로써 개선될 수 있을 것으로 기대한다. 또한, 탐지 결과의 육안비교를 위해 무작위로 추출한 16세트의 위색영상, 레이블영상, 예측 영상을 통해 볼 때, 예측 영상이 실제 영상과 상당히 유사하게 나타났음을 확인하였다(Fig.
또한 구름은 높이나 모양에 따라 권적운, 권층운, 권운, 고적운, 고층운, 적란운 등으로 다양하게 구분되기 때문에, 향후 이를 반영한 정확도 분석이 필요할 것으로 사료된다. 최근 각광받고 있는 DeepLab V3+ 모델이나 NAS (Neural Architecture Search) 최적화 기법을 통해 차세대중형위성 1, 2, 4호 등의 구름탐지에 활용 가능할 것으로 기대하며, 이때 SWIR 밴드가 없더라도 클래스 구분이 가능한 다른 방식의 위색영상을 이용하여 학습자료를 구축하는 것이 우선적으로 필요할 것이다.

참고문헌 (13)

Derrien, M., 2013. Algorithm Theoretical Basis Document for Cloud Products, available at http://www.nwcsaf.org/documents/20182/30662/NWC-CDOP2-GEO-MFL-SCI-ATBD-Cloud_v1.1.pdf/a5bb6eca-871b-4707-9c76-e0be09915d94, Accessed on Oct. 15, 2016.
Guo, Z., C. Li, Z. Wang, E. Kwok, and X. Wei, 2018, A cloud boundary detection scheme combined with ASLIC and CNN using ZY-3, GF-1/2 satellite imagery, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-3: 455-458.
Heidinger, A., 2011. Algorithm Theoretical Basis Document: ABI Cloud Mask, available at https://www.star.nesdis.noaa.gov/goesr/docs/ATBD/Cloud_Mask.pdf, Accessed on Jun. 11, 2013.
Hughes, M.J. and K. Robert, 2019. High-quality cloud masking of Landsat 8 imagery using convolutional neural networks, Remote Sensing, 11(21): 2591.

상세보기
Jeppesen, J.H., R.H. Jacobsen, F. Inceoglu, and T.S. Toftegaard, 2019. A cloud detection algorithm for satellite imagery based on deep learning, Remote Sensing of Environment, 229(8): 247-259.

상세보기
LeCun, Y., Y. Bengio, and G. Hinton, 2015. Deep learning, Nature, 521: 436-444.

상세보기
Li, Z., H. Shen, Q. Cheng, Y. Liu, S. You, and Z. He, 2019. Deep learning based cloud detection for medium and high resolution remote sensing images of different sensors, ISPRS Journal of Photogrammetry and Remote Sensing, 150: 197-212.

상세보기
Ozkan, S., M. Efendioglu, and C. Demirpolat, 2018. Cloud detection from RGB color remote sensing images with deep pyramid networks, Proc. of 2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, ES, Jul. 22-27, pp. 6939-6942.
Ronneberger, O., P. Fischer, and T. Brox, 2015. U-Net: convolutional networks for biomedical image segmentation, Proc. of Medical Image Computing and Computer-Assisted Intervention, Munich, DE, Oct. 5-9, pp. 234-241.
Saha, S., 2018, A Comprehensive Guide to Convolutional Neural Networks, available at https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53, Accessed on Dec. 16, 2018.
Sandler, M., A. Howard, M. Zhu, A. Zhmoginov, and L. Chen, 2018. MobileNetV2: Inverted residuals and linear bottlenecks, Proc. of The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018, Salt Lake City, UT, USA, Jun. 18-23, pp. 4510-4520.
Shelhamer, E., J. Long, and T. Darrell, 2017. Fully convolutional networks for semantic segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(4): 640-651.

상세보기
Zhu Z. and C.E. Woodcock, 2012. Object-based cloud and cloud shadow detection in Landsat imagery, Remote Sensing of Environment, 118: 83-94.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Landsat 8 기반 SPARCS 데이터셋을 이용한 U-Net 구름탐지
U-Net Cloud Detection for the SPARCS Cloud Dataset from Landsat 8 Images 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (18)

표/그림 (18)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Landsat 8 기반 SPARCS 데이터셋을 이용한 U-Net 구름탐지 U-Net Cloud Detection for the SPARCS Cloud Dataset from Landsat 8 Images 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (18) 모든 표/그림 보기

표/그림 (18) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

이양원 (63)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Landsat 8 기반 SPARCS 데이터셋을 이용한 U-Net 구름탐지
U-Net Cloud Detection for the SPARCS Cloud Dataset from Landsat 8 Images 원문보기

초록
AI-Helper

표/그림 (18)

표/그림 (18)

AI 본문요약
AI-Helper