[논문]전이학습을 이용한 UNet 기반 건물 추출 딥러닝 모델의 학습률에 따른 성능 향상 분석

예철수; 안영만; 백태웅; 김경태

doi:10.7780/kjrs.2023.39.5.4.5

초록
AI-Helper

원격탐사 영상을 이용한 지표 속성의 변화를 모니터링 하기 위해서 딥러닝(deep learning) 모델을 이용한 의미론적 영상 분할 방법이 최근에 널리 사용되고 있다. 대표적인 의미론적 영상 분할 딥러닝 모델인 UNet 모델을 비롯하여 다양한 종류의 UNet 기반의 딥러닝 모델들의 성능 향상을 위해서는 학습 데이터셋의 크기가 충분해야 한다. 학습 데이터셋의 크기가 커지면 이를 처리하는 하드웨어 요구 사항도 커지고 학습에 소요되는 시간도 크게 증가되는 문제점이 발생한다. 이런 문제를 해결할 수 있는 방법인 전이학습은 대규모의 학습 데이터 셋이 없어도 모델 성능을 향상시킬 수 있는 효과적인 방법이다. 본 논문에서는 UNet 기반의 딥러닝 모델들을 대표적인 사전 학습 모델(pretrained model)인 VGG19 모델 및 ResNet50 모델과 결합한 세 종류의 전이학습 모델인 UNet-ResNet50 모델, UNet-VGG19 모델, CBAM-DRUNet-VGG19 모델을 제시하고 이를 건물 추출에 적용하여 전이학습 적용에 따른 정확도 향상을 분석하였다. 딥러닝 모델의 성능이 학습률의 영향을 많이 받는 점을 고려하여 학습률 설정에 따른 각 모델별 성능 변화도 함께 분석하였다. 건물 추출 결과의 성능 평가를 위해서 Kompsat-3A 데이터셋, WHU 데이터셋, INRIA 데이터셋을 사용하였으며 세 종류의 데이터셋에 대한 정확도 향상의 평균은 UNet 모델 대비 UNet-ResNet50 모델이 5.1%, UNet-VGG19 모델과 CBAM-DRUNet-VGG19 모델은 동일하게 7.2%의 결과를 얻었다.

Abstract ▼ AI-Helper

In recent times, semantic image segmentation methods using deep learning models have been widely used for monitoring changes in surface attributes using remote sensing imagery. To enhance the performance of various UNet-based deep learning models, including the prominent UNet model, it is imperative...

In recent times, semantic image segmentation methods using deep learning models have been widely used for monitoring changes in surface attributes using remote sensing imagery. To enhance the performance of various UNet-based deep learning models, including the prominent UNet model, it is imperative to have a sufficiently large training dataset. However, enlarging the training dataset not only escalates the hardware requirements for processing but also significantly increases the time required for training. To address these issues, transfer learning is used as an effective approach, enabling performance improvement of models even in the absence of massive training datasets. In this paper we present three transfer learning models, UNet-ResNet50, UNet-VGG19, and CBAM-DRUNet-VGG19, which are combined with the representative pretrained models of VGG19 model and ResNet50 model. We applied these models to building extraction tasks and analyzed the accuracy improvements resulting from the application of transfer learning. Considering the substantial impact of learning rate on the performance of deep learning models, we also analyzed performance variations of each model based on different learning rate settings. We employed three datasets, namely Kompsat-3A dataset, WHU dataset, and INRIA dataset for evaluating the performance of building extraction results. The average accuracy improvements for the three dataset types, in comparison to the UNet model, were 5.1% for the UNet-ResNet50 model, while both UNet-VGG19 and CBAM-DRUNet-VGG19 models achieved a 7.2% improvement.

Keyword

표/그림 (18)

그림 Fig. 1. Relationship between pretrained model of transfer learning and target model.
그림 Fig. 2. Two representative pretrained models: VGG19 model and ResNet50 model.
그림 Fig. 3. UNet-ResNet50 model using pretrained ResNet50 model.
그림 Fig. 4. UNet-VGG19 model using pretrained VGG19 model.
그림 Fig. 5. CBAM-DRUNet-VGG19 model using pretrained VGG19 model.
그림 Fig. 6. Examples of the original images and labeling images (ground truth) from the three types of datasets used in the experiment.
표 Table 1. Confusion matrix for evaluating the performance of deep learning models
그림 Fig. 7. Comparison of building segmentation results using various deep learning models on a Kompsat-3A image.
표 Table 2. The types of deep learning models used in the experiment
그림 Fig. 8. Comparison of building segmentation results using various deep learning models on a WHU image.
표 Table 3. Comparison of F1 scores based on learning rates for different deep learning models on the Kompsat-3A dataset
그림 Fig. 9. Comparison of building segmentation results using various deep learning models on an INRIA image.
표 Table 4. Comparison of F1 scores based on learning rates for different deep learning models on the WHU dataset
표 Table 5. Comparison of F1 scores based on learning rates for different deep learning models on the INRIA dataset
그림 Fig. 10. Comparison of F1 score changes based on learning rates for different models on the Kompsat-3A dataset.
그림 Fig. 11. Comparison of F1 score changes based on learning rates for different models on the WHU dataset.
그림 Fig. 12. Comparison of F1 score changes based on learning rates for different models on the INRIA dataset.
표 Table 6. Comparison of accuracy improvement in transfer learning models relative to four comparison models

AI 본문요약
AI-Helper

문제 정의

설정한 학습률에 따라 같은 딥러닝 모델이라 하더라도 성능에 차이가 발생하며 보통의 경우, 사용자가 경험에 기초하여 모델에 적용되는 학습률을 결정한다. 본 논문에서는 위성 및 항공 영상을 이용한 의미론적 영상 분할에서 대표적인 UNet 기반의 건물 추출 딥러닝 모델들의 전이학습 적용 효과를 분석하고 학습률 설정에 따른 모델별 성능 변화를 분석하였다.

대상 데이터

본 절에서는 앞서 설명한 ResNet50 모델 또는 VGG19 모델을 사전 학습 모델로 이용하는 세 종류의 전이학습 딥러닝 모델을 소개한다. 첫 번째로 소개하는 UNet-ResNet50 전이학습 딥러닝 모델은 Fig.

성능/효과

각 데이터셋에 대한 정성적인 성능 분석 결과에 따르면 Kompsat-3A 데이터셋의 경우에는 CBAM-DRUNet 모델과 CBAM-DRUNet-VGG19 모델을 제외하고 대부분의 모델에서 False Negative 화소들이 많이 검출되었다. WHU 데이터셋의 경우에는 UNet 모델, DeepResUNet 모델, CBAM-DRUNet 모델에서 False Negative 화소가 상대적으로 많이 검출되었다.
WHU 데이터셋의 경우에는 UNet 모델, DeepResUNet 모델, CBAM-DRUNet 모델에서 False Negative 화소가 상대적으로 많이 검출되었다. INRIA 데이터셋의 경우에는 UNet 모델이 False Negative 화소 검출이 가장 많고 DeepResUNet 모델이 False Positive 화소 검출이 가장 많은 반면에 CBAM-DRUNet-VGG19 모델은 False Negative 화소와 False Positive 화소 검출이 상대적으로 가장 적은 결과를 보였다. 세 종류의 데이터셋에 대한 정성적인 성능 분석 결과를 종합해 볼 때, CBAM-DRUNet-VGG19 모델이 다른 전이학습 모델들에 비해 False Negative 화소와 False Positive 화소의 검출 비율이 낮고 상대적으로 우수한 건물 검출 성능을 보였다.
INRIA 데이터셋의 경우에는 UNet 모델이 False Negative 화소 검출이 가장 많고 DeepResUNet 모델이 False Positive 화소 검출이 가장 많은 반면에 CBAM-DRUNet-VGG19 모델은 False Negative 화소와 False Positive 화소 검출이 상대적으로 가장 적은 결과를 보였다. 세 종류의 데이터셋에 대한 정성적인 성능 분석 결과를 종합해 볼 때, CBAM-DRUNet-VGG19 모델이 다른 전이학습 모델들에 비해 False Negative 화소와 False Positive 화소의 검출 비율이 낮고 상대적으로 우수한 건물 검출 성능을 보였다.

참고문헌 (12)

He, K., Zhang, X., Ren, S., and Sun, J., 2016. Deep residual？learning for image recognition. In Proceedings？of the IEEE Conference on Computer Vision and？Pattern Recognition (CVPR), Las Vegas, NV, USA,？June 27-30, pp. 770-778. https://doi.org/10.1109/CVPR.2016.90
Ji, S., Wei, S., and Lu, M., 2019. Fully convolutional？networks for multisource building extraction from？an open aerial and satellite imagery data set. IEEE？Transactions on Geoscience and Remote Sensing,？57(1), 574-586. https://doi.org/10.1109/TGRS.2018.2858817

상세보기
Maggiori, E., Tarabalka, Y., Charpiat, G., and Alliez, P., 2017. Can semantic labeling methods generalize？to any city? the INRIA aerial image labeling？benchmark. In Proceedings of the IEEE International？Geoscience and Remote Sensing Symposium？(IGARSS), Fort Worth, TX, USA, July 23-28,？pp. 3226-3229. https://doi.org/10.1109/IGARSS.2017.8127684
Mo, J., Seong, S., and Choi, J., 2021. Change detection？of building objects in urban area by using transfer？learning. Korean Journal of Remote Sensing,？37(6-1), 1685-1695. https://doi.org/10.7780/kjrs.2021.37.6.1.16

원문보기 상세보기
Ronneberger, O., Fischer, P., and Brox, T., 2015. U-Net:？Convolutional networks for biomedical image？segmentation. arXiv preprint arXiv:1505.04597.？https://doi.org/10.48550/arXiv.1505.04597
Sharma, N., Gupta, S., Koundal, D., Alyami, S., Alshahrani,？H., Asiri, Y., and Shaikh, A., 2023. U-Net model？with transfer learning model as a backbone for？segmentation of gastrointestinal tract. Bioengineering,？10(1), 19. https://doi.org/10.3390/bioengineering10010119

상세보기
Simonyan, K., and Zisserman, A., 2015. Very deep？convolutional networks for large-scale image？recognition. arXiv preprint arXiv:1409.1556.？https://doi.org/10.48550/arXiv.1409.1556
Song, A. R., Choi, J. W., and Kim, Y. I., 2019. Change？detection for high-resolution satellite images using？transfer learning and deep learning network.？Journal of the Korean Society of Surveying,？Geodesy, Photogrammetry and Cartography,？37(3), 199-208. https://doi.org/10.7848/ksgpc.2019.37.3.199

원문보기 상세보기
Wurm, M., Stark, T., Zhu, X. X., Weigand, M., and？Taubenbock, H., 2019. Semantic segmentation？of slums in satellite images using transfer learning？on fully convolutional neural networks. ISPRS？Journal of Photogrammetry and Remote Sensing,？150, 59-69. https://doi.org/10.1016/j.isprsjprs.2019.02.006

상세보기
Ye, C. S., Ahn, Y. M., Baek, T. W., and Kim, K. T., 2022. Semantic building segmentation using the？combination of improved DeepResUNet and？convolutional block attention module. Korean？Journal of Remote Sensing, 38(6-1), 1091-1100.？https://doi.org/10.7780/kjrs.2022.38.6.1.10

원문보기 상세보기
Yi, Y., Zhang, Z., Zhang, W., Zhang, C., Li, W., and？Zhao, T., 2019. Semantic segmentation of urban？buildings from VHR remote sensing imagery using？a deep convolutional neural network. Remote？Sensing, 11(15),1774. https://doi.org/10.3390/rs11151774

상세보기
Zhang, Z., Liu, Q., and Wang, Y., 2018. Road extraction？by deep residual U-Net. IEEE Geoscience and？Remote Sensing Letters, 15(5), 749-753. https://doi.org/10.1109/LGRS.2018.2802944

상세보기

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 전이학습을 이용한 UNet 기반 건물 추출 딥러닝 모델의 학습률에 따른 성능 향상 분석
Performance Improvement Analysis of Building Extraction Deep Learning Model Based on UNet Using Transfer Learning at Different Learning Rates 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (18)

표/그림 (18)

AI 본문요약
AI-Helper

문제 정의

대상 데이터

성능/효과

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 전이학습을 이용한 UNet 기반 건물 추출 딥러닝 모델의 학습률에 따른 성능 향상 분석 Performance Improvement Analysis of Building Extraction Deep Learning Model Based on UNet Using Transfer Learning at Different Learning Rates 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (18) 모든 표/그림 보기

표/그림 (18) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

대상 데이터

성능/효과

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

예철수 (20)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 전이학습을 이용한 UNet 기반 건물 추출 딥러닝 모델의 학습률에 따른 성능 향상 분석
Performance Improvement Analysis of Building Extraction Deep Learning Model Based on UNet Using Transfer Learning at Different Learning Rates 원문보기

초록
AI-Helper

표/그림 (18)

표/그림 (18)

AI 본문요약
AI-Helper

활용도 Top5 논문