[논문]개선된 DeepResUNet과 컨볼루션 블록 어텐션 모듈의 결합을 이용한 의미론적 건물 분할

예철수; 안영만; 백태웅; 김경태

doi:10.7780/kjrs.2022.38.6.1.10

초록
AI-Helper

딥러닝 기술의 진보와 함께 다양한 국내외 고해상도 원격탐사 영상의 활용이 가능함에 따라 딥러닝 기술과 원격탐사 빅데이터를 활용하여 도심 지역 건물 검출과 변화탐지에 활용하고자 하는 관심이 크게 증가하고 있다. 본 논문에서는 고해상도 원격탐사 영상의 의미론적 건물 분할을 위해서 건물 분할에 우수한 성능을 보이는 DeepResUNet 모델을 기본 구조로 하고 잔차 학습 단위를 개선하고 Convolutional Block Attention Module(CBAM)을 결합한 새로운 건물 분할 모델인 CBAM-DRUNet을 제안한다. 제안한 건물 분할 모델은 WHU 데이터셋과 INRIA 데이터셋을 이용한 성능 평가에서 UNet을 비롯하여 ResUNet, DeepResUNet 대비 F1 score, 정확도, 재현율 측면에서 모두 우수한 성능을 보였다.

Abstract ▼ AI-Helper

As deep learning technology advances and various high-resolution remote sensing images are available, interest in using deep learning technology and remote sensing big data to detect buildings and change in urban areas is increasing significantly. In this paper, for semantic building segmentation of...

As deep learning technology advances and various high-resolution remote sensing images are available, interest in using deep learning technology and remote sensing big data to detect buildings and change in urban areas is increasing significantly. In this paper, for semantic building segmentation of high-resolution remote sensing images, we propose a new building segmentation model, Convolutional Block Attention Module (CBAM)-DRUNet that uses the DeepResUNet model, which has excellent performance in building segmentation, as the basic structure, improves the residual learning unit and combines a CBAM with the basic structure. In the performance evaluation using WHU dataset and INRIA dataset, the proposed building segmentation model showed excellent performance in terms of F1 score, accuracy and recall compared to ResUNet and DeepResUNet including UNet.

Keyword

표/그림 (14)

그림 Fig. 1. Comparison of DeepResBlock's resblock and the improved resblock structure.
그림 Fig. 2. Internal structure of Convolutional Block Attention Module (CBAM).
그림 Fig. 3. The proposed CBAM-DRUNet model for semantic building segmentation.
그림 Fig. 4. Examples of WHU dataset.
그림 Fig. 5. An example of INRIA dataset.
표 Table 1. Confusion matrix for performance evaluation
표 Table 2. Computer specifications used in the experiment
그림 Fig. 6. Visual comparison of segmentation results by applying each deep learning model to WHU dataset.
그림 Fig. 7. Enlarged examples of the lower left area of the segmentation results in the third row of Figs. 6(a) UNet, (b) ResUNet, (c) DeepResUNet, (d) CBAMDRUNet.
그림 Fig. 8. Enlarged examples of the right area of the segmentation results in the third row of Figs. 6(a) UNet, (b) ResUNet, (c) DeepResUNet, (d) CBAM-DRUNet.
그림 Fig. 9. Visual comparison of segmentation results by applying each deep learning model to INRIA dataset.
표 Table 3. Quantitative performance evaluation for each model on WHU dataset
그림 Fig. 10. Enlarged examples of the left area of the segmentation results in the third row of Figs. 9(a) UNet, (b) ResUNet, (c) DeepResUNet, (d) CBAM-DRUNet.
표 Table 4. Quantitative performance evaluation for each model on INRIA dataset

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 건물 분할 딥러닝 모델 가운데 우수한 성능을 보이는 UNet 기반의 대표적인 모델들을 살펴보고 가장 우수한 성능을 보이는 모델 중 하나인 DeepResUNet의 성능을 개선시키는 방법을 제안하였다. 이를 위해서 DeepResUNet의 기존 ResBlock의 내부 구조에서 활성화 함수의 갯수를 줄이고 보다 많은 특징 정보 생성에 유리하도록 컨볼류션 레이어에 사용되는 채널의 수를 증가시키는 방법을 제안하였다.

제안 방법

3과 같이 DeepResUNet 모델의 구조와 유사한 구조를 가지나 업샘플링 과정의 마지막 단계에서 CBAM를 적용하고 각 ResBlock은 앞서 기술한 바와 같이 채널 개수가 256인 개선된 ResBlock을 사용한다. 제안하는 건물 분할 딥러닝 모델은 2개의 ResBlock과 풀링 레이어로 구성되는 레이어 그룹을 여러 단계로 구성하여 UNet 등 기존 딥러닝 모델 대비 보다 깊은 다층 레이어로 구성된다. 레이어 그룹 간에도 풀링 레이어의 특징맵을 2개의 연속적인 ResBlock 출력에 더하는 방식을 4회 적용하여 레이어 그룹 사이의 특징 정보 전파가 유리한 구조를 가진다.
본 논문에서는 건물 분할 딥러닝 모델 가운데 우수한 성능을 보이는 UNet 기반의 대표적인 모델들을 살펴보고 가장 우수한 성능을 보이는 모델 중 하나인 DeepResUNet의 성능을 개선시키는 방법을 제안하였다. 이를 위해서 DeepResUNet의 기존 ResBlock의 내부 구조에서 활성화 함수의 갯수를 줄이고 보다 많은 특징 정보 생성에 유리하도록 컨볼류션 레이어에 사용되는 채널의 수를 증가시키는 방법을 제안하였다. 이와 함께 모델에 사용되는 다수의 채널 가운데 채널의 상대적 중요도와 영상 화소 위치의 상대적 중요도를 각각 가중치로 계산하여 정제된 특징을 생성할 수 있는 channel attention module과 spatial attention module을 순차적으로 적용하는 CBAM 모듈을 모델의 최종 단계에 결합하였다.
이를 위해서 DeepResUNet의 기존 ResBlock의 내부 구조에서 활성화 함수의 갯수를 줄이고 보다 많은 특징 정보 생성에 유리하도록 컨볼류션 레이어에 사용되는 채널의 수를 증가시키는 방법을 제안하였다. 이와 함께 모델에 사용되는 다수의 채널 가운데 채널의 상대적 중요도와 영상 화소 위치의 상대적 중요도를 각각 가중치로 계산하여 정제된 특징을 생성할 수 있는 channel attention module과 spatial attention module을 순차적으로 적용하는 CBAM 모듈을 모델의 최종 단계에 결합하였다.

대상 데이터

공간해상도 0.3 m의 512×512 크기의 전체 데이터셋에 187,000개 이상의 건물에 대한 라벨링 데이터가 포함되며 학습 데이터 4,736개, 검증 데이터 1,036개, 테스트 데이터 2,426개가 제공된다
본 연구에서는 제안하는 건물 분할 알고리즘의 성능 평가를 위해 건물 분할에 널리 사용되는 오픈 데이터셋인 WHU 데이터셋과 INRIA 데이터셋을 사용하였다. WHU 데이터셋은 Fig.
본 연구에서는 제안한 건물 분할 모델과 UNet, ResUNet, DeepResUNet 건물 분할 모델의 상대적인 성능 평가를 목적으로WHU 데이터셋은 256×256 크기로 축소하고 학습 데이터셋 1,000개, 테스트 데이터셋 200개를 각각 추출하여 사용하였으며, INRIA 데이터셋은 512×512 크기의 학습 데이터셋 900개, 테스트 데이터셋 100개를 사용하였다
INRIA 데이터셋 영상의 공간해상도는 0.3 m이며 5개 도시에 대해 5,000×5,000 크기의 데이터셋이 각각 36개씩 총 180개의 학습 및 테스트 데이터셋으로 제공된다.

성능/효과

WHU 전체 테스트 영상에 대한 모델 별 건물 분할에 대한 정량적인 성능 평가 결과는 Table 3과 같다. 반복훈련 횟수 epoch=41부터 epoch=50까지의 F1 score의 평균값과 중앙값(F1 score 크기순으로 5번째 및 6번째 F1 score의 평균값으로 계산), 정확도, 정밀도, 재현율에서 모두 제안한 CBAM-DRUNet 모델이 나머지 모델들에 비해 상대적으로 높은 정확도를 보였다. 특히 재현율은 나머지 모델들의 경우 0.
9에서 볼 수 있듯이 False Negative 화소 수는 감소한 반면에 False Positive 화소 수는 다른 모델들과 유사하여 결과적으로 네 가지 모델의 정밀도가 유사한 값을 보이는 것으로 판단된다. 또한 두 데이터셋에서 소형 건물이 상대적으로 많은 WHU 데이터셋에서 제안한 모델의 정밀도가 다른 모델보다 높은 것은 소형 건물의 검출에서 우수한 성능을 보이는 것으로 알려진 DeepResUNet의 특성을 제안한 모델도 가지고 있고 추가적으로 CBAM 적용을 통해 채널과 화소위치의 상대적 중요도 반영이 중대형 건물에 비해 소형건물의 검출에 대해 보다 효과적임을 보여준다.
제안한 모델의 성능을 평가하기 위하여 건물 분할에 널리 사용되는WHU 데이터셋과 INRIA 데이터셋을 이용한 정성적, 정량적 성능 비교에서 대표적인 영상 분할 딥러닝 모델인 UNet을 포함하여 ResUNet, DeepResUNet 대비 F1 score의 평균 및 중앙값, 정확도, 재현율에서 모두 우수한 성능을 보였다. 제안한 모델은 기존 DeepResUNet 대비 미검출 화소 수가 상대적으로 적었으며 특히 건물의 코너 영역 부근에서의 건물 검출 정확도가 기존 DeepResUNet보다 높음을 확인하였다.
제안한 모델의 성능을 평가하기 위하여 건물 분할에 널리 사용되는WHU 데이터셋과 INRIA 데이터셋을 이용한 정성적, 정량적 성능 비교에서 대표적인 영상 분할 딥러닝 모델인 UNet을 포함하여 ResUNet, DeepResUNet 대비 F1 score의 평균 및 중앙값, 정확도, 재현율에서 모두 우수한 성능을 보였다. 제안한 모델은 기존 DeepResUNet 대비 미검출 화소 수가 상대적으로 적었으며 특히 건물의 코너 영역 부근에서의 건물 검출 정확도가 기존 DeepResUNet보다 높음을 확인하였다.

후속연구

본 연구에서는 항공영상으로 제작된 WHU 데이터셋과 INRIA 데이터셋을 이용하여 각 모델의 건물 분할 성능을 비교하였으며, 향후에는 아리랑위성영상과 국토위성영상 등 고해상도 위성영상을 이용한 제안한 모델의 성능 분석에 대한 연구가 필요하다.

참고문헌 (14)

Deng, W., Q. Shi, and J. Li, 2021. Attention-gate-based encoder-decoder network for automatical building extraction, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 2611-2620. https://doi.org/10.1109/JSTARS.2021.3058097

상세보기
Foivos, I.D., F. Waldner, P. Caccetta, and C. Wu, 2020. ResUNet-a: A deep learning framework for semantic segmentation of remotely sensed data, ISPRS Journal of Photogrammetry and Remote Sensing, 162: 94-114. https://doi.org/10.48550/arXiv.1904.00592

상세보기
Guo, M., H. Liu, Y. Xu, and Y. Huang, 2020. Building extraction based on U-Net with an attention block and multiple losses, Remote Sensing, 12(9): 1400. https://doi.org/10.3390/rs12091400

상세보기
Han, D., J. Kim, and J. Kim, 2017. Deep pyramidal residual networks, Proc. of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, Jul. 21-26, pp. 6307-6315. https://doi.org/10.1109/CVPR.2017.668
Jin, Y., W. Xu, C. Zhang, X. Luo, and H. Jia, 2021. Boundary-aware refined network for automatic building extraction in very high-resolution urban aerial images, Remote Sensing, 13(4): 692. https://doi.org/10.3390/rs13040692

상세보기
Li, C., L. Fu, Q. Zhu, J. Zhu, Z. Fang, Y. Xie, Y. Guo, and Y. Gong, 2021. Attention enhanced U-Net for building extraction from farmland based on google and WorldView-2 remote sensing images, Remote Sensing, 13(21): 4411. https://doi.org/10.3390/rs13214411

상세보기
Ronneberger, O., P. Fischer, and T. Brox, 2015. U-Net: convolutional networks for biomedical image segmentation, arXiv preprint arXiv:1505.04597. https://doi.org/10.48550/arXiv.1505.04597
Wang, H. and M. Fang, 2022. Building extraction from remote sensing images using deep residual U-Net, European Journal of Remote Sensing, 55(1): 71-85. https://doi.org/10.1080/22797254.2021.2018944

상세보기
Woo, S., J. Park, J.Y. Lee, and I.S. Kweon, 2018. CBAM: Convolutional Block Attention Module, In: Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y. (eds), Computer Vision - ECCV 2018, Springer, Cham, Switzerland, vol. 11211, pp. 3-19. https://doi.org/10.1007/978-3-030-01234-2_1
Wu, T., Y. Hu, L. Peng, and R. Chen, 2020. Improved anchor-free instance segmentation for building extraction from high-resolution remote sensing images, Remote Sensing, 12(18): 2910. https://doi.org/10.3390/rs12182910

상세보기
Ye, C.S., Y.M. Ahn, T.W. Baek, and K.T. Kim, 2022. UNet-based deep learning model performance analysis for semantic building segmentation of remote sensing images, Proc. of 2022 Fall Conference of the Korean Society for Remote Sensing, Busan, Nov. 7-9, p. 29.
Ye, Z., Y. Fu, M. Gan, J. Deng, A. Comber, and K. Wang, 2019. Building extraction from very high resolution aerial imagery using joint attention deep neural network, Remote Sensing, 11(24): 2970. https://doi.org/10.3390/rs11242970

상세보기
Yi, Y., Z. Zhang, W. Zhang, C. Zhang, W. Li, and T. Zhao, 2019. Semantic segmentation of urban buildings from VHR remote sensing imagery using a deep convolutional neural network, Remote Sensing, 11(15): 1774. https://doi.org/10.3390/rs11151774

상세보기
Zhang, Z., Q. Liu, and Y. Wang, 2018. Road extraction by deep residual U-Net, IEEE Geoscience and Remote Sensing Letters, 15(5): 749-753. https://doi.org/10.1109/LGRS.2018.2802944

상세보기

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 개선된 DeepResUNet과 컨볼루션 블록 어텐션 모듈의 결합을 이용한 의미론적 건물 분할
Semantic Building Segmentation Using the Combination of Improved DeepResUNet and Convolutional Block Attention Module 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (14)

표/그림 (14)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 개선된 DeepResUNet과 컨볼루션 블록 어텐션 모듈의 결합을 이용한 의미론적 건물 분할 Semantic Building Segmentation Using the Combination of Improved DeepResUNet and Convolutional Block Attention Module 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (14) 모든 표/그림 보기

표/그림 (14) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

예철수 (20)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 개선된 DeepResUNet과 컨볼루션 블록 어텐션 모듈의 결합을 이용한 의미론적 건물 분할
Semantic Building Segmentation Using the Combination of Improved DeepResUNet and Convolutional Block Attention Module 원문보기

초록
AI-Helper

표/그림 (14)

표/그림 (14)

AI 본문요약
AI-Helper

활용도 Top5 논문