[논문]드론 항공영상을 이용한 딥러닝 기반 앙상블 토지 피복 분할 알고리즘 개발

박해광; 백승기; 정승현

doi:10.7780/kjrs.2024.40.1.7

드론 항공영상을 이용한 딥러닝 기반 앙상블 토지 피복 분할 알고리즘 개발
Development of Deep Learning Based Ensemble Land Cover Segmentation Algorithm Using Drone Aerial Images 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.40 no.1, 2024년, pp.71 - 80

박해광 (주식회사 오션라이트에이아이 AI솔루션사업부) , 백승기 (주식회사 오션라이트에이아이 AI솔루션사업부) , 정승현 (한국기술교육대학교 메카트로닉스공학부)

초록
AI-Helper

이 연구에서는 무인 항공기(Unmanned Aerial Vehicle, UAV)가 캡처한 이미지의 의미론적 토지 피복 분할 성능을 향상시키기 위한 앙상블 학습 기법을 제안하고 있다. 도시 계획과 같은 분야에서 UAV 사용이 증가함에 따라 토지 피복 분할을 위한 딥러닝 분할 방법을 활용한 기술 개발이 활발히 이루어지고 있다. 이 연구는 대표적인 분할 모델인 U-Net, DeepLabV3 그리고 Fully Convolutional Network (FCN)를 사용하여 분할 예측 성능을 개선하는 방법을 제안한다. 제안된 접근 방식은 세 가지 분할 모델의 훈련 손실, 검증 정확도 및 클래스별 점수를 통합하여 앙상블 모델을 개발하고 전반적인 예측 성능을 향상시킨다. 이 방법은 건물, 도로, 주차장, 논, 밭, 나무, 빈 공간, 미분류 영역을 포함하는 일곱 가지 클래스가 있는 토지 피복 분할 문제에 적용하여 평가하였다. 앙상블 모델의 성능은 mean Intersection over Union (mIoU)으로 평가하였으며, 제안된 앙상블 모델과 기존의 세 가지 분할 방법을 비교한 결과 mIoU 성능이 향상되었음이 나타났다. 따라서 이 연구는 제안된 기술이 의미론적 분할 모델의 성능을 향상시킬 수 있음을 확인하였다.

Abstract ▼ AI-Helper

In this study, a proposed ensemble learning technique aims to enhance the semantic segmentation performance of images captured by Unmanned Aerial Vehicles (UAVs). With the increasing use of UAVs in fields such as urban planning, there has been active development of techniques utilizing deep learning segmentation methods for land cover segmentation. The study suggests a method that utilizes prominent segmentation models, namely U-Net, DeepLabV3, and Fully Convolutional Network (FCN), to improve segmentation prediction performance. The proposed approach integrates training loss, validation accuracy, and class score of the three segmentation models to enhance overall prediction performance. The method was applied and evaluated on a land cover segmentation problem involving seven classes: buildings,roads, parking lots, fields, trees, empty spaces, and areas with unspecified labels, using images captured by UAVs. The performance of the ensemble model was evaluated by mean Intersection over Union (mIoU), and the results of comparing the proposed ensemble model with the three existing segmentation methods showed that mIoU performance was improved. Consequently, the study confirms that the proposed technique can enhance the performance of semantic segmentation models.

주제어

표/그림 (11)

그림 Fig. 2. Structure of the U-Net model.
그림 Fig. 1. Overall structure of the FCN model. NC: number of classes.
그림 Fig. 3. Principle of atrous convolutional kernel of DeepLabV3 model.
그림 Fig. 4. Principle of the proposed ensemble algorithm.
그림 Fig. 5. Overall class distribution of the used dataset.
그림 Fig. 6. Overall flow chart of the ensemble technique in this study.
표 Table 1. Grayscale pixel values and corresponding label values of theprovided original labeling image
표 Table 2. Loss figures in the learning process and accuracy figures in the verification process for each model
표 Table 3. Comparison of mIoU values for each model and ensemble model
그림 Fig. 7. Land cover prediction results for each model and ensemble model.
표 Table 4. Comparison of IoU values for each class of each model and ensemble model

AI 본문요약
AI-Helper

문제 정의

, 2016)과 같은 성능 지표로 성능이 입증되었다. 본 연구에서는 대표적인 의미론적 분할 기법에 앙상블 예측 모델을 더하여 모델 성능을 더욱 향상시키고자 한다.
본 연구에서는 이미지 분할 작업의 성능을 향상시키기 위한 접근 방식으로 앙상블 방법을 제시했다. 본 연구에서는 FCN, DeepLabV3, U-Net의 검증 정확도와 훈련 손실 값을 활용하여 최종 추론 결과를 도출하는 방식을 제시하였고, 이를 토지 피복 분할 데이터에 적용하여 정확도를 검증해 보았다.

가설 설정

의미론적 분할의 맥락에서 모델은 다양하고 복잡한 실제 이미지 배열을 통해 효과적으로 일반화해야 하므로 이는 중요한 요소이다. 따라서 이 두 지표를 기반으로 앙상블 예측 공식에 통합하여 개별 모델의 결과와는 다른 결과를 두출하는 것을 가정한다.
, 2017; Rokach, 2010). 본 연구에서는 세 가지 다른 분할 모델을 모두 활용한 앙상블 투표 시스템이 단일 모델의 예측 성능보다 더 정확한 결과를 제공할 수 있다고 가정한다. 전통적인 앙상블 투표 방식에서는 가장 많은 표를 얻은 결과가 최종 결과이며, 각 모델은 동등한 투표권을 가진다.

제안 방법

제안된 연구를 요약하면 다음과 같다. 먼저 FCN, U-Net, DeepLab V3의 기존 분할 모델을 활용한 예측 모델을 개발한다. 이 세 가지 다른 모델을 사용한 예측이 완료되면 제안된 앙상블 기법을 사용하여 새로운 예측 이미지를 생성한다.
본 연구에서는 이미지 분할 작업의 성능을 향상시키기 위한 접근 방식으로 앙상블 방법을 제시했다. 본 연구에서는 FCN, DeepLabV3, U-Net의 검증 정확도와 훈련 손실 값을 활용하여 최종 추론 결과를 도출하는 방식을 제시하였고, 이를 토지 피복 분할 데이터에 적용하여 정확도를 검증해 보았다. 그 결과 각 모델의 mIoU 결과 값과 비교했을 때 정확도가 상승하는 것을 확인할 수 있었다.
본 연구에서는 세 가지 다른 모델의 훈련 과정에서 훈련 손실 및 검증 정확도 점수, 픽셀별 클래스의 점수 값을 투표의 결정 지표로 선택한다. 이러한 지표를 선택한 이유는 다음과 같다.
본 연구의 앙상블 투표방식은 결과의 견고성을 향상시키기 위해 세 가지 모델의 학습 성능 지표를 활용한다. 학습 성능 지표는 훈련 손실과 검증 정확도 두 가지 평가 지표를 사용하였으며, 기본적으로 픽셀 단위 분류의 모음인 의미론적 분할은 각 픽셀에 대해 가장 높은 확률을 가진 클래스를 선택한다.
먼저 FCN, U-Net, DeepLab V3의 기존 분할 모델을 활용한 예측 모델을 개발한다. 이 세 가지 다른 모델을 사용한 예측이 완료되면 제안된 앙상블 기법을 사용하여 새로운 예측 이미지를 생성한다. 본 연구의 내용은 5개의 장으로 나뉜다.
본 연구의 앙상블 투표방식은 결과의 견고성을 향상시키기 위해 세 가지 모델의 학습 성능 지표를 활용한다. 학습 성능 지표는 훈련 손실과 검증 정확도 두 가지 평가 지표를 사용하였으며, 기본적으로 픽셀 단위 분류의 모음인 의미론적 분할은 각 픽셀에 대해 가장 높은 확률을 가진 클래스를 선택한다. 따라서 앞에서 언급한 훈련 손실과 검증 정확도에 ‘i’번째 클래스에 해당하는 점수를 추가 매개 변수로 도입했다.

대상 데이터

본 연구에서는 ‘토지 피복지도 항공위성 이미지 데이터’에서 도출된 데이터를 활용하였다
본 연구에서는 0~255 범위의 RGB 값으로 구성된 이미지 데이터를 사용한다. 모델 학습을 용이하게 하기 위해 이 값들을 255로 나누어 0~1 범위 내에 있도록 정규화 하는 과정을 거쳤다.
이 데이터 세트에서 10,500개의 이미지를 선택하였으며, 각 이미지에 해당하는 512 × 512 크기의 라벨링 이미지를 참고하였다
본 연구에서는 ‘토지 피복지도 항공위성 이미지 데이터’에서 도출된 데이터를 활용하였다. 이 데이터는 AI-Hub (www.aihub.or.kr)에서 관련 정보를 검색할 수 있다. 해당 데이터 세트는 한국의 다양한 풍경을 시각적으로 나타내는 항공 이미지로 구성되어 있다.

데이터처리

학습단계 완료 후 각 개별 모델의 성능과 제안하는 앙상블 기법을 비교하여 mIoU 점수를 기반으로 성능을 분석했다. Table 2는 훈련 과정 중 각 모델의 손실 값과 검증 정확도 값을 나타낸다.

이론/모형

, 2015). 이를 달성하기 위해 대표적인 모델인 U-Net (Ronneberger et al., 2015), DeepLabV3 (Chen et al., 2017) 및 Fully Convolutional Network (FCN)(Long et al., 2015)와 같은 분할 모델을 사용한다. FCN 및 DeepLabV3 모델의 경우 ResNet-50 백본(Backbone)을 사용하여 특징 추출을 향상시킨다.
손실 함수로는 초점 손실(Focal Loss)을 사용하였으며, 이는 주로 클래스 불균형이 있는 데이터셋에서 모델이 더 어려운, 즉 잘못 분류하기 쉬운 예시들에 더 많은 관심을 기울이게 하는 함수이다. 최적화 함수로는 Adam (Kingma and Ba, 2014)을 사용하였으며, 이는 자동으로 학습률을 조정해주는 방식으로 널리 채택되고 있는 알고리즘이다.

성능/효과

Table 2는 훈련 과정 중 각 모델의 손실 값과 검증 정확도 값을 나타낸다. FCN은 훈련 과정 중 다른 두 모델에 비해 우수한 성능을 보여주었지만, 제안된 앙상블 방법은 세 모델을 모두 통합했을 때 가장 우수한 예측 정확도 결과를 나타내었다. Fig.
결론적으로 본 연구를 통해 앙상블 방법이 기존 모델을 통합하여 좀 더 정확성이 향상될 수 있다는 것을 확인할 수 있었다. 또한 이미지 데이터의 다양성과 진화하는 복잡성을 고려할 때 향후 연구에서는 본 연구에서 고려한 분할 모델 외에 새롭게 개발되고 있는 정교한 모델에 앙상블을 적용할 수도 있다.
본 연구에서는 FCN, DeepLabV3, U-Net의 검증 정확도와 훈련 손실 값을 활용하여 최종 추론 결과를 도출하는 방식을 제시하였고, 이를 토지 피복 분할 데이터에 적용하여 정확도를 검증해 보았다. 그 결과 각 모델의 mIoU 결과 값과 비교했을 때 정확도가 상승하는 것을 확인할 수 있었다. 따라서 제안한 방법은 여러 모델의 출력을 통합하여 개별 모델 아키텍처의 미세 조정에 주로 의존해온 기존 분할 전략의 경계를 확장한다.
하지만 Table 3에서 볼 수 있듯이 제안된 앙상블 방법은 예측에서 가장 우수한 성능을 보이는 단일 FCN 모델에 비해 mIoU 점수를 0.4% 향상시켰고, 세부적인 영역에서 앙상블 모델이 좀 더 정확하게 피복 분할을 수행하는 것을 확인할 수 있었다. 이는 DeepLabV3 및 U-Net 모델이 FCN보다 개별 성능이 낮지만 이들의 예측이 여전히 제안된 앙상블 접근 방식에서 최종 결과에 영향을 미쳤음을 나타낸다.

후속연구

이 값을 사용하여 각 모델은 각 참가자가 동일한 투표권을 가지는 기존 투표 시스템에서 벗어나 결정에 대한 다른 가중치를 얻게 된다. 따라서 본 연구의 접근 방식은 의미론적 분할을 위한 독특하고 잠재적으로 더 효과적인 앙상블 방법을 제공할 수 있다.
결론적으로 본 연구를 통해 앙상블 방법이 기존 모델을 통합하여 좀 더 정확성이 향상될 수 있다는 것을 확인할 수 있었다. 또한 이미지 데이터의 다양성과 진화하는 복잡성을 고려할 때 향후 연구에서는 본 연구에서 고려한 분할 모델 외에 새롭게 개발되고 있는 정교한 모델에 앙상블을 적용할 수도 있다. 따라서 앙상블 모델은 잠재적으로 더 세부적인 부분을 포착하여 분할 모델의 성능을 더욱 향상시킬 수 있다.
따라서 앙상블 모델은 잠재적으로 더 세부적인 부분을 포착하여 분할 모델의 성능을 더욱 향상시킬 수 있다. 종합적으로 보았을 때 본 연구는 향후 연구를 위한 시작단계를 제시하며, 이는 이미지 분할 분야의 실제 적용 가능성과 그 성능을 향상시키기 위해 앙상블 기반 접근 방식을 더욱 탐구하고 개선할 것으로 기대한다.

참고문헌 (20)

Badrinarayanan, V., Kendall, A., and Cipolla, R., 2017. SegNet: A deep？convolutional encoder-decoder architecture for image segmentation.？IEEE Transactions on Pattern Analysis and Machine Intelligence,？39(12), 2481-2495. https://doi.org/10.1109/TPAMI.2016.2644615

상세보기
Chen, C., Zhang, B., and Su, H., 2016. Land-use scene classification？using multi-scale completed local binary patterns. Signal, Image？and Video Processing, 101, 745-752. https://doi.org/10.1007/s11760-015-0804-2

상세보기
Chen, L.C., Papandreou, G., Schroff, F., andAdam, H., 2017.Rethinking？atrous convolution for semantic image segmentation. arXiv？preprint arXiv:1706.05587. https://arxiv.org/abs/1706.05587
Chen, T., and Guestrin, C., 2016. XGBoost: A scalable tree boosting？system. In Proceedings of the 22nd ACM SIGKDD International？Conference on Knowledge Discovery and Data Mining, San？Francisco, CA, USA, Aug. 13-17, pp. 785-794. https://doi.org/10.1145/2939672.2939785
Cortes, C., and Vapnik, V., 1995. Support-vector networks. Machine？Learning, 20, 273-297. https://doi.org/10.1007/bf00994018

상세보기
Dietterich, T. G., 2020. Ensemble methods in machine learning. In:？Multiple Classifier Systems, MCS 2000, Springer, pp. 1-15.？https://doi.org/10.1007/3-540-45014-9_1

상세보기
Garcia-Garcia, A., Orts-Escolano, S., Oprea, S., Villena-Martinez,？V., and Garcia-Rodriguez, J., 2017. A review on deep learning？techniques applied to semantic segmentation. arXiv preprint？arXiv:1704.06857. https://arxiv.org/abs/1704.06857
He, K., Zhang, X., Ren, S., and Sun, J., 2016. Deep residual learning for？image recognition. In Proceedings of the IEEE Conference on？Computer Vision and Pattern Recognition (CVPR), Las Vegas,？NV, USA, June 27-30, pp. 770-778.
Kingma, D. P., and Ba, J., 2014. Adam: A method for stochastic？optimization. arXiv preprint arXiv:1412.6980. https://doi.org/10.48550/arXiv.1412.6980
Kuncheva, L. I., 2004. Combining pattern classifiers: methods and？algorithms. John Wiley & Sons. https://doi.org/10.1002/0471660264
Lin, T.-Y., Goyal, P., Girshick, R., He, K., and Dollar, P., 2017. Focal loss？for dense object detection. In Proceedings of the IEEE International？Conference on Computer Vision (ICCV), Venice, Italy, Oct. 22-29,？pp. 2980-2988.
Long, J., Shelhamer, E., and Darrell, T., 2015. Fully convolutional？networks for semantic segmentation. In Proceedings of the IEEE？Conference on Computer Vision and Pattern Recognition (CVPR),？Boston, MA, USA, June 7-12, pp. 3431-3440.
Lyu, Y., Vosselman, G., Xia, G.-S., Yilmaz, A., and Yang, M. Y., 2020.？UAVid: A semantic segmentation dataset for UAV imagery.？ISPRS Journal of Photogrammetry and Remote Sensing, 165,？108-119. https://doi.org/10.1016/j.isprsjprs.2020.05.009

상세보기
MacQueen, J., 1967. Some methods for classification and analysis of？multivariate observations. In Proceedings of the 5th Berkeley？Symposium on Mathematical Statistics and Probability, Berkeley,？CA, USA, June 21-July 18, pp. 281-297.
Quinlan, J. R., 1986. Induction of decision trees. Machine Learning, 1,？81-106. https://doi.org/10.1007/BF00116251

상세보기
Rokach, L., 2010. Ensemble-based classifiers. Artificial Intelligence？Review, 33, 1-39. https://doi.org/10.1007/s10462-009-9124-7

상세보기
Ronneberger, O., Fischer, P., and Brox, T., 2015, U-Net: Convolutional？networks for biomedical image segmentation. arXiv preprint？arXiv:1505.04597. https://arxiv.org/abs/1505.04597
Shengjja, C., Yunhan, Z., Shangru, Y., and Songlin, C., 2021. Research？on Python data visualization technology. Journal of Physics:？Conference Series, 1757, 012122. https://doi.org/10.1088/1742-6596/1757/1/012122

상세보기
Surowiecki, J., 2005. The Wisdom of crowds. Anchor.
Witcher, R. E., 1999. GIS and landscapes of perception.In: Gillings, M.,？Mattingly, D., van Dalen, J. (eds.), Geographical information？systems and landscape archaeology, Oxbow Books, pp. 13-22.？https://dro.dur.ac.uk/5297/01/5297.pdf

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증