[논문]데이터 확장을 통한 토지피복분류 U-Net 모델의 성능 개선

백원경; 이명진; 정형섭

doi:10.7780/kjrs.2022.38.6.2.8

데이터 확장을 통한 토지피복분류 U-Net 모델의 성능 개선
The Performance Improvement of U-Net Model for Landcover Semantic Segmentation through Data Augmentation 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.6 pt.2, 2022년, pp.1663 - 1676

백원경 (서울시립대학교 공간정보공학과) , 이명진 (한국환경연구원 환경데이터전략센터) , 정형섭 (서울시립대학교 공간정보공학과)

초록
AI-Helper

최근 딥러닝을 활용한 토지피복분류 기법 연구가 다수 수행되고 있다. 그런데 양질의 토지피복 학습데이터를 충분하게 구축되지 못하여 성능이 저하되는 양상이 확인되었다. 이에 따라 본 연구에서는 데이터 확장 기법의 적용을 통한 토지피복분류 성능의 향상을 확인하였다. 분류 모델로는 U-Net이 활용되었으며 AI Hub에서 제공하는 토지피복 위성 이미지 자료를 연구자료로 활용하였다. 원본 데이터로 학습한 모델과 데이터 확장 기법이 적용된 데이터로 학습한 모델의 픽셀 정확도는 각각 0.905와 0.923이었으며 평균 F1 스코어는 각각 0.720과 0.775로 데이터 확장 기법을 적용하였을 때가 보다 우수한 성능을 나타내는 사실을 확인할 수 있었다. 또한 원본 학습데이터를 활용하여 학습한 모델의 경우 건물, 도로, 논, 밭, 산림, 비대상 지역 클래스에 대한 F1 스코어가 0.770, 0.568, 0.733, 0.455, 0.964 그리고 0.830이었으며, 데이터 확장을 적용하였을 때에 각 클래스에 대한 F1 스코어는 각각 0.838, 0.660, 0.791, 0.530, 0.969 그리고 0.860으로 모든 클래스에 대해 데이터 확장이 성능향상에 유효하다는 사실을 확인하였다. 또한, 클래스 균형에 대한 고려없이 데이터 확장을 적용했음에도 불구하고 데이터 불균형에 의한 클래스별 성능 왜곡을 완화할 수 있다는 사실을 확인할 수 있었다. 이는 절대적인 학습데이터의 양이 증가했기 때문이라 판단된다. 본 연구 결과는 다양한 영상 처리 분야에서 데이터 확장 기법의 중요성과 효과를 증명하는 기반 자료의 역할을 수행할 것으로 기대한다.

Abstract ▼ AI-Helper

Recently, a number of deep-learning based land cover segmentation studies have been introduced. Some studies denoted that the performance of land cover segmentation deteriorated due to insufficient training data. In this study, we verified the improvement of land cover segmentation performance through data augmentation. U-Net was implemented for the segmentation model. And 2020 satellite-derived landcover dataset was utilized for the study data. The pixel accuracies were 0.905 and 0.923 for U-Net trained by original and augmented data respectively. And the mean F1 scores of those models were 0.720 and 0.775 respectively, indicating the better performance of data augmentation. In addition, F1 scores for building, road, paddy field, upland field, forest, and unclassified area class were 0.770, 0.568, 0.433, 0.455, 0.964, and 0.830 for the U-Net trained by original data. It is verified that data augmentation is effective in that the F1 scores of every class were improved to 0.838, 0.660, 0.791, 0.530, 0.969, and 0.860 respectively. Although, we applied data augmentation without considering class balances, we find that data augmentation can mitigate biased segmentation performance caused by data imbalance problems from the comparisons between the performances of two models. It is expected that this study would help to prove the importance and effectiveness of data augmentation in various image processing fields.

주제어

표/그림 (9)

표 Table 1. Principal information of study data
그림 Fig. 1. Overall data flow.
그림 Fig. 2. Data augmentation procedure adopted in this study.
표 Table 2. U-Net structure used in this study
그림 Fig. 3. The examples of training data: original (a1-c1) and augmented training data (a2-a4, b1-b4, c1-c4), (a1-a4) RGB image, (b1-b4) color infrared image, and (c1-c4) label data.
표 Table 3. The principal hyperparameters of U-Net trained by original and augmented data
표 Table 4. Performance evaluation indices of the U-Net models trained by original and augmented data
그림 Fig. 4. Predicted landcover maps: (a1-d1) RGB maps, (a2-d2) CIR maps, (a3-d3) label data, (a4-d4) predicted landcover maps using U-Net, and (a5-d5) predicted landcover maps using U-Net trained by augmented data.
그림 Fig. 5. Precision-recall curves of U-net models trained by original (a) and augmented (b) data, (c) AP of two models according to the pixelwise class proportion.

AI 본문요약
AI-Helper

제안 방법

1). 1) 학습데이터 샘플링, 2) 학습데이터에 대해 데이터 확장기법 적용, 3) 딥러닝 모델 결정 및 학습, 4) 성능 비교(U-Net). 가장 먼저 랜덤 샘플링을 통하여 학습데이터와 검증 데이터 그리고 시험 데이터로 구분하였다.
회전이 적용된 학습데이터에 대해 아핀변환을 적용하였다. 아핀 변환은 임의이동, 임의회전, 임의 전단 변형, 임의 스케일 변화를 적용하였으며, 각 변화량의 표준편차를 결정하여 변환량을 결정하였다. 색상 확장은 패치별, 밴드별로 임의의 선형변환 계수를 결정하고 적용하였다.
이들 데이터는 비교를 위한 모델에 모두 동일하게 적용된다. 학습데이터에 대해 데이터 확장기법을 적용하였으며, 원본 학습데이터만을 활용하여 학습한 딥러닝 모델 그리고 해당 학습데이터에 대해 데이터 확장기법을 적용한 이후 학습한 딥러닝 모델의 성능을 비교하였다. 각 절차에 대한 보다 자세한 설명은 다음과 같다.

대상 데이터

데이터 확장은 192쌍의 학습데이터에 대해서만 적용하였다. 192장의 영상에 대하여 임의 회전, 기하 왜곡, 임의 회전 및 반전, 색상 왜곡 그리고 임의 영역 삭제를 적용했다. 가장 먼저 19배의 데이터 오버샘플링을 적용했다.
1) 학습데이터 샘플링, 2) 학습데이터에 대해 데이터 확장기법 적용, 3) 딥러닝 모델 결정 및 학습, 4) 성능 비교(U-Net). 가장 먼저 랜덤 샘플링을 통하여 학습데이터와 검증 데이터 그리고 시험 데이터로 구분하였다. 이들 데이터는 비교를 위한 모델에 모두 동일하게 적용된다.
이에 따라 300쌍의 입력영상과 라벨 데이터에 대하여 서로 중복되지 않게 랜덤샘플링을 통하여 학습데이터 64%(192쌍)와 검증데이터 16%(49쌍) 그리고 시험데이터 20%(59쌍)를 구분하였다. 데이터 확장은 192쌍의 학습데이터에 대해서만 적용하였다. 192장의 영상에 대하여 임의 회전, 기하 왜곡, 임의 회전 및 반전, 색상 왜곡 그리고 임의 영역 삭제를 적용했다.

성능/효과

Fig. 4(a, d)의 하얀색 박스는 실제로 도로가 존재하는 지역이지만 도로 어노테이션(annotation) 기준에 부합하지 않는 지역으로 어노테이션이 되지 않은 도로 영역에 대해서 데이터 확장을 적용했을 때 더 잘 구분하는 것을 확인할 수 있었다. 또한 해당 영역에서 비대상지역에 대해서도 데이터 확장을 적용하였을 때 보다 명확하게 분류하는 것을 확인할 수 있었다.
또한 Fig. 4(b)의 우측 상단에서 논 지역에 대해서 데이터 확장을 적용하였을 때 라벨데이터의 형태를 잘 복원하는 사실을 확인할 수 있었다. 이와 유사하게 Fig.
Fig. 4(b-c)의 하얀색 실선박스에서 데이터 확장을 적용했을 때 선형적이거나 각진 패턴의 토지피복이 잘 분류되는 것을 확인할 수 있었다. 또한 Fig.
최근 딥러닝을 활용하여 항공 및 위성영상으로부터 토지피복분류를 하기 위한 연구가 다수 수행되고 있다. 그런데 딥러닝 모델이 일반적인 성능을 도출하기 위한 양질의 토지피복 학습데이터를 충분하게 구축하는 것은 시간과 노동 비용 소모가 크며, 부족한 학습데이터에 따라 성능이 저하되는 양상이 확인되었다. 최근 데이터 확장 기법의 적용을 통하여 영상 분할 모델의 성능 향상 연구가 진행된 바 있으며 토지피복지도 분류에 대해서도 데이터 확장기법이 잘 적용된다면 보다 효율적으로 토지피복지도를 생산할 수 있다.
동일한 학습데이터를 활용하여 생성한 데이터임에도 불구하고 데이터 변환을 통하여 입력데이터의 색상이 변화된 것을 확인할 수 있었다. 데이터 변환을 통하여 다양한 속성을 가진 학습데이터를 재생산하였으나 데이터확장을 통하여 생성된 학습데이터는 여전히 검증데이터와 시험데이터에 대해 독립적이며, 확장된 학습데이터로 학습한 모델과 원본 학습데이터로 학습한 모델의 성능을 비교함으로써 데이터 확장 기법의 성능 개선 영향을 평가할 수 있다.
4의 a4-d4와 a5-d5는 각각 원본 데이터를 활용하여 학습한 U-Net 모델과 데이터 확장을 적용한 U-Net 모델을 활용한 토지피복 예측 결과를 나타낸다. 동일한 구조의 모델을 활용했음에도 불구하고 활용한 학습데이터에 따라 세부적인 분류 결과의 정확도가 데이터 확장기법의 적용 유무에 따라 크게 달라지는 사실을 확인할 수 있었다. Fig.
영상의 회전 및 위치 변환을 통하여 특정 위치에 대한 과적합 발생을 방지할 수 있으며 색상 변환을 통하여 색상에 대한 과적합을 방지할 수 있다. 동일한 학습데이터를 활용하여 생성한 데이터임에도 불구하고 데이터 변환을 통하여 입력데이터의 색상이 변화된 것을 확인할 수 있었다. 데이터 변환을 통하여 다양한 속성을 가진 학습데이터를 재생산하였으나 데이터확장을 통하여 생성된 학습데이터는 여전히 검증데이터와 시험데이터에 대해 독립적이며, 확장된 학습데이터로 학습한 모델과 원본 학습데이터로 학습한 모델의 성능을 비교함으로써 데이터 확장 기법의 성능 개선 영향을 평가할 수 있다.
4(a, d)의 하얀색 박스는 실제로 도로가 존재하는 지역이지만 도로 어노테이션(annotation) 기준에 부합하지 않는 지역으로 어노테이션이 되지 않은 도로 영역에 대해서 데이터 확장을 적용했을 때 더 잘 구분하는 것을 확인할 수 있었다. 또한 해당 영역에서 비대상지역에 대해서도 데이터 확장을 적용하였을 때 보다 명확하게 분류하는 것을 확인할 수 있었다. Fig.
3(c1-c4)는 각각 RGB 영상, Color infrared (CIR) 영상 그리고 라벨 데이터를 나타낸다. 이들 데이터는 모두 임의의 데이터 확장 기법을 통하여 산출되었다. Fig.
4(b-c)의 하얀색 점선 박스는 밭 지역을 표현한 것으로 데이터 확장을 적용했을 때에 밭 지역의 탐지할 수 있었다. 이를 바탕으로 데이터 확장을 적용한 모델이 경계 부를 명확하게 구분하는 것뿐만 아니라 활용한 패치 내의 문맥 정보를 정확하게 파악할 수 있다는 사실을 확인할 수 있었다.
일반적으로 데이터의 수가 많지 않은 경우 학습데이터와 시험데이터는 8:2의 비율로 샘플링 하며, 검증데이터는 학습데이터에 대해 다시 8:2로 분할하여 구축한다. 이에 따라 300쌍의 입력영상과 라벨 데이터에 대하여 서로 중복되지 않게 랜덤샘플링을 통하여 학습데이터 64%(192쌍)와 검증데이터 16%(49쌍) 그리고 시험데이터 20%(59쌍)를 구분하였다. 데이터 확장은 192쌍의 학습데이터에 대해서만 적용하였다.

후속연구

딥러닝 모델의 일반적인 성능을 평가하기 위해서는 학습데이터와 시험데이터의 분할이 중요하다. 또한 모델의 전체적인 성능을 향상시키기 위하여 하이퍼파라미터(hyperparameter) 미세조정 과정을 거치는데, 이 과정에서 시험 데이터를 그대로 활용하면 시험데이터에 대한 과적합을 판단하기가 어렵다. 이를 방지하기 위하여 학습데이터 중 일부를 선정하여 검증 데이터를 생성하였다.
그런데 딥러닝 모델이 일반적인 성능을 도출하기 위한 양질의 토지피복 학습데이터를 충분하게 구축하는 것은 시간과 노동 비용 소모가 크며, 부족한 학습데이터에 따라 성능이 저하되는 양상이 확인되었다. 최근 데이터 확장 기법의 적용을 통하여 영상 분할 모델의 성능 향상 연구가 진행된 바 있으며 토지피복지도 분류에 대해서도 데이터 확장기법이 잘 적용된다면 보다 효율적으로 토지피복지도를 생산할 수 있다.

참고문헌 (29)

AI Hub, 2020. 2020 Satellite-derived landcover dataset, https://www.aihub.or.kr/aihubdata/data/list.do?pageIndex1&currMenu115&topMenu100&dataSetSn&srchdataClCodeDATACL001&srchOrder&SrchdataClCodeDATACL002&searchKeyword%ED%86%A0%EC%A7%80%ED%94%BC%EB%B3%B5, Accessed on Nov. 30, 2022.
Baek, W.-K. and H.-S. Jung, 2021a. Performance comparison of oil spill and ship classification from x-band dual-and single-polarized SAR image using support vector machine, random forest, and deep neural network, Remote Sensing, 13(16): 3203. https://doi.org/10.3390/rs13163203

상세보기
Baek, W.-K., 2022, Phase Unwrapping Using Modified U-Net Regression Model: Focusing on Network Structure and Training Data Optimization, University of Seoul, Seoul, Korea (in Korean with English abstract).
Baek, W.-K., H.-S. Jung, and D. Kim, 2020. Oil spill detection of Kerch strait in November 2007 from dual-polarized TerraSAR-X image using artificial and convolutional neural network regression models, Journal of Coastal Research, 102(SI): 137-144. https://doi.org/10.2112/SI102-017.1

상세보기
Baek, W.-K., S.-H. Park, N.-K. Jeong, S. Kwon, W.-J. Jin, and H.-S. Jung, 2017. A study for the techniques and applications of NIR remote sensing based on statical analyses of NIR-related papers, Korean Journal of Remote Sensing, 33(5-3): 889-900 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2017.33.5.3.11

원문보기 상세보기
Baek, W.-K., Y.-S. Lee, S.-H. Park, and H.-S. Jung, 2021b. Classification of Natural and Artificial Forests from KOMPSAT-3/3A/5 Images Using Deep Neural Network, Korean Journal of Remote Sensing, 37(6-3): 1965-1974 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.6.3.5

원문보기 상세보기
Chen, S., S. Abhinav, S. Saurabh, and G. Abhinav, 2017. Revisting unreasonable effectiveness of data in deep learning era, Proc. of the IEEE International Conference on Computer Vision (ICCV), Venice, Italy, Oct. 22-29, pp. 843-852. https://doi.org/10.48550/arXiv.1707.02968
Choi, D., C.J. Shallue, Z. Nado, J. Lee, C.J. Maddison, and G.E. Dahl, 2019. On empirical comparisons of optimizers for deep learning, arXiv preprint arXiv:1910.05446. https://doi.org/10.48550/arXiv.1910.05446
Halevy, A., P. Norvig, and F. Pereira, 2009. The unreasonable effectiveness of data, IEEE Intelligent Systems, 24: 8-12. https://doi.org/10.1109/MIS.2009.36

상세보기
Jin, Y.W., S. Jia, A.B. Ashraf, and P. Hu, 2020. Integrative data augmentation with U-Net segmentation masks improves detection of lymph node metastases in breast cancer patients, Cancers, 12(10): 2934. https://doi.org/10.3390/cancers12102934

상세보기
Johnson, J.M. and T.M. Khoshgoftaar, 2019. Survey on deep learning with class imbalance, Journal of Big Data, 6(1): 1-54. https://doi.org/10.1186/s40537-019-0192-5

상세보기
Joo, G., C. Park, and H. Im, 2020. Performance evaluation of machine learning optimizers, Institute of Korean Electrical and Electronics Engineers, 24(3): 766-776. https://doi.org/10.7471/ikeee.2020.24.3.766

원문보기 상세보기
Kim, M.J., S.M. Lee, J.C. Park, H.W. Lee, C.M. Kwon, and I.Y. Won, 2018. A Poisonous Plants Classification System Using Data Augmentation And Transfer Learning, Proc. of the Korea Information Processing Society Conference, Busan, Korea, Nov. 2-3, pp. 660-663.
Lee, S., W.-K. Baek, H.-S. Jung, and S. Lee, 2020. Susceptibility Mapping on Urban Landslides Using Deep Learning Approaches in Mt. Umyeon, Applied Sciences, 10(22): 8189. https://doi.org/10.3390/app10228189

상세보기
Lee, S.H. and M.J. Lee, 2020. A study on deep learning optimization by land cover classification item using satellite imagery, Korean Journal of Remote Sensing, 36(6-2): 1591-1604 (in Korean with English abstract). https://dx.doi.org/10.7780/kjrs.2020.36.6.2.9

원문보기 상세보기
Lee, S.H. and M.J. Lee, 2021. A Study of Establishment and application Algorithm of Artificial Intelligence Training Data on Land use/cover Using Aerial Photograph and Satellite Images, Korean Journal of Remote Sensing, 37(5-1): 871-884 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.5.1.4

원문보기 상세보기
Lee, S.H. and M.J. Lee, 2022. Comparisons of Multi Resolution Based AI Training Data and Algorithms Using Remote Sensing Focus on Landcover, Frontiers in Remote Sensing, 8: 832753. https://doi.org/10.3389/frsen.2022.832753
Liu, M., B. Fu, S. Xie, H. He, F. Lan, Y. Li, P. Lou, and D. Fan, 2021. Comparison of multi-source satellite images for classifying marsh vegetation using DeepLabV3 Plus deep learning algorithm, Ecological Indicators, 125: 107562. https://doi.org/10.1016/j.ecolind.2021.107562

상세보기
Nazi, Z.A. and T. A. Abir, 2020. Automatic skin lesion segmentation and melanoma detection: Transfer learning approach with u-net and dcnn-svm, Proc. of International Joint Conference on Computational Intelligence. Budapest, Hungary, Nov. 2-4, pp. 371-381.
Oliveira, G.L., 2019. Encoder-decoder Methods for Semantic Segmentation: Efficiency and Robustness Aspects, Albert-Ludwigs-Universitat Freiburg, Freiburg, Germany.
Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, Proc. of 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, Oct. 5-9, pp. 234-241.
Shi, P., M. Duan, L. Yang, W. Feng, L. Ding, and L. Jiang, 2022. An improved U-net image segmentation method and its application for metallic grain size statistics, Materials, 15(13): 4417. https://doi.org/10.3390/ma15134417

상세보기
Shorten, C. and T.M. Khoshgoftaar, 2019. A survey on image data augmentation for deep learning, Journal of Big Data, 6(1): 1-48. https://doi.org/10.1186/s40537-019-0197-0

상세보기
Stoian, A., V. Poulain, J. Inglada, V. Poughon, and D. Derksen, 2019. Land cover maps production with high resolution satellite image time series and convolutional neural networks: Adaptations and limits for operational systems, Remote Sensing, 11(17): 1986. https://doi.org/10.3390/rs11171986

상세보기
Vali, A., S. Comai, and M. Matteucci, 2020. Deep learning for land use and land cover classification based on hyperspectral and multispectral earth observation data: A review, Remote Sensing, 12(15): 2495. https://doi.org/10.3390/rs12152495

상세보기
Wu, R., S. Yan, Y. Shan, Q. Dang, and G. Sun, 2015. Deep image: Scaling up image recognition, arXiv preprint arXiv:1501.02876. https://doi.org/10.48550/arXiv.1501.02876
Yu, J.-W., Y.-W. Yoon, W.-K. Baek, and H.S. Jung, 2021. Forest Vertical Structure Mapping Using Two-Seasonal Optic Images and LiDAR DSM Acquired from UAV Platform through Random Forest, XGBoost, and Support Vector Machine Approaches, Remote Sensing, 13(21): 4282. https://doi.org/10.3390/rs13214282

상세보기
Yuan, K., X. Zhuang, G. Schaefer, J. Feng, L. Guan, and H. Fang, 2021. Deep-Learning-Based Multispectral Satellite Image Segmentation for Water Body Detection, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 7422-7434. https://doi.org/10.1109/JSTARS.2021.3098678

상세보기
Zhang, P., Y. Ke, Z. Zhang, M. Wang, P. Li, and S. Zhang, 2018. Urban land use and land cover classification using novel deep learning models based on high spatial resolution satellite imagery, Sensors, 18(11): 3717. https://doi.org/10.3390/s18113717

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증