[논문]CNN 모델과 Transformer 조합을 통한 토지피복 분류 정확도 개선방안 검토

심우담; 이정수

doi:10.11108/kagis.2024.27.1.115

[국내논문] CNN 모델과 Transformer 조합을 통한 토지피복 분류 정확도 개선방안 검토
Assessing Techniques for Advancing Land Cover Classification Accuracy through CNN and Transformer Model Integration 원문보기

한국지리정보학회지 = Journal of the Korean Association of Geographic Information Studies, v.27 no.1, 2024년, pp.115 - 127

초록
AI-Helper

본 연구는 Transformer 모듈을 기반으로 다양한 구조의 모델을 구성하고, 토지피복 분류를 수행하여 Transformer 모듈의 활용방안 검토를 목적으로 하였다. 토지피복 분류를 위한 딥러닝 모델은 CNN 구조를 가진 Unet 모델을 베이스 모델로 선정하였으며, 모델의 인코더 및 디코더 부분을 Transformer 모듈과 조합하여 총 4가지 딥러닝 모델을 구축하였다. 딥러닝 모델의 학습과정에서 일반화 성능 평가를 위해 같은 학습조건으로 10회 반복하여 학습을 진행하였다. 딥러닝 모델의 분류 정확도 평가결과, 모델의 인코더 및 디코더 구조 모두 Transformer 모듈을 활용한 D모델이 전체 정확도 평균 약 89.4%, Kappa 평균 약 73.2%로 가장 높은 정확도를 보였다. 학습 소요시간 측면에서는 CNN 기반의 모델이 가장 효율적이었으나 Transformer 기반의 모델을 활용할 경우, 분류 정확도가 Kappa 기준 평균 0.5% 개선되었다. 차후, CNN 모델과 Transformer의 결합과정에서 하이퍼파라미터 조절과 이미지 패치사이즈 조절 등 다양한 변수들을 고려하여 모델을 고도화 할 필요가 있다고 판단된다. 토지피복 분류과정에서 모든 모델이 공통적으로 발생한 문제점은 소규모 객체들의 탐지가 어려운 점이었다. 이러한 오분류 현상의 개선을 위해서는 고해상도 입력자료의 활용방안 검토와 함께 지형 정보 및 질감 정보를 포함한 다차원적 데이터 통합이 필요할 것으로 판단된다.

Abstract ▼ AI-Helper

This research aimed to construct models with various structures based on the Transformer module and to perform land cover classification, thereby examining the applicability of the Transformer module. For the classification of land cover, the Unet model, which has a CNN structure, was selected as the base model, and a total of four deep learning models were constructed by combining both the encoder and decoder parts with the Transformer module. During the training process of the deep learning models, the training was repeated 10 times under the same conditions to evaluate the generalization performance. The evaluation of the classification accuracy of the deep learning models showed that the Model D, which utilized the Transformer module in both the encoder and decoder structures, achieved the highest overall accuracy with an average of approximately 89.4% and a Kappa coefficient average of about 73.2%. In terms of training time, models based on CNN were the most efficient. however, the use of Transformer-based models resulted in an average improvement of 0.5% in classification accuracy based on the Kappa coefficient. It is considered necessary to refine the model by considering various variables such as adjusting hyperparameters and image patch sizes during the integration process with CNN models. A common issue identified in all models during the land cover classification process was the difficulty in detecting small-scale objects. To improve this misclassification phenomenon, it is deemed necessary to explore the use of high-resolution input data and integrate multidimensional data that includes terrain and texture information.

Keyword

표/그림 (9)

그림 FIGURE 1. Study area
그림 FIGURE 2. Research method for land-cover classification
그림 FIGURE 3. Training dataset by land cover categories
그림 FIGURE 4. Architecture of the deep learning model for land cover classification
표 TABLE 1. Spectral characteristics of training data for land cover classification
표 TABLE 2. training and validation results of the deep learning model
표 TABLE 3. Estimated area by category in land cover maps for each deep learning model Unit : ha(Model-Label)
그림 FIGURE 5. Object characteristics by land cover category
표 TABLE 4. Evaluation of land cover map accuracy by deep learning model

참고문헌 (38)

Atkinson, P.M. and A.R.L. Tatnall. 1997.？Introduction neural networks in remote？sensing. International Journal of remote？sensing 18(4):699-709.？
Chen, J., Lu, Y., Yu, Q., Luo, X., Adeli, E.,？Lu, L., Yuille, A.L. and Y. Zhou. 2021.？Transunet: Transformers make strong？encoders for medical image segmentation.？arXiv preprint arXiv: 2102.04306.？
Choi, S.H., Park, K.B. and J.Y. Lee. 2023.？SwinResNet: Volumetric Medical Image？Segmentation by Fusing Swin？Transformer and ResNet. Korean Journal？of Computational Design and Engineering？28(3): 282-293.？
Choung, Y.J. 2014. Analysis of Land Uses？in the Nakdong River Floodplain Using？RapidEye Imagery and LiDAR DEM.？Journal of the Korean Association of？Geographic Information Studies？17(4):189-199.？
Das, S. 2024. A new technique for？classification method with imbalanced？training data. International Journal of？Information Technology:1-9.？
Dosovitskiy, A., Beyer, L., Kolesnikov, A.,？Weissenborn, D., Zhai, X., Unterthiner, T.,？Dehahani, M., Minderer, M., Heigold, G.,？Gelly, S., Uszkoreit, J. and N. Houlsby. 2020. An image is worth 16x16 words:？Transformers for image recognition at？scale. arXiv preprint arXiv:2010.11929.？
Foody, G.M. and A. Mathur. 2004. A？relative evaluation of multiclass image？classification by support vector machines.？IEEE Transactions on geoscience and？remote sensing 42(6):1335-1343.？

상세보기
Geng, S., Zhai, S. and C. Li. 2024. Swin？transformer based transfer learning？model for predicting porous media？permeability from 2D images. Computers？and Geotechnics. 168(106177).？

상세보기
Handayanto, R.T. 2024. Land Cover？Segmentation of Multispectral Images？Using U-Net and DeeplabV3+？Architecture. Jurnal Ilmu Komputer dan？Informasi 17(1):89-96.？
Huang, M.H. and R.T. Rust. 2018. Artificial？intelligence in service. Journal of service？research 21(2):155-172.？

상세보기
Kammerer, M., Iverson, A.L., Li, K. and？S.C. Goslee. 2024. Not just crop or？forest: an integrated land cover map for？agricultural and natural areas. Scientific？Data 11(1):137.？
Kingma, D.P. and J. Ba. 2014. Adam: A？method for stochastic optimization. arXiv？preprint arXiv:1412.6980.？
Kwon, S.K., Kim, E.H., Lim, J.B. and A.R.？Yang. 2021. The Analysis of Changes in？Forest Status and Deforestation of North？Korea's DMZ Using RapidEye Satellite？Imagery and Google Earth. Journal of？the Korean Association of Geographic？Information Studies 24(4):113-126.？
Lee, S.H. and M.J. Lee. 2020. A study on？deep learning optimization by land cover？classification item using satellite？imagery. Korean Journal of Remote？Sensing 36(6_2):1591-1604.？
Lin, A., Chen, B., Xu, J., Zhang, Z., Lu, G. and D. Zhang. 2022. Ds-transunet: Dual？swin transformer u-net for medical？image segmentation. IEEE Transactions？on Instrumentation and Measurement 71:？1-15.？

상세보기
Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y.,？Zhang, Z., Lin, S. and B. Guo. 2021.？Swin transformer: Hierarchical vision？transformer using shifted windows. In？Proceedings of the IEEE/CVF？international conference on computer？vision. pp.10012-10022.？
Loshchilov, I. and F. Hutter. 2018. Fixing？weight decay regularization in adam.？https://openreview.net/forum?idrk6qdGgCZ. (Accessed Feb 15,？2024)
Mountrakis, G., Im, J. and C. Ogole. 2011.？Support vector machines in remote？sensing: A review. ISPRS journal of？photogrammetry and remote sensing？66(3):247-259.？

상세보기
Oktay, O., Schlemper, J., Folgoc, L.L., Lee,？M., Heinrich, M., Misawa, K., Mori, K.？and D. Rueckert. 2018. Attention u-net:？Learning where to look for the pancreas.？arXiv preprint arXiv:1804.03999.？
Pal, M. and P.M. Mather. 2003. An？assessment of the effectiveness of？decision tree methods for land cover？classification. Remote sensing of？environment 86(4):554-565.？
Qiu, C., Zhang, X., Tong, X., Guan, N., Yi,？X., Yang, K., Zhu, J. and A. Yu. 2024.？Few-shot remote sensing image scene？classification: Recent advances, new？baselines, and future trends. ISPRS？Journal of Photogrammetry and Remote？Sensing 209:368-382.？
Ronneberger, O., Fischer, P. and T. Brox. 2015. U-net: Convolutional networks for？biomedical image segmentation. In Medical？Image Computing and Computer-Assisted？Inter vention MICCAI International？Conference. pp.234-241.？
Rouhi, R., Jafari, M., Kasaei, S. and P.？Keshavarzian. 2015. Benign and？malignant breast tumors classification？based on region growing and CNN？segmentation. Expert Systems with？Applications 42(3):990-1002.？
Rumelhart, D.E., Hinton, G.E. and R.J.？Williams. 1986. Learning representations？by back-propagating errors. nature？323(6088):533-536.？

상세보기
Smith, L.N. and N. Topin. 2019.？Super-convergence: Very fast training of？neural networks using large learning？rates. In Artificial intelligence and machine？learning for multi-domain operations？applications Vol. 11006, pp.369-386.？
Stoian, A., Poulain, V., Inglada, J., Poughon,？V. and D. Derksen. 2019. Land cover？maps production with high resolution？satellite image time series and？convolutional neural networks:？Adaptations and limits for operational？systems. Remote Sensing 11(17):1986.？
Talukder, M.A., Sharmin, S., Uddin, M.A.,？Islam, M.M. and S. Aryal. 2024. MLSTL-WSN: Machine Learning-based？Intrusion Detection using SMOTETomek in？WSNs. arXiv preprint arXiv:2402.13277.？
Wang, H., Xing, C., Yin, J. and J. Yang. 2022. Land cover classification for？polarimetric SAR images based on vision？transformer. Remote Sensing 14(18):4656.？
Wang, H., Lin, J., Li, Y., Dong, X., Tong, X.？and S. Lu. 2024. Self-Supervised？Pre-Training Transformer for Seismic？Data Denoising. IEEE Transactions on？Geoscience and Remote Sensing 62: 5907525.？

상세보기
Won, M.S., Kim, Y.S. and K.H. Kim. 2014.？Estimation on Greenhouse Gases(GHGs)？Emission of Large Forest Fire Area in？2013. Journal of the Korean Association？of Geographic Information Studies？17(3):54-67.？
Xie, Z., Lin, Y., Yao, Z., Zhang, Z., Dai., Q.,？Cao, Y. and H. Hu. 2021. Self-supervised？learning with swin transformers. arXiv？preprint arXiv:2105.04553.？
Xu, R., Dong, X.M., Li, W., Peng, J., Sun, W.？and Y. Xu. 2024. DBCTNet: Double？Branch Convolution-Transformer Network？for Hyperspectral Image Classification.？IEEE Transactions on Geoscience and？Remote Sensing Vol. 62.？

상세보기
Zhang, L., Zhang, L. and B. Du. 2016.？Deep learning for remote sensing data:？A technical tutorial on the state of the？art. IEEE Geoscience and remote？sensing magazine 4(2): 22-40.？
Zhang, P., Ke, Y., Zhang, Z., Wang, M., Li,？P. and S. Zhang. 2018. Urban land use？and land cover classification using novel？deep learning models based on high？spatial resolution satellite imagery.？Sensors 18(11):3717.？

상세보기
Zhao, Y., Bao, W., Xu, X. and Y. Zhou. 2024. Hyperspectral image classification？based on local feature decoupling and？hybrid attention SpectralFormer network.？International Journal of Remote Sensing？45(5):1727-1754.？
Zhou, Z., Rahman Siddiquee, M.M.,？Tajbakhsh, N. and J. Liang. 2018.？Unet++: A nested u-net architecture for？medical image segmentation. Proceedings？of the In Deep Learning in Medical Image？Analysis and Multimodal Learning for？Clinical Decision Support: 4th International？Workshop. pp.3-11.？
국토교통부. 2023. 지적통계. https://stat.molit.go.kr/portal/cate/statMetaView.do?hRsId24. (Accessed February 2, 2024)？
춘천시. 2024. 춘천 소개. https://www.chuncheon.go.kr/cityhall/about-chuncheon/introduction/general/. (Accessed February 2,？2024).？

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증