[논문]딥러닝 모델을 이용한 항공정사영상의 비닐하우스 탐지

윤병현; 성선경; 최재완

doi:10.7780/kjrs.2023.39.2.5

딥러닝 모델을 이용한 항공정사영상의 비닐하우스 탐지
Detection of Plastic Greenhouses by Using Deep Learning Model for Aerial Orthoimages 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.39 no.2, 2023년, pp.183 - 192

윤병현 (지오포커스) , 성선경 (충북대학교 토목공학과) , 최재완 (충북대학교 토목공학과)

초록
AI-Helper

위성영상 및 항공사진과 같은 원격탐사 자료들은 영상판독과 영상처리 기법을 통하여 영상 내의 객체를 탐지하고 추출하는 데에 사용될 수 있다. 특히, 원격탐사 자료의 해상도가 향상되고, 딥러닝(deep learning) 모델 등과 같은 기술의 발전으로 인하여 관심객체를 자동으로 추출하여 지도갱신 및 지형 모니터링 등에 활용될 수 있는 가능성이 증대되고 있다. 이를 위해, 본 연구에서는 의미론적 분할에 사용되는 대표적인 딥러닝 모델인 fully convolutional densely connected convolutional network (FC-DenseNet)을 기반으로 하여 항공정사영상 내 존재하는 비닐하우스를 추출하고, 이에 대한 결과를 정량적으로 평가하였다. 농림축산식품부의 팜맵(farm map)을 이용하여 담양, 밀양지역의 비닐하우스에 대한 레이블링을 수행하여 훈련자료를 생성하고, 훈련자료를 이용하여 FC-DenseNet의 훈련을 수행하였다. 원격탐사자료에 딥러닝 모델을 효과적으로 이용하기 위하여, 각 밴드별 특성이 유지되도록 instance norm을 이용하여 정규화과정을 수행하였으며, attention module을 추가하여 각 밴드별 가중치를 효과적으로 산정하였다. 실험결과, 딥러닝 모델을 이용하여 영상 내 존재하는 비닐하우스 지역을 효과적으로 추출할 수 있음을 확인하였으며 팜맵, 토지피복지도 등의 갱신에 활용될 수 있을 것으로 판단하였다.

Abstract ▼ AI-Helper

The remotely sensed data, such as satellite imagery and aerial photos, can be used to extract and detect some objects in the image through image interpretation and processing techniques. Significantly, the possibility for utilizing digital map updating and land monitoring has been increased through automatic object detection since spatial resolution of remotely sensed data has improved and technologies about deep learning have been developed. In this paper, we tried to extract plastic greenhouses into aerial orthophotos by using fully convolutional densely connected convolutional network (FC-DenseNet), one of the representative deep learning models for semantic segmentation. Then, a quantitative analysis of extraction results had performed. Using the farm map of the Ministry of Agriculture, Food and Rural Affairsin Korea, training data was generated by labeling plastic greenhouses into Damyang and Miryang areas. And then, FC-DenseNet was trained through a training dataset. To apply the deep learning model in the remotely sensed imagery, instance norm, which can maintain the spectral characteristics of bands, was used as normalization. In addition, optimal weights for each band were determined by adding attention modules in the deep learning model. In the experiments, it was found that a deep learning model can extract plastic greenhouses. These results can be applied to digital map updating of Farm-map and landcover maps.

주제어

표/그림 (10)

그림 Fig. 1. Study area for extraction of plastic greenhouses. (a) 1st area for training data. (b) 2nd area for training data. (c) 3rd area for test data.
그림 Fig. 2. Overview of the farm map.
그림 Fig. 3. Image patches of the training dataset. (a) Aerial photo of plastic greenhouse areas. (b) Reference data of (b). (c) Aerial photo of non-plastic greenhouse areas reference data. (d) Reference data of (d).
그림 Fig. 4. The structure of the attention gated FC-DenseNet model.
그림 Fig. 5. The architecture of denseblock, transition down and transition up modules.
그림 Fig. 6. The architecture of convolution block attention module.
표 Table 1. Confusion matrix
표 Table 2. Hardware and hyperparameters for training of the deep learning model
표 Table 3. Comparative results of plastic greenhouses into each aerial photo
그림 Fig. 7. Classification results of plastic greenhouses. (a) Aerial photo (site 1). (b) Deep learning model results (site 1). (c) Aerial photo (site 2). (d) Deep learning model results (site 2). (e) Aerial photo (site 3). (f) Deep learning model results (site 3).

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 항공사진 내에 존재하는 비닐하우스 영역을 탐지하고, 이에 대한 정확도 및 딥러닝 모델의 성능을 분석하고자 하였다. 이를 위하여 항공사진을 이용하여 훈련자료를 제작하였으며, 의미론적 분할에 사용되는 대표적인 딥러닝 모델인 FC-DenseNet을 기반으로 하여 비닐하우스 영역 탐지를 위한 딥러닝 모델을 구축하였다.
본 연구에서는 항공사진 및 위성영상을 이용한 공간 정보의 구축, 특히 팜맵의 자동갱신을 위하여 딥러닝 모델의 활용가능성을 분석하고자 하였다. 이를 위하여 기구축된 팜맵과 항공정사영상을 이용하여 딥러닝 모델의 학습을 위한 훈련자료를 구축하였으며, FC-DenseNet을 기반으로 하는 딥러닝 모델을 이용하여 비닐하우스 지역의 탐지를 수행하고자 하였다.
국내의 경우, 팜맵(farm map)이나 환경부의 토지피복지도 등에 시설물 혹은 비닐하우스 속성으로 해당 객체에 대한 공간정보를 구축하고 있다. 비닐하우스에 대한 공간정보를 구축함에 있어 대부분 육안판독(image interpretation)을 통한 디지타이징(digitizing) 기법을 이용하고 있는데, 본 연구에서는 딥러닝 모델을 이용하여 원격탐사 자료 내의 비닐하우스 영역을 자동으로 탐지할 수 있는지를 분석하고자 하였다. 이를 위하여, 전라남도 담양읍과 경상남도 밀양시 일대의 항공정사영상과 팜맵을 이용하여 비닐하우스 영역에 대한 딥러닝 모델의 훈련자료(training data)를 제작하였으며, 의미론적 분할(semantic segmentation)에 사용되는 대표적인 딥러닝 모델인 fully convolutional densely connected convolutional network(FC-DenseNet) 모델을 이용하여 비닐하우스 영역을 자동 추출하였다.

제안 방법

Pytorch를 통하여 딥러닝 모델을 구현하고, 훈련자료를 이용하여 딥러닝 모델의 학습을 진행하였다. 딥러닝 모델의 학습을 위한 하드웨어와 훈련에 사용된 하이퍼 파라미터(hyperparameter)는 Table 2와 같다.
11도엽의 영상을 256 × 256 크기로 분할하여 영상 패치를 생성하였다. 다만, 딥러닝 모델의 훈련과정에서 과도하게 비닐하우스 지역의 비율이 높을 경우에는 비닐하우스 이외의 지역을 오분류할 가능성이 있기 때문에, 2단계로 영상 패치를 제작하였다. 첫 번째로, 11장 도엽 전체에 대하여 영상 패치를 제작하였다.
첫 번째로, 11장 도엽 전체에 대하여 영상 패치를 제작하였다. 두 번째로는 영상 패치 내 비닐하우스 영역이 30% 이상 존재하는 지역에 대해서 추가적인 영상 패치를 제작하되, 패치 제작과정에서 50%의 중복(overlap) 및 90도 회전 방향의 변환을 통하여 자료 증강(data augmentation)을 수행하였다. 2단계의 훈련자료 제작 과정을 통하여 51,044개의 영상 패치를 제작하였으며, 딥러닝 모델 훈련과정에서 발생할 수 있는 과적합(overfitting)을 확인하기 위하여 47,168개는 훈련자료(training data), 3,876개는 검증 자료(validation data)로 사용하였다.
따라서, 팜맵을 기반으로 육안판독을 수행하여 실험지역에 대한 참조자료를 구축하였다. 딥러닝 모델의 훈련을 위하여 입력영상을 영상 패치(image patch) 단위로 구성하였다. 11도엽의 영상을 256 × 256 크기로 분할하여 영상 패치를 생성하였다.
그러나, 팜맵과 항공정사영상 구축의 시간 차이로 인하여 항공정사영상에 존재하는 일부 비닐하우스 지역이 팜맵에는 존재하지 않는 경우가 발생할 수 있다. 따라서, 팜맵을 기반으로 육안판독을 수행하여 실험지역에 대한 참조자료를 구축하였다. 딥러닝 모델의 훈련을 위하여 입력영상을 영상 패치(image patch) 단위로 구성하였다.
본 연구에서 훈련된 딥러닝 모델은 비닐하우스 지역과 그 외의 지역에 대하여 이진분류를 수행하게 된다. 따라서 딥러닝 모델의 성능평가는 이진분류에 대한 Table 1의 오차행렬(confusion matrix)을 이용하여 정밀도(Precision), 재현율(Recall), F1-score를 계산하였다.
75 등의 낮은 recall 값을 가지는 결과도 나타났는데, 이는 딥러닝 모델의 결과가 비닐하우스 지역을 과소추정(underestimation)하여 발생하는 것으로 정량적 분석을 통해 추정할 수 있었다. 이를 시각적으로 확인하기 위하여, 딥러닝 모델의 결과를 팜맵, 참조자료와 함께 비교해보았다. Fig.
본 연구에서는 항공사진 및 위성영상을 이용한 공간 정보의 구축, 특히 팜맵의 자동갱신을 위하여 딥러닝 모델의 활용가능성을 분석하고자 하였다. 이를 위하여 기구축된 팜맵과 항공정사영상을 이용하여 딥러닝 모델의 학습을 위한 훈련자료를 구축하였으며, FC-DenseNet을 기반으로 하는 딥러닝 모델을 이용하여 비닐하우스 지역의 탐지를 수행하고자 하였다. 특히, FC-DenseNet 모델의 성능 향상을 위하여 주목 모듈과 정규화 과정을 추가하였다.
본 연구에서는 항공사진 내에 존재하는 비닐하우스 영역을 탐지하고, 이에 대한 정확도 및 딥러닝 모델의 성능을 분석하고자 하였다. 이를 위하여 항공사진을 이용하여 훈련자료를 제작하였으며, 의미론적 분할에 사용되는 대표적인 딥러닝 모델인 FC-DenseNet을 기반으로 하여 비닐하우스 영역 탐지를 위한 딥러닝 모델을 구축하였다.
비닐하우스에 대한 공간정보를 구축함에 있어 대부분 육안판독(image interpretation)을 통한 디지타이징(digitizing) 기법을 이용하고 있는데, 본 연구에서는 딥러닝 모델을 이용하여 원격탐사 자료 내의 비닐하우스 영역을 자동으로 탐지할 수 있는지를 분석하고자 하였다. 이를 위하여, 전라남도 담양읍과 경상남도 밀양시 일대의 항공정사영상과 팜맵을 이용하여 비닐하우스 영역에 대한 딥러닝 모델의 훈련자료(training data)를 제작하였으며, 의미론적 분할(semantic segmentation)에 사용되는 대표적인 딥러닝 모델인 fully convolutional densely connected convolutional network(FC-DenseNet) 모델을 이용하여 비닐하우스 영역을 자동 추출하였다. 생성된 딥러닝 모델은 경상남도 창원 및 김해시를 촬영한 항공정사영상에 적용하여 모델의 성능을 분석 및 평가하였다.

대상 데이터

앞서 언급한 바와 같이, Fig. 1(a, b)의 전라남도 담양읍, 경상남도 밀양시에 대한 총 11도엽의 항공정사영상 및 팜맵을 이용하여 훈련자료를 구축하였다. 먼저, 팜맵에 기구축되어 있는 속성자료 내 비닐하우스 지역을 초기훈련자료로 활용하였다.
두 번째로는 영상 패치 내 비닐하우스 영역이 30% 이상 존재하는 지역에 대해서 추가적인 영상 패치를 제작하되, 패치 제작과정에서 50%의 중복(overlap) 및 90도 회전 방향의 변환을 통하여 자료 증강(data augmentation)을 수행하였다. 2단계의 훈련자료 제작 과정을 통하여 51,044개의 영상 패치를 제작하였으며, 딥러닝 모델 훈련과정에서 발생할 수 있는 과적합(overfitting)을 확인하기 위하여 47,168개는 훈련자료(training data), 3,876개는 검증 자료(validation data)로 사용하였다. Fig.
딥러닝 모델의 학습을 위하여 다시기 항공정사영상을 통한 훈련자료를 제작하였다. 앞서 언급한 바와 같이, Fig.
1(a, b)의 전라남도 담양읍, 경상남도 밀양시에 대한 총 11도엽의 항공정사영상 및 팜맵을 이용하여 훈련자료를 구축하였다. 먼저, 팜맵에 기구축되어 있는 속성자료 내 비닐하우스 지역을 초기훈련자료로 활용하였다. 그러나, 팜맵과 항공정사영상 구축의 시간 차이로 인하여 항공정사영상에 존재하는 일부 비닐하우스 지역이 팜맵에는 존재하지 않는 경우가 발생할 수 있다.
특히, 2021년부터는 1년 주기로 항공사진촬영을 수행하고 있어서 국토 모니터링 및 지도제작에 효과적으로 항공사진을 사용할 수 있는 주기적 특성을 가지고 있다. 본 실험에서는 항공사진 내에 존재하는 비닐하우스 영역을 추출하기 위하여, 전라남도 담양읍과 경상남도 밀양시 일대의 항공정사영상을 이용하여 훈련자료를 구축하였다. 해당 지역들은 Fig.
이를 위하여, 전라남도 담양읍과 경상남도 밀양시 일대의 항공정사영상과 팜맵을 이용하여 비닐하우스 영역에 대한 딥러닝 모델의 훈련자료(training data)를 제작하였으며, 의미론적 분할(semantic segmentation)에 사용되는 대표적인 딥러닝 모델인 fully convolutional densely connected convolutional network(FC-DenseNet) 모델을 이용하여 비닐하우스 영역을 자동 추출하였다. 생성된 딥러닝 모델은 경상남도 창원 및 김해시를 촬영한 항공정사영상에 적용하여 모델의 성능을 분석 및 평가하였다.
한편, 해당 자료를 이용하여 구성된 훈련자료를 통하여 학습된 모델들은 해당 지역 내에서는 높은 성능을 보일 수 있지만, 학습에 사용되지 않은 지역에 대해서는 모델의 적용이 효과적으로 되지 않을 수 있다. 이를 검증하기 위하여, 딥러닝 모델의 평가를 위하여 사용된 항공사진은 경상남도 창원 및 김해시에 대한 영상을 활용하였다(Fig. 1c).

데이터처리

본 연구에서 훈련된 딥러닝 모델은 비닐하우스 지역과 그 외의 지역에 대하여 이진분류를 수행하게 된다. 따라서 딥러닝 모델의 성능평가는 이진분류에 대한 Table 1의 오차행렬(confusion matrix)을 이용하여 정밀도(Precision), 재현율(Recall), F1-score를 계산하였다. 각 값의 계산식은 다음과 같다.

이론/모형

Denseblock은 instance normalization, rectified linear unit (ReLU), 합성곱 연산, dropout으로 구성되어 있다. 기존의 denseblock에서 특징맵의 정규화는 배치 정규화(batch normalization)를 사용하지만, 원격탐사 자료의 각 밴드별 특성을 강조하기 위하여 본 연구에서는 특징맵 단위의 정규화과정인 instance normalization을 사용하였다. Transition down은 encoder 부분에서 특징맵의 크기를 감소시키기 위하여 사용된다.

성능/효과

또한, Fig. 7(c, d)과 같이 팜맵에서 비닐하우스로 기록되어 있으나, 항공영상에서는 확인되지 않는 부분들이 딥러닝 모델에서도 검출되지 않는 것을 확인하였다. 따라서, 본 연구에서 개발된 딥러닝 모델을 통하여 기존 팜맵의 비닐하우스 속성을 자동 갱신할 수 있을 것으로 판단된다.
90 이상의 매우 높은 값을 가지고 있는 것을 볼 때, 딥러닝 모델에 의하여 추출된 비닐하우스 지역들은 대부분 바르게 탐지된 것을 확인하였다. 그러나, 일부 도엽에서 0.75 등의 낮은 recall 값을 가지는 결과도 나타났는데, 이는 딥러닝 모델의 결과가 비닐하우스 지역을 과소추정(underestimation)하여 발생하는 것으로 정량적 분석을 통해 추정할 수 있었다. 이를 시각적으로 확인하기 위하여, 딥러닝 모델의 결과를 팜맵, 참조자료와 함께 비교해보았다.
딥러닝 모델의 훈련에 사용하지 않은 항공 정사영상을 이용하여 실험을 수행한 결과, 본 연구에서 개발한 딥러닝 모델이 정사영상에 존재하는 대부분의 비닐하우스 지역을 탐지할 수 있음을 정량적·정성적 평가를 통하여 확인하였다
84이상의 F1-score 값을 가지는 것을 확인할 수 있었다. 또한, Precision의 경우에는 0.90 이상의 매우 높은 값을 가지고 있는 것을 볼 때, 딥러닝 모델에 의하여 추출된 비닐하우스 지역들은 대부분 바르게 탐지된 것을 확인하였다. 그러나, 일부 도엽에서 0.

후속연구

7(c, d)과 같이 팜맵에서 비닐하우스로 기록되어 있으나, 항공영상에서는 확인되지 않는 부분들이 딥러닝 모델에서도 검출되지 않는 것을 확인하였다. 따라서, 본 연구에서 개발된 딥러닝 모델을 통하여 기존 팜맵의 비닐하우스 속성을 자동 갱신할 수 있을 것으로 판단된다.
딥러닝 모델의 훈련에 사용하지 않은 항공 정사영상을 이용하여 실험을 수행한 결과, 본 연구에서 개발한 딥러닝 모델이 정사영상에 존재하는 대부분의 비닐하우스 지역을 탐지할 수 있음을 정량적·정성적 평가를 통하여 확인하였다. 이를 통해, 딥러닝 모델의 개발 및 개선을 통해 팜맵의 일부 속성정보들을 자동갱신할 수 있을 것으로 예상된다.

참고문헌 (13)

Chen, F., Wang, N., Yu, B., and Wang, L., 2022. Res2-Unet, a new deep architecture for building detection？from high spatial resolution images. IEEE Journal？of Selected Topics in Applied Earth Observations？and Remote Sensing, 15, 1494-1501. https://doi.org/10.1109/JSTARS.2022.3146430

상세보기
Huang, G., Liu, Z., van der Maaten, L., and Weinberger,？K. Q., 2017. Densely connected convolutional？networks. arXiv preprint arXiv:1812.11941.？https://doi.org/10.48550/arXiv.1608.06993
Jegou, S., Drozdzal, M., Vazquez, D., Romero, A., and？Bengio, Y., 2017. The one hundred layers tiramisu:？Fully convolutional DenseNets for semantic？segmentation. arXiv preprint arXiv:1611.09326.？https://doi.org/10.48550/arXiv.1611.09326
Kim, J. and Young, H., 2021. Analysis of building object？detection based on the YOLO neural network？using UAV images. Journal of the Korean？Society of Surveying, Geodesy, Photogrammetry？and Cartography, 39(6), 381-392. https://doi.org/10.7848/ksgpc.2021.39.6.381

원문보기 상세보기
Lee, S. and Lee, M., 2021. A study of establishment？and application algorithm of artificial intelligence？training data on land use/cover using aerial？photograph and satellite images. Korean Journal？of Remote Sensing, 37(5-1), 871-884. https://doi.org/10.7780/kjrs.2021.37.5.1.4

원문보기 상세보기
Omar, W., Oh, Y., Chung, J., and Lee, I., 2021. Aerial？dataset integration for vehicle detection based on？YOLOv4. Korean Journal of Remote Sensing,？37(4), 747-761. https://doi.org/10.7780/kjrs.2021.37.4.6

원문보기 상세보기
Perez, H., Tah, J. H. M., and Mosavi, A., 2019. Deep？learning for detecting building defects using？convolutional neural networks. Sensors, 19(16),？3556. https://doi.org/10.3390/s19163556

상세보기
Ryu, J.-H., Han, J.-G., Ahn, H., Na, S.-I., Lee, B., and？Lee, K., 2022. Development of Chinese cabbage？detection algorithm based on drone multi-spectral？image and computer vision techniques. Korean？Journal of Remote Sensing, 38(5-1), 535-543.？https://doi.org/10.7780/kjrs.2022.38.5.1.8

원문보기 상세보기
Seong, S., Mo, J., Na, S., and Choi, J., 2021. Attention？gated FC-DenseNet for extracting crop cultivation？area by multispectral satellite imagery. Korean？Journal of Remote Sensing, 37(5-1), 1061-1070.？https://doi.org/10.7780/kjrs.2021.37.5.1.18

원문보기 상세보기
Yoo, S., Kim, C. H., Kwon, Y., Choi, W., and Sohn,？H.-G., 2022. Automatic building extraction using？SpaceNet building dataset and context-based？ResU-Net. Korean Journal of Remote Sensing,？38(5-2), 685-694. https://doi.org/10.7780/kjrs.2022.38.5.2.3

원문보기 상세보기
Woo, S., Park, J., Lee, J.-Y., and Kweon, I. S., 2018.？CBAM: convolutional block attention module.？arXiv preprint arXiv:1807.06521. https://doi.org/10.48550/arXiv.1807.06521
Xu, Y., Wu, L., Xie, Z., and Chen, Z., 2018. Building extraction in very high resolution remote sensing？imagery using deep learning and guided filters.？Remote Sensing, 10(1), 144. https://doi.org/10.3390/rs10010144

상세보기
Ye, C.-S., Ahn, Y.-M., Baek, T.-W., and Kim, K.-T., 2022. Semantic building segmentation using the？combination of improved DeepResUNet and？convolutional block attention module. Korean？Journal of Remote Sensing, 38(6-1), 1091-1100.？https://doi.org/10.7780/kjrs.2022.38.6.1.10

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증