[논문]드론 영상으로부터 월동 작물 분류를 위한 의미론적 분할 딥러닝 모델 학습 최적 공간 해상도와 영상 크기 선정

정동기; 이임평

doi:10.7780/kjrs.2021.37.6.1.7

드론 영상으로부터 월동 작물 분류를 위한 의미론적 분할 딥러닝 모델 학습 최적 공간 해상도와 영상 크기 선정
The Optimal GSD and Image Size for Deep Learning Semantic Segmentation Training of Drone Images of Winter Vegetables 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.37 no.6 pt.1, 2021년, pp.1573 - 1587

정동기 (서울시립대학교 공간정보공학과) , 이임평 (서울시립대학교 공간정보공학과 정교수)

초록
AI-Helper

드론 영상은 위성이나 항공 영상보다 공간 해상도가 수배 혹은 수십 배가 높은 초고해상도 영상이다. 따라서 드론 영상 기반의 원격탐사는 영상에서 추출하고자 하는 객체의 수준과 처리해야 하는 데이터의 양이 전통적인 원격탐사와 다른 양상을 보인다. 또한, 적용되는 딥러닝(deep learning) 모델의 특성에 따라 모델 훈련에 사용되는 최적의 데이터의 축척과 크기가 달라질 수밖에 없다. 하지만 대부분 연구가 찾고자 하는 객체의 크기, 축척을 반영하는 영상의 공간 해상도, 영상의 크기 등을 고려하지 않고, 관성적으로 적용하고자 하는 모델에서 기존에 사용했던 데이터 명세를 그대로 적용하는 경우가 많다. 본 연구에서는 드론 영상의 공간 해상도, 영상 크기가 6가지 월동채소의 의미론적 분할(semantic segmentation) 딥러닝 모델의 정확도와 훈련 시간에 미치는 영향을 실험 통해 정량적으로 분석하였다. 실험 결과 6가지 월동채소 분할의 평균 정확도는 공간 해상도가 증가함에 따라 증가하지만, 개별 작물에 따라 증가율과 수렴하는 구간이 다르고, 동일 해상도에서 영상의 크기에 따라 정확도와 시간에 큰 차이가 있음을 발견하였다. 특히 각 작물에 따라 최적의 해상도와 영상의 크기가 다름을 알 수 있었다. 연구성과는 향후 드론 영상 데이터를 이용한 월동채소 분할 모델을 개발할 때, 드론 영상의 촬영과 학습 데이터의 제작 효율성 확보를 위한 자료로 활용할 수 있을 것이다.

Abstract ▼ AI-Helper

A Drone image is an ultra-high-resolution image that is several or tens of times higher in spatial resolution than a satellite or aerial image. Therefore, drone image-based remote sensing is different from traditional remote sensing in terms of the level of object to be extracted from the image and the amount of data to be processed. In addition, the optimal scale and size of data used for model training is different depending on the characteristics of the applied deep learning model. However, moststudies do not consider the size of the object to be found in the image, the spatial resolution of the image that reflects the scale, and in many cases, the data specification used in the model is applied as it is before. In this study, the effect ofspatial resolution and image size of drone image on the accuracy and training time of the semantic segmentation deep learning model of six wintering vegetables was quantitatively analyzed through experiments. As a result of the experiment, it was found that the average accuracy of dividing six wintering vegetablesincreases asthe spatial resolution increases, but the increase rate and convergence section are different for each crop, and there is a big difference in accuracy and time depending on the size of the image at the same resolution. In particular, it wasfound that the optimal resolution and image size were different from each crop. The research results can be utilized as data for getting the efficiency of drone images acquisition and production of training data when developing a winter vegetable segmentation model using drone images.

주제어

표/그림 (22)

그림 Fig. 1. Research Flow.
그림 Fig. 2. Study Area.
그림 Fig. 3. Deeplabv3+ Architecture (Chen et al., 2018).
그림 Fig. 4. Views of different GSD (cabbage).
표 Table 1. Specification of Drones and Sensors
표 Table 2. Area and rate of each crops
그림 Fig. 5. Case of Dataset.
표 Table 3. Specificatipn of Dataset
그림 Fig. 6. Confusion Matrix.
표 Table 3. Continued
표 Table 4. Environment of experiment
표 Table 6. Evaluation result of crop semantic segmentation accuracy
표 Table 5. Hyper parameter setting
표 Table 6. Continued
그림 Fig. 7. Dataset D-02-512 loss and accuracy : (a) Graph of training and validation loss (b) graph of accuracy (mIoU).
그림 Fig. 8. Inference result of Dataset D-02-512.
표 Table 7. Confusion matrix of Datset D-02-512 (Precision)
그림 Fig. 9. Six wintering crops.
그림 Fig. 10. Confusion matrix(D-02-512 Dataset).
표 Table 8. Optimal GSD and image size for each crops
그림 Fig. 11. Each Classe accuracy (mIoU) according to GSD and image size.
그림 Fig. 12. Each class mIoU according to image size depending on GSD.

AI 본문요약
AI-Helper

제안 방법

실험을 위한 학습 데이터는 드론 영상으로 제작한 1:1,000 크기의 정사영상 54도엽을 이용하였다. 18도엽에 해당하는 영역을 2 cm, 3 cm, 4 cm 다중 공간 해상도로 촬영하였다. 실험 데이터에서 각 작물의 영역이 차지하는 비율은 월동무, 당근, 마늘 약 10%, 양배추 5%, 양파 8%, 브로콜리 5%로, 작물과 작물이 아닌 영역의 비율 1:1 정도로 확인되었다.
실험은 44개의 데이터셋에 대해 총 900시간(37일) 동안 진행되었다. 각각의 데이터셋에 대해 설정된 매개변수에 따라 50회 학습을 수행한 후 그중 가장 평가 정확도가 우수한 모델을 해당 데이터셋에 대한 최적 모델로 결정하였다. 결국 44개의 각 데이터셋에 대해 44개의 최적의 모델을 획득하였다.
이를 위해서는 각 해상도마다 드론으로 직접 촬영을 해야 하지만, 국내 법상 드론의 비행 높이가 150 m로 제한되어 있어 일정 해상도 이상은 촬영이 어려운 실정이다. 따라서 본 연구에서는 좀 더 다양한 공간 해상도의 실험 데이터를 제작하기 위해, 가장 공간 해상도가 높은 2 cm 영상을 다운샘플링 하는 방법으로 3 cm~10 cm 공간 해상도의 영상을 추가로 제작하였다. 이렇게 만들어진 구간별 해상도 영상은 영상의 크기에 대한 영향을 분석하기 위해서 1024, 512, 256, 128 크기로 자른 데이터셋으로 구성하였다(Fig.
본 연구에서는 드론 영상의 공간 해상도, 영상 크기가 6가지 월동채소의 의미론적 분할(semantic segmentation) 딥러닝 모델의 정확도와 학습 시간에 미치는 영향을 실험 통해 정량적으로 분석하였다. 실험 결과 6가지 월동채소 분할의 평균 정확도는 공간 해상도가 증가함에 따라 증가하지만, 개별 작물에 따라 증가율과 수렴하는 구간이 다르고, 동일 해상도에서 영상의 크기에 따라 정확도와 시간에 큰 차이가 있음을 발견하였다.
실험을 위해 다중 공간 해상도와 영상의 크기별로 총 44개의 데이터셋을 구성하였다. 실험은 44개 데이터셋에 대해서 딥러닝 의미론적 분할 모델을 학습시키고 평가하는 방식으로 수행되었다(Fig. 1).

대상 데이터

각각의 데이터셋에 대해 설정된 매개변수에 따라 50회 학습을 수행한 후 그중 가장 평가 정확도가 우수한 모델을 해당 데이터셋에 대한 최적 모델로 결정하였다. 결국 44개의 각 데이터셋에 대해 44개의 최적의 모델을 획득하였다. 획득한 모델은 해당 데이터셋의 평가 데이터로 정확도를 평가하였으며, 6개 작물과 배경 클래스의 평균 정확도와 각 작물의 개별 평가 정확도를 산출하였다(Table 6).
데이터 취득을 위해 활용한 드론은 DJI社의 Inspire2, Phantom4 Pro, Mavic2 Pro를 3가지 기종을 활용하였으며, 각 드론 센서의 제원은 Table 1과 같다.
실험은 영상의 해상도와 크기의 변화에 따른 모델의 정확도를 산정하기 위한 실험으로 영상의 해상도와 크기 외에 정확도에 영향을 미치는 변수는 고정해야할 필요가 있다. 따라서 실험을 위해 Deeplabv3+ 모델에서 주로 사용하고 있는 영상의 크기인 512 영상 크기와 가장 높은 해상도인 2 cm 공간해상도 데이터 셋인 D-02-512 데이터셋을 이용해서 하이퍼파라미터 최적화를 진행하였으며, 해당 파라미터를 기본 값으로 설정하였다. 최적화된 하이퍼파라미터의 값은 Table 5와 같다.
실험을 위한 학습 데이터는 드론 영상으로 제작한 1:1,000 크기의 정사영상 54도엽을 이용하였다. 18도엽에 해당하는 영역을 2 cm, 3 cm, 4 cm 다중 공간 해상도로 촬영하였다.
다음으로 디지타이징한 폴리곤에 작물의 속성을 입력하는 라벨링 과정을 거쳐 학습 데이터로 제작한 후 학습과 평가를 수행하게 된다. 실험을 위해 다중 공간 해상도와 영상의 크기별로 총 44개의 데이터셋을 구성하였다. 실험은 44개 데이터셋에 대해서 딥러닝 의미론적 분할 모델을 학습시키고 평가하는 방식으로 수행되었다(Fig.
연구를 위해 먼저 월동채소 6종인 무, 당근, 양배추, 마늘, 양파, 브로콜리 재배지역의 드론 영상을 취득한다. 드론 영상은 공간 해상도 실험을 위해 동일한 지역에 대해 3개의 다중 공간 해상도로 촬영한다.
5). 이를 통해서 공간 해상도 11개 종류, 영상 크기 4종류, 총 44개의 실험 데이터셋을 제작하였다. 자세한 데이터셋의 명세는 Table 3과 같다.
지역 본 연구의 대상 지역은 국내 월동채소 생산의 대부분을 차지하고 있는 제주도의 작물 재배지역이다. 제주도는 작물별 주산지가 있으며, 연구에서는 이를 고려하여 각 6개 작물별 주산지에서 1:1000 도엽 2개 영역의 데이터를 획득하였다(Fig. 2).
지역 본 연구의 대상 지역은 국내 월동채소 생산의 대부분을 차지하고 있는 제주도의 작물 재배지역이다. 제주도는 작물별 주산지가 있으며, 연구에서는 이를 고려하여 각 6개 작물별 주산지에서 1:1000 도엽 2개 영역의 데이터를 획득하였다(Fig.

데이터처리

우선 Fig. 6과 같이 각 작물의 혼동행렬(Confusion Matrix)을 구한 후 수식(1)과 같이 배경을 포함한 7개의 클래스의 평균 IoU인 mIoU(mean IoU)를 계산하였다.
결국 44개의 각 데이터셋에 대해 44개의 최적의 모델을 획득하였다. 획득한 모델은 해당 데이터셋의 평가 데이터로 정확도를 평가하였으며, 6개 작물과 배경 클래스의 평균 정확도와 각 작물의 개별 평가 정확도를 산출하였다(Table 6). 또한, 학습의 효율성을 측 정하기 위해서 각 데이터셋의 학습 시간을 측정하였으며, Fig.

이론/모형

연구에 사용된 학습 장비는 NVIDIA 社의 DGX Station을 이용하며, Deeplabv3+ 모델은 Pytorch로 구현된 모델을 활용하였다. 정사영상 제작을 위해서는 Agisoft社의 Metashape를 사용하였으며, 학습 데이터 구축을 위해서는 QGIS를 이용하였으며, 학습 데이터 가공을 위해서는 Python 기반의 OpenCV 라이브러리를 이용하였다(Table 4).
연구에 사용된 학습 장비는 NVIDIA 社의 DGX Station을 이용하며, Deeplabv3+ 모델은 Pytorch로 구현된 모델을 활용하였다. 정사영상 제작을 위해서는 Agisoft社의 Metashape를 사용하였으며, 학습 데이터 구축을 위해서는 QGIS를 이용하였으며, 학습 데이터 가공을 위해서는 Python 기반의 OpenCV 라이브러리를 이용하였다(Table 4).
정확도 평가를 위한 데이터는 훈련 데이터와 평가 데이터를 7:3 나누어 70%는 훈련에 이용하고 30%는 평가에 이용하였다. 평가지표는 분류 영역과 클래스를 동시에 평가할 수 있는 IoU(Intersection over Union)라는 지표를 이용한다. IoU는 추론한 영역과 정답영역의 교집합을 합집합으로 나눈 값을 의미한다.

성능/효과

특히 각 작물에 따라 최적의 해상도와 영상의 크기가 다름을 알 수 있었다. 또한, 여러 작물을 동시에 분류할 때, 단순히 전체 mIoU가 높은 데이터 명세로 학습된 모델을 통해 얻을 수 있는 정확도는 76.7%이지만 클래스별 최적의 데이터 명세를 이용해 개별 모델을 학습시킬 경우 80.8%로 데이터의 취득 조건과 가공 조건의 최적화만으로도 약 4% 정도의 정확도를 향상할 수 있는 것으로 확인되었다. 본 연구의 정량적인 성과는 향후 드론 영상 데이터를 이용한 월동채소 분할 모델을 개발할 때, 드론 영상의 촬영과 학습 데이터 제작의 효율성 확보를 위한 기준 자료로 활용할 수 있을 것이다.
본 연구에서는 드론 영상의 공간 해상도, 영상 크기가 6가지 월동채소의 의미론적 분할(semantic segmentation) 딥러닝 모델의 정확도와 학습 시간에 미치는 영향을 실험 통해 정량적으로 분석하였다. 실험 결과 6가지 월동채소 분할의 평균 정확도는 공간 해상도가 증가함에 따라 증가하지만, 개별 작물에 따라 증가율과 수렴하는 구간이 다르고, 동일 해상도에서 영상의 크기에 따라 정확도와 시간에 큰 차이가 있음을 발견하였다. 특히 각 작물에 따라 최적의 해상도와 영상의 크기가 다름을 알 수 있었다.
실험 결과 작물별 모델 학습을 위한 최적의 공간 해상도와 영상의 크기가 차이가 남을 확인할 수 있었다(Table 8)
실험 결과 6가지 월동채소 분할의 평균 정확도는 공간 해상도가 증가함에 따라 증가하지만, 개별 작물에 따라 증가율과 수렴하는 구간이 다르고, 동일 해상도에서 영상의 크기에 따라 정확도와 시간에 큰 차이가 있음을 발견하였다. 특히 각 작물에 따라 최적의 해상도와 영상의 크기가 다름을 알 수 있었다. 또한, 여러 작물을 동시에 분류할 때, 단순히 전체 mIoU가 높은 데이터 명세로 학습된 모델을 통해 얻을 수 있는 정확도는 76.

후속연구

본 연구의 정량적인 성과는 향후 드론 영상 데이터를 이용한 월동채소 분할 모델을 개발할 때, 드론 영상의 촬영과 학습 데이터 제작의 효율성 확보를 위한 기준 자료로 활용할 수 있을 것이다. 또한, 연구에서 수행한 작물별 최적 해상도와 영상 크기를 추출하는 절차는 새로운 작물에도 유용하게 적용할 수 있을 것으로 판단된다.
8%로 데이터의 취득 조건과 가공 조건의 최적화만으로도 약 4% 정도의 정확도를 향상할 수 있는 것으로 확인되었다. 본 연구의 정량적인 성과는 향후 드론 영상 데이터를 이용한 월동채소 분할 모델을 개발할 때, 드론 영상의 촬영과 학습 데이터 제작의 효율성 확보를 위한 기준 자료로 활용할 수 있을 것이다. 또한, 연구에서 수행한 작물별 최적 해상도와 영상 크기를 추출하는 절차는 새로운 작물에도 유용하게 적용할 수 있을 것으로 판단된다.

참고문헌 (13)

Clack, W. and K. Avery, 1976. The effects of Data Aggregation in Statistical Analysis, Geographica Analysis, 8(4): 428-438.
Chen, L., Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation, Proc. of the European conference on computer vision (ECCV), Munich, DE, Sep. 8-14, pp. 801-818.
Chen, L.C., G. Papandreou, I. Kokkinos, K. Murphy and A.L. Yuille, 2014. Semantic image segmentation with deep convolutional nets and fully connected crfs, Proc. of In International Conference on Learning Representations, Banff, CAN, Apr. 14-16, arXiv preprint arXiv: 1412.7062.
Chew, R., J. Rineer, R. Beach, M. O'Neil, N. Ujeneza, D. Lapidus, and D.S. Temple, 2020. Deep Neural Networks and Transfer Learning for Food Crop Identification in UAV Images, Drones, 4(1): 7.

상세보기
Chiu, W.-T., C.-H. Lin, C.-L. Jhu, C. Lin, Y.-C. Chen, M.-J. Huang, 2020. Semantic Segmentation of Lotus Leaves in UAV Aerial Images via U-Net and DeepLab-based Networks, Proc. of International Computer Symposium (ICS), Tainan, TPE, Dec. 17-19, pp. 535-540.
Huang, L., X. Wu, Q. Peng, and X. Yu, 2021. Depth Semantic Segmentation of Tobacco Planting Areas from Unmanned Aerial Vehicle Remote Sensing Images in Plateau Mountains, Journal of Spectroscopy, 2021: 1-14.

상세보기
Ku, C.Y., 2000. The scale characteristics of satellite imagery with spatial resolution, the instituts for Korean Regional Studies, Seoul, KOR (in Korean with English abstract).
Lee, S. and M. Lee, 2021. A Study of Establishment and application Algorithm of Artificial Intelligence Training Data on Land use/cover Using Aerial Photograph and Satellite Images, Korean Journal of Remote Sensing, 37(5-1): 871-884 (in Korean with English abstract).

원문보기 상세보기
LeCun, Y., Boser, B., Denker, J.S., Henderson, D., Howard, R.E., Hubbard, W., and Jackel, L.D., 1989. Backpropagation applied to handwritten zip code recognition, Neural Computation, 1(4): 541-551.

상세보기
Long, J., E. Shelhamer, and T. Darrell, 2015. Fully convolutional networks for semantic segmentation, Proc. of the IEEE conference on computer vision and pattern recognition, Boston, MA, USA, Jun. 7-12, pp. 3431-3440.
Ronneberger, O., P. Fischer, and T. Brox, 2015, U-net: Convolutional networks for biomedical image segmentation, Proc. of in International Conference on Medical image computing and computerassisted intervention, Springer, Cham, Oct. 5-9, pp. 234-241.
Tao, A., K. Sapra, and B. Catanzaro, 2020, Hierarchical multi-scale attention for semantic segmentation. arXiv preprint arXiv: 2005.10821.
Zhao, H., J. Shi, X. Qi, X. Wang, and J. Jia, 2017, Pyramid scene parsing network, Proc. of the IEEE conference on computer vision and pattern recognition, Honolulu, HI, USA, Jul. 21-26, pp. 2881-2890.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증