[논문]무인항공기 영상과 딥러닝 기반의 의미론적 분할 기법을 활용한 야적퇴비 탐지 연구

김나경; 박미소; 정민지; 황도현; 윤홍주

doi:10.7780/kjrs.2021.37.3.1

무인항공기 영상과 딥러닝 기반의 의미론적 분할 기법을 활용한 야적퇴비 탐지 연구
A Study on Field Compost Detection by Using Unmanned AerialVehicle Image and Semantic Segmentation Technique based Deep Learning 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.37 no.3, 2021년, pp.367 - 378

김나경 (부경대학교 지구환경시스템과학부 공간정보시스템공학 전공) , 박미소 (부경대학교 지구환경시스템과학부 공간정보시스템공학 전공) , 정민지 (부경대학교 지구환경시스템과학부 공간정보시스템공학 전공) , 황도현 (부경대학교 지구환경시스템과학부 공간정보시스템공학 전공) , 윤홍주 (부경대학교 지구환경시스템과학부 공간정보시스템공학과)

초록
AI-Helper

야적퇴비는 대표적인 축산계 비점오염원으로 강우로 인해 수계로 유입될 경우 야적퇴비에 포함된 인과 질소 등의 영양염류가 하천 수질에 악영향을 미칠 수 있다. 이에 본 논문에서는 무인항공기 영상과 딥러닝 기반의 의미론적 분할 기법을 활용한 야적퇴비 탐지 방법을 제안한다. 연구지역에서 취득한 39개의 정사영상을 토대로 Data Augmentation을 통해 약 30,000개의 데이터를 확보하였다. 취득한 데이터를 U-net을 기반으로 개발된 의미론적 분할 알고리즘에 적용시킨 후 OpenCV의 필터링 기법을 적용하여 정확도를 평가하였다. 정확도 평가 결과 화소정확도는 99.97%, 정밀도는 83.80%, 재현율은 60.95%, F1- Score는 70.57%의 정확도를 보였다. 정밀도에 비해 재현율이 떨어지는 것은 정성적으로 보았을 때 전체 이미지에서 가장자리에 작은 비율로 야적퇴비 픽셀이 존재하는 경우 과소추정되었기 때문이다. 향후 추가적인 데이터셋과 RGB 밴드 이외의 추가 밴드를 조합한다면 모델 정확도를 향상시킬 수 있을 것으로 판단된다.

Abstract ▼ AI-Helper

Field compost is a representative non-point pollution source for livestock. If the field compost flows into the water system due to rainfall, nutrients such as phosphorus and nitrogen contained in the field compost can adversely affect the water quality of the river. In this paper, we propose a method for detecting field compost using unmanned aerial vehicle images and deep learning-based semantic segmentation. Based on 39 ortho images acquired in the study area, about 30,000 data were obtained through data augmentation. Then, the accuracy was evaluated by applying the semantic segmentation algorithm developed based on U-net and the filtering technique of Open CV. As a result of the accuracy evaluation, the pixel accuracy was 99.97%, the precision was 83.80%, the recall rate was 60.95%, and the F1-Score was 70.57%. The low recall compared to precision is due to the underestimation of compost pixels when there is a small proportion of compost pixels at the edges of the image. After, It seems that accuracy can be improved by combining additional data sets with additional bands other than the RGB band.

주제어

표/그림 (12)

그림 Fig. 1. Study Area.
표 Table 1. Detail of Mavic 2 Pro
그림 Fig. 2. Data Augmentation Process.
그림 Fig. 4. 야적퇴비 segmentation map.
그림 Fig. 3. Flow Chart.
그림 Fig. 5. U - net model.
그림 Fig. 6. Depthwise Separable Convolution.
그림 Fig. 7. Post-processing to remove noise.
표 Table 2. Confusion Matrix
그림 Fig. 8. Result of the right prediction.
표 Table 3. Result of Evaluation
그림 Fig. 9. result of the wrong prediction.

AI 본문요약
AI-Helper

문제 정의

딥러닝 합성곱 신경망은 분광학적인 특징과 형태학적인 특징 모두 고려가 가능하다는 장점이 존재한다. 따라서 본 연구에서는 야적퇴비를 탐지하기 위해서 딥러닝의 합성곱 신경망 기반의 의미론적 분할 알고리즘을 사용할 것이다. 연구에서 사용된 무인항공기는 고해상도의 영상 취득이 용이하여 야적퇴비와 같이 좁은 면적에 분포하는 대상을 탐지하기에 적합한 특성을 가지고 있다.
본 연구는 강우 시 수계에 악영향을 미칠 수 있는 야적퇴비에 대한 탐지를 수행하였다. 탐지에 사용된 모델은 합성곱 신경망을 이용하였으며 모델에 사용되는 합성곱 신경망은 R,G,B 채널 방향과 공간방향 두 방향 동시에 합성곱을 수행하기 때문에 분광학적인 특성과 형태학적인 특성 모두 추출이 가능하다는 장점이 있다.
연구에서 사용된 무인항공기는 고해상도의 영상 취득이 용이하여 야적퇴비와 같이 좁은 면적에 분포하는 대상을 탐지하기에 적합한 특성을 가지고 있다. 이에 본 연구에서는 합성곱 신경망을 활용한 무인항공기 이미지를 기반의 야적퇴비 탐지 연구를 수행하고자 한다.

제안 방법

따라서 본 연구에서는 합성곱 기반의 의미론적 분할 기법 중 하나인 U-net모델을 적용하였다. 딥러닝을 활용하기 위해서 충분한 데이터셋 확보가 필요하지만 야적퇴비에 대한 자료가 부족하기 때문에Data Augmentation을 통해 데이터셋 증가를 수행하였다. 훈련데이터셋을 통해 만들어진 모델은 열림 방법을 통해 후처리과정을 수행하였다.
훈련 데이터셋을 통해 만들어진 모델 평가 결과, 노이즈로 인하여 정확도가 낮은 경향이 보였다. 따라서 본 연구에서는 모폴로지(morphology) 연산을 통한 후처리 과정을 적용하여 정확도 향상을 도모하였다(Fig. 7).
본 연구는 이미지 내에서 야적퇴비와 그 외를 구분하여 야적퇴비를 탐지하는 이진분류이다. 따라서 야적퇴비 픽셀을 참(Positive), 나머지를 거짓(Negative)으로 할 때 실제값(Reference)과 예측 결과에 따라 TP(True Positive), FP(False Positive), FN(False Negative), TN(True Negative)으로 표현할 수 있으며, 각각 실제 야적퇴비인 픽셀을 분류모델에서도 야적퇴비라고 판단한 경우, 실제 야적퇴비가 아닌 픽셀을 분류모델에서 야적퇴비라고 판단한 경우, 실제 야적퇴비인 픽셀을 분류모델에서 야적퇴비가 아니라고 판단한 경우, 실제 야적퇴비가 아닌 픽셀을 분류모델에서도 야적퇴비가 아니라고 판단한 경우를 의미한다(Table 2).
침식과 팽창 연산은 원본 이미지와 사용자가 지정한 커널의 컨벌루션 연산이며, 이 두가지 연산을 기반으로 다양한 모폴로지 연산을 구현할 수 있다. 본 연구에서는 열림 연산을 통해 노이즈를 제거하였다. 열림 연산은 침식 연산과 팽창 연산을 조합하여 노이즈 제거에 효과적으로 사용될 수 있는 기법이다.
따라서 침식 후 팽창 연산을 적용하는 열림 연산 기법을 사용하면 노이즈를 제거하면서 객체의 크기 감소를 원래대로 복구할 수 있다. 본 연구에서는 파이썬 OpenCV를 이용하여 11 * 11 사이즈의 사각형 커널을 통해 열림 연산을 두 번 수행하여 노이즈를 제거하였다.
확보한 데이터셋을 학습데이터와 시험데이터로 나누어 딥러닝 알고리즘을 적용,평가하였다. 이 후, 알고리즘이 적용된 결과에 필터링 기법을 적용함에 따라 노이즈를 제거하여 최종적인 야적퇴비 탐지 알고리즘을 평가하였다. 연구 흐름도는 Fig.
따라서 충분한 데이터셋 확보를 위해 Data Augmentation 기법을 적용하여 오버샘플링을 수행하였다. 확보한 데이터셋을 학습데이터와 시험데이터로 나누어 딥러닝 알고리즘을 적용,평가하였다. 이 후, 알고리즘이 적용된 결과에 필터링 기법을 적용함에 따라 노이즈를 제거하여 최종적인 야적퇴비 탐지 알고리즘을 평가하였다.

대상 데이터

데이터셋은 훈련 데이터셋과 평가 데이터셋으로 분할 하였으며, 비율은 9:1로 구성하였다. 모델 학습 시 사용되는 훈련 데이터셋과 검증 데이터셋에 사용된 정사영상은 35개이고 평가 데이터셋에 사용된 정사영상은 4개로 구성하였다.
본 연구에서는 수집한 야적퇴비 정사영상 이미지가 39개로 데이터 불균형 문제가 발생하였다. 따라서 충분한 데이터셋 확보를 위해 Data Augmentation 기법을 적용하여 오버샘플링을 수행하였다.
본 연구의 연구 자료 수집 기간은 시비를 시작하는 시점과 추가 시비 기간 전인 겨울에 이루어졌으며, 연구 데이터 수집 날짜는 2021년 1월 4일, 2021년 1월 5일, 2021월 1월 11일, 2021년 1월 12일이다.
사용된 장비는 DJI사의 Mavic 2 Pro를 이용하여 자료를 수집하였다 Mavic 2 Pro는 멀티콥터 드론으로 2,000만화소 CMOS센서를 탑재하고 있다. 연구에 사용된 채널은 Red(R), Green(G), Blue(B) 총 3가지이다(Table 1).
평가에 사용된 데이터는 4개의 정사영상을 448×448로 분할하여 총 363개의 RGB 이미지와 마스크 이미지 데이터셋을 구축하였다.
Mavic 2 Pro를 이용하여 취득된 이미지 데이터는 영상처리 소프트웨어를 활용하여 정사영상 이미지를 취득하였다. 획득한 정사영상 이미지 중 야적퇴비가 존재하는 타일 이미지만 따로 분류하여 총 39개의 영상 데이터를 수집하였다. 이 후 야적퇴비 부분에 라벨링 과정을 수행하였다.

데이터처리

9와 같다. 정성적 평가 결과는 원본 이미지인 Raw Image(A), 원본 이미지에서 야적퇴비가 있는 부분에 마스크를 한 이미지인 True mask(B), 그리고 탐지모델 결과인 Prediction(C)을 통해 평가하였다.

이론/모형

하지만 화소 정확도는 TP와 TN이 차지하는 비율 중 TN이 훨씬 높기 때문에 연구수행 평가 측도로써 적합성이 부족하다고 판단되었다. 따라서 본 연구에서는 정밀도와 재현율, 그리고 F1-Score를 통해 정량적 평가를 수행하였다.
탐지에 사용된 모델은 합성곱 신경망을 이용하였으며 모델에 사용되는 합성곱 신경망은 R,G,B 채널 방향과 공간방향 두 방향 동시에 합성곱을 수행하기 때문에 분광학적인 특성과 형태학적인 특성 모두 추출이 가능하다는 장점이 있다. 따라서 본 연구에서는 합성곱 기반의 의미론적 분할 기법 중 하나인 U-net모델을 적용하였다. 딥러닝을 활용하기 위해서 충분한 데이터셋 확보가 필요하지만 야적퇴비에 대한 자료가 부족하기 때문에Data Augmentation을 통해 데이터셋 증가를 수행하였다.
본 연구에서는 수집한 야적퇴비 정사영상 이미지가 39개로 데이터 불균형 문제가 발생하였다. 따라서 충분한 데이터셋 확보를 위해 Data Augmentation 기법을 적용하여 오버샘플링을 수행하였다. 확보한 데이터셋을 학습데이터와 시험데이터로 나누어 딥러닝 알고리즘을 적용,평가하였다.
모델 학습 시 하이퍼 파라미터를 튜닝하기 위한 최적화 알고리즘은 Adam을 사용하였으며, 손실함수는 categorical_crossentropy를 사용하였다. 또한 batch size는 32로 설정하였으며 과적합 방지를 위해 Tensorflow의 Earlystopping콜백함수를 이용하였다.
본 연구에서 야적퇴비를 탐지하기 위해 사용된 기법은 의미론적 분할 기법이다. 의미론적 분할의 목적은 이미지에 있는 모든 픽셀을 해당 클래스별로 분류하여 예측하는 것이다(Fig.
본 연구에서는 분류 정확도를 평가하기 위해 오차 행렬(Confusion Matrix, Table 2)를 이용한 화소 정확도(Pixel accuracy), 정밀도(Precision), 재현율(Recall), F1-Score (Dice coefficient)을 평가 측도로 사용하였다.
본 연구에서는 야적퇴비를 탐지하기 위해 딥러닝 기법 중 이미지에 적용할 수 있는 합성곱 신경망을 적용하였다. 합성곱 신경망 기법은 분광학적인 특성과 형태학적인 특성을 모두 고려할 수 있어 최근 원격탐사 방법에 많이 활용되고 있다.
본 연구에서의 평가방법은 화소 정확도, 정밀도, 재현율, F1 – Score 를 사용하였다.
이 후 야적퇴비 부분에 라벨링 과정을 수행하였다. 이 후, 만들어진 데이터셋을 홀드 아웃 교차 검증 방법을 통해 분할하였다. 데이터셋은 훈련 데이터셋과 평가 데이터셋으로 분할 하였으며, 비율은 9:1로 구성하였다.
딥러닝을 활용하기 위해서 충분한 데이터셋 확보가 필요하지만 야적퇴비에 대한 자료가 부족하기 때문에Data Augmentation을 통해 데이터셋 증가를 수행하였다. 훈련데이터셋을 통해 만들어진 모델은 열림 방법을 통해 후처리과정을 수행하였다. 최종 결과로 화소 정확도는 99.

성능/효과

본 연구에서는 원격탐사 기반의 야적퇴비 탐지 알고리즘을 이용하여 자동으로 야적퇴비를 탐지할 수 있음에 따라 선행연구에서 수행했던 수동 촬영을 통한 모니터링 방법에 비해 시공간적으로 높은 효율성을 보여줄 수 있다.
95%로 모델이 야적퇴비라고 분류한 것 중 실제 야적퇴비인 결과는 우수하지만 실제 야적퇴비인 것 중 모델이 야적퇴비라고 예측한 결과가 과소 추정됨을 알 수 있었다. 정성적으로 보았을 때 전체 이미지에서 가장자리에 작은 비율로 야적퇴비 픽셀이 있는 경우 탐지정확도가 떨어지지만 그 외의 경우에는 탐지정확도가 우수함을 알 수 있었다. 가장자리 부분에 작은 비율로 위치하고 있는 퇴비를 탐지하지 못하는 것은 입력 데이터 생성시 타일 형태로 분할하는 과정에서 가장자리 부분만 들어가는 경우가 존재하기 때문이다.
훈련데이터셋을 통해 만들어진 모델은 열림 방법을 통해 후처리과정을 수행하였다. 최종 결과로 화소 정확도는 99.97%, 정밀도는 83.80%, 재현율은 60.95%로 모델이 야적퇴비라고 분류한 것 중 실제 야적퇴비인 결과는 우수하지만 실제 야적퇴비인 것 중 모델이 야적퇴비라고 예측한 결과가 과소 추정됨을 알 수 있었다. 정성적으로 보았을 때 전체 이미지에서 가장자리에 작은 비율로 야적퇴비 픽셀이 있는 경우 탐지정확도가 떨어지지만 그 외의 경우에는 탐지정확도가 우수함을 알 수 있었다.
본 연구는 강우 시 수계에 악영향을 미칠 수 있는 야적퇴비에 대한 탐지를 수행하였다. 탐지에 사용된 모델은 합성곱 신경망을 이용하였으며 모델에 사용되는 합성곱 신경망은 R,G,B 채널 방향과 공간방향 두 방향 동시에 합성곱을 수행하기 때문에 분광학적인 특성과 형태학적인 특성 모두 추출이 가능하다는 장점이 있다. 따라서 본 연구에서는 합성곱 기반의 의미론적 분할 기법 중 하나인 U-net모델을 적용하였다.

후속연구

야적퇴비 모니터링에 대한 선행연구에서는 무인항공기를 수동 촬영을 통해 야적퇴비 모니터링을 수행하였고 이는 넓은 지역에 산발적으로 분포하는 야적퇴비를 지속적으로 모니터링하는데 한계가 존재한다.
현재 39개의 정사영상만을 사용하여 한계가 존재할 수 있으나 향후 추가적인 데이터셋을 통해 다양한 형태의 야적퇴비 알고리즘에 적용하고, RGB 밴드 이외의 추가 밴드를 조합한다면 모델 정확도를 향상시킬 수 있을 것으로 판단된다.

참고문헌 (19)

Bak, S.-H., H.-M. Kim, D.-H. Hwang, H.-J. Yoon, and W.-C. Seo, 2016. Detection technique of Red Tide Using GOCI Level 2 Data, Korean Journal of Remote Sensing, 32(6): 673-679 (in Korean with English abstract).

원문보기 상세보기
Bhatnagar, S., L. Gill, and B. Ghosh, 2020. Drone Image Segmentation Using Machine and Deep Learning for Mapping Raised Bog Vegetation Communities, Remote Sensing, 12(16): 2602.

상세보기
Choi, J.K., J.G. Son, K.S. Yoon, H.J. Lee, and Y.J. Kim, 2012. Runoff Characteristics in Paddy Field using Cow Manure Compost Fertilizer, Journal of the Korean Society of Agricultural Engineers, 54(3): 29-36 (in Korean with English abstract).

원문보기 상세보기
Fu, G., C. Liu, R. Zhou, T. Sun, and Q. Zhang, 2017. Classification for high resolution remote sensing imagery using a fully convolutional network, Remote Sensing, 9(5): 498.
Gyeongsangnam-do, 2015. Phase3 Basic plan for Total Pollution Loads Management System in Gyeong sangnam-do, Gyeongsangnam-do Province, KOR.
Ha, R., G. Nam, S. Park, T. Kang, H. Shin, K. Kim, D. Rhew, and H. Lee, 2017. Improvement of Model based on Inherent Optical Properties for Remote Sensing of Cyanobacterial Bloom, Korean Journal of Remote Sensing, 33(2): 111-123 (in Korean with English abstract).

원문보기 상세보기
Hong, S. and J. Kim, 2011. Assessment of leachate characteristics of manure compost under rainfall simulation, Journal of Korean Society of Rural Planning, 7(2): 65-73 (in Korean with English abstract).
Howard, A.G., M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, and H. Adam, 2017. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, arXiv e-prints, arXiv(1704.04861): 1-9.
Jeon, E.-I., S.-H. Kim, B.-S. Kim, and K.-H. Park, and O.-I. Choi, 2020. Semantic Segmentation of Drone Imagery Using Deep Learning for Seagrass Habitat Monitoring, Korean Journal of Remote Sensing, 36(2-1): 199-215 (in Korean with English abstract) .
Kim, H.-M., H. Yoon, S.W. Jang, and Y.H. Chung, 2017. Detection Method of River Floating Debris Using Unmanned Aerial Vehicle and Multispectral Sensors, Korean Journal of Remote Sensing, 33(5-1): 537-546 (in Korean with English abstract).

원문보기 상세보기
Krizhevsky, A., I. Sutskever, and G.E. Hinton, 2012. ImageNet Classification with Deep Convolutional Neural Networks, Proc. of the 25th International Conference on Neural Information Processing Systems, Nevada, USA, Dec. 3-8, vol. 1, pp. 1097-1105.
Konkuk University, 2016. Nonpoint source pollution monitoring and control measure for agricultural and livestock areas, Ministry of Agriculture, Seoul, KOR.
Lee, Y.-S., H.-J. Lee, S.-C. Hong, and D.-M. Oh, 2009. Effect of Non-Point Sources from Livestock composted Land - A case of cows manure -, Journal of Wetlands Research, 11(3): 81-88.
Na, S., C. Park, K. So, H. Ahn, and K. Lee, 2019. Photochemical Reflectance Index (PRI) Mapping using Drone-based Hyperspectral Image for Evaluation of Crop Stress and its Application to Multispectral Imagery, Korean Journal of Remote Sensing, 35(5-1): 637-647 (in Korean with English abstract).
Park, G.-U., K.-H. Park, B.-H. Moon, and B.-G. Song, 2019. Monitoring of non-point Pollutant Sources: Management Status and Load Change of Composting in a Rural Area based on UAV, Journal of the Korean Association of Geographic Information Studies, 22(2): 01-14 (in Korean with English abstract).

원문보기 상세보기
Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, Proc. of International Conference on Medical Image Computing and Computer assisted Intervention, Munich, DE, Oct. 5-9, pp. 234-241.
Won, C.H., Y.H. Choi, M.H. Shin, J.Y. Seo, and J.D. Choi, 2011. Analysis of Livestock Resources on NPS Pollution Characteristics by Rainfall Simulation, Journal of the Korean Society of Agricultural Engineers, 53(2): 67-74 (in Korean with English abstract).

원문보기 상세보기
Yang, Q., M. Liu, Z. Zhang, S. Yang , J. Ning, and W. Han, 2019. Mapping Plastic Mulched Farmland for High Resolution Images of Unmanned Aerial Vehicle Using Deep Semantic Segmentation, Remote Sensing, 11(17): 2008.

상세보기
Zhang, X., Y. Zhou1, J. Jin , Y. Wang, M. Fan, N. Wang, and Y. Zhang, 2021. ICENETv2: A Fine-Grained River Ice Semantic Segmentation Network Based on UAV Images, Remote Sensing, 13(4): 633.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증