[논문]드론 다중분광영상과 컴퓨터 비전 기술을 이용한 배추 객체 탐지 알고리즘 개발

류재현; 한중곤; 안호용; 나상일; 이병모; 이경도

doi:10.7780/kjrs.2022.38.5.1.8

초록
AI-Helper

농업분야에서 드론을 활용하여 작물의 생육을 진단하고 정보를 영상으로 제공하고 있다. 들녘 단위에 대한 고해상도 드론 영상을 활용하는 경우 객체별 생육정보를 생산할 수 있으나 정확하게 작물을 탐지하고 인접한 객체를 효율적으로 구분하기 위한 작업이 요구된다. 본 연구에서는 작물 객체를 탐지하고 위치 정보를 추출하는 알고리즘을 개발하는 것이 목적이다. 드론 다중분광영상과 컴퓨터 비전 기술을 활용하여 객체 탐지를 위한 알고리즘을 개발하였으며, 대상 작물은 가을배추로 선정하였다. 2018년~2020년까지 가을배추를 대상으로 정식 후 7일~15일 사이의 드론 영상을 취득하였으며, 2019년 영상 기반으로 객체 탐지 알고리즘을 개발한 뒤 2018년, 2020년 영상을 기반으로 알고리즘 평가를 수행하였다. 분광반사도 기반 지수와 식생의 분광반사도 특성을 고려하여 식생 지역을 추출하였다. 이후 추출된 식생 지역에서 객체의 크기를 고려하여 팽창(Dilatation), 침식(Erosion), 이미지 분할 등과 같은 모폴로지(Morphology) 기법을 통해 객체 탐지 정확도를 향상시켰다. 개발된 객체 탐지 알고리즘의 정밀도는 95.19% 이상이었으며, 재현율과 정확도는 각각 95.4%, 93.68% 이상이었다. 객체 탐지 알고리즘의 F1-Score는 0.967 이상으로 나타났다. 본 연구에서 개발한 알고리즘을 이용하여 추출된 배추 객체 중심에 대한 위치 정보는 작물의 재배시기에 따라 영농단계별 의사결정 정보를 제공하기 위한 자료로써 활용될 것이다.

Abstract ▼ AI-Helper

A drone is used to diagnose crop growth and to provide information through images in the agriculture field. In the case of using high spatial resolution drone images, growth information for each object can be produced. However, accurate object detection is required and adjacent objects should be eff...

A drone is used to diagnose crop growth and to provide information through images in the agriculture field. In the case of using high spatial resolution drone images, growth information for each object can be produced. However, accurate object detection is required and adjacent objects should be efficiently classified. The purpose of this study is to develop a Chinese cabbage object detection algorithm using multispectral reflectance images observed from drone and computer vision techniques. Drone images were captured between 7 and 15 days after planting a Chinese cabbage from 2018 to 2020 years. The thresholds of object detection algorithm were set based on 2019 year, and the algorithm was evaluated based on images in 2018 and 2019 years. The vegetation area was classified using the characteristics of spectral reflectance. Then, morphology techniques such as dilatation, erosion, and image segmentation by considering the size of the object were applied to improve the object detection accuracy in the vegetation area. The precision of the developed object detection algorithm was over 95.19%, and the recall and accuracy were over 95.4% and 93.68%, respectively. The F1-Score of the algorithm was over 0.967 for 2 years. The location information about the center of the Chinese cabbage object extracted using the developed algorithm will be used as data to provide decision-making information during the growing season of crops.

주제어

표/그림 (10)

그림 Fig. 1. Study area: (a) Red box indicates Chinese cabbage areas, (b) Target fields for detecting Chinese cabbage objects (Red box). Soil texture in Area 1 is loam and it in Area 2 is sandy loam.
표 Table 1. Date information of crop cultivation and drone measurements. DAP is an abbreviation for days after planting
그림 Fig. 2. Flowchart for finding the centroid information of Chinese cabbage objects based on spectral reflectance measured from multi-spectral camera onboard drone. Four threshold values were set to 150, 200, 75, and 200 in this study, and they should be adjusted depending on spatial resolution of drone image and the captured day after planting.
그림 Fig. 3. Small pixel removal using open source computer vision library. Gold circle indicates the removed pixel. (a) the detected small pixel, (b) the process result.
그림 Fig. 4. Morphology techniques for objects. The red color indicates the large objects and the blue color indicates the small object. (a), (d) small and large objects were separated for two cases. (b), (e) small object was dilated for two cases. (c), (f) large object was eroded for two cases.
그림 Fig. 5. Separate concatenated objects using open source computer vision library.
그림 Fig. 6. The detected Chinese cabbages using open source computer vision library in 2019. Blue circle indicates the detected object. Yellow circle indicates missing object. Red circle indicates false detection. White circle indicates undetected object.
표 Table 2. Summary results table for object detection algorithm of Chinese cabbage using drone-based multispectral images
그림 Fig. 7. The detected Chinese cabbages using open source computer vision library in 2018. Blue circle indicates the detected object. Yellow circle indicates missing object. Red circle indicates false detection. White circle indicates undetected object.
그림 Fig. 8. The detected Chinese cabbages using open source computer vision library in 2020. Blue circle indicates the detected object. Yellow circle indicates missing object. Red circle indicates false detection. White circle indicates undetected object.

AI 본문요약
AI-Helper

문제 정의

본 연구의 목적은 드론에서 관측된 다중분광반사도 영상을 이용하여 작물의 객체 탐지 알고리즘을 개발하는 것이다. 이를 통해 객체 중심 화소의 위치 정보를 벡터 데이터 형식으로 저장하여 작물의 재배시기에 따라 영농단계별 의사결정 정보를 제공하기 위한 자료를 생산하고자 한다.
본 연구의 목적은 드론에서 관측된 다중분광반사도 영상을 이용하여 작물의 객체 탐지 알고리즘을 개발하는 것이다. 이를 통해 객체 중심 화소의 위치 정보를 벡터 데이터 형식으로 저장하여 작물의 재배시기에 따라 영농단계별 의사결정 정보를 제공하기 위한 자료를 생산하고자 한다. 본 연구에서는 가을배추를 대상으로 객체 탐지 알고리즘을 개발하였으며, 식생과 비식생 화소를 명확하게 구분하기 위해 적색, 녹색, 청색 파장뿐만 아니라 근적외선 파장 대역의 분광반사도를 활용하였다.

가설 설정

이와 같은 연산을 수행하더라도 두 개의 객체가 붙어있는 경우가 존재한다. 하나의 객체가 일정 크기를 초과할 때 두 개의 객체가 붙어있다고 가정하였으며, 이미지 분할 기법을 이용하여 분리하였다(Fig. 5).

제안 방법

드론에 탑재된 다중분광카메라에서 촬영된 분광반사도를 이용하여 배추 객체 중심을 탐지하는 알고리즘을 구축하고 평가하였다. RGB 파장과 NIR 파장을 활용하여 작물을 추출하고 필터링한 뒤 컴퓨터 비전 기술을 활용하여 생육 초기 배추 객체 중심을 추정하였다. 구축된 배추 객체 탐지 알고리즘의 정확도는 훈련(Training) 및 시험(Test) 자료에서 모두 93.
드론에 탑재된 다중분광카메라에서 촬영된 분광반사도를 이용하여 배추 객체 중심을 탐지하는 알고리즘을 구축하고 평가하였다. RGB 파장과 NIR 파장을 활용하여 작물을 추출하고 필터링한 뒤 컴퓨터 비전 기술을 활용하여 생육 초기 배추 객체 중심을 추정하였다.
본 연구에서는 가을배추를 대상으로 객체 탐지 알고리즘을 개발하였으며, 식생과 비식생 화소를 명확하게 구분하기 위해 적색, 녹색, 청색 파장뿐만 아니라 근적외선 파장 대역의 분광반사도를 활용하였다. 또한, 컴퓨터 비전 기술을 이용하여 노이즈 화소를 제거하고 객체 오탐지를 최소화하는 작업을 수행하였다.
이를 통해 객체 중심 화소의 위치 정보를 벡터 데이터 형식으로 저장하여 작물의 재배시기에 따라 영농단계별 의사결정 정보를 제공하기 위한 자료를 생산하고자 한다. 본 연구에서는 가을배추를 대상으로 객체 탐지 알고리즘을 개발하였으며, 식생과 비식생 화소를 명확하게 구분하기 위해 적색, 녹색, 청색 파장뿐만 아니라 근적외선 파장 대역의 분광반사도를 활용하였다. 또한, 컴퓨터 비전 기술을 이용하여 노이즈 화소를 제거하고 객체 오탐지를 최소화하는 작업을 수행하였다.
정규화된 반사도 값이 255에 가까울수록 흰색 화소, 0에 가까울수록 검정색 화소라고 정의할 수 있다. 본 연구에서는 흰색 화소를 추출한 뒤 해당 화소들을 팽창 (Dilate)시켜 필터링하였다. 마지막으로 녹색 파장대에서 분광반사도가 청색과 적색 파장대에서의 분광반사도 값보다 높을 때 식생 지역이라고 정의하였다.

대상 데이터

농촌진흥청 국립농업과학원에 위치한 배추 포장(전라북도 완주군 이서면)에서 드론 영상 촬영이 수행되었다(Fig. 1).
배추 객체 탐지 알고리즘에서 설정된 임계치를 이용하여 2018년, 2020년에 촬영된 영상에서 배추 객체를 탐지 하였다. 2018년 영상은 배추 정식 후 이른 시기에 촬영된 영상(7 DAP)으로 상대적으로 배추 객체의 크기가 작아 미탐지되는 비율이 높았다(Fig.
1). 식양토(Clay Loam), 양토(Loam), 사양토(Sandy Loam)와 같이 토성이 서로 다른 포장에서 작물이 재배되었으며, 2018년부터 2020년까지 3년 동안 배추가 재배된 양토, 사양토 포장을 대상으로 객체탐지 연구를 수행하였다. 포장(약 25.
반면 전체 1332개의 배추 객체 중에서 29개의 배추 객체를 미탐지 하였으며, 본 연구에서 촬영된 다중분광카메라 영상의 공간해상도를 고려했을 때 배추 객체의 크기가 10 cm 이내인 배추 객체의 경우 미탐지되는 경우가 존재하였다. 태풍 등의 영향으로 유실된 배추의 객체는 25개였으며, 해당 위치에서는 모두 배추가 탐지되지 않았다. 해당 알고리즘의 F1-Score는 0.

데이터처리

구축한 알고리즘을 정량적으로 평가하기 위해 정밀도(Precision), 재현율(Recall), 정확도(Accuracy), F1-Score를 각각 계산하였다. 정밀도란 알고리즘을 통해 탐지된 배추 객체 중에서 실제로 배추 객체인 비율이며, 재현율이란 실제 배추 객체 중에서 알고리즘을 통해 배추 객체라고 탐지한 비율을 의미한다.

이론/모형

3). 이후 객체 크기가 특정 화소보다 작은 경우와 큰 경우로 구분한 뒤 모폴로지(Morphology) 기법을 적용하였다. 대표적인 모폴로지 연산으로 팽창(Dilatation), 침식(Erosion), 닫힘(Closure) 등이 있으며, 0과 1로 구성된 커널을 이용하여 모폴로지 연산을 수행한다.

성능/효과

RGB 파장과 NIR 파장을 활용하여 작물을 추출하고 필터링한 뒤 컴퓨터 비전 기술을 활용하여 생육 초기 배추 객체 중심을 추정하였다. 구축된 배추 객체 탐지 알고리즘의 정확도는 훈련(Training) 및 시험(Test) 자료에서 모두 93.68% 이상이었으며, 검정비닐 멀칭 유무에 따라 정밀도에서 차이가 나타났다. 검정비닐 멀칭이 되어 있는 경우에는 정밀도가 98.
배추 객체 탐지 알고리즘에 대한 훈련 결과는 정밀도 99.3%, 재현율 96.33%, 정확도 97.7%로 나타났다(Table 2). 훈련을 위해 사용된 2019년 배추 포장의 경우 검정 비닐 멀칭으로 인해 작물과 작물이 아닌 지점이 명확하게 구분되었다(Fig.

후속연구

오탐지된 지점이 특정 위치에 많이 몰려있다는 것은 해당 지점에 잡초가 많이 분포하고 있을 수 있다는 것을 의미한다. 이처럼 드론 영상을 활용하여 배추 객체에 대한 위치 정보를 획득하는 것뿐 아니라 영농 정보를 생산하고 활용할 수 있을 것으로 사료된다. 향후 생육 초기뿐만 아니라 생육 중기 드론 영상을 이용하여 배추 객체 중심을 추정하기 위하여 딥러닝을 활용한 배추 객체 탐지 알고리즘 구축이 요구되며, 이를 통해 생육 단계별 정확도, 정밀도, 재현율 등을 향상시키는 연구가 지속되어야 할 것이다.
이처럼 드론 영상을 활용하여 배추 객체에 대한 위치 정보를 획득하는 것뿐 아니라 영농 정보를 생산하고 활용할 수 있을 것으로 사료된다. 향후 생육 초기뿐만 아니라 생육 중기 드론 영상을 이용하여 배추 객체 중심을 추정하기 위하여 딥러닝을 활용한 배추 객체 탐지 알고리즘 구축이 요구되며, 이를 통해 생육 단계별 정확도, 정밀도, 재현율 등을 향상시키는 연구가 지속되어야 할 것이다.
19%로 배추 객체를 오탐지하는 경우가 상대적으로 많이 나타났다. 향후 이랑과 고랑을 구분한 뒤 이랑 영역만을 대상으로 배추 객체를 탐지하면 정확도와 정밀도가 향상될 것으로 사료된다. 재현율의 경우 배추 정식 후 드론영상 촬영일이 늦을수록 높게 나타났으며, 이는 배추가 드론 영상의 GSD 보다 크게 생육하여 미탐지하는 비율이 적었기 때문이다.

참고문헌 (12)

Andujar, D., M. Weis, and R. Gerhards, 2012. An ultrasonic system for weed detection in cereal crops, Sensors, 12(12): 17343-17357. https://doi.org/10.3390/s121217343

상세보기
Dhakal, M., Y. Huang, M.A. Locke, K.N. Reddy, M.T. Moore, L.J. Krutz, D. Gholson, and R. Bajgain, 2022. Assessment of cotton and sorghum stand establishment using UAV-based multispectral and DSLR-based RGB imagery, Agrosystems, Geosciences & Environment, 5(2): e20247. https://doi.org/10.1002/agg2.20247

상세보기
Go, S.H., D.H. Lee, S.I. Na, and J.H. Park, 2022. Analysis of Growth Characteristics of Kimchi Cabbage Using Drone-Based Cabbage Surface Model Image, Agriculture, 12(2): 216. https://doi.org/10.3390/agriculture12020216

상세보기
Lee, D.H., H.S. Shin, and J.H. Park, 2020. Developing a p-NDVI map for highland kimchi cabbage using spectral information from UAVs and a field spectral radiometer, Agronomy, 10(11): 1798. https://doi.org/10.3390/agronomy10111798

상세보기
Li, B., X. Xu, J. Han, L. Zhang, C. Bian, L. Jin, and J. Liu, 2019. The estimation of crop emergence in potatoes by UAV RGB imagery, Plant Methods, 15(1): 1-13. https://doi.org/10.1186/s13007-019-0399-7

상세보기
Na, S.I., Y.H. Lee, J.H. Ryu, D.H. Lee, H.S. Shin, S.J. Kim, J. Cho, J.H. Park, H.Y. Ahn, K.H. So, and K.D. Lee, 2021. Preparation and Application of Cultivation Management Map Using Drone - Focused on Spring Chinese Cabbage -, Korean Journal of Remote Sensing, 37(3): 637-648 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.3.22

원문보기 상세보기
Park, H.G., J.P. Yun, M.Y. Kim, and S.H. Jeong, 2021. Multichannel Object Detection for Detecting Suspected Trees with Pine Wilt Disease Using Multispectral Drone Imagery, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 8350-8358. https://doi.org/10.1109/JSTARS.2021.3102218

상세보기
Ryu, J.H., H.D. Moon, J. Cho, K.D. Lee, H.Y. Ahn, K.H. So, and S.I. Na, 2021. Response of Structural, Biochemical, and Physiological Vegetation Indices Measured from Field-Spectrometer and MultiSpectral Camera Under Crop Stress Caused by Herbicide, Korean Journal of Remote Sensing, 37(6-1): 1559-1572 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.6.1.6

원문보기 상세보기
Sumesh, K.C., S. Ninsawat, and J. Som-ard, 2021. Integration of RGB-based vegetation index, crop surface model and object-based image analysis approach for sugarcane yield estimation using unmanned aerial vehicle, Computers and Electronics in Agriculture, 180: 105903. https://doi.org/10.1016/j.compag.2020.105903

상세보기
Torres-Sanchez, J., F. Lopez-Granados, and J.M. Pena, 2015. An automatic object-based method for optimal thresholding in UAV images: Application for vegetation detection in herbaceous crops, Computers and Electronics in Agriculture, 114: 43-52. https://doi.org/10.1016/j.compag.2015.03.019

상세보기
Varela, S., P.R. Dhodda, W.H. Hsu, P.V. Prasad, Y. Assefa, N.R. Peralta, T. Griffin, A. Sharda, L. Ferguson, and I.A. Ciampitti, 2018. Early-season stand count determination in corn via integration of imagery from unmanned aerial systems (UAS) and supervised learning techniques, Remote Sensing, 10(2): 343. https://doi.org/10.3390/rs10020343

상세보기
Yarak, K., A. Witayangkurn, K. Kritiyutanont, C. Arunplod, and R. Shibasaki, 2021. Oil Palm Tree Detection and Health Classification on High-Resolution Imagery Using Deep Learning, Agriculture, 11(2):183. https://doi.org/10.3390/agriculture11020183

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

드론 다중분광영상과 컴퓨터 비전 기술을 이용한 배추 객체 탐지 알고리즘 개발
Development of Chinese Cabbage Detection Algorithm Based on Drone Multi-spectral Image and Computer Vision Techniques 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

드론 다중분광영상과 컴퓨터 비전 기술을 이용한 배추 객체 탐지 알고리즘 개발 Development of Chinese Cabbage Detection Algorithm Based on Drone Multi-spectral Image and Computer Vision Techniques 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (10) 모든 표/그림 보기

표/그림 (10) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

이경도 (79)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

드론 다중분광영상과 컴퓨터 비전 기술을 이용한 배추 객체 탐지 알고리즘 개발
Development of Chinese Cabbage Detection Algorithm Based on Drone Multi-spectral Image and Computer Vision Techniques 원문보기

초록
AI-Helper

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper