[논문]딥러닝을 이용한 양파 밭의 잡초 검출 연구

김서정; 이재수; 김형석

doi:10.30693/smj.2018.7.3.16

딥러닝을 이용한 양파 밭의 잡초 검출 연구
Deep learning-based Automatic Weed Detection on Onion Field 원문보기

스마트미디어저널 = Smart media journal, v.7 no.3, 2018년, pp.16 - 21

김서정 (전북대학교 전자공학부) , 이재수 (농공학부, 농업과학원, 농촌진흥청) , 김형석 (지능형 로봇 연구소, 전북대학교)

초록
AI-Helper

이 논문은 양파 밭에서 딥러닝 기반 자동 잡초 검출기의 설계 및 구현을 제시합니다. 이 시스템은 컨볼루션 뉴럴 네트워크를 기반으로 제안 된 영역을 선택합니다. 검출기는 양파 밭에서 직접 찍은 데이터 셋을 가지고 훈련됩니다. 학습이 완료 된 후에, 잡초가 될 확률이 매우 높은 후보 지역을 잡초로 간주합니다. Non-maximum suppression을 통해 오버랩된 박스가 최대한 적게 남게 됩니다. 다른 양파 농장을 통해 수집된 데이터를 통해 제안 된 분류기를 평가합니다. 분류 정확도는 고려 된 데이터 셋에서 약 99%를 보여주며, 제안된 방법이 양파 밭에서 잡초 검출과 관련하여 우수한 성능을 나타냄을 알 수 있습니다.

Abstract ▼ AI-Helper

This paper presents the design and implementation of a deep learning-based automated weed detector on onion fields. The system is based on a Convolutional Neural Network that specifically selects proposed regions. The detector initiates training with a dataset taken from agricultural onion fields, after which candidate regions with very high probability of suspicion are considered weeds. Non-maximum suppression helps preserving the less overlapped bounding boxes. The dataset collected from different onion farms is evaluated with the proposed classifier. Classification accuracy is about 99% for the dataset, indicating the proposed method's superior performance with regard to weed detection on the onion fields.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또, 잡초 detecting 과정에서 “non-maximumsuppression”기법을 사용했는데, 입력영상 추출 시에 동일한 영역이 다른 입력 영상 범위에 여러 번 포함되기 때문에 인접한 위치의 bounding box가 겹쳐서 나타나는 현상을 방지하기 위해서 이다.
본 연구에서는 작물영상에서 잡초들을 검출하여 그 위치를 찾아내는 연구를 수행하였다. CNN의 깊이가 깊으면, 위치 변화에 덜 민감할 것으로 가정하여, 이 논문에서는 잡초의 존재를 검출하는 분류기를 사용하였다.
특히, 본 연구는 식물들이 심하게 겹쳐있는 환경에서 CNN을 사용하여 양파와 작물을 구분하는데 기여를 하였다.

가설 설정

본 연구에서는 작물영상에서 잡초들을 검출하여 그 위치를 찾아내는 연구를 수행하였다. CNN의 깊이가 깊으면, 위치 변화에 덜 민감할 것으로 가정하여, 이 논문에서는 잡초의 존재를 검출하는 분류기를 사용하였다. 이 분류기는 물체의 위치를 찾아 내는 선택적 탐색과 특징 검출로 시작되는데, 마지막 단계에서는 Softmax을 사용하여 잡초를 분류하게 하였다.

제안 방법

잘라낸 패치 영상들은 잡초영역 인지 양파 영역인지로 분류하여 라벨을 붙이게 하였다. 그 다음, 물체가 바운딩 박스에 포함되어 있는지 확인하고, 잡초의 넓이가 영상의 80%보다 작고, 잡초가 길이 방향으로 80% 이하인지 확인한다. 또, 잡초의 넓이나 높이가 영상의 60% 이상이 되도록 한다.
여기서 일반화 특성을 개선하고, overfitting을 완화시키기 위해서 “dropout”을 사용하였다.
CNN 을 사용한 딥러닝 학습학습 framework에는 속도, 구현의 용이성, 구조변경 가능성 및 새로운 계층의 생성 용이성 등에 따라 달라진다. 이 논문에서는 구현이 용이한 Keras library를 사용해서 컨벌루션 망을 구성했다. 수행한 실험 결과, 구성한 분류기가 정확하고, 시스템 구현이 용이하며, 기존에 배운 내용을 활용해서 용이하게 구현할 수 있다는 것을 보여준다.
이 때, 각 입력 영상마다 그 영상의 위치 좌표와 함께 입력 영상이 잡초일 확률과, 영상에서 각 위치 점이 잡초일 확률을 기록하였다. 이 실험의 초기에는 CPU를 사용했지만, GPU를 사용함으로써 학습을 고속화하고, 프로그램을 단순화하였다.
또, Potena 등은 [6] RGB+NIR 영상을 대상으로 작물과 잡초 구별연구를 수행하였다. 이 연구에서는 2개의 다른 CNN을 사용하였는데, 첫번째의 얕은 CNN에서는 식물체 영역을 검출하고, 두번째의 깊은 CNN에서는 이 식물체를 정밀 분류할 수 있도록 했다. 이를 위해서, 우선 픽셀 단위의 분류를 수행하였고, 이를 통해 얻은 식물체의 무더기들이 어떤 종류에 해당하는지 분류할 수 있게 하였다.
제안한 시스템은 이 CNN을 양파와 잡초를 구별하는데 응용하였다. 이를 위하여, 입력 영상을 인가할 때, 신경회로망이 적절히 동작할 수 있도록 초기화를 하였다. 구성된 신경회로망 구조는 파라미터수가 많지 않는 구조로 구성되었다.
Chen 등도 CNN을 사용하여 다양한 조명 상태 및 잎과 과일들이 겹쳐지는 복잡 환경하에서 과일의 수를 세는 연구를 발표하였다 [5]. 이를 위해서 먼저 색깔 영역을 추출하였으며, 두 번째 CNN을 사용하여 각 영역 내에서의 과일을 추출한 다음, linear regression모델을 사용하여 과일 수를 세었다.
이를 위해서 전 단의 영상은 1열로 정렬 “flattended”하며, 중간 층에 128개의 뉴런, 출력 측에 2개의 뉴런을 갖는 신경망에 연결한다.
이 연구에서는 2개의 다른 CNN을 사용하였는데, 첫번째의 얕은 CNN에서는 식물체 영역을 검출하고, 두번째의 깊은 CNN에서는 이 식물체를 정밀 분류할 수 있도록 했다. 이를 위해서, 우선 픽셀 단위의 분류를 수행하였고, 이를 통해 얻은 식물체의 무더기들이 어떤 종류에 해당하는지 분류할 수 있게 하였다. 이 연구결과로 약 97%의 식물영역 검출 성능을 얻었는데, 이 결과는 NDVI(Normalized Difference Vegetation Index)에서 얻은 문턱치 사용결과와 견줄만한 것이었다.
CNN은 영상의 특징추출 시 인간의 개입이 필요하여 시간 및 노력의 소모가 과도했던 기존 알고리즘 방법과는 달리, 영상으로부터 학습 과정에 의해 자동적으로 영상의 특징을 추출해 내는 방법이다. 제안한 CNN 구조에서는 다른 컨볼루션 구조에서처럼 컨볼류션과 풀링층이 교대로 연결되어있는데, 컨볼류션층은 주어진 데이터들을 학습하기 위한 학습 가능한 모듈로 구성되어 있다. 이 컨벌루션층은 칼라정보나, 에지, 무늬등의 특징정보를 학습하는 역할을 한다.
제안한 분류기의 입력은 3x3 크기의 20 개의 필터로 구성되고, 활성화 함수로 RELU 함수를 사용한다. 이 층은 28x28 pixels을 가진 영상을 입력 받아, 1stride, 2 padding 에 의한 5x5 filtering을 하여, 28x28x20 크기의 특징맵을 생성한다.
CNN은 물체의 시각적 인식에 매우 매우 효과적인 신경회로망이다. 제안한 시스템은 이 CNN을 양파와 잡초를 구별하는데 응용하였다. 이를 위하여, 입력 영상을 인가할 때, 신경회로망이 적절히 동작할 수 있도록 초기화를 하였다.

대상 데이터

원 영상에서 28x28크기의 부분영상 중, 2293개는 잡초 영상에서 같은 수를 비 잡초 영상에서 취하여 준비하였다. 그 중 무작위로 추출한 405 개의 잡초 영상과 513 개의 비 잡초 영상을 테스트 영상으로 하였다.
구성된 신경회로망 구조는 파라미터수가 많지 않는 구조로 구성되었다. 원 영상에서 28x28크기의 부분영상 중, 2293개는 잡초 영상에서 같은 수를 비 잡초 영상에서 취하여 준비하였다. 그 중 무작위로 추출한 405 개의 잡초 영상과 513 개의 비 잡초 영상을 테스트 영상으로 하였다.
제안한 분류기를 위한 학습 데이터는 여러 다른 위치의 양파 농장으로부터 촬영한 영상을 사용하였다. 이 영상들은 28x28 크기로 잘라서 잡초 영역과 양파 영역으로 구분하였다. 이 크기는 학습 시의 계산 복잡성을 줄이면서, 잡초와 양파의 분류가 시각적으로 가능한 크기이다.
이 중 절반 (2293 개)은 잡초이고, 나머지 반은 잡초가 아닌 데이터가 되게 하였다. 이 중 잡초와 작물 중 각 20% 를 무작위로 추출하여 테스트 데이터로 사용하였다. 이 분류기를 테스트하기 위해서 28x28 크기의sliding window를 사용하여 입력 영상을 취하였으며, 물체가 검출되는 경우 이 좌표를 따로 기록해두었다.
특히 밀집한 잡초가 있는 곳에서 집중하여 데이터를 추출하였다. 이렇게 준비된 학습 영상의 수는 양과 부의 라벨이 공히 2293 개의 동일한 수를 준비하였다.
제안한 CNN 기반의 분류기는 28x28 크기의 4586 개의 학습 영상에 대해 학습시켰다. 이 중 절반 (2293 개)은 잡초이고, 나머지 반은 잡초가 아닌 데이터가 되게 하였다.
제안한 분류기를 위한 학습 데이터는 여러 다른 위치의 양파 농장으로부터 촬영한 영상을 사용하였다. 이 영상들은 28x28 크기로 잘라서 잡초 영역과 양파 영역으로 구분하였다.
414를 최대가 되게 하여 관심물체가 포함 되도록 한다. 특히 밀집한 잡초가 있는 곳에서 집중하여 데이터를 추출하였다. 이렇게 준비된 학습 영상의 수는 양과 부의 라벨이 공히 2293 개의 동일한 수를 준비하였다.

이론/모형

이 논문에서는 CNN 학습을 사용하였다. CNN은 영상을 표현하는데 사용되는 매우 큰 특징들 집합으로부터 매우 작은 특징들을 생산해 내는 고도화된 특징 추출장치 이다.

성능/효과

또, 401개의 식물에 대해서 잡초를 잡초라고 했고, 4개가 아닌 것을 잡초라고 했다. 결과적으로 99%의 분류 정확성을 보였다. 그림 5는 제안한 분류기의 최종 출력들의 예를 보여준다.
이 연구결과로 약 97%의 식물영역 검출 성능을 얻었는데, 이 결과는 NDVI(Normalized Difference Vegetation Index)에서 얻은 문턱치 사용결과와 견줄만한 것이었다. 또, 작물과 잡초의 분류 결과로는 98% 의 성능을 얻었다. 또, Lee [7]등과 Reyes[8] 등도 CNN을 사용하여 식물 분류 시스템 연구결과를 발표하였다.
이 논문에서는 구현이 용이한 Keras library를 사용해서 컨벌루션 망을 구성했다. 수행한 실험 결과, 구성한 분류기가 정확하고, 시스템 구현이 용이하며, 기존에 배운 내용을 활용해서 용이하게 구현할 수 있다는 것을 보여준다. 수행한 연구에서는Stochastic Gradient descent
실험 결과 0.99 의 정확도를 갖는 결과를 얻음으로써, 제안한 시스템의 유용성이 입증되었다. 이 시스템은 제초제의 사용을 최소화할 수 있는 효과가 있을 것이다.
실험 결과, 총 513개의 잡초가 아닌 식물에 대해서 504개가 실제로 잡초가 아니었다.
이를 위해서, 우선 픽셀 단위의 분류를 수행하였고, 이를 통해 얻은 식물체의 무더기들이 어떤 종류에 해당하는지 분류할 수 있게 하였다. 이 연구결과로 약 97%의 식물영역 검출 성능을 얻었는데, 이 결과는 NDVI(Normalized Difference Vegetation Index)에서 얻은 문턱치 사용결과와 견줄만한 것이었다. 또, 작물과 잡초의 분류 결과로는 98% 의 성능을 얻었다.

참고문헌 (12)

Guo, W., Rage, U. K. and Ninomiya, S., "Illumination invariant segmentation of vegetation for time series wheat images based on decision tree model," Computers and Electronics in Agriculture, vol. 96, pp. 58-66, Aug. 2013.

상세보기
Hamuda, E., Glavin, M. and Jones, E., "A survey of image processing techniques for plant extraction and segmentation in the field," Computers and Electronics in Agriculture, vol. 125, pp.184-199, July 2016.

상세보기
Torres-Sanchez, J., Lopez-Granados, F. and Pena, J., "An automatic object-based method for optimal thresholding in uav images: Application for vegetation detection in herbaceous crops," Computers and Electronics in Agriculture, vol. 114, pp. 43-52, July2015.

상세보기
Hall, D., McCool, C., Dayoub, F., Sunderhauf, N. and Upcroft, B., "Evaluation of features for leaf classification in challenging conditions," 2015 IEEE Winter Conference on Applications of Computer Vision, pp. 797-804, Marriott Resort, USA, Jan. 2015.
Chen, S., Skandan, S., Dcunha, S., Das, J., Qu, C., Taylor, C. and Kumar, V., "Counting apples and oranges with deep learning: A data driven approach," IEEE Robotics and Automation Letters, vol. 2, no. 2, pp. 781-788, Jan. 2017.

상세보기
Potena, C., Nardi, D. and Pretto, A., "Fast and accurate crop and weed identification with summarized train sets for precision agriculture," Proc. of Int. Conf. on Intelligent Autonomous Systems (IAS), pp. 105-121, 2016.
S. H. Lee, C. S. Chan, P. Wilkin, and P. Remagnino, "Deep-plant:Plant identification with convolutional neural networks," Proc. Ofthe IEEE International Conference on Image Processing (ICIP), pp. 452-456, Dec. 2015.
K.Reyes, J.C.Caicedo, and J.E. Camargo, "Fine-tuning deepconvolutional network for plant recognition," Working Notes of CLEF 2015 conference, vol.1391, pp.121, 2015
강현중, 이준욱, 강성수, "스마트 디바이스 기반의 농업환경관리 지원 서비스," 스마트미디어저널, 제1권, 제1호, 46-51쪽, 2012년 3월
문해민, 박진원, 반성범, "역전파가 제거된 CNN과 LDA를 이용한 얼굴 영상 해상도별 얼굴 인식률 분석," 스마트미디어저널, 제5권, 제1호, 24-29쪽, 2016년 3월

원문보기 상세보기
박동주, 김병우, 정영선, 안창욱, "Deep Neural Network 기반 프로야구 일일 관중 수 예측 : 광주 -기아 챔피언스 필드를 중심으로," 스마트미디어저널, 제7권, 제1호, 16-23쪽, 2018년 3월

원문보기 상세보기
박선, 김종원, "오픈 소스 기반의 딥러닝을 이용한 적조생물 이미지 분류," 스마트미디어저널, 제7권, 제2호, 34-39쪽, 2018년 6월

원문보기 상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증