농작물 병해는 한해 수확량과 생산성에 지대한 영향을 미치기 때문에 초기 단계에서 병해를 탐지하고 적절히 관리 및 방지하는 시스템의 구축은 매우 중요한 문제이다. 병해를 초기 단계에서 탐지하기 위한 많은 연구들이 있어왔고, 최근에는 딥러닝 기법을 적용한 연구들이 속속 등장 하고있다. 딥러닝 기법을 적용한 모델들은 영상 분류 네트워크를 주로 이용하고 있으며, 기존의 머신러닝을 이용한 모델들의 탐지 정확도를 상회하는 성능을 보여주고 있다.
병해 탐지를 수행하는 ...
농작물 병해는 한해 수확량과 생산성에 지대한 영향을 미치기 때문에 초기 단계에서 병해를 탐지하고 적절히 관리 및 방지하는 시스템의 구축은 매우 중요한 문제이다. 병해를 초기 단계에서 탐지하기 위한 많은 연구들이 있어왔고, 최근에는 딥러닝 기법을 적용한 연구들이 속속 등장 하고있다. 딥러닝 기법을 적용한 모델들은 영상 분류 네트워크를 주로 이용하고 있으며, 기존의 머신러닝을 이용한 모델들의 탐지 정확도를 상회하는 성능을 보여주고 있다.
병해 탐지를 수행하는 딥러닝 접근법은 크게 두 가지의 갈래로 나뉜다. 영상 분류 접근법을 이용한 병해 분류와 객체 탐지 접근법을 이용한 병해 탐지가 있다. 영상 분류 접근법을 이용한 병해 분류는 주어진 영상에서 병해를 식별하여 사용자에게 발생한 병해가 어떤 종류의 병해인지에 대한 정보를 제공한다. 이는 관심영역에 병해가 존재하는지, 존재한다면 어떤 병해인지를 파악할 수 있는 정보를 제공하기 때문에 적절한 병해 관리 및 통제 방안을 강구하는 데 큰 도움이 될 수 있다.
일반적인 객체 탐지는 관심 있는 객체가 영상의 어느 부분에 위치해 있는지를 파악하고자 할 때 시행되는 방법이다. 따라서 객체 탐지 접근법을 이용한 병해 탐지는 주어진 영상에서 병해가 나타난 영역에 대한 조사가 필요할 때 수행된다. 객체 탐지 기반 병해 탐지는 병해의 종류와 위치에 대한 정보를 모두 제공하기 때문에, 작물에서 병해의 증상이 주로 나타나는 위치나 병해 증상의 모양 등의 특징 및 경향을 파악하는데 크게 도움을 줄 수 있다. 또한 병해에 대한 자세한 이해를 바탕으로 병해 통제 및 관리 시스템 연구 및 개발에 기여 할 수 있다.
하지만, 대부분의 딥러닝 기법을 적용한 병해 탐지 모델들은 영상 분류 네트워크에 기반을 두기 때문에, 병해의 분류만을 수행한다. 본 논문에서 수행된 조사에 따르면, 농업 분야에서는 객체 탐지 접근법을 활용한 모델들이 오직 과수 집계에만 적용되었다. 이에 본 논문에서는 기존의 영상 분류 접근법을 이용한 병해 분류 네트워크와 객체 탐지 접근법을 이용한 병해 탐지 네트워크를 각각 제안하여, 과수 영상에서의 병해 탐지를 각각 수행한다.
첫 번째로, 영상 분류 접근법을 통한 병해 분류 네트워크를 제안한다. 병해 분류 네트워크는 residual block을 사용하는 deep residual network를 기반으로 구성되었으며, 총 16개의 block으로 이루어져 다섯 번의 downsampling을 수행한다. 입력 영상은 16개의 block을 거쳐 고차원의 특징맵들로 변환되고 global average pooling, fully connected layer, softmax 순으로 이루어진 레이어들을 거쳐 최종적으로 병해의 분류 작업을 수행한다. 제안된 네트워크의 학습을 위해 사과와 복숭아, 매실의 병해 영상 데이터셋이 사용되었으며 각 과수는 잎과 과육으로 나누어 학습하였다. 제안된 네트워크는 전체의 데이터를 3개의 그룹으로 나누는 3-fold 교차검증 방법을 통하여 평가하였고, 사과 잎 94.50%, 사과 과육 98.10%, 복숭아 잎 97.67%, 복숭아 과육 94.95%, 매실 과육 82.53%의 높은 정확도를 보여주었다.
두 번째로, 병해의 분류와 병해의 지역화를 함께 수행하기 위해 객체 탐지 기법 기반 병해 탐지 네트워크를 제안한다. 병해 탐지 네트워크는 객체 탐지 분야에서 우수한 성과를 보여준 Mask R-CNN에서 영감을 얻어 고안되었다. 네트워크는 입력영상으로부터 특징맵 피라미드를 구축하여 특징맵으로부터 영역을 제안하는 region proposal network(RPN), 제안된 영역 통해 RoI를 추출하고 통합하는 RoI-Align-Aggregation(RoI-AA) block, 통합된 RoI들을 통해 클래스 분류와 경계 박스 regression, 영역화을 동시에 수행하는 Network Head로 구성된다. RPN에서 residual block을 사용하여 입력 영상으로부터 고차원의 특징맵을 생성하는 ResNet-50과, ResNet-50의 각 Convolution 단계에서 추출되는 특징맵 집합으로부터 특징맵 피라미드를 구축하는 Feature Pyramid Network(FPN)가 이용된다. 본 논문에서는 기존의 Mask R-CNN에서 RoI 추출을 수행하는 RoI-Align과 달리, FPN에 의해 만들어진 특징맵 피라미드의 활용을 극대화하고자 특징맵 피라미드의 모든 층에서 같은 영역을 공유하여 특징맵을 추출하고 통합하는 네트워크 구조를 제안한다.
또한, Attention Mechanism을 통해 네트워크 내에서 보다 유용한 정보들이 선별적으로 활용되도록 하여 병해 탐지 네트워크의 성능 향상을 도모한다. 이를 위해 SE-Block(Squeeze-and-Excitation Block)이 사용되었으며, SE-Block의 다음과 같은 역할을 한다. 특징맵에서 채널 단위의 중요도를 파악하여 네트워크가 중요도가 높은 채널에 대한 우선적인 집중을 하도록 한다. SE-Block은 FPN에 적용되어 좀 더 정교한 특징맵 추출을 가능하도록 하였고, RoI-AA에 적용되어 추출된 RoI에서 중요한 정보가 강조되도록 하여 최종적으로 성능 향상에 상당한 기여를 하였다.
병해 탐지 네트워크는 사과 과육의 병해 영상 데이터셋으로 학습을 진행하여 병해 탐지 성능을 평가하였다. 병해 탐지 네트워크 또한 3-fold 교차검증을 통해 평가하였으며, 기본 Mask R-CNN에 비해서 AP(Average Precision) 5.3 포인트, AP50 1.18 포인트, AP75 4.7 포인트의 성능 향상을 보였다.
본 논문에서 제안된 병해 분류 네트워크와 병해 탐지 네트워크의 우수한 성능은 병해 탐지 분야에서 딥러닝의 활용가능성을 보여주었고 나아가 농업 분야에서 병해 관리 및 통제 시스템의 자동화에 관한 연구에 기여할 수 있을 것으로 기대된다.
농작물 병해는 한해 수확량과 생산성에 지대한 영향을 미치기 때문에 초기 단계에서 병해를 탐지하고 적절히 관리 및 방지하는 시스템의 구축은 매우 중요한 문제이다. 병해를 초기 단계에서 탐지하기 위한 많은 연구들이 있어왔고, 최근에는 딥러닝 기법을 적용한 연구들이 속속 등장 하고있다. 딥러닝 기법을 적용한 모델들은 영상 분류 네트워크를 주로 이용하고 있으며, 기존의 머신러닝을 이용한 모델들의 탐지 정확도를 상회하는 성능을 보여주고 있다.
병해 탐지를 수행하는 딥러닝 접근법은 크게 두 가지의 갈래로 나뉜다. 영상 분류 접근법을 이용한 병해 분류와 객체 탐지 접근법을 이용한 병해 탐지가 있다. 영상 분류 접근법을 이용한 병해 분류는 주어진 영상에서 병해를 식별하여 사용자에게 발생한 병해가 어떤 종류의 병해인지에 대한 정보를 제공한다. 이는 관심영역에 병해가 존재하는지, 존재한다면 어떤 병해인지를 파악할 수 있는 정보를 제공하기 때문에 적절한 병해 관리 및 통제 방안을 강구하는 데 큰 도움이 될 수 있다.
일반적인 객체 탐지는 관심 있는 객체가 영상의 어느 부분에 위치해 있는지를 파악하고자 할 때 시행되는 방법이다. 따라서 객체 탐지 접근법을 이용한 병해 탐지는 주어진 영상에서 병해가 나타난 영역에 대한 조사가 필요할 때 수행된다. 객체 탐지 기반 병해 탐지는 병해의 종류와 위치에 대한 정보를 모두 제공하기 때문에, 작물에서 병해의 증상이 주로 나타나는 위치나 병해 증상의 모양 등의 특징 및 경향을 파악하는데 크게 도움을 줄 수 있다. 또한 병해에 대한 자세한 이해를 바탕으로 병해 통제 및 관리 시스템 연구 및 개발에 기여 할 수 있다.
하지만, 대부분의 딥러닝 기법을 적용한 병해 탐지 모델들은 영상 분류 네트워크에 기반을 두기 때문에, 병해의 분류만을 수행한다. 본 논문에서 수행된 조사에 따르면, 농업 분야에서는 객체 탐지 접근법을 활용한 모델들이 오직 과수 집계에만 적용되었다. 이에 본 논문에서는 기존의 영상 분류 접근법을 이용한 병해 분류 네트워크와 객체 탐지 접근법을 이용한 병해 탐지 네트워크를 각각 제안하여, 과수 영상에서의 병해 탐지를 각각 수행한다.
첫 번째로, 영상 분류 접근법을 통한 병해 분류 네트워크를 제안한다. 병해 분류 네트워크는 residual block을 사용하는 deep residual network를 기반으로 구성되었으며, 총 16개의 block으로 이루어져 다섯 번의 downsampling을 수행한다. 입력 영상은 16개의 block을 거쳐 고차원의 특징맵들로 변환되고 global average pooling, fully connected layer, softmax 순으로 이루어진 레이어들을 거쳐 최종적으로 병해의 분류 작업을 수행한다. 제안된 네트워크의 학습을 위해 사과와 복숭아, 매실의 병해 영상 데이터셋이 사용되었으며 각 과수는 잎과 과육으로 나누어 학습하였다. 제안된 네트워크는 전체의 데이터를 3개의 그룹으로 나누는 3-fold 교차검증 방법을 통하여 평가하였고, 사과 잎 94.50%, 사과 과육 98.10%, 복숭아 잎 97.67%, 복숭아 과육 94.95%, 매실 과육 82.53%의 높은 정확도를 보여주었다.
두 번째로, 병해의 분류와 병해의 지역화를 함께 수행하기 위해 객체 탐지 기법 기반 병해 탐지 네트워크를 제안한다. 병해 탐지 네트워크는 객체 탐지 분야에서 우수한 성과를 보여준 Mask R-CNN에서 영감을 얻어 고안되었다. 네트워크는 입력영상으로부터 특징맵 피라미드를 구축하여 특징맵으로부터 영역을 제안하는 region proposal network(RPN), 제안된 영역 통해 RoI를 추출하고 통합하는 RoI-Align-Aggregation(RoI-AA) block, 통합된 RoI들을 통해 클래스 분류와 경계 박스 regression, 영역화을 동시에 수행하는 Network Head로 구성된다. RPN에서 residual block을 사용하여 입력 영상으로부터 고차원의 특징맵을 생성하는 ResNet-50과, ResNet-50의 각 Convolution 단계에서 추출되는 특징맵 집합으로부터 특징맵 피라미드를 구축하는 Feature Pyramid Network(FPN)가 이용된다. 본 논문에서는 기존의 Mask R-CNN에서 RoI 추출을 수행하는 RoI-Align과 달리, FPN에 의해 만들어진 특징맵 피라미드의 활용을 극대화하고자 특징맵 피라미드의 모든 층에서 같은 영역을 공유하여 특징맵을 추출하고 통합하는 네트워크 구조를 제안한다.
또한, Attention Mechanism을 통해 네트워크 내에서 보다 유용한 정보들이 선별적으로 활용되도록 하여 병해 탐지 네트워크의 성능 향상을 도모한다. 이를 위해 SE-Block(Squeeze-and-Excitation Block)이 사용되었으며, SE-Block의 다음과 같은 역할을 한다. 특징맵에서 채널 단위의 중요도를 파악하여 네트워크가 중요도가 높은 채널에 대한 우선적인 집중을 하도록 한다. SE-Block은 FPN에 적용되어 좀 더 정교한 특징맵 추출을 가능하도록 하였고, RoI-AA에 적용되어 추출된 RoI에서 중요한 정보가 강조되도록 하여 최종적으로 성능 향상에 상당한 기여를 하였다.
병해 탐지 네트워크는 사과 과육의 병해 영상 데이터셋으로 학습을 진행하여 병해 탐지 성능을 평가하였다. 병해 탐지 네트워크 또한 3-fold 교차검증을 통해 평가하였으며, 기본 Mask R-CNN에 비해서 AP(Average Precision) 5.3 포인트, AP50 1.18 포인트, AP75 4.7 포인트의 성능 향상을 보였다.
본 논문에서 제안된 병해 분류 네트워크와 병해 탐지 네트워크의 우수한 성능은 병해 탐지 분야에서 딥러닝의 활용가능성을 보여주었고 나아가 농업 분야에서 병해 관리 및 통제 시스템의 자동화에 관한 연구에 기여할 수 있을 것으로 기대된다.
Disease and pests has a profound effect on a year harvest and productivity in agriculture. There have been a lot of efforts to detect diseases at early stage and it leads many researches to apply deep learning approach to solve this issue recently. Image classification networks using deep learning a...
Disease and pests has a profound effect on a year harvest and productivity in agriculture. There have been a lot of efforts to detect diseases at early stage and it leads many researches to apply deep learning approach to solve this issue recently. Image classification networks using deep learning approaches have been applied and overwhelmed models using machine learning.
Two different approaches are applied to detect disease in agriculture, which utilize image classification approaches and object detection approaches. Given an image, the detection model with image classification approaches identify disease and inform class of disease on image. With these models, the diseases and pests could be timely treated and managed, because these approaches are capable of providing information about which diseases occur on fruit.
On the other hand, the detection models with obejct detection approaches are applied not only to identify the diseases but also to localize the location of disease, given an image. With these two types of information, the object detection approaches could be helpful to understand tendency and characteristic like type, shape of disease and location the disease frequently occur, etc. Based on detailed understanding, it is possible to make a contribution for developing disease treatment and management systems.
Herein, we propose two different disease detection models, using image classification approach and object detection approach respectively. First, the disease classification network using image classification approach consists of deep residual block, including 16 residual blocks and 5 downsamplings. Input images are converted into high dimensional feature vectors with 16 residual blocks, followed by global average pooling, fully connected layer and softmax that perform disease classification from features. The proposed network is evaluated via 3-fold cross validation and shows high classification accuracy, which are 94.50% on apple leaf, 98.10% apple fruit, 97.67% on peach leaf, 94.95% on peach fruit and 82.53% apricot fruit.
Second, the disease detection network using object detection approach is inspired by Mask R-CNN, which has been shown excellent performance on obejct detection challenge. The network is composed of region proposal block(RPN) buliding feature map pyramid and conducting region proposal, RoI-Align-Aggregation(RoI-AA) block extracting and concatenating RoIs and Network Head that performs box regression, classifiacation and segmentation. Feature Pyramid Network(FPN) extracting feature map pyramid is adopted on RPN. We train and evaluate the disease detection network with apple fruit disease image dataset. The disease detection network is also evaluated with 3-fold cross validation. It shows performance improvement on average precision(AP) compared to Mask R-CNN baseline, which is by AP 5.3 points, AP50 1.18 points and AP75 4.7 points.
In this paper, the remarkable performance of two proposed networks, disease classification network and disease detection network, show availability of deep learning approach in disease diagnosis area in agriculture. We expect that it could contribute to developing and researching disease treatment and control systems.
Disease and pests has a profound effect on a year harvest and productivity in agriculture. There have been a lot of efforts to detect diseases at early stage and it leads many researches to apply deep learning approach to solve this issue recently. Image classification networks using deep learning approaches have been applied and overwhelmed models using machine learning.
Two different approaches are applied to detect disease in agriculture, which utilize image classification approaches and object detection approaches. Given an image, the detection model with image classification approaches identify disease and inform class of disease on image. With these models, the diseases and pests could be timely treated and managed, because these approaches are capable of providing information about which diseases occur on fruit.
On the other hand, the detection models with obejct detection approaches are applied not only to identify the diseases but also to localize the location of disease, given an image. With these two types of information, the object detection approaches could be helpful to understand tendency and characteristic like type, shape of disease and location the disease frequently occur, etc. Based on detailed understanding, it is possible to make a contribution for developing disease treatment and management systems.
Herein, we propose two different disease detection models, using image classification approach and object detection approach respectively. First, the disease classification network using image classification approach consists of deep residual block, including 16 residual blocks and 5 downsamplings. Input images are converted into high dimensional feature vectors with 16 residual blocks, followed by global average pooling, fully connected layer and softmax that perform disease classification from features. The proposed network is evaluated via 3-fold cross validation and shows high classification accuracy, which are 94.50% on apple leaf, 98.10% apple fruit, 97.67% on peach leaf, 94.95% on peach fruit and 82.53% apricot fruit.
Second, the disease detection network using object detection approach is inspired by Mask R-CNN, which has been shown excellent performance on obejct detection challenge. The network is composed of region proposal block(RPN) buliding feature map pyramid and conducting region proposal, RoI-Align-Aggregation(RoI-AA) block extracting and concatenating RoIs and Network Head that performs box regression, classifiacation and segmentation. Feature Pyramid Network(FPN) extracting feature map pyramid is adopted on RPN. We train and evaluate the disease detection network with apple fruit disease image dataset. The disease detection network is also evaluated with 3-fold cross validation. It shows performance improvement on average precision(AP) compared to Mask R-CNN baseline, which is by AP 5.3 points, AP50 1.18 points and AP75 4.7 points.
In this paper, the remarkable performance of two proposed networks, disease classification network and disease detection network, show availability of deep learning approach in disease diagnosis area in agriculture. We expect that it could contribute to developing and researching disease treatment and control systems.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.