세계의 많은 나라들에서 농업 발전은 극히 중요한 지위를 차지하고있으며 농업생산은 경제발전과 국민들의 행복한 생활의 근본이다. 현재 대부분의 과일과 채소 종자의 가치는 여전히 고도의 자동화를 실현하기가 매우 어렵고, 생산 과정에서 여전히 많은 노동력이 필요하며, 인력 생산 원가가 높은 수준을 유지하고 있지만, 많은 국가의 농업 노동인구는 날이 갈수록 감소하고 있으며, 지능형 농업 장비에 대한 수요는 날이 갈수록 증가하고 있다. 농업용 로봇은 이미 인공 작업을 대체하고 생산 조건을 개선하며 작업 효율을 높이는 관건이 되는 설비로, 그중 수확 로봇은 과일 수확기에 집중적으로 작업하기에 매우 적합하다. 자연환경에서 열매는 성숙 계절이 열리기에 많은 연구들은 구체적인 과일과 채소 품종에 대해 연구하고있다. 그러나 자연 환경에서 과일 및 채소의 품종 수확 시간이 상대적으로 집중되고 짧아 지능형 수확 장비의 연구 및 개발 및 생산, 그 비용이 높고 이용률이 낮아 실제 농업 생산에 보급되기 어렵습니다. 온실 하우스의 열매 수확은 노동수요가 비교적 큰 작업으로서 대부분 동일한 품종을 집중적으로 재배한다. 연간 매일 성숙된 과일이 있어 수확 수요가 길기때문에 수확 로봇의 자원랑비가 쉽게 발생하지 않는다. 본 논문은 온실에서 과일과 채소를 수학하는 시각적인 모델에 대해서 연구를 진행하였다. 본 논문에서는 뚜렷한 색상과 형태를 가진 온실 토마토를 연구대상으로 선정하여 그 과실 식별알고리즘을 연구하고 개선하였다. 온실 토마토의 과실을 판별하는 ...
세계의 많은 나라들에서 농업 발전은 극히 중요한 지위를 차지하고있으며 농업생산은 경제발전과 국민들의 행복한 생활의 근본이다. 현재 대부분의 과일과 채소 종자의 가치는 여전히 고도의 자동화를 실현하기가 매우 어렵고, 생산 과정에서 여전히 많은 노동력이 필요하며, 인력 생산 원가가 높은 수준을 유지하고 있지만, 많은 국가의 농업 노동인구는 날이 갈수록 감소하고 있으며, 지능형 농업 장비에 대한 수요는 날이 갈수록 증가하고 있다. 농업용 로봇은 이미 인공 작업을 대체하고 생산 조건을 개선하며 작업 효율을 높이는 관건이 되는 설비로, 그중 수확 로봇은 과일 수확기에 집중적으로 작업하기에 매우 적합하다. 자연환경에서 열매는 성숙 계절이 열리기에 많은 연구들은 구체적인 과일과 채소 품종에 대해 연구하고있다. 그러나 자연 환경에서 과일 및 채소의 품종 수확 시간이 상대적으로 집중되고 짧아 지능형 수확 장비의 연구 및 개발 및 생산, 그 비용이 높고 이용률이 낮아 실제 농업 생산에 보급되기 어렵습니다. 온실 하우스의 열매 수확은 노동수요가 비교적 큰 작업으로서 대부분 동일한 품종을 집중적으로 재배한다. 연간 매일 성숙된 과일이 있어 수확 수요가 길기때문에 수확 로봇의 자원랑비가 쉽게 발생하지 않는다. 본 논문은 온실에서 과일과 채소를 수학하는 시각적인 모델에 대해서 연구를 진행하였다. 본 논문에서는 뚜렷한 색상과 형태를 가진 온실 토마토를 연구대상으로 선정하여 그 과실 식별알고리즘을 연구하고 개선하였다. 온실 토마토의 과실을 판별하는 알고리즘은 다른 품종의 과실에도 쉽게 보급할 수 있다. 본 논문에서는 다음에 대해 연구하였다. (a) 현재 단계에서 토마토 식별에 사용될 수 있는 알고리즘을 연구, 비교 및 분석하기 위해 Mask R-CNN을 사용하여 열매의 화소급 분할을 진행함으로써 열매의 식별 및 위치를 정확하게 실현할 수 있다. Mask R-CNN은 Faster R-CNN을 주체로 하여 같은 종의 다른 개체를 구별하고 과실 차단 문제를 처리한다. Mask R-CNN은 Faster R-CNN을 기반으로 FCN 분기를 추가하여 각 대상을 픽셀 수준으로 분할하고, 열매의 경계 정보를 얻음으로써 열매의 가리개 문제를 해결한다. (b) 원시 Mask R-CNN 검사에 기초한 문제점을 분석한다. 온실 토마토 이미지를 분할할 때 열매의 공간 위치 등 특징을 추출하는 것이 어렵고, 알고리즘의 적응성이 떨어져 가려지거나 겹쳐진 열매의 분할 효과가 좋지 않다는 것을 발견하였다. 토마토의 과일 가장자리 검정이 정확하지 않다. 과일이 많이 겹치는 상황에서 일부 중첩도가 비교적 높은 토마토 과일의 검사틀을 삭제하여 검사 누락이 초래되었다. (c) 원래의 알고리즘을 기존의 문제에 대해 개선하였으며, 개선된 Mask R-CNN을 기반으로 토마토 열매를 식별하였다. 우선 Mask R-CNN 모델과 토마토 열매의 색깔, 형태 및 생장 환경을 분석하고, 토마토 열매의 검정에 Mask R-CNN이 사용되어 존재하는 문제점을 분석하였다. 나뭇가지가 가려지고 열매가 겹치는 등 복잡한 상황을 해결하기 위해 컬러 영상과 깊은 영상을 융합하는 방식으로 열매 검정을 진행한다. FPN 구조를 개선하여 더욱 충분한 정보 융합을 실현하고 목표검측 효과를 제고한다. Soft-NMS 알고리즘은 NMS 알고리즘을 대체하여 많은 중첩된 과실 누락 문제를 해결한다. 손실 함수를 최적화하고, 에지 검출 손실을 증가하며, 분할의 정밀도를 높였다. IoU 임계값이 0.5일 때 bbox mAP의 값은 84.26%, 분할 mAP의 값은 83.67%, bbox recall은 97.21%에 이른다. 개량된 알고리즘이 온실 환경에서 토마토 과실을 검측하는 데 적용되면, 따기 기계가 사람 사용 빈도가 높고, 비슷한 과실의 특징, 생장 환경이 비슷한 다른 과실에도 확대할 수 있다. 이런 과일 식별 알고리즘은 수확 로봇에 적용하여 효과를 얻을 수 있다.
세계의 많은 나라들에서 농업 발전은 극히 중요한 지위를 차지하고있으며 농업생산은 경제발전과 국민들의 행복한 생활의 근본이다. 현재 대부분의 과일과 채소 종자의 가치는 여전히 고도의 자동화를 실현하기가 매우 어렵고, 생산 과정에서 여전히 많은 노동력이 필요하며, 인력 생산 원가가 높은 수준을 유지하고 있지만, 많은 국가의 농업 노동인구는 날이 갈수록 감소하고 있으며, 지능형 농업 장비에 대한 수요는 날이 갈수록 증가하고 있다. 농업용 로봇은 이미 인공 작업을 대체하고 생산 조건을 개선하며 작업 효율을 높이는 관건이 되는 설비로, 그중 수확 로봇은 과일 수확기에 집중적으로 작업하기에 매우 적합하다. 자연환경에서 열매는 성숙 계절이 열리기에 많은 연구들은 구체적인 과일과 채소 품종에 대해 연구하고있다. 그러나 자연 환경에서 과일 및 채소의 품종 수확 시간이 상대적으로 집중되고 짧아 지능형 수확 장비의 연구 및 개발 및 생산, 그 비용이 높고 이용률이 낮아 실제 농업 생산에 보급되기 어렵습니다. 온실 하우스의 열매 수확은 노동수요가 비교적 큰 작업으로서 대부분 동일한 품종을 집중적으로 재배한다. 연간 매일 성숙된 과일이 있어 수확 수요가 길기때문에 수확 로봇의 자원랑비가 쉽게 발생하지 않는다. 본 논문은 온실에서 과일과 채소를 수학하는 시각적인 모델에 대해서 연구를 진행하였다. 본 논문에서는 뚜렷한 색상과 형태를 가진 온실 토마토를 연구대상으로 선정하여 그 과실 식별알고리즘을 연구하고 개선하였다. 온실 토마토의 과실을 판별하는 알고리즘은 다른 품종의 과실에도 쉽게 보급할 수 있다. 본 논문에서는 다음에 대해 연구하였다. (a) 현재 단계에서 토마토 식별에 사용될 수 있는 알고리즘을 연구, 비교 및 분석하기 위해 Mask R-CNN을 사용하여 열매의 화소급 분할을 진행함으로써 열매의 식별 및 위치를 정확하게 실현할 수 있다. Mask R-CNN은 Faster R-CNN을 주체로 하여 같은 종의 다른 개체를 구별하고 과실 차단 문제를 처리한다. Mask R-CNN은 Faster R-CNN을 기반으로 FCN 분기를 추가하여 각 대상을 픽셀 수준으로 분할하고, 열매의 경계 정보를 얻음으로써 열매의 가리개 문제를 해결한다. (b) 원시 Mask R-CNN 검사에 기초한 문제점을 분석한다. 온실 토마토 이미지를 분할할 때 열매의 공간 위치 등 특징을 추출하는 것이 어렵고, 알고리즘의 적응성이 떨어져 가려지거나 겹쳐진 열매의 분할 효과가 좋지 않다는 것을 발견하였다. 토마토의 과일 가장자리 검정이 정확하지 않다. 과일이 많이 겹치는 상황에서 일부 중첩도가 비교적 높은 토마토 과일의 검사틀을 삭제하여 검사 누락이 초래되었다. (c) 원래의 알고리즘을 기존의 문제에 대해 개선하였으며, 개선된 Mask R-CNN을 기반으로 토마토 열매를 식별하였다. 우선 Mask R-CNN 모델과 토마토 열매의 색깔, 형태 및 생장 환경을 분석하고, 토마토 열매의 검정에 Mask R-CNN이 사용되어 존재하는 문제점을 분석하였다. 나뭇가지가 가려지고 열매가 겹치는 등 복잡한 상황을 해결하기 위해 컬러 영상과 깊은 영상을 융합하는 방식으로 열매 검정을 진행한다. FPN 구조를 개선하여 더욱 충분한 정보 융합을 실현하고 목표검측 효과를 제고한다. Soft-NMS 알고리즘은 NMS 알고리즘을 대체하여 많은 중첩된 과실 누락 문제를 해결한다. 손실 함수를 최적화하고, 에지 검출 손실을 증가하며, 분할의 정밀도를 높였다. IoU 임계값이 0.5일 때 bbox mAP의 값은 84.26%, 분할 mAP의 값은 83.67%, bbox recall은 97.21%에 이른다. 개량된 알고리즘이 온실 환경에서 토마토 과실을 검측하는 데 적용되면, 따기 기계가 사람 사용 빈도가 높고, 비슷한 과실의 특징, 생장 환경이 비슷한 다른 과실에도 확대할 수 있다. 이런 과일 식별 알고리즘은 수확 로봇에 적용하여 효과를 얻을 수 있다.
The development of agriculture in many countries in the world occupies an extremely important position, and agricultural production is the foundation of economic development and people's happy life. At present, most fruits and vegetables cultivation is still difficult to achieve a high degree of aut...
The development of agriculture in many countries in the world occupies an extremely important position, and agricultural production is the foundation of economic development and people's happy life. At present, most fruits and vegetables cultivation is still difficult to achieve a high degree of automation. The production process still requires a large amount of labor, and the labor cost remains high. However, the agricultural labor force in many countries is decreasing, and the demand for smart agricultural equipment is increasing. Agricultural robots have become the key equipment to replace manual operations, improve production conditions, and improve operating efficiency. Among them, picking robots are very suitable for intensive work during the fruit picking period. Fruits in the natural environment have ripening seasons, and many studies have been conducted on specific fruit and vegetable varieties. However, the picking time of a certain variety of fruits in the natural environment is relatively concentrated and short, resulting in the development and production of intelligent picking equipment, because of its high cost and low utilization rate, it is difficult to really popularize it in actual agricultural production. Greenhouse fruit picking is a link that requires a lot of labor, and most of them are concentrated cultivation of the same category. Because there are ripe fruits all year round, the picking needs last for a long time, and it is not easy to cause waste of resources for picking robots. This study focuses on the visual model of fruit picking in greenhouses. In this study, the greenhouse tomato fruit with significant representativeness in color and shape was selected as the research object, and its fruit recognition algorithm was studied and improved. The recognition algorithm for greenhouse tomato fruit is easier to extend and apply to other fruit varieties. This study mainly includes the following aspects: (a) To research, compare and analyze the algorithms currently available for tomato fruit recognition, the use of Mask R-CNN to segment the fruit at the pixel level can accurately realize the recognition and positioning of the fruit. Mask R-CNN uses Faster R-CNN as the main body, which can distinguish different individuals of the same target and can deal with the problem of fruit occlusion. Mask R-CNN adds the FCN branch on the basis of Faster R-CNN to perform pixel-level segmentation of each target, and can obtain the boundary information of the fruit, which solves the occlusion problem of the fruit. (b) Analyze the problems based on the original Mask R-CNN detection. It is found that for instance segmentation of greenhouse tomato images, it is difficult to extract features such as the spatial position of the fruit, the algorithm has poor adaptability, and the segmentation effect on occluded and overlapping fruits is not good. Tomato fruit edge detection is imprecise. Due to the large number of overlaps in the fruit, some tomato fruit detection frames with a high degree of overlap were deleted, resulting in missed detection. (c) The original algorithm was improved according to the existing problems, and tomato fruit recognition was carried out based on the improved Mask R-CNN. First, analyze the Mask R-CNN model and the color, shape and growth environment of tomato fruit, and analyze the problems existing in Mask R-CNN for tomato fruit detection. In order to solve complex situations such as branch and leaf occlusion and fruit overlapping, a fusion method of color image and depth image is proposed for fruit recognition. Improve the FPN structure to achieve more sufficient information fusion and improve the target recognition effect. The Soft-NMS algorithm replaces the NMS algorithm to solve the problem of missed detection of overlapping fruits. Optimize the loss function and add edge detection loss to improve the segmentation accuracy. In the above research, a variety of methods are used to improve the recognition effect. When the improved model has an IoU threshold of 0.5, the mAP of bounding box reaches 84.26%, the mAP of segmentation reaches 83.67%, and the recall of bounding box reaches 97.21%. The improved algorithm has been applied to the detection of tomato fruits in the greenhouse environment with high efficiency and can be further extended to other fruits with similar fruit characteristics and similar growing environment. This fruit recognition algorithm provides support for the realization of the picking robot.
The development of agriculture in many countries in the world occupies an extremely important position, and agricultural production is the foundation of economic development and people's happy life. At present, most fruits and vegetables cultivation is still difficult to achieve a high degree of automation. The production process still requires a large amount of labor, and the labor cost remains high. However, the agricultural labor force in many countries is decreasing, and the demand for smart agricultural equipment is increasing. Agricultural robots have become the key equipment to replace manual operations, improve production conditions, and improve operating efficiency. Among them, picking robots are very suitable for intensive work during the fruit picking period. Fruits in the natural environment have ripening seasons, and many studies have been conducted on specific fruit and vegetable varieties. However, the picking time of a certain variety of fruits in the natural environment is relatively concentrated and short, resulting in the development and production of intelligent picking equipment, because of its high cost and low utilization rate, it is difficult to really popularize it in actual agricultural production. Greenhouse fruit picking is a link that requires a lot of labor, and most of them are concentrated cultivation of the same category. Because there are ripe fruits all year round, the picking needs last for a long time, and it is not easy to cause waste of resources for picking robots. This study focuses on the visual model of fruit picking in greenhouses. In this study, the greenhouse tomato fruit with significant representativeness in color and shape was selected as the research object, and its fruit recognition algorithm was studied and improved. The recognition algorithm for greenhouse tomato fruit is easier to extend and apply to other fruit varieties. This study mainly includes the following aspects: (a) To research, compare and analyze the algorithms currently available for tomato fruit recognition, the use of Mask R-CNN to segment the fruit at the pixel level can accurately realize the recognition and positioning of the fruit. Mask R-CNN uses Faster R-CNN as the main body, which can distinguish different individuals of the same target and can deal with the problem of fruit occlusion. Mask R-CNN adds the FCN branch on the basis of Faster R-CNN to perform pixel-level segmentation of each target, and can obtain the boundary information of the fruit, which solves the occlusion problem of the fruit. (b) Analyze the problems based on the original Mask R-CNN detection. It is found that for instance segmentation of greenhouse tomato images, it is difficult to extract features such as the spatial position of the fruit, the algorithm has poor adaptability, and the segmentation effect on occluded and overlapping fruits is not good. Tomato fruit edge detection is imprecise. Due to the large number of overlaps in the fruit, some tomato fruit detection frames with a high degree of overlap were deleted, resulting in missed detection. (c) The original algorithm was improved according to the existing problems, and tomato fruit recognition was carried out based on the improved Mask R-CNN. First, analyze the Mask R-CNN model and the color, shape and growth environment of tomato fruit, and analyze the problems existing in Mask R-CNN for tomato fruit detection. In order to solve complex situations such as branch and leaf occlusion and fruit overlapping, a fusion method of color image and depth image is proposed for fruit recognition. Improve the FPN structure to achieve more sufficient information fusion and improve the target recognition effect. The Soft-NMS algorithm replaces the NMS algorithm to solve the problem of missed detection of overlapping fruits. Optimize the loss function and add edge detection loss to improve the segmentation accuracy. In the above research, a variety of methods are used to improve the recognition effect. When the improved model has an IoU threshold of 0.5, the mAP of bounding box reaches 84.26%, the mAP of segmentation reaches 83.67%, and the recall of bounding box reaches 97.21%. The improved algorithm has been applied to the detection of tomato fruits in the greenhouse environment with high efficiency and can be further extended to other fruits with similar fruit characteristics and similar growing environment. This fruit recognition algorithm provides support for the realization of the picking robot.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.