요즘에는 인구 고령화와 노동 구조의 변화에 따라 전세계 농업 노동력이 부족하다. 그리고 전통적인 수동 작업의 효율성이 낮기 때문에 컴퓨터 비전에 기반으로 자동 수확 로봇은 이상적인 대안이며 생산성을 제공하는 데 도움이 된다. 그런데 복잡한 현장 작업 환경으로 인해 수확 로봇의 과일 인식 정확도가 낮고 지금까지 과일 검색에 관한 연구는 여전히 실험실 실험 단계에 있어서 상용화가 될 수 없다.
본 연구는 위에 문제를 해결하기 위하여 토마토 이미지를 연구 대상으로 ...
요즘에는 인구 고령화와 노동 구조의 변화에 따라 전세계 농업 노동력이 부족하다. 그리고 전통적인 수동 작업의 효율성이 낮기 때문에 컴퓨터 비전에 기반으로 자동 수확 로봇은 이상적인 대안이며 생산성을 제공하는 데 도움이 된다. 그런데 복잡한 현장 작업 환경으로 인해 수확 로봇의 과일 인식 정확도가 낮고 지금까지 과일 검색에 관한 연구는 여전히 실험실 실험 단계에 있어서 상용화가 될 수 없다.
본 연구는 위에 문제를 해결하기 위하여 토마토 이미지를 연구 대상으로 영상처리, 컴퓨터 비전 및 인공 지능 등의 기술을 통하여 토마토 인식 및 탐지 정확도를 높이게 된다.
먼저, 나무 위의 성숙한 토마토를 검출하기 위하여 저희는 대략적으로부터 정세한 프레임 워크를 제안하였다. 이 방법에서는 HOG 설명자가 SVM 분류기를 훈련시키는 데 사용되었다. 토마토를 검출하기 위하여 대략적으로부터 정세한 스캐닝 방법이 개발 된 후에, 위양성 검출을 제거하기 위하여 거짓 색갈 제거(FCR) 방법을 제안하었다. 마지막으로 NMS를 사용하여 겹친 결과를 병합하였다. 시험 결과를 보면서 제안된 방법의 회수율, 정밀도 및 F1 점수가 각각 90.00%, 94.41% 및 92.15%임을 보여 주었다.
이어서, 저희는 더 큰 데이터로 확장하였다. 이 데이터 세트는 더 많은 환경 요소를 포함하고 있으며, 토마토의 각각 성장 단계, 크기와 밀집 정도 다른 토마토 무더기를 포함한다. 본 방법은 딥 러닝 프레임 워크인 YOLOv3를 기반으로 데이터 세트에서 토마토를 탐지한다. 이 제안된 모델은 YOLO-Tomato를 부른다. 저희는 특징 재활용을 촉진하기 위하여 YOLOv3에 밀집 연결 구조를 끼워넣어 더 조밀하고 정확한 모델을 배울 수 있었다. 또 제안한 모델은 토마토 위치를 검출하기 위하여 전통 직사각형 바운드 박스(R-Bbox)를 원형 바운드 박스(C-Bbox)로 대체하였다. 이어서 새로운 바운드 박스가 토마토 위치를 정확하게 검출할 수 있으므로 NMS중의 IoU 계산 정밀도가 향상시키게 되고 좌표 예측의 파라미터를 줄일 수 있게 된다. 절제 연구는 수정 방안의 유효성을 입증하였다. 저희는 제안한 YOLO-Tomato가 다른 선진적인 방법과 비교되었으며 결과는 YOLO-Tomato가 최적의 검출 성능을 가지고 있음을 나타냈다.
요즘에는 인구 고령화와 노동 구조의 변화에 따라 전세계 농업 노동력이 부족하다. 그리고 전통적인 수동 작업의 효율성이 낮기 때문에 컴퓨터 비전에 기반으로 자동 수확 로봇은 이상적인 대안이며 생산성을 제공하는 데 도움이 된다. 그런데 복잡한 현장 작업 환경으로 인해 수확 로봇의 과일 인식 정확도가 낮고 지금까지 과일 검색에 관한 연구는 여전히 실험실 실험 단계에 있어서 상용화가 될 수 없다.
본 연구는 위에 문제를 해결하기 위하여 토마토 이미지를 연구 대상으로 영상처리, 컴퓨터 비전 및 인공 지능 등의 기술을 통하여 토마토 인식 및 탐지 정확도를 높이게 된다.
먼저, 나무 위의 성숙한 토마토를 검출하기 위하여 저희는 대략적으로부터 정세한 프레임 워크를 제안하였다. 이 방법에서는 HOG 설명자가 SVM 분류기를 훈련시키는 데 사용되었다. 토마토를 검출하기 위하여 대략적으로부터 정세한 스캐닝 방법이 개발 된 후에, 위양성 검출을 제거하기 위하여 거짓 색갈 제거(FCR) 방법을 제안하었다. 마지막으로 NMS를 사용하여 겹친 결과를 병합하였다. 시험 결과를 보면서 제안된 방법의 회수율, 정밀도 및 F1 점수가 각각 90.00%, 94.41% 및 92.15%임을 보여 주었다.
이어서, 저희는 더 큰 데이터로 확장하였다. 이 데이터 세트는 더 많은 환경 요소를 포함하고 있으며, 토마토의 각각 성장 단계, 크기와 밀집 정도 다른 토마토 무더기를 포함한다. 본 방법은 딥 러닝 프레임 워크인 YOLOv3를 기반으로 데이터 세트에서 토마토를 탐지한다. 이 제안된 모델은 YOLO-Tomato를 부른다. 저희는 특징 재활용을 촉진하기 위하여 YOLOv3에 밀집 연결 구조를 끼워넣어 더 조밀하고 정확한 모델을 배울 수 있었다. 또 제안한 모델은 토마토 위치를 검출하기 위하여 전통 직사각형 바운드 박스(R-Bbox)를 원형 바운드 박스(C-Bbox)로 대체하였다. 이어서 새로운 바운드 박스가 토마토 위치를 정확하게 검출할 수 있으므로 NMS중의 IoU 계산 정밀도가 향상시키게 되고 좌표 예측의 파라미터를 줄일 수 있게 된다. 절제 연구는 수정 방안의 유효성을 입증하였다. 저희는 제안한 YOLO-Tomato가 다른 선진적인 방법과 비교되었으며 결과는 YOLO-Tomato가 최적의 검출 성능을 가지고 있음을 나타냈다.
With the aging of population and change of labor structure, it is in short of agriculture labor force around the world. Besides, the efficiency of the traditional manual work is relatively low. The computer vision based automated harvesting robot is an ideal substitution for fruit harvesting and cou...
With the aging of population and change of labor structure, it is in short of agriculture labor force around the world. Besides, the efficiency of the traditional manual work is relatively low. The computer vision based automated harvesting robot is an ideal substitution for fruit harvesting and could help to improve the efficiency. However, due to the complicate in-filed picking environment, the fruit recognition accuracy of current harvesting robot is low, and the research remains in the stage of lab experiment and cannot be commercialized.
To address the above problems, this study takes tomatoes as the research object and aims to improve tomato recognition and localization accuracy by using the technology of image processing, computer vision and artificial intelligence, etc.
First, we proposed a coarse-to-fine framework for the detection of on-tree mature tomatoes. In this method, the Histograms of Oriented Gradients (HOG) descriptor was used to train a Support Vector Machine (SVM) classifier. A coarse-to-fine scanning method was developed to detect tomatoes, followed by a proposed False Color Removal (FCR) method to remove the false-positive detections. The Non-Maximum Suppression (NMS) algorithm was used to merge the overlapped results. The results of tomato detection in the test images showed that the proposed method outperformed other methods in respect of recall, precision and the F1 score. The recall, precision, and F1 score of the proposed method were 90.00%, 94.41 and 92.15%, respectively.
Then, we extended the work to the detection of tomatoes in a bigger dataset with more challenging problems such as tomatoes of different growing stages, tomato size variation and dense tomato clusters, based on a deep learning framework – YOLOv3. We call the proposed model YOLO-Tomato. A dense architecture is incorporated into YOLOv3 to facilitate the reuse of features and help to learn a more compact and accurate model. Moreover, the model replaces the traditional rectangular bounding box (R-Bbox) with a circular bounding box (C-Bbox) for tomato localization. The new bounding boxes could match tomatoes more precisely, and thus improve the Intersection-over-Union (IoU) calculation for the NMS algorithm. They also reduce the prediction coordinates. An ablation study demonstrated the efficacy of these modifications. The proposed YOLO-Tomato was compared to several other state-of-the-art detection methods and it had the best detection performance.
With the aging of population and change of labor structure, it is in short of agriculture labor force around the world. Besides, the efficiency of the traditional manual work is relatively low. The computer vision based automated harvesting robot is an ideal substitution for fruit harvesting and could help to improve the efficiency. However, due to the complicate in-filed picking environment, the fruit recognition accuracy of current harvesting robot is low, and the research remains in the stage of lab experiment and cannot be commercialized.
To address the above problems, this study takes tomatoes as the research object and aims to improve tomato recognition and localization accuracy by using the technology of image processing, computer vision and artificial intelligence, etc.
First, we proposed a coarse-to-fine framework for the detection of on-tree mature tomatoes. In this method, the Histograms of Oriented Gradients (HOG) descriptor was used to train a Support Vector Machine (SVM) classifier. A coarse-to-fine scanning method was developed to detect tomatoes, followed by a proposed False Color Removal (FCR) method to remove the false-positive detections. The Non-Maximum Suppression (NMS) algorithm was used to merge the overlapped results. The results of tomato detection in the test images showed that the proposed method outperformed other methods in respect of recall, precision and the F1 score. The recall, precision, and F1 score of the proposed method were 90.00%, 94.41 and 92.15%, respectively.
Then, we extended the work to the detection of tomatoes in a bigger dataset with more challenging problems such as tomatoes of different growing stages, tomato size variation and dense tomato clusters, based on a deep learning framework – YOLOv3. We call the proposed model YOLO-Tomato. A dense architecture is incorporated into YOLOv3 to facilitate the reuse of features and help to learn a more compact and accurate model. Moreover, the model replaces the traditional rectangular bounding box (R-Bbox) with a circular bounding box (C-Bbox) for tomato localization. The new bounding boxes could match tomatoes more precisely, and thus improve the Intersection-over-Union (IoU) calculation for the NMS algorithm. They also reduce the prediction coordinates. An ablation study demonstrated the efficacy of these modifications. The proposed YOLO-Tomato was compared to several other state-of-the-art detection methods and it had the best detection performance.
Keyword
#tomato detection harvesting robots machine learning deep learning color analysis computer vision
학위논문 정보
저자
GUOXU LIU
학위수여기관
부산대학교
학위구분
국내박사
학과
전기전자컴퓨터공학과-전자공학전공
지도교수
김재호
발행연도
2020
총페이지
93
키워드
tomato detection harvesting robots machine learning deep learning color analysis computer vision
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.