[논문]토마토 위치 및 자세 추정을 위한 데이터 증대기법

장민호; 황영배

doi:10.5909/jbe.2022.27.1.44

토마토 위치 및 자세 추정을 위한 데이터 증대기법
Data Augmentation for Tomato Detection and Pose Estimation 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.27 no.1, 2022년, pp.44 - 55

장민호 (충북대학교 바이오시스템공학과) , 황영배 (충북대학교 지능로봇공학과)

초록
AI-Helper

농업 관련 방송 콘텐츠에서 과일에 대한 자동적인 정보 제공을 위해서 대상 과일의 인스턴스 영상 분할이 요구된다. 또한, 해당 과일에 대한 3차원 자세에 대한 정보 제공도 의미있게 사용될 수 있다. 본 논문에서는 영상 콘텐츠에서 토마토에 대한 정보를 제공하는 연구를 다룬다. 인스턴스 영상 분할 기법을 학습하기 위해서는 다량의 데이터가 필요하지만 충분한 토마토 학습데이터를 얻기는 힘들다. 따라서 적은 양의 실사 영상을 바탕으로 데이터 증대기법을 통해 학습 데이터를 생성하였다. 실사 영상만을 통한 학습 결과 정확도에 비해서, 전경과 배경을 분리해서 만들어진 합성 영상을 통해 학습한 결과, 기존 대비 성능이 향상되는 것을 확인하였다. 영상 전처리 기법들을 활용해서 만들어진 영상을 사용한 데이터 증대 영상의 학습 결과, 전경과 배경을 분리한 합성 영상보다 높은 성능을 얻는 것을 확인하였다. 객체 검출 후 자세 추정을 하기 위해 RGB-D 카메라를 이용하여 포인트 클라우드를 획득하였고 최소제곱법을 이용한 실린더 피팅을 진행하였고, 실린더의 축 방향을 통해 토마토 자세를 추정하였다. 우리는 다양한 실험을 통해서 대상 객체에 대한 검출, 인스턴스 영상 분할, 실린더 피팅의 결과가 의미있게 나타난다는 것을 보였다.

Abstract ▼ AI-Helper

In order to automatically provide information on fruits in agricultural related broadcasting contents, instance image segmentation of target fruits is required. In addition, the information on the 3D pose of the corresponding fruit may be meaningfully used. This paper represents research that provides information about tomatoes in video content. A large amount of data is required to learn the instance segmentation, but it is difficult to obtain sufficient training data. Therefore, the training data is generated through a data augmentation technique based on a small amount of real images. Compared to the result using only the real images, it is shown that the detection performance is improved as a result of learning through the synthesized image created by separating the foreground and background. As a result of learning augmented images using images created using conventional image pre-processing techniques, it was shown that higher performance was obtained than synthetic images in which foreground and background were separated. To estimate the pose from the result of object detection, a point cloud was obtained using an RGB-D camera. Then, cylinder fitting based on least square minimization is performed, and the tomato pose is estimated through the axial direction of the cylinder. We show that the results of detection, instance image segmentation, and cylinder fitting of a target object effectively through various experiments.

주제어

표/그림 (18)

그림 그림 1. 토마토 실사 영상 Fig. 1. Real tomato images
그림 그림 2. 전경 영상, 영상에서 하나의 객체를 잘라서 생성 Fig. 2. Foreground image, one object in image is cut
그림 그림 3. 배경 영상, 토마토 잎과 줄기 Fig. 3. Background image, tomato stems and leaves
그림 그림 4. 최대 전경 개수를 (a)3과 (b)5로 설정한 합성 영상 Fig. 4. Synthetic images from the maximum number of foreground as (a)3 (b)5
그림 그림 5. 실사 영상을 통한 데이터 증대 영상 Fig. 5. Data augmentation image from real image data
그림 그림 6. 데이터 증대가 적용된 영상 (a)와 각 객체의 색상이 다른 마스크 영상 (b) Fig. 6. Image with data augmentation (a) and mask image with different colors each object (b)
그림 그림 7. 본 논문의 전체적인 흐름도 Fig. 7. The overall flowchart of this paper
그림 그림 8. 토마토 인식과 객체(instance) 영상 분할테이션을 위한 Mask-RCNN Fig. 8. Mask-RCNN for tomato detection and instance segmentation
그림 그림 9. Laboro에서 제공한 토마토 데이터셋 Fig. 9. Tomato dataset provided by Laboro
그림 그림 10. RGB 영상과 깊이 영상 Fig. 10. RGB image and depth image
그림 그림 11. RGB와 깊이 정렬을 통해 생성된 포인트 클라우드 데이터 Fig. 11. Pointcloud data created of RGB depth align
그림 그림 12. (a) 2D 방울토마토 인스턴스 영상 분할 영상, (b) 3D 포인트 클라우드의 토마토 위치 Fig. 12. (a) 2D cherry tomato instance segmentation image, (b) Tomato location of 3D point cloud
그림 그림 13. 각 데이터의 학습 로스 (a) 실사 영상, (b) 합성 영상, (c) 영상 전처리 기반 데이터 증대 영상 Fig. 13. Train loss of each data (a) real image, (b) synthetic image, (c) Pre-processing based data augmentation images
그림 그림 14. 실사 영상 기반 학습 모델의 탐지 및 인스턴스 영상 분할 테스트 결과 Fig. 14. Results of the detection and instance segmentation test of the model learned with real image data
표 표 1. 각 학습 데이터의 평균정확도(AP) 결과 Table 1. AP result of each training data
그림 그림 15. 합성 영상 기반 학습 모델의 탐지 및 인스턴스 영상 분할 테스트 결과 Fig. 15. Results of the detection and instance segmentation of the model learned with synthetic image data
그림 그림 16. 실사 영상을 사용한 데이터 증대 영상 학습 모델의 탐지 및 인스턴스 영상 분할 테스트 결과 Fig. 16. Results of the detection and instance segmentation of the model learned with data augmentation image of real image
그림 그림 17. 실린더 피팅 결과 Fig. 17. Result of cylinder fitting

참고문헌 (29)

Jongseo Lee, Mangyu Kim, and Hakil Kim, "Camera and LiDAR Sensor Fusion for Improving Object Detection", JBE Vol. 24, No. 4, July 2019. https://doi.org/10.5909/JBE.2019.24.4.580

원문보기 상세보기
Jinbae Park, Teerath Kumar, and Sung-Ho Bae, "Search for Optimal Data Augmentation Policy for Environmental Sound Classification with Deep Neural Networks", JBE Vol. 25, No. 6, November 2020. https://doi.org/10.5909/JBE.2020.25.6.854

상세보기
Y. Onishi, T. Yoshida, H. Kurita, T. Fukao, H. Arihara, and A. Iwai, "An automated fruit harvesting robot by using deep learning." Robomech Journal, Vol. 6, No.13, November 2019.
K. I-His, H. Ya-Wen, Y. Ya-Zhu, C. Ya-Li, L. Yi-Horng, and P. Jau-Woei, "Determination of Lycopersicon maturity using convolustional autoencoders", Scientia Horticulturae, Vol. 256, No.108538, October 2019.
A. Elhassouny, and F. Smarandache, "Smart mobile application to recognize tomato leaf diseases using convolutional Neural Networks," International Conference of Computer Science and Renewable Energies, pp. 1-4, 2019.
K. He, G. Gkioxari, P. Dollar, and R. Girshick, "Mask R-CNN." In ICCV, pp.2961-2969, 2017.
Y. Yu, K. Zhang, L. Yang, and D. Zhang, "Fruit detection for stawberry harvesting robot in non-structural environment based on mask-RCNN." Comput Electron Agricult, Vol. 163, No.104846, June 2019.
S. Gonzalez, C. Arellano, and J. E.Tapia, "Deepblueberry: Quantification of blueberries in the wild using instance segmentation." IEEE Access, Vol. 7, pp. 105776-105788, August 2019.

상세보기
W. Yin, H. Wen, Z. Ning, J. Ye, Z. Dong, and L. Luo, "Fruit Detection and Pose Estimation for Grape Cluster-Harvesting Robot Using Binocular Imagery Based on Deep Neural Networks." Frontiers in Robotics and AI, Vol. 8, No.626989, June 2021.
N. Wagner, R. Kirk, M. Hanheide, and G. Cielniak, "Efficient and Robust Orientation Estimation of Strawberries for Fruit Picking Applications", IEEE International Conference on Robotics and Automation, pp. 13857-13863, May, 2021.
N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov, "Dropout: a simple way to prevent neural networks from overfitting" The journal of machine learning research, Vol. 15, No.1, pp. 1929-1958, June 2014.

상세보기
T. DeVries, and G. W. Taylor, "Improved regularization of convolutional neural networks with cutout" arXiv, Vol. 1708, No.04552, 2017.
Z. Zhong, L. Zheng, G. Kang, S. Li, and Y. Yang, "Random Erasing Data Augmentation" Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No.07, pp. 13001-13008. 2020.
S. Yun, D. Han, S. J. Oh, S. Chun, J. Choe, and Y. Yoo, "Cutmix: Regularization strategy to train strong classifiers with localizable features" In Proceedings of the IEEE/CVF International Conference on Computer Vision pp. 6023-6032, 2019.
Y. Ge, Y. Xiong, G. L. Tenorio, and P. J. From, "Fruit localization and environment perception for strawberry harvesting robots" IEEE Access, Vol. 7, pp. 147642-147652, October 2019.

상세보기
N. Guo, B. Zhang, J. Zhou, K. Zhan, and S. Lai, "Pose estimation and adaptable grasp configuration with point cloud registration and geometry understanding for fruit grasp planning" Computers and Electronics in Agriculture, Vol. 179, pp. 105818, December 2020.

상세보기
G. Lin, Y. Tang, X. Zou, J. Xiong, and J. Li, "Guava detection and pose estimation using a low-cost RGB-D sensor in the field" Sensors, Vol. 19, No.2, pp. 428. January 2019.

상세보기
H. Li, Q. Zhu, M. Huang, Y. Guo, and J. Qin, "Pose estimation of sweet pepper through symmetry axis detection" Sensors, Vol. 18 No.9, pp. 3083, September 2018.

상세보기
J. Kim, J. Kim, H. Son, "Development of Deep Learning-based Tomato Detection and Manipulator Control System for Tomato Harvesting Robot", Institute of Control, Robotics and Systems, pp. 525-526, 2020.
W. Lee, K. Ko, J. Kang, H. Park, I. Jang, "Instance Segmentation based Recognition System Tracking Tomatoes by Ripeness in Natural Light Conditions", Journal of Institute of Control, Robotics and Systems, vol. 26, no. 11, pp. 940-948, 2020.

상세보기
A. Kelly, cocosynth, 2019, https://github.com/akTwelve/cocosynth.git.
AI Hub, Agricultural knowledge base, 2018, https://aihub.or.kr/aidata/129.
Kaggle, Tomato Detection, 2020, https://www.kaggle.com/andrewmvd/tomato-detection
A. Buslaev, V. I. Iglovikov, E. Khvedchenya, A. Parinov, M. Druzhinin, and A. A. Kalinin, "Albumentations: fast and flexible image augmentations" Information, Vol. 11, No.2, pp. 125, February 2020.
T. Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, and C. L. Zitnick, "Microsoft COCO: Common objects in context" In European conference on computer vision, pp. 740-755, 2014.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition" Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.
Laboro, Laboro Tomato, 2020, https://github.com/laboroai/LaboroTomato.git
Q. Zhou, Y. Park, and V. Koltun, "Open3D: A modern library for 3D data processing" arXiv, Vol. 1801, No.09847 2018.
X. Pan, cylinder_fitting, 2017, https://github.com/xingjiepan/cylinder_fitting.git

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증