[논문]3D 영상을 활용한 매실 인식 및 크기 추정

장은채; 박성진; 박우준; 배영환; 김혁주

doi:10.5392/jkca.2021.21.02.130

3D 영상을 활용한 매실 인식 및 크기 추정
3D Image Processing for Recognition and Size Estimation of the Fruit of Plum(Japanese Apricot) 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.21 no.2, 2021년, pp.130 - 139

장은채 (순천대학교 산업기계공학과) , 박성진 (순천대학교 산업기계공학과) , 박우준 (순천대학교 산업기계공학과) , 배영환 (순천대학교 산업기계공학과) , 김혁주 (순천대학교 산업기계공학과)

초록
AI-Helper

본 연구에서는 매실에 가장 큰 피해를 주는 복숭아 씨살이좀벌의 방제 적기 안내를 위해 3D 영상을 활용한 매실 인식 및 크기 추정 프로그램을 통해 매실 크기를 예측하였다. 3차원 영상 측정이 가능한 Kinect 2.0 Camera 및 RealSense Depth Camera D415를 사용하여 야간 영상 촬영을 진행하였다. 획득한 영상을 토대로 MATLAB R2018a를 이용하여 영상 전처리, 크기 추정이 가능한 매실 추출, RGB 및 Depth 영상 정합 및 매실 크기 추정의 4단계로 구성된 매실 인식 및 추정 프로그램을 구현해 매실 성장 단계를 고려하여 2018년의 5개 영상 및 2019년의 5개의 영상을 분석하였다. 10개 영상에 대해 프로그램을 구동하여 얻은 결과를 통해 매실 인식률의 평균 61.9%, 매실 인식 오류율 평균 0.5% 및 크기 측정 오차율 평균 3.6%를 도출하였다. 이러한 매실 인식 및 크기 추정 프로그램의 지속적인 개발은 향후 정확한 열매 크기 모니터링 및 복숭아 씨살이좀벌의 적기 방제 시스템 개발을 가능하게 할 것으로 예상한다.

Abstract ▼ AI-Helper

In this study, size of the fruit of Japanese apricot (plum) was estimated through a plum recognition and size estimation program using 3D images in order to control the Eurytoma maslovskii that causes the most damage to plum in a timely manner. In 2018, night shooting was carried out using a Kinect 2.0 Camera. For night shooting in 2019, a RealSense Depth Camera D415 was used. Based on the acquired images, a plum recognition and estimation program consisting of four stages of image preprocessing, sizeable plum extraction, RGB and depth image matching and plum size estimation was implemented using MATLAB R2018a. The results obtained by running the program on 10 images produced an average plum recognition error rate of 61.9%, an average plum recognition error rate of 0.5% and an average size measurement error rate of 3.6%. The continued development of these plum recognition and size estimation programs is expected to enable accurate fruit size monitoring in the future and the development of timely control systems for Eurytoma maslovskii.

주제어

표/그림 (16)

그림 그림 1. Kinect 2.0 Camera
그림 그림 2. RealSense Depth Camera D415
그림 그림 3. 현장 촬영(Kinect 2.0 촬영)
표 표 1. 3D Camera 제원 비교
그림 그림 4. 현장 촬영(RealSense D415)
그림 그림 5. 매실 인식 및 크기 추정 프로그램 알고리즘
그림 그림 6. 전처리 영상
그림 그림 7. 매실 영역 추출
그림 그림 8. 최종 결과 영상(Kinect 2.0 이미지)
그림 그림 9. 최종 결과 영상(RealSense D415 이미지)
표 표 2. 영상 속 매실 인식 결과
표 표 3. 추정 매실 및 기준구 영역의 크기
표 표 4. 영상 속 매실 인식 결과
표 표 5. 추정 매실 및 기준구 영역의 크기
표 표 6. 영상 분석 결과
표 표 7. 주간 촬영 및 야간 촬영 비교 결과

AI 본문요약
AI-Helper

문제 정의

따라서, 본 연구에서는 3D 카메라인 Kinect 2.0 Camera 및 RealSense Depth Camera D415로 획득한 3차원 영상을 활용하여 신뢰성 높은 매실 3차원 크기 정보를 얻고자 하였다. 이를 위하여, 영상의 전처리, 크기 추정이 가능한 매실 추출, RGB 영상과 Depth 영상의 정합 및 Depth 정보를 이용한 크기 추정의 알고리즘을 개발하였고, 이에 기반하여 MATLAB R2018a로 구현한 매실 인식 및 크기 추정 프로그램을 개발하였다.
본 연구는 매실 크기를 통해 복숭아 씨살이좀벌 출현의 예측 및 적기 방제의 목적으로 매실 크기 추정 프로그램 개발을 실시하였다. 순천시에 소재한 매실 농장에서 2018년 6월에 Kinect 2.

제안 방법

깊이 정보를 이용하여 매실 크기를 추정하였다. 깊이 영상과 같은 크기로 정합된 BW 영상에서의 매실 영역의 중심 좌표를 깊이 영상에 적용한 후 좌표의 깊이 정보를 추출하여 픽셀 당 공간 분해능을 구해 이를 이용하여 매실 크기 추정값을 계산하였다.
본 연구에서는 거리정보를 토대로 매실의 크기를 추정하기 위하여, 컬러 영상과 깊이(depth) 정보를 동시에 측정하여 3D 영상을 얻을 수 있는 Xbox Kinect 2.0 및 RealSense Depth Camera D415 카메라를 이용하여 현장에서의 매실 촬영을 진행하였다.
0 Camera 및 RealSense Depth Camera D415로 획득한 3차원 영상을 활용하여 신뢰성 높은 매실 3차원 크기 정보를 얻고자 하였다. 이를 위하여, 영상의 전처리, 크기 추정이 가능한 매실 추출, RGB 영상과 Depth 영상의 정합 및 Depth 정보를 이용한 크기 추정의 알고리즘을 개발하였고, 이에 기반하여 MATLAB R2018a로 구현한 매실 인식 및 크기 추정 프로그램을 개발하였다.

대상 데이터

2019년 야간 매실 현장 촬영은 3월∼6월 순천시에 소재한 매실농장에서 진행하였다
45m 이상에서 촬영하였다. 크기 추정에 대한 정확도를 검증하기 위해 지름 33.0mm의 빨간색 기준구 및 지름 37.0mm의 주황색 기준구를 획득할 영상에 포함하여 촬영하였다. 영상 획득에는 Intel RealSense Viewer를 사용하였다.

이론/모형

0mm의 주황색 기준구를 획득할 영상에 포함하여 촬영하였다. 영상 획득에는 Intel RealSense Viewer를 사용하였다. RealSense Depth Camera D415를 이용한 야간 촬영 현장을 [그림 4]에 나타내었다.

성능/효과

2017년에 실시되었던 주간의 자연광하에서 촬영한 이전 연구의 영상 처리 결과에 비해 매실 인식 오류율은 13.8% 감소하였으며, 크기 측정 오차율은 빨간색과 주황색 기준구 크기 추정 오차율의 평균으로 두고 계산한 결과로 6.1% 감소하여 성능이 개선된 것으로 판단되었다.
Kinect 2.0으로 촬영한 5개 이미지의 매실 인식률의 평균은 62.0%, 인식 오류율 평균은 0%이고, 기준구 크기 추정 오차율 평균은 2.9%이며, RealSense D415로 촬영한 5개 이미지의 매실 인식률의 평균은 61.7%, 인식오류율 평균은 1.0%, 기준구 크기 추정 오차율 평균은 4.3%로 나타났다. RealSense D415는 Kinect 2.
1% 감소하여 성능이 개선된 것으로 판단되었다. 그러나, Kinect 2.0 5개 영상의 매실인식률, 인식 오류율 및 크기 추정 오차율이 RealSense D415 5개 영상의결과 보다 모두 좋은 것으로 나타났다. 이는 Kinect 2.
이러한 결과는 크기 추정 방법의 차이도 있지만, 본연구에서는 매실의 크기를 보다 정확히 추정하기 위하여 설정값을 조정한 결과 인식률이 낮아진 원인도 일부 작용한 것으로 판단된다. 그러나, 본 연구의 목적은 수확기 매실나무를 대상으로 수확 전매 실의 크기를 추정하는 것이므로, 다소 낮은 인식율을 감수하는 설정조정을 통하여, 타 연구에 비해 매실 인식 오류율과 크기측정오차율을 상대적으로 낮출 수 있었다.
1mm 큰 것을 알 수 있다. 따라서 겹쳐진 매실의 크기 추정값이 전체 크기 평균의 오차를 높일 수 있으므로 이는 제외하는 것이 좋을 것으로 판단되었다.
0이 높다. 따라서, RGB 영상에서 매실을 인식한 후 Depth 영상에서 Depth 정보를 얻는 프로그램 구동으로 인해 RealSense D415의 인식 성능 및 크기 추정성능이 비교적 떨어진 것으로 판단된다.
실제 단독 매실 24개 중 19개는 올바르게 인식하였고, 나머지 5개를 기타로 인식하였다. 따라서, 매실 인식률은 47.7%로 나타났다. 또한, 기준구를 제외한 22개의 인식된 매실 중 매실이 아닌 물체는 1개로 매실 인식 오류율은 4.
겹쳐지지 않은 단독 매실 22개 중 20개는 단독 매실로, 나머지 2개는 기타로 분류되었다. 따라서, 매실 인식률은 58.5%로 나타났다. 한편, 24개의 인식된 매실 중 매실이 아닌 물체는 0개로 매실 인식오류율은 0%였다.
본 연구는 매실 크기를 통해 복숭아 씨살이좀벌 출현의 예측 및 적기 방제의 목적으로 매실 크기 추정 프로그램 개발을 실시하였다. 순천시에 소재한 매실 농장에서 2018년 6월에 Kinect 2.0으로 야간 촬영한 5개의 영상과 2019년 5~6월에 Realsense D415로 야간 촬영한 5개의 영상 총 10개의 영상을 적용해 획득한 3D 영상을 토대로 영상의 전처리, 크기 추정이 가능한 매실 추출, RGB 영상과 Depth 영상의 정합 및 Depth 정보를 이용한 크기 추정의 알고리즘을 갖는 매실 인식 및 크기 추정 프로그램을 MATLAB R2018a로 구현하여 영상 분석을 시행하였는데, 분석 결과 매실 인식률의 평균 61.9%, 매실인식 오류율 평균 0.5% 및 기준구 크기 추정 오차율 평균 3.6%를 도출하였다. 주간의 자연광 하에서 촬영된 2017년의 영상 처리 결과에 비해 매실 인식률은 1.
0 5개 영상의 매실인식률, 인식 오류율 및 크기 추정 오차율이 RealSense D415 5개 영상의결과 보다 모두 좋은 것으로 나타났다. 이는 Kinect 2.0 의 RGB 영상해상도가 더 높아, 프로그램 구동 특성상 RealSense D415의 인식 성능 및 크기 추정 성능이 비교적 떨어진 것으로 판단된다. 또한, 영상분석 프로그램이 색, 크기로 매실을 인식하여 추정하는 것으로, 매실 크기 자체가 작고, 빛에 따라 영상마다 매실 객체의 색이 다르므로 모든 영상에 사용할 수 없어 매실 객체 인식을 다른 알고리즘 및 언어를 통해 수행한 후 크기를 추정하는 방법으로 보완하면 이에 대한 문제점을 해결할 수 있을 것으로 판단된다.
이러한 결과는 크기 추정 방법의 차이도 있지만, 본연구에서는 매실의 크기를 보다 정확히 추정하기 위하여 설정값을 조정한 결과 인식률이 낮아진 원인도 일부 작용한 것으로 판단된다. 그러나, 본 연구의 목적은 수확기 매실나무를 대상으로 수확 전매 실의 크기를 추정하는 것이므로, 다소 낮은 인식율을 감수하는 설정조정을 통하여, 타 연구에 비해 매실 인식 오류율과 크기측정오차율을 상대적으로 낮출 수 있었다.
즉, 매실이 아닌 물체의 영역을 매실로 인식한 경우는 없었다. 인식된 매실 중 26개의 크기를 추정할 수 있었으며, 이 중 2개는 기준구, 매실 인식은 겹쳐진 매실 2 영역, 단독 매실 22개였다. 매실 및 기준구의 크기 추정값을 [표3] 에 나타내었다.
6%를 도출하였다. 주간의 자연광 하에서 촬영된 2017년의 영상 처리 결과에 비해 매실 인식률은 1.9% 증가하였다. 특히, 매실 인식오류율은 13.
9% 증가하였다. 특히, 매실 인식오류율은 13.8% 감소하였으며, 크기 추정 오차율은 6.1% 감소하여 성능이 개선된 것으로 판단되었다. 그러나, Kinect 2.

후속연구

0 의 RGB 영상해상도가 더 높아, 프로그램 구동 특성상 RealSense D415의 인식 성능 및 크기 추정 성능이 비교적 떨어진 것으로 판단된다. 또한, 영상분석 프로그램이 색, 크기로 매실을 인식하여 추정하는 것으로, 매실 크기 자체가 작고, 빛에 따라 영상마다 매실 객체의 색이 다르므로 모든 영상에 사용할 수 없어 매실 객체 인식을 다른 알고리즘 및 언어를 통해 수행한 후 크기를 추정하는 방법으로 보완하면 이에 대한 문제점을 해결할 수 있을 것으로 판단된다.

참고문헌 (18)

https://kosis.kr/statHtml/statHtml.do?orgId101&tblIdDT_1ET0014&vw_cdMT_ZTITLE&list_idK1_15&seqNo&lang_modeko&languagekor&obj_var_id&itm_id&conn_pathMT_ZTITLE, 2020.12.25.
전남농업 기술원 친환경연구소, "매실 해충 복숭아씨살이좀벌 친환경 방제기술 개발 추진," 보도자료, 2014.3.13.
이성민, 김세진, 양창열, 신종섭, 홍기정, "복숭아씨살이좀벌(Eurytoma maslovskii)의 기주, 발생양상 및 산란특성," 한국응용곤충학회지, 제53권, 제4호, pp.381-389, 2014.

원문보기 상세보기
A. Pourreza, W. S. Lee, E. Raveh, R. Ehsani, and E. Etxeberria, "Citrus Huanglongbing Disease Detection Using Narrow Band Imaging and Polarized Illumination," Transactions of the ASABE, Vol.57, No.1, pp.259-272, 2014.
D. Choi, Delvelopment of Intelligent Vision Sensing Systems to Support Precision Agriculture Practices in Florida Citrus Production, Ph.D. Theis, The University of Florida, 2017.
D. Choi, W. S. Lee, R. Ehsani, and F. M. Roka, "A Machine Vision System for Quantification of Citrus Fruit Dropped on the Ground Under the Canopy," Transactions of the ASABE, Vol.58, No.4, pp.933-946, 2015.

상세보기
D. Choi, Estimation of Count and Mass of Citrus Fruit Drop Using Machine Vision, Master's Thesis, The University of Florida, 2013.
D. Pagliari and L. Pinto, "Calibration of Kinect for Xbox One and comparison between the two generations of Microsoft sensors," Sensors, Vol.15, pp,27569-27589, 2015.

상세보기
M. Carfagni, R. Furferi, L. Governi, C. Santarelli, M. Servi, F. Uccheddu, and Y. Volpe, "Metrological and Critical Characterization of the Intel D415 Stereo Depth Camera," Sensors, Vol.19, No.3, p.489, 2019. doi:10.3390 /s19030489

상세보기
S. Giancola, M. Valenti, and R. Sala, A Survey on 3D Cameras: Metrological Comparison of Time-of-Flight, Structured-Light and Active Stereoscopy Technologies, SpringerBriefs in Computer Science, Springer: Berlin/Heidelberg, Germany, 2018.
"TOF 카메라의 원리," Available online: https://darkpgmr.tistory.com/m/75, accessed on 2019.12.3.
J. Treven and D. Cordova-Esparza, "Kin2. A Kinect 2 toolbox for MATLAB," Science of Computer Programming, Vol.130, pp.97-106, 2016.

상세보기
R. C. Gonzalez, R. E. Woods, and S. L. Eddins, MATLAB을 이용한 디지털 영상 처리, 유현중 역, 제2판, 서울 : McGraw Hill, 2012.
D. Choi, W. S. Lee, R. Ehsani, J. Schueller, and F. M. Roka, "Detection of dropped citrus fruit on the ground and evaluation of decay stages in varying illumination conditions," Computers and Electronics in Agriculture, Vol.127, pp.109-119, 2006.

상세보기
Intel RealSense D400 series product family datasheet, Available online: https://dev.intelrealsense.com/docs/ intel-realsense-d400-series-product-family-datasheet, accessed on 2019.12.26.
G. Jang, T. Akhter, S. J. Park, M. Ali, G. S. Kim, J. Cha, H. Seonwoo, Y. Bae, and H. J. Kim, "Development of a Real-time Measurement Program on the Size of Plum (Prunus mume) by 3D Images," Journal of the Korean Society for Agricultural Machinery, Vol.23, No.1, p.58, 2018.
F. Kurtulmus, W. S. Lee, and A. Vardar, "Green citrus detection using 'eigenfruit', color and circular Gabor texture features under natural outdoor conditions," Computers and Electronics in Agriculture, Vol.78, No.2, pp.140-149, 2011.

상세보기
C. Zhao, W. S. Lee, and D. He, "Immature green citrus detection based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove," Computers and Electronics in Agriculture, Vol.124, pp.243-253, 2016.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증