[논문]YOLOv5와 YOLOv7 모델을 이용한 해양침적쓰레기 객체탐지 비교평가

박강현; 윤유정; 강종구; 김근아; 최소연; 장선웅; 박수호; 공신우; 곽지우; 이양원

doi:10.7780/kjrs.2022.38.6.2.6

YOLOv5와 YOLOv7 모델을 이용한 해양침적쓰레기 객체탐지 비교평가
A Comparative Study on the Object Detection of Deposited Marine Debris (DMD) Using YOLOv5 and YOLOv7 Models 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.6 pt.2, 2022년, pp.1643 - 1652

박강현 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 윤유정 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 강종구 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 김근아 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 최소연 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 장선웅 ((주)아이렘기술개발) , 박수호 ((주)아이렘기술개발 기업부설연구소) , 공신우 ((주)부경해양기술) , 곽지우 ((주)올빅뎃) , 이양원 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공)

초록
AI-Helper

해양생태계 및 수산자원, 해상안전에 부정적인 영향을 미치는 해양침적쓰레기는 주로 음파탐지기, 인양틀 및 잠수부를 통해 탐지되고 있다. 시간과 비용을 고려하여 최근에는 수중영상과 인공지능을 결합한 방법이 시도되고 시작했다. 본 연구에서는 효율적이고 정확한 해양침적쓰레기 탐지를 위하여, 수중영상과 딥러닝 객체탐지 모델인 You Only Look Once Version 5 (YOLOv5)와 You Only Look Once Version 7 (YOLOv7)을 학습 및 비교평가를 수행하였다. 유리, 금속, 어망, 타이어, 나무, 플라스틱 등의 객체탐지에 있어, 두 모델 모두 0.85 이상의 Mean Average Precision (mAP@0.5)를 기록하였다. 향후 영상자료 용량이 충분해지면, 보다 객관적인 성능평가 및 모델 개선이 가능할 것으로 사료된다.

Abstract ▼ AI-Helper

Deposited Marine Debris(DMD) can negatively affect marine ecosystems, fishery resources, and maritime safety and is mainly detected by sonar sensors, lifting frames, and divers. Considering the limitation of cost and time, recent efforts are being made by integrating underwater images and artificial intelligence (AI). We conducted a comparative study of You Only Look Once Version 5 (YOLOv5) and You Only Look Once Version 7 (YOLOv7) models to detect DMD from underwater images for more accurate and efficient management of DMD. For the detection of the DMD objects such as glass, metal, fish traps, tires, wood, and plastic, the two models showed a performance of over 0.85 in terms of Mean Average Precision (mAP@0.5). A more objective evaluation and an improvement of the models are expected with the construction of an extensive image database.

주제어

표/그림 (12)

그림 Fig. 2. Sample images of the bounding boxes for (a) glass, (b) metal, (c) wood, (d) plastic, (e) fish trap, (f) tire, (g) rubber, and (h) etc.
그림 Fig. 1. Number of objects in the underwater images.
그림 Fig. 3. Comparison of YOLOv7 and other models in terms of MS COCO object detection (https://viso.ai/computer-vision/coco-dataset/).
그림 Fig. 4. Transformation of training images using HSV revision, zooming, reversing, and mosaic.
표 Table 1. Hyperparameters of YOLOv5s
표 Table 2. Hyperparameters of YOLOv7
표 Table 3. Confusion matrix of YOLOv5s
표 Table 4. Confusion matrix of YOLOv7
그림 Fig. 5. PR curve for (a) YOLOv5s and (b) YOLOv7.
표 Table 5. Test performance of YOLOv5s
표 Table 6. Test performance of YOLOv7
그림 Fig. 6. Images with bounding boxes: (a) ground truth, (b) YOLOv5s detection, and (c) YOLOv7 detection.

AI 본문요약
AI-Helper

제안 방법

본 연구에서는 효율적인 해양침적쓰레기 탐지 방법을 제시하기 위해 YOLOv5s와 YOLOv7 모델을 사용하여 해양침적쓰레기 수중영상을 학습하고 시험평가를 수행하였다. 선행 연구에서 사용된 YOLOv5s와 2022년 7월 출시된 SOTA 모델인 YOLOv7의 비교를 통해, YOLO 모델의 성능 및 해양침적쓰레기 탐지에 대한 활용 가능성을 확인하였다.

대상 데이터

구축된 영상은 3,480 × 2,160 픽셀의 Red-Green-Blue (RGB)이미지 1,318장이며, 영상 내 객체는 8개의 클래스로 구분되었다
본 연구에서 해양침적쓰레기 탐지를 위해 학습 및 평가에 사용한 자료는 AI 허브 고도화 사업을 통해 구축 중에 있는 수중영상이다. 부산, 경남 연안에서 수중드론과 고정형 수중 카메라를 사용하여 수집된 영상은 프레임 이미지 추출, 이미지 화질 개선(명암/색상 왜곡보정), 불량 이미지 선별 등의 정제 과정을 거쳤고, 바운딩박스(bounding box) 레이블은 오픈소스 어노테이션(annotation) 도구인 LabelMe를 사용하여 생성하였다.
딥러닝 모델의 하이퍼파라미터(hyperparameter)는 네트워크 구조와 구동 환경을 정의하는 조건으로서, 하이퍼파라미터 최적화는 모델의 성능과 학습 시간을 좌우하는 가장 중요한 요소이다(Géron, 2017). 본 연구에서는 YOLOv5s와 YOLOv7의 기본 하이퍼파라미터를 사용하였으며, 이는 Table 1, 2와 같다. 전량의 훈련 자료를 투입하여 가중치를 조정하는 것이 1회의 에퍽(epoch)에 해당하며, 매 에퍽마다 검증 스코어를 산출한다.
본 연구에서 해양침적쓰레기 탐지를 위해 학습 및 평가에 사용한 자료는 AI 허브 고도화 사업을 통해 구축 중에 있는 수중영상이다. 부산, 경남 연안에서 수중드론과 고정형 수중 카메라를 사용하여 수집된 영상은 프레임 이미지 추출, 이미지 화질 개선(명암/색상 왜곡보정), 불량 이미지 선별 등의 정제 과정을 거쳤고, 바운딩박스(bounding box) 레이블은 오픈소스 어노테이션(annotation) 도구인 LabelMe를 사용하여 생성하였다. 구축된 영상은 3,480 × 2,160 픽셀의 Red-Green-Blue (RGB)이미지 1,318장이며, 영상 내 객체는 8개의 클래스로 구분되었다.
구축된 영상은 3,480 × 2,160 픽셀의 Red-Green-Blue (RGB)이미지 1,318장이며, 영상 내 객체는 8개의 클래스로 구분되었다. 유리(glass) 104개, 금속(metal) 890개, 나무(wood) 186개, 플라스틱(plastic) 249개, 어망(fish trap) 206개, 타이어(rubber tire) 94개, 고무(rubber) 40개, 기타(etc.) 463개 등이 영상 내에 존재한다(Fig. 1, 2).

데이터처리

훈련과 검증 과정이 끝난 후 생성된 모델 중 검증 과정에서 가장 높은 mAP@0.5 값을 나타냈던 모델을 선택하여 시험평가를 수행하였으며, 성능 측도로는 정밀도, 재현율, mAP@0.5를 사용하였다. 객체 탐지에서는 예측 바운딩박스와 레이블 바운딩박스의 교집합 대 합집합 비율(Intersection over Union, IOU)이 일정 임계치 이상이면(예를 들어, 0.

이론/모형

혼동행렬로부터 정밀도와 재현율을 계산할 수 있는데, 정밀도는 맞다고 예측한 것 중에 정답이 어느 정도인지의 비율이고, 재현율은 정답 중에 맞게 예측된 것의 비율이다. 정밀도와 재현율은 트레이드오프 관계에 있기 때문에, 모델의 정확한 성능평가를 위해서 precision-recall(PR) 곡선의 아래쪽 넓이에 해당하는 Average Precision(AP)을 사용한다. 모든 클래스의 AP를 평균한 것이 mAP이고, mAP@0.

성능/효과

선행 연구에서 사용된 YOLOv5s와 2022년 7월 출시된 SOTA 모델인 YOLOv7의 비교를 통해, YOLO 모델의 성능 및 해양침적쓰레기 탐지에 대한 활용 가능성을 확인하였다. 1,055장의 영상으로 학습한 후 132장의 영상으로 암맹평가를 실시한 결과 YOLOv5s와 YOLOv7의 mAP@0.5는 각각 0.850와 0.862를 기록하여 두 모델 모두 양호한 탐지결과를 보여주었다. 그러나 수중영상이라는 한계 때문에 자료 수량이 충분하지 못했기 때문에, 향후 수중영상 데이터를 추가 확보하거나 객체 수가 적은 클래스에 대한 영상자료증대(image data augmentation) 기법을 적용하고, 모델의 하이퍼파라미터 최적화를 수행함으로써, 보다 더 향상된 탐지 성능을 기대할 수 있을 것으로 사료된다.
나무(Wood) 클래스는 객체와 배경이 비슷하게 생겼고, 플라스틱(Plastic) 클래스는 객체의 색이 투명해서 배경과 잘 구분이 되지 않아, 탐지 정확도가 상대적으로 다소 낮게 나타났다. 그러나, YOLOv7이 나무 클래스에서 0.824, 플라스틱 클래스에서 0.831의 mAP@0.5를 기록하여 YOLOv5s에 비해(나무 0.745, 플라스틱 0.700) 향상된 탐지성능을 보였다. 기타고무(Rubber) 클래스는 객체 수가 너무 적어 유의미한 평가가 이루어지지 못했고, 기타 클래스는 객체 수는 많지만 크기와 형태가 불규칙하기 때문에 탐지 성능을 일반화해서 말하기 힘들다.
본 연구에서는 효율적인 해양침적쓰레기 탐지 방법을 제시하기 위해 YOLOv5s와 YOLOv7 모델을 사용하여 해양침적쓰레기 수중영상을 학습하고 시험평가를 수행하였다. 선행 연구에서 사용된 YOLOv5s와 2022년 7월 출시된 SOTA 모델인 YOLOv7의 비교를 통해, YOLO 모델의 성능 및 해양침적쓰레기 탐지에 대한 활용 가능성을 확인하였다. 1,055장의 영상으로 학습한 후 132장의 영상으로 암맹평가를 실시한 결과 YOLOv5s와 YOLOv7의 mAP@0.

후속연구

YOLOv7의 경우 모든 객체가 잘 탐지되었으나, YOLOv5s는 어망과 금속이 하나씩 탐지되지 않았고, 하나의 알루미늄에 두 개의 바운딩박스가 그려져 중복으로 탐지되는 경우도 있었다. YOLO에서는 모든 클래스에 대해 1,500장 이상의 영상으로 학습할 것을 권장하기 때문에, 이 실험에서는 학습자료의 수량의 부족으로 엄밀한 평가가 이루어지지는 못했으나, 향후 데이터베이스 구축이 완료되면, 보다 객관적인 성능평가가 가능해지고 영상에 대한 신뢰도를 개선할 수 있을 것으로 사료된다.
862를 기록하여 두 모델 모두 양호한 탐지결과를 보여주었다. 그러나 수중영상이라는 한계 때문에 자료 수량이 충분하지 못했기 때문에, 향후 수중영상 데이터를 추가 확보하거나 객체 수가 적은 클래스에 대한 영상자료증대(image data augmentation) 기법을 적용하고, 모델의 하이퍼파라미터 최적화를 수행함으로써, 보다 더 향상된 탐지 성능을 기대할 수 있을 것으로 사료된다.

참고문헌 (21)

Bochkovskiy, A., C.Y. Wang, and H.Y.M. Liao, 2020. YOLOv4: Optimal speed and accuracy of object detection, arXiv preprint arXiv:2004.10934. https://doi.org/10.48550/arXiv.2004.10934
Chin, C.S., A.B.H. Neo, and S. See, 2022. Visual marine debris detection using YOLOv5s for autonomous underwater vehicle, Proc. of 2022 IEEE/ACIS 22nd International Conference on Computer and Information Science (ICIS), Zhuhai, China, Jun. 26-28, pp. 20-24. https://doi.org/10.1109/ICIS54925.2022.9882484
Du, S.S., Y. Wang, X. Zhai, S. Balakrishnan, R.R. Salakhutdinov, and A. Singh, 2018. How many samples are needed to estimate a convolutional neural network?, Advances in Neural Information Processing Systems, 31.
Geron, A., 2019. Hands-on Machine Learning with Scikit-Learn, Keras, and Tensorflow: Concepts, Tools, and Techniques to Build Intelligent Systems, O'Reilly Media, Newton, MA, USA.
Girshick, R., J. Donahue, T. Darrell, and J. Malik, 2014. Rich feature hierarchies for accurate object detection and semantic segmentation, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, Jun. 23-28, pp. 580-587.
Gorman, K. and S. Bedrick, 2019. We need to talk about standard splits, Proc. of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy, Jul. 28-Aug. 2, pp. 2786-2791. https://doi.org/10.18653/v1/P19-1267
Hong, J., M. Fulton, and J. Sattar, 2020. Trashcan: A semantically-segmented dataset towards visual detection of marine debris, arXiv preprint arXiv:2007.08097. https://doi.org/10.48550/arXiv.2007.08097
Jocher, G., 2020. YOLOv5, https://github.com/ultralytics/yolov5, Accessed on Nov. 30, 2022.
Kim, Y.J. and S.M. Jeong, 2016. Consideration on the standing stock of marine wastes, Journal of Korea Society of Waste Management, 33(6): 598-605 (in Korean with English abstract). https://doi.org/10.9786/kswm.2016.33.6.598

상세보기
Korea Maritime Safety Tribunal, 2022. Marine Accident Statistics Report, http://www.kmst.go.kr/web/board.do?menuIdx135, Accessed on Nov. 30, 2022.
Meta AI, 2022. COCO test-dev Benchmark, https://paperswithcode.com/sota/real-time-object-detectionon-coco, Accessed on Nov. 30, 2022.
Music, J., S. Kruzic, I. Stancic, and F. Alexandrou, 2020. Detecting underwater sea litter using deep neural networks: An initial study, Proc. of the 5th International Conference on Smart and Sustainable Technologies (SpliTech), Split and Bol, Croatia, Sep. 23-26, pp. 1-6. https://doi.org/10.23919/SpliTech49282.2020.9243709
Pan, S.J. and Q. Yang, 2009. A survey on transfer learning, IEEE Transactions on Knowledge and Data Engineering, 22(10): 1345-1359. https://doi.org/10.1109/TKDE.2009.191

상세보기
Politikos, D.V., E. Fakiris, A. Davvetas, I.A. Klampanos, and G. Papatheodorou, 2021. Automatic detection of seafloor marine litter using towed camera images and deep learning, Marine Pollution Bulletin, 164(2021): 111974. https://doi.org/10.1016/j.marpolbul.2021.111974

상세보기
Redmon, J., S. Divvala, R. Girshick, and A. Farhadi, 2016. You Only Look Once: Unified, real-time object detection, Proc. of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, Jun. 27-30, pp. 779-788.
Suhyup, 2022. Marine Pollution by Wastes, http://www.suhyupnews.co.kr/news/articleView.html?idxno29464, Accessed on Nov. 30, 2022.
Wang, C.Y., A. Bochkovskiy, and H.Y.M. Liao, 2022. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors, arXiv preprint arXiv:2207.02696. https://doi.org/10.48550/arXiv.2207.02696
Wang, T., S. Oh, H. Lee, J. Jang, and M. Kim, 2021. A study on the AI detection model of marine deposition waste using YOLOv5, Proc. of the 2021 Korea Institute of information and Communication Engineering Conference, Gunsan, Korea, Oct. 28-30, pp. 385-387 (in Korean with English abstract).
Xue, B., B. Huang, W. Wei, G. Chen, H. Li, N. Zhao, and H. Zhang, 2021. An efficient deep-sea debris detection method using deep neural networks, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 12348-12360. https://doi.org/10.1109/JSTARS.2021.3130238

상세보기
Yoon, E.H., H.J. Lee, and J.K. Lee, 2022. Comparison between DETR and Yolo-v3 for detection of marine garbage sediments, Proc. of the 2022 Korean Institute of Communication Sciences Conference, Gyeongju, Korea, Nov. 11-18, pp. 1468-1469.
Zhang, T., B. Luo, A. Sharda, and G. Wang, 2022. Dynamic label assignment for object detection by combining predicted IOUs and anchor IOUs, Journal of Imaging, 8(7): 193. https://doi.org/10.3390/jimaging8070193

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증