[논문]수중영상을 이용한 저서성 해양무척추동물의 실시간 객체 탐지: YOLO 모델과 Transformer 모델의 비교평가

박강현; 박수호; 장선웅; 공신우; 곽지우; 이양원

doi:10.7780/kjrs.2023.39.5.3.3

수중영상을 이용한 저서성 해양무척추동물의 실시간 객체 탐지: YOLO 모델과 Transformer 모델의 비교평가
Realtime Detection of Benthic Marine Invertebrates from Underwater Images: A Comparison betweenYOLO and Transformer Models 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.39 no.5/1, 2023년, pp.909 - 919

박강현 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 박수호 ((주)아이렘기술개발 기업부설연구소) , 장선웅 ((주)아이렘기술개발) , 공신우 ((주)부경해양기술) , 곽지우 ((주)올빅뎃) , 이양원 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공)

Abstract ▼ AI-Helper

Benthic marine invertebrates, the invertebrates living on the bottom of the ocean, are an essential component of the marine ecosystem, but excessive reproduction of invertebrate grazers or pirate creatures can cause damage to the coastal fishery ecosystem. In this study, we compared and evaluated You Only Look Once Version 7 (YOLOv7), the most widely used deep learning model for real-time object detection, and detection tansformer (DETR), a transformer-based model, using underwater images for benthic marine invertebratesin the coasts of South Korea. YOLOv7 showed a mean average precision at 0.5 (mAP@0.5) of 0.899, and DETR showed an mAP@0.5 of 0.862, which implies that YOLOv7 is more appropriate for object detection of various sizes. This is because YOLOv7 generates the bounding boxes at multiple scales that can help detect small objects. Both models had a processing speed of more than 30 frames persecond (FPS),so it is expected that real-time object detection from the images provided by divers and underwater drones will be possible. The proposed method can be used to prevent and restore damage to coastal fisheries ecosystems, such as rescuing invertebrate grazers and creating sea forests to prevent ocean desertification.

주제어

표/그림 (10)

표 Table 1. Data collection sites and the number of objects
표 Table 2. Number of objects for each class in training, validation, and test datasets
그림 Fig. 1. Architecture of YOLOv7 (Wang et al., 2022).
그림 Fig. 2. Architecture of DETR (Carion et al., 2020).
그림 Fig. 3. Ground truth and detection results of YOLOv7 and DETR. (a) Heliocidaris crassispina, Hemicentrotus pulcherrimus, and Conch. (b) Asterias amurensis, Sea hare, and Conch. (c) Asterias amurensis, Asterina pectinifera, and Conch. (d) Turbo cornutus and Conch.
표 Table 3. AP values of YOLOv7 and DETR for each class
그림 Fig. 3. Continued.
그림 Fig. 4. Detection results of Conch: (a) ground truth, (b) YOLOv7, and (c) DETR.
그림 Fig. 5. Detection results of Heliocidaris and Hemicentrotus pulcherrimus: (a) ground truth, (b) YOLOv7, and (c) DETR.
그림 Fig. 6. Example of mislabeling and its detection results: (a) ground truth, (b) YOLOv7, and (c) DETR.

AI 본문요약
AI-Helper

데이터처리

0005로 설정하였다. 또한, Microsoft Common Objects in Context (COCO) 데이터셋으로 사전 학습된 가중치 체계를 사용하여 전이학습을 수행하였다.
학습된 YOLOv7과 DETR 모델은 2,297장의 평가 데이터셋을 사용하여 예측을 수행한 후, 예측한 바운딩 박스와 정답(ground truth) 바운딩 박스를 비교하여 클래스별 AP@0.33과 mAP@0.33, 그리고 AP@0.5와 mAP@0.5를 구하였다. YOLOv7과 DETR 모델의 클래스별 정확도를 비교해 보면, 별불가사리를 제외한 모든 클래스에서 YOLOv7 모델이 DETR 모델의 성능을 상회하였다.

이론/모형

YOLOv7과 DETR 모델의 성능평가에는 객체탐지 분야의 표준 지표인 mean average precision (mAP)을 사용하였는데, 이 측도는 정밀도(precision)와 재현율(recall) 사이의 트레이드오프(trade-off)를 고려한 것이다. 정밀도는 모델에서 클래스별로 참(true)으로 추론한 결과가 실제로 참인 비율로서, 정밀도가 좋지 않다면 과대탐지(overestimation) 경향이 있는 것이다.
본 연구에서 YOLOv7 모델 학습 시에는 stochastic gradient descent (SGD) 옵티마이저(optimizer)를 사용하였다. 이때 하이퍼파라미터(hyperparameter)는 초기 학습률(learning rate) 0.
본 연구에서는 우리나라 연안에서 수집한 수중영상을 기반으로 저서성 해양무척추동물을 실시간으로 탐지하는 CNN 계열 모델 중 대표적인 YOLOv7과 트랜스포머 계열의 모델인 DETR을 사용하였다.

성능/효과

636으로 두 모델 간 성능 차이가 크게 나타났다. Intel i9-12900K와NVIDIA RTX 3090Ti 환경에서 모델의 추론속도는 배치 크기(batch size) 1을 기준으로 YOLOv7이 145.42 frames per second (FPS), DETR이 31.25 FPS를 기록하여 YOLOv7 모델이 DETR 모델보다 약 5배 빠른 처리 속도를 보여 주었다.
YOLOv7과 DETR 모델의 클래스별 정확도를 비교해 보면, 별불가사리를 제외한 모든 클래스에서 YOLOv7 모델이 DETR 모델의 성능을 상회하였다. YOLOv7 모델은 mAP@0.33=0.913, mAP@0.5=0.899를 기록하였고, DETR 모델은 mAP@0.33=0.886, mAP@0.5=0.862로 나타나 YOLOv7이 근소하게 높은 정확도로 저서성 해양무척추동물을 탐지할 수 있었다. AP@0.
5를 구하였다. YOLOv7과 DETR 모델의 클래스별 정확도를 비교해 보면, 별불가사리를 제외한 모든 클래스에서 YOLOv7 모델이 DETR 모델의 성능을 상회하였다. YOLOv7 모델은 mAP@0.
객체탐지 신뢰도(confidence score)에 있어서는 DETR 모델이 YOLOv7에 비해 높은 수치를 산출했다. 신뢰도는 객체가 바운딩 박스 내 존재할 확률을 나타내는 값으로, 바운딩 박스 상단 클래스 이름 옆에 표기되어 있다(Figs.

후속연구

6에서 영상 하단에 존재하는 보라성게가 레이블에는 존재하지 않지만, YOLOv7과 DETR 모델이 잘 탐지한 것을 볼 수 있다. 이러한 레이블 오류를 제거한다면 모델의 일반화 성능을 향상하고, 더욱 정확한 모델 평가가 가능해질 것이다.

참고문헌 (22)

Athira, P., Haridas, T. M., and Supriya, M. H., 2021.？Underwater object detection model based on？YOLOv3 architecture using deep neural networks.？In Proceedings of the 2021 7th International？Conference on Advanced Computing and Communication Systems (ICACCS), Coimbatore, India,？Mar. 19-20, pp. 40-45. https://doi.org/10.1109/ICACCS51430.2021.9441905
Bak, S., Kim, H. M., Kim, T. Y., Lim, J. Y., and Jang,？S. W., 2023. Evaluation of robustness of deep？learning-based object detection models for？invertebrate grazers detection and monitoring.？Korean Journal of Remote Sensing, 39(3), 297-309. https://doi.org/10.7780/kjrs.2023.39.3.4

원문보기 상세보기
Bak, S., Kim, H. M., Lee, H., Han, J. I., Kim, T. Y.,？Lim, J. Y., and Jang, S. W., 2022. A study on？biomass estimation technique of invertebrate？grazers using multi-object tracking model based？on deep learning. Korean Journal of Remote？Sensing, 38(3), 237-250. https://doi.org/10.7780/kjrs.2022.38.3.2

원문보기 상세보기
Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov,？A., and Zagoruyko, S., 2020. End-to-end object？detection with transformers. arXiv preprint arXiv: 2005.12872v3. https://doi.org/10.48550/arXiv.2005.12872
Chen, X., Yuan, M., Yang, Q., Yao, H., Wang, H., 2023. Underwater-YCC: Underwater target detection？optimization algorithm based on YOLOv7. Journal？of Marine Science and Engineering, 11(5), 995.？https://doi.org/10.3390/jmse11050995

상세보기
Dakhil, R. A., and Khayeat, A. R. H., 2022. Review on？deep learning technique for underwater object？detection. arXiv preprint arXiv:2209.10151. https://doi.org/10.48550/arXiv.2209.10151
Han, F., Yao, J., Zhu, H., and Wang, C., 2020. Marine？organism detection and classification from？underwater vision based on the deep CNN？method. Mathematical Problems in Engineering,？2020, Article ID 3937580. https://doi.org/10.1155/2020/3937580

상세보기
Jesus, A., Zito, C., Tortorici, C., Roura, E., and De？Masi, G., 2022. Underwater object classification？and detection: First results and open challenges.？In Proceedings of the OCEANS 2022 - Chennai,？Chennai, India, Feb. 21-24, pp. 1-6. https://doi.org/10.1109/OCEANSChennai45887.2022.9775417
Korea Fisheries Resources Agency, 2020. 2019 Sea？forest creation and management project final？report (FIRA-IR-20-002). Ministry of Oceans？and Fisheries.
Liu, J., Liu, S., Xu, S., and Zhou, C., 2022. Two-stage？underwater object detection network using Swin？Transformer. IEEE Access, 10, 117235-117247.？https://doi.org/10.1109/ACCESS.2022.3219592

상세보기
Liu, K., Sun, Q., Sun, D., Peng, L., Yang, M., and？Wang, N., 2023. Underwater target detection？based on improved YOLOv7. Journal of Marine？Science and Engineering, 11(3), 677. https://doi.org/10.3390/jmse11030677

상세보기
Loshchilov, I., and Hutter, F., 2017. Decoupled weight？decay regularization. arXiv preprint arXiv:1711.05101. https://doi.org/10.48550/arXiv.1711.05101
Lv, W., Xu, S., Zhao, Y., Wang, G., Wei, J., Cui, C. et？al., 2023. DETRs beat YOLOs on real-time object？detection. arXiv preprint arXiv: 2304.08069,？https://doi.org/10.48550/arXiv.2304.08069
National Information Society Agency, 2023. Establishment？of marine biological data for coastal fishery？ecosystem environmental damage. Available？online: https://www.aihub.or.kr/aihubdata/data/view.do?currMenu115&topMenu100&aihubDataSedata&dataSetSn71328 (accessed on July？8, 2023).
National Institute of Fisheries Science, 2010. Study on？the status of whitening occurrence in the water？of Korea (TR-2010-RE-013). Fisheries Resources？Enhancement Center. https://www.nifs.go.kr/rsh/index.jsp
Pedersen, M., Bruslund Haurum, J., Gade, R., and？Moeslund, T. B., 2019. Detection of marine？animals in a new underwater dataset with varying？visibility. In Proceedings of the IEEE/CVF？Conference on Computer Vision and Pattern？Recognition Workshops, Long Beach, CA, USA,？June 16-20, pp. 18-26.
Rosli, M. S. A. B., Isa, I. S., Maruzuki, M. I. F., Sulaiman,？S. N., and Ahmad, I., 2021. Underwater animal？detection using YOLOV4. In Proceedings of the？2021 11th IEEE International Conference on？Control System, Computing and Engineering？(ICCSCE), Penang, Malaysia, Aug. 27-28, pp.？158-163. https://doi.org/10.1109/ICCSCE52189.2021.9530877
Wang, C. Y., Bochkovskiy, A., and Liao, H. Y. M., 2022. YOLOv7: Trainable bag-of-freebies sets？new state-of-the-art for real-time object detectors.？arXiv preprint arXiv:2207.02696. https://doi.org/10.48550/arXiv.2207.02696
Wang, H., and Xiao, N., 2023. Underwater object detection？method based on improved faster RCNN. Applied？Sciences, 13(4), 2746. https://doi.org/10.3390/app13042746

상세보기
Yoo, J. W., Kim, H. J., Lee, H. J., Lee, C. G., Kim, C.？S., Hong, J. S. et al., 2007. Interaction between？invertebrate grazers and seaweeds in the east？coast of Korea. Journal of the Korean Society of？Oceanography, 12(3), 125-132.
Zhong, J., Li, M., Qin, J., Cui, Y., Yang, K., and Zhang,？H., 2022. Real-time marine animal detection？using YOLO-based deep learning networks in the？coral reef ecosystem. The International Archives？of the Photogrammetry, Remote Sensing and？Spatial Information Sciences, 46, 301-306. https://doi.org/10.5194/isprs-archives-XLVI-3-W1-2022-301-2022

상세보기
Zhu, X., Su, W., Lu, L., Li, B., Wang, X., and Dai, J., 2020. Deformable DETR: Deformable transformers？for end-to-end object detection. arXiv preprint？arXiv:2010.04159. https://doi.org/10.48550/arXiv.2010.04159

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증