[논문]딥러닝 기반 조류 탐지 모형의 입력 이미지 자료 특성에 따른 성능 변화 분석

김준오; 백지원; 김종락; 박정수

doi:10.17663/jwr.2023.25.4.267

[국내논문] 딥러닝 기반 조류 탐지 모형의 입력 이미지 자료 특성에 따른 성능 변화 분석
Analysis of performance changes based on the characteristics of input image data in the deep learning-based algal detection model 원문보기

한국습지학회지 = Journal of wetlands research, v.25 no.4, 2023년, pp.267 - 273

김준오 (국립한밭대학교 건설환경공학과) , 백지원 (주식회사 유앤유) , 김종락 (주식회사 유앤유) , 박정수 (국립한밭대학교 건설환경공학과)

초록
AI-Helper

조류는 생태계를 구성하는 중요한 요소이다. 그러나 남조류의 과도한 성장은 하천환경에 다양한 악영향을 발생시키고 규조류는 상수원과 정수장 공정관리에 영향을 미친다. 지속적이고 효율적인 조류 관리를 위해 조류 모니터링이 중요하다. 본 연구에서는 You Only Look Once (YOLO)의 최신 알고리즘 YOLO v8을 사용하여 조류경보제 기준에 사용하는 유해 남조류 4종과 정수처리공정에 영향이 큰 규조류 1종 총 5종의 이미지를 분류하는 이미지 분류모형을 구축하였다. 기본모형의 mAP는 64.4로 분석되었다. 모형의 학습에 사용된 원본 이미지에 회전, 확대, 축소를 수행하여 이미지의 다양성을 높인 5가지 모형을 구축하여 입력자료로 사용된 이미지의 구성에 따른 모형 성능의 변화를 비교하였다. 분석결과 회전, 확대, 축소를 모두 적용한 모형이 mAP 86.5로 가장 좋은 성능을 보이는 것을 확인하였다. 이미지의 회전만을 적용한 모형, 회전과 확대를 적용한 모형, 이미지의 회전과 축소만를 적용한 모형의 mAP는 각각 85.3, 82.3, 83.8로 분석되었다.

Abstract ▼ AI-Helper

Algae are an important component of the ecosystem. However, the excessive growth of cyanobacteria has various harmful effects on river environments, and diatoms affect the management of water supply processes. Algal monitoring is essential for sustainable and efficient algae management. In this study, an object detection model was developed that detects and classifies images of four types of harmful cyanobacteria used for the criteria of the algae alert system, and one diatom, Synedra sp.. You Only Look Once(YOLO) v8, the latest version of the YOLO model, was used for the development of the model. The mean average precision (mAP) of the base model was analyzed as 64.4. Five models were created to increase the diversity of the input images used for model training by performing rotation, magnification, and reduction of original images. Changes in model performance were compared according to the composition of the input images. As a result of the analysis, the model that applied rotation, magnification, and reduction showed the best performance with mAP 86.5. The mAP of the model that only used image rotation, combined rotation and magnification, and combined image rotation and reduction were analyzed as 85.3, 82.3, and 83.8, respectively.

주제어

표/그림 (11)

그림 Fig. 1. Schematic of image preprocessing.
그림 Fig. 2. Schematic of image rotation.
그림 Fig. 3. Schematic of image magnification.
표 Table 1. Images used for model development
그림 Fig. 4. Schematic of image reduction.
표 Table 2. Images used for each model development
그림 Fig. 5. Improvement of Model Performance.
그림 Fig. 6. Examples of object detection improvement.
표 Table 3. Model performance based on image composition
그림 Fig. 7. Examples of improvements in object misclassification.
그림 Fig. 8. Examples of object double detection.

AI 본문요약
AI-Helper

문제 정의

현장에서 측정된 조류는 동일한 종의 경우에도 측정된 이미지의 크기, 방향 등이 다양하게 분포할 수 있다. 이미지의 특징을 학습하여 대상을 분류하는 딥러닝 기반 이미지 분류모형의 특성상 이미지의 다양한 특성의 학습을 통해 성능의 향상을 기대할 수 있으며, 본 연구에서는 실제 측정된 조류이미지의 크기 및 방향을 변경하여 입력자료의 다양성을 높여 모형의 성능에 미치는 영향을 분석하였다.

제안 방법

모형의 구축에는 OpenCV를 사용하여 640 * 640 해상도로 재구성한 120장의 기본 이미지 적용과 이미지 구성에 변화를 주어 이미지 구성이 객체 탐지모형 성능에 미치는 영향을 분석하였다. 이미지 구성은 회전, 확대, 축소를 적용했으며 회전 이미지는 120장의 기본 이미지 중종별 10장씩 총 50장을 선별한 후 90°, 180°, 270° 회전시킨 이미지 150장을 생성하여 객체 탐지모형의 학습 이미지로 추가하였다 (Fig.
본 연구에서는 YOLO의 2023년 8월 기준 최신 버전인 YOLO v8을 사용하여 조류경보제 기준에 사용하는 유해 남조류 4종과 정수처리공정에 영향이 큰 규조류의 대표 종 Synedra sp.를 탐지하는 모형을 구축하였다. 머신러닝 모형의 성능은 학습에 입력자료로 사용되는 이미지의 특성에 많은 영향을 받으며 학습에 사용되는 양질의 이미지 확보가 중요하다.
9로 분석되었다. 본 연구에서는 또한 이미지 구성에 회전, 확대, 축소의 이미지를 생성하여 이미지 다양성을 높인 5가지 모형을 구축하고 이미지의 구성이 모형에 미치는 영향을 분석하였다. 5가지 모형 중 회전, 확대, 축소를 모두 적용한 Model 5가 mAP 86.
이미지 다양성을 높인 5가지 모형구축을 통해 성능향상을 확인하였으며 세부적으로 모형 성능이 개선된 사항을 개별 이미지로 확인하였다. 첫 번째, 학습 이미지의 다양성을 증가시키면서 성능이 향상되어 Model 1에서 분류하지 못한 조류이미지를 분류한 경우를 확인하였다.
머신러닝 모형의 성능은 학습에 입력자료로 사용되는 이미지의 특성에 많은 영향을 받으며 학습에 사용되는 양질의 이미지 확보가 중요하다. 하지만 현미경을 이용하여 실측된 이미지로 입력자료를 구축하는 것은 한계가 있으며, 이러한 한계를 개선하기 위해 확대, 축소, 회전을 이용하여 이미지를 생성하고 학습 이미지의 다양성을 높여서 모형성능에 미치는 영향을 분석하였다.
회전, 확대, 축소 등을 통해 새롭게 추가된 이미지를 이용해서 구성의 다양성을 높여 총 5가지 모형을 구축하고 입력자료 구성에 따른 성능을 비교하였다. Model 1은 해상도 640 * 640으로 재구성한 이미지 120장만을 사용하여 구축한 기본모형이며 Model 2는 기본모형의 이미지 120장과 생성한 회전 이미지 150장을 추가하여 총 270장의 이미지를 사용하여 구축한 모형이다.

대상 데이터

회전, 확대, 축소 등을 통해 새롭게 추가된 이미지를 이용해서 구성의 다양성을 높여 총 5가지 모형을 구축하고 입력자료 구성에 따른 성능을 비교하였다. Model 1은 해상도 640 * 640으로 재구성한 이미지 120장만을 사용하여 구축한 기본모형이며 Model 2는 기본모형의 이미지 120장과 생성한 회전 이미지 150장을 추가하여 총 270장의 이미지를 사용하여 구축한 모형이다. Model 3과 Model 4는 Model 2의 이미지 구성에 조류 세포 확대 이미지 48장과 축소 이미지 50장을 각각 적용하여 총 318장과 320장으로 구축한 모형이다.
Model 1은 해상도 640 * 640으로 재구성한 이미지 120장만을 사용하여 구축한 기본모형이며 Model 2는 기본모형의 이미지 120장과 생성한 회전 이미지 150장을 추가하여 총 270장의 이미지를 사용하여 구축한 모형이다. Model 3과 Model 4는 Model 2의 이미지 구성에 조류 세포 확대 이미지 48장과 축소 이미지 50장을 각각 적용하여 총 318장과 320장으로 구축한 모형이다. Model 5는 기본 이미지와 회전, 확대, 축소를 모두 적용하여 총 368장의 이미지로 모형을 구축하였으며 모형구축을 위해 사용된 이미지를 Table 2에 정리하였다.
이미지 구성은 회전, 확대, 축소를 적용했으며 회전 이미지는 120장의 기본 이미지 중종별 10장씩 총 50장을 선별한 후 90°, 180°, 270° 회전시킨 이미지 150장을 생성하여 객체 탐지모형의 학습 이미지로 추가하였다 (Fig
이미지의 구성 중 확대의 이미지는 재구성한 기본 이미지 중 회전 이미지 생성 시 선별했던 종별 10장의 이미지에서 분석 대상이 되는 조류 세포 부분을 추출하였다. 이미지를 추출할 때 일정한 비율을 유지하기 위해 해상도 640 * 640인 원본 이미지에서 분석 대상이 되는 조류 세포 부분을 해상도 304 * 304의 이미지로 추출하고 OpenCV를 이용하여 이미지 해상도를 640 * 640으로 재구성하고 분석 대상인 조류이미지가 확대되도록 입력자료를 구축하였다. 이미지의 확대 시 원본 이미지의 전체가 포함되지 않는 이미지 2장을 제외한 48장의 이미지를 객체 탐지모형의 학습 이미지에 추가하였다 (Fig.
이미지의 구성 중 확대의 이미지는 재구성한 기본 이미지 중 회전 이미지 생성 시 선별했던 종별 10장의 이미지에서 분석 대상이 되는 조류 세포 부분을 추출하였다. 이미지를 추출할 때 일정한 비율을 유지하기 위해 해상도 640 * 640인 원본 이미지에서 분석 대상이 되는 조류 세포 부분을 해상도 304 * 304의 이미지로 추출하고 OpenCV를 이용하여 이미지 해상도를 640 * 640으로 재구성하고 분석 대상인 조류이미지가 확대되도록 입력자료를 구축하였다.
이미지를 추출할 때 일정한 비율을 유지하기 위해 해상도 640 * 640인 원본 이미지에서 분석 대상이 되는 조류 세포 부분을 해상도 304 * 304의 이미지로 추출하고 OpenCV를 이용하여 이미지 해상도를 640 * 640으로 재구성하고 분석 대상인 조류이미지가 확대되도록 입력자료를 구축하였다. 이미지의 확대 시 원본 이미지의 전체가 포함되지 않는 이미지 2장을 제외한 48장의 이미지를 객체 탐지모형의 학습 이미지에 추가하였다 (Fig. 3).
축소 이미지는 이미지 구성변화를 위해 선별하였던 종별 10장의 이미지로 진행하였다. 기본 이미지의 해상도 640 * 640에서 OpenCV를 사용하여 이미지 전체의 해상도를 304 * 304로 축소하고 모형구축 시 이미지 변형을 최소화하기 위해 640 * 640의 해상도로 Image Padding 처리하였으며 축소된 이미지 50장을 학습 이미지에 추가하였다 (Fig.

이론/모형

객체 탐지모형의 성능은 객체 탐지 정확도 평가 지표인 mean Average Precision (mAP)을 사용하여 평가하였다. mAP는 정밀도 (Precision)와 재현율 (Recall)을 이용하여 다음의 공식을 이용하여 산정된다 (Eq.
본 연구에서는 객체 분류 알고리즘인 YOLO v8을 이용하여 기본 이미지를 사용한 모형을 구축하고 성능을 분석하였다. 기본 이미지를 사용한 Model 1은 mAP 64.

성능/효과

본 연구에서는 또한 이미지 구성에 회전, 확대, 축소의 이미지를 생성하여 이미지 다양성을 높인 5가지 모형을 구축하고 이미지의 구성이 모형에 미치는 영향을 분석하였다. 5가지 모형 중 회전, 확대, 축소를 모두 적용한 Model 5가 mAP 86.5로 가장 좋은 성능을 보였으며 Model 1보다 약 34% 성능이 개선되는 것을 확인할 수 있었다. 회전을 적용한 Model 2와 회전 확대를 적용한 Model 3 그리고 회전축소를 적용한 Model 4의 경우 mAP는 각각 85.
이미지 구성을 변경하여 다양성을 높인 5가지 모형 중 이미지 회전, 확대, 축소를 모두 적용한 Model 5가 가장 좋은 성능을 보였다. mAP는 86.5로 Model 1에 비해 평균성능이 약 34% 향상되었다. 이미지 회전과 확대와 축소 한 가지만 적용한 Model 3과 Model 4의 경우 Model 1보다는 좋은 성능을 보였으며 회전만을 적용한 Model 2와 비교했을 때 오히려 다소 성능이 낮아지는 경향을 보였으나 그 차이는 크지 않았다(Table.
와 Synedra sp. 각각 71.0, 91.3, 91.9, 77.8 그리고 94.4로 Model 1에 비해 조류 5종 모두 분류 성능이 개선되었다.
기본 이미지를 사용하여 구축한 조류 분류모형에서 회전, 축소, 확대 등 이미지 구성의 추가를 통해 성능이 개선되는 것을 확인했다. 기본모형인 Model 1에 비해 회전을 적용한 Model 2, 회전 확대를 적용한 Model 3, 회전축소를 적용한 Model 4 그리고 회전, 확대, 축소를 모두 적용한 Model 5의 평균성능이 각각 32.
기본 이미지를 사용하여 구축한 조류 분류모형에서 회전, 축소, 확대 등 이미지 구성의 추가를 통해 성능이 개선되는 것을 확인했다. 기본모형인 Model 1에 비해 회전을 적용한 Model 2, 회전 확대를 적용한 Model 3, 회전축소를 적용한 Model 4 그리고 회전, 확대, 축소를 모두 적용한 Model 5의 평균성능이 각각 32.45%, 27.80%, 30.12% 그리고 34.32% 향상되었다 (Fig. 5).
두 번째, 조류이미지 분류 시 다른 종으로 분류하는 오 분류가 개선된 경우를 확인하였다. Fig.
8로 Model 1과 비교했을 때 상대적으로 성능이 개선되었고 Model 2에 비해서는 다소 낮은 성능을 보였으나 그 차이는 크지 않았다. 세부적인 개별 이미지 분석을 통해 기존에 분류하지 못했던 조류이미지를 분류하거나, 모양이 비슷한 조류이미지를 다른 종으로 분류하는 오 분류가 감소 되는 등의 개선이 이루어져 모형의 성능이 향상하였음을 확인하였다.
이미지 구성을 변경하여 다양성을 높인 5가지 모형 중 이미지 회전, 확대, 축소를 모두 적용한 Model 5가 가장 좋은 성능을 보였다. mAP는 86.
이미지 다양성을 높인 5가지 모형구축을 통해 성능향상을 확인하였으며 세부적으로 모형 성능이 개선된 사항을 개별 이미지로 확인하였다. 첫 번째, 학습 이미지의 다양성을 증가시키면서 성능이 향상되어 Model 1에서 분류하지 못한 조류이미지를 분류한 경우를 확인하였다. Fig.

후속연구

딥러닝 모형의 성능은 입력자료의 특성을 반영하게 되며, 이미지 분류모형의 경우 분석 대상 이미지의 특성을 반영할 수 있는 양질의 이미지 확보가 중요하다. 본 연구에서는 조류이미지의 크기 및 방향의 변형을 통한 모형 성능의 향상을 확인하였으며, 장기적으로 다양한 이미지의 지속적인 확보 등 모형 성능향상을 위한 지속적인 연구가 필요할 것으로 판단된다.
조류 모니터링을 위해서는 많은 시간과 인력이 소요되며 딥러닝 기반 이미지 분류 기술의 적용을 통해 장기적으로 조류 분석에 소요되는 노력을 줄이고 자동 모니터링 시스템 구축 등을 통해 조류 모니터링의 효율을 높일 수 있을 것으로 판단된다. 딥러닝 모형의 성능은 입력자료의 특성을 반영하게 되며, 이미지 분류모형의 경우 분석 대상 이미지의 특성을 반영할 수 있는 양질의 이미지 확보가 중요하다.

참고문헌 (22)

Chandana, R. K., and Ramachandra, A. C. (2022). Real？time object detection system with YOLO and CNN？models: A review. arXiv preprint arXiv:2208.00773.？
Chapman, R. L. (2013). Algae: the world's most？important "plants"-an introduction. Mitigation and？Adaptation Strategies for Global Change, 18, 5-12.？

상세보기
Diwan, T., Anirudh, G., and Tembhurne, J. V. (2023).？Object detection using YOLO: Challenges,？architectural successors, datasets and applications.？multimedia Tools and Applications, 82(6),？9243-9275.？

상세보기
Girshick, R., Donahue, J., Darrell, T., and Malik, J.？(2014). Rich feature hierarchies for accurate object？detection and semantic segmentation. In Proceedings？of the IEEE conference on computer vision and？pattern recognition (pp. 580-587).？
Grattan, L. M., Holobaugh, S., and Morris Jr, J. G.？(2016). Harmful algal blooms and public health.？Harmful algae, 57, 2-8.？
Griffith, A. W., and Gobler, C. J. (2020). Harmful algal？blooms: A climate change co-stressor in marine and？freshwater ecosystems. Harmful Algae, 91, 101590.？

상세보기
Hussain, M. (2023). YOLO-v1 to YOLO-v8, the Rise of YOLO and Its Complementary Nature toward？Digital Manufacturing and Industrial Defect？Detection. Machines, 11(7), 677.？

상세보기
Jiang, P., Ergu, D., Liu, F., Cai, Y., and Ma, B. (2022).？A Review of Yolo algorithm developments. Procedia？Computer Science, 199, 1066-1073.？
Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2012).？Imagenet classification with deep convolutional？neural networks. Advances in neural information？processing systems, 25.？
Medina, E., Petraglia, M. R., Gomes, J. G. R., and？Petraglia, A. (2017). Comparison of CNN and MLP？classifiers for algae detection in underwater？pipelines. In 2017 seventh international conference？on image processing theory, tools and applications？(IPTA) (pp. 1-6). IEEE.？
OpenCV. (2010). https://opencv.org/ accessed 5 June？2023？
Paerl, H. W., and Huisman, J. (2008). Blooms like it？hot. Science, 320(5872), 57-58.？
Park, J., Baek, J., Kim, J., You, K., and Kim, K. (2022).？Deep Learning-Based Algal Detection Model？Development Considering Field Application. Water,？14(8), 1275.？
Qian, P., Zhao, Z., Liu, H., Wang, Y., Peng, Y., Hu, S.,？... and Zeng, Z. (2020). Multi-target deep learning？for algal detection and classification. In 2020 42nd？annual international conference of the IEEE？engineering in medicine & biology society (EMBC)？(pp. 1954-1957). IEEE.？
Ren, S., He, K., Girshick, R., and Sun, J. (2015). Faster？r-cnn: Towards real-time object detection with？region proposal networks. Advances in neural？information processing systems, 28.？
Redmon, J., Divvala, S., Girshick, R., and Farhadi, A.？(2016). You only look once: Unified, real-time？object detection. In Proceedings of the IEEE？conference on computer vision and pattern？recognition (pp. 779-788).？
Redmon, J., and Farhadi, A. (2017). YOLO9000: better,？faster, stronger. In Proceedings of the IEEE？conference on computer vision and pattern？recognition (pp. 7263-7271).？
Redmon, J., and Farhadi, A. (2018). Yolov3: An？incremental improvement. arXiv preprint？arXiv:1804.02767.？
Suh, S., Park, Y., Ko, K., Yang, S., Ahn, J., Shin, J. K.,？and Kim, S. (2021). Weighted mask R-CNN for？improving adjacent boundary segmentation. J. of？Sensors, 2021, 1-8.？
Sultana, F., Sufian, A., and Dutta, P. (2020). A review？of object detection models based on convolutional？neural network. Intelligent computing: image？processing based applications, 1-16.？
YOLO by Ultralytics (2023). https://doi.org/10.1007/978-981-15-4288-6_1.？
Zhiqiang, W., and Jun, L. (2017). A review of object？detection based on convolutional neural network. In？2017 36th Chinese control conference (CCC) (pp.？11104-11109). IEEE.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증