딥러닝 기반 육상기인 부유쓰레기 탐지 모델 성능 비교 및 현장 적용성 평가 A Performance Comparison of Land-Based Floating Debris Detection Based on Deep Learning and Its Field Applications원문보기
집중강우 시 육상으로부터 다량으로 유입된 부유쓰레기는 사회, 경제적 및 환경적으로 부정적인 영향을 주고 있으나 부유쓰레기 집적 구간 및 발생량에 대한 모니터링 체계는 미흡한 실정이다. 최근 인공지능 기술의 발달로 드론 영상과 딥러닝 기반 객체탐지 모델을 활용하여 수계 내 광범위한 지역을 신속하고 효율적인 연구의 필요성이 요구되고 있다. 본 연구에서는 육상기인 부유쓰레기의 효율적인 탐지 기법을 제시하기 위해 드론 영상뿐만 아니라 다양한 이미지를 확보하여 You Only Look Once (YOLO)v5s와 최근에 개발된 YOLO7 및 YOLOv8s로 학습하여 모델별로 성능을 비교하였다. 각 모델의 정성적인 성능 평가 결과, 세 모델 모두 일반적인 상황에서 탐지성능이 우수한 것으로 나타났으나, 이미지의 노출이 심하거나 수면의 태양광 반사가 심한 경우 YOLOv8s 모델에서 대상물을 누락 또는 중복 탐지하는 사례가 나타났다. 정량적인 성능 평가 결과, YOLOv7의 mean Average Precision (intersection over union, IoU 0.5)이 0.940으로 YOLOv5s (0.922)와 YOLOvs8(0.922)보다 좋은 성능을 나타냈다. 데이터 품질에 따른 모델의 성능 비교하기 위해 색상 및 고주파 성분에 왜곡을 발생시킨 결과, YOLOv8s 모델의 성능 저하가 가장 뚜렷하게 나타났으며, YOLOv7 모델이 가장 낮은 성능 저하 폭을 보였다. 이를 통해 수면 위에 존재하는 부유쓰레기 탐지에 있어서 YOLOv7 모델이 YOLOv5s와 YOLOv8s 모델에 비해 강인한 모델임을 확인하였다. 본 연구에서 제안하는 딥러닝 기반 부유쓰레기 탐지 기법은 부유쓰레기의 성상별 분포 현황을 공간적으로 파악할 수 있어 향후 정화작업 계획수립에 기여할 수 있을 것으로 판단된다.
집중강우 시 육상으로부터 다량으로 유입된 부유쓰레기는 사회, 경제적 및 환경적으로 부정적인 영향을 주고 있으나 부유쓰레기 집적 구간 및 발생량에 대한 모니터링 체계는 미흡한 실정이다. 최근 인공지능 기술의 발달로 드론 영상과 딥러닝 기반 객체탐지 모델을 활용하여 수계 내 광범위한 지역을 신속하고 효율적인 연구의 필요성이 요구되고 있다. 본 연구에서는 육상기인 부유쓰레기의 효율적인 탐지 기법을 제시하기 위해 드론 영상뿐만 아니라 다양한 이미지를 확보하여 You Only Look Once (YOLO)v5s와 최근에 개발된 YOLO7 및 YOLOv8s로 학습하여 모델별로 성능을 비교하였다. 각 모델의 정성적인 성능 평가 결과, 세 모델 모두 일반적인 상황에서 탐지성능이 우수한 것으로 나타났으나, 이미지의 노출이 심하거나 수면의 태양광 반사가 심한 경우 YOLOv8s 모델에서 대상물을 누락 또는 중복 탐지하는 사례가 나타났다. 정량적인 성능 평가 결과, YOLOv7의 mean Average Precision (intersection over union, IoU 0.5)이 0.940으로 YOLOv5s (0.922)와 YOLOvs8(0.922)보다 좋은 성능을 나타냈다. 데이터 품질에 따른 모델의 성능 비교하기 위해 색상 및 고주파 성분에 왜곡을 발생시킨 결과, YOLOv8s 모델의 성능 저하가 가장 뚜렷하게 나타났으며, YOLOv7 모델이 가장 낮은 성능 저하 폭을 보였다. 이를 통해 수면 위에 존재하는 부유쓰레기 탐지에 있어서 YOLOv7 모델이 YOLOv5s와 YOLOv8s 모델에 비해 강인한 모델임을 확인하였다. 본 연구에서 제안하는 딥러닝 기반 부유쓰레기 탐지 기법은 부유쓰레기의 성상별 분포 현황을 공간적으로 파악할 수 있어 향후 정화작업 계획수립에 기여할 수 있을 것으로 판단된다.
A large amount of floating debris from land-based sources during heavy rainfall has negative social, economic, and environmental impacts, but there is a lack of monitoring systems for floating debris accumulation areas and amounts. With the recent development of artificial intelligence technology, t...
A large amount of floating debris from land-based sources during heavy rainfall has negative social, economic, and environmental impacts, but there is a lack of monitoring systems for floating debris accumulation areas and amounts. With the recent development of artificial intelligence technology, there is a need to quickly and efficiently study large areas of water systems using drone imagery and deep learning-based object detection models. In this study, we acquired various images as well as drone images and trained with You Only Look Once (YOLO)v5s and the recently developed YOLO7 and YOLOv8s to compare the performance of each model to propose an efficient detection technique for land-based floating debris. The qualitative performance evaluation of each model showed that all three models are good at detecting floating debris under normal circumstances, but the YOLOv8s model missed or duplicated objects when the image was overexposed or the water surface was highly reflective of sunlight. The quantitative performance evaluation showed that YOLOv7 had the best performance with a mean Average Precision (intersection over union, IoU 0.5) of 0.940, which was better than YOLOv5s (0.922) and YOLOv8s (0.922). As a result of generating distortion in the color and high-frequency components to compare the performance of models according to data quality, the performance degradation of the YOLOv8s model was the most obvious, and the YOLOv7 model showed the lowest performance degradation. This study confirms that the YOLOv7 model is more robust than the YOLOv5s and YOLOv8s models in detecting land-based floating debris. The deep learning-based floating debris detection technique proposed in this study can identify the spatial distribution of floating debris by category, which can contribute to the planning of future cleanup work.
A large amount of floating debris from land-based sources during heavy rainfall has negative social, economic, and environmental impacts, but there is a lack of monitoring systems for floating debris accumulation areas and amounts. With the recent development of artificial intelligence technology, there is a need to quickly and efficiently study large areas of water systems using drone imagery and deep learning-based object detection models. In this study, we acquired various images as well as drone images and trained with You Only Look Once (YOLO)v5s and the recently developed YOLO7 and YOLOv8s to compare the performance of each model to propose an efficient detection technique for land-based floating debris. The qualitative performance evaluation of each model showed that all three models are good at detecting floating debris under normal circumstances, but the YOLOv8s model missed or duplicated objects when the image was overexposed or the water surface was highly reflective of sunlight. The quantitative performance evaluation showed that YOLOv7 had the best performance with a mean Average Precision (intersection over union, IoU 0.5) of 0.940, which was better than YOLOv5s (0.922) and YOLOv8s (0.922). As a result of generating distortion in the color and high-frequency components to compare the performance of models according to data quality, the performance degradation of the YOLOv8s model was the most obvious, and the YOLOv7 model showed the lowest performance degradation. This study confirms that the YOLOv7 model is more robust than the YOLOv5s and YOLOv8s models in detecting land-based floating debris. The deep learning-based floating debris detection technique proposed in this study can identify the spatial distribution of floating debris by category, which can contribute to the planning of future cleanup work.
본 연구에서는 육상기인 부유쓰레기의 효율적인 탐지 기법을 제시하기 위해 최신 인공지능 객체 탐지 모델 기법을 적용하고 그 성능을 비교하여 최적의 객체 탐지 모델을 선정하고자 하였다. 딥러닝 모델의 학습 데이터 셋은 낙동강 중, 하류 및 인근 해역에서 수집한 이미지를 활용하였으며, 구축된 데이터셋을 통해 YOLOv5s, YOLOv7, YOLOv8s 모델을 학습시키고 성능 평가 결과 다음과 같은 결론을 얻었다.
제안 방법
데이터 가공 단계는 데이터 정제 과정을 거쳐 생산된 원천데이터(source data) 내에서 대상물의 위치를 태깅(tagging)하고 클래스명을 기입하는 과정으로, 본 연구에서는 오픈소스 데이터 가공 도구 중 하나인 Labelme를 활용하여 대상물을 바운딩 박스(bounding box)로 태깅하였다. 마지막으로 데이터 품질 검수 단계에서는 구축된 데이터셋의 구문정확성과 의미정확성을 확인하고 불량 데이터 식별 시 교정하여 데이터셋 수준에서 모델의 성능 저하를 방지하는 작업을 수행하였다 구문정확성은 라벨링 데이터 내 속성(attribute)의 구조 적합성과 자료형의 무결성과 각 속성의 누락 및 오탈자를 검사하는 작업으로, 구축된 전체 데이터셋을 대상으로 전수검사를 하였다. 의미정확성은 태깅된 바운딩 박스의 정밀도 및 클래스명의 타당성을 평가하는 것으로, 이는 육안 판독을 통해 검사를 수행하여 전체 데이터의 10%를 임의 추출하여 표본검사 하였다.
본 연구에서 제안하는 딥러닝 기반 부유쓰레기 모니터링 시스템은 이미지 촬영, 이미지 전처리, 탐지 및 대상물별 집계의 3가지 프로세스로 구성된다(Fig. 1).
본 연구에서는 부유쓰레기 탐지에 가장 적합한 모델을 선정하기 위해 모델의 복잡도가 두 번째로 단순한 YOLOv5s, YOLOv7, YOLOv8s를 활용하여 각각의 성능을 비교하였으며, 모든 모델은 Microsoft Common Objects in Context (MS-COCO) 데이터셋으로 사전 학습된 모델의 가중치를 활용하여 전이학습을 수행하였다.
본 연구에서는 2021년 6월부터 12월까지 낙동강 수계 내 육상기인 부유쓰레기 집적우심 구역을 대상으로 DJI사의 회전익 드론인 Mavic 2 Pro와 Phantom 4 Pro를 활용하여 드론 영상 촬영 범위내 식별 가능한 5–10 m 고도에서 촬영을 수행하였다. 육상기인 부유쓰레기는 대부분 집중강우 기간에 대량으로 유입되어 이미지 수집 시기가 제한되어 있으므로, 각 탐지 대상물에 대한 다양한 사례(색상, 형태, 크기 등)와 드론 영상 촬영 조건(각도, 고도, 방향 등)을 반영할 수 있도록 데이터셋을 구축하였다. 데이터 정제 단계는 원천데이터로 부적합한 이미지를 제거하거나 전처리를 수행하는 단계로, 원시데이터에서 대상물이 포함되어 있지 않거나 불량 이미지가 존재할 경우 이를 선별하여 제거하였다.
이미지 전처리는 사전 학습된 딥러닝 모델에 입력하기 전 원시 데이터를 가공하는 과정으로, 모델 학습용 데이터셋과 유사한 해상도를 확보하기 위해 원시 데이터를 zero-padding 후 1,200 × 800 px의 이미지로 분할하였다
대상 데이터
본 연구에서는 육상기인 부유쓰레기의 효율적인 탐지 기법을 제시하기 위해 최신 인공지능 객체 탐지 모델 기법을 적용하고 그 성능을 비교하여 최적의 객체 탐지 모델을 선정하고자 하였다. 딥러닝 모델의 학습 데이터 셋은 낙동강 중, 하류 및 인근 해역에서 수집한 이미지를 활용하였으며, 구축된 데이터셋을 통해 YOLOv5s, YOLOv7, YOLOv8s 모델을 학습시키고 성능 평가 결과 다음과 같은 결론을 얻었다.
2021년에는 평년보다 강수량 및 강수일수가 적어 하천 내 부유쓰레기 발생량이 미비하여 딥러닝 기반 객체 탐지모델 적용에 한계가 있었다. 따라서 본 연구에서 제안하는 딥러닝 기반 부유쓰레기 탐지 기법을 시험적용을 위해 추가적으로 2022년 9월 태풍 힌남노 내습 이후 남강댐 상류에 위치한 진양호에서 발생한 부유쓰레기를 대상으로 드론 항공 촬영을 수행하였다. RGB센서를 이용하여 구축된 데이터셋과 동일한 촬영 고도인 5–10 m에서 촬영하였으며, 촬영 속도를 3–4 m/s를 유지하며 매 3초마다 이미지를 촬영하여 중복률을 최소화하였다.
본 연구에서는 2021년 6월부터 12월까지 낙동강 수계 내 육상기인 부유쓰레기 집적우심 구역을 대상으로 DJI사의 회전익 드론인 Mavic 2 Pro와 Phantom 4 Pro를 활용하여 드론 영상 촬영 범위내 식별 가능한 5–10 m 고도에서 촬영을 수행하였다
검사를 위해 추출된 표본 데이터셋에서 의미정확성이 95% 이상을 달성하지 못할 경우 교정 후 재표본 추출하여 검사하는 방식으로 데이터셋의 품질을 개선하였다. 본 연구에서는 총 44,847장의 이미지 데이터를 수집 및 가공 하였으며, 구축된 데이터셋은 8:1:1로 분할하여 모델 학습(35,877장)과 검증(4,484장), 성능평가(4,485장)에 활용하였다.
1). 이미지 촬영 단계에서는 수역에 대한 이미지를 수집하기 위해 20 MP급 RGB 카메라를 활용하였으며, 이미지간 중복률을 허용하지 않는 블록촬영을 수행하였다. 이미지 전처리는 사전 학습된 딥러닝 모델에 입력하기 전 원시 데이터를 가공하는 과정으로, 모델 학습용 데이터셋과 유사한 해상도를 확보하기 위해 원시 데이터를 zero-padding 후 1,200 × 800 px의 이미지로 분할하였다.
데이터처리
딥러닝 기반 객체 탐지 모델의 탐지 성능은 mean Average Precision (mAP), Precision, Recall로 평가하였다. Precision은 모델이 참(True)으로 분류한 것 중에 실제로 참인 사례의 비율로 객체 탐지 모델이 예측한 바운딩 박스 중 예측에 성공한 바운딩 박스의 비율을 의미한다.
95를 많이 활용한다. 본 연구에서는 바운딩 박스의 위치 정밀도보다 탐지 성공 여부에 초점을 두어 IoU 기준 0.5를 활용하여 모델 성능평가를 수행하였다.
육상기인 부유쓰레기 객체 탐지를 위해 학습이 완료된 모델에 평가용 데이터셋을 활용하여 YOLO 모델간 성능을 비교하였다. 각 모델간 정성적 비교 결과, 모두 대부분의 이미지에서 대상물 탐지가 가능한 것을 확인할 수 있었다(Fig.
이론/모형
데이터 정제 단계는 원천데이터로 부적합한 이미지를 제거하거나 전처리를 수행하는 단계로, 원시데이터에서 대상물이 포함되어 있지 않거나 불량 이미지가 존재할 경우 이를 선별하여 제거하였다. 데이터 가공 단계는 데이터 정제 과정을 거쳐 생산된 원천데이터(source data) 내에서 대상물의 위치를 태깅(tagging)하고 클래스명을 기입하는 과정으로, 본 연구에서는 오픈소스 데이터 가공 도구 중 하나인 Labelme를 활용하여 대상물을 바운딩 박스(bounding box)로 태깅하였다. 마지막으로 데이터 품질 검수 단계에서는 구축된 데이터셋의 구문정확성과 의미정확성을 확인하고 불량 데이터 식별 시 교정하여 데이터셋 수준에서 모델의 성능 저하를 방지하는 작업을 수행하였다 구문정확성은 라벨링 데이터 내 속성(attribute)의 구조 적합성과 자료형의 무결성과 각 속성의 누락 및 오탈자를 검사하는 작업으로, 구축된 전체 데이터셋을 대상으로 전수검사를 하였다.
딥러닝 기반 육상기인 부유쓰레기 탐지는 모델의 성능이 가장 우수하였던 사전 학습된 YOLOv7 모델을 적용하였다. 딥러닝 모델이 탐지한 결과 초목류 위에 존재하는 스티로폼류 및 플라스틱, 금속류를 대부분 식별한 것을 확인할 수 있었다(Fig.
성능/효과
1) 학습용 데이터셋을 활용하여 정성적 평가 결과 세 모델 모두 일반적인 상황에서 부유쓰레기 탐지에 활용할 수 있을 것으로 판단된다. 다만, 태양 천정각 등의 이유로 수면에 반사가 심한 상황에서 과노출 이미지가 획득되는 경우 YOLOv8s 모델의 경우 누락 또는 중복 탐지되는 사례가 발생할 수 있다.
2) 학습용 데이터셋을 활용하여 정량적 평가 결과 세 모델 모두 성능 차이가 크게 발생하지는 않았으나 YOLOv7 모델이 대부분의 지표에서 가장 높은 성능을 보였다.
3) 데이터 품질에 따른 모델의 성능 비교하기 위해 색상 및 고주파 성분에 왜곡을 발생시킨 결과, YOLO v8s 모델의 성능 저하가 가장 뚜렷하게 나타났으며, YOLOv7 모델이 가장 낮은 성능 저하 폭을 보였다. 이를 통해 수면 위에 존재하는 부유쓰레기를 탐지에 있어 YOLOv7 모델이 타 모델(YOLOv5s, YOLOv8s)에 비해 색상 및 고주파 성분에 대한 강인함이 우수한 모델임을 확인하였다.
3), 누락 객체 빈도는 YOLOv5s가 가장 높았으며, 탐지된 객체의 confidence는 YOLOv8s 모델이 YOLOv5s와 YOLOv7 모델 대비 10–20% 정도 낮게 나타냈다
데이터셋 구축 기간(2021년)에 평년에 비해 강수량이 부족하여 초목류가 대량으로 발생한 구역의 부유쓰레기 인스턴스가 부족했음에도 불구하고 탐지가 가능하였다. YOLOv7 모델을 이용한 진양호 일대에서 발생한 성상별 부유쓰레기 탐지 결과, 스티로폼 조각(styrofoam piece)이 5,210개로 가장 많이 발생하였으며 PET 병, Plastic etc., 금속 성상 순으로 부유쓰레기가 발생하였다(Table 6).
육상기인 부유쓰레기 객체 탐지를 위해 학습이 완료된 모델에 평가용 데이터셋을 활용하여 YOLO 모델간 성능을 비교하였다. 각 모델간 정성적 비교 결과, 모두 대부분의 이미지에서 대상물 탐지가 가능한 것을 확인할 수 있었다(Fig. 3), 누락 객체 빈도는 YOLOv5s가 가장 높았으며, 탐지된 객체의 confidence는 YOLOv8s 모델이 YOLOv5s와 YOLOv7 모델 대비 10–20% 정도 낮게 나타냈다.
각 모델별 정량적인 성능 평가 결과, mAP (IoU 0.5)를 기준으로 YOLOv7 모델이 0.940을 기록하여 가장 높은 탐지 정확도를 나타냈다. YOLOv5s와 YOLOv8s 모델의 mAP는 동일하게 0.
6). 데이터셋 구축 기간(2021년)에 평년에 비해 강수량이 부족하여 초목류가 대량으로 발생한 구역의 부유쓰레기 인스턴스가 부족했음에도 불구하고 탐지가 가능하였다. YOLOv7 모델을 이용한 진양호 일대에서 발생한 성상별 부유쓰레기 탐지 결과, 스티로폼 조각(styrofoam piece)이 5,210개로 가장 많이 발생하였으며 PET 병, Plastic etc.
딥러닝 기반 육상기인 부유쓰레기 탐지는 모델의 성능이 가장 우수하였던 사전 학습된 YOLOv7 모델을 적용하였다. 딥러닝 모델이 탐지한 결과 초목류 위에 존재하는 스티로폼류 및 플라스틱, 금속류를 대부분 식별한 것을 확인할 수 있었다(Fig. 6).
종합적으로 YOLOv5s 모델과 YOLOv8s 모델은 평가용 데이터셋 내에서는 YOLOv7과 유사한 성능을 보였으나, 수면 반사가 심하거나 과노출 환경에서 대상물을 누락하는 사례가 일부 식별되었으며, 성능 저하 폭이 YOLOv7보다 커서 실제 운영상 오류를 발생시킬 확률이 상대적으로 높다고 판단하였다. 따라서 본 연구결과 드론을 이용하여 낙동강 수계 내 육상기인 부유쓰레기의 유형별 발생량을 탐지하고, 부유쓰레기의 개별 성상 구별 및 개체수 산출을 위한 딥러닝 기반 객체 탐지모델은 YOLOv7이 가장 적합한 것으로 나타났다.
이를 통해 수면 위에 존재하는 부유쓰레기를 탐지에 있어 YOLOv7 모델이 타 모델(YOLOv5s, YOLOv8s)에 비해 색상 및 고주파 성분에 대한 강인함이 우수한 모델임을 확인하였다. 따라서 하천, 강 또는 해수면 상에 존재하는 플라스틱류, 금속류, 유리류를 탐지하기 위한 솔루션 개발을 위해서는 세 모델 중 YOLOv7 모델을 활용하는 것이 타당한 것으로 판단된다.
3) 데이터 품질에 따른 모델의 성능 비교하기 위해 색상 및 고주파 성분에 왜곡을 발생시킨 결과, YOLO v8s 모델의 성능 저하가 가장 뚜렷하게 나타났으며, YOLOv7 모델이 가장 낮은 성능 저하 폭을 보였다. 이를 통해 수면 위에 존재하는 부유쓰레기를 탐지에 있어 YOLOv7 모델이 타 모델(YOLOv5s, YOLOv8s)에 비해 색상 및 고주파 성분에 대한 강인함이 우수한 모델임을 확인하였다. 따라서 하천, 강 또는 해수면 상에 존재하는 플라스틱류, 금속류, 유리류를 탐지하기 위한 솔루션 개발을 위해서는 세 모델 중 YOLOv7 모델을 활용하는 것이 타당한 것으로 판단된다.
클래스별로 비교했을 때, 모든 모델에서 PET 병과 금속 클래스가 가장 낮은 성능 저하를 보였으며, 스티로폼 조각 클래스가 가장 높은 성능저하를 보였다(Table 5). 종합적으로 YOLOv5s 모델과 YOLOv8s 모델은 평가용 데이터셋 내에서는 YOLOv7과 유사한 성능을 보였으나, 수면 반사가 심하거나 과노출 환경에서 대상물을 누락하는 사례가 일부 식별되었으며, 성능 저하 폭이 YOLOv7보다 커서 실제 운영상 오류를 발생시킬 확률이 상대적으로 높다고 판단하였다. 따라서 본 연구결과 드론을 이용하여 낙동강 수계 내 육상기인 부유쓰레기의 유형별 발생량을 탐지하고, 부유쓰레기의 개별 성상 구별 및 개체수 산출을 위한 딥러닝 기반 객체 탐지모델은 YOLOv7이 가장 적합한 것으로 나타났다.
RGB센서를 이용하여 구축된 데이터셋과 동일한 촬영 고도인 5–10 m에서 촬영하였으며, 촬영 속도를 3–4 m/s를 유지하며 매 3초마다 이미지를 촬영하여 중복률을 최소화하였다. 총 681장의 이미지를 확보하였고 예찰 결과 다량의 초목류와 스티로폼 조각, 플라스틱 등의 부유쓰레기가 집적되어 있는 것을 확인할 수 있었다(Fig. 2).
필터의 강도에 따른 각 모형간 성능을 비교한 결과, 상대적으로 약한 블러 효과(3 × 3 average filter)가 적용된 경우 각 모델별 성능 저하가 크지 않았으나 필터 강도가 높아짐에 따라 YOLOv5s와 YOLOv8s 모델의 성능 저하폭이 YOLOv7 모델과 비교하여 크게 나타나는 것을 확인할 수 있었다(Table 3). 클래스별로 비교했을 때, 모든 모델에서 PET 병과 금속 클래스가 가장 낮은 성능 저하를 보였으며, 스티로폼 조각 클래스가 가장 높은 성능저하를 보였다(Table 5). 종합적으로 YOLOv5s 모델과 YOLOv8s 모델은 평가용 데이터셋 내에서는 YOLOv7과 유사한 성능을 보였으나, 수면 반사가 심하거나 과노출 환경에서 대상물을 누락하는 사례가 일부 식별되었으며, 성능 저하 폭이 YOLOv7보다 커서 실제 운영상 오류를 발생시킬 확률이 상대적으로 높다고 판단하였다.
73% 감소하여 성능 저하의 폭이 가장 높게 나타났다(Table 3). 클래스별로 비교했을 때, 모든 모델에서 공통적으로 스티로폼 박스 클래스가 가장 낮은 성능저하를 보였으며, 유리 클래스의 경우 가장 높은 성능저하를 보였다(Table 4).
필터의 강도에 따른 각 모형간 성능을 비교한 결과, 상대적으로 약한 블러 효과(3 × 3 average filter)가 적용된 경우 각 모델별 성능 저하가 크지 않았으나 필터 강도가 높아짐에 따라 YOLOv5s와 YOLOv8s 모델의 성능 저하폭이 YOLOv7 모델과 비교하여 크게 나타나는 것을 확인할 수 있었다(Table 3)
회색조 이미지로 평가용 데이터셋을 적용하여 모델별 성능을 비교한 결과, mAP (IoU 0.5)를 기준으로 YOLOv7 모델은 0.940에서 0.777로 17.38% 감소하여 성능 저 하의폭이 가장 낮았으며, YOLOv8s 모델의 0.922에서 0.676으로 26.73% 감소하여 성능 저하의 폭이 가장 높게 나타났다(Table 3). 클래스별로 비교했을 때, 모든 모델에서 공통적으로 스티로폼 박스 클래스가 가장 낮은 성능저하를 보였으며, 유리 클래스의 경우 가장 높은 성능저하를 보였다(Table 4).
후속연구
그러나 본 연구에서는 데이터셋의 상당수가 평수기에 촬영되어 홍수기에 주로 발생하는 초목류와 혼합된 부유쓰레기 인스턴스는 그 비율이 낮으며, 본 연구에서는 각 모델의 모델 복잡성이 낮은 backbone 네트워크 간의 비교만 수행하였기 때문에 해당 아키텍처 전체의 성능에 일반화를 하기에는 한계가 있다. 향후 데이터 수집의 공간적, 시간적 범위를 확대하여 추가 데이터셋 구축을 통해 데이터셋의 다양성을 개선하고 각 모델의 다양한 backbone 네트워크를 활용한다면 더욱 신뢰성 있는 결과를 도출할 수 있을 것으로 판단된다.
최근 다양한 분야에서 드론을 활용한 모니터링을 수행하고 있는데, 광범위한 구역의 영상정보 획득이 가능하다는 장점은 있으나 촬영된 영상을 인력에 의해 육안으로 판독해야 한다는 어려움이 있어 다량의 부유쓰레기가 발생한 경우 현존량을 파악하는데 활용하기 어렵다. 따라서 부유쓰레기의 군집 정도를 시각적으로 표현할 수 있는 히트맵(heat map)을 통해 주요 집적구간 파악이 필요하다. Fig.
본 연구에서 제안하는 시스템을 부유쓰레기 모니터링 및 현존량 파악에 활용한다면 신속하고 효율적으로 모니터링을 통해 부유쓰레기 발생 즉시 현존량 파악이 가능하므로 정화활동 주기를 단축시킬 수 있을 것으로 기대한다. 또한 성상별 수량 파악이 가능하며, 성상별 공간분포도 생성이 가능하므로 발생 구역별 부유쓰레기 구성에 맞춰 정화작업 계획수립이 가능할 것으로 판단된다.
촬영구역 기준 남쪽은 댐 방류 위치이므로 남쪽보다 북쪽에 부유쓰레기가 밀집되어 있는 것으로 판단된다. 본 연구에서 제안하는 시스템을 부유쓰레기 모니터링 및 현존량 파악에 활용한다면 신속하고 효율적으로 모니터링을 통해 부유쓰레기 발생 즉시 현존량 파악이 가능하므로 정화활동 주기를 단축시킬 수 있을 것으로 기대한다. 또한 성상별 수량 파악이 가능하며, 성상별 공간분포도 생성이 가능하므로 발생 구역별 부유쓰레기 구성에 맞춰 정화작업 계획수립이 가능할 것으로 판단된다.
그러나 본 연구에서는 데이터셋의 상당수가 평수기에 촬영되어 홍수기에 주로 발생하는 초목류와 혼합된 부유쓰레기 인스턴스는 그 비율이 낮으며, 본 연구에서는 각 모델의 모델 복잡성이 낮은 backbone 네트워크 간의 비교만 수행하였기 때문에 해당 아키텍처 전체의 성능에 일반화를 하기에는 한계가 있다. 향후 데이터 수집의 공간적, 시간적 범위를 확대하여 추가 데이터셋 구축을 통해 데이터셋의 다양성을 개선하고 각 모델의 다양한 backbone 네트워크를 활용한다면 더욱 신뢰성 있는 결과를 도출할 수 있을 것으로 판단된다.
참고문헌 (14)
Aggarwal, C. C., 2018. Neural networks and deep?learning. Springer Cham. https://doi.org/10.1007/978-3-319-94463-0
Gomez, A. S., Scandolo, L., and Eisemann, E., 2022.?A learning approach for river debris detection.?International Journal of Applied Earth Observation?and Geoinformation, 107, 102682. https://doi.org/10.1016/j.jag.2022.102682
Jang, S. W., Kim, D. H., Chung, Y. H., and Yoon, H. J., 2014. Behavior characteristics of floating debris?spilled from the Nakdong River. Korean Journal?of Remote Sensing, 30(1), 127-136. https://doi.org/10.7780/kjrs.2014.30.1.10
Jang, S. W., Kim, D. H., Chung, Y. H., and Yoon, H. J., 2015. A study on exploring accumulation zone?and composition investigation of floating debris?in Nakdong River basin. Journal of the Korean?Association of Geographic Information Studies,?18(2), 45-58. https://doi.org/10.11108/kagis.2015.18.2.045
Korea Environment Institute, 2013. A study on the?establishment of the 2nd master plan for the?management of river and estuary waste in the?basin of the five major rivers. Korea Environment?Institute.
Kim, H. M., Yoon, H., Jang, S., and Chung, Y., 2017.?Detection method of river floating debris using?unmanned aerial vehicle and multispectral sensors.?Korean Journal of Remote Sensing, 33(5-1),?537-546. https://doi.org/10.7780/kjrs.2017.33.5.1.7
Kim, H. M., Park, S. H., Han, J. I., Ye, G. H., and?Jang, S. W., 2022. Development of marine debris?monitoring methods using satellite and drone?images. Korean Journal of Remote Sensing,?38(6-1), 1109-1124. https://doi.org/10.7780/kjrs.2022.38.6.1.12
Korea Maritime Institute, 2020. Study on improving the?management system for river waste flowing into?the sea. Korea Maritime Institute.
Korea Marine Environment Management Corporation, 2021. 2021 national coastal litter control and?monitoring investigation service. Korea Marine?Environment Management Corporation.
Lee, Y. B., Park, S., Ryu, C. R., Kim, H. T., and Yoon,?H. S., 2007. Characteristics of marine debris?collected from the coastline of sandbar in the?Nakdong River estuary. Journal of the Korean?Society for Marine Environment & Energy,?10(3), 148-154.
Lin, F., Hou, T., Jin, Q. N., and You, A. J., 2021. Improved?YOLO based detection algorithm for floating?debris in waterway. Entropy, 23(9), 1111. https://doi.org/10.3390/e23091111
Maharjan, N., Miyazaki, H., Pati, B. M., Dailey, M. N.,?Shrestha, S., and Nakamura, T., 2022. Detection?of river plastic using UAV sensor data and deep?learning. Remote Sensing, 14(13), 3049. https://doi.org/10.3390/rs14133049
Qiao, G., Yang, M., and Wang, H., 2022. A Detection?approach for floating debris using ground images?based on deep learning. Remote Sensing, 14(17), 4161. https://doi.org/10.3390/rs14174161
Wang, C. Y., Bochkovskiy, A., and Liao, H. Y. M., 2022. YOLOv7: Trainable bag-of-freebies sets?new stateof-the-art for real-time object detectors.?arXiv preprint arXiv:2207.02696. https://doi.org/10.48550/arXiv.22?
※ AI-Helper는 부적절한 답변을 할 수 있습니다.