[논문]위성 및 드론 영상을 이용한 해안쓰레기 모니터링 기법 개발

김흥민; 박수호; 한정익; 예건희; 장선웅

doi:10.7780/kjrs.2022.38.6.1.12

위성 및 드론 영상을 이용한 해안쓰레기 모니터링 기법 개발
Development of Marine Debris Monitoring Methods Using Satellite and Drone Images 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.6 pt.1, 2022년, pp.1109 - 1124

김흥민 ((주)아이렘기술개발 기업부설연구소) , 박수호 ((주)아이렘기술개발 기업부설연구소) , 한정익 ((주)아이렘기술개발 기업부설연구소) , 예건희 ((주)아이렘기술개발 기업부설연구소) , 장선웅 ((주)아이렘기술개발)

초록
AI-Helper

본 연구에서는 단시간 내 광범위한 지역에 대한 해양쓰레기 발생 실태 파악이 가능하도록 위성 및 드론다중분광 영상을 이용한 해안쓰레기 모니터링 기법을 제안한다. Sentinel-2 위성 영상을 이용한 해안쓰레기 탐지를 위해 multi-layer perceptron (MLP) 모델을 적용하였고, 드론 다중분광 영상을 이용한 해안쓰레기 탐지를 위해 딥러닝 모델 중 U-Net, DeepLabv3+ (ResNet50), DeepLabv3+ (Inceptionv3)의 탐지 성능평가 및 비교를 수행하였다. 위성 영상을 이용한 해안쓰레기 탐지 결과 F1-Score 0.97을 보였다. 드론 다중분광 영상을 이용한 해안쓰레기 탐지는 초목류와 플라스틱류에 대한 탐지를 수행하였고, 탐지 결과 DeepLabv3+ (Inceptionv3) 모델이 mean Intersection over Union (mIoU) 0.68로 가장 우수한 성능을 보였다. 초목류는 F1-Score 0.93, IoU는 0.86을 보인 반면에 플라스틱류의 F1-Score 0.5, IoU는 0.33으로 낮은 성능을 보였다. 그러나 플라스틱류 마스크 영상 생성을 위해 적용된 분광 지수식의 F1-Score는 0.81로 DeepLabv3+ (Inceptionv3)의 플라스틱류 탐지 성능보다 높은 성능을 보이며, 분광 지수식을 이용한 플라스틱류 모니터링이 가능할 것으로 판단된다. 본 연구에서 제안된 해안쓰레기 모니터링 기법을 통해 해안쓰레기 발생에 대한 정량적 자료 제공과 더불어 해안쓰레기 수거·처리 계획 수립에 활용할 수 있다.

Abstract ▼ AI-Helper

This study proposes a marine debris monitoring methods using satellite and drone multispectral images. A multi-layer perceptron (MLP) model was applied to detect marine debris using Sentinel-2 satellite image. And for the detection of marine debris using drone multispectral images, performance evaluation and comparison of U-Net, DeepLabv3+ (ResNet50) and DeepLabv3+ (Inceptionv3) among deep learning models were performed (mIoU 0.68). As a result of marine debris detection using satellite image, the F1-Score was 0.97. Marine debris detection using drone multispectral images was performed on vegetative debris and plastics. As a result of detection, when DeepLabv3+ (Inceptionv3) was used, the most model accuracy, mean intersection over union (mIoU), was 0.68. Vegetative debris showed an F1-Score of 0.93 and IoU of 0.86, while plastics showed low performance with an F1-Score of 0.5 and IoU of 0.33. However, the F1-Score of the spectral index applied to generate plastic mask images was 0.81, which was higher than the plastics detection performance of DeepLabv3+ (Inceptionv3), and it was confirmed that plastics monitoring using the spectral index was possible. The marine debris monitoring technique proposed in this study can be used to establish a plan for marine debris collection and treatment as well as to provide quantitative data on marine debris generation.

주제어

표/그림 (22)

그림 Fig. 1. Workflow.
그림 Fig. 2. Study area (satellite and drone images).
그림 Fig. 3. Shape of drone and multispectral sensor: (a) eBeeX, (b) Rededge-MX, (c) drone multispectral image acquisition.
표 Table 1. Specification of eBee X
표 Table 2. Comparison of Sentinel-2 MSI and Rededge-MX wavelength band
그림 Fig. 4. Measurement of ground reflectance of marine debris.
표 Table 3. Acquisition date of satellite image, drone multispectral image and spectral measurement
그림 Fig. 5. Reflectance of natural and artificial objects.
그림 Fig. 6. Binary mask image of marine debris.
그림 Fig. 7. Example of split tile image from orthomosaic and model input.
그림 Fig. 8. Definition and examples of IoU.
그림 Fig. 9. Monthly marine debris occurrence and detection area of drone resampling images (10 m).
표 Table 4. Confusion matrix
그림 Fig. 10. Monthly marine debris occurrence and detection area of sentinel-2 images.
그림 Fig. 11. Results of marine debris detection (DeepLabv3+ (Inceptionv3)).
표 Table 5. Performance indicator of marine debris detection model in drone multispectral image
그림 Fig. 13. Correlation between detection and occurrence area by properties of marine debris: (a) Area of occurrence and detection of plastics, (b) Correlation between the area of occurrence and detection of plastics, (c) Area of occurrence and detection of vegetative debris, (d) Correlation between the area of occurrence and detection of vegetative debris (unit: m²).
그림 Fig. 12. Monthly marine debris occurrence and detection area of drone multispectral image.
그림 Fig. 15. Monthly NDVI images.
그림 Fig. 14. Reflectance of grass (dry) and vegetative debris.
그림 Fig. 16. Histogram of monthly NDVI images.
그림 Fig. 17. Correlation between NDVI (0.1 to 0.3) area and detected marine debris area.

AI 본문요약
AI-Helper

문제 정의

이러한 위성 영상과 드론 영상의 특성을 융합할 경우 보다 효율적으로 해안쓰레기 모니터링을 수행할 수 있다. 따라서 본 연구는 단시간 내 광범위한 지역에 대한 해안쓰레기 발생 실태 파악이 가능하도록 위성 및 드론 다중분광 영상을 이용한 해안쓰레기 모니터링 기법을 개발하고자 하였다.
본 연구는 위성 영상과 드론 영상의 특성을 융합한 해안쓰레기의 모니터링을 제안하였다. 위성 영상에서 MLP 모델을 적용한 경우 홍수기에 해안쓰레기 모니터링이 가능함을 확인하였다.
의미론적 분할 모델의 학습을 위한 플라스틱류의 마스크 영상 생성은 분광 지수식을 이용하였고, 분광 지수식을 이용한 플라스틱류 탐지가 가능함을 의미한다. 이에 분광지수식을 적용하여 플라스틱 검출을 해안쓰레기 모니터링에 활용하고자 정확도 평가를 수행하였다. 검증 자료는 신자도 현장 조사에서 취득된 해안쓰레기 위치정보를 이용하여 분광 지수식에서 산출된 플라스틱류의 검증을 수행하였다.

제안 방법

위성영상은 대기 상층 반사도인 Top-of-Atmosphere 반사도를 가지며, 지상의 반사도인 Bottom-of-Atmosphere 반사도를 산출하기 위해 대기 효과를 제거하는 대기보정 수행이 필요하다. Sentinel-2 위성영상은 대기보정이 수행되어 BOA 반사도를 가지는 Level-2A (L2A) 자료를 제공하며, 본 연구에서는 Sentinle-2 MSI의 L2A 영상을 사용하였고, Sentinel-2 MSI 영상 처리를 위해 Sentinel Application Platform (SNAP) 소프트웨어를 이용하였다.
드론 영상 수집과 더불어 325–1075 nm에서 1 nm 단위로 측정 가능한 스펙트럴라디오미터(spectralradiometer)를 이용하여 해안쓰레기 성상별 지상 분광 반사도 측정 및 대상물의 위치정보를 수집하였다(Fig
그러나 GPS에서 발생하는 위치오차로 인해 수십 cm 또는 수 m의 위치오차가 발생할 수 있다. 따라서 위성 및 드론 영상 비교 시 픽셀의 위치오차를 최소화 하고자 Image registration 기능을 이용하여 두 영상의 위치를 일치시켰다. 또한 Sentinel-2 위성 영상에서 드론 다중분광 센서와 유사한 밴드를 선정하여 비교하였다(Table 2).
따라서 위성 및 드론 영상 비교 시 픽셀의 위치오차를 최소화 하고자 Image registration 기능을 이용하여 두 영상의 위치를 일치시켰다. 또한 Sentinel-2 위성 영상에서 드론 다중분광 센서와 유사한 밴드를 선정하여 비교하였다(Table 2).
위성 영상에서 MLP 모델을 적용한 경우 홍수기에 해안쓰레기 모니터링이 가능함을 확인하였다. 또한 드론 다중분광 영상과 딥러닝을 이용하여 해안쓰레기 중 초목류, 플라스틱류에 대한 탐지를 수행하였다. 3종의 딥러닝 모델의 해안쓰레기 탐지 성능 비교 결과 U-Net (mIoU 0.
이후 위성 영상에서 해안 쓰레기의 탐지 가능성 확인을 위해 드론 resampling영상에서 해안쓰레기 탐지 모델의 정확도 평가를 수행하였고, 동일한 방법으로 위성 영상에서 해안쓰레기 탐지 모델의 정확도 평가를 수행하였다. 또한 해안쓰레기의 정확한 모니터링을 수행하고자 고해상도의 드론 다중분광 영상을 이용하여 해안쓰레기 탐지 모델의 정확도 평가를 수행하였다.
위성 영상과 드론 영상의 촬영일이 최대 6일까지 차이가 발생하지만 신자도 특성상 사람의 접근이 드물고 해안쓰레기 수거가 즉시 발생하지 않는 점을 고려하여 드론 영상을 이용한 해안쓰레기 마스크 영상을 생성하였다. 모든 날짜의 위성 영상에서 픽셀 반사도를 추출하였으며, train, validation, test 데이터를 8:1:1의 비율로 분할하여 MLP 모델의 데이터셋을 구축하였다.
식생지수와 해안쓰레기 탐지 결과 간의 상관성을 확인하고자 월별 NDVI를 산출하였다. 드론 다중분광 영상에서 NDVI를 적용한 결과 3월 NDVI 0.
위성 영상 및 드론 다중분광 영상을 이용한 해안쓰레기 모니터링 기법을 개발하고자 위성 영상과 유사한 시기의 드론 다중분광 영상 촬영을 수행하였다. 위성 영상과 드론 다중분광 영상을 비교를 위해 드론 다중분광 영상의 공간 해상도를 위성 영상의 공간 해상도인 10 m로 resampling을 수행하고 각 영상을 동일한 위치로 일치시키는 작업을 수행하였다.
위성 영상 및 드론 다중분광 영상을 이용한 해안쓰레기 모니터링 기법을 개발하고자 위성 영상과 유사한 시기의 드론 다중분광 영상 촬영을 수행하였다. 위성 영상과 드론 다중분광 영상을 비교를 위해 드론 다중분광 영상의 공간 해상도를 위성 영상의 공간 해상도인 10 m로 resampling을 수행하고 각 영상을 동일한 위치로 일치시키는 작업을 수행하였다. 이후 위성 영상에서 해안 쓰레기의 탐지 가능성 확인을 위해 드론 resampling영상에서 해안쓰레기 탐지 모델의 정확도 평가를 수행하였고, 동일한 방법으로 위성 영상에서 해안쓰레기 탐지 모델의 정확도 평가를 수행하였다.
위성 영상과 드론 다중분광 영상의 비교를 위해 드론 정사영상의 공간해상도를 위성 영상 해상도인 10 m로 일치시키는 resampling을 수행하였다. 드론 정사영상은 다중분광 센서 외부의 GPS를 통해 개별 영상에 위치정보가 메타데이터로 저장되며, 위치정보를 이용하여 기하보정이 수행된다.
위성 영상에 MLP 모델 적용을 위해 드론 다중분광 영상에서 육안으로 확인 가능한 해안쓰레기 패치의 위치정보를 이용하여 위성 영상에서 해안쓰레기 마스크 영상을 생성하였다. 위성 영상과 드론 영상의 촬영일이 최대 6일까지 차이가 발생하지만 신자도 특성상 사람의 접근이 드물고 해안쓰레기 수거가 즉시 발생하지 않는 점을 고려하여 드론 영상을 이용한 해안쓰레기 마스크 영상을 생성하였다. 모든 날짜의 위성 영상에서 픽셀 반사도를 추출하였으며, train, validation, test 데이터를 8:1:1의 비율로 분할하여 MLP 모델의 데이터셋을 구축하였다.
위성 영상에 MLP 모델 적용을 위해 드론 다중분광 영상에서 육안으로 확인 가능한 해안쓰레기 패치의 위치정보를 이용하여 위성 영상에서 해안쓰레기 마스크 영상을 생성하였다. 위성 영상과 드론 영상의 촬영일이 최대 6일까지 차이가 발생하지만 신자도 특성상 사람의 접근이 드물고 해안쓰레기 수거가 즉시 발생하지 않는 점을 고려하여 드론 영상을 이용한 해안쓰레기 마스크 영상을 생성하였다.
해양쓰레기 유입이 많은 홍수기에 위성 영상을 이용하여 해안쓰레기의 유입, 발생량을 모니터링하고 해안쓰레기 실태조사 우선순위를 선정한다. 이후 우선순위에 따라 대상 해안에 대한 드론 다중분광 영상 촬영을 수행한다. 취득된 드론 다중분광 영상에 분광 지수식을 이용하여 플라스틱류의 발생량 파악하고, 딥러닝 모델을 이용하여 해안에 분포한 초목류의 발생량, 발생 범위를 파악하여 해안쓰레기 수거·처리 계획에 활용할 수 있다.
위성 영상과 드론 다중분광 영상을 비교를 위해 드론 다중분광 영상의 공간 해상도를 위성 영상의 공간 해상도인 10 m로 resampling을 수행하고 각 영상을 동일한 위치로 일치시키는 작업을 수행하였다. 이후 위성 영상에서 해안 쓰레기의 탐지 가능성 확인을 위해 드론 resampling영상에서 해안쓰레기 탐지 모델의 정확도 평가를 수행하였고, 동일한 방법으로 위성 영상에서 해안쓰레기 탐지 모델의 정확도 평가를 수행하였다. 또한 해안쓰레기의 정확한 모니터링을 수행하고자 고해상도의 드론 다중분광 영상을 이용하여 해안쓰레기 탐지 모델의 정확도 평가를 수행하였다.
지상 분광 반사도 측정은 드론 다중분광 영상 촬영과 동일한 시점에 수행하였다. 지상 분광 반사도 측정 시 센서와 대상물 간의 측정 거리를 1 m 이내를 유지하여 연직으로 측정하였고, 스펙트럴라디오미터에 장착된 GPS 센서를 이용하여 대상물의 위치정보를 취득하였다. 측정 시 바람에 의한 대상물의 움직임, 측정자의 흔들림, 잡음 등을 고려하여 지점 당 5회 측정을 수행하였고, 이를 평균하여 사용하였다.
지상 분광 반사도 측정 시 센서와 대상물 간의 측정 거리를 1 m 이내를 유지하여 연직으로 측정하였고, 스펙트럴라디오미터에 장착된 GPS 센서를 이용하여 대상물의 위치정보를 취득하였다. 측정 시 바람에 의한 대상물의 움직임, 측정자의 흔들림, 잡음 등을 고려하여 지점 당 5회 측정을 수행하였고, 이를 평균하여 사용하였다.
본 연구에서 제안하는 위성 및 드론 영상을 이용한 해안쓰레기 모니터링 방안은 다음과 같다. 해양쓰레기 유입이 많은 홍수기에 위성 영상을 이용하여 해안쓰레기의 유입, 발생량을 모니터링하고 해안쓰레기 실태조사 우선순위를 선정한다. 이후 우선순위에 따라 대상 해안에 대한 드론 다중분광 영상 촬영을 수행한다.

대상 데이터

전체 픽셀수에 비해 플라스틱류의 픽셀수는 약 3%로 매우 낮은 비율로 인하여 편중된 학습이 진행될 수 있다. 따라서 플라스틱류가 포함된 tile 영상을 별도로 추출 후 증강을 수행하였고, train 데이터셋에 gridmask augmentation을 이용하여 영상 증강 후 의미론적 분할 모델의 학습 데이터로 활용하였다.
위성 영상에서 해안쓰레기 패치의 탐지 가능성을 확인하고자 Sentinel-2 위성 영상과 동일한 공간해상도인 10 m로 Resampling한 드론 다중분광 영상을 활용하였다. 위성 영상에 적용되는 동일한 MLP 모델을 이용하여 해안쓰레기 탐지 결과 precision 0.
위성영상은 10 m의 공간해상도를 가지며 재방문 주기가 5일로 짧은 Sentinel-2 A/B multispectral instrument(MSI) 영상을 사용하였다. 위성영상은 대기 상층 반사도인 Top-of-Atmosphere 반사도를 가지며, 지상의 반사도인 Bottom-of-Atmosphere 반사도를 산출하기 위해 대기 효과를 제거하는 대기보정 수행이 필요하다.
의미론적 분할 모델 입력을 위해 정사영상은 224×224 크기의 tile 영상으로 분할하였고(Fig
장마나 집중호우 등으로 발생하는 육상 기인 해양쓰레기와 태풍 내습 시 양식장에서 이탈되는 부이, 인간의 해상 활동에 의해 발생하는 해상 기인 해양쓰레기가 혼재된 낙동강 하구의 사주해안 중 신자도를 대상으로 위성 영상 및 드론 다중분광 영상을 수집하였다(Fig. 2).

데이터처리

이에 분광지수식을 적용하여 플라스틱 검출을 해안쓰레기 모니터링에 활용하고자 정확도 평가를 수행하였다. 검증 자료는 신자도 현장 조사에서 취득된 해안쓰레기 위치정보를 이용하여 분광 지수식에서 산출된 플라스틱류의 검증을 수행하였다. 분광 지수식의 정확도 평가 결과 precision 0.

이론/모형

드론 다중분광 영상은 의미론적 분할 모델을 이용하여 해안쓰레기를 탐지하고자 하였고, 정확도 평가는 Precision, Recall, F1-Score와 더불어 mean Intersection over Union (mIoU)를 평가 지표로 사용하였다. IoU는 탐지하고자 하는 대상의 실제 영역과 탐지된 영역이 겹쳐진 정도를 평가하는 지표다(Fig.
위성 영상은 MLP 모델을 이용하여 해안쓰레기를 탐지하고자 하였고, 정확도 평가는 Precision, Recall, F1-Score를 이용하였다. Precision은 모델이 해안쓰레기로 탐지한 픽셀 중 실제로 해안쓰레기가 존재하는 픽셀의 비율로 0–1 사이의 값을 가진다.
의미론적 분할 모델의 학습을 위한 플라스틱류의 마스크 영상 생성은 분광 지수식을 이용하였고, 분광 지수식을 이용한 플라스틱류 탐지가 가능함을 의미한다. 이에 분광지수식을 적용하여 플라스틱 검출을 해안쓰레기 모니터링에 활용하고자 정확도 평가를 수행하였다.

성능/효과

또한 드론 다중분광 영상과 딥러닝을 이용하여 해안쓰레기 중 초목류, 플라스틱류에 대한 탐지를 수행하였다. 3종의 딥러닝 모델의 해안쓰레기 탐지 성능 비교 결과 U-Net (mIoU 0.59), DeepLabv3+(mIoU 0.67)에 비해 DeepLabv3+(Inception)모델이 mIoU 0.68로 가장 우수한 성능을 보였다. 모든 모델에서 초목류 탐지는 높은 성능을 보인 반면, 플라스틱류 탐지는 다소 낮은 성능을 보였다.
반면 플라스틱류는 모든 모델에서 낮은 성능지표를 보였다. U-Net 모델이 가장 낮은 탐지 성능을 보였고, DeepLabV3+의 경우 Encoder를 InceptionV3로 적용한 모델이 가장 높은 성능을 보였다. 또한 모든 모델에서 플라스틱류의 precision이 recall과 비교하여 높은 수치를 나타냈다.
위성 영상에 MLP 모델을 적용한 해안쓰레기 탐지 면적은 4월에 가장 넓은 면적으로 탐지하였으며, 이후 감소하다가 7월부터 증가하여 태풍 내습 후 9월 11일 큰 폭으로 증가하였다. 드론 resampling영상과 동일한 오차 패턴을 보이며, 6월 이후 해안쓰레기 발생 면적과 탐지 면적의 오차가 급격히 감소하며 동일한 증가 패턴을 보였다(Fig. 10).
드론 다중분광 영상과 의미론적 분할 모델 이용한 해안쓰레기 탐지 결과 모든 모델에서 플라스틱류의 낮은 성능지표를 보였다. 플라스틱류의 경우 크기 및 형태가 다양하여 특정 크기 이하의 플라스틱류는 학습이 원활히 진행되지 않는 것으로 판단된다.
식생지수와 해안쓰레기 탐지 결과 간의 상관성을 확인하고자 월별 NDVI를 산출하였다. 드론 다중분광 영상에서 NDVI를 적용한 결과 3월 NDVI 0.2의 면적이 가장 넓은 범위로 나타났고, 시간이 지남에 따라 NDVI 0.2의 면적은 감소하고 NDVI 0.6 이상의 면적이 증가하였다(Fig. 15, 16).
그러나 분광 지수식을 이용한 플라스틱 탐지 방법은 전체 영상에 대해서 연산이 이루어지므로 비교적 빠르고 간단하다. 드론 다중분광 영상을 이용한 플라스틱류 탐지 시 분광 지수식이 효율적일 것으로 판단된다.
U-Net 모델이 가장 낮은 탐지 성능을 보였고, DeepLabV3+의 경우 Encoder를 InceptionV3로 적용한 모델이 가장 높은 성능을 보였다. 또한 모든 모델에서 플라스틱류의 precision이 recall과 비교하여 높은 수치를 나타냈다. 모델에서 탐지된 플라스틱 중 실제 플라스틱인 확률은 높지만 실제 존재하는 플라스틱을 탐지하는 성능은 낮은 것으로 해석된다.
드론 다중분광 영상 및 의미론적 분할 모델을 이용한 해안쓰레기 탐지 결과는 Table 5와 같다. 모델별 성능 평가 결과 U-Net의 mIoU가 가장 낮은 성능을 보였으며 DeepLabV3+(ResNet50),DeepLabV3+(InceptionV3)가 각각 0.67, 0.68로 유사한 성능을 보였다(Table 5). 성상별로 확인하면 초목류는 U-Net 모델에 비해 DeepLabV3+ 모델에서 F1-Score 0.
68로 가장 우수한 성능을 보였다. 모든 모델에서 초목류 탐지는 높은 성능을 보인 반면, 플라스틱류 탐지는 다소 낮은 성능을 보였다. 그러나 분광지수식을 이용할 경우 플라스틱류의 탐지 및 발생량 추정이 가능할 것으로 판단된다.
본 연구에서 생성된 드론 정사영상은 큰 영상 크기(약 35,000×13,000)로 인하여 의미론적 분할 모델 입력에 부적합하다
본 연구에서는 낙동강 하구의 사주해안 중 신자도를 대상으로 해안쓰레기 자료를 수집하였고, 1개 해안에 대해 적용한 결과로 향후에는 적용 대상 해안의 확대 및 모델 탐지 정확도 개선이 필요하다. 본 연구에서 수집된 플라스틱류의 비율은 전체 데이터셋에 비해 약 3%에 불과하여 데이터셋에 포함된 사례가 부족하다. 또한 플라스틱류의 경우 그 형태의 다양함으로 인해 보다 많은 배경 및 형태에 대한 영상을 취득하여 데이터셋 내 다양성을 확보할 필요가 있다.
검증 자료는 신자도 현장 조사에서 취득된 해안쓰레기 위치정보를 이용하여 분광 지수식에서 산출된 플라스틱류의 검증을 수행하였다. 분광 지수식의 정확도 평가 결과 precision 0.89, recall 0.94, F1-Score 0.81로 플라스틱류 검출에 가장 높은 성능을 보였던 DeepLabv3+(Inceptionv3) 모델(F1-Score 0.5)에 비해 높은 성능지표를 보였다. 이러한 결과는 해안쓰레기 모니터링 시 플라스틱류는 분광 지수식을 이용하여 모니터링이 가능함을 의미한다.
68로 유사한 성능을 보였다(Table 5). 성상별로 확인하면 초목류는 U-Net 모델에 비해 DeepLabV3+ 모델에서 F1-Score 0.9 이상의 우수한 성능지표를 보였고, DeepLabV3+ (ResNet50)와 DeepLabV3+ (InceptionV3)에서 F1-Score는 0.93으로 동일한 성능 지표를 나타냈다. 반면 플라스틱류는 모든 모델에서 낮은 성능지표를 보였다.
위성 및 드론 다중분광 영상 내에서 해안쓰레기의 면적이 주변 배경에 비해 매우 적은 면적을 차지하는 불균형을 보이며, 클래스 간 불균형이 심할 경우 많은 양의 데이터에 편중된 학습이 진행될 수 있다. 특히, 해안 쓰레기와 같이 영상 내에서 차지하는 면적이 작은 경우 해안쓰레기보다 배경을 잘 학습하는 문제가 발생한다.
위성 영상에 MLP 모델을 적용한 해안쓰레기 탐지 면적은 4월에 가장 넓은 면적으로 탐지하였으며, 이후 감소하다가 7월부터 증가하여 태풍 내습 후 9월 11일 큰 폭으로 증가하였다. 드론 resampling영상과 동일한 오차 패턴을 보이며, 6월 이후 해안쓰레기 발생 면적과 탐지 면적의 오차가 급격히 감소하며 동일한 증가 패턴을 보였다(Fig.
위성 영상에서 해안쓰레기 패치의 탐지 가능성을 확인하고자 Sentinel-2 위성 영상과 동일한 공간해상도인 10 m로 Resampling한 드론 다중분광 영상을 활용하였다. 위성 영상에 적용되는 동일한 MLP 모델을 이용하여 해안쓰레기 탐지 결과 precision 0.93, recall 0.98, F1-Score는 0.95를 보였다. precision에 비해 recall이 높은 것으로 보았을 때, 실제 해안쓰레기에 비해 MLP 모델이 과대탐지 경향이 보이는 것으로 판단된다.
본 연구는 위성 영상과 드론 영상의 특성을 융합한 해안쓰레기의 모니터링을 제안하였다. 위성 영상에서 MLP 모델을 적용한 경우 홍수기에 해안쓰레기 모니터링이 가능함을 확인하였다. 또한 드론 다중분광 영상과 딥러닝을 이용하여 해안쓰레기 중 초목류, 플라스틱류에 대한 탐지를 수행하였다.
위성 영상에서 해안쓰레기 패치 위치는 드론 다중분광 영상에서 파악된 위치를 활용하였다. 위성 영상에서 해안쓰레기 탐지를 위해 MLP 모델을 적용한 결과 precision 0.95, recall 0.99, F1-Score는 0.97을 보였다.
5)에 비해 높은 성능지표를 보였다. 이러한 결과는 해안쓰레기 모니터링 시 플라스틱류는 분광 지수식을 이용하여 모니터링이 가능함을 의미한다. DeepLabv3+ (Inceptionv3) 모델은 탐지를 위해 정사영상 분할, 모델 입력, 탐지, 분할 영상의 병합 순으로 이루어진다.

후속연구

본 연구에서 제안하는 해안쓰레기 모니터링 기법을 활용하면, 단시간에 효율적으로 넓은 범위에 대한 모니터링이 가능하고, 해안쓰레기의 발생량 및 범위를 파악할 수 있을 것으로 판단된다. 또한 해안쓰레기 발생에 대한 정량적 자료를 제공할 수 있으며, 이를 통한 수거·처리 계획 수립에 활용할 수 있을 것으로 판단된다.
그러나 홍수기에 발생하는 해안 쓰레기는 특성상 넓은 범위에 대한 발생량 및 분포를 파악하여 해안쓰레기 수거를 위한 정보 제공이 중요하다. 본 연구에서 제시한 해안쓰레기 모니터링 방안은 초목류의 분포 면적과 더불어 개별로 존재하는 플라스틱류의 분포 파악이 가능함으로 해안쓰레기 수거 및 처리를 위한 기초자료로 활용할 수 있다.
본 연구에서 제안하는 해안쓰레기 모니터링 기법을 활용하면, 단시간에 효율적으로 넓은 범위에 대한 모니터링이 가능하고, 해안쓰레기의 발생량 및 범위를 파악할 수 있을 것으로 판단된다. 또한 해안쓰레기 발생에 대한 정량적 자료를 제공할 수 있으며, 이를 통한 수거·처리 계획 수립에 활용할 수 있을 것으로 판단된다.
본 연구에서는 낙동강 하구의 사주해안 중 신자도를 대상으로 해안쓰레기 자료를 수집하였고, 1개 해안에 대해 적용한 결과로 향후에는 적용 대상 해안의 확대 및 모델 탐지 정확도 개선이 필요하다. 본 연구에서 수집된 플라스틱류의 비율은 전체 데이터셋에 비해 약 3%에 불과하여 데이터셋에 포함된 사례가 부족하다.

참고문헌 (23)

Biermann, L., D. Clewley, V. Martinez-Vicente, and K. Topouzelis, 2020. Finding plastic patches in coastal waters using optical satellite data, Scientific Reports, 10(1): 1-10. https://doi.org/10.1038/s41598-020-62298-z

상세보기
Chen, L.C., G. Papandreou, F. Schroff, and H. Adam, 2017. Rethinking atrous convolution for semantic image segmentation, arXiv preprint arXiv:1706.05587. https://doi.org/10.48550/arXiv.1706.05587
Fallati, L., A. Polidori, C. Salvatore, L. Saponari, A. Savini, and P. Galli, 2019. Anthropogenic Marine Debris assessment with Unmanned Aerial Vehicle imagery and deep learning: A case study along the beaches of the Republic of Maldives, Science of The Total Environment, 693: 133581. https://doi.org/10.1016/j.scitotenv.2019.133581

상세보기
Goncalves, G. and U. Andriolo, 2022. Operational use of multispectral images for macro-litter mapping and categorization by Unmanned Aerial Vehicle, Marine Pollution Bulletin, 176: 113431. https://doi.org/10.1016/j.marpolbul.2022.113431

상세보기
Goncalves, G., U. Andriolo, L. Pinto, and D. Duarte, 2020. Mapping marine litter with Unmanned Aerial Systems: A showcase comparison among manual image screening and machine learning techniques. Marine Pollution Bulletin, 155: 111158. https://doi.org/10.1016/j.marpolbul.2020.111158

상세보기
Jang, S.W., D.H. Kim, Y.H. Chung, and H.J. Yoon, 2014. Behavior Characteristics of Floating Debris Spilled from the Nakdong River, Korean Journal of Remote Sensing, 30(1): 127-136. https://doi.org/10.7780/kjrs.2014.30.1.10

원문보기 상세보기
Jang, S.W., S.K. Lee, S.Y. Oh, D.H. Kim, and H.J. Yoon, 2011. The Application of Unmanned Aerial Photography for Effective Monitoring of Marine Debris, Journal of the Korean Society of Marine Environment & Safety, 17(4): 307-314. https://doi.org/10.7837/kosomes.2011.17.4.307

원문보기 상세보기
Kang, J., G. Kim, Y. Jeong, S. Kim, Y. Youn, S. Cho, and Y. Lee, 2021. U-Net Cloud Detection for the SPARCS Cloud Dataset from Landsat 8 Images, Korean Journal of Remote Sensing, 37(5): 1149-1161. https://doi.org/10.7780/kjrs.2021.37.5.1.25

원문보기 상세보기
Kim, H.M., H.J. Yoon, S.W. Jang, and Y.H. Chung, 2017. Detection Method of River Floating Debris Using Unmanned Aerial Vehicle and Multispectral Sensors, Korean Journal of the Remote Sensing, 33(5): 537-546. https://doi.org/10.7780/kjrs.2017.33.5.1.7

원문보기 상세보기
KOEM (Korea Marine Environment Management Corporation), 2020. 2020 National Coastal Litter Control and Monitoring Investigation Service, Korea, https://www.koem.or.kr/site/koem/ex/board/View.do?cbIdx370&bcIdx30182, Accessed on Nov. 16, 2022.
Lee, J.H., Y.W. Lee, M.H. Choe, S.C. O., H.U. Kim, J.G. Gang, and G.H. Park, 2021. Coastal debris detection experiment using ENVI's deep learning image recognition module, Water for Future, 54(12): 22-28.
Lee, Y.B., S. Park, C.R. Ryu, H.T. Kim, and H.S. Yoon, 2007. Characteristics of Marine Debris collected from the Coastline of Sandbar in the Nakdong River Estuary, Journal of the Korean Society for Marine Environmental Engineering, 10(3): 148-154.
Lee, Y.S., W.K. Baek, and H.S. Lee, 2019. Forest Vertical Structure Classification in Gongju City, Korea from Optic and RADAR Satellite Images Using Artificial Neural Network, Korean Journal of Remote Sensing, 35(3): 447-455. https://doi.org/10.7780/kjrs.2019.35.3.8

원문보기 상세보기
Lin, T.Y., P. Goyal, R. Girshick, K. He, and P. Dollar, 2017. Focal loss for dense object detection, Proc. of 2017 IEEE International Conference on Computer Vision, Venice, Italy, Oct. 22-29, pp. 2980-2988. https://doi.org/10.48550/arXiv.1708.02002
MOF (Ministry of Oceans and Fisheris), 2021. Last year, 138,000 tons of marine debris were collected, about 45% more than in 2018, Korea, https://www.mof.go.kr/statPortal/bbs/report/view.do?ntt_id973, Accessed on Nov. 16, 2022.
Papakonstantinou, A., M. Batsaris, S. Spondylidis, and K. Topouzelis, 2021. A citizen science unmanned aerial system data acquisition protocol and deep learning techniques for the automatic detection and mapping of marine litter concentrations in the coastal zone, Drones, 5(1): 6. https://doi.org/10.3390/drones5010006

상세보기
Park, S. and H.S. Yoon, 2007. Distribution of Marine Debris collected from the Sandbar Coastline of Nakdong River Estuary after the Typhoons' Passage, Journal of Korea Society of Marine Environment & Safety, 13(4): 1-7.
Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, Proc. of 2015 International Conference on Medical Image Computing and Computer-assisted Intervention, Munich, Germany, Oct. 5-9, pp. 234-241. https://doi.org/10.48550/arXiv.1505.04597
Sasaki, K., T. Sekine, L.J. Burtz, and W.J. Emery, 2022. Coastal Marine Debris Detection and Density Mapping With Very High Resolution Satellite Imagery, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 6391-6401. https://doi.org/10.1109/JSTARS.2022.3193993

상세보기
Seo, D.C. and J.P. Kim, 2019. Comparison and Analysis Monitoring Methods for Marine Debris on Beach, Journal of Korea Society of Waste Management, 36(8): 802-810. https://doi.org/10.9786/kswm.2019.36.8.802

상세보기
Son, M.B., J.H. Chung, Y.G. Lee, and S.J. Kim, 2021. A Comparative Analysis of Vegetation and Agricultural Monitoring of Terra MODIS and Sentinel-2 NDVIs, Journal of the Korean Society of Agricultural Engineers, 63(6): 101-115. https://doi.org/10.5389/KSAE.2021.63.6.101

원문보기 상세보기
Stoian, A., V. Poulain, J. Inglada, V. Poughon, and D. Derksen, 2019. Land cover maps production with high resolution satellite image time series and convolutional neural networks: Adaptations and limits for operational systems, Remote Sensing, 11(17): 1986. https://doi.org/10.3390/rs11171986

상세보기
Zhang, P., Y. Ke, Z. Zhang, M. Wang, P. Li, and S. Zhang, 2018. Urban land use and land cover classification using novel deep learning models based on high spatial resolution satellite imagery, Sensors, 18(11): 3717. https://doi.org/10.3390/s18113717

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증