[논문]드론 영상 기반 조난 선박 탐지를 위한 해양 환경 시뮬레이션을 활용한 딥러닝 모델 개발

오정효; 이주희; 전의익; 이임평

doi:10.7780/kjrs.2023.39.6.1.22

드론 영상 기반 조난 선박 탐지를 위한 해양 환경 시뮬레이션을 활용한 딥러닝 모델 개발
Development of a Deep-Learning Model with Maritime Environment Simulation for Detection of Distress Ships from Drone Images 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.39 no.6/1, 2023년, pp.1451 - 1466

오정효 (서울시립대학교 공간정보공학과) , 이주희 (서울시립대학교 공간정보공학과) , 전의익 (서울시립대학교 공간정보공학과) , 이임평 (서울시립대학교 공간정보공학과)

초록
AI-Helper

해양 조난 사고에서 드론 활용이 빠르게 증가하고 있는 가운데, 특히 드론을 활용한 수색 구조 작업이 주목받고 있다. 조난 선박 및 기타 해양 표류체를 빠르게 탐지하기 위해 드론 영상을 활용한 딥러닝 모델들이 확장되고 있다. 그러나 이러한 모델을 효과적으로 학습시키기 위해서는 다양한 기상 조건과 선박 상태를 고려한 대량의 학습 데이터가 필요하다. 이에 대한 데이터 부족 문제는 학습된 모델의 성능 저하로 이어질 수 있다. 이에 본 연구는 해양 환경 시뮬레이터를 개발하고 데이터셋을 보강하여 조난 선박 탐지를 위한 딥러닝 모델의 성능 개선을 목표로 한다. 이 시뮬레이터는 눈, 비, 안개와 같은 다양한 기상 조건과 선박 상태, 그리고 드론과 센서의 규격과 특성을 설정할 수 있다. 시뮬레이션을 통해 얻은 데이터셋을 활용하여 딥러닝 모델을 학습시켰다. 이로써, 실제 드론 영상 데이터셋만을 사용한 모델과 비교했을 때 정확도와 재현율 등의 탐지 성능이 향상되었다. 특히, 비나 안개와 같은 악기상에서의 조난 선박 탐지 정확도(Average Precision, AP)는 약 2-5% 정도 향상되었으며 미탐지 비율이 현저히 낮아졌다. 이러한 결과는 개발된 시뮬레이터가 현실적이고 효과적으로 다양한 상황을 시뮬레이션하여 모델 학습에 기여함을 보여준다. 또한, 이에 기반한 조난 선박 탐지 딥러닝 모델은 해양 수색 및 구조 작업에서 효율적으로 활용될 것으로 기대된다.

Abstract ▼ AI-Helper

In the context of maritime emergencies, the utilization of drones has rapidly increased, with a particular focus on their application in search and rescue operations. Deep learning models utilizing drone images for the rapid detection of distressed vessels and other maritime drift objects are gaining attention. However, effective training of such models necessitates a substantial amount of diverse training data that considers various weather conditions and vessel states. The lack of such data can lead to a degradation in the performance of trained models. This study aims to enhance the performance of deep learning models for distress ship detection by developing a maritime environment simulator to augment the dataset. The simulator allows for the configuration of various weather conditions, vessel states such as sinking or capsizing, and specifications and characteristics of drones and sensors. Training the deep learning model with the dataset generated through simulation resulted in improved detection performance, including accuracy and recall, when compared to models trained solely on actual drone image datasets. In particular, the accuracy of distress ship detection in adverse weather conditions, such as rain or fog, increased by approximately 2-5%, with a significant reduction in the rate of undetected instances. These results demonstrate the practical and effective contribution of the developed simulator in simulating diverse scenarios for model training. Furthermore, the distress ship detection deep learning model based on this approach is expected to be efficiently applied in maritime search and rescue operations.

주제어

표/그림 (29)

그림 Fig. 1. Deep learning-based process for detecting distress ships.
그림 Fig. 2. Simulation environment configuration.
그림 Fig. 3. Accidents by ship type over 5 years.
그림 Fig. 4. Examples of ship status. (a) Drifted. (b) Sunken. (c) Capsized.
그림 Fig. 5. Samples of drone images. (a) Simulated drone images. (b) Real drone images.
그림 Fig. 6. Automatic labeling for constructing deep learning datasets.
그림 Fig. 7. Training and evaluation process to validate the effects of simulation.
그림 Fig. 8. Collection sources for Dataset A.
표 Table 1. The number of data based on data collection sources and ship status
그림 Fig. 9. Collection sources for Dataset B.
표 Table 2. The number of objects by class
표 Table 3. The number of data divided by the weather
표 Table 4. The number of objects by class
그림 Fig. 10. Collection sources for validation data.
표 Table 5. The number of validation data constructed fromYouTube data
표 Table 6. The number of objects by class
그림 Fig. 11. Loss values as training progresses.
그림 Fig. 12. Performance metrics as learning progresses.
그림 Fig. 13. Examples of detection results for ships and distressed ships.
그림 Fig. 14. Detection results based on weather.
표 Table 7. Detection results based on distress ships
표 Table 8. The detection rate of distress ships for a model trained on Dataset A
표 Table 9. The detection rate of distress ships for a model trained on Dataset B
그림 Fig. 15. False positive examples.
그림 Fig. 16. Ship size distribution based on the weather condition of the test dataset.
표 Table 10. Detection rate based on the weather for a model trained with Dataset A
표 Table 11. Detection rate based on weather for a model trained with Dataset B
그림 Fig. 17. Distribution of object sizes of each class over the whole dataset.
그림 Fig. 18. Accuracy of each trained model with datasets A and B according to the object sizes.

AI 본문요약
AI-Helper

문제 정의

이에 따라, 해양에서 발생하는 악천후와 같은 극심한 날씨 조건에서 신속하고 정확하게 조난 선박을 탐지하기 위해, 본 연구는 해양 환경 시뮬레이터를 개발하여 데이터셋을 보강하고 조난 선박 탐지를 위한 딥러닝 모델의 성능을 개선하는 것을 목표로 한다. 조난사고 발생시 드론을 활용하여 선박을 빠르게 탐지하고 신속한 구조 작업을 지원하는 데 필요한 딥러닝 모델을 선정한다.
해양에서 발생하는 조난 상황 시 드론 영상을 활용하여 딥러닝 기반으로 침몰과 전복된 선박에 대한 탐지율을 향상시키는 연구를 수행하였다. 악천후에서 드론으로 촬영한 침몰이나 전복된 선박과 같이 실세계에서 구축하는데 한계가 있는 데이터에 대하여 시뮬레이터를 개발하여 수집하였다.

제안 방법

이에 따라 Fig. 1과 같이 조난 사고가 발생할 수 있는 다양한 환경 요소를 반영하기 위해 시뮬레이터를 개발하였다. 시뮬레이터로 개발한 해양환경은 날씨 조건(눈, 비, 안개, 맑음 등)과 선박의 상태(표류, 전복, 침몰 등)를 다양하게 구현하였다.
Fig. 7과 같이 시뮬레이터로부터 얻은 데이터를 기반으로 조난 선박의 탐지율에 미치는 영향을 비교하기 위해, 실제 드론에서 얻은 데이터셋 A와 이에 시뮬레이터에서 생성된 데이터를 추가한 데이터셋 B로 구분하여 학습을 진행하였다.
이를 기반으로 딥러닝 모델에 적합한 학습 및 검증용 데이터셋으로 구축하였다. 그 후, 수색 구조에 적합한 딥러닝 기반 객체 탐지 모델인 YOLOv8을 선정하고, 구축된 데이터셋을 활용하여 해당 모델을 학습하고 검증하였다. 모델의 성능은 실제 조난 상황에서 발생할 수 있는 환경별로 탐지 정확도를 평가하였다.
드론영상으로 조난 선박을 탐지하기 위한 딥러닝 학습데이터셋을 2종류로 나누어 구축하였다. 현실에서 구축할 수 있는 드론으로 촬영된 선박 및 조난선박에 대한 데이터셋 A와, 데이터셋 A에 시뮬레이터로부터 구축된 데이터를 추가한 데이터셋 B를 이용하여 YOLOv8 모델에 각각 학습시켰다.
이는 딥러닝 학습 데이터를 구축하기 위한 것으로, 메인 카메라를 드론의 카메라로 설정하고, 조난 선박을 탐지하는데 초점을 맞췄다. 드론은 악천후가 진행되는 상황에서 조난 선박을 탐지하는 것이 목적이므로 날씨요소(눈, 비, 안개)가 발생되는 상황에서 드론을 운용하였다. 유니티에서 구현한 카메라 설정은 고도와 각도를 조절하여 시뮬레이션상의 드론이 선박을 촬영하는 상황을 재현하였다.
드론의 카메라를 통해 선박을 수색하는 시나리오를 고려하여 유니티에서 드론 카메라를 구현하였다. 이는 딥러닝 학습 데이터를 구축하기 위한 것으로, 메인 카메라를 드론의 카메라로 설정하고, 조난 선박을 탐지하는데 초점을 맞췄다.
유니티는 다양한 3D 오브젝트(object) 및 리소스(resource)를 활용할 수 있는 오픈마켓을 제공하며, 필요한 자원을 다운로드하여 사용할 수 있다. 따라서 본 연구는 유니티를 활용하여 해양에서 발생할 수 있는 조난상황을 구현하였다. 해양에서 발생하는 조난 상황 구현하기 위하여 환경적 요소와, 조난 선박 그리고 카메라로 나누어 구성하였다.
악천후에서 드론으로 촬영한 침몰이나 전복된 선박과 같이 실세계에서 구축하는데 한계가 있는 데이터에 대하여 시뮬레이터를 개발하여 수집하였다. 수집한 데이터를 실제 데이터셋A와 시뮬레이션으로 증강된 데이터셋 B로 구분하고, 각 데이터셋을 활용하여 YOLOv8 객체 탐지 모델을 학습하였다. 데이터셋 B로 학습한 모델에서 조난 선박에 대한 탐지 성능이 전반적으로 향상되었으며, 특히 Recall은 0.
시뮬레이션 엔진으로 유니티(Unity)를 선정하여 해양에서의 조난 상황을 개발하였다. 유니티는 게임 및 시뮬레이션 개발에 널리 사용되며, 자체 내장된 물리엔진을 활용하여 현실적인 가상환경을 구현할 수 있다.
1과 같이 조난 사고가 발생할 수 있는 다양한 환경 요소를 반영하기 위해 시뮬레이터를 개발하였다. 시뮬레이터로 개발한 해양환경은 날씨 조건(눈, 비, 안개, 맑음 등)과 선박의 상태(표류, 전복, 침몰 등)를 다양하게 구현하였다. 또한 시뮬레이터에서 드론과 센서를 설정하여 드론으로 관측한 조난 상황에 대한 센서 데이터를 확보하였다.
두 가지 학습 데이터셋을 사용하여 YOLOv8 모델을 각각 학습시키고, 이를 검증하기 위해 실제 드론이 촬영한 다양한 날씨 조건에서의 표류 선박과 침몰, 전복 된 선박 영상 데이터를 활용하였다. 이러한 검증 데이터셋을 기반으로 표류 선박과 조난 선박의 탐지율을 분석하고, 날씨 조건에 따라 모델의 성능을 구분하여 평가하였다. 뿐만 아니라, 학습된 모델을 정량적으로 평가하기 위해 Recall, Precision, mean Average Precision (mAP)와 같은 성과지표를 활용하여 탐지율을 분석하였다.
검증데이터는 653장으로 조난 선박에 대하여 탐지율을 도출하기 위하여 실제 조난 상황에서 발생할 수 있는 환경과 유사한 데이터를 수집하였다. 이를 통해 모델이 실제 조난 상황에서의 조난 선박에 대한 탐지율을 분석하였다.
뿐만 아니라, 학습된 모델을 정량적으로 평가하기 위해 Recall, Precision, mean Average Precision (mAP)와 같은 성과지표를 활용하여 탐지율을 분석하였다. 이를 통해 시뮬레이터에서 구축된 조난상황에 대한 데이터셋이 실제 드론으로 촬영된 조난상황에서 선박 탐지에 미치는 영향을 체계적으로 분석하고 비교하였다.
추가적으로, 모델의 성능을 평가하기 위해 Recall, Precision, mAP 등의 딥러닝 성과 지표를 사용하여 각 모델의 탐지성능을 정량화하였다. 이를 통해 어떤 모델이 정확하고 안정적으로 조난 선박을 탐지하는지 분석하였다.
표류선박과 조난선박에 대한 탐지율을 분석하고, 다양한 날씨 조건에 대한 탐지율을 분석하였다. 추가적으로, 모델의 성능을 평가하기 위해 Recall, Precision, mAP 등의 딥러닝 성과 지표를 사용하여 각 모델의 탐지성능을 정량화하였다. 이를 통해 어떤 모델이 정확하고 안정적으로 조난 선박을 탐지하는지 분석하였다.
검증데이터셋을 이용하여 2가지 모델에 대한 검증을 진행하며 두 모델의 성능을 평가하였다. 표류선박과 조난선박에 대한 탐지율을 분석하고, 다양한 날씨 조건에 대한 탐지율을 분석하였다. 추가적으로, 모델의 성능을 평가하기 위해 Recall, Precision, mAP 등의 딥러닝 성과 지표를 사용하여 각 모델의 탐지성능을 정량화하였다.
학습을 진행하며 box loss, class loss 그리고 differential loss를 확인하였다. 그림과 같이 손실이 줄고 있는 것을 볼 수 있다.
따라서 본 연구는 유니티를 활용하여 해양에서 발생할 수 있는 조난상황을 구현하였다. 해양에서 발생하는 조난 상황 구현하기 위하여 환경적 요소와, 조난 선박 그리고 카메라로 나누어 구성하였다. 환경적 요소로는 바다 상태와 날씨 그리고 시간 조건을 포함한다.
해양에서 발생하는 조난 상황에 대비하기 위해 드론을 활용하여 자동으로 조난 선박을 탐지하는 시스템을 개발하는 과정에서, 다양한 날씨 조건과 실제 재난 상황에 대한 적절한 학습 데이터셋을 필요로 한다. 이를 위해 실제 드론 촬영으로 얻은 선박 데이터셋을 위주로 수집하였으나, 조난 선박과 악천후에 대한 데이터는 수집하는데 한계가 있다.
드론영상으로 조난 선박을 탐지하기 위한 딥러닝 학습데이터셋을 2종류로 나누어 구축하였다. 현실에서 구축할 수 있는 드론으로 촬영된 선박 및 조난선박에 대한 데이터셋 A와, 데이터셋 A에 시뮬레이터로부터 구축된 데이터를 추가한 데이터셋 B를 이용하여 YOLOv8 모델에 각각 학습시켰다. 검증데이터셋을 이용하여 2가지 모델에 대한 검증을 진행하며 두 모델의 성능을 평가하였다.

대상 데이터

검증 데이터셋은 Fig. 10과 같이 조난 사고가 발생했을 때 예상되는 상황과 유사한 영상 자료를 중점으로 수집하였다. 이를 통해 선박의 상태에 따라 침몰이나 전복된 선박과 같은 상황을 반영한 영상 자료를 확보하였다.
데이터셋 A는 Fig. 8과 같이 현실에서 수집된 드론에서 촬영된 데이터로 구성되었으며, 이는 드론 공개데이터셋, 직접 촬영한 드론영상, 웹 크롤링(Web crawling)을 통해 얻은 정보, 그리고 유튜브 영상으로부터 수집한 자료를 포함하고 있다. 드론 공개데이터셋으로 Aerial dataset of Floating Objects (AFO)를 사용하였으며 해양수색 및 구조 애플리케이션을 위해 구축된 드론 영상 기반의 데이터이다.
각각의 경로에서 취득된 데이터에는 총 3,298장이며 서핑보트, 보트, 세일링보트, 어선, 화물선, 여객선, 부선등 다양한 선종이 포함되어 있다. 이러한 선박들은 주로 표류된 상태인 경우가 많지만, 일부는 전복되거나 침몰된 상태의 선박도 포함되어 있다.
반면에, 데이터셋 B는 데이터셋 A에 추가로 시뮬레이터에서 수집한 조난 선박과 악천후 관련 데이터를 합하여 총 6,199장의 이미지를 구축하였다. 검증데이터는 653장으로 조난 선박에 대하여 탐지율을 도출하기 위하여 실제 조난 상황에서 발생할 수 있는 환경과 유사한 데이터를 수집하였다. 이를 통해 모델이 실제 조난 상황에서의 조난 선박에 대한 탐지율을 분석하였다.
학습데이터셋은 데이터셋 A와 데이터셋 B 나누어 구성하였다. 데이터셋 A는 총 3,298장의 이미지로 구성되어 있으며, 이는 현실 세계에서 직접 수집한 데이터이다. 반면에, 데이터셋 B는 데이터셋 A에 추가로 시뮬레이터에서 수집한 조난 선박과 악천후 관련 데이터를 합하여 총 6,199장의 이미지를 구축하였다.
데이터셋 A에서 취득된 3,298장의 데이터와 시뮬레이터로부터 수집된 2,901장의 데이터를 취합하여 총 6,199장의 데이터셋을 구축하였다.
데이터의 구축경로에 따라 드론 공개 데이터셋, 웹크롤링 및 유튜브 그리고 직접 드론으로 촬영하여 취득된 데이터로 나누었으며, 각각의 경로에 포함되어있는 조난선박의 유무에 따른 데이터의 수를 Table 1에 정리하였다.
두 가지 학습 데이터셋을 사용하여 YOLOv8 모델을 각각 학습시키고, 이를 검증하기 위해 실제 드론이 촬영한 다양한 날씨 조건에서의 표류 선박과 침몰, 전복 된 선박 영상 데이터를 활용하였다. 이러한 검증 데이터셋을 기반으로 표류 선박과 조난 선박의 탐지율을 분석하고, 날씨 조건에 따라 모델의 성능을 구분하여 평가하였다.
8과 같이 현실에서 수집된 드론에서 촬영된 데이터로 구성되었으며, 이는 드론 공개데이터셋, 직접 촬영한 드론영상, 웹 크롤링(Web crawling)을 통해 얻은 정보, 그리고 유튜브 영상으로부터 수집한 자료를 포함하고 있다. 드론 공개데이터셋으로 Aerial dataset of Floating Objects (AFO)를 사용하였으며 해양수색 및 구조 애플리케이션을 위해 구축된 드론 영상 기반의 데이터이다. 그러나 공개 데이터셋의 경우 사고가 많이 발생하는 어선과 같은 선종은 포함되어 있지 않았기 때문에, 직접 드론으로 촬영하여 데이터셋에 추가하였다.
조난사고 발생시 드론을 활용하여 선박을 빠르게 탐지하고 신속한 구조 작업을 지원하는 데 필요한 딥러닝 모델을 선정한다. 딥러닝 모델 학습을 위해 해양에서 발생하는 실제 조난 상황과 유사한 데이터를 온라인에서 수집한다. 악천후와 조난선박과 같은 반영하기 어려운 데이터는 다양한 날씨 조건과 선박 상태를 고려한 시뮬레이터를 구축하여 학습 데이터셋을 확보한다.
현실에서 조난선박에 대한 데이터를 구축하는 것은 한계가 있으며 드론으로 촬영한 조난 선박 데이터를 구축하는 것은 더욱 어렵다. 또한 눈, 비, 안개와 같이 악천후인 날씨에서 드론으로 선박을 조난 선박을 촬영한 데이터가 많지 않아 데이터셋 A에는 맑은 날씨에서 취득된 데이터만 사용하였다.
시뮬레이터로 개발한 해양환경은 날씨 조건(눈, 비, 안개, 맑음 등)과 선박의 상태(표류, 전복, 침몰 등)를 다양하게 구현하였다. 또한 시뮬레이터에서 드론과 센서를 설정하여 드론으로 관측한 조난 상황에 대한 센서 데이터를 확보하였다. 이를 기반으로 딥러닝 모델에 적합한 학습 및 검증용 데이터셋으로 구축하였다.
그러나 공개 데이터셋의 경우 사고가 많이 발생하는 어선과 같은 선종은 포함되어 있지 않았기 때문에, 직접 드론으로 촬영하여 데이터셋에 추가하였다. 또한, 침몰이나 전복된 조난 선박과 같은 경우 직접 취득하기 어려워서 크롤링하거나 유튜브 영상을 활용하여 데이터를 수집하였다.
데이터셋 A는 총 3,298장의 이미지로 구성되어 있으며, 이는 현실 세계에서 직접 수집한 데이터이다. 반면에, 데이터셋 B는 데이터셋 A에 추가로 시뮬레이터에서 수집한 조난 선박과 악천후 관련 데이터를 합하여 총 6,199장의 이미지를 구축하였다. 검증데이터는 653장으로 조난 선박에 대하여 탐지율을 도출하기 위하여 실제 조난 상황에서 발생할 수 있는 환경과 유사한 데이터를 수집하였다.
유튜브로부터 7개의 영상을 수집하였으며 영상을 1초마다 캡쳐하여 이미지로 변경하였다. 수집된 영상에서는 조난 선박과 날씨에 대한 내용을 동시에 포함하고 있는 영상을 수집하는데 한계가 있어 각각을 따로 수집하였다. 조난 선박과 악천후인 눈, 비, 안개에 따라 구분하여 데이터 수를 Table 5에 정리하였다.
시뮬레이션에 적용할 선박은 Fig. 3과 같이 통계청에서 제공하는 통계자료를 참고하여 최근 5년간 선박 용도별 사고현황에서 사고가 많이 발생하는 어선 위주로 하였다.
해양에서 발생하는 조난 상황 시 드론 영상을 활용하여 딥러닝 기반으로 침몰과 전복된 선박에 대한 탐지율을 향상시키는 연구를 수행하였다. 악천후에서 드론으로 촬영한 침몰이나 전복된 선박과 같이 실세계에서 구축하는데 한계가 있는 데이터에 대하여 시뮬레이터를 개발하여 수집하였다. 수집한 데이터를 실제 데이터셋A와 시뮬레이션으로 증강된 데이터셋 B로 구분하고, 각 데이터셋을 활용하여 YOLOv8 객체 탐지 모델을 학습하였다.
딥러닝 모델 학습을 위해 해양에서 발생하는 실제 조난 상황과 유사한 데이터를 온라인에서 수집한다. 악천후와 조난선박과 같은 반영하기 어려운 데이터는 다양한 날씨 조건과 선박 상태를 고려한 시뮬레이터를 구축하여 학습 데이터셋을 확보한다. 시뮬레이션을 통해 얻은 현실적이고 다양한 데이터를 활용하여 딥러닝 모델을 학습시켜 악천후 상황에서의 선박 탐지 성능을 향상하였다.
유튜브로부터 7개의 영상을 수집하였으며 영상을 1초마다 캡쳐하여 이미지로 변경하였다. 수집된 영상에서는 조난 선박과 날씨에 대한 내용을 동시에 포함하고 있는 영상을 수집하는데 한계가 있어 각각을 따로 수집하였다.
Table 3에서 눈, 비, 안개와 같은 악천후는 동일한 비율로 수집하였으나, 선박의 시각적 구분이 모호해져 선박과 조난 선박을 명확히 구분하기 어렵다. 이에 따라 맑은 날씨 조건에서 선박과 조난 선박에 대한 학습데이터를 추가로 수집하였다.
이에 따라, 해양에서 발생하는 악천후와 같은 극심한 날씨 조건에서 신속하고 정확하게 조난 선박을 탐지하기 위해, 본 연구는 해양 환경 시뮬레이터를 개발하여 데이터셋을 보강하고 조난 선박 탐지를 위한 딥러닝 모델의 성능을 개선하는 것을 목표로 한다. 조난사고 발생시 드론을 활용하여 선박을 빠르게 탐지하고 신속한 구조 작업을 지원하는 데 필요한 딥러닝 모델을 선정한다. 딥러닝 모델 학습을 위해 해양에서 발생하는 실제 조난 상황과 유사한 데이터를 온라인에서 수집한다.
이를 통해 선박의 상태에 따라 침몰이나 전복된 선박과 같은 상황을 반영한 영상 자료를 확보하였다. 조난상황시 발생할 수 있는 악천후와 같은 기상 조건에서 드론으로 선박을 촬영한 영상을 유튜브를 통해 수집하였다.

데이터처리

다양한 YOLO 버전 중에서는 최신 버전인 YOLOv8을 사용하였다. YOLOv8의 수색구조 적합 여부를 확인하기 위해 해양 경찰이 사용하는 카메라를 기준으로 추론 속도를 분석하였다. 해양 경찰이 사용하는 카메라는 1초당 25프레임을 추출하며, 1프레임이 추출되는 시간은 40 ms이다.
현실에서 구축할 수 있는 드론으로 촬영된 선박 및 조난선박에 대한 데이터셋 A와, 데이터셋 A에 시뮬레이터로부터 구축된 데이터를 추가한 데이터셋 B를 이용하여 YOLOv8 모델에 각각 학습시켰다. 검증데이터셋을 이용하여 2가지 모델에 대한 검증을 진행하며 두 모델의 성능을 평가하였다. 표류선박과 조난선박에 대한 탐지율을 분석하고, 다양한 날씨 조건에 대한 탐지율을 분석하였다.
다음으로 객체 크기에 따라 탐지 정확도에 미치는 영향을 분석하였다. 데이터셋 A와 B로 각각 학습한 모델을 검증데이터로 평가한 결과를 객체 크기에 따라 분석하였다. Fig.
그 후, 수색 구조에 적합한 딥러닝 기반 객체 탐지 모델인 YOLOv8을 선정하고, 구축된 데이터셋을 활용하여 해당 모델을 학습하고 검증하였다. 모델의 성능은 실제 조난 상황에서 발생할 수 있는 환경별로 탐지 정확도를 평가하였다.
그림과 같이 손실이 줄고 있는 것을 볼 수 있다. 학습된 모델의 성능을 검증하기 위하여 시뮬레이션 데이터셋을 이용하였고, Precision, Recall, mAP50에 대한 성과지표를 기준으로 성능을 검증하였다. Fig.

이론/모형

다양한 객체 탐지 모델 중 YOLO는 실시간으로 객체를 탐지하고 다중 객체를 식별하는 데 적합하며, 이러한 특성으로 YOLO 모델을 선택하였다. 다양한 YOLO 버전 중에서는 최신 버전인 YOLOv8을 사용하였다. YOLOv8의 수색구조 적합 여부를 확인하기 위해 해양 경찰이 사용하는 카메라를 기준으로 추론 속도를 분석하였다.
객체 탐지 기술은 이미지 내에서 객체를 식별하고 해당 객체의 위치 좌표를 반환하는 기술로, 분류와 위치 파악을 동시에 수행한다. 다양한 객체 탐지 모델 중 YOLO는 실시간으로 객체를 탐지하고 다중 객체를 식별하는 데 적합하며, 이러한 특성으로 YOLO 모델을 선택하였다. 다양한 YOLO 버전 중에서는 최신 버전인 YOLOv8을 사용하였다.
이러한 검증 데이터셋을 기반으로 표류 선박과 조난 선박의 탐지율을 분석하고, 날씨 조건에 따라 모델의 성능을 구분하여 평가하였다. 뿐만 아니라, 학습된 모델을 정량적으로 평가하기 위해 Recall, Precision, mean Average Precision (mAP)와 같은 성과지표를 활용하여 탐지율을 분석하였다. 이를 통해 시뮬레이터에서 구축된 조난상황에 대한 데이터셋이 실제 드론으로 촬영된 조난상황에서 선박 탐지에 미치는 영향을 체계적으로 분석하고 비교하였다.
조난선 탐지를 위해 컴퓨터 비전 영상 인식 기술 중 객체 탐지 기술을 활용하였다. 객체 탐지 기술은 이미지 내에서 객체를 식별하고 해당 객체의 위치 좌표를 반환하는 기술로, 분류와 위치 파악을 동시에 수행한다.

성능/효과

(2022)은 시뮬레이션 엔진을 사용하여 다양한 선박과 다양한 기상 및 조명 조건으로 데이터셋을 수집하였다. YOLOv5를 학습시킨 결과, 실제 이미지와 시뮬레이션 이미지를 조합한 것이 모든 클래스의 탐지율이 2.9% 향상되었다. 이러한 연구들은 시뮬레이터를 개발하여 딥러닝 학습 데이터를 구축하는 데 있어서 효과적임을 증명하였다.
수집한 데이터를 실제 데이터셋A와 시뮬레이션으로 증강된 데이터셋 B로 구분하고, 각 데이터셋을 활용하여 YOLOv8 객체 탐지 모델을 학습하였다. 데이터셋 B로 학습한 모델에서 조난 선박에 대한 탐지 성능이 전반적으로 향상되었으며, 특히 Recall은 0.565에서 0.666으로 크게 개선되었다. 중복탐지와 오탐지가 다소 많았지만 이는 선박과 조난선박을 명확히 구분하기 어렵기 때문이었다.
Table 7은 조난 선박을 기준으로 하여 추론한 결과를 정리하였다. 데이터셋 B으로 학습된 모델이 검증데이터에 존재하는 조난선박 336건에 대하여 탐지된 조난 선박의 수가 높았다. 중복탐지는 조난 선박에 대하여 선박과 조난 선박의 클래스가 동시에 추론된 것을 의미하며 데이터셋 B가 8건 더 많았다.
이에 따라 드론을 이용하여 선박을 탐지하는 연구가 활발히 진행되고 있다. 드론 영상을 이용하여 선박 탐지 모니터링 모델을 만들기 위하여 Convolutional Neural Network (CNN) 기반 새로운 딥러닝 모델을 구성하였고 검증한 결과, 99%의 정확도를 달성하였다(Woźniak et al., 2022). 이러한 선박 탐지 모델은 드론 영상의 특성을 고려하여 You Only Look Once version5 (YOLOv5)의 아키텍처 중 Backbone을 수정하여 새로운 객체탐지 모델로 제작되었고, 이로써 탐지 정확도가 개선되었다(Li et al.
해양에서의 수색 구조 특성을 고려하였을 때, 과소 추정보다는 과대 추정이 유용하다고 판단된다. 따라서 데이터셋 B에서의 미탐지 수가 적은 것으로 보아, 시뮬레이터를 통해 추가로 조난선박에 대한 데이터를 수집하고 학습시킨 것이 효과적이었다는 결론을 얻을 수 있다.
데이터셋 B의 경우 선박이 아닌 객체에 대한 오탐지비율은 높지만, 수색 구조의 관점에서 조난 선박이 누락되는 것보다 조난 선박이 아닌 객체에 대한 과도한 탐지가 더욱 효과적일 수 있다. 따라서 정성적 평가를 통해 시뮬레이터로 구축된 데이터셋이 조난 선박을 탐지하는 데 효과적임을 확인할 수 있다. 다음으로 클래스 종류에 대하여 Table 10, 11과 같이 세 가지 성능지표 Precision, Recall, mAP50을 통해 모델을 검증하였다.
해양에서의 수색 구조 특성을 고려할 때, 과소 추정보다는 오탐지가 다소 있더라도 과대 추정되는 모델이 적합하다고 판단된다. 또한 데이터셋 B로 학습한 모델은 비, 안개 등 비정형 기상 조건에서 성능이 향상되었으며, 작은 객체를 탐지에 있어서도 우수함을 확인하였다. 개발된 시뮬레이터는 다양한 기상조건, 선박상태, 객체크기에 따른 균형있는 학습 데이터를 생성하는데 효과적이고, 이를 통해 학습한 모델은 해양 수색 구조에 요구되는 조난 선박 탐지에 효율적으로 활용될 것으로 기대된다.
악천후와 조난선박과 같은 반영하기 어려운 데이터는 다양한 날씨 조건과 선박 상태를 고려한 시뮬레이터를 구축하여 학습 데이터셋을 확보한다. 시뮬레이션을 통해 얻은 현실적이고 다양한 데이터를 활용하여 딥러닝 모델을 학습시켜 악천후 상황에서의 선박 탐지 성능을 향상하였다.
(2020)은 자율주행 위한 대용량 및 다양한 콘텐츠를 포함하는 데이터셋을 구축하기 위하여 게임엔진을 사용하였고 다양한 지형과 날씨 조건을 반영한 이미지 데이터 300,000장을 생성하였다. 이 연구에서는 가상 데이터와 실제 데이터를 함께 학습시킨 결과, 실제 데이터만을 학습시킨 것보다 성능이 향상되었다.
9% 향상되었다. 이러한 연구들은 시뮬레이터를 개발하여 딥러닝 학습 데이터를 구축하는 데 있어서 효과적임을 증명하였다. 그러나 기존에 시뮬레이션의 딥러닝 학습 데이터셋은 실제 환경과의 이질성으로 인해 한계가 있었다.
(2021)은 딥러닝 학습 데이터셋 구축을 위해 3D 선박을 2D로 변환하고, 실제 이미지를 배경으로하여 합성된 선박 이미지를 생성하였다. 합성이미지에서 구축된 데이터셋으로 학습된 모델이 이미지 생성모델인 Cycle Generative Adversarial Network (Cycle GAN)으로부터 구축된 데이터셋으로 학습된 모델보다 우수한 성능을 보여주었다. Raza et al.

후속연구

또한 데이터셋 B로 학습한 모델은 비, 안개 등 비정형 기상 조건에서 성능이 향상되었으며, 작은 객체를 탐지에 있어서도 우수함을 확인하였다. 개발된 시뮬레이터는 다양한 기상조건, 선박상태, 객체크기에 따른 균형있는 학습 데이터를 생성하는데 효과적이고, 이를 통해 학습한 모델은 해양 수색 구조에 요구되는 조난 선박 탐지에 효율적으로 활용될 것으로 기대된다.
해양에서 발생하는 조난 상황에 대비하기 위해 드론을 활용하여 자동으로 조난 선박을 탐지하는 시스템을 개발하는 과정에서, 다양한 날씨 조건과 실제 재난 상황에 대한 적절한 학습 데이터셋을 필요로 한다. 이를 위해 실제 드론 촬영으로 얻은 선박 데이터셋을 위주로 수집하였으나, 조난 선박과 악천후에 대한 데이터는 수집하는데 한계가 있다. 이에 따라 Fig.

참고문헌 (14)

Chang, Y. L., Anagaw, A., Chang, L., Wang, Y. C.,？Hsiao, C. Y., and Lee, W. H., 2019. Ship detection？based on YOLOv2 for SAR imagery. Remote？Sensing, 11(7), 786. https://doi.org/10.3390/rs11070786

상세보기
Chen, Z., Chen, D., Zhang, Y., Cheng, X., Zhang, M.,？and Wu, C., 2020. Deep learning for autonomous？ship-oriented small ship detection. Safety Science,？130, 104812. https://doi.org/10.1016/j.ssci.2020.104812

상세보기
Cheng, S., Zhu, Y., and Wu, S., 2023. Deep learning based？efficient ship detection from drone-captured images？for maritime surveillance. Ocean Engineering,？285, 115440. https://doi.org/10.1016/j.oceaneng.2023.115440

상세보기
Lee, M. H., and Lee, K. M., 2016. A study on the？maritime security and safety with unmanned？aircraft. Korean Association of Maritime Police？Science, 6(3), 125-142. http://www.maritimepolice.kr/html/sub3_01.html?pageNmarticle&code297631&Page6&year&issue&searchType&searchValue&journal1
Li, H., Deng, L., Yang, C., Liu, J., and Gu, Z., 2021.？Enhanced YOLO v3 tiny network for real-time？ship detection from visual image. IEEE Access,？9, 16692-16706. https://doi.org/10.1109/ACCESS.2021.3053956

상세보기
Li, Y., Yuan, H., Wang, Y., and Xiao, C., 2022. GGT-YOLO: A novel object detection algorithm for？drone-based maritime cruising. Drones, 6(11), 335. https://doi.org/10.3390/drones6110335

상세보기
Liu, D., Cui, Y., Cao, Z., and Chen, Y., 2020. A large-scale simulation dataset: Boost the detection？accuracy for special weather conditions. In？Proceedings of the 2020 International Joint？Conference on Neural Networks (IJCNN), Glasgow,？UK, July 19-24, pp. 1-8. https://doi.org/10.1109/IJCNN48605.2020.9206716
Noueihed, H., Harb, H., and Tekli, J., 2022. Knowledge-based virtual outdoor weather event simulator？using unity 3D. The Journal of Supercomputing,？78, 10620-10655. https://doi.org/10.1007/s11227-021-04212-6

상세보기
Poudel, R., Lima, L., and Andrade, F., 2023. A novel？framework to evaluate and train object detection？models for real-time victims search and rescue？at sea with autonomous unmanned aerial systems？using high-fidelity dynamic marine simulation？environment. In Proceedings of the 2023 IEEE/CVF Winter Conference on Applications of？Computer Vision Workshops, Waikoloa, HI, USA,？Jan. 3-7, pp. 239-247. https://doi.org/10.1109/WACVW58289.2023.00030
Raza, M., Prokopova, H., Huseynzade, S., Azimi, S., and？Lafond, S., 2022. SimuShips - A high resolution？simulation dataset for ship detection with precise？annotations. In Proceedings of the 2022 OCEANS,？Hampton Roads, Hampton Roads, VA, USA, Oct.？17-20, pp. 1-5. https://doi.org/10.1109/OCEANS47191.2022.9977182
Trong, T. D., Tran Hai, Q., Duc N. T., and Trong？Thanh, H., 2021. A novelty approach to emulate？field data captured by unmanned aerial vehicles？for training deep learning algorithms used for？search-and-rescue activities at sea. In Proceedings？of the 2020 IEEE 8th International Conference？on Communications and Electronics (ICCE), Phu？Quoc Island, Vietnam, Jan. 13-15, pp. 288-293.？https://doi.org/10.1109/ICCE48956.2021.9352109
You, J. A., Hu, Z., Peng, C., and Wang, Z., 2021.？Generation and annotation of simulation-real？ship images for convolutional neural networks？training and testing. Applied Sciences, 11(13), 5931. https://doi.org/10.3390/app11135931

상세보기
Wang, B., Han, B., and Yang, L., 2021. Accurate real-time？ship target detection using Yolov4. In Proceedings？of the 2021 6th International Conference on？Transportation Information and Safety (ICTIS),？Wuhan, China, Oct. 22-24, pp. 222-227. https://doi.org/10.1109/ICTIS54573.2021.9798495
Wozniak, M., Wieczorek, M., and Silka, J., 2022. Deep？neural network with transfer learning in remote？object detection from drone. In Proceedings of？the 5th International ACM Mobicom Workshop？on Drone Assisted Wireless Communications for？5G and Beyond, New York, NY, USA, Oct. 17-21, pp. 121-126. https://doi.org/10.1145/3555661.3560875

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증