[논문]YOLO를 이용한 SAR 영상의 선박 객체 탐지: 편파별 모델 구성과 정확도 특성 분석

임윤교; 윤유정; 강종구; 김서연; 정예민; 최소연; 서영민; 이양원

doi:10.7780/kjrs.2023.39.5.3.9

YOLO를 이용한 SAR 영상의 선박 객체 탐지: 편파별 모델 구성과 정확도 특성 분석
Ship Detection from SAR Images Using YOLO: Model Constructions and Accuracy Characteristics According to Polarization 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.39 no.5/1, 2023년, pp.997 - 1008

임윤교 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 윤유정 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 강종구 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 김서연 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 정예민 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 최소연 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 서영민 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 이양원 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공)

초록
AI-Helper

해상의 선박탐지는 다양한 방법으로 수행될 수 있는데, 위성은 광역적인 감시가 가능하고, 특히 합성개구레이더(Synthetic Aperture Radar, SAR) 영상은 주야간 및 전천후로 활용될 수 있다. 본 연구에서는 SAR 영상으로부터 효율적인 선박 탐지 방법을 제시하기 위하여, Sentinel-1 영상에 You Only Look Once Version 5 (YOLOv5) 모델을 적용하여 선박 탐지를 수행하고, 편파별 개별 모델과 통합 모델의 차이 및 편파별 정확도 특성을 분석하였다. 파라미터가 작고 가벼운 YOLOv5s와 파라미터가 많지만 정확도가 높은 YOLOv5x 두가지 모델에 대하여 각각 (1) HH, HV, VH, VV 각 편파별로 나누어 학습/검증 및 평가 그리고 (2) 모든 편파의 영상을 사용하여 학습/검증 및 평가를 실시한 결과, 네 가지 실험에서 모두 0.977 ≤ AP@0.5 ≤ 0.998의 비슷하면서 매우 높은 정확도를 나타냈다. 이러한 결과를 현업시스템의 관점에서 보면, 가벼운 YOLO 모델(YOLOv5s, YOLOv8s 등)로 4개 편파 통합 모델을 구축하는 것이 실시간 선박탐지에 효과적임을 시사하는 것이다. 이 실험에서 사용한 영상은 19,582장이었지만, Sentinel-1 이외에도 Capella, ICEYE 등 다른 SAR 영상을 추가적으로 활용한다면, 보다 더 유연하고 정확한 선박 탐지 모델이 구축될 수 있을 것이다.

Abstract ▼ AI-Helper

Ship detection at sea can be performed in various ways. In particular, satellites can provide wide-area surveillance, and Synthetic Aperture Radar (SAR) imagery can be utilized day and night and in all weather conditions. To propose an efficient ship detection method from SAR images, this study aimed to apply the You Only Look Once Version 5 (YOLOv5) model to Sentinel-1 images and to analyze the difference between individual vs. integrated models and the accuracy characteristics by polarization. YOLOv5s, which has fewer and lighter parameters, and YOLOv5x, which has more parameters but higher accuracy, were used for the performance tests (1) by dividing each polarization into HH, HV, VH, and VV, and (2) by using images from all polarizations. All four experiments showed very similar and high accuracy of 0.977 ≤ AP@0.5 ≤ 0.998. This result suggests that the polarization integration model using lightweight YOLO models can be the most effective in terms of real-time system deployment. 19,582 images were used in this experiment. However, if other SAR images,such as Capella and ICEYE, are included in addition to Sentinel-1 images, a more flexible and accurate model for ship detection can be built.

주제어

표/그림 (14)

그림 Fig. 1. Images of σ₀ (calibrated backscattering coefficient) for HH, HV, VH, and VV polarizations for the same ship (Wang et al., 2019).
그림 Fig. 2. Images of CAS dataset for the polarization: (a) HH, (b) HV, (c) VH, and (d) VV. Images (a) and (b) were obtained on the same date, and (c) and (d) were obtained on the same date.
그림 Fig. 3. Various types of ship images: (a) ships docked in port, (b) ships near port or ground, and (c) ships on the sea surface.
표 Table 1. Image data used in this study
그림 Fig. 4. Architecture of YOLOv5.
표 Table 2. Configure validity metrics for image data (AI Hub, 2023).
그림 Fig. 5. YOLOv5s prediction images with bounding boxes: (a) ground truth, (b) four models (created by each polarization), (c) all models (created with all polarizations).
표 Table 3. Test performance of the four YOLOv5s models constructed for each polarization
표 Table 4. Test performance of one single YOLOv5s model constructed using all polarization images
그림 Fig. 6. YOLOv5x prediction images with bounding boxes: (a) ground truth, (b) four models (created by each polarization), andj (c) all models (created with all polarizations).
표 Table 5. Test performance of the four YOLOv5x models constructed for each polarization
표 Table 6. Test performance of one single YOLOv5x model constructed using all polarization images
그림 Fig. 7. Comparison of predictions of ground truth and YOLOv5 All models: detection results were compared in various ship images, All model means created with all polarization. (a) Large ship docked in port. (b) Small ship docked in port. (c) Ship near the ground. (d) Various sizes of ships on the sea surface.
그림 Fig. 8. Examples of false alarms and missed ships. The plum rectangles indicate the ground truth, and the red rectangles indicate the model prediction. (a) Buildings and ships near a port. (b) Confusion of a ship and its wake.

AI 본문요약
AI-Helper

문제 정의

이에 본 연구에서는 Sentinel-1 SAR 영상의 선박 데이터셋에 대해 YOLOv5 모델을 적용하여 선박 탐지를 수행하고, 편파별 모델 구성과 정확도 특성을 분석함으로써 향후 현업시스템 구축에 있어 레퍼런스를 제공하고자 한다.

제안 방법

본 연구에서는 파라미터가 작고 가벼운 YOLOv5s와 파라미터가 많지만 정확도가 높은 YOLOv5x 두가지 모델을 사용하였다. 각 모델은 다시 (1) HH, HV, VH, VV 각 편파별로 나누어 학습/검증 및 평가를 수행하는 실험과 (2) 모든 편파의 영상을 사용하여 학습/검증 및 평가를 실시하는 실험으로 나누어 진행하였다. 두 실험 모두 4가지 각 편파마다 데이터셋을 8:1:1로 셔플링 함으로써 훈련/검증/평가 데이터셋이 편파별로 고르게 분포하도록 하였다.
본 연구에서는 Microsoft Common Objects in Context (MS COCO) 데이터셋으로 사전훈련된(pre-trained) 가중치를 초기치로 사용하는 전이학습(transfer learning)을 수행하여 효율적인 탐지가 가능하도록 하였다. 에퍽(epoch) 1회는 전량의 훈련 자료를 투입하여 가중치를 조정한 후 검증을 수행하는 것으로, 최대 에퍽 수는 300으로 설정하였다.
본 연구에서는 SAR 영상으로부터 효율적인 선박 탐지 방법을 제시하기 위하여, Sentinel-1 영상에 YOLOv5 모델을 적용하여 선박 탐지를 수행하고, 편파별 개별 모델과 통합 모델의 차이 및 편파별 정확도 특성을 분석하였다. 파라미터가 작고 가벼운 YOLOv5s와 파라미터가 많지만 정확도가 높은 YOLOv5x 두가지 모델에 대하여 각각 (1) HH, HV, VH, VV 각 편파별로 나누어 학습/검증 및 평가, 그리고 (2) 모든 편파의 영상을 사용하여 학습/검증 및 평가를 실시한 결과, 네 가지 실험에서 모두 0.

대상 데이터

CAS 선박 데이터셋 19,582장은 HH 9,486장, HV 8,820장, VH 635장, VV 641장으로 구성되어 있으며, 각 편파별로 8:1:1로 셔플링하여 Table 1과 같이 훈련/검증/평가 영상으로 구분하여 실험을 진행하였다. 모든 영상의 바운딩 박스(bounding box)의 위치와 크기 정보를 나타내는 Text File (txt) 포맷의 레이블을 가진다.
본 연구에서는 파라미터가 작고 가벼운 YOLOv5s와 파라미터가 많지만 정확도가 높은 YOLOv5x 두가지 모델을 사용하였다. 각 모델은 다시 (1) HH, HV, VH, VV 각 편파별로 나누어 학습/검증 및 평가를 수행하는 실험과 (2) 모든 편파의 영상을 사용하여 학습/검증 및 평가를 실시하는 실험으로 나누어 진행하였다.

이론/모형

선박 탐지 모델의 학습과 평가에 대한 성능지표로는 정밀도(precision), 재현율(recall), Average Precision (AP)을 사용하였다. 객체 탐지에서는 예측 바운딩박스와 레이블 바운딩박스의 교집합 대 합집합 비율(IoU)이 일정 임계치 이상이면(예를 들어, 0.

성능/효과

YOLOv5s와 YOLOv5x의 통합 모델로 항구에 정박되어 있거나 항구 근처에 위치하거나, 해면에 위치한 다양한 상태와 크기의 선박을 탐지한 결과, 대체로 0.80 이상의 높은 정확도로 선박을 탐지해냈다(Fig. 7).
979). 이러한 결과는 4가지 편파를 합쳐서 단일한 YOLOv5s 모델을 수립하는 것이 4개의 개별 모델을 만드는 것보다 현업활용에 있어서 보다 더 간편하고 효율적임을 의미한다. Fig.
이처럼 편파별 모델과 통합 모델의 비교분석 및 성능평가는 선행연구에서 명확히 제시되지 않은 본연구만의 성과라고 할 수 있다. 이러한 결과를 현업시스템의 관점에서 보면, 가벼운 YOLO 모델(YOLOv5s, YOLOv8s 등)로 4개 편파 통합 모델을 구축하는 것이 실시간 선박탐지에 효과적임을 시사하는 것이다. 이 실험에서 사용한 영상은 19,582장이었지만, Sentinel-1 이외에도 Capella, ICEYE 등 다른 초소형 위성의 고해상도 SAR 영상을 추가적으로 사용한다면 보다 유연하고 정확한 선박 탐지 모델이 구축될 수 있을 것이며, 이를 AIS 등과 연계하여 불법선박 탐지에 활용할 수 있을 것이다.
파라미터가 작고 가벼운 YOLOv5s와 파라미터가 많지만 정확도가 높은 YOLOv5x 두가지 모델에 대하여 각각 (1) HH, HV, VH, VV 각 편파별로 나누어 학습/검증 및 평가, 그리고 (2) 모든 편파의 영상을 사용하여 학습/검증 및 평가를 실시한 결과, 네 가지 실험에서 모두 0.977 ≤ AP@0.5 ≤ 0.998의 비슷하면서 매우 높은 정확도를 나타냈다
Table 3은 YOLOv5s를 사용하여 각 편파별 4개 개별 모델을 만들어 학습과 평가를 수행한 결과이고, Table 4는 모든 편파의 영상을 합쳐서 하나의 통합 모델을 만들어 학습과 평가를 수행한 결과이다. 편파별로 비교해 보았을 때, 전반적인 성능을 나타내는 지표인 AP@0.5가 모든 편파에서 비슷하게 나타났으며 모두 0.980 이상의 높은 정확도를 보여주었다. Table 3을 통해 볼 때, 각 편파에 맞추어 특징을 학습함으로써 높은 정확도를 보인 것으로 확인되었는데, Table 4에서는 모든 편파의 영상이 다같이 들어있는 경우에도 역시 동일한 수준의 높은 정확도를 보였다(AP@0.

후속연구

이 실험에서 사용한 영상은 19,582장이었지만, Sentinel-1 이외에도 Capella, ICEYE 등 다른 초소형 위성의 고해상도 SAR 영상을 추가적으로 사용한다면 보다 유연하고 정확한 선박 탐지 모델이 구축될 수 있을 것이며, 이를 AIS 등과 연계하여 불법선박 탐지에 활용할 수 있을 것이다. SAR 영상에 육지의 건물과 선박이 같이 존재할 때 이를 보다 더 잘 분별하기 위한 알고리즘이나, 영상 내에서 선박과 후류를 구분할 수 있는 알고리즘의 개선도 향후과제로 필요할 것이다.
육지나 항구 근처의 경우 건물 등으로 인한 다양한 높낮이를 가져 표면이 거칠고, 선박이 이동하면서 뒤쪽에 생기는 후류(wake)의 경우는 파도 같은 형태로 주변의 바다에 비해 표면 거칠기가 크다. 따라서 향후 선박의 오탐지 및 미탐지의 경우에 대한 개선이 필요할 것이다.
이러한 결과를 현업시스템의 관점에서 보면, 가벼운 YOLO 모델(YOLOv5s, YOLOv8s 등)로 4개 편파 통합 모델을 구축하는 것이 실시간 선박탐지에 효과적임을 시사하는 것이다. 이 실험에서 사용한 영상은 19,582장이었지만, Sentinel-1 이외에도 Capella, ICEYE 등 다른 초소형 위성의 고해상도 SAR 영상을 추가적으로 사용한다면 보다 유연하고 정확한 선박 탐지 모델이 구축될 수 있을 것이며, 이를 AIS 등과 연계하여 불법선박 탐지에 활용할 수 있을 것이다. SAR 영상에 육지의 건물과 선박이 같이 존재할 때 이를 보다 더 잘 분별하기 위한 알고리즘이나, 영상 내에서 선박과 후류를 구분할 수 있는 알고리즘의 개선도 향후과제로 필요할 것이다.

참고문헌 (20)

AI Hub, 2023. Artificial intelligence training data quality？management guidelines and construction guide？book v3.0. Available online: https://aihub.or.kr/aihubnews/qlityguidance/view.do?nttSn10125？(accessed on Oct. 1, 2023).
Chang, Y.-L., Anagaw, A., Chang, L., Wang, Y., Hsiao,？C.-Y., and Lee, W.-H., 2019. Ship detection based？on YOLOv2 for SAR imagery. Remote Sensing,？11(7), 786. https://doi.org/10.3390/rs11070786

상세보기
Cui, Y., Zhou, G., Yang, J., and Yamaguchi, Y., 2011.？On the iterative censoring for target detection？in SAR images. IEEE Geoscience and Remote？Sensing Letters, 8(4), 641-645. https://doi.org/10.1109/LGRS.2010.2098434

상세보기
Di Bisceglie, M., and Galdi, C., 2005. CFAR detection？of extended objects in high-resolution SAR images.？IEEE Transactions on Geoscience and Remote？Sensing, 43(4), 833-843. https://doi.org/10.1109/TGRS.2004.843190

상세보기
Gao, G., 2010. A parzen-window-kernel-based CFAR？algorithm for ship detection in SAR images.？IEEE Geoscience and Remote Sensing Letters,？8(3), 557-561. https://doi.org/10.1109/LGRS.2010.2090492

상세보기
Girshick, R., Donahue, J., Darrell, T., and Malik, J., 2014. Rich feature hierarchies for accurate？object detection and semantic segmentation. In？Proceedings of the 2014 IEEE Conference on？Computer Vision and Pattern Recognition,？Columbus, OH, USA, June 23-28, pp. 580-587.？https://doi.org/10.1109/CVPR.2014.81
Hwang, J.-I., Chae, S.-H., Kim, D., and Jung, H.-S., 2017. Application of artificial neural networks to？ship detection from X-band Kompsat-5 imagery.？Applied Sciences, 7(9), 961. https://doi.org/10.3390/app7090961

상세보기
Jiang, S., Zhu, M., He, Y., Zheng, Z., Zhou, F., and？Zhou, G., 2020. Ship detection with SAR based？on YOLO. In Proceedings of the 2020 IEEE？International Geoscience and Remote Sensing？Symposium, Waikoloa, HI, USA, Sept. 26-Oct. 2,？pp. 1647-1650. https://doi.org/10.1109/IGARSS39084.2020.9324538
Jocher, G., 2020. YOLOv5 by ultralytics. Available online:？https://github.com/ultralytics/yolov5 (accessed on？Oct. 1, 2023).
Kang, M., Ji, K., Leng, X., and Lin, Z., 2017. Contextual？region-based convolutional neural network with？multilayer fusion for SAR ship detection. Remote？Sensing, 9(8), 860. https://doi.org/10.3390/rs9080860

상세보기
Khesali, E., Enayati, H., Modiri, M., and Mohseni A.？M., 2015. Automatic ship detection in single-pol？SAR images using texture features in artificial？neural networks. The International Archives of？the Photogrammetry, Remote Sensing and Spatial？Information Sciences, 40, 395-399. https://doi.org/10.5194/isprsarchives-XL-1-W5-395-2015

상세보기
Kim, J. Y., Jung, S. H., and Sim, C. B., 2020. A study？on object detection using restructured RetinaNet.？Journal of Korea Multimedia Society, 23(12),？1531-1539. https://doi.org/10.9717/kmms.2020.23.12.1531

원문보기 상세보기
Kim, S. W., Kim, D. H., and Lee. Y. K., 2018. Operational？ship monitoring based on integrated analysis of？KOMPSAT-5 SAR and AIS data. Korean Journal？of Remote Sensing, 34(2-2), 327-338. https://doi.org/10.7780/kjrs.2018.34.2.2.3

원문보기 상세보기
Lee, Y. K., Kim, S. W., and Hyung. R. J., 2018. Report？of wave glider detecting by KOMPSAT-5 spotlight？mode SAR image. Korean Journal of Remote？Sensing, 34(2-2), 431-437. https://doi.org/10.7780/kjrs.2018.34.2.2.10

원문보기 상세보기
Li, J., Qu, C., and Shao, J., 2017. Ship detection in？SAR images based on an improved faster R-CNN.？In Proceedings of the 2017 SAR in Big Data Era:？Models, Methods and Applications (BIGSARDATA),？Beijing, China, Nov. 13-14, pp. 1-6. https://doi.org/10.1109/BIGSARDATA.2017.8124934
Li, J., Xu, C., Su, H., Gao, L., and Wang, T., 2022. Deep？learning for SAR ship detection: Past, present and？future. Remote Sensing, 14(11), 2712. https://doi.org/10.3390/rs14112712

상세보기
Wang, Y., Wang, C., Zhang, H., Dong, Y., and Wei, S., 2019. A SAR dataset of ship detection for deep？learning under complex backgrounds. Remote？Sensing, 11(7), 765. https://doi.org/10.3390/rs11070765

상세보기
Xu, X., Zhang, X., Zhang, T., Shi, J., Wei, S., and Li,？J., 2022. On-board ship detection in SAR images？based on L-YOLO. In Proceedings of the 2022？IEEE Radar Conference (RadarConf22), New？York City, NY, USA, Mar. 21-25, pp. 1-5. https://doi.org/10.1109/RadarConf2248738.2022.9764190
Yu, C., and Shin, Y., 2023. SAR ship detection based？on improved YOLOv5 and BiFPN. ICT Express.？https://doi.org/10.1016/j.icte.2023.03.009
Zakhvatkina, N., Korosov, A., Muckenhuber, S., Sandven,？S., and Babiker, M., 2017. Operational algorithm？for ice-water classification on dual-polarized？RADARSAT-2 images. The Cryosphere, 11, 33-46. https://doi.org/10.5194/tc-11-33-2017

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증