[논문]이중 편파 Sentinel-1 SAR 영상의 편파 지표를 활용한 인공지능 기반 선박 탐지

송주영; 김덕진; 김준우; 이성뢰

doi:10.7780/kjrs.2022.38.5.2.7

이중 편파 Sentinel-1 SAR 영상의 편파 지표를 활용한 인공지능 기반 선박 탐지
Exploitation of Dual-polarimetric Index of Sentinel-1 SAR Data in Vessel Detection Utilizing Machine Learning 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.5 pt.2, 2022년, pp.737 - 746

송주영 (서울대학교 지구환경과학부) , 김덕진 (서울대학교 지구환경과학부) , 김준우 (서울대학교 미래혁신연구원) , 이성뢰 (서울대학교 지구환경과학부)

초록
AI-Helper

전천후 자료 취득이 가능한 SAR 영상을 기반으로 한 선박 탐지와 인공지능 기반 탐지 알고리즘과 함께 사용하는 것은 안정적인 선박 모니터링에 효과적이다. 기존의 SAR 영상에서는 인공지능 기반 선박 탐지 알고리즘에 진폭 영상만을 주로 사용하였으며, 물체의 산란 특성을 구분할 수 있는 다중 편파 SAR 영상의 편파 지표는 사용되지 않았다. 이에, 본 연구에서는 이중 편파 Sentinel-1 SAR 영상으로부터 고유값 분해를 통해 취득한 4개의 편파 지표인 H, p₁, DoP, DPRVI와 방사 보정을 통해 취득한 2개 편파의 산란계수인 γ₀, _VV, γ₀, _VH를 이용하여 총 6개의 밴드를 가진 SAR 영상 52장의 데이터베이스를 구축하고, 이와 상응하는 시간에 취득한 선박의 실시간 위치 및 속도 정보인 AIS 자료를 사용하여 학습자료를 추출하였다. 구축된 밴드 조합에 대해 선박탐지 정확도를 평가한 결과, 이중 편파 지표를 진폭과 함께 사용한 경우 진폭 값만을 사용했을 때에 비해 개선된 탐지 정확도를 보였다.

Abstract ▼ AI-Helper

Utilizing weather independent SAR images along with machine learning based object detector is effective in robust vessel monitoring. While conventional SAR images often applied amplitude data from Single Look Complex, exploitation of polarimetric parameters acquired from multiple polarimetric SAR images was yet to be implemented to vessel detection utilizing machine learning. Hence, this study used four polarimetric parameters (H, p1, DoP, DPRVI) retrieved from eigen-decomposition and two backscattering coefficients (γ0, VV, γ0, VH) from radiometric calibration; six bands in total were respectively exploited from 52 Sentinel-1 SAR images, accompanied by vessel training data extracted from AIS information which corresponds to acquisition time span of the SAR image. Evaluating different cases of combination, the use of polarimetric indexes along with amplitude values derived enhanced vessel detection performances than that of utilizing amplitude values exclusively.

주제어

표/그림 (6)

그림 Fig. 1. Six image bands for training data of Sentinel-1 SAR image acquired at 26/06/2018: (a) γ_0,VH, (b) γ_0,VV, (c) H, (d) p₁, (e) DoP, and (f) DPRVI.
그림 Fig. 2. Examples of vessel signals in (a), (b) γ_0,VH and (c), (d) γ_0,VV.
그림 Fig. 3. Diagram of (a) iterative interpolation of AIS information with respect to SAR data acquisition time and (b) azimuth offset calibration of moving vessel.
그림 Fig. 4. Chart of vessel detection performance on different band combination; green rectangle curvature indicates combination using amplitude information, where blue curvature denotes combination using polarimetric indexes. Band number corresponds γ_0,VH to 1, γ_0,VV to 2, H to 3, DoP to 4, p1 to 5 and DPRVI to 6.
표 Table 1. Vessel detection performance on different band combination
그림 Fig. 5. Example of vessel detection result using the band combination of (a) γ_0,VH-γ_;0,VV-γ_0,VV and (b) γ_0,VV-H-p₁. The SAR image was acquired at 26/06/2019, plotted on γ_0,VH after radiometric and geometric calibration.

AI 본문요약
AI-Helper

문제 정의

산란 특성을 구분할 수 있는 편파 지표는 토지 피복 분류나 시계열 변화 탐지에 일반적으로 사용되어 왔으나, 이를 인공지능 기반 사물 탐지 알고리즘에 적용하여 선박 탐지 정확도를 개선하려는 연구는 진행되지 않았다. 따라서, 본 연구는 이중 편파 SAR 영상인 Sentinel-1 SLC 영상에 고유값 분해(Eigen-decomposition)를 수행하여 얻은 편파 지표를 입력 자료로 활용하여 인공지능 기반 선박 탐지 정확도를 평가하였다. 이를 위해 선박에 부착된 실시간 위치 정보 센서 중 하나인 Automated Identification System (AIS) 자료를 사용하여 선박 학습자료를 구축하고, 인공지능 기반 사물 탐지 알고리즘 중 높은 정확도를 보인 You Only Look Once version 4 (YOLOv4)를 고유값 분해를 통해 추출한 이중 편파 지표에 대해 학습시켜 그 정확도를 비교하였다.

제안 방법

다수의 기존 연구에서는 SAR 진폭 영상만을 사용하였으나, 이중 편파 상용 SAR 영상인 Sentinel-1에 대해 물체의 산란 특성을 나타내는 편파 지표를 사용할 때 선박과 그 외 물체의 특징을 명확히 구분하여 탐지 정확도를 향상시킬 수 있을 것으로 기대하였다. 본 연구에서는 기존 SAR 영상 기반 선박 탐지에 사용한 진폭 값과 함께, 선박과 해상 및 육상 산란체의 다른 산란 특성을 반영할 수 있는 4종의 편파 지표를 고유값 분해를 통해 추출한 뒤, 총 52장의 SAR 영상에 대해 6개 밴드를 가진 학습자료 및 평가자료를 구축하였다. 그 결과, 편파 지표를 진폭 값의 밴드와 함께 사용하였을 경우, 진폭 값만을 이용한 조합보다 더 높은 탐지 정확도를 보였다.
방위 오차가 보정된 선박의 SAR 영상 내의 위치는 AIS 센서의 위치를 나타내기에, 이 위치로부터 300 m 크기의 bounding box를 만든 뒤, 여기에서 선박의 경계를 추출하여 bounding box를 축소하는 형태로 학습자료를 가공하였다. 이러한 방법을 사용하여 학습에 사용한 48장의 Sentinel-1 SAR 영상에서 총 8,259 척의 선박에 대한 학습자료를 취득하였고, 고유값 분해와 방사 보정을 통해 가공한 6장의 SAR 영상 밴드를 3종씩 선택하여 YOLOv4 알고리즘을 학습시켜 선박 탐지 정확도를 4장의 SAR 영상에 대해 평가하였다.
따라서, 본 연구는 이중 편파 SAR 영상인 Sentinel-1 SLC 영상에 고유값 분해(Eigen-decomposition)를 수행하여 얻은 편파 지표를 입력 자료로 활용하여 인공지능 기반 선박 탐지 정확도를 평가하였다. 이를 위해 선박에 부착된 실시간 위치 정보 센서 중 하나인 Automated Identification System (AIS) 자료를 사용하여 선박 학습자료를 구축하고, 인공지능 기반 사물 탐지 알고리즘 중 높은 정확도를 보인 You Only Look Once version 4 (YOLOv4)를 고유값 분해를 통해 추출한 이중 편파 지표에 대해 학습시켜 그 정확도를 비교하였다.

대상 데이터

VV (수직편파로 송수신) 및 VH (수직편파 송신 후 수평편파로 수신) 편파로 구성된 Sentinel-1 Terrain Observation with Progressive ScanSAR (TOPSAR) Inter ferometric Wide (IW) 자료는 거리방향으로 5 m, 방위방향으로 20 m의 해상도를 가진다. 본 연구에서는 한반도 인접 지역을 촬영한 2018년 1월에서 2019년 9월 사이의 Sentinel-1 SAR SLC 영상 52장을 취득하였다.
주기적인 자료 취득이 가능한 SAR 위성 영상에서 인공지능을 기반으로 선박을 탐지하는 것은 선박의 시계열 모니터링과 안정적인 연안 환경감시에 효과적이기에, 다양한 해상도와 편파 조건을 가지는 SAR 영상이 선박 탐지에 사용되었다. 다수의 기존 연구에서는 SAR 진폭 영상만을 사용하였으나, 이중 편파 상용 SAR 영상인 Sentinel-1에 대해 물체의 산란 특성을 나타내는 편파 지표를 사용할 때 선박과 그 외 물체의 특징을 명확히 구분하여 탐지 정확도를 향상시킬 수 있을 것으로 기대하였다.

성능/효과

본 연구에서는 기존 SAR 영상 기반 선박 탐지에 사용한 진폭 값과 함께, 선박과 해상 및 육상 산란체의 다른 산란 특성을 반영할 수 있는 4종의 편파 지표를 고유값 분해를 통해 추출한 뒤, 총 52장의 SAR 영상에 대해 6개 밴드를 가진 학습자료 및 평가자료를 구축하였다. 그 결과, 편파 지표를 진폭 값의 밴드와 함께 사용하였을 경우, 진폭 값만을 이용한 조합보다 더 높은 탐지 정확도를 보였다.

참고문헌 (20)

Barakat, R., 1977. Degree of Polarization and the Principal Idempotents of the Coherency Matrix, Optics Communications, 23(2): 147-150. https://doi.org/10.1016/0030-4018(77)90292-9

상세보기
Bi, H., J. Wang, and G. Bi, 2019. Wavenumber Domain Algorithm-Based FMCW SAR Sparse Imaging, IEEE Transactions on Geoscience and Remote Sensing, 57(10): 7466-7475. https://doi.org/10.1109/TGRS.2019.2913761

상세보기
Bochkovskiy, A., C. Wang, and H. Liao, 2020. YOLOv4: Optimal Speed and Accuracy of Object Detection, arXiv preprint arXiv:2004.10934. https://doi.org/10.48550/arXiv.2004.10934
Chang, J., M. Shoshany, and Y. Oh, 2018. Polarimetric Radar Vegetation Index for Biomass Estimation in Deset Fringe Ecosystems, IEEE Transactions on Geoscience and Remote Sensing, 56(12): 7102-7108. https://doi.org/10.1109/TGRS.2018.2848285

상세보기
Condrasen, K., A. Nielsen, and H. Skriver, 2016. Determining the Points of Change in Time Series of Polarimetric SAR Data, IEEE Transactions on Geoscience and Remote Sensing, 54(5): 3007-3024. https://doi.org/10.1109/TGRS.2015.2510160

상세보기
Dey, S., N. Bhogapurapu, S. Homayouni, A. Bhattacharya, and H. McNarin, 2021. Unsupervised Classification of Crop Growth Stages with Scattering Parameters from Dual-pol Sentinel-1 SAR Data, Remote Sensing, 13(21): 4412. https://doi.org/10.3390/rs13214412

상세보기
Kim, D. and W. Moon, 2002. Estimation of Sea Surface Wind Vector Using RADARSAT Data, Remote Sensing of Environment, 80: 55-64. https://doi.org/10.1016/S0034-4257(01)00267-X

상세보기
Kim, D., W. Moon, D. Moller, and D. Imel, 2003. Measurements of Ocean Surface Waves and Currents Using L- and C-Band Along-Track Interferometric SAR, IEEE Transactions on Geoscience and Remote Sensing, 41(12): 2821-2832. https://doi.org/10.1109/TGRS.2003.817210

상세보기
Kim, D., S. Hensely, S. Yun, and M. Neumann, 2016. Detection of Durable and Permanent Changes in Urban Areas Using Multi-Temporal Polarimetric UAVSAR Data, IEEE Geoscience and Remote Sensing Letters, 13(2): 267-271. https://doi.org/10.1109/LGRS.2015.2509080

상세보기
Kim, J., H. Kim, H. Jeon, S. Jung, J. Song, S. Vadivel, and D. Kim, 2021. Synergistic Use of Geospatial Data for Water Body Extraction from Sentinel-1 Images for Operational Flood Monitoring across Southeast Asia Using Deep Neural Networks, Remote Sensing, 13(23): 4759. https://doi.org/10.3390/rs13234759

상세보기
Li, H., L. Deng, C. Yang, J. Liu, and Z. Gu, 2021. Enhanced YOLO v3 Tiny Network for RealTime Ship Detection From Visual Image, IEEE Access, 9: 16692-16706. https://doi.org/10.1109/ACCESS.2021.3053956

상세보기
Lin, Z., K. Ji, X. Leng, and G. Kuang, 2019. Squeeze and Excitation Rank Faster R-CNN for Ship Detection in SAR Images, IEEE Geoscience and Remote Sensing Letters, 16(5): 751-755. https://doi.org/10.1109/LGRS.2018.2882551

상세보기
Mandal, D., V. Kumar, D. Ratha, S. Dey, A. Bhattacharya, J. Lopez-Sanchez, H. McNarin, and Y. Rao, 2020. Dual Polarimetric Radar Vegetation Index for Crop Growth Monitoring Using Sentinel-1 SAR Data, Remote Sensing of Environment, 247: 111954. https://doi.org/10.1016/j.rse.2020.111954

상세보기
Marechal, C., E. Pottier, L. Hubert-Moy, and S. Rapinel, 2012. One Year Wetland Survey Investigations from Quad-pol RADARSAT-2 Time-series SAR Images, Canadian Journal of Remote Sensing, 38(3): 240-252. https://doi.org/10.5589/m12-017

상세보기
Schubert, A., N. Miranda, D. Geudtner, and D. Small, 2017. Sentinel-1A/B Combined Product Geolocation Accuracy, Remote Sensing, 9(6): 607. https://doi.org/10.3390/rs9060607

상세보기
Small, D., 2011. Flattening Gamma: Radiometric Terrain Correction for SAR Imagery, IEEE Transactions on Geoscience and Remote Sensing, 49(8): 3081-3093. https://doi.org/10.1109/TGRS.2011.2120616

상세보기
Song, J., D. Kim, and K. Kang, 2020. Automated Procurement of Training Data for Machine Learning Algorithm on Ship Detection Using AIS Information, Remote Sensing, 12(9): 1443. https://doi.org/10.3390/rs12091443

상세보기
Song, J., D. Kim, S. An, and J. Kim, 2022. Restoration of Authentic Position of Unidentified Vessels in SAR Imagery: A Deep Learning based Approach, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 1064-1078. https://doi.org/10.1109/JSTARS.2021.3137811

상세보기
Vachon, P., J. Campbell, C. Bjerkelund, F. Dobson, and M. Rey, 1997. Ship Detection by the RADARSAT SAR: Validation of Detection Model Predictions, Canadian Journal of Remote Sensing, 23(1): 48-59. https://doi.org/10.1080/07038992.1997.10874677

상세보기
Zhao, Z., K. Ji, X. Xing, H. Zou, and S. Zhou, 2013. Ship Surveillance by Integration of Space-borne SAR and AIS-review of Current Research, Journal of Navigation, 67(1): 177-189. https://doi.org/10.1017/S0373463313000659

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증