[논문]광학 위성 영상 기반 선박탐지의 정확도 개선을 위한 딥러닝 초해상화 기술의 영향 분석

박성욱; 김영호; 김민식

doi:10.7780/kjrs.2022.38.5.1.10

광학 위성 영상 기반 선박탐지의 정확도 개선을 위한 딥러닝 초해상화 기술의 영향 분석
Impact Analysis of Deep Learning Super-resolution Technology for Improving the Accuracy of Ship Detection Based on Optical Satellite Imagery 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.5 pt.1, 2022년, pp.559 - 570

박성욱 (나라스페이스 테크놀로지) , 김영호 (나라스페이스 테크놀로지) , 김민식 (나라스페이스 테크놀로지)

초록
AI-Helper

광학 위성 영상의 공간해상도가 낮게 되면 크기가 작은 객체들의 경우 객체 탐지의 어려움이 따른다. 따라서 본 연구에서는 위성 영상의 공간해상도를 향상시키는 초해상화(Super-resolution) 기술이 객체 탐지 정확도 향상에 대한 영향이 유의미한지 알아보고자 하였다. 쌍을 이루지 않는(unpaired) 초해상화 알고리즘을 이용하여 Sentinel-2 영상의 공간해상도를 3.2 m로 향상시켰으며, 객체 탐지 모델인 Faster-RCNN, RetinaNet, FCOS, S²ANet을 활용하여 초해상화 적용 유무에 따른 선박 탐지 정확도 변화를 확인했다. 그 결과 선박 탐지 모델의 성능 평가에서 초해상화가 적용된 영상으로 학습된 선박 탐지 모델들에서 Average Precision (AP)가 최소 12.3%, 최대 33.3% 향상됨을 확인하였고, 초해상화가 적용되지 않은 모델에 비해 미탐지 및 과탐지가 줄어듦을 보였다. 이는 초해상화 기술이 객체 탐지에서 중요한 전처리 단계가 될 수 있다는 것을 의미하고, 객체 탐지와 더불어 영상 기반의 다른 딥러닝 기술의 정확도 향상에도 크게 기여할 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

When a satellite image has low spatial resolution, it is difficult to detect small objects. In this research, we aim to check the effect of super resolution on object detection. Super resolution is a software method that increases the resolution of an image. Unpaired super resolution network is used to improve Sentinel-2's spatial resolution from 10 m to 3.2 m. Faster-RCNN, RetinaNet, FCOS, and S2ANet were used to detect vessels in the Sentinel-2 images. We experimented the change in vessel detection performance when super resolution is applied. As a result, the Average Precision (AP) improved by at least 12.3% and up to 33.3% in the ship detection models trained with the super-resolution image. False positive and false negative cases also decreased. This implies that super resolution can be an important pre-processing step in object detection, and it is expected to greatly contribute to improving the accuracy of other image-based deep learning technologies along with object detection.

주제어

표/그림 (14)

그림 Fig. 1. Sentienl-2 images for each city: (a) Singapore (2019-05-06), (b) Los Angeles (2021-09-20), (c) Hong-Kong (2022-04-04), (d) Busan (2019-04-20).
표 Table 1. Spectral bands of Sentinel-2 MSI
그림 Fig. 2. Example images excluded from 'ship' class in this study.
그림 Fig. 3. Sample images of the Rotated Bounding Boxes labeling results (Sentinel-2 / Busan).
그림 Fig. 4. Example of data augmentation (random rotation and flip) for super resolution dataset.
그림 Fig. 5. Example of super-resolution neural network training process using unpaired super resolution network.
그림 Fig. 6. Train loss, PSNR and SSIM graph during training progress.
그림 Fig. 7. Sentinel-2 images used as training data for the ship detection model. Non-SR image (top), SR image (bottom).
표 Table 2. Confusion matrix for evaluation of model
그림 Fig. 8. Precision-Recall Curve graph.
표 Table 3. Evaluation results of Non-SR model
표 Table 4. Evaluation results of SR model
그림 Fig. 9. Result image for each object detection model for (a) and (b) test areas.
그림 Fig. 10. Result image for each object detection model for (a) and (b) test areas.

AI 본문요약
AI-Helper

제안 방법

기존 선행된 연구들은 공간해상도가 높은 영상을 사용하는 경우가 대부분이지만, 본 연구에서는 초해상화의 효과를 더 명확하게 확인하기 위해 상대적으로 공간 해상도가 낮은 Sentinel-2 위성 영상을 활용해 데이터를 구축하였다. Sentinel-2 영상의 10 m 공간해상도를 초해상화 기술을 통해 약 3배 향상시키고, 이를 객체 탐지 모델의 학습에 활용하여 초해상화를 적용하지 않은 non-SR 모델(10 m)과 SR 모델(3.2 m)의 객체 탐지 성능을 비교하였다.
기존 선행된 연구들은 공간해상도가 높은 영상을 사용하는 경우가 대부분이지만, 본 연구에서는 초해상화의 효과를 더 명확하게 확인하기 위해 상대적으로 공간 해상도가 낮은 Sentinel-2 위성 영상을 활용해 데이터를 구축하였다. Sentinel-2 영상의 10 m 공간해상도를 초해상화 기술을 통해 약 3배 향상시키고, 이를 객체 탐지 모델의 학습에 활용하여 초해상화를 적용하지 않은 non-SR 모델(10 m)과 SR 모델(3.

대상 데이터

영상 수집 지역은 Fig. 1과 같이 세계 컨테이너 항만들 중 상위권 내에 있는 부산, 싱가포르, 로스앤젤레스, 홍콩 지역의 항구와 연안 해역을 중심으로 수집하였다. 2019년부터 2022년까지의 영상 중 구름의 영향이 거의 없는 청천일 영상들을 위주로 수집하였다.
1과 같이 세계 컨테이너 항만들 중 상위권 내에 있는 부산, 싱가포르, 로스앤젤레스, 홍콩 지역의 항구와 연안 해역을 중심으로 수집하였다. 2019년부터 2022년까지의 영상 중 구름의 영향이 거의 없는 청천일 영상들을 위주로 수집하였다. 수집된 영상의 총 개수는 40장이며, 1024×1024 크기의 패치 단위로 영상을 나누었다.
또한 모델의 탐지 성능을 육안으로 확인하기 위해 학습에 사용되지 않은 네덜란드의 로테르담 항구 부근 영상을 테스트 지역으로 사용했으며, 다양한 조건에서의 탐지 성능을 알아보기 위해 Fig. 9, 10과 같이 테스트 지역을 로테르담 항구 부근 4곳으로 선정하였다.
또한 모델의 탐지 성능을 육안으로 확인하기 위해 학습에 사용되지 않은 네덜란드의 로테르담 항구 부근 영상을 테스트 지역으로 사용했으며, 다양한 조건에서의 탐지 성능을 알아보기 위해 Fig. 9, 10과 같이 테스트 지역을 로테르담 항구 부근 4곳으로 선정하였다.
본 연구의 훈련에 사용된 저해상도, 고해상도 영상의 개수는 각각 1600장이며, 저해상도, 고해상도 영상의 크기는 각각 64×64, 192×192로 잘라서 사용하였다.
선박 탐지를 위해 본 연구에서 활용한 위성 영상은 유럽항공우주국(European Space Agency, ESA)에서 제공하는 Sentinel-2 Multispectral Instrument (MSI) 센서로부터 획득된 영상이다. Sentinel-2는 2A호와 2B호가 동시에 임무를 수행중인 위성으로 재방문주기는 5일이다.
수집된 영상의 총 개수는 40장이며, 1024×1024 크기의 패치 단위로 영상을 나누었다.
전체 데이터셋에서 학습 및 검증 데이터는 7:3 비율로 구축하여 사용하였고, 테스트에 사용한 영상으로는 네덜란드의 로테르담(Rotterdam) 항구 부근 영상을 사용하여 선박 탐지 결과를 비교하였다.

이론/모형

모델의 학습은 SR을 적용하지 않은 데이터 셋(Non-SR)과 SR을 적용한 데이터 셋(SR)을 따로 구축하여 수행하였고, 각 모델별 학습에 필요한 파라미터는 모두 동일하게 설정한 후 진행하였다. 객체 탐지 모델의 성능 평가는 F1-score 및 Average Precision (AP)를 이용하여 수행하였으며, AP는 정밀도(precision)와 재현율(recall)을 그래프로 나타냈을 때의 면적에 해당한다. 각 클래스마다 하나의 AP를 가지며, 모든 클래스의 AP를 평균을 하게 되면 Mean Average Precision (mAP)를 계산할 수 있다.

성능/효과

7과 같다. 10 m의 공간해상도를 약 3배 향상시켰으며 육안으로 보았을 때, 원본에 비해 윤곽선 및 질감 등이 선명해지는 것을 볼 수 있고, 선박의 경우 형태를 제대로 판별할 수 있을 정도로 품질이 향상되는 것을 확인하였다.
Non-SR 모델 결과의 경우 AP@0.5 기준 0.6–0.7의 정확도를 나타냈고, SR 영상을 학습한 모델의 경우 0.85 내외의 정확도로 Non-SR 모델의 결과에 비해 최소 12.3%, 최대 33.3% 향상된 것을 볼 수 있다
10(b)의 경우 항구 크레인에 정박한 선박을 예측한 결과이며, 항구 부근에 적재되어 있는 컨테이너의 픽셀값과 선박의 픽셀값이 유사하다. 그 결과 Non-SR 모델에서는 미탐지 되는 선박이 있는 경우가 있는 반면, SR 모델에서는 모두 예측이 가능함을 확인하였다. 또한 Non-SR, SR 모델 모두 컨테이너 화물을 선박으로 오탐지하는 경우는 없는 것으로 확인하였다.
그 결과, 모델 성능 평가에서 SR 모델 모두 Non-SR 모델에 비해 AP@0.5가 최소 12.3%, 최대 33.3% 성능이 향상되는 것을 확인하였다. 또한 학습에 포함되지 않은 테스트 영상을 통해 다양한 조건 하에서 모델의 탐지 성능을 보고자 하였고, Non-SR 결과에 비해 SR 모델이 전체적으로 오탐지 및 과탐지의 비율이 낮아졌음을 확인하였다.
3% 성능이 향상되는 것을 확인하였다. 또한 학습에 포함되지 않은 테스트 영상을 통해 다양한 조건 하에서 모델의 탐지 성능을 보고자 하였고, Non-SR 결과에 비해 SR 모델이 전체적으로 오탐지 및 과탐지의 비율이 낮아졌음을 확인하였다. 이는 영상의 공간해상도가 높아지면서 선박 객체에 대한 픽셀의 수가 증가함에 따라 모델이 학습할 수 있는 선박의 특징이 명확해져 나타난 결과로 해석된다.
이는 다른 모델들에 비해 상대적으로 선박 클래스에 대한 예측량이 과도하게 많아 Precision 값이 크게 감소한 것으로 예상되며, 영상의 해상도가 현재보다 낮을 경우 RetinaNet의 정확도가 더 감소할 가능성이 크다는 것으로 판단된다. 성능 평가 결과 10 m 공간해상도의 Sentinle-2 영상을 초해상화 하지 않아도 선박 객체를 탐지할 수는 있으나, SR을 적용한 결과와 높은 성능 차이를 보였다.
또한 Non-SR, SR 모델 모두 컨테이너 화물을 선박으로 오탐지하는 경우는 없는 것으로 확인하였다. 이처럼 연구에 사용된 네 종류의 모델 모두 SR 영상을 활용했을 때에 선박 탐지 정확도가 향상되는 것을 확인할 수 있었고, SR 영상을 활용한다면 Non-SR 모델에서 발생하는 미탐지 및 과탐지 문제를 보완할 수 있을 것으로 보인다.

후속연구

향후 다양한 해상도의 영상에 초해상화 기술을 적용하여 해상도별 객체 탐지 정확도 변화 및 다른 초해상화 모델들을 적용하여 초해상화 모델의 성능에 따른 객체 탐지의 정확도 변화에 대한 연구도 가능할 것으로 보인다. 또한 대용량의 영상 데이터 수집 및 정밀한 객체 탐지, 초해상화 모델 구축을 통해 이전보다 더 정확도 높은 연구를 진행할 수 있을 것으로 예상된다.
이는 영상의 공간해상도가 높아지면서 선박 객체에 대한 픽셀의 수가 증가함에 따라 모델이 학습할 수 있는 선박의 특징이 명확해져 나타난 결과로 해석된다. 이처럼 초해상화 기술은 객체 탐지 분야에 있어서 중요한 전처리 기술이 될 수 있으며, 객체 탐지 외에도 영상 분할 및 분류 등 다양한 딥러닝 분야에도 적용될 수 있을 것으로 판단된다.
향후 다양한 해상도의 영상에 초해상화 기술을 적용하여 해상도별 객체 탐지 정확도 변화 및 다른 초해상화 모델들을 적용하여 초해상화 모델의 성능에 따른 객체 탐지의 정확도 변화에 대한 연구도 가능할 것으로 보인다. 또한 대용량의 영상 데이터 수집 및 정밀한 객체 탐지, 초해상화 모델 구축을 통해 이전보다 더 정확도 높은 연구를 진행할 수 있을 것으로 예상된다.

참고문헌 (25)

Agustsson, E. and R. Timofte, 2017. NTIRE 2017 challenge on single image super-resolution: Dataset and study, Proc. of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Honolulu, HI, USA, Jul. 21-26, pp. 1122-1131. https://doi.org/10.1109/CVPRW.2017.150
Bo, L., X. Xiaoyang, W. Xingxing, and T. Wenting, 2021. Ship detection and classification from optical remote sensing images: A survey, Chinese Journal of Aeronautics, 34(3): 145-163. https://doi.org/10.1016/j.cja.2020.09.022

상세보기
Bose, P., D. Halder, O. Rahman, and T. Pial, 2022. Effectivity of super resolution convolutional neural network for the enhancement of land cover classification from medium resolution satellite images, arXiv preprint arXiv:2207. 02301. https://doi.org/10.48550/arXiv.2207.02301
Cao, L., C. Wang, and J. Li, 2016. Vehicle detection from highway satellite images via transfer learning, Information Sciences, 366: 177-187. https://doi.org/10.1016/j.ins.2016.01.004

상세보기
Choi, Y. J., M.S. Kim, Y.W. Kim, and S.H. Han, 2020. A study of CNN-based super-resolution method for remote sensing image, Korean Journal of Remote Sensing, 36(3): 449-460 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2020.36.3.5

원문보기 상세보기
Chen, H., X. He, L. Qing, Y. Wu, C. Ren, R.E. Sheriff, and C. Zhu, 2022. Real-world single image superresolution: A brief review, Information Fusion, 79: 124-145. https://doi.org/10.48550/arXiv.2103.02368

상세보기
Han, J., J. Ding, J. Li, and G.S. Xia, 2021. Align deep features for oriented object detection, IEEE Transactions on Geoscience and Remote Sensing, 60: 1-11. https://doi.org/10.1109/TGRS.2021.3062048

상세보기
Haris, M., G. Shakhnarovich, and N. Ukita, 2018. Taskdriven super resolution: Object detection in lowresolution images, arXiv preprint arXiv:1803. 11316. https://doi.org/10.48550/arXiv.1803.11316
He, S., H. Zou, Y. Wang, R. Li, and F. Cheng, 2021a. ShipSRDet: An end-to-end remote sensing ship detector using super-resolved feature representation. Proc. of 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS, Brussels, Belgium, Jul. 11-16, pp. 3541-3544. https://doi.org/10.1109/IGARSS47720.2021.9554079
He, S., H. Zou, Y. Wang, R. Li, F. Cheng, X. Cao, and M. Li, 2021b. Enhancing Mid-Low-Resolution Ship Detection With High-Resolution Feature Distillation, IEEE Geoscience and Remote Sensing Letters, 19: 1-5. https://doi.org/10.1109/LGRS.2021.3110404

상세보기
Li, L., Z. Zhou, B. Wang, L. Miao, and H. Zong, 2020. A novel CNN-based method for accurate ship detection in HR optical remote sensing images via rotated bounding box, IEEE Transactions on Geoscience and Remote Sensing, 59(1): 686-699. https://doi.org/10.1109/TGRS.2020.2995477

상세보기
Lim, B., S.H. Son, H.W. Kim, S.J. Nah, and K.M. Lee, 2017. Enhanced deep residual networks for single image super-resolution, Proc of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Honolulu, HI, USA, Jul. 21-26, pp. 136-144. https://doi.org/10.1109/CVPRW.2017.151
Lin, T. Y., P. Goyal, R. Girshick, K. He, and P. Dollar, 2017. Focal loss for dense object detection, Proc. of 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, Oct. 22-29, pp. 2999-3007. https://doi.org/10.1109/ICCV.2017.324
Maeda, S., 2020. Unpaired image super-resolution using pseudo-supervision, Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, Jun 13-19, pp. 288-297. https://doi.org/10.1109/CVPR42600.2020.00037
Padilla, R., S.L. Netto, and E.A. Da Silva, 2020. A survey on performance metrics for object-detection algorithms, Proc. of 2020 International Conference on Systems, Signals and Image Processing (IWSSIP), Niteroi, Brazil, Jul. 1-3, pp. 237-242. https://doi.org/10.1109/IWSSIP48289.2020.9145130
Park, J.J., S.W. Oh, K.-A. Park, M.-S. Lee, J.-C. Jang, and M.J. Lee, 2018. A methodology of ship detection using high-resolution satellite optical image, Journal of the Korean Earth Science Society, 39(3): 241-249 (in Korean with English abstract). https://doi.org/10.5467/JKESS.2018.39.3.241

원문보기 상세보기
Ren, S., K. He, R. Girshick, and J. Sun, 2015. Faster R-CNN: Towards real-time object detection with region proposal networks, arXiv preprint arXiv: 1506.01497. https://doi.org/10.48550/arXiv.1506.01497
Shermeyer, J. and A. Van Etten, 2019. The effects of super-resolution on object detection performance in satellite imagery, Proc. of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Long Beach, CA, USA, Jun 16-17, pp. 1432-1441. https://doi.org/10.1109/CVPRW.2019.00184
Stofa, M.M., M.A. Zulkifley, and S.Z.M. Zaki, 2020. A deep learning approach to ship detection using satellite imagery, IOP Conference Series: Earth and Environmental Science, 540: 012049. https://doi.org/10.1088/1755-1315/540/1/012049

상세보기
Tian, Z., C. Shen, H. Chen, and T. He, 2019. FCOS: Fully convolutional one-stage object detection, Proc. of 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, South Korea, Oct. 27-Nov. 2, pp. 9626-9635. https://doi.org/10.1109/ICCV.2019.00972
Wang, Z., A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli, 2004. Image quality assessment: from error visibility to structural similarity, IEEE Transactions on Image Processing, 13(4): 600-612. https://doi.org/10.1109/TIP.2003.819861

상세보기
Xie, X., L. Li, Z. An, G. Lu, and Z. Zhou, 2022. Small Ship Detection Based on Hybrid Anchor Structure and Feature Super-Resolution, Remote Sensing, 14(15): 3530. https://doi.org/10.3390/rs14153530

상세보기
Yoo, J., N. Ahn, and K.-A. Sohn, 2020. Rethinking data augmentation for image super-resolution: A comprehensive analysis and a new strategy, Proc. of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, Jun 13-19, pp. 8372-8381. https://doi.org/10.1109/CVPR42600.2020.00840
Yang, W., X. Zhang, Y. Tian, W. Wang, J.H. Xue, and Q. Liao, 2019. Deep learning for single image super-resolution: A brief review, IEEE Transactions on Multimedia, 21(12): 3106-3121. https://doi.org/10.1109/TMM.2019.2919431

상세보기
Yang, X., H. Sun, K. Fu, J. Yang, X. Sun, M. Yan, and Z. Guo, 2018. Automatic ship detection in remote sensing images from google earth of complex scenes based on multiscale rotation dense feature pyramid networks, Remote Sensing, 10(1): 132. https://doi.org/10.3390/rs10010132

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증