[논문]핵 활동 분석을 위한 다시기·다종 위성영상의 딥러닝 모델 기반 객체탐지의 활용성 평가

성선경; 최호성; 모준상; 최재완

doi:10.7780/kjrs.2021.37.5.1.20

핵 활동 분석을 위한 다시기·다종 위성영상의 딥러닝 모델 기반 객체탐지의 활용성 평가
Availability Evaluation of Object Detection Based on Deep Learning Method by Using Multitemporal and Multisensor Data for Nuclear Activity Analysis 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.37 no.5 pt.1, 2021년, pp.1083 - 1094

성선경 (충북대학교 토목공학과) , 최호성 (한국원자력통제기술원 비확산기술지원센터) , 모준상 (충북대학교 토목공학과) , 최재완 (충북대학교 토목공학과)

초록
AI-Helper

접근불능지역에 대한 핵활동 모니터링을 위해서는 고해상도 위성영상을 이용하여 핵활동 관련 객체의 변화양상을 분석하는 방법론의 수립이 필요하다. 그러나, 위성영상을 이용한 전통적인 객체탐지 및 변화탐지 기법들은 영상 취득 시 계절, 날씨 등의 영향에 의하여 탐지 결과물들을 다양한 활용분야에 적용하기에 어려움이 있다. 따라서, 본 연구에서는 딥러닝 모델을 이용하여 위성영상에서 관심객체를 탐지하고, 이를 활용하여 다시기 위성영상 내의 객체 변화를 분석하고자 하였다. 이를 위하여, 객체탐지를 위한 공개데이터셋을 이용하여 딥러닝 모델의 선행학습을 수행하고, 관심지역에 대한 학습자료를 직접 제작하여 전이학습에 적용하였다. 다시기·다종 위성영상 내의 객체를 개별적으로 탐지한 후, 이를 활용하여 영상 내 객체의 변화양상을 탐지하였다. 이를 통해 접근불능지역에 대한 핵 활동 관련 모니터링을 위하여 다양한 위성영상에 대한 객체탐지 결과를 직접적으로 변화탐지에 활용할 수 있는 가능성을 확인하였다.

Abstract ▼ AI-Helper

In order to monitor nuclear activity in inaccessible areas, it is necessary to establish a methodology to analyze changesin nuclear activity-related objects using high-resolution satellite images. However, traditional object detection and change detection techniques using satellite images have difficulties in applying detection results to various fields because effects of seasons and weather at the time of image acquisition. Therefore, in this paper, an object of interest was detected in a satellite image using a deep learning model, and object changes in the satellite image were analyzed based on object detection results. An initial training of the deep learning model was performed using an open dataset for object detection, and additional training dataset for the region of interest were generated and applied to transfer learning. After detecting objects by multitemporal and multisensory satellite images, we tried to detect changes in objects in the images by using them. In the experiments, it was confirmed that the object detection results of various satellite images can be directly used for change detection for nuclear activity-related monitoring in inaccessible areas.

주제어

표/그림 (20)

그림 Fig. 1. GeoEye satellite imagery of study area.
그림 Fig. 2. An example of a training dataset for transfer learning.
표 Table 1. Specifications of learning dataset
그림 Fig. 3. Experimental data used for evaluation of deep learning model.
그림 Fig. 4. Satellite image for visual reading of change detection results.
표 Table 2. Confusion matrix for evaluation of deep learning model
표 Table 3. Confusion matrix for evaluation of change detection by object detection results
표 Table 4. Hyperparameter for deep learning model
표 Table 5. Confusion matrix of object detection result using WorldView-2 satellite imagery
그림 Fig. 5. Object detection result using WorldView-2 satellite imagery.
그림 Fig. 6. Object detection result using QuickBird satellite imagery.
표 Table 6. Confusion matrix of object detection result using QuickBird satellite imagery
그림 Fig. 7. Object detection result using IKONOS satellite imagery.
그림 Fig. 8. Qualitative evaluation of change detection result by GeoEye and QuickBird imagery.
표 Table 7. Confusion matrix of object detection result using IKONOS satellite imagery
그림 Fig. 9. change detection by QuickBird and KOMPSAT-3A imagery.
표 Table 8. Quantitative evaluation of change detection result by GeoEye and QuickBird images
표 Table 9. Quantitative evaluation of change detection result by QuickBird and KOMPSAT-3A imagery
표 Table 10. Quantitative evaluation of change detection result by KOMPSAT-3A and SkySat imagery
그림 Fig. 10. Qualitative evaluation of change detection by KOMPSAT-3A and SkySat imagery.

AI 본문요약
AI-Helper

문제 정의

그러나, 위성영상을 활용한 딥러닝 기반의 객체탐지 기법들을 활용하여 해당 객체들의 변화양상을 분석한 사례는 미흡하다고 판단된다. 따라서, 본 연구에서는 원격탐사 분야에서 적용할 수 있는 딥러닝 기법 중 대표적인 활용기법으로 알려진 객체탐지(object detection) 기법을 이용하여 핵활동과 관련된 객체를 탐지하고, 이를 변화탐지 분야에 활용해보고자 하였다.
본 연구에서는 다시기·다종 위성영상에서 취득된 위성영상을 딥러닝 모델에 입력자료로 사용하여 객체탐지를 수행하고, 그 결과를 활용한 변화탐지 기법의 적용성을 평가하고자 하였다

가설 설정

1). 한편, 본 연구에서는 관심지역의 핵활동이 발생할 경우, 관련 재료를 운반하기 위한 차량의 이동이 빈번할 것이라고 가정하였으며, 해당 지역 내에 연료 등을 저장하기 위한 저장탱크가 존재할 것으로 판단하였다. 이를 위하여 일반 소형차량과 트럭, 컨테이너 운반차량 등과 같은 대형차량, 저장탱크의 3종류의 객체를 관심대상으로 설정하고, 실험을 수행하였다.
따라서 영상에서 추출된 각 객체들을 비교하기 전에 다시기 위성영상의 좌표체계를 일치시키고, 각각에 대하여 학습된 딥러닝 모델을 적용하여 영상 내에 존재하는 객체를 탐지하였으며, 탐지된 객체들을 영상좌표에서 공간좌표로 변환하였다. 해당 객체들이 다시기 위성영상에 공통적으로 탐지될 경우에는 해당 객체는 변화가 없는 것으로 가정하고, 한 시기의 영상에 대해서만 객체가 탐지되는 경우만을 변화로 가정하여 변화탐지를 수행하였다. 변화탐지에 따른 결과는 육안판독을 통하여 제작된 참조 자료를 활용하여 평가하였다.

제안 방법

이를 위하여 객체탐지 분야에서 대표적으로 사용되는 YOLOv4 모델을 효과적으로 학습하고, 훈련에 사용하지 않은 위성영상을 이용하여 객체탐지 결과를 평가하였다. 그리고 그 결과를 활용하여 서로 다른 두시기에 대한 비교를 통해 객체탐지 기반 변화탐지를 수행하였다. 실험 결과 서로 다른 시기에 대한 화소기반의 변화탐지를 수행하면 객체탐지 결과의 정확도와 비교하여 낮은 정확도를 보이기는 하지만, 변화하는 객체들을 탐지할 수 있는 가능성을 확인하였다.
그러나, 사용한 위성영상의 좌표체계, 공간해상도가 다르면 각각의 딥러닝 모델의 결과를 중첩하여 해당 객체의 변화 유무를 분석하지 못하는 문제가 발생할 수 있다. 따라서 영상에서 추출된 각 객체들을 비교하기 전에 다시기 위성영상의 좌표체계를 일치시키고, 각각에 대하여 학습된 딥러닝 모델을 적용하여 영상 내에 존재하는 객체를 탐지하였으며, 탐지된 객체들을 영상좌표에서 공간좌표로 변환하였다. 해당 객체들이 다시기 위성영상에 공통적으로 탐지될 경우에는 해당 객체는 변화가 없는 것으로 가정하고, 한 시기의 영상에 대해서만 객체가 탐지되는 경우만을 변화로 가정하여 변화탐지를 수행하였다.
본 연구는 YOLOv4 네트워크와 공개데이터셋 및 생성된 훈련자료를 활용하여 딥러닝 모델의 학습을 수행하였으며, 훈련된 모델은 훈련자료에 포함되지 않은 평가자료를 이용하여 모델의 성능을 검증하고, 그 결과를 이용하여 변화탐지에 대한 활용성을 평가하였다.
본 연구에서 학습된 딥러닝 모델의 성능을 평가하기 위하여 객체탐지 결과분석을 위한 실험자료와 탐지된 객체를 이용한 변화양상 분석을 위한 실험자료를 개별적으로 구축하였다. 먼저, 객체탐지를 위한 실험자료는 관심객체가 있는 지역의 영상을 추출하여 설정하였으며, 다양한 위성영상의 평가를 위하여, Fig.
변화탐지에 따른 결과는 육안판독을 통하여 제작된 참조 자료를 활용하여 평가하였다. 본 연구에서는 객체탐지 결과를 기반으로 변화탐지를 수행하므로 각 시기별 영상에 대한 딥러닝 모델의 예측 결과와 참조자료를 비교 평가하여 Table 2와 같이 오차행렬을 구하고, 그 결과를 이용하여 Table 3과 같은 재정의된 변화탐지 오차행렬을 작성하여 객체탐지를 기반으로 하는 객체 변화탐지의 활용가능성을 분석하고자 하였다. Table 3에서 A는 두 시기의 영상에서 같은 위치의 객체가 같이 탐지되는 미변화 객체 및 한 시기 영상에서 변화객체가 탐지되는 경우이다.
본 연구에서는 딥러닝 모델을 이용하여 접근불능지역에 대한 객체탐지를 수행하고, 이를 이용하여 해당 관심지역 내의 변화분석에 직접적으로 활용할 수 있는지를 분석하였다. 이를 위하여, 딥러닝 모델의 학습을 위한 학습데이터셋을 구성하였다.
본 연구에서는 다시기·다종 위성영상에서 취득된 위성영상을 딥러닝 모델에 입력자료로 사용하여 객체탐지를 수행하고, 그 결과를 활용한 변화탐지 기법의 적용성을 평가하고자 하였다. 이를 위하여 객체탐지 분야에서 대표적으로 사용되는 YOLOv4 모델을 효과적으로 학습하고, 훈련에 사용하지 않은 위성영상을 이용하여 객체탐지 결과를 평가하였다. 그리고 그 결과를 활용하여 서로 다른 두시기에 대한 비교를 통해 객체탐지 기반 변화탐지를 수행하였다.
이를 위하여, 딥러닝 모델의 학습을 위한 학습데이터셋을 구성하였다. 학습데이터셋은 딥러닝 모델의 초기학습을 위한 데이터셋과 딥러닝 모델의 전이학습(transfer learning)을 위한 학습데이터셋으로 구분하여 구성하였다.
학습데이터셋을 구축하기 위하여, 고해상도 전정색 영상 및 저해상도 다중분광영상 간의 영상융합을 수행하여 고해상도 다중분광 영상을 제작하였다. 영상융합 기법은 ENVI 소프트웨어에 탑재되어 있는 GS(Gram Schmidt)를 변형한 GSA(GS Adaptive) 기법을 활용하여 Fig.
한편, 본 연구에서는 다양한 계절 및 센서를 통하여 취득된 다시기·다종 위성영상을 이용하여 객체변화 양상을 분석해보고자 하였다

대상 데이터

먼저, 객체탐지를 위한 실험자료는 관심객체가 있는 지역의 영상을 추출하여 설정하였으며, 다양한 위성영상의 평가를 위하여, Fig. 3와 같이 각각 2010년 10월 24일, 2013년 10월 26일, 2013년 11월 1일에 취득된 WorldView-2, QuickBird, IKONOS 위성영상을 활용하였다. 각 위성영상에는 다양한 크기의 차량 및 저장탱크가 포함되어 있다.
위성센서가 낮은 주기의 시간해상도를 가지고 있다면 실제 관심지역에 대한 모니터링 시에 제약이 따를 수 있으며, 높은 시간해상도를 가지는 위성 센서의 경우에도 운용 중의 특성에 따라서 동일 지역에 대한 다양한 영상을 취득하기 어려울 수 있기 때문이다. 객체탐지 결과를 활용한 변화탐지에의 적용성을 평가하기 위한 실험영상은 다양한 시기에 취득된 GeoEye, QuickBird, KOMPSAT-3A, SkySat 위성영상들을 이용하였으며 해당 영상의 전체적인 영역 및 취득 시기는 Fig. 4와 같다.
두 번째 실험은 QuickBird 위성영상(2013년 12월 13일)과 KOMPSAT-3A 위성영상(2021년 3월 3일)을 이용하여 수행하였다. Fig.
해당 객체들이 다시기 위성영상에 공통적으로 탐지될 경우에는 해당 객체는 변화가 없는 것으로 가정하고, 한 시기의 영상에 대해서만 객체가 탐지되는 경우만을 변화로 가정하여 변화탐지를 수행하였다. 변화탐지에 따른 결과는 육안판독을 통하여 제작된 참조 자료를 활용하여 평가하였다. 본 연구에서는 객체탐지 결과를 기반으로 변화탐지를 수행하므로 각 시기별 영상에 대한 딥러닝 모델의 예측 결과와 참조자료를 비교 평가하여 Table 2와 같이 오차행렬을 구하고, 그 결과를 이용하여 Table 3과 같은 재정의된 변화탐지 오차행렬을 작성하여 객체탐지를 기반으로 하는 객체 변화탐지의 활용가능성을 분석하고자 하였다.
본 연구에서는 객체탐지 기반 변화탐지의 활용성 평가를 위하여 핵활동과 관련된 대표적인 지역인 북한의 영변지역을 실험지역으로 선정하였다(Fig. 1).
저장탱크와 대부분의 차량은 탐지하였으나, 차량이 겹쳐져 있는 부분에서 오탐지가 발생하였다. 실험에서 사용된 WorldView-2 위성영상은 초가을(2010년 10월 24일), 전이학습에 사용한 GeoEye 위성영상은 초봄(2013년 3월 3일)으로써 계절의 영향으로 배경색이 비슷하고 두 영상의 해상도가 비슷하여 객체탐지율이 높은 것으로 판단된다.
한편, 본 연구에서는 관심지역의 핵활동이 발생할 경우, 관련 재료를 운반하기 위한 차량의 이동이 빈번할 것이라고 가정하였으며, 해당 지역 내에 연료 등을 저장하기 위한 저장탱크가 존재할 것으로 판단하였다. 이를 위하여 일반 소형차량과 트럭, 컨테이너 운반차량 등과 같은 대형차량, 저장탱크의 3종류의 객체를 관심대상으로 설정하고, 실험을 수행하였다. 소형차량 및 대형차량은 단일객체로 통합할 경우, 차량의 크기가 너무 다양해지기 때문에 객체탐지의 성능이 저하될 수 있어서, 크기를 기준으로 2개의 세부 클래스로 구분하였다.

데이터처리

Fig. 4에서 언급한 위성영상들에 딥러닝 모델의 객체 탐지를 수행하고, 해당 결과로부터 얻어진 영상 내에 존재하는 객체의 변화양상을 분석하였다. 다시기 위성영상의 특성에 따라서 변화탐지 결과에 대한 평가는 세 종류의 위성영상을 이용하여 분석해보고자 하였다.
YOLOv4 네트워크의 객체탐지에 대한 성능 평가를 수행하기 위하여 모델의 학습을 수행하였다. 모델학습은 linux OS에서 darknet를 이용하여 수행하였으며, 모델의 훈련에 사용된 하이퍼파라미터(hyperparameter)는 Table 4와 같이 설정하였다.
4에서 언급한 위성영상들에 딥러닝 모델의 객체 탐지를 수행하고, 해당 결과로부터 얻어진 영상 내에 존재하는 객체의 변화양상을 분석하였다. 다시기 위성영상의 특성에 따라서 변화탐지 결과에 대한 평가는 세 종류의 위성영상을 이용하여 분석해보고자 하였다. 첫 번째 실험은 GeoEye 위성영상(2013년 4월 18일)과 QuickBird 위성영상(2013년 12월 13일)을 이용하여 객체탐지를 적용하고, 이를 이용하여 변화탐지를 수행한 결과이며, Fig.
학습된 YOLOv4 모델을 활용하여 실제 실험지역에 대한 객체탐지를 수행하고, 이에 대한 결과를 분석하였다. Fig.

이론/모형

객체탐지 딥러닝 모델 성능의 분석은 오차행렬(confusion matrix)를 이용하여 수행하였으며, 딥러닝 모델에 의한 객체탐지 결과와 참조자료를 통한 오차행렬은 Table 2와 같이 구성된다.
학습데이터셋을 구축하기 위하여, 고해상도 전정색 영상 및 저해상도 다중분광영상 간의 영상융합을 수행하여 고해상도 다중분광 영상을 제작하였다. 영상융합 기법은 ENVI 소프트웨어에 탑재되어 있는 GS(Gram Schmidt)를 변형한 GSA(GS Adaptive) 기법을 활용하여 Fig. 1과 같이 생성하였다.

성능/효과

9와 마찬가지로 KOMPSAT-3A 위성영상에서 소형차량이 검출되지 않아서 일부 오차가 발생하였으나, 대형객체 일부는 효과적으로 탐지된 것을 확인할 수 있었다. 변화 전, 후의 영상에 대한 전체지역의 정밀도는 각각 0.6230, 0.5588으로 나타났으며, 세 종류의 다시기 위성영상에 대한 실험을 통하여 객체탐지 결과에 비해서는 정확도가 낮지만 차량 및 저장탱크의 일부에 대해서는 변화탐지 분야에 실제적으로 적용할 수 있음을 확인하였다.
그리고 그 결과를 활용하여 서로 다른 두시기에 대한 비교를 통해 객체탐지 기반 변화탐지를 수행하였다. 실험 결과 서로 다른 시기에 대한 화소기반의 변화탐지를 수행하면 객체탐지 결과의 정확도와 비교하여 낮은 정확도를 보이기는 하지만, 변화하는 객체들을 탐지할 수 있는 가능성을 확인하였다. 다만 변화탐지 결과의 오차는 객체탐지의 오류가 누적되어 발생하므로 실제 활용하는 데에 있어서는 객체탐지 딥러닝 모델의 정확도를 높일 수 있는 방법의 연구가 필요할 것으로 판단된다.

후속연구

실험 결과 서로 다른 시기에 대한 화소기반의 변화탐지를 수행하면 객체탐지 결과의 정확도와 비교하여 낮은 정확도를 보이기는 하지만, 변화하는 객체들을 탐지할 수 있는 가능성을 확인하였다. 다만 변화탐지 결과의 오차는 객체탐지의 오류가 누적되어 발생하므로 실제 활용하는 데에 있어서는 객체탐지 딥러닝 모델의 정확도를 높일 수 있는 방법의 연구가 필요할 것으로 판단된다.

참고문헌 (15)

AIHub, 2021, Satellite image dataset, https://aihub.or.kr/aidata/7982, Accessed on Oct. 21, 2021.
Bochkovskiy, A., C. Wang, and H. Liao, 2020. YOLOv4: Optimal speed and accuracy of object detection, Computer Vision and Pattern Recognition, arXiv preprint (arXiv): 2004.10934
Chen, Z., K. Lu, L. Gao, B. Li, J. Gao, X. Yang, M. Yao, and B. Zhang, 2019. Automatic detection of track and fields in China from high-resolution satellite images using multi-scale-fused single shot multibox detector, Remote Sensing, 11(11): 1377.

상세보기
Choi, J., H. Park, D. Kim, and S. Choi, 2018. Unsupervised change detection of KOMPSAT-3 satellite imagery based on cross-sharpened images by guided filter, Korean Journal of Remote Sensing, 34(5): 777-786 (in Korean with English abstract).

원문보기 상세보기
Girshick, R., J. Donahue, T. Darrell, and J. Malik, 2014. Rich feature hierarchies for accurate object detection and semantic segmentation, Proc. of the IEEE conference on computer vision and pattern recognition, Columbus, OH, USA, Jun. 23-28, pp. 580-587.
Han, Q., Q. Yin, X. Zheng, and Z. Chen, 2021. Remote sensing image building detection method based on Mask R-CNN, Complex and Intelligent Systems, 2021: 1-9.

상세보기
Kim, S. and H. Park, 2021. Evaluation of SWIR bands utilization of Worldview-3 satellite imagery for mineral detection, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 39(3): 203-209 (in Korean with English abstract).

원문보기 상세보기
Ophoff. T., S. Puttemans, V. Kalogirou, J-P. Pobin, and T. Goedem, 2020. Vehicle and vessel detection on satellite imagery: A comparative study on single-shot detectors, Remote Sensing, 12(7): 1217.

상세보기
Park, H., 2009. A study on the acquisition scheme of North Korea geospatial information, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 27(6): 749-760 (in Korean with English abstract).
Redmon, J., S. Divvala, R. Girshick, and A. Farhadi, 2016. You only look once: Unified, real-time object detection, Proc. of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, USA, Jun. 27-30, pp. 779-788.
Ren, S., K. He, R. Girshick, and J. Sun, 2017. Faster R-CNN: Towards real-time object detection with region proposal networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149

상세보기
Shi, W., M. Zhang, R. Zhang, S. Chen, and Z. Zhan, 2020. Change detection based on artificial intelligence: State-of-the-art and challenges, Remote Sensing, 12(10): 1688.

상세보기
Sokolova, M., N. Japkowicz, and S. Szpakowicz, 2016. Beyond accuracy, F-score and ROC: a family of discriminant measures for performance evaluation, In Australasian joint conference on artificial intelligence, Springer, Berlin, Heidelberg, pp. 1015-1021.
Song, A., Y. Kim, and Y. Han, 2020. Uncertainty analysis for object-based change detection in very high-resolution satellite images using deep learning network, Remote Sensing, 12(15): 2345.

상세보기
Song, C., W. Wahyu, J. Jung, S. Hong, D. Kim, and J. Kang, 2020. Urban change detection for high-resolution satellite images using U-Net based on SPADE, Korean Journal of Remote Sensing, 36(6): 1579-1590 (in Korean with English abstract).

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증