[논문]다중센서 고해상도 위성영상의 딥러닝 기반 영상매칭을 위한 학습자료 구성에 관한 연구

강원빈; 정민영; 김용일

doi:10.7780/kjrs.2022.38.6.1.38

[국내논문] 다중센서 고해상도 위성영상의 딥러닝 기반 영상매칭을 위한 학습자료 구성에 관한 연구
A Study on Training Dataset Configuration for Deep Learning Based Image Matching of Multi-sensor VHR Satellite Images 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.6 pt.1, 2022년, pp.1505 - 1514

강원빈 (서울대학교 건설환경공학부) , 정민영 (서울대학교 공학연구원) , 김용일 (서울대학교 건설환경공학부)

초록
AI-Helper

영상정합은 다시기 및 다중센서 고해상도 위성영상을 효과적으로 활용하기 위해 필수적으로 선행되는 중요한 과정이다. 널리 각광받고 있는 딥러닝 기법은 위성영상에서 복잡하고 세밀한 특징을 추출하여 영상 간 빠르고 정확한 유사도 판별에 사용될 수 있음에도 불구하고, 학습자료의 양과 질이 결과에 영향을 미치는 딥러닝 모델의 한계와 고해상도 위성영상 기반 학습자료 구축의 어려움에 따라 고해상도 위성영상의 정합에는 제한적으로 적용되어 왔다. 이에 본 연구는 영상정합에서 가장 많은 시간을 소요하는 정합쌍 추출 과정에서 딥러닝 기반 기법의 적용성을 확인하기 위하여, 편향성이 존재하는 고해상도 위성영상 데이터베이스로부터 딥러닝 영상매칭 학습자료를 구축하고 학습자료의 구성이 정합쌍 추출 정확도에 미치는 영향을 분석하였다. 학습자료는 12장의 다시기 및 다중센서 고해상도 위성영상에 대하여 격자 기반의 Scale Invariant Feature Transform(SIFT) 알고리즘을 이용하여 추출한 영상쌍에 참과 거짓의 레이블(label)을 할당한 정합쌍과 오정합쌍의 집합으로 구축되도록 하였다. 구축된 학습자료로부터 정합쌍 추출을 위해 제안된 Siamese convolutional neural network (SCNN) 모델은 동일한 두 개의 합성곱 신경망 구조에 한 쌍을 이루는 두 영상을 하나씩 통과시킴으로써 학습을 진행하고 추출된 특징의 비교를 통해 유사도를 판별한다. 본 연구를 통해 고해상도 위성영상 데이터 베이스로부터 취득된 자료를 딥러닝 학습자료로 활용 가능하며 이종센서 영상을 적절히 조합하여 영상매칭 과정의 효율을 높일 수 있음을 확인하였다. 다중센서 고해상도 위성영상을 활용한 딥러닝 기반 영상매칭 기법은 안정적인 성능을 바탕으로 기존 수작업 기반의 특징 추출 방법을 대체하고, 나아가 통합적인 딥러닝 기반 영상정합 프레임워크로 발전될 것으로 기대한다.

Abstract ▼ AI-Helper

Image matching is a crucial preprocessing step for effective utilization of multi-temporal and multi-sensor very high resolution (VHR) satellite images. Deep learning (DL) method which is attracting widespread interest has proven to be an efficient approach to measure the similarity between image pairs in quick and accurate manner by extracting complex and detailed features from satellite images. However, Image matching of VHR satellite images remains challenging due to limitations of DL models in which the results are depending on the quantity and quality of training dataset, as well as the difficulty of creating training dataset with VHR satellite images. Therefore, this study examines the feasibility of DL-based method in matching pair extraction which is the most time-consuming process during image registration. This paper also aims to analyze factors that affect the accuracy based on the configuration of training dataset, when developing training dataset from existing multi-sensor VHR image database with bias for DL-based image matching. For this purpose, the generated training dataset were composed of correct matching pairs and incorrect matching pairs by assigning true and false labels to image pairs extracted using a grid-based Scale Invariant Feature Transform (SIFT) algorithm for a total of 12 multi-temporal and multi-sensor VHR images. The Siamese convolutional neural network (SCNN), proposed for matching pair extraction on constructed training dataset, proceeds with model learning and measures similarities by passing two images in parallel to the two identical convolutional neural network structures. The results from this study confirm that data acquired from VHR satellite image database can be used as DL training dataset and indicate the potential to improve efficiency of the matching process by appropriate configuration of multi-sensor images. DL-based image matching techniques using multi-sensor VHR satellite images are expected to replace existing manual-based feature extraction methods based on its stable performance, thus further develop into an integrated DL-based image registration framework.

주제어

표/그림 (6)

표 Table 1. List of VHR satellite images used in this study and their specifications
그림 Fig. 1. Extracted training samples. (a) 14,305 positive image pairs and 8,695 negative image pairs are generated within the entire training dataset. As an example, (b) correct matching pair and (c) incorrect matching pair extracted from GE and WV2 are presented.
그림 Fig. 2. Structure of SCNN.
표 Table 2. Dataset configuration for each of the five experiments
표 Table 3. Implementation details in experiments
표 Table 4. Experimental results

AI 본문요약
AI-Helper

문제 정의

따라서 본 연구에서는 편향성이 존재하는 다시기 다중센서 고해상도 위성영상 데이터베이스로부터 영상 정합을 위한 딥러닝 학습자료를 생성하여 사용할 수 있다면, 영상정합에서 가장 많은 시간을 소요하는 정합쌍 추출 단계에 딥러닝 모델이 효과적으로 사용될 수 있을 것으로 보고, 고해상도 위성영상 자료의 영상정합을 위한 정합쌍 추출 과정에서 딥러닝 기반 기법의 활용성을 확인하고자 하였다. 이를 위해 다시기 다중센서 고해상도 위성영상을 기반으로 딥러닝 학습자료를 생성하고 Siamese 네트워크에 합성곱 신경망을 결합한 딥러닝 기반 영상매칭 모델을 제안하였으며, 다중센서 영상이 다양한 조합으로 구성된 학습자료를 사용하여 정합쌍 추출을 수행하고 결과를 비교함으로써 학습자료의 구성이 영상정합을 위한 정합쌍 추출 정확도에 미치는 영향에 대하여 분석하였다.
본 연구는 다시기 및 다중센서 고해상도 위성영상에 대하여 딥러닝 기반 영상매칭 기법의 활용성을 확인하고 고해상도 위성영상 데이터베이스로부터 구축한 딥러닝 학습자료의 구성이 정합쌍 추출 결과에 미치는 영향을 분석하고자 하였다. 이를 위해 국내 대전 지역에 대한 12개의 다시기 다중센서 고해상도 위성영상을 기반으로 영상정합을 위한 딥러닝 영상매칭 학습자료를 생성하고, 다양한 구성의 학습자료에 대하여 영상쌍 간 유사도 판별에 효율적인 Siamese 구조에 CNN 네트워크를 결합한 SCNN을 적용하여 정합쌍 추출 결과를 비교하였다.

제안 방법

본 연구는 다시기 및 다중센서 고해상도 위성영상에 대하여 딥러닝 기반 영상매칭 기법의 활용성을 확인하고 고해상도 위성영상 데이터베이스로부터 구축한 딥러닝 학습자료의 구성이 정합쌍 추출 결과에 미치는 영향을 분석하고자 하였다. 이를 위해 국내 대전 지역에 대한 12개의 다시기 다중센서 고해상도 위성영상을 기반으로 영상정합을 위한 딥러닝 영상매칭 학습자료를 생성하고, 다양한 구성의 학습자료에 대하여 영상쌍 간 유사도 판별에 효율적인 Siamese 구조에 CNN 네트워크를 결합한 SCNN을 적용하여 정합쌍 추출 결과를 비교하였다. 실험결과, 모델은 단일 센서 자료 사용 시 가장 높은 정확도를 기록하였으나 다중센서 자료를 통한 결과에서도 안정적인 정확도를 획득하여 고해상도 위성영상 데이터베이스로부터 취득된 자료를 딥러닝 학습자료로 활용 가능함을 확인하였다.
따라서 본 연구에서는 편향성이 존재하는 다시기 다중센서 고해상도 위성영상 데이터베이스로부터 영상 정합을 위한 딥러닝 학습자료를 생성하여 사용할 수 있다면, 영상정합에서 가장 많은 시간을 소요하는 정합쌍 추출 단계에 딥러닝 모델이 효과적으로 사용될 수 있을 것으로 보고, 고해상도 위성영상 자료의 영상정합을 위한 정합쌍 추출 과정에서 딥러닝 기반 기법의 활용성을 확인하고자 하였다. 이를 위해 다시기 다중센서 고해상도 위성영상을 기반으로 딥러닝 학습자료를 생성하고 Siamese 네트워크에 합성곱 신경망을 결합한 딥러닝 기반 영상매칭 모델을 제안하였으며, 다중센서 영상이 다양한 조합으로 구성된 학습자료를 사용하여 정합쌍 추출을 수행하고 결과를 비교함으로써 학습자료의 구성이 영상정합을 위한 정합쌍 추출 정확도에 미치는 영향에 대하여 분석하였다.

대상 데이터

2009년부터 2020년까지 구축된 GeoEye (GE), World-View 2 (WV2), KOMPSAT-3 (K3), KOMPSAT-3A (K3A), Pléiades (PHR) 위성영상자원 중 구름에 의한 폐색이 존재하지 않는 영상이 활용되었다
본 연구는 대전 동일 지역에 대해 5개의 고해상도 위성으로 취득된 다시기 다중센서 영상을 활용한다(Table 1). 2009년부터 2020년까지 구축된 GeoEye (GE), World-View 2 (WV2), KOMPSAT-3 (K3), KOMPSAT-3A (K3A), Pléiades (PHR) 위성영상자원 중 구름에 의한 폐색이 존재하지 않는 영상이 활용되었다.
실험 목적에 따라 서로 다른 학습자료와 시험자료 구성을 갖도록 하였으며 각각의 실험은 독립적으로 수행되었다(Table 2). 실험 1에서는 모델의 성능을 확인하기 위하여 Table 1에 나열한 12개 위성영상 전체를 사용하여 생성한 전체 학습자료를 사용하였다. 실험 2와 실험 3은 동종의 영상으로 구성된 학습 및 시험자료를 사용함에 따른 차이를 분석하기 위해 가장 큰 비중을 차지하는 K3A 영상만을 사용하여 학습한 후, 시험자료로는 K3A 영상만을 사용하거나 전체 영상 중 K3A 영상을 제외한 영상을 사용하였다.
실험 1에서는 모델의 성능을 확인하기 위하여 Table 1에 나열한 12개 위성영상 전체를 사용하여 생성한 전체 학습자료를 사용하였다. 실험 2와 실험 3은 동종의 영상으로 구성된 학습 및 시험자료를 사용함에 따른 차이를 분석하기 위해 가장 큰 비중을 차지하는 K3A 영상만을 사용하여 학습한 후, 시험자료로는 K3A 영상만을 사용하거나 전체 영상 중 K3A 영상을 제외한 영상을 사용하였다. 실험 4에서는 K3A 영상을 배제한 자료로 학습시킨 모델을 K3A 영상으로 시험하였고, 실험 5에서는 다중센서 학습자료 내 센서별 비율을 정제하여 사용하였다.
실험 2와 실험 3은 동종의 영상으로 구성된 학습 및 시험자료를 사용함에 따른 차이를 분석하기 위해 가장 큰 비중을 차지하는 K3A 영상만을 사용하여 학습한 후, 시험자료로는 K3A 영상만을 사용하거나 전체 영상 중 K3A 영상을 제외한 영상을 사용하였다. 실험 4에서는 K3A 영상을 배제한 자료로 학습시킨 모델을 K3A 영상으로 시험하였고, 실험 5에서는 다중센서 학습자료 내 센서별 비율을 정제하여 사용하였다. 이 때, 각 실험별 조건에 따라 사용되는 학습자료 및 시험자료를 8:2 비율로 임의적으로 분리하여 구성하였으며, 모든 실험에서 학습에 사용된 자료가 시험에 다시 사용되지 않도록 하였다.

데이터처리

매 실험에 앞서 해당 실험에 사용될 학습자료 및 시험자료에 포함되는 영상쌍들을 새롭게 임의로 구성하고 실험을 반복적으로 수행한 결과의 평균 정확도를 바탕으로 모델의 성능을 평가하였다.

이론/모형

8 환경에서 PyTorch를 통해 구현하였으며, 각 입력영상은 256 × 256 픽셀 크기의 영상이 쌍을 이루어 모델로 입력되었다. 학습을 위한 하이퍼파라미터는 Table 3과 같이, 에폭(epoch)은 200, 배치 크기(batch size)는 256, 학습률(learning rate)은 0.0001로 설정하고 Adam 최적화함수(optimizer)를 사용하여 학습을 진행하였다. 손실함수(loss function)는 널리 사용되는 이진 교차 엔트로피 손실(Binary cross-entropy loss) 함수에 시그모이드(Sigmoid) 함수를 결합하여, 모델을 통한 최종값은 식(1)에서와 같이 두 영상의 유사성이 높으면 1, 다른 지역을 나타내면 0으로 산출되도록 하였다.

성능/효과

정확도는 실험 2, 실험 1, 실험 5, 실험 3, 실험 4 순으로 높은 값을 나타냈으며, 동종센서 영상 활용 시 가장 높은 정확도를 획득하였고, 정제되지 않은 다종센서 영상 자료로부터 학습을 수행하고 학습에 사용하지 않은 센서 영상(K3A)에 적용 시 가장 낮은 정확도가 도출되었다. 그러나 가장 많은 비율을 차지하는 K3A 영상에 대하여 K3A 영상을 포함하지 않는 이종센서 영상들로 구성된 자료를 통해 학습하거나 시험한 결과에서도 상당한 정확도가 산출되었으며, 이종센서 영상의 구성 비율을 균일하게 하는 단순한 자료 정제만으로도 영상매칭 정확도를 향상시킬 수 있었다. 이러한 결과는 높은 영상매칭 정확도를 얻기 위해 센서별 영상 특성에 따른 최적의 영상정합 기술을 개발하여 동종센서 간 개별적 정합을 수행하는 대신 이종센서 영상들을 적절히 함께 활용함으로써 안정적인 정확도를 산출함과 동시에 영상매칭 과정의 효율을 높일 수 있음을 보여준다.
본 모델의 학습 효율 및 안정적인 정확도를 고려하였을 때, 고해상도 위성영상 데이터베이스를 활용한 SCNN 기반 영상매칭 기법은 이종센서 영상 활용 시에도 간단한 영상 비율 정제를 통한 정확도 향상이 가능하여 영상매칭 효율을 증진시킴으로써 기존 수작업 기반의 특징 추출 방법의 한계를 극복할 수 있을 것으로 보인다. 또한 다중센서 고해상도 위성영상 자원의 활용이 불가피한 환경에서 다중센서 영상으로 구성된 영상매칭 학습자료의 높은 활용성을 확인할 수 있었다.
실험 2와 비교하여 실험 3에서도 상당한 정확도 결과가 산출됨에 따라, 특정 센서영상의 구성이 높게 구성된 고해상도 위성영상자원을 고려하여 다종센서 영상을 포함하지 않는 학습자료를 구축하여 사용하여도 유의미한 학습이 가능함을 확인할 수 있다. 또한, 실험 3과 반대로 실험 4에서 K3A 영상이 아닌 서로 다른 4가지 다종센서 영상을 사용한 자료로 학습시킨 후 K3A 영상으로 시험하였을 때, 앞선 실험들과 정확도 측면에서 큰 차이를 보이지 않는 결과를 도출하여 전이학습의 적용 가능성을 확인할 수 있었다. 실험 5는 딥러닝 모델 학습에 다중센서 학습자료 사용 시 편향된 자료의 영향을 고려하여 개별 센서별 영상 비율을 정제하여 학습에 사용하였으며, 영상 비율이 정제되지 않은 실험 4보다 향상된 결과를 도출하였다.
이때, K3A 영상 간에도 영상 취득 계절, 공간 해상도, 입사각 등에서 차이가 있으며 학습에 사용된 자료가 시험에 다시 사용되지 않도록 분리한 점을 고려하였을 때, 과적합은 발생하지 않았을 것으로 분석된다. 실험 2와 비교하여 실험 3에서도 상당한 정확도 결과가 산출됨에 따라, 특정 센서영상의 구성이 높게 구성된 고해상도 위성영상자원을 고려하여 다종센서 영상을 포함하지 않는 학습자료를 구축하여 사용하여도 유의미한 학습이 가능함을 확인할 수 있다. 또한, 실험 3과 반대로 실험 4에서 K3A 영상이 아닌 서로 다른 4가지 다종센서 영상을 사용한 자료로 학습시킨 후 K3A 영상으로 시험하였을 때, 앞선 실험들과 정확도 측면에서 큰 차이를 보이지 않는 결과를 도출하여 전이학습의 적용 가능성을 확인할 수 있었다.
실험 2의 결과에서 학습자료와 시험자료가 단일 센서의 영상(K3A)으로 구성된 경우에 가장 높은 정확도를 제시함으로써, 동종 센서 영상을 활용한 모델 학습이 정확도 향상에 유리한 조건일 것으로 판단된다. 이때, K3A 영상 간에도 영상 취득 계절, 공간 해상도, 입사각 등에서 차이가 있으며 학습에 사용된 자료가 시험에 다시 사용되지 않도록 분리한 점을 고려하였을 때, 과적합은 발생하지 않았을 것으로 분석된다.
또한, 실험 3과 반대로 실험 4에서 K3A 영상이 아닌 서로 다른 4가지 다종센서 영상을 사용한 자료로 학습시킨 후 K3A 영상으로 시험하였을 때, 앞선 실험들과 정확도 측면에서 큰 차이를 보이지 않는 결과를 도출하여 전이학습의 적용 가능성을 확인할 수 있었다. 실험 5는 딥러닝 모델 학습에 다중센서 학습자료 사용 시 편향된 자료의 영향을 고려하여 개별 센서별 영상 비율을 정제하여 학습에 사용하였으며, 영상 비율이 정제되지 않은 실험 4보다 향상된 결과를 도출하였다.
이를 위해 국내 대전 지역에 대한 12개의 다시기 다중센서 고해상도 위성영상을 기반으로 영상정합을 위한 딥러닝 영상매칭 학습자료를 생성하고, 다양한 구성의 학습자료에 대하여 영상쌍 간 유사도 판별에 효율적인 Siamese 구조에 CNN 네트워크를 결합한 SCNN을 적용하여 정합쌍 추출 결과를 비교하였다. 실험결과, 모델은 단일 센서 자료 사용 시 가장 높은 정확도를 기록하였으나 다중센서 자료를 통한 결과에서도 안정적인 정확도를 획득하여 고해상도 위성영상 데이터베이스로부터 취득된 자료를 딥러닝 학습자료로 활용 가능함을 확인하였다.
그러나 가장 많은 비율을 차지하는 K3A 영상에 대하여 K3A 영상을 포함하지 않는 이종센서 영상들로 구성된 자료를 통해 학습하거나 시험한 결과에서도 상당한 정확도가 산출되었으며, 이종센서 영상의 구성 비율을 균일하게 하는 단순한 자료 정제만으로도 영상매칭 정확도를 향상시킬 수 있었다. 이러한 결과는 높은 영상매칭 정확도를 얻기 위해 센서별 영상 특성에 따른 최적의 영상정합 기술을 개발하여 동종센서 간 개별적 정합을 수행하는 대신 이종센서 영상들을 적절히 함께 활용함으로써 안정적인 정확도를 산출함과 동시에 영상매칭 과정의 효율을 높일 수 있음을 보여준다. 또한 동종센서로 구성된 학습자료를 사용한 결과에서도 과적합이 발생하지 않음에 따라 전이학습을 통해 적은 수의 영상을 사용하여 구축된 고해상도 위성영상 기반 딥러닝 학습자료의 활용이 가능할 것으로 사료된다.
정확도는 실험 2, 실험 1, 실험 5, 실험 3, 실험 4 순으로 높은 값을 나타냈으며, 동종센서 영상 활용 시 가장 높은 정확도를 획득하였고, 정제되지 않은 다종센서 영상 자료로부터 학습을 수행하고 학습에 사용하지 않은 센서 영상(K3A)에 적용 시 가장 낮은 정확도가 도출되었다. 그러나 가장 많은 비율을 차지하는 K3A 영상에 대하여 K3A 영상을 포함하지 않는 이종센서 영상들로 구성된 자료를 통해 학습하거나 시험한 결과에서도 상당한 정확도가 산출되었으며, 이종센서 영상의 구성 비율을 균일하게 하는 단순한 자료 정제만으로도 영상매칭 정확도를 향상시킬 수 있었다.
2009년부터 2020년까지 구축된 GeoEye (GE), World-View 2 (WV2), KOMPSAT-3 (K3), KOMPSAT-3A (K3A), Pléiades (PHR) 위성영상자원 중 구름에 의한 폐색이 존재하지 않는 영상이 활용되었다. 총 12장의 영상 중 K3A 센서로 취득된 영상은 5장으로 고해상도 광학 위성영상 데이터베이스의 편향성을 확인할 수 있다. 전체 영상의 공간해상도는 0.

후속연구

특히 제안된 모델은 딥러닝 모델의 적용성을 확인하기 위한 기본적인 CNN 구조를 기반으로 하여 모델 개선의 여지가 크며 트랜스포머(transformer) 모델 등 최신 기법을 적용하여 전체 정확도를 향상시킬 수 있을 것으로 보인다. 따라서 후속 연구에서는 발전된 딥러닝 기반 정합쌍 추출 모델로부터 추출된 정합쌍을 이용하여 최종적으로 고해상도 위성영상의 정합 결과를 도출할 필요가 있다. 이러한 과정을 통해 다시기 및 다중센서 고해상도 위성영상자원을 효과적으로 활용할 수 있도록 다양한 학습자료 환경에서 범용적인 딥러닝 기반 영상정합 프레임워크로의 발전이 기대된다.
이러한 결과는 높은 영상매칭 정확도를 얻기 위해 센서별 영상 특성에 따른 최적의 영상정합 기술을 개발하여 동종센서 간 개별적 정합을 수행하는 대신 이종센서 영상들을 적절히 함께 활용함으로써 안정적인 정확도를 산출함과 동시에 영상매칭 과정의 효율을 높일 수 있음을 보여준다. 또한 동종센서로 구성된 학습자료를 사용한 결과에서도 과적합이 발생하지 않음에 따라 전이학습을 통해 적은 수의 영상을 사용하여 구축된 고해상도 위성영상 기반 딥러닝 학습자료의 활용이 가능할 것으로 사료된다.
고해상도 위성영상은 방대한 정보를 포함하므로 영상정합 시 고수준의 특징을 추출하여 활용하기 어렵고 정합쌍 추출 과정에서 많은 시간이 소요되는 문제가 있으며, 전통적인 영상정합 방법 적용 시 자료 전처리 과정에 RFM 정보를 참고하기 어려운 경우나 동일 지역에 대해 비슷한 시기 혹은 동종의 고해상도 위성영상을 얻기 어려운 경우에 신속하고 정확도 높은 정합쌍 추출에 한계가 있었다. 본 모델의 학습 효율 및 안정적인 정확도를 고려하였을 때, 고해상도 위성영상 데이터베이스를 활용한 SCNN 기반 영상매칭 기법은 이종센서 영상 활용 시에도 간단한 영상 비율 정제를 통한 정확도 향상이 가능하여 영상매칭 효율을 증진시킴으로써 기존 수작업 기반의 특징 추출 방법의 한계를 극복할 수 있을 것으로 보인다. 또한 다중센서 고해상도 위성영상 자원의 활용이 불가피한 환경에서 다중센서 영상으로 구성된 영상매칭 학습자료의 높은 활용성을 확인할 수 있었다.
본 연구는 고해상도 위성영상을 활용한 딥러닝 기반 영상정합 프레임워크 구축을 위해 영상정합에서 가장 많은 시간을 소요하는 정합쌍 추출 단계에 딥러닝 기법을 적용한 기초연구로서, 후속연구를 통해 K3A 영상 외 영상의 수 및 영상쌍 집합의 조건을 다양화하는 등 확장된 자료를 활용하여 더욱 많은 변수를 고려하면서도 안정적으로 향상된 정확도를 얻을 수 있도록 할 예정이다. 특히 제안된 모델은 딥러닝 모델의 적용성을 확인하기 위한 기본적인 CNN 구조를 기반으로 하여 모델 개선의 여지가 크며 트랜스포머(transformer) 모델 등 최신 기법을 적용하여 전체 정확도를 향상시킬 수 있을 것으로 보인다.
본 연구는 고해상도 위성영상을 활용한 딥러닝 기반 영상정합 프레임워크 구축을 위해 영상정합에서 가장 많은 시간을 소요하는 정합쌍 추출 단계에 딥러닝 기법을 적용한 기초연구로서, 후속연구를 통해 K3A 영상 외 영상의 수 및 영상쌍 집합의 조건을 다양화하는 등 확장된 자료를 활용하여 더욱 많은 변수를 고려하면서도 안정적으로 향상된 정확도를 얻을 수 있도록 할 예정이다. 특히 제안된 모델은 딥러닝 모델의 적용성을 확인하기 위한 기본적인 CNN 구조를 기반으로 하여 모델 개선의 여지가 크며 트랜스포머(transformer) 모델 등 최신 기법을 적용하여 전체 정확도를 향상시킬 수 있을 것으로 보인다. 따라서 후속 연구에서는 발전된 딥러닝 기반 정합쌍 추출 모델로부터 추출된 정합쌍을 이용하여 최종적으로 고해상도 위성영상의 정합 결과를 도출할 필요가 있다.

참고문헌 (26)

Bentoutou, Y., N. Taleb, K. Kpalma, and J. Ronsin, 2005. An automatic image registration for applications in remote sensing, IEEE Transactions on Geoscience and Remote Sensing, 43(9): 2127-2137. https://doi.org/10.1109/TGRS.2005.853187

상세보기
Feng, R., H. Shen, J. Bai, and X. Li, 2021. Advances and opportunities in remote sensing image geometric registration: A systematic review of state-of-the-art approaches and future research directions, IEEE Geoscience and Remote Sensing Magazine, 9(4): 120-142. https://doi.org/10.1109/MGRS.2021.3081763

상세보기
Goncalves, H., L. Corte-Real, and J.A. Goncalves, 2011. Automatic image registration through image segmentation and SIFT, IEEE Transactions on Geoscience and Remote Sensing, 49(7): 2589-2600. https://doi.org/10.1109/TGRS.2011.2109389

상세보기
He, H., M. Chen, T. Chen, and D. Li, 2018. Matching of remote sensing images with complex background variations via Siamese convolutional neural network, Remote Sensing, 10(2): 355. https://doi.org/10.3390/rs10020355

상세보기
Huo, C., C. Pan, L. Huo, and Z. Zhou, 2011. Multilevel SIFT matching for large-size VHR image registration, IEEE Geoscience and Remote Sensing Letters, 9(2): 171-175. https://doi.org/10.1109/LGRS.2011.2163491

상세보기
Jabari, S. and Y. Zhang, 2016. RPC-based coregistration of VHR imagery for urban change detection, Photogrammetric Engineering & Remote Sensing, 82(7): 521-534. https://doi.org/10.14358/PERS.82.7.521

상세보기
Jung, M.Y., 2021. Improving Geometric Consistency of VHR Satellite Imagery Using Persistent Tie Points, Seoul National University, Seoul, Korea.
Jung, M.Y., W.B. Kang, A.R. Song, and Y.I. Kim, 2020. A Study on the Improvement of Geometric Quality of KOMPSAT-3/3A Imagery Using Planetscope Imagery, Korean Journal of Remote Sensing, 38(4): 327-343 (in Korean with English abstract). https://doi.org/10.7848/ksgpc.2020.38.4.327

원문보기 상세보기
Kennedy, R.E. and W.B. Cohen, 2003. Automated designation of tie-points for image-to-image coregistration, International Journal of Remote Sensing, 24(17): 3467-3490. https://doi.org/10.1080/0143116021000024249

상세보기
Li, Q., G. Wang, J. Liu, and S. Chen, 2009. Robust scale-invariant feature matching for remote sensing image registration, IEEE Geoscience and Remote Sensing Letters, 6(2): 287-291. https://doi.org/10.1109/LGRS.2008.2011751

상세보기
Lowe, D.G., 2004. Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60(2): 91-110. https://doi.org/10.1023/B:VISI.0000029664.99615.94

상세보기
Ma, J., X. Jiang, A. Fan, J. Jiang, and J. Yan, 2021. Image matching from handcrafted to deep features: A survey, International Journal of Computer Vision, 129(1): 23-79. https://doi.org/10.1007/s11263-020-01359-2

상세보기
Ma, L., Y. Liu, X. Zhang, Y. Ye, G. Yin, and B. A. Johnson, 2019. Deep learning in remote sensing applications: A meta-analysis and review, ISPRS Journal of Photogrammetry and Remote Sensing, 152: 166-177. https://doi.org/10.1016/j.isprsjprs.2019.04.015

상세보기
Melekhov, I., J. Kannala, and E. Rahtu, 2016. Siamese network features for image matching, Proc. of 2016 23rd International Conference on Pattern Recognition (ICPR), Cancun, Mexico, Dec. 4-8, pp. 378-383. https://doi.org/10.1109/ICPR.2016.7899663
Moigne, J.L. and R.D. Eastmen, 2018. Multisensor Registration for Earth Remotely Sensed Imagery, In: Blum, R.S., Liu, Z. (eds), Multi-sensor image fusion and its applications, CRC press, Boca Raton, FL, USA, pp. 324-325
Saha, S., F. Bovolo, and L. Bruzzone, 2019. Unsupervised multiple-change detection in VHR multisensor images via deep-learning based adaptation. Proc. of 2019 IEEE International Geoscience and Remote Sensing Symposium, Yokohama, Japan, Jul. 28-Aug. 2, pp. 5033-5036. https://doi.org/10.1109/IGARSS.2019.8900173
Sedaghat, A. and H. Ebadi, 2015. Very high resolution image matching based on local features and kmeans clustering, The Photogrammetric Record, 30(150): 166-186. https://doi.org/10.1111/phor.12101

상세보기
Sedaghat, A., M. Mokhtarzade, and H. Ebadi, 2011. Uniform robust scale-invariant feature matching for optical remote sensing images, IEEE Transactions on Geoscience and Remote Sensing, 49(11): 4516-4527. https://doi.org/10.1109/TGRS.2011.2144607

상세보기
Wang, S., D. Quan, X. Liang, M. Ning, Y. Guo, and L. Jiao, 2018. A deep learning framework for remote sensing image registration, ISPRS Journal of Photogrammetry and Remote Sensing, 145: 148-164. https://doi.org/10.1016/j.isprsjprs.2017.12.012

상세보기
Yang, Z., T. Dan, and Y. Yang, 2018. Multi-temporal remote sensing image registration using deep convolutional features, IEEE Access, 6: 38544-38555. https://doi.org/10.1109/ACCESS.2018.2853100

상세보기
Ye, Y., T. Tang, B. Zhu, C. Yang, B. Li, and S. Hao, 2022. A multiscale framework with unsupervised learning for remote sensing image registration, IEEE Transactions on Geoscience and Remote Sensing, 60: 1-15. https://doi.org/10.1109/TGRS.2022.3167644

상세보기
Zhao, X., H. Li, P. Wang, and L. Jing, 2021. An Image Registration Method Using Deep Residual Network Features for Multisource High-Resolution Remote Sensing Images, Remote Sensing, 13(17): 3425. https://doi.org/10.3390/rs13173425

상세보기
Zhang, X., C. Leng, Y. Hong, Z. Pei, I. Cheng, and A. Basu, 2021. Multimodal Remote Sensing Image Registration Methods and Advancements: A Survey, Remote Sensing, 13(24): 5128. https://doi.org/10.3390/rs13245128

상세보기
Zhang, Q., L.T. Yang, Z. Chen, and P. Li, 2018. A survey on deep learning for big data, Information Fusion, 42: 146-157. https://doi.org/10.1016/j.inffus.2017.10.006

상세보기
Zheng, L., Y. Yang, and Q. Tian, 2017. SIFT meets CNN: A decade survey of instance retrieval, IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(5): 1224-1244. https://doi.org/10.1109/TPAMI.2017.2709749

상세보기
Zitova, B. and J. Flusser, 2003. Image registration methods: a survey, Image and Vision Computing, 21(11): 977-1000. https://doi.org/10.1016/S0262-8856(03)00137-9

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증