[논문]팽창된 잔차 합성곱신경망을 이용한 KOMPSAT-3A 위성영상의 융합 기법

최호성; 서두천; 최재완

doi:10.7780/kjrs.2020.36.5.2.10

팽창된 잔차 합성곱신경망을 이용한 KOMPSAT-3A 위성영상의 융합 기법
A Pansharpening Algorithm of KOMPSAT-3A Satellite Imagery by Using Dilated Residual Convolutional Neural Network 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.36 no.5 pt.2, 2020년, pp.961 - 973

최호성 (충북대학교 토목공학과) , 서두천 (한국항공우주연구원 위성정보센터) , 최재완 (충북대학교 토목공학과)

초록
AI-Helper

본 논문에서는 CNN (Convolutional Neural Network) 기반의 영상융합 기법을 제안하고자 하였다. 딥러닝 구조의 성능을 향상시키기 위하여, CNN 기법에서 대표적인 합성곱(convolution) 방법으로 알려진 팽창된 합성곱(dilated convolution) 모델을 활용하여 모델의 깊이와 복잡성을 증대시키고자 하였다. 팽창된 합성곱을 기반으로 하여 학습과정에서의 효율을 향상시키기 위하여 잔차 네트워크(residual network)도 활용하였다. 또한, 본 연구에서는 모델학습을 위하여 전통적인 L1 노름(norm) 기반의 손실함수와 함께, 공간 상관도를 활용하였다. 본 연구에서는 전정색 영상만을 이용하거나 전정색 영상과 다중분광 영상을 모두 활용하여 구조에 적용한 DRNet을 개발하여 실험을 수행하였다. KOMPSAT-3A를 활용한 전정색 영상과 다중분광 영상을 이용한 DRNet은 융합영상의 분광특성에 과적합되는 결과를 나타냈으며, 전정색 영상만을 이용한 DRNet이 기존 기법들과 비교하여 융합영상의 공간적 특성을 효과적으로 반영함을 확인하였다.

Abstract ▼ AI-Helper

In this manuscript, a new pansharpening model based on Convolutional Neural Network (CNN) was developed. Dilated convolution, which is one of the representative convolution technologies in CNN, was applied to the model by making it deep and complex to improve the performance of the deep learning architecture. Based on the dilated convolution, the residual network is used to enhance the efficiency of training process. In addition, we consider the spatial correlation coefficient in the loss function with traditional L1 norm. We experimented with Dilated Residual Networks (DRNet), which is applied to the structure using only a panchromatic (PAN) image and using both a PAN and multispectral (MS) image. In the experiments using KOMPSAT-3A, DRNet using both a PAN and MS image tended to overfit the spectral characteristics, and DRNet using only a PAN image showed a spatial resolution improvement over existing CNN-based models.

주제어

표/그림 (15)

그림 Fig. 1. Workflow of the proposed algorithm.
그림 Fig. 2. An example of receptive field of convolution : (a) general convolution of rate 1 (3*3 kernel size), (b) dilated convolutional of rate 2 (3*3 kernel size), (c) dilated convolution of rate 3 (3*3 kernel size).
그림 Fig. 3. Architecture of the ResBlock.
그림 Fig. 4. Architecture of the proposed DRNet1.
그림 Fig. 5. Architecture of the proposed DRNet2.
그림 Fig. 6. process for generating the training dataset.
그림 Fig. 7. KOMPSAT-3A training dataset.
표 Table 1. Parameter values used for training
그림 Fig. 8. KOMPSAT-3A datasets.
그림 Fig. 9. Loss during training according to each pansharpening algorithms.
그림 Fig. 10. KOMPSAT-3A images (site 1) (a) panchromatic (PAN) image, (b) resized multispectral (MS) image, (c) results by GSA, (d) results by MTF-GLP, (e) results by PNN, (f) results by DiCNN1, (g) results by DRNet1, (h) results by DRNet2.
표 Table 2. The results of the quantitative assessment of pansharpening algorithms on site 1
그림 Fig. 11. KOMPSAT-3A images (site 2) (a) panchromatic (PAN) image, (b) resized multispectral (MS) image, (c) results by GSA, (d) results by MTF-GLP, (e) results by PNN, (f) results by DiCNN1, (g) results by DRNet1, (h) results by DRNet2.
표 Table 3. The results of the quantitative assessment of pansharpening algorithms on site 2
표 Table 4. Processing time according to pansharpening algorithms

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서, 딥러닝 모델의 성능을 평가하기 위해서는 학습에 사용되지 않은 자료를 활용하는 것이 필수적이다. 따라서, 본 연구에서는 Fig. 8과 같이, 학습에 사용되지 않았으며, 다른 지역을 촬영한 2장의 KOMPSAT-3A영상을 활용하여 딥러닝 모델의 성능을 평가하고자 하였다. site 1은 2016년 9월 20일에 아루바섬에서 촬영된 도심지 및 해양지역(다중분광 영상 기준 6,015×5,880 크기)이며, site 2는 2017년 10월 15일에 중국 바오타우시에서 촬영된 농경지 및 나지지역(다중분광 영상 기준 6,015×5,780 크기)이다.
이로 인하여, 딥러닝 모델을 통하여 생성된 융합영상은 원 다중분광 영상과 유사한 분광특성을 가지지만, 전정색 영상과 유사한 공간적 특성을 가지지 못할 수 있다. 따라서, 본 연구에서는 식 (2)와 같이 융합영상과 원 다중분광 영상 사이의 공간적인 특성을 반영하기 위한 변수를 손실함수로 추가하고자 하였다. 딥러닝 모델을 통하여 생성된 융합영상은 분광왜곡과 공간선명도를 모두 만족해야 하기 때문에, 식 (1)과 식 (2)를 결합하여 최종적인 손실함수인 식 (3)을 구성하였다.
그러나, 기존에 제안된 대부분의 CNN 아키텍처를 기반으로 하는 영상융합 기법들은 해상도가 강제적으로 저하된 영상을 훈련자료로 활용하여 학습을 진행하기 때문에, 원 공간해상도를 가지는 영상에 학습된 모델을 적용할 경우에는 원 고해상도 전정색 영상의 공간해상도를 지니는 융합영상을 생성하기 어려운 문제가 발생할 수 있다. 따라서, 본 연구에서는 융합영상의 공간해상도를 반영할 수 있는 손실 함수(loss function)을 구성하여, 기존 기법들에서 발생하는 융합영상의 공간해상도 저하 문제를 해결하고자 하였다. 특히, 해당 손실함수를 활용하기 위하여 팽창된 합성곱(dilated convolution)을 이용한 CNN 모델을 제안하였다.
본 연구에서 제안한 DRNet의 성능을 평가하기 위하여, 융합영상의 분광왜곡과 공간선명도를 평가하기 위한 평가지수를 사용하고자 하였다. 융합영상의 분광 왜곡은 ERGAS(Erreur Relative Globale Adimensionnelle de Synthèse), SAM(Spectral Angle Mapper), UIQI(Universal Image Quality Index)를 사용하였다(Vivone et al.
본 연구에서는 고해상도 위성영상의 융합을 위한 CNN 기반의 딥러닝 모델을 제안하고자 하였다. 제안된 모델은 팽창된 합성곱 레이어를 기반으로 하여 잔차 네트워크 구조를 활용하여 영상융합을 위한 네트워크의 성능을 향상시키고자 하였다.
최적의 딥러닝 모델을 구성하기 위해서는 해당 네트워크의 학습을 위한 훈련자료(training data)의 구축이 필수적이다. 본 연구에서는 다양한 지역의 KOMPSAT-3A 위성영상 자료를 이용하여 훈련자료를 구축하고자 하였다. KOMPSAT-3A 자료는 전정색 영상과 다중분광 영상으로 이루어져 있으며, 각각의 공간해상도는 0.
본 연구에서는 팽창된 합성곱을 이용하여 영상융합을 위한 CNN 모델을 구성하고자 하였다. 일반적인 합성곱(convolution)은 Fig.
본 연구에서도 팽창된 합성곱을 이용하여 영상융합을 위한 CNN 아키텍처를 구성하고자 하였다. 특히, CNN의 효율성을 증대시키기 위하여 모델 구성과정에서 합성곱 레이어를 통하여 생성된 출력 레이어와 입력 레이어의 합을 다음 단계의 입력레이어로 활용하는 스킵연결(skip connection)에 의한 잔차 네트워크(residual network)를 기반으로 하는 반복적인 네트워크 구조를 구성하였다.
학습된 모델은 훈련에 사용되지 않은 KOMPSAT-3A 위성영상을 이용하여 융합영상의 분광왜곡과 공간해상도를 평가하였다. 이를 통해, 향후 국토관측위성의 운용시 최적의 융합영상을 생성하기 위한 딥러닝 기반의 방법론을 제안하고자 하였다.
본 연구에서는 고해상도 위성영상의 융합을 위한 CNN 기반의 딥러닝 모델을 제안하고자 하였다. 제안된 모델은 팽창된 합성곱 레이어를 기반으로 하여 잔차 네트워크 구조를 활용하여 영상융합을 위한 네트워크의 성능을 향상시키고자 하였다. 또한, 공간상관도를 기반으로 하는 손실함수를 이용하여 딥러닝 모델의 학습을 수행함으로써, 영상융합에 최적화된 모델을 생성하고자 하였다 KOMPSAT-3A 위성영상을 이용한 실험결과, 본 연구에서 제안된 모델이 KOMPSAT-3A 위성영상의 공간해상도를 효과적으로 향상시킬 수 있음을 확인하였으며, 기존 영상융합 기법 및 딥러닝 모델과 비교하여 우수한 성능을 보임을 확인하였다.
site 1은 2016년 9월 20일에 아루바섬에서 촬영된 도심지 및 해양지역(다중분광 영상 기준 6,015×5,880 크기)이며, site 2는 2017년 10월 15일에 중국 바오타우시에서 촬영된 농경지 및 나지지역(다중분광 영상 기준 6,015×5,780 크기)이다. 특히, 본 연구에서 개발한 딥러닝 모델의 효용성을 평가하기 위하여 Level 1R product 단위에 대한 전체영상을 융합하고자 하였다. 따라서, 딥러닝 모델의 훈련과정에서 사용한 64×64 크기의 패치단위로 영상융합을 수행하지 않았다.
한편, 본 논문에서는 다양한 융합기법들과의 비교평가를 통하여 본 논문에서 제안한 DRNet의 성능을 검증하고자 하였다. 비교평가에 사용된 영상융합 기법은 GSA(Gram-SchmidtAdaptive),MTF-GLP(Laplacianpyramids with modulation transfer function-matched filtering), PNN, DiCNN을 선정하였다(Aiazzi et al.

제안 방법

GSA와 MTF-GLP는 대표적인 CS, MRA 기반의 영상융합 기법이며, PNN과 DiCNN은 대표적인 딥러닝 기반의 영상융합 기법이다. PNN 및 DiCNN 모델의 학습은 본 연구에서 제안한 DRNet과 동일한 훈련자료와 학습방법을 통하여 진행하였다. 다만, 본 연구에서 제안한 손실함수의 성능을 복합적으로 평가하기 위하여 PNN과 DiCNN 모델의 손실함수는 기존의 딥러닝 기반의 영상융합과 관련된 연구사례에 기반하여 MAE(Mean Absolute Error)를 사용하였다(He et al.
영상융합을 위한 딥러닝 모델의 학습을 위해서는 생성된 결과물의 품질을 평가할 수 있는 참조자료의 역할을 하는 고해상도 다중분광 영상이 필요하다. 그러나, 물리적으로 해당 영상을 취득하는 것은 불가능하기 때문에, 본 연구에서는 공간해상도가 저하된 영상을 활용하여 훈련자료를 생성하였다. 훈련자료를 생성하기 위한 과정은 Fig.
그러나, 일반적인 하드웨어 사양의 한계로 인하여 Level 1R product 단위를 딥러닝 모델을 이용하여 직접 처리하는 것은 불가능하기 때문에, 256×256 크기로 영상융합을 수행한 후, 해당 결과를 통합하여 Level 1R product 단위의 영상을 생성하였다.
생성된 공간해상도가 저하된 전정색 영상과 다중분광 영상 패치를 융합할 경우 원 다중분광 영상의 해상도와 동일한 생성되기 때문에, 원 다중분광 영상을 참조자료(reference data)로 활용할 수 있으며, 원 다중분광 영상도 M×N의 크기를 가지는 B개의 패치로 생성한다. 본 논문에서 KOMPSAT-3A의 공간해상도 차이는 4이며, MTF에 의한 차단주파수는 다중분광 영상에 대하여 0.3을 기준으로 설정하여 해상도 저하를 수행하였다.
본 연구에서는 팽창된 합성곱을 이용하여 영상융합을 위한 CNN 모델을 구성하고, 훈련자료를 활용하여 제안된 모델의 학습을 수행하였다. 학습된 자료는 훈련에 사용되지 않은 자료를 활용하여 평가를 수행하였다.
따라서, DRNet은 세부 공간정보를 딥러닝 모델을 이용하여 생성한 다는 특징을 제외하면, 기존 영상융합 기법과 동일한 구조를 가진다고 할 수 있다. 앞서 언급한 바와 같이, CS 및 MRA 기반의 융합기법이 세부 공간정보를 추출하는 방법에 따라서 구분되기 때문에 본 연구에서도 세부 공간정보를 생성하는 방법에 따라서 DRNet을 기본으로 하는 두 종류의 딥러닝 네트워크를 구성하였다. 첫 번째 모델(DRNet1)은 ResBlock을 이용하여 전정색 모델의 공간 세부정보를 추출하고, 이를 원 다중분광 영상에 주입하도록 모델을 설계하였으며, 이는 Fig.
특히, 해당 손실함수를 활용하기 위하여 팽창된 합성곱(dilated convolution)을 이용한 CNN 모델을 제안하였다. 제안 모델은 팽창된 합성곱을 이용하여 모델의 깊이를 효과적으로 증대시켰으며, 해당 레이어(layer)들을 잔차 블록(residual block)의 형태로 구성하여, 영상융합에 효율적으로 적용될 수 있도록 하였다. 제안된 CNN 아키텍처의 성능을 평가하기 위하여 KOMPSAT-3A 위성영상을 이용하여 훈련자료를 생성하고, 모델의 학습을 진행하였다.
제안 모델은 팽창된 합성곱을 이용하여 모델의 깊이를 효과적으로 증대시켰으며, 해당 레이어(layer)들을 잔차 블록(residual block)의 형태로 구성하여, 영상융합에 효율적으로 적용될 수 있도록 하였다. 제안된 CNN 아키텍처의 성능을 평가하기 위하여 KOMPSAT-3A 위성영상을 이용하여 훈련자료를 생성하고, 모델의 학습을 진행하였다. 학습된 모델은 훈련에 사용되지 않은 KOMPSAT-3A 위성영상을 이용하여 융합영상의 분광왜곡과 공간해상도를 평가하였다.
제안된 ResBlock를 기반으로 하는 영상융합 모델을 구성하기 위하여 기존의 영상융합을 위한 CNN 모델에 ResBlock을 추가하여 변형하였으며, 이를 DRNet(Dilated Residual Network)로 정의하였다. DRNet은 초기 합성곱 레이어, 총 8개의 ResBlock을 통과하여 생성된 피쳐 맵(feature map)에 대하여 추가적인 두 번의 합성곱 레이어를 적용하여 융합영상에 주입할 세부 공간정보(spatial details)를 추정한다.
앞서 언급한 바와 같이, CS 및 MRA 기반의 융합기법이 세부 공간정보를 추출하는 방법에 따라서 구분되기 때문에 본 연구에서도 세부 공간정보를 생성하는 방법에 따라서 DRNet을 기본으로 하는 두 종류의 딥러닝 네트워크를 구성하였다. 첫 번째 모델(DRNet1)은 ResBlock을 이용하여 전정색 모델의 공간 세부정보를 추출하고, 이를 원 다중분광 영상에 주입하도록 모델을 설계하였으며, 이는 Fig. 4와 같다. Fig.
본 연구에서도 팽창된 합성곱을 이용하여 영상융합을 위한 CNN 아키텍처를 구성하고자 하였다. 특히, CNN의 효율성을 증대시키기 위하여 모델 구성과정에서 합성곱 레이어를 통하여 생성된 출력 레이어와 입력 레이어의 합을 다음 단계의 입력레이어로 활용하는 스킵연결(skip connection)에 의한 잔차 네트워크(residual network)를 기반으로 하는 반복적인 네트워크 구조를 구성하였다. 본 논문에서 적용한 팽창된 레이어를 기반으로 하는 반복적 네트워크를 ResBlock(Residual Block)으로 정의하였으며, ResBlock은 Fig.
따라서, 본 연구에서는 융합영상의 공간해상도를 반영할 수 있는 손실 함수(loss function)을 구성하여, 기존 기법들에서 발생하는 융합영상의 공간해상도 저하 문제를 해결하고자 하였다. 특히, 해당 손실함수를 활용하기 위하여 팽창된 합성곱(dilated convolution)을 이용한 CNN 모델을 제안하였다. 제안 모델은 팽창된 합성곱을 이용하여 모델의 깊이를 효과적으로 증대시켰으며, 해당 레이어(layer)들을 잔차 블록(residual block)의 형태로 구성하여, 영상융합에 효율적으로 적용될 수 있도록 하였다.
제안된 CNN 아키텍처의 성능을 평가하기 위하여 KOMPSAT-3A 위성영상을 이용하여 훈련자료를 생성하고, 모델의 학습을 진행하였다. 학습된 모델은 훈련에 사용되지 않은 KOMPSAT-3A 위성영상을 이용하여 융합영상의 분광왜곡과 공간해상도를 평가하였다. 이를 통해, 향후 국토관측위성의 운용시 최적의 융합영상을 생성하기 위한 딥러닝 기반의 방법론을 제안하고자 하였다.
한편, 본 연구에서 개발한 딥러닝 모델의 Level 1R product 생성의 효용성을 평가하기 위하여, 각 영상융합 기법별 처리 시간을 분석하였으며, 이에 따른 결과는 Table 4와 같다. Table 4에서 확인할 수 있는 것과 같이 Level 1R product 기준으로, 딥러닝 모델 기법들은 실제 CS 및 MRA 기반의 기법들과 비교하여 약 1.
해상도가 γ만큼 저하된 전정색 영상과 다중분광 영상을 이용하여 CNN 모델의 학습을 수행하고, CNN 모델을 통하여 생성된 융합영상과 원 다중분광 영상과의 손실함수가 최소화하는 방향으로 모델의 변수를 최적화하게 된다.

대상 데이터

Fig. 7과 같이 도심지, 산림, 농경지 등의 다양한 지역을 촬영한 Level 1R product로부터 총 44,210개의 64×64 크기로 이루어진 영상 패치를 생성하였다.
site 1은 2016년 9월 20일에 아루바섬에서 촬영된 도심지 및 해양지역(다중분광 영상 기준 6,015×5,880 크기)이며, site 2는 2017년 10월 15일에 중국 바오타우시에서 촬영된 농경지 및 나지지역(다중분광 영상 기준 6,015×5,780 크기)이다.
7과 같이 도심지, 산림, 농경지 등의 다양한 지역을 촬영한 Level 1R product로부터 총 44,210개의 64×64 크기로 이루어진 영상 패치를 생성하였다. 또한, 영상융합에 있어서 계절적, 지역적 영향을 반영할 수 있도록 다양한 특성을 지니는 훈련자료들을 선정하였다. Masi et al.
(2016)의 연구에서는 약 14,000개로 이루어진 33×33 크기의 영상 패치를 사용하였기 때문에, 본 연구에서 생성한 훈련자료 및 크기는 적절하다고 판단된다. 연구에서 모델의 구축에 있어서, 39,789개의 훈련자료는 실제 학습에 사용하였으며, 4,421개의 훈련자료는 훈련의 검증 및 과적합(overfitting)의 분석을 위한 검증 자료(validation set)으로 사용하였다. 딥러닝 네트워크의 구성은 pytorch를 이용하였으며, 딥러닝 모델의 학습을 위하여 사용된 파라미터(parameter)는 Table 1과 같다.
본 연구에서는 팽창된 합성곱을 이용하여 영상융합을 위한 CNN 모델을 구성하고, 훈련자료를 활용하여 제안된 모델의 학습을 수행하였다. 학습된 자료는 훈련에 사용되지 않은 자료를 활용하여 평가를 수행하였다. Fig.

이론/모형

PNN 및 DiCNN 모델의 학습은 본 연구에서 제안한 DRNet과 동일한 훈련자료와 학습방법을 통하여 진행하였다. 다만, 본 연구에서 제안한 손실함수의 성능을 복합적으로 평가하기 위하여 PNN과 DiCNN 모델의 손실함수는 기존의 딥러닝 기반의 영상융합과 관련된 연구사례에 기반하여 MAE(Mean Absolute Error)를 사용하였다(He et al., 2019). Fig.
비교평가에 사용된 영상융합 기법은 GSA(Gram-SchmidtAdaptive),MTF-GLP(Laplacianpyramids with modulation transfer function-matched filtering), PNN, DiCNN을 선정하였다(Aiazzi et al., 2009; He et al., 2019; Masi et al., 2016).
융합영상의 공간선명도를 평가하기 위한 방법은 sCC(spatial Correlation Coefficient)와 AG(Average Gradient)를 사용하였다. sCC는 본 연구 내 손실함수 구성에서 사용한 것과 같이 융합영상과 원 다중분광 영상에 각각 라플라시안 필터를 적용하여 생성된 에지정보 간의 유사도를 측정하는 평가지수이며, 1에 가까울수록 융합영상의 공간선명도가 높음을 나타낸다.
융합영상의 분광 왜곡은 ERGAS(Erreur Relative Globale Adimensionnelle de Synthèse), SAM(Spectral Angle Mapper), UIQI(Universal Image Quality Index)를 사용하였다(Vivone et al., 2015).

성능/효과

(d)에서 확인할 수 있는 것과 같이 GSA와 MTF-GLP를 이용하여 생성한 융합영상은 식생지역에 대해서 다소 분광왜곡이 발생한 것을 확인할 수 있었으며, 딥러닝 모델을 이용하여 생성한 융합영상은 원 다중분광 영상과 유사한 색상을 나타내는 것을 확인할 수 있었다(Fig.
DRNet1의 경우에는 PNN, DiCNN, DRNet2와 비교하여 이러한 공간선명도의 저하 현상이 크게 감소된 것을 확인할 수 있었으며(Fig. 11(g)), DRNet2의 경우에도 상대적으로 기존의 딥러닝 기법(PNN 및 DiCNN)의 결과와 비교하여 블러링 현상이 감소된 것을 확인하였다(Fig. 11(h)).
특히, Fig. 11(g)에 존재하는 siemensstar와 bar target 내의 각 객체들은 객체들 간의 분리도가 명확하고, 에지가 선명한 것을 확인할 수 있으나, 기존 기법들을 이용하여 융합을 수행한 경우는 전정색 영상과 비교하여 블러링 현상이 발생한 것을 확인하였다. 따라서, 기존의 딥러닝 모델들은 영상융합 과정에서 상대적으로 원 다중분광 영상의 분광적인 특성에 과적합된 것으로 추정되며, 본 연구에서 제안한 DRNet1과 DRNet2 기법은 네트워크의 수정 및 손실함수의 제안을 통하여 분광왜곡 및 공간선명도가 개선된 융합영상을 생성할 수 있음을 확인하였다.
Table 2, 3에서 확인할 수 있는 것과 같이, 분광왜곡의 평가에 대해서는 DRNet2의 결과가 가장 우수한 결과를 나타냈으며, sCC값에 대해서는 딥러닝 모델을 활용한 결과와 비교하여, GSA와 MTF-GLP의 결과가 우수한 것을 확인할 수 있었다. AG의 경우에는 실험지역에 따라서 다소 상이한 결과가 발생하였는데, site 1에 대해서는 PNN, site 2에 대해서는 DRNet1이 가장 우수한 값을 나타내는 것을 확인할 수 있었다. 각 실험지역에 대하여 영상융합 기법을 적용하여 생성된 결과는 Fig.
11(c)~11(f)에서 확인할 수 있는 것과 같이, 대부분의 영상융합 기법을 통하여 생성한 융합영상의 경우, 영상 내에 존재하는 선형 객체에 대하여 공간선명도의 저하현상이 발생하는 것을 볼 수 있으며, 이는 영상에서 블러링(blurring) 현상과 유사한 형태로 나타났다. DRNet1의 경우에는 PNN, DiCNN, DRNet2와 비교하여 이러한 공간선명도의 저하 현상이 크게 감소된 것을 확인할 수 있었으며(Fig. 11(g)), DRNet2의 경우에도 상대적으로 기존의 딥러닝 기법(PNN 및 DiCNN)의 결과와 비교하여 블러링 현상이 감소된 것을 확인하였다(Fig.
9는 PNN, DiCNN, DRNet1, DRNet2의 학습 과정 동안에 각 epoch별 손실함수의 값을 그래프로 표현한 결과이다. Fig. 9에서 확인할 수 있는 것처럼, 검증자료의 손실값이 수렴되는 것으로 보아 모든 딥러닝 모델들은 효과적으로 이루어졌다고 판단되며, 이를 통해 KOMPSAT-3A의 Level 1R product 자료의 site 1, site 2에 대하여 해당 기법을 적용할 수 있음을 확인하였다.
Site 1과 site 2에 대하여 영상융합을 수행한 결과 영상에 대한 정량평가 결과는 Table 2, 3과 같다. Table 2, 3에서 확인할 수 있는 것과 같이, 분광왜곡의 평가에 대해서는 DRNet2의 결과가 가장 우수한 결과를 나타냈으며, sCC값에 대해서는 딥러닝 모델을 활용한 결과와 비교하여, GSA와 MTF-GLP의 결과가 우수한 것을 확인할 수 있었다. AG의 경우에는 실험지역에 따라서 다소 상이한 결과가 발생하였는데, site 1에 대해서는 PNN, site 2에 대해서는 DRNet1이 가장 우수한 값을 나타내는 것을 확인할 수 있었다.
해당 모델은 다중분광 영상에 주입되는 고주파 성분과 주입 비율을 최적화하여 영상으로 생성하게 되는 점에서는 DRNet1과 구조적인 특성은 동일하지만 입력레이어가 전정색 영상과 다중분광 영상을 모두 사용하였기 때문에 구조적인 특성에서는 CS 기반의 기법과 유사한 특성을 나타낼 수 있다. 그러나, 딥러닝 모델의 네트워크를 구성하는 각 커널의 조합들이 수학적으로 어떠한 의미를 가지는지는 해석할 수 없기 때문에, 결과적인 측면에서 ResBlock을 기반으로 하는 두 종류의 모델의 결과를 평가하여 영상융합에 있어서 입력자료를 어떠한 형태로 구성하는 것이 효과적인지를 분석할 수 있을 것으로 판단하였다.
11(g)에 존재하는 siemensstar와 bar target 내의 각 객체들은 객체들 간의 분리도가 명확하고, 에지가 선명한 것을 확인할 수 있으나, 기존 기법들을 이용하여 융합을 수행한 경우는 전정색 영상과 비교하여 블러링 현상이 발생한 것을 확인하였다. 따라서, 기존의 딥러닝 모델들은 영상융합 과정에서 상대적으로 원 다중분광 영상의 분광적인 특성에 과적합된 것으로 추정되며, 본 연구에서 제안한 DRNet1과 DRNet2 기법은 네트워크의 수정 및 손실함수의 제안을 통하여 분광왜곡 및 공간선명도가 개선된 융합영상을 생성할 수 있음을 확인하였다. 다만, 상대적으로 분광왜곡의 측면에서는 DRNet2, 공간선명도의 측면에서는 DRNet1이 우수한 결과를 나타내기 때문에, 융합영상의 활용측면에 따라서 해당 모델을 사용하는 것이 효과적일 것으로 판단되다.
GSA 및 MTF-GLP 기법은 식생 및 비식생 등의 지역적 특성을 반영할 수 없지만, 딥러닝 모델은 학습과정에서 지역적 특성에 의하여 발생되는 분광왜곡을 최소화하기 위한 변수들을 네트워크에서 최적화한 것으로 판단된다. 따라서, 딥러닝 모델을 이용한 영상융합 기법들이 기존의 전통적인 영상융합 기법과 비교하여 분광왜곡적인 측면에서 장점을 가지고 있음을 확인하였다. 또한, Fig.
제안된 모델은 팽창된 합성곱 레이어를 기반으로 하여 잔차 네트워크 구조를 활용하여 영상융합을 위한 네트워크의 성능을 향상시키고자 하였다. 또한, 공간상관도를 기반으로 하는 손실함수를 이용하여 딥러닝 모델의 학습을 수행함으로써, 영상융합에 최적화된 모델을 생성하고자 하였다 KOMPSAT-3A 위성영상을 이용한 실험결과, 본 연구에서 제안된 모델이 KOMPSAT-3A 위성영상의 공간해상도를 효과적으로 향상시킬 수 있음을 확인하였으며, 기존 영상융합 기법 및 딥러닝 모델과 비교하여 우수한 성능을 보임을 확인하였다. 또한, 딥러닝 모델의 구조에 따라서 분광왜곡과 공간선명도 측면에서 장점을 보이는 모델을 생성할 수 있음도 확인하였다.
또한, 공간상관도를 기반으로 하는 손실함수를 이용하여 딥러닝 모델의 학습을 수행함으로써, 영상융합에 최적화된 모델을 생성하고자 하였다 KOMPSAT-3A 위성영상을 이용한 실험결과, 본 연구에서 제안된 모델이 KOMPSAT-3A 위성영상의 공간해상도를 효과적으로 향상시킬 수 있음을 확인하였으며, 기존 영상융합 기법 및 딥러닝 모델과 비교하여 우수한 성능을 보임을 확인하였다. 또한, 딥러닝 모델의 구조에 따라서 분광왜곡과 공간선명도 측면에서 장점을 보이는 모델을 생성할 수 있음도 확인하였다. 향후 연구에서는 딥러닝 모델의 성능을 더욱 향상시키기 위한 네트워크 및 학습 방법의 고도화에 대한 연구가 필요하다고 판단된다.

후속연구

따라서, 기존의 딥러닝 모델들은 영상융합 과정에서 상대적으로 원 다중분광 영상의 분광적인 특성에 과적합된 것으로 추정되며, 본 연구에서 제안한 DRNet1과 DRNet2 기법은 네트워크의 수정 및 손실함수의 제안을 통하여 분광왜곡 및 공간선명도가 개선된 융합영상을 생성할 수 있음을 확인하였다. 다만, 상대적으로 분광왜곡의 측면에서는 DRNet2, 공간선명도의 측면에서는 DRNet1이 우수한 결과를 나타내기 때문에, 융합영상의 활용측면에 따라서 해당 모델을 사용하는 것이 효과적일 것으로 판단되다. 영상판독 및 객체추출 등의 활용분야에 대해서는 DRNet1을 통하여 생성된 융합영상을 사용하는 것이 효과적일 수 있으며, 영상분류 등의 분야에서는 DRNet2 모델을 활용하는 것이 효과적일 것으로 판단된다.
향후 연구에서는 딥러닝 모델의 성능을 더욱 향상시키기 위한 네트워크 및 학습 방법의 고도화에 대한 연구가 필요하다고 판단된다. 또한, 향후 국토관측위성에서 취득된 다중분광 영상과 고해상도 전정색 영상의 융합을 위하여 국토위성영상 자료를 기반으로 하는 딥러닝 모델을 구축하는 것이 필요할 것이다.
또한, 딥러닝 모델의 구조에 따라서 분광왜곡과 공간선명도 측면에서 장점을 보이는 모델을 생성할 수 있음도 확인하였다. 향후 연구에서는 딥러닝 모델의 성능을 더욱 향상시키기 위한 네트워크 및 학습 방법의 고도화에 대한 연구가 필요하다고 판단된다. 또한, 향후 국토관측위성에서 취득된 다중분광 영상과 고해상도 전정색 영상의 융합을 위하여 국토위성영상 자료를 기반으로 하는 딥러닝 모델을 구축하는 것이 필요할 것이다.

참고문헌 (13)

Aiazzi, B., L. Alparone, S. Baronti, A. Garzelli, and M. Selva, 2006. MTF-tailored multiscale fusion of highresolution MS and Pan imagery, Photogrammetric Engineering and Remote Sensing, 72(5): 591-596.

상세보기
Aiazzi, B., S. Baronti, F. Lotti, and M. Selva, 2009. A comparison between global and context-adaptive pansharpening of multispectral images, IEEE Geoscience and Remote Sensing Letters, 6(2): 302-306.

상세보기
Chen, L.C., Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation, Proc. of the European Conference on Computer Vision (ECCV), Munich, Germany, Sep. 8-14, pp. 801-818.
Choi, J., J. Yeom, A. Chang, Y. Byun, and Y. Kim, 2013. Hybrid pansharpening algorithm for high spatial resolution satellite imagery to improve spatial quality, IEEE Geoscience and Remote Sensing Letters, 10(3): 490-494.

상세보기
Garzelli, A., F. Nencini, and L. Capobianco, 2008. Optimal MMSE pan sharpening of very high resolution multispectral images, IEEE Transactions on Geoscience and Remote Sensing, 46(1): 228-236.

상세보기
He, L., Y. Rao, J. Lim, J. Chanussot, A. Plazam, J. Zhu, and B. Li, 2019. Pansharpening via detail injection based convolutional neural networks, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(4): 1188-1204.

상세보기
Kim, Y., J. Choi, and Y. Kim, 2018. Image fusion methods for multispectral and panchromatic images of Pleiades and KOMPSAT 3 Satellites, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 36(5): 413-422.
Masi, G., D. Cozzolino, L. Verdoliva, and G. Scarpa, 2016. Pansharpening by convolutional neural networks, Remote Sensing, 8(7): 594.

상세보기
Park, S.W., S.K. Choi, J.W. Choi, and S.K. Lee, 2018. Accuracy assessment of sharpening algorithms of thermal infrared image based on UAV, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 36(6): 555-563 (in Korean with English abstract).
Vivone, G., L. Alparone, J. Chanussot, M. Dalla Mura, A. Garzelli, G.A. Licciardi, R. Restaino, and L. Wald, 2015. A critical comparison among pansharpening algorithms, IEEE Transactions on Geoscience and Remote Sensing, 53(5): 2565-2586.

상세보기
Wang, Z. and A.C. Bovik, 2002. A universal image quality index, IEEE Signal Processing Letters, 9(3): 81-84.

상세보기
Yang, J., X. Fu, Y. Hu, Y. Huang, X. Ding, and J. Paisley, 2017. PanNet: A deep network architecture for pan-sharpening, Proc. of the IEEE International Conference on Computer Vision (ICCV), Venice, Italy, Oct. 22-29, vol. 1, pp. 1753-1761.
Zhang, Y., 2004. Understanding image fusion, Photogrammetric Engineering and Remote Sensing, 70(6): 657-661.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증