[논문]고해상도 SAR와 광학영상의 고주파 정보를 이용한 다중센서 융합

변영기; 채태병

doi:10.7848/ksgpc.2012.30.1.075

문제 정의

영상융합과정에서 이렇게 과대 추정된 TerraSAR-X 영상의 모든 고주파 정보를 다중분광영상에 직접 주입할 경우 상당히 많은 분광왜곡이 발생하였다. 따라서 본 연구에서는 저해상 다중 분광영상에서 추출한 고주파 정보(그림 6(b))를 기준으로, 대응하는 TerraSARX의 고주파 정보가 지나치게 작거나 큰 값을 이상치(outlier)로 판별하여 제거함으로써, 영상융합과정에 과대 추정된 고주파 정보의 영향을 최소화하고자 하였다. 식(6)과 같이 정의된 결정규칙을 통해, 두 데이터의 고주파 차이값이 특정 조건을 만족하는 영역(V_j(p))들의 고주파 정보만을 선택적으로 주입함으로써 융합영상의 분광왜곡을 감쇠하였다.
본 연구에서는 크게 두 가지 사항을 고려하여 실험 대상지역을 선정하였다. 데이터 특성이 전혀 다른 이종데이터인 광학과 SAR 영상을 융합함으로써 얼마나 시각적 가독성이 높은 영상을 생성할 수 있을 것인가에 연구에 초점을 맞추어, 기본적으로 촬영 기하조건이 유사한 데이터를 이용하여 상이한 기하조건에 의해 발생할 수 있는 다양한 융합 오차요인을 최대한 배제하고자 하였다. 또한 측면관측 방식으로 데이터를 취득하는 SAR 영상의 관측방식으로 인해 발생하는 두 데이터의 지형적 오차가 영상융합과정에 미치는 영향을 최소화하기 위해, 저층 건물지역과 도로 및 경작지를 포함하는 그림 8과 같은 시외(suburban)의 편평한 지역(flat area)을 실험 대상지역으로 선정하였다.
하지만이방식은기본적으로RGB 3원색으로 구성된 컬러 영상의 색체계 변환의 일종인 IHS 변환 기법에 그 이론적인 토대를 두고 있기 때문에 4개 이상의 밴드를 갖는 다중분광영상을 처리하지 못하는 한계점을 갖는다. 따라서 본 연구에서는 이러한 기존 방식의 문제점을 일반화된 IHS(Generalized IHS)기법을 적용하여 다중분광영상을 처리할 수 있도록 개선하였고, 이를 편의상 FG 방식으로 명명하겠다.
또한 영상 융합 시, 모든 다중분광 성분에 고주파 성분을 똑 같은 양으로 더하는 기존 방식과는 달리, 제안 방법에서는 채널별 이상치 제거과정을 통해 각기 다른 양의 고주파 정보를 다중분광영상에 주입하여 융합영상을 생성하였다. 본 연구에서는 KOMPSAT-5호와 동일한 고해상도 X-band SAR 시스템을 장착한 TerraSARX 영상과 현재 운행 중인 고해상도 광학위성인 KOMPSAT-2호의 다중분광영상을 실험 데이터로 사용하여 향후 발사 예정인 KOMPSAT-5호의 활용도를 높이고자 하였다.
본 연구에서는 고해상도 TerraSAR-X 영상과 KOMPSAT-2 영상을 이용한 고해상도 융합영상 생성을 위한 방안의 하나로, 주파수 영역에서의 Kasier 창함수를 이용한 필터링 과정과 이상치 제거과정을 융합과정에 접목한 새로운 융합기법을 제안하였다. 또한 제안기법의 효용성을 검증하기 위해, 위성영상 융합에 많이 활용되고 있는 기존의 대표적인 융합기법에 의한 융합결과와 시각적/정량적 비교평가를 수행하였다.
실제적으로 그림 9와 그림 10의 시각적인 비교평가 결과에서도 미세한 영상의 분광왜곡 및 열화현상에 의한 공간해상도 저하 현상을 한눈에 파악하기란 힘들다. 본 연구에서는 좀 더 엄밀한 비교평가를 위해 정량적 비교평가를 수행하였다. 정량적 비교평가는 앞서 언급한 것과 같이 융합영상의 공간해상도를 강제적으로 저하시킨 영상과 원본 다중분광영상의 분광학적 차이를 측정하는 2.
방사적인 특성이 전혀 다른 두 영상의 융합을 원활하게 수행하기 위해서는 몇 가지 전처리 과정이 필요하다. 우선 SAR 영상의 경우, 영상 내에 존재하는 스펙클(speckle)잡음을 제거하기 위하여 크기의 Lee 필터(Lee, 1980)를 적용하여 영상 처리 과정에 노이즈 영향을 최소화하고자 하였다. 또한 서로 다른 좌표체계를 갖는 두 영상의 좌표를 상호 일치시키기 위해 영상의 선형특징 요소의 지역적 특성을 반영하는 영상 정합기술을 개발하여 두 영상의 기하보정을 수행하였다.
다중 센서 자료를 융합하기 위해서는 가장 기본적으로 수행되어야 할 전처리 작업이 영상 간 기하보정이다. 이에 본 연구에서는 KOMPSAT-2 영상과 TerraSAR-X 영상 간 기하보정을 위해 영상의 선형특징 요소들의 지역적인 특성을 고려한 자동 영상정합 기술을 개발하였다(한유경 등, 2011). 본 연구에서 고안된 광학영상과 SAR영상 간 영상정합 기술은 그림 2과 같이 크게 세 단계 처리 과정으로 구성된다.
이에 본 연구에서는 고해상도 SAR영상과 다중분광영상만을 이용한 효과적인 다중센서 간 영상융합 기법을 개발하고 이의 활용가능성을 검증하고자 하였다. 이를 위해 고속 퓨리에 변환(Fast Fourier Transform, 이하 FFT)을 통한 주파수 필터링 과정을 통해 영상 별 고주파 정보를 추출하였고, 추출된 고주파 정보를 활용한 이상치 제거과정을 통해 보다 신뢰할 만한 고주파 정보를 다중분광영상에 주입하고자 하였다.

제안 방법

그림 8(b)의 KOMPSAT-2 다중분광영상은 대상지역 개체 식별에 관한 독자들의 편의를 도모하기 위해, 공삼차 보간기법을 이용하여 TerraSAR-X 와 동일한 공간해상도인 1m로 업샘플링한 영상을 도시하였다. TerraSAR-X 영상의 스펙클 잡음을 완화시키기 위해 전처리과정으로 Lee filter를 적용하였고, 서로 다른 방사해상도를 갖는 두 데이터의 영상융합을 위해, TerrsaSAR-X의 16bit 방사해상도를 KOMPSAT-2와 동일하게 11bit로 변환하여 실험을 수행하였다.
Step 2. 공간해상도가 확장된 다중분광영상에 대해 GIHS(Generalized IHS)변환 방식을 이용하여 가상의 강도(intensity) 영상(I_L)을 제작한다.
UIQI는 식(9)에서같이 세가지 요소로 분해 할 수 있고, 각각의 요소는 영상간의 상관도, 화소값의 밝기 왜곡과 대비 왜곡을 설명하고 값이 1에 가까울수록 융합영상의 품질이 뛰어남을 의미한다. 다중밴드 영상간의 UIQI값은 일차적으로 각 밴드별로 특정 윈도우 영역 내의 지역적인 왜곡량을 산정하고 이들의 평균값을 이용하여 밴드별 UIQI를 산출 한 후, 각 밴드별 UIQI의 평균값을 전체 융합영상에 대한 분광평가지수로 선정한다. 일반적으로 고해상도 위성영상의 경우 16, 32, 64의 윈도우 크기를 사용하며, 본 연구에서는 16의 윈도우 크기를 가지는 UIQI로 융합영상의 분광왜곡을 평가하였다(Khan 등, 2009).
우선 SAR 영상의 경우, 영상 내에 존재하는 스펙클(speckle)잡음을 제거하기 위하여 크기의 Lee 필터(Lee, 1980)를 적용하여 영상 처리 과정에 노이즈 영향을 최소화하고자 하였다. 또한 서로 다른 좌표체계를 갖는 두 영상의 좌표를 상호 일치시키기 위해 영상의 선형특징 요소의 지역적 특성을 반영하는 영상 정합기술을 개발하여 두 영상의 기하보정을 수행하였다. 이러한 전처리 과정 후에, 두 영상에 대하여 고속 퓨리에 변환을 이용하여 공간영역의 신호파형을 주파수 영역으로 변환한 뒤, Kasier 고주파 필터를 적용하여 영상 별 고주파 정보를 추출하였다.
이를 위해 고속 퓨리에 변환(Fast Fourier Transform, 이하 FFT)을 통한 주파수 필터링 과정을 통해 영상 별 고주파 정보를 추출하였고, 추출된 고주파 정보를 활용한 이상치 제거과정을 통해 보다 신뢰할 만한 고주파 정보를 다중분광영상에 주입하고자 하였다. 또한 영상 융합 시, 모든 다중분광 성분에 고주파 성분을 똑 같은 양으로 더하는 기존 방식과는 달리, 제안 방법에서는 채널별 이상치 제거과정을 통해 각기 다른 양의 고주파 정보를 다중분광영상에 주입하여 융합영상을 생성하였다. 본 연구에서는 KOMPSAT-5호와 동일한 고해상도 X-band SAR 시스템을 장착한 TerraSARX 영상과 현재 운행 중인 고해상도 광학위성인 KOMPSAT-2호의 다중분광영상을 실험 데이터로 사용하여 향후 발사 예정인 KOMPSAT-5호의 활용도를 높이고자 하였다.
본 연구에서는 고해상도 TerraSAR-X 영상과 KOMPSAT-2 영상을 이용한 고해상도 융합영상 생성을 위한 방안의 하나로, 주파수 영역에서의 Kasier 창함수를 이용한 필터링 과정과 이상치 제거과정을 융합과정에 접목한 새로운 융합기법을 제안하였다. 또한 제안기법의 효용성을 검증하기 위해, 위성영상 융합에 많이 활용되고 있는 기존의 대표적인 융합기법에 의한 융합결과와 시각적/정량적 비교평가를 수행하였다. 실험 결과 전체적으로 다중 센서 간 융합에 있어 주파수 영역 처리 방식에 기반을 둔 융합기법들이 개별 개체들의 공간저하 및 균질도 측면에서 시각적으로 보다 나은 결과를 도출하였다.
추출된 선형 화소 간의 방향과 거리 차의 결합으로 구성된 비용함수를 통해서 유사하다고 생각되는 대응 화소를 매칭쌍으로 선정하였다. 마지막으로 추출된 매칭쌍을 이용하여 piecewise linear function과 affine transformation을 결합한 형태의 변환 모델식을 적용하여 최종적으로 TerraSAR-X 영상을 기준영상인 KOMPSAT-2 광학영상에 정합시켰다.
본 연구에서 제안하는 고해상도 SAR 영상과 다중분광 영상의 융합과정은 영상 세부정보를 표현하는 고주파 정보 생성과정과 이들 데이터를 이용한 영상융합단계로 구성된다. 그림 1은 본 연구에서 고안한 융합과정의 전체적인 연구 순서도를 나타낸 것이다.
본 연구에서 제안하는 영상융합 방식은 그림 5에 도시된 바와 같이, 원본 KOMPSAT-2 다중분광영상과 고해상도 TerraSAR-X 영상의 좌표를 표준화하고 다중분광영상의 크기를 TerraSAR-X 영상과 동일하게 조정하는 자료 입력 및 전처리 과정, 다중분광영상과 TerraSAR-X 영상의 주파수 변환을 통한 고주파 정보 생성 과정, 채널 별 이상치 제거과정을 통해 생성된 고주파 정보 주입을 통한 영상 융합과정으로 구성되고, 그 구체적인 실행순서는 다음과같다.
따라서 영상 내 의미 있는 고주파 정보 추출과 이의 통합은 영상융합 성패에 큰 영향을 끼친다. 본 연구에서는 창함수(window function)를 이용한 2차원 FIR(Finite Impulse Response) 고역 통과 필터를 이용하여 영상의 고주파 정보를 추출하였다. 창함수 기법은 퓨리에 급수 전개법으로 설계된 필터의 임펄스 응답을 미리 조정하여 깁스(gibbs)진동을 억제하는 역할을 하며, 설계 과정의 단순함과 계산의 편이성으로 인해 주파수의 영역에서의 필터 설계에 많이 채용되는 방법이다.
각 영상에 대한 특성은 표 1과 같다. 본 연구에서는 크게 두 가지 사항을 고려하여 실험 대상지역을 선정하였다. 데이터 특성이 전혀 다른 이종데이터인 광학과 SAR 영상을 융합함으로써 얼마나 시각적 가독성이 높은 영상을 생성할 수 있을 것인가에 연구에 초점을 맞추어, 기본적으로 촬영 기하조건이 유사한 데이터를 이용하여 상이한 기하조건에 의해 발생할 수 있는 다양한 융합 오차요인을 최대한 배제하고자 하였다.
또한 서로 다른 좌표체계를 갖는 두 영상의 좌표를 상호 일치시키기 위해 영상의 선형특징 요소의 지역적 특성을 반영하는 영상 정합기술을 개발하여 두 영상의 기하보정을 수행하였다. 이러한 전처리 과정 후에, 두 영상에 대하여 고속 퓨리에 변환을 이용하여 공간영역의 신호파형을 주파수 영역으로 변환한 뒤, Kasier 고주파 필터를 적용하여 영상 별 고주파 정보를 추출하였다. 추출된 고주파 정보를 활용한 채널 별 이상치 제거 과정을 통해 생성된 고주파 정보를 다중 분광영상에 주입하여 최종 융합영상을 생성하였다.
이에 본 연구에서는 고해상도 SAR영상과 다중분광영상만을 이용한 효과적인 다중센서 간 영상융합 기법을 개발하고 이의 활용가능성을 검증하고자 하였다. 이를 위해 고속 퓨리에 변환(Fast Fourier Transform, 이하 FFT)을 통한 주파수 필터링 과정을 통해 영상 별 고주파 정보를 추출하였고, 추출된 고주파 정보를 활용한 이상치 제거과정을 통해 보다 신뢰할 만한 고주파 정보를 다중분광영상에 주입하고자 하였다. 또한 영상 융합 시, 모든 다중분광 성분에 고주파 성분을 똑 같은 양으로 더하는 기존 방식과는 달리, 제안 방법에서는 채널별 이상치 제거과정을 통해 각기 다른 양의 고주파 정보를 다중분광영상에 주입하여 융합영상을 생성하였다.
이들 창함수는 필터의 특성을 변화 시키고자 할 때에는 임펄스 열의 길이만을 가지고 특성을 조절해야 하며, 특히 저대역 레벨은 창함수를 정함과 동시에 일정한 값으로 정해지는 단점이 있다. 이에 본 연구에서는 기존의 창함수들에 비해 특성의 가변이 용이한 Kasier 창함수를 이용한 고주파 필터링 과정을 통해 영상 내 고주파 성분을 추출하였다. Kasier 창함수는 통과대역폭과 저대역 레벨을 최적화 시킬 수 있는 매개변수를 포함한 0차 제 1종 Bessel 함수로 구성되어 있다.
다중밴드 영상간의 UIQI값은 일차적으로 각 밴드별로 특정 윈도우 영역 내의 지역적인 왜곡량을 산정하고 이들의 평균값을 이용하여 밴드별 UIQI를 산출 한 후, 각 밴드별 UIQI의 평균값을 전체 융합영상에 대한 분광평가지수로 선정한다. 일반적으로 고해상도 위성영상의 경우 16, 32, 64의 윈도우 크기를 사용하며, 본 연구에서는 16의 윈도우 크기를 가지는 UIQI로 융합영상의 분광왜곡을 평가하였다(Khan 등, 2009).
4절에 기술한 분광정보 평가 측정치를 이용하여 이루어졌다. 정량적 비교평가 방식으로는 우선적으로 분광정보 평가측정치를 이용하여, 각 방법 별 융합결과의 밴드 별 분광왜곡 정도를 살펴보았다. RMSE 지수는 식(8)의 ERGAS 지수를 구성하는 R(Bn)에 해당하고, 낮은 값을 가질수록 분광왜곡이 적음을 의미한다.
본 연구에서는 좀 더 엄밀한 비교평가를 위해 정량적 비교평가를 수행하였다. 정량적 비교평가는 앞서 언급한 것과 같이 융합영상의 공간해상도를 강제적으로 저하시킨 영상과 원본 다중분광영상의 분광학적 차이를 측정하는 2.4절에 기술한 분광정보 평가 측정치를 이용하여 이루어졌다. 정량적 비교평가 방식으로는 우선적으로 분광정보 평가측정치를 이용하여, 각 방법 별 융합결과의 밴드 별 분광왜곡 정도를 살펴보았다.
제안 기법의 성능평가를 위해, 기존의 광학 위성영상 융합에 많이 활용된 대표적인 융합 기법인 GS(Gram-Schmidt) 방법, átrous 웨이블렛에 기반한 AWLP(Propotional Additive Wavelet LHS)방법과 FFT 기반의 융합 방법에 의한 융합결과와의 시각적/정량적 비교평가를 수행하였다.
추출된 고주파 정보를 활용한 채널 별 이상치 제거 과정을 통해 생성된 고주파 정보를 다중 분광영상에 주입하여 최종 융합영상을 생성하였다. 제안 기법의 효용성을 검증하기 위해, 기존 위성영상 융합에 많이 활용된 융합기법들과의 시각적/정량적 비교평가를 수행하였다. 정량적 비교평가 방법으로는 최종 융합영상의 분광왜곡(spectral distortion)측정치 결과를 비교 평가하는 방법을 사용하였다.
Step 3. 제작된 가상의 강도영상과 TerraSAR-X 영상과의 밝기값의 차이로 야기되는 분광왜곡을 줄이기 위해 고해상도 TerraSAR-X 영상을 가상의 강도영상에 맞추어 히스토그램 매칭을 수행한다.
이러한 전처리 과정 후에, 두 영상에 대하여 고속 퓨리에 변환을 이용하여 공간영역의 신호파형을 주파수 영역으로 변환한 뒤, Kasier 고주파 필터를 적용하여 영상 별 고주파 정보를 추출하였다. 추출된 고주파 정보를 활용한 채널 별 이상치 제거 과정을 통해 생성된 고주파 정보를 다중 분광영상에 주입하여 최종 융합영상을 생성하였다. 제안 기법의 효용성을 검증하기 위해, 기존 위성영상 융합에 많이 활용된 융합기법들과의 시각적/정량적 비교평가를 수행하였다.
다음으로 초기 변위량 차이를 최소화시킨 두 영상에 대하여 정밀한 지역적 매칭(local matching)을 수행하기 위해서 대표적인 선형 추출 기법인 Canny 에지 추출자(Canny edge operator)를 적용하여 선형정보를 추출한다. 추출된 선형 화소 간의 방향과 거리 차의 결합으로 구성된 비용함수를 통해서 유사하다고 생각되는 대응 화소를 매칭쌍으로 선정하였다. 마지막으로 추출된 매칭쌍을 이용하여 piecewise linear function과 affine transformation을 결합한 형태의 변환 모델식을 적용하여 최종적으로 TerraSAR-X 영상을 기준영상인 KOMPSAT-2 광학영상에 정합시켰다.
융합영상의 품질을 정량적으로 평가하기 위해서는 융합영상과 동일한 공간해상도를 갖는 고해상도 다중분광영상이 참조자료로 필요하다. 하지만 이러한 고해상도 다중분광 영상은 현실적으로 취득이 불가능하기 때문에, 본 연구에서는 융합영상의 공간해상도를 원본 다중분광영상의 공간해상도 크기로 강제적으로 낮춘 후, 이를 원본 다중분광영상과 비교하는 방식으로 융합영상의 품질을 평가하였다. 융합영상의 분광왜곡을 측정하기 위한 분광정보 평가지수로는 기존 연구문헌에서 가장 많이 통용되고 있는 ERGAS(Erreur Relative Globale Adimensionnelle de Synthese), UIQI(Universal Image Quality Index), CC(Correlation Coefficient)와 PSNR(Peak Signal-to-Noise Ratio)지수를 사용하였다.
Step 4. 히스토그램이 조정된 TerraSAR-X 영상과 공간해상도가 확장된 다중분광영상의 모든 밴드 대해, 앞서 설명한 주파수 공간에서의 Kasier 창함수를 이용한 고주파 필터링 과정을 통해 고주파 정보를 추출한다.

대상 데이터

데이터 특성이 전혀 다른 이종데이터인 광학과 SAR 영상을 융합함으로써 얼마나 시각적 가독성이 높은 영상을 생성할 수 있을 것인가에 연구에 초점을 맞추어, 기본적으로 촬영 기하조건이 유사한 데이터를 이용하여 상이한 기하조건에 의해 발생할 수 있는 다양한 융합 오차요인을 최대한 배제하고자 하였다. 또한 측면관측 방식으로 데이터를 취득하는 SAR 영상의 관측방식으로 인해 발생하는 두 데이터의 지형적 오차가 영상융합과정에 미치는 영향을 최소화하기 위해, 저층 건물지역과 도로 및 경작지를 포함하는 그림 8과 같은 시외(suburban)의 편평한 지역(flat area)을 실험 대상지역으로 선정하였다. 그림 8(b)의 KOMPSAT-2 다중분광영상은 대상지역 개체 식별에 관한 독자들의 편의를 도모하기 위해, 공삼차 보간기법을 이용하여 TerraSAR-X 와 동일한 공간해상도인 1m로 업샘플링한 영상을 도시하였다.
본 연구에서는 SAR와 광학영상의 융합에 앞서, 이전 연구에서 개발된 선형특징요소에 기반한 자동영상정합 기술을 통해 두 데이터를 기하보정하였다(한유경 등, 2011). 검사점을 이용한 기하보정 정확도 평가 결과, 수동으로 매칭쌍을 추출한 기하보정 정확도(3.
실험에 사용한 데이터는 대전지역으로, 4m의 공간해상도를 가지는 KOMSPAT-2 다중분광영상과 1m급의 TerraSAR-X 영상을 이용하였다. TerraSAR-X 영상의 경우 동일한 상수의 높이값을 갖는 DEM을 이용하여 UTM 좌표로 투영시킨 GEC(Geocoded Ellipsoid Corrected) 영상으로, 2008년 7월 11일 촬영되었으며, 대상지역에서는 평균 28.

이론/모형

우선 입력영상에 대하여 영상 피라미드(image pyramids) 구성한 다음 두 영상의 x, y 방향에 대한 초기 변위량(initial translation)를 상호정보량(mutual information)기법을 통해 계산한다. 다음으로 초기 변위량 차이를 최소화시킨 두 영상에 대하여 정밀한 지역적 매칭(local matching)을 수행하기 위해서 대표적인 선형 추출 기법인 Canny 에지 추출자(Canny edge operator)를 적용하여 선형정보를 추출한다. 추출된 선형 화소 간의 방향과 거리 차의 결합으로 구성된 비용함수를 통해서 유사하다고 생각되는 대응 화소를 매칭쌍으로 선정하였다.
Step 1. 우선 네 개의 밴드로 구성 되어 있는 저해상의 다중분광영상의 공간해상도를 공삼차(bicubic)보간법을 사용하여 TerraSAR-X 영상의 공간해상도와 같게 업샘플링(upsampling)을 수행한다.
우선 입력영상에 대하여 영상 피라미드(image pyramids) 구성한 다음 두 영상의 x, y 방향에 대한 초기 변위량(initial translation)를 상호정보량(mutual information)기법을 통해 계산한다.
하지만 이러한 고해상도 다중분광 영상은 현실적으로 취득이 불가능하기 때문에, 본 연구에서는 융합영상의 공간해상도를 원본 다중분광영상의 공간해상도 크기로 강제적으로 낮춘 후, 이를 원본 다중분광영상과 비교하는 방식으로 융합영상의 품질을 평가하였다. 융합영상의 분광왜곡을 측정하기 위한 분광정보 평가지수로는 기존 연구문헌에서 가장 많이 통용되고 있는 ERGAS(Erreur Relative Globale Adimensionnelle de Synthese), UIQI(Universal Image Quality Index), CC(Correlation Coefficient)와 PSNR(Peak Signal-to-Noise Ratio)지수를 사용하였다.
제안 기법의 효용성을 검증하기 위해, 기존 위성영상 융합에 많이 활용된 융합기법들과의 시각적/정량적 비교평가를 수행하였다. 정량적 비교평가 방법으로는 최종 융합영상의 분광왜곡(spectral distortion)측정치 결과를 비교 평가하는 방법을 사용하였다.

성능/효과

두 데이터의 고주파 성분 추출 비교 영상인 그림 6에서 확인 할 수 있듯이, 두 영상이 갖는 서로 다른 방사적 특성(radiometric properties)으로 인해, 고주파 추출 결과 영상 또한 상당히 다른 경향을 보임을 알 수 있다. TerraSAR-X 영상으로부터 추출된 고주파 성분의 경우, 그림 6(a) 영상에서 확인 할 수 있듯이, 지나치게 많은 영상성분들이 고주파 성분으로 추출됨에 따라 그 공간적 패턴 특성이 실제 대상지역의 패턴에 비해 과대하게 추정되었음을 알 수 있다. 영상융합과정에서 이렇게 과대 추정된 TerraSAR-X 영상의 모든 고주파 정보를 다중분광영상에 직접 주입할 경우 상당히 많은 분광왜곡이 발생하였다.
RMSE 지수는 식(8)의 ERGAS 지수를 구성하는 R(Bn)에 해당하고, 낮은 값을 가질수록 분광왜곡이 적음을 의미한다. UIQI와 CC 측정지수는 1에 가까운 값을 가질수록, PSNR 지수는 높은 값을 가질수록 융합영상의 품질이 우수함을 나타낸다.
본 연구에서는 SAR와 광학영상의 융합에 앞서, 이전 연구에서 개발된 선형특징요소에 기반한 자동영상정합 기술을 통해 두 데이터를 기하보정하였다(한유경 등, 2011). 검사점을 이용한 기하보정 정확도 평가 결과, 수동으로 매칭쌍을 추출한 기하보정 정확도(3.09m)와 큰 차이를 보이지 않는 3.53m의 평균제급근오차(RMSE)값을 나타냈다. 이는 촬영조건 및 센서 특성에 따라 다른 기하학적 왜곡을 포함하게 되는 SAR와 광학영상의 특성을 고려할 때 만족할만한 수준의 정확도라 판단된다.
그림 9와 그림 10은 실험 대상지역 내 일부 동일 지역에 대한, 각 방법별 융합결과의 확대 영상을 나타낸다. 결과 영상에서 확인 할 수 있듯이, 생성된 모든 융합 결과에서 융합영상 내에 존재하는 거의 모든 개체에 대하여 크고 작은 열화현상이 발생함을 알수 있다. 이는 기본적으로 서로 다른 파장대역에서 취득되는 광학과 SAR 영상의 방사학적 특성에 기인하는 것으로, 이러한 열화현상을 완전히 제거하기란 사실상 불가능에 가까운 문제이다.
그림 7(b)는 밴드 별 고주파 차 영상인 그림 7(a)에 이상치 제거과정을 적용하여 추출한 고주파 정보를 나타낸다. 결과영상에서 확인할 수 있듯이, 단순 차 영상에 비해 대상지역의 공간적 패턴이 보다 명확함을 확인할 수 있다.
다양한 분광정보 평가지수를 이용한 정량적 비교 평가 결과 역시, 웨이블렛 기반의 AWLP 방법과 FFT 기반의 제안 기법이 기존 융합방식에 비해 분광정보 보존 측면에서 보다 나은 결과를 도출하였다. 기존 융합 기법 중 가장 우수한 결과를 보이는 AWLP 방법과의 비교평가 결과, 제안기법이 AWLP 방법에 비해 분광정보 평가 지수에 따라 4.8%~49.2% 정도의 범주로 분광왜곡이 작았고, 시각적으로도 보다 선명한 결과를 보임을 확인할 수 있었다. 향후 QuickBird-2, Geoeye-1 등과 같은 더욱 다양한 고해상도 광학위성영상과 고층건물 지역을 포함한 다양한 실험대상 지역을 이용하여 위의 결과를 더욱 검증하고, 보다 의미있는 TerraSAR-X 고주파 정보 추출 기법을 개발하여 다중센서 간 영상융합 품질을 더욱 향상시킬 수 있도록 연구를 진행할 계획이다.
실험 결과 전체적으로 다중 센서 간 융합에 있어 주파수 영역 처리 방식에 기반을 둔 융합기법들이 개별 개체들의 공간저하 및 균질도 측면에서 시각적으로 보다 나은 결과를 도출하였다. 다양한 분광정보 평가지수를 이용한 정량적 비교 평가 결과 역시, 웨이블렛 기반의 AWLP 방법과 FFT 기반의 제안 기법이 기존 융합방식에 비해 분광정보 보존 측면에서 보다 나은 결과를 도출하였다. 기존 융합 기법 중 가장 우수한 결과를 보이는 AWLP 방법과의 비교평가 결과, 제안기법이 AWLP 방법에 비해 분광정보 평가 지수에 따라 4.
Step 5. 두 데이터의 고주파 성분 추출 비교 영상인 그림 6에서 확인 할 수 있듯이, 두 영상이 갖는 서로 다른 방사적 특성(radiometric properties)으로 인해, 고주파 추출 결과 영상 또한 상당히 다른 경향을 보임을 알 수 있다. TerraSAR-X 영상으로부터 추출된 고주파 성분의 경우, 그림 6(a) 영상에서 확인 할 수 있듯이, 지나치게 많은 영상성분들이 고주파 성분으로 추출됨에 따라 그 공간적 패턴 특성이 실제 대상지역의 패턴에 비해 과대하게 추정되었음을 알 수 있다.
밴드 별 정량적 비교평가 결과, 모든 분광정보 평가지수에 대해서 AWLP 방법과 제안방법이 타 기법에 비해 보다 나은 결과를 도출하였다. 상대적으로 우수한 성능을 보이는 이 두 방법을 좀 더 면밀히 살펴보면, 그림11(a)의 RMSE 평가 지수의 경우 모든 밴드에서 제안방법이 AWLP 방법에 비해 2배 이상 좋은 결과를 보였고, UIQI 평가 지수의 경우 작게는 0.
밴드 별 정량적 비교평가 결과, 모든 분광정보 평가지수에 대해서 AWLP 방법과 제안방법이 타 기법에 비해 보다 나은 결과를 도출하였다. 상대적으로 우수한 성능을 보이는 이 두 방법을 좀 더 면밀히 살펴보면, 그림11(a)의 RMSE 평가 지수의 경우 모든 밴드에서 제안방법이 AWLP 방법에 비해 2배 이상 좋은 결과를 보였고, UIQI 평가 지수의 경우 작게는 0.061, 크게는 0.126의 차이를 가졌고, CC 평가측정지수의 경우 UIQI 측정지수와 유사하게 Red 밴드에서 가장 작은 0.047 차이를 보이고 Green 밴드에서 가장 큰 0.164 차이를 보였다. 마지막으로 PSNR 측정지수의 경우 그림 11(d)에서 보는 바와 같이 NIR 밴드에서 가장 큰 차이를 보였고 평균적으로 0.
이는 기본적으로 서로 다른 파장대역에서 취득되는 광학과 SAR 영상의 방사학적 특성에 기인하는 것으로, 이러한 열화현상을 완전히 제거하기란 사실상 불가능에 가까운 문제이다. 시각적인 비교평가 결과, 전체적으로 공간영역데이터 처리기반인 GS 방법에 비해 주파수 영역 처리 방식인 웨이블렛과 FFT 변환에 기반을 둔 방법들이 개체들의 분광정보를 보다 잘 보존함을 시각적으로 확인 할 수 있었다. GS 방법의 경우 그림 9(a)와 그림10(a)에서 볼 수 있듯이, 거의 모든 개체들에 대해서 심한 분광왜곡이 발생하였다.
또한 제안기법의 효용성을 검증하기 위해, 위성영상 융합에 많이 활용되고 있는 기존의 대표적인 융합기법에 의한 융합결과와 시각적/정량적 비교평가를 수행하였다. 실험 결과 전체적으로 다중 센서 간 융합에 있어 주파수 영역 처리 방식에 기반을 둔 융합기법들이 개별 개체들의 공간저하 및 균질도 측면에서 시각적으로 보다 나은 결과를 도출하였다. 다양한 분광정보 평가지수를 이용한 정량적 비교 평가 결과 역시, 웨이블렛 기반의 AWLP 방법과 FFT 기반의 제안 기법이 기존 융합방식에 비해 분광정보 보존 측면에서 보다 나은 결과를 도출하였다.
주파수 영역 처리 방식에서는 큰 분광왜곡에 의해, 원 다중분광영상의 특성을 표현하지 못하는 FG 방법보다는 AWLP 방법과 제안 방법이 상대적으로 분광왜곡이 적고 보다 우수한 성능을 보임을 확인 할 수 있다. 기존 융합 방법 중 상대적으로 가장 우수한 성능을 보이는 AWLP 방법에 비해, 그림 9(c),(d)에서 보는 것처럼 제안방법이 일부 수목 및 경작지 지역에 대하여 시각적으로 보다 선명한 영상을 생성함을 확인 할 수 있다.
시각적/정량적 평가를 종합하여 살펴보면, 일반적으로 광학위성영상 융합에 있어서 좋은 성능을 보이는 GS 융합의경우, 시각적/정량적평가결과광학영상과SAR 영상과같은 이종데이터 간의 영상융합에는 적합하지 않은 융합기법으로 사료된다. 주파수 영역 처리 방식인 제안방법과 AWLP 방법이 타 기법에 비해 우수한 성능을 보였고, 제안방법이 AWLP 방식에 비해 시각적으로 보다 선명한 결과를 도출하고 분광정보 보존 측면에서도 보다 효과적인 방법임을 정량적인 비교평가를 통해 확인할 수 있었다.
표 2는 앞서 살펴 본 밴드별 평가 측정결과를 통합한 정량적 수치로, 밴드 별 비교평가에서 살펴본 바와 같이, 전체적으로 GS 융합기법이 모든 측정지수에서 가장 좋지 못한결과를 보이고, 제안방법이 타 기법에 비해 가장 우수한 성능을 보임을 확인할 수 있다.

후속연구

2% 정도의 범주로 분광왜곡이 작았고, 시각적으로도 보다 선명한 결과를 보임을 확인할 수 있었다. 향후 QuickBird-2, Geoeye-1 등과 같은 더욱 다양한 고해상도 광학위성영상과 고층건물 지역을 포함한 다양한 실험대상 지역을 이용하여 위의 결과를 더욱 검증하고, 보다 의미있는 TerraSAR-X 고주파 정보 추출 기법을 개발하여 다중센서 간 영상융합 품질을 더욱 향상시킬 수 있도록 연구를 진행할 계획이다.

핵심어	질문	논문에서 추출한 답변
	다중센서 공간영상의 통합분석을 위해 우리나라에서는 어떤 계획을 갖고 있는가?	최근 다양한 센서를 탑재한 지구관측위성의 발사와 더불어 컴퓨터 기반 기술의 발달로 인해 다중센서 공간영상의 통합분석이 가능해지고 있다. 우리나라 또한 국내 최초로 기상상태에 제약을 받지 않고 영상획득이 가능한 SAR(Synthetic Aperture Radar)시스템을 장착한 KOMPSAT-5와 고해상도 광학영상인 KOMPSAT-3호를 2012년에 발사해 운행할 계획을 가지고 있다. 광학과 SAR 영상 등과같은다중센서(multi-sensor)자료를 공간분석에함께 사용할 경우, 개별 공간영상의 처리에 내재되어있는 불확실성을 줄이면서 보다 많은 정보를 추출할 가능성이 크다.
	SAR의 장점은?	SAR는 기상상태와 태양고도 제약을 받지 않고 영상을 취득할 수 있는 장점을 갖지만 광학영상에 비해 시각적 가독성이 떨어지는 단점을 갖는다. 광학영상의 다중분광정보를 융합하여 SAR 영상의 가독성을 향상시키기 위한 다중센서 융합기술에 대한 관심이 증대되고 있다.
	SAR의 단점은?	SAR는 기상상태와 태양고도 제약을 받지 않고 영상을 취득할 수 있는 장점을 갖지만 광학영상에 비해 시각적 가독성이 떨어지는 단점을 갖는다. 광학영상의 다중분광정보를 융합하여 SAR 영상의 가독성을 향상시키기 위한 다중센서 융합기술에 대한 관심이 증대되고 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

고해상도 SAR와 광학영상의 고주파 정보를 이용한 다중센서 융합
Image Fusion of High Resolution SAR and Optical Image Using High Frequency Information 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (21)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

고해상도 SAR와 광학영상의 고주파 정보를 이용한 다중센서 융합 Image Fusion of High Resolution SAR and Optical Image Using High Frequency Information 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (21)

이 논문을 인용한 문헌

저자의 다른 논문 :

채태병 (15)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

고해상도 SAR와 광학영상의 고주파 정보를 이용한 다중센서 융합
Image Fusion of High Resolution SAR and Optical Image Using High Frequency Information 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper