본 논문은 이종센서자료인 고해상도 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하는 것을 목적으로 한다. 이를 위해, 두 영상간의 x, y 방향의 초기 변위량을 MI(Mutual Information) 기법을 통해 계산한 후, 계산된 위치만큼 TerraSAR-X 영상을 이동시켜서 두 영상 간 초기 위치 차이를 최소화하였다. 초기 위치 차이가 최소화된 두 영상에서 선형정보를 추출하여 이들 간의 유사도를 판단, 매칭쌍을 추출하고자 하였다. 특히, 영상 전반에 걸쳐 고르게 분포된 매칭쌍을 추출하기 위하여, 영상 전역에 걸쳐서 동일한 크기의 격자망을 구성하여, 각 격자망에서 하나의 매칭쌍만을 추출하도록 하였다. 이렇게 추출된 매칭쌍을 이용하여 선형(rigid)과 비선형(nonrigid)의 변환식이 결합된 모델을 통해 기하보정 정확도를 높이고자 하였고, 실험 결과 모든 대상지역에서 5m 이내의 RMSE 값을 도출하였다.
본 논문은 이종센서자료인 고해상도 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하는 것을 목적으로 한다. 이를 위해, 두 영상간의 x, y 방향의 초기 변위량을 MI(Mutual Information) 기법을 통해 계산한 후, 계산된 위치만큼 TerraSAR-X 영상을 이동시켜서 두 영상 간 초기 위치 차이를 최소화하였다. 초기 위치 차이가 최소화된 두 영상에서 선형정보를 추출하여 이들 간의 유사도를 판단, 매칭쌍을 추출하고자 하였다. 특히, 영상 전반에 걸쳐 고르게 분포된 매칭쌍을 추출하기 위하여, 영상 전역에 걸쳐서 동일한 크기의 격자망을 구성하여, 각 격자망에서 하나의 매칭쌍만을 추출하도록 하였다. 이렇게 추출된 매칭쌍을 이용하여 선형(rigid)과 비선형(nonrigid)의 변환식이 결합된 모델을 통해 기하보정 정확도를 높이고자 하였고, 실험 결과 모든 대상지역에서 5m 이내의 RMSE 값을 도출하였다.
In this paper, we propose an automatic image-to-image registration between high resolution multi-sensor images. To do this, TerraSAR-X image was shifted according to the initial translation differences of the x and y directions between images estimated using Mutual Information method. After that, th...
In this paper, we propose an automatic image-to-image registration between high resolution multi-sensor images. To do this, TerraSAR-X image was shifted according to the initial translation differences of the x and y directions between images estimated using Mutual Information method. After that, the Canny edge operator was applied to both images to extract linear features. These features were used to design a cost function that finds matching points based on the similarities of their locations and gradient orientations. For extracting large number of evenly distributed matching points, only one point within each regular grid constructed throughout the image was extracted to the final matching point pair. The model, which combined the piecewise linear function with the global affine transformation, was applied to increase the accuracy of the geometric correction, and the proposed method showed RMSE lower than 5m in all study sites.
In this paper, we propose an automatic image-to-image registration between high resolution multi-sensor images. To do this, TerraSAR-X image was shifted according to the initial translation differences of the x and y directions between images estimated using Mutual Information method. After that, the Canny edge operator was applied to both images to extract linear features. These features were used to design a cost function that finds matching points based on the similarities of their locations and gradient orientations. For extracting large number of evenly distributed matching points, only one point within each regular grid constructed throughout the image was extracted to the final matching point pair. The model, which combined the piecewise linear function with the global affine transformation, was applied to increase the accuracy of the geometric correction, and the proposed method showed RMSE lower than 5m in all study sites.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
보다 우수한 기하보정 결과를 얻기 위해서, 추출된 매칭쌍에 존재할 수 있는 오매칭쌍에 대한 제거 과정을 추가하거나, 두 영상에 대하여 보다 정밀한 DEM을 이용하여 정사영상을 생성한 후 에 제안 기법을 적용해 보고자 한다. 나아가 KOMPSAT-2와 TerraSAR-X 영상뿐만 아니라 다양한 다중센서자료에 제안 기법을 적용함으로써, 본 기법의 우수성을 검증해보고자 한다.
특히 SAR 영상의 경우, 측면관측을 통해 영상이 취득되는데 따른 특성으로 기하학적 왜곡의 크기나 형태가 광학영상의 왜곡 특성과 다르므로, 고도가 높거나 고도 변화가 심한 지역이 포함된 영상을 affine transformation이나 polynomial function과 같은 선형의 변환식으로 기하보정 할 경우 이러한 왜곡을 보정하는데 무리가 있다. 따라서 본 연구에서는 선행 연구를 통해 기개발된 선형식과 비선형식을 결합한 형태인 전역적/국지적 변환모델식(global/local mapping function)을 적용하여 두 영상이 가지고 있는 지형적인 차이를 효과적으로 최소화하고자 하였다(한유경 등, 2011).
삼각망을 과하게 구성할 경우, 그 삼각망에 내포되거나 삼각망 여러 개에 걸쳐서 존재하는 특정 객체의 형태가 심하게 왜곡될 우려가 있다. 따라서 본 연구에서는 영상 전역에 걸쳐서 일정한 크기의 격자망을 형성하여, 각 격자망당 하나의 매칭쌍을 추출하도록 하였다. 그림 3은 본 연구에서 수행한 격자망 생성개념을 보여준다.
이는 향후 발사될 KOMPSAT- 3호와 5호를 포함한 다중센서자료의 효과적인 통합 분석에 적용 가능할 것으로 기대된다. 보다 우수한 기하보정 결과를 얻기 위해서, 추출된 매칭쌍에 존재할 수 있는 오매칭쌍에 대한 제거 과정을 추가하거나, 두 영상에 대하여 보다 정밀한 DEM을 이용하여 정사영상을 생성한 후 에 제안 기법을 적용해 보고자 한다. 나아가 KOMPSAT-2와 TerraSAR-X 영상뿐만 아니라 다양한 다중센서자료에 제안 기법을 적용함으로써, 본 기법의 우수성을 검증해보고자 한다.
본 연구에서는 고해상도의 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하는 것을 목적으로 한다. 이를 위해, 두 영상 간의 x, y 방향의 초기 위치 차이를 MI 기법을 통해 계산한 후, 계산된 위치만큼 TerraSAR-X 영상을 이동시켜서 두 영상 간 초기 위치 차이를 최소화 한다.
반면, 매칭쌍이 존재하지 않는 영상의 외각 지역의 경우 주변 삼각망을 이용한 외삽법 (extrapolation)을 통해 변환을 수행하기 때문에 왜곡이 크게 발생할 수 있는 단점이 있다(Arévalo 등, 2008). 본 연구에서는 이러한 단점에 영향을 받지 않는 삼각망이 구성된 지역에 대해서만 piecewise linear function을 적용하였고, 그 외의 지역은 전역적인 affine transformation을 수행하여, 이들이 가지는 단점을 서로 효과적으로 보안함으로써 기하보정 정확도를 높이고자 하였다. 그림 4와 같이 삼각망 외각에 존재하는 매칭쌍(빨간색으로 표시)을 이용하여 affine transformation 계수를 추정하며, 이를 이용하여 영상에서 삼각망이 구성되지 않은 지역(회색 지역)에 대한 변환을 수행하게 된다.
그림 4와 같이 삼각망 외각에 존재하는 매칭쌍(빨간색으로 표시)을 이용하여 affine transformation 계수를 추정하며, 이를 이용하여 영상에서 삼각망이 구성되지 않은 지역(회색 지역)에 대한 변환을 수행하게 된다. 삼각망 외각에 존재하는 매칭쌍만을 전역적인 affine transformation 계수를 추정하는데 이용함으로써 두 변환모델 사이에 생길 수 있는 오차를 최소화하고자 하였다. 모든 변환식에 대한 재배열(resampling) 기법으로는 공일차 내삽법(bilinear interpolation)을 사용하였다.
여기서 빨간색 십자표시는 기준영상의 하나의 선형화소를 나타내며, 실선은 이 선형화소에 대하여 매칭 대상이 되는 기준영상의 선형화소들을 나타낸다. 원형탐색영역을 통해 점선을 제외한 실선의 선형화소들만 매칭 후보가됨으로써 매칭 과정에서 발생하는 시간비용을 줄일 뿐만 아니라 매칭 결과 정확도를 높이고자 하였다. 기준영상의 하나의 선형화소에 대해서, 가장 작은 비용함수 값을 갖는 대상영상의 원형탐색영역 내 선형화소가 후보매칭쌍이 되며, 이때의 비용함수 값이 임계치를 넘지 않을 때를 매칭쌍으로 판단하였다.
영상전역에 고르게 분포된 매칭쌍을 구하기 위한 격자망의 크기는 100×100 화소의 크기로 공통적으로 할당하였고, 각 격자망에서 가장 작은 비용함수 값을 갖는 후보매칭쌍을 최종 매칭쌍으로 추출하였다. 이렇게 설정된 임계치를 이용하여 두 대상지역에 대하여 기하보정을 수행하고자 하였다.
특히, 영상 전반에 걸쳐 고르게 분포된 매칭쌍을 추출하기 위하여, 동일한 크기의 격자망을 구성하여, 각 격자망에서 하나의 매칭쌍만을 추출하도록 하였다. 이렇게 추출된 매칭쌍을 이용하여 SAR 영상의 측면관측으로 인한 기하학적 왜곡을 최소화하기 위한 선형(rigid)과 비선형(non-rigid)의 변환식이 결합된 모델을 통해 기하보정 정확도를 높이고자 하였다.
그림 3은 본 연구에서 수행한 격자망 생성개념을 보여준다. 즉, 추출된 매칭쌍에 대해서 각 격자망에서 가장 낮은 비용함수 값을 가지는 하나의 매칭쌍만을 추출하며, 이를 통해 영상 전역에 걸쳐서 고르게 분포된 다수의 매칭쌍을 추출하고자 하였다.
이를 위해, 두 영상 간의 x, y 방향의 초기 위치 차이를 MI 기법을 통해 계산한 후, 계산된 위치만큼 TerraSAR-X 영상을 이동시켜서 두 영상 간 초기 위치 차이를 최소화 한다. 초기 위치 차이가 최소화된 두 영상에서 선형정보를 추출하여 이들 간의 유사도를 판단, 매칭쌍을 추출하고자 하였다. 특히, 영상 전반에 걸쳐 고르게 분포된 매칭쌍을 추출하기 위하여, 동일한 크기의 격자망을 구성하여, 각 격자망에서 하나의 매칭쌍만을 추출하도록 하였다.
제안한 알고리즘을 적용하기 위한 전처리로, 1,500×1,500 화소크기의 모든 영상에 대하여 2% linear stretching을 수행하였고 8bits 영상으로 변환하였다. 특히 TerraSAR-X 영상의 경우 MI 기법을 적용하고 선형정보를 추출하는데 어려움을 주는 스펙클잡음이 존재하기 때문에 Lee filter를 통해 이들의 효과를 최소화하고자 하였다(Lee, 1980).
제안 방법
초기 변위량은 화소 단위로 정밀하게 추출하지 않아도 추후에 매칭 단계에 크게 영향을 주지 않으므로, 두 영상 모두에 대하여 피라미드 기법(image pyramids)을 적용, 생성된 피라미드 영상에 대하여 x, y 방향으로 이동하면서 MI 값을 계산하였다. 가장 큰 MI 값을 가질 때를 두 영상 간의 초기 변위량으로 결정하고, 이를 토대로 TerraSAR-X 영상을 해당 변위량 만큼 이동시켜준다. 초기 변위량 차이를 최소화시킨 두 영상에 대하여 정밀한 지역적 매칭(local matching)을 수행하기 위해서 대표적인 선형 추출 기법인 Canny 에지 추출자(Canny edge operator)를 적용하여 선형정보를 추출한다(Canny, 1986).
MI 기법을 통해 계산된 초기 x, y 방향에 대한 변위량으로, 첫 번째 대상지역에서는 (dEasting, dNorthing) = (-116, - 104)m, 두 번째 대상지역에서는 (dEasting, dNorthing) = (- 144, -100)m 만큼의 차이를 보였다. 계산된 초기 변위량만큼 각 대상지역의 TerraSAR-X 영상을 x, y 방향 각각에 대하여 이동시켜 준 후에, Canny 에지 추출자를 이용하여 선형개체를 추출하였고, 이를 이용하여 비용함수를 구성하였다. 비용함수를 통해 추출된 매칭 결과는 그림 6과 같다.
초기 변위량만큼 대상영상을 이동시켜 준 후, Canny 에지 추출자를 이용하여 선형 개체를 추출하였다. 기준영상의 선형화소 각각에 대하여 반지름이 5 화소인 원형탐색영역을 선정하였고, 이 범위 내에 존재하는 대상영상의 선형화소만을 기준영상의 선형화소에 대한 매칭 후보 화소로 제한하였다. 범위 내에 존재하는 모든 선형화소에 대하여 가중치 α, β를 각각 0.
원형탐색영역을 통해 점선을 제외한 실선의 선형화소들만 매칭 후보가됨으로써 매칭 과정에서 발생하는 시간비용을 줄일 뿐만 아니라 매칭 결과 정확도를 높이고자 하였다. 기준영상의 하나의 선형화소에 대해서, 가장 작은 비용함수 값을 갖는 대상영상의 원형탐색영역 내 선형화소가 후보매칭쌍이 되며, 이때의 비용함수 값이 임계치를 넘지 않을 때를 매칭쌍으로 판단하였다. 같은 방식으로 기준영상의 모든 선형화소에 대하여 매칭쌍을 찾는 과정을 수행하였다.
두 영상 간의 초기 위치 관계를 설정하기 위해서 원영상의 1/4 크기의 영상 피라미드를 2 단계 생성하였고, 생성된 최종 단계(coarsest level)의 피라미드 영상에 대하여 대상영상을 x, y 방향으로 이동시키면서 MI 값을 계산, 가장 높은 값을 가질 때의 위치를 두 영상의 초기 변위량으로 계산하였다. 초기 변위량만큼 대상영상을 이동시켜 준 후, Canny 에지 추출자를 이용하여 선형 개체를 추출하였다.
더욱이, 전체 영상에서 MI 값을 계산할 경우 많은 계산시간이 소요될 뿐만 아니라 지역적 최적값(local extrema)을 도출할 우려가 있다. 따라서 영상을 단계적으로 축소시키는 피라미드 기법을 통해 생성된 피라미드의 상부 영상에 대하여 MI 값을 계산함으로써, 계산 비용을 줄임과 동시에 넓은 지역의 탐색 범위를 통해서 초기 두 영상의 위치 차이가 많이 나더라도 전역적 최적값(global extrema)을 찾을 수 있도록 하였다. 추출된 피라미드 상부 영상에 대하여 대상영상을 x, y 방향으로 이동시키면서 MI 값을 계산한 후, 최대의 MI 값을 가질 때의 이동량을 두 영상 간 초기 변위량으로 판단하였고, 이를 토대로 대상영상을 x, y 방향 각각에 대하여 이동시켜 줌으로써, 두 영상 간의 초기 위치 차이를 최소화하였다.
실제로 그림 6에서 대상지역에 대하여 추출된 매칭쌍의 분포를 살펴보면, 건물과 같이 높이 변화가 심한 지역에서 다수의 매칭쌍이 추출된 것을 볼 수 있다. 또한 특정 지역에서 다수의 매칭쌍이 추출될 경우, piecewise linear function을 적용하는데 필요한 삼각망을 과하게 구성할 수 있기 때문에, 영상 전체에 대해서 일정 크기의 격자망을 생성하여, 각 격자망 당 하나의 매칭쌍을 추출하도록 하였다. 격자망을 통해 최종 추출된 매칭쌍의 수는 각각 129쌍, 113쌍으로, 그 결과는 그림 7과 같다.
범위 내에 존재하는 모든 선형화소에 대하여 가중치 α, β를 각각 0.2, 1000으로 경험적으로 설정하여 비용함수를 계산하였다.
본 기법에서는 대상영상(sensed image)에 대하여 x, y 방향으로 이동을 하면서 기준영상(reference image)과의 MI값을 계산하여, 가장 높은 값을 가질 때를 두 영상 간 초기변위량으로 결정하였다. 제안한 방법의 경우 초기 변위량이 화소 단위로 정확하게 추출되지 않아도 차후의 지역적 매칭쌍 추출단계를 통해서 정밀한 매칭쌍 추출이 가능하다.
본 연구에서 제안한 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하기 위해서는 크게 3 단계의 처리과정으로 구성된다. 우선, 두 영상 간의 초기 변위량(initial translation) 차이를 MI 기법을 통해 계산한다.
본 연구에서는 대표적인 강도 기반 유사도 측정 기법인 MI 기법과 선형 객체 기반 기법을 결합하여 고해상도 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하였다. 본 기법을 통해 영상 전역에 걸쳐서 고르게 분포된 다수의 매칭쌍을 추출할 수 있었고, 두 대상지역 모두 5m 이하의 RMSE 값을 도출함으로써 만족할만한 결과를 얻었음을 확인하였다.
하지만 선형개체 기반으로 매칭쌍을 추출하는 제안 기법의 경우, 도로나 다리, 건물 주변과 같이 선형정보가 존재하는 지역에서 대부분의 매칭쌍이 추출되는 한계가 있다. 삼각망이 구성된 지역은 piecewise linear function을, 구성되지 않은 외각 지역은 전역적 affine transformation을 적용하여 TerraSAR-X 영상을 KOMPSAT-2 영상의 좌표체계로 변환하였다.
영상전역에 고르게 분포된 매칭쌍을 구하기 위한 격자망의 크기는 100×100 화소의 크기로 공통적으로 할당하였고, 각 격자망에서 가장 작은 비용함수 값을 갖는 후보매칭쌍을 최종 매칭쌍으로 추출하였다.
추출된 선형화소 간의 방향과 거리의 차의 결합으로 구성된 비용함수를 통해서 유사하다고 생각되는 대응 화소를 매칭쌍으로 선정하였다. 이러한 매칭쌍은 영상에 따라서 특정 지역에 밀집되어서 추출될 수 있고, 이것은 추후 적용될 piecewise linear function을 적용하는데 기반이 되는 삼각망을 과다 생성(overtriangulation) 할 우려가 있으므로, 일정한 크기의 격자망을 구성하여, 각 격자망마다 한 개의 매칭쌍을 추출하도록 하여 좁은 지역에 밀집하여 추출되는 것을 방지하는 것과 동시에 영상 전역에 걸쳐서 골고루 매칭쌍을 추출할 수 있도록 하였다. 추출된 매칭쌍을 이용하여 piecewise linear function과 affine transformation을 결합한 형태의 변환모델식을 적용하여 기하보정 정확도를 높이고자 하였다.
본 연구에서는 고해상도의 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하는 것을 목적으로 한다. 이를 위해, 두 영상 간의 x, y 방향의 초기 위치 차이를 MI 기법을 통해 계산한 후, 계산된 위치만큼 TerraSAR-X 영상을 이동시켜서 두 영상 간 초기 위치 차이를 최소화 한다. 초기 위치 차이가 최소화된 두 영상에서 선형정보를 추출하여 이들 간의 유사도를 판단, 매칭쌍을 추출하고자 하였다.
제안한 알고리즘을 적용하기 위한 전처리로, 1,500×1,500 화소크기의 모든 영상에 대하여 2% linear stretching을 수행하였고 8bits 영상으로 변환하였다.
두 영상 간의 초기 위치 관계를 설정하기 위해서 원영상의 1/4 크기의 영상 피라미드를 2 단계 생성하였고, 생성된 최종 단계(coarsest level)의 피라미드 영상에 대하여 대상영상을 x, y 방향으로 이동시키면서 MI 값을 계산, 가장 높은 값을 가질 때의 위치를 두 영상의 초기 변위량으로 계산하였다. 초기 변위량만큼 대상영상을 이동시켜 준 후, Canny 에지 추출자를 이용하여 선형 개체를 추출하였다. 기준영상의 선형화소 각각에 대하여 반지름이 5 화소인 원형탐색영역을 선정하였고, 이 범위 내에 존재하는 대상영상의 선형화소만을 기준영상의 선형화소에 대한 매칭 후보 화소로 제한하였다.
우선, 두 영상 간의 초기 변위량(initial translation) 차이를 MI 기법을 통해 계산한다. 초기 변위량은 화소 단위로 정밀하게 추출하지 않아도 추후에 매칭 단계에 크게 영향을 주지 않으므로, 두 영상 모두에 대하여 피라미드 기법(image pyramids)을 적용, 생성된 피라미드 영상에 대하여 x, y 방향으로 이동하면서 MI 값을 계산하였다. 가장 큰 MI 값을 가질 때를 두 영상 간의 초기 변위량으로 결정하고, 이를 토대로 TerraSAR-X 영상을 해당 변위량 만큼 이동시켜준다.
최종적으로 추출된 매칭쌍을 이용하여 두 영상 간의 변환을 수행할 모델식을 구성하였다. 특히 SAR 영상의 경우, 측면관측을 통해 영상이 취득되는데 따른 특성으로 기하학적 왜곡의 크기나 형태가 광학영상의 왜곡 특성과 다르므로, 고도가 높거나 고도 변화가 심한 지역이 포함된 영상을 affine transformation이나 polynomial function과 같은 선형의 변환식으로 기하보정 할 경우 이러한 왜곡을 보정하는데 무리가 있다.
2.2 지역적 매칭쌍 추출
추정된 초기 변위량을 통해 위치 차이를 최소화한 두 영상에 대하여 각각 Canny 에지 추출자를 적용하여 선형정보를 추출하였고, 추출된 선형화소와 각 선형화소의 방향정보를 이용하여 비용함수를 구성하였다(Newton 등, 1994). Gx 와 Gy 를 각 선형화소에 대해 x, y 방향으로 1차 미분을 수행한 값이라고 할 때, 각 화소에 대한 방향정보는 다음과 같이 계산할 수 있다.
이러한 매칭쌍은 영상에 따라서 특정 지역에 밀집되어서 추출될 수 있고, 이것은 추후 적용될 piecewise linear function을 적용하는데 기반이 되는 삼각망을 과다 생성(overtriangulation) 할 우려가 있으므로, 일정한 크기의 격자망을 구성하여, 각 격자망마다 한 개의 매칭쌍을 추출하도록 하여 좁은 지역에 밀집하여 추출되는 것을 방지하는 것과 동시에 영상 전역에 걸쳐서 골고루 매칭쌍을 추출할 수 있도록 하였다. 추출된 매칭쌍을 이용하여 piecewise linear function과 affine transformation을 결합한 형태의 변환모델식을 적용하여 기하보정 정확도를 높이고자 하였다. 본 연구의 흐름도는 그림 1과 같다.
초기 변위량 차이를 최소화시킨 두 영상에 대하여 정밀한 지역적 매칭(local matching)을 수행하기 위해서 대표적인 선형 추출 기법인 Canny 에지 추출자(Canny edge operator)를 적용하여 선형정보를 추출한다(Canny, 1986). 추출된 선형화소 간의 방향과 거리의 차의 결합으로 구성된 비용함수를 통해서 유사하다고 생각되는 대응 화소를 매칭쌍으로 선정하였다. 이러한 매칭쌍은 영상에 따라서 특정 지역에 밀집되어서 추출될 수 있고, 이것은 추후 적용될 piecewise linear function을 적용하는데 기반이 되는 삼각망을 과다 생성(overtriangulation) 할 우려가 있으므로, 일정한 크기의 격자망을 구성하여, 각 격자망마다 한 개의 매칭쌍을 추출하도록 하여 좁은 지역에 밀집하여 추출되는 것을 방지하는 것과 동시에 영상 전역에 걸쳐서 골고루 매칭쌍을 추출할 수 있도록 하였다.
따라서 영상을 단계적으로 축소시키는 피라미드 기법을 통해 생성된 피라미드의 상부 영상에 대하여 MI 값을 계산함으로써, 계산 비용을 줄임과 동시에 넓은 지역의 탐색 범위를 통해서 초기 두 영상의 위치 차이가 많이 나더라도 전역적 최적값(global extrema)을 찾을 수 있도록 하였다. 추출된 피라미드 상부 영상에 대하여 대상영상을 x, y 방향으로 이동시키면서 MI 값을 계산한 후, 최대의 MI 값을 가질 때의 이동량을 두 영상 간 초기 변위량으로 판단하였고, 이를 토대로 대상영상을 x, y 방향 각각에 대하여 이동시켜 줌으로써, 두 영상 간의 초기 위치 차이를 최소화하였다.
초기 위치 차이가 최소화된 두 영상에서 선형정보를 추출하여 이들 간의 유사도를 판단, 매칭쌍을 추출하고자 하였다. 특히, 영상 전반에 걸쳐 고르게 분포된 매칭쌍을 추출하기 위하여, 동일한 크기의 격자망을 구성하여, 각 격자망에서 하나의 매칭쌍만을 추출하도록 하였다. 이렇게 추출된 매칭쌍을 이용하여 SAR 영상의 측면관측으로 인한 기하학적 왜곡을 최소화하기 위한 선형(rigid)과 비선형(non-rigid)의 변환식이 결합된 모델을 통해 기하보정 정확도를 높이고자 하였다.
대상 데이터
또한 높지 않은 건물들이 밀집되어 있어서 상대적으로 측면관측 방식에 의한 SAR 영상과 광학영상 간의 지형적 위치 차이가 크지 않을 것으로 판단된다. 두 번째 실험 대상지역은 영상 곳곳에 고층 건물이 존재하고 영상 촬영 시기나 방사적 특성에 따라 다르게 표현되는 수계지역이 넓게 분포하고 있어 두 영상을 기하보정 하는데 있어서 첫 번째 대상 지역보다 정확도가 떨어질 것으로 판단된다. 제안한 알고리즘을 적용하기 위한 전처리로, 1,500×1,500 화소크기의 모든 영상에 대하여 2% linear stretching을 수행하였고 8bits 영상으로 변환하였다.
본 연구에서 사용한 데이터는 대전 지역으로, KOMPSAT-2 흑백 영상을 기준(reference)영상으로, TerraSAR-X 영상을 대상(sensed)영상으로 이용하였다. TerraSAR-X 영상의 경우 동일한 상수의 높이값을 갖는 DEM을 이용하여 UTM 좌표로 투영시킨 GEC(Geocoded Ellipsoid Corrected) 영상으로, 2008년 7월 11일 촬영되었으며, 대상지역에서는 평균 28.
총 두 지역을 실험 대상지역으로 선정하였다(그림 5). 첫 번째 지역은 상대적으로 평평한 지역으로 구성된 경작지를 포함한 식생지역이 주를 이루고 있다.
이론/모형
삼각망 외각에 존재하는 매칭쌍만을 전역적인 affine transformation 계수를 추정하는데 이용함으로써 두 변환모델 사이에 생길 수 있는 오차를 최소화하고자 하였다. 모든 변환식에 대한 재배열(resampling) 기법으로는 공일차 내삽법(bilinear interpolation)을 사용하였다.
본 연구에서 제안한 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하기 위해서는 크게 3 단계의 처리과정으로 구성된다. 우선, 두 영상 간의 초기 변위량(initial translation) 차이를 MI 기법을 통해 계산한다. 초기 변위량은 화소 단위로 정밀하게 추출하지 않아도 추후에 매칭 단계에 크게 영향을 주지 않으므로, 두 영상 모두에 대하여 피라미드 기법(image pyramids)을 적용, 생성된 피라미드 영상에 대하여 x, y 방향으로 이동하면서 MI 값을 계산하였다.
이는 차후 정밀한 매칭쌍을 추출하는데 필요한 비용함수를 구성하는데 필요한 필수적인 과정이며, 초기 변위량이 제대로 계산되지 않을 경우 신뢰할만한 기하보정 결과를 얻을 수 없다. 이를 위해서 본 연구에서는 대표적인 강도기반 유사도 측정 기법 중 하나인 MI 기법을 이용하였다.
가장 큰 MI 값을 가질 때를 두 영상 간의 초기 변위량으로 결정하고, 이를 토대로 TerraSAR-X 영상을 해당 변위량 만큼 이동시켜준다. 초기 변위량 차이를 최소화시킨 두 영상에 대하여 정밀한 지역적 매칭(local matching)을 수행하기 위해서 대표적인 선형 추출 기법인 Canny 에지 추출자(Canny edge operator)를 적용하여 선형정보를 추출한다(Canny, 1986). 추출된 선형화소 간의 방향과 거리의 차의 결합으로 구성된 비용함수를 통해서 유사하다고 생각되는 대응 화소를 매칭쌍으로 선정하였다.
성능/효과
보다 정량적인 평가를 위해서 총 10개의 검사점을 수동으로 추출하여 x, y 방향에 대한 오차, RMSE 및 CE90을 계산한 결과는 표 2와 같다. 계산 결과, 대상지역 1, 2에 대하여 각각 3.53m와 4.98m의 RMSE 값과 5.00m, 6.20m의 CE90값을 도출하였고, 이를 통해 제안한 방법을 통한 기하보정 결과가 관련연구와 비교하여 전반적으로 만족할만한 수준의 정확도를 보임을 확인하였다. 하지만 대상지역 1에 비해 대상지역 2에서 보다 높은 RMSE와 CE90 값을 도출하였는데, 이는 영상 내에 존재하는 지역의 특성에서 비록된 것으로 생각된다.
KOMPSAT- 2 영상을 빨간색 블록으로, TerraSAR-X 영상을 회색블록으로 표현하였다. 두 영상의 방사적 특성이 달라서 모자이크 영상을 통해 기하보정이 얼마나 정확하게 수행되었는지를 객관적으로 평가하는 것은 어렵지만, 두 대상지역 모두 공통으로 존재하는 선형정보나 특정 객체의 형상이 유지되는 것을 볼 때 기하보정이 어느 정도 제대로 이루어졌음을 확인할 수 있었다.
본 연구에서는 대표적인 강도 기반 유사도 측정 기법인 MI 기법과 선형 객체 기반 기법을 결합하여 고해상도 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하였다. 본 기법을 통해 영상 전역에 걸쳐서 고르게 분포된 다수의 매칭쌍을 추출할 수 있었고, 두 대상지역 모두 5m 이하의 RMSE 값을 도출함으로써 만족할만한 결과를 얻었음을 확인하였다. 이는 향후 발사될 KOMPSAT- 3호와 5호를 포함한 다중센서자료의 효과적인 통합 분석에 적용 가능할 것으로 기대된다.
최종적으로 추출된 매칭쌍을 이용하여 삼각망을 구성한 후 기준영상과 중첩한 결과는 그림 8과 같다. 제안한 방법에 의해 두 대상지역 모두 영상 전역에 걸쳐서 골고루 매칭쌍이 추출되었고, 밀집 지역에서 다수의 매칭쌍이 추출되는 것을 방지함으로써 작은 삼각망이 과하게 구성되는 것을 방지한 것을 확인할 수 있다. 하지만 선형개체 기반으로 매칭쌍을 추출하는 제안 기법의 경우, 도로나 다리, 건물 주변과 같이 선형정보가 존재하는 지역에서 대부분의 매칭쌍이 추출되는 한계가 있다.
본 기법에서는 대상영상(sensed image)에 대하여 x, y 방향으로 이동을 하면서 기준영상(reference image)과의 MI값을 계산하여, 가장 높은 값을 가질 때를 두 영상 간 초기변위량으로 결정하였다. 제안한 방법의 경우 초기 변위량이 화소 단위로 정확하게 추출되지 않아도 차후의 지역적 매칭쌍 추출단계를 통해서 정밀한 매칭쌍 추출이 가능하다. 더욱이, 전체 영상에서 MI 값을 계산할 경우 많은 계산시간이 소요될 뿐만 아니라 지역적 최적값(local extrema)을 도출할 우려가 있다.
후속연구
본 기법을 통해 영상 전역에 걸쳐서 고르게 분포된 다수의 매칭쌍을 추출할 수 있었고, 두 대상지역 모두 5m 이하의 RMSE 값을 도출함으로써 만족할만한 결과를 얻었음을 확인하였다. 이는 향후 발사될 KOMPSAT- 3호와 5호를 포함한 다중센서자료의 효과적인 통합 분석에 적용 가능할 것으로 기대된다. 보다 우수한 기하보정 결과를 얻기 위해서, 추출된 매칭쌍에 존재할 수 있는 오매칭쌍에 대한 제거 과정을 추가하거나, 두 영상에 대하여 보다 정밀한 DEM을 이용하여 정사영상을 생성한 후 에 제안 기법을 적용해 보고자 한다.
뿐만 아니라, 대상지역 2에 존재하는 높은 건물에서 추출된 매칭쌍들이 기하보정 정확도를 떨어뜨리는 요인으로 작용한 것으로 판단된다. 이러한 문제점들은 상대적으로 평평한 대상지역에 제안한 방법론을 적용하거나, 두 영상에 대하여 보다 정밀한 DEM을 통해 정사영상(ortho-rectified image)을 생성한 후에 제안기법을 적용함으로써 해결할 수 있을 것으로 사료된다.
이를 위해, 다중센서자료를 함께 사용하기 위한 기본적인 전처리 과정 중 하나인 영상 간 기하보정(imageto- image registration)에 관한 연구의 필요성 또한 대두되고 있다(본 논문에서 사용한 용어‘영상 간 기하보정’은 기하보정 종류 중 영상 대 영상 등록에 한정함). 특히, KOMPSAT-5호와 유사한 특성을 갖는 TerraSAR-X 영상과기 발사된 KOMPSAT-2호 영상 간 기하보정을 수행하기 위한 알고리즘의 개발은 향후 발사될 KOMPSAT 영상을 효과적으로 활용하기 위한 중요한 사전 연구가 될 것으로생각된다.
질의응답
핵심어
질문
논문에서 추출한 답변
영상 간의 기하보정은 크게 무엇으로 나눌 수 있는가?
영상 간의 기하보정은 크게 데이터 전체의 유사도를 측정하는 강도 기반(intensity-based) 기법과 영상에 존재하는 특징들을 이용하는 개체 기반(feature-based) 기법으로 나눌 수 있다. 강도 기반 기법의 경우 데이터 간 초기 지질학적 위치관계를 대략적으로 추정하는데 사용할 수 있으나, 유사도를 측정하는 연산 시간이 많이 소요되는 단점이 있다.
영상 간 기하보정이란 무엇인가?
영상 간 기하보정은 두 개나 그 이상의 같은 지역에 대한 다른 시기, 다른 관점, 다른 센서에 의해서 추출된 영상을 중첩하는 과정을 말한다(Zitová 등, 2003). 일반적으로
영상 간의 기하보정 시, 강도 기반 기법의 경우 어떤 장단점이 있는가?
영상 간의 기하보정은 크게 데이터 전체의 유사도를 측정하는 강도 기반(intensity-based) 기법과 영상에 존재하는 특징들을 이용하는 개체 기반(feature-based) 기법으로 나눌 수 있다. 강도 기반 기법의 경우 데이터 간 초기 지질학적 위치관계를 대략적으로 추정하는데 사용할 수 있으나, 유사도를 측정하는 연산 시간이 많이 소요되는 단점이 있다. 반면 개체 기반 기법은 영상에서 점, 선, 면과 같은 개체를 추출하여 이들 특징을 표현하는 서술벡터 간의 유사도를 판단하여 정합을 수행하므로 지역적인 변형에 적합하고, 공간해상도 변화에도 유연하게 적용할 수 있어서, 광학영상 간 기하보정에 주로 사용된다.
참고문헌 (15)
한유경, 변영기, 최재완, 한동엽, 김용일 (2010), 지역적 매칭쌍 특성에 기반한 고해상도영상의 자동기하보정, 한국측량학회지, 한국측량학회, 제 28권, 제 3호, pp. 353-359.
한유경, 김덕진, 김용일 (2011), 선형정보를 이용한 고해상도 광학영상과 SAR 영상 간 기하보정, 대한원격탐사학회지, 대한원격탐사학회, 제 27권, 제 2호, pp. 141-150.
Arevalo, V. and Gonzalez, J. (2008), An experimental evaluation of non-rigid registration techniques on Quickbird satellite imagery, International Journal of Remote Sensing, Vol. 29, No. 2, pp. 513-527.
Canny, J. (1986), A computational approach to edge detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, No. 6, pp. 679-698.
Chen, H., Arora, M. and Varshney, P. (2003), Mutual information-based registration for remote sensing data, International Journal of Remote Sensing, Vol. 24, No. 18, pp. 3701-3706.
Dare, P. and Dowman, I. (2001), An improved model for automatic feature-based registration of SAR and SPOT images, Journal of Photogrammetry & Remote Sensing, Vol. 56, No. 1, pp. 13-28.
Hong, T. and Schowengerdt, A. (2005), A robust technique for precise registration of radar and optical satellite images, Photogrammetric Engineering & Remote Sensing, Vol. 71, No. 5, pp. 585-593.
Huang, L. and Li, Z. (2010), Feature-based image registration using the shape context, International Journal of Remote Sensing, Vol. 31, No. 8, pp. 2169-2177.
Lee, J. (1980), Digital image enhancement and noise filtering by use of local statistics, IEEE Pattern Analysis and Machine Intelligence, Vol. 2, No. 2, pp. 165-168.
Newton, W., Gurney, C., Sloggett, D. and Dowman, I. (1995), An approach to the automated identification of forests and forest change in remotely sensed images, International Archives of Photogrammetry and Remote Sensing, Vol. 30, No. 3, pp. 607-614.
Reinartz, P., Muller, R., Schwind, P., Suri, S. and Bamler, R. (2011), Orthorectification of VHR optical satellite data exploiting the geometric accuracy of TerraSAR-X data, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 66, pp. 124-132.
Suri, S. and Reinartz, P. (2010), Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban area, IEEE Transactions on Geoscience and Remote Sensing, Vol. 48, No. 2, pp. 939-949.
Viola, P. and Wells, W. (1997), Alignment by maximization of mutual information, International Journal of Computer Vision, Vol. 24, No. 2, pp. 137-154.
Zitova, B. and Flusser, J. (2003), Image registration methods: a survey, Image and Vision Computing, Vol. 21, No. 11, pp. 977-1000.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.