고해상도 입체 위성영상을 보다 정확하고 효율적으로 처리하기 위해서는 종시차를 제거한 정밀한 에피폴라 영상을 생성하는 것이 필요하다. 종시차 제거를 위해서는 두 입체 영상간의 정밀한 센서모델링이 선행되어야하는데, 이를 위해 일반적으로 지상 기준점을 이용한 번들 조정을 수행한다. 그러나 접근이 힘들거나, 참조 데이터를 확보하기 어려운 지역, 또는 절대적 위치 정확성이 크게 중요치 않은 경우에는 기준점을 활용하지 않고, 공액점(conjugate points)만을 활용한 상호표정을 수행하여야 한다. 항공, 지상 사진 등에 사용되는 프레임 카메라와는 달리, 위성 센서에 활용되는 푸쉬부룸 센서의 경우 상호 표정의 정확성 등의 분석의 검증이 필요하므로, 본 연구에서는 고해상도 입체 영상 처리를 위해 가장 많이 활용하는 RPCs의 무기준점 편위 보정을 통하여 상호표정의 정밀성을 분석하고 입체 영상 생성 시 종시차 달성의 정확성을 분석하였다. 연구 과정에서 공액점은 영상간의 매칭을 통해 생성하였고, 공액점의 오차를 고려하여 과대오차 제거 기법을 적용하여 필터링하였다. RPCs 편위보정은 affine과 다항식 기반으로 진행되었으며, 보정 후 RPCs의 투영 오차를 검토하였다. 최종적으로 에피폴라 영상을 생성하여 종시차를 평가하였으며, 그 결과 아리랑 3호 영상의 경우 2차 다항식으로 1픽셀 수준의 종시차를 달성할 수 있음을 알 수 있었다.
고해상도 입체 위성영상을 보다 정확하고 효율적으로 처리하기 위해서는 종시차를 제거한 정밀한 에피폴라 영상을 생성하는 것이 필요하다. 종시차 제거를 위해서는 두 입체 영상간의 정밀한 센서모델링이 선행되어야하는데, 이를 위해 일반적으로 지상 기준점을 이용한 번들 조정을 수행한다. 그러나 접근이 힘들거나, 참조 데이터를 확보하기 어려운 지역, 또는 절대적 위치 정확성이 크게 중요치 않은 경우에는 기준점을 활용하지 않고, 공액점(conjugate points)만을 활용한 상호표정을 수행하여야 한다. 항공, 지상 사진 등에 사용되는 프레임 카메라와는 달리, 위성 센서에 활용되는 푸쉬부룸 센서의 경우 상호 표정의 정확성 등의 분석의 검증이 필요하므로, 본 연구에서는 고해상도 입체 영상 처리를 위해 가장 많이 활용하는 RPCs의 무기준점 편위 보정을 통하여 상호표정의 정밀성을 분석하고 입체 영상 생성 시 종시차 달성의 정확성을 분석하였다. 연구 과정에서 공액점은 영상간의 매칭을 통해 생성하였고, 공액점의 오차를 고려하여 과대오차 제거 기법을 적용하여 필터링하였다. RPCs 편위보정은 affine과 다항식 기반으로 진행되었으며, 보정 후 RPCs의 투영 오차를 검토하였다. 최종적으로 에피폴라 영상을 생성하여 종시차를 평가하였으며, 그 결과 아리랑 3호 영상의 경우 2차 다항식으로 1픽셀 수준의 종시차를 달성할 수 있음을 알 수 있었다.
It is prerequisite to generate epipolar resampled images by reducing the y-parallax for accurate and efficient processing of satellite stereo images. Minimizing y-parallax requires the accurate sensor modeling that is carried out with ground control points. However, the approach is not feasible over...
It is prerequisite to generate epipolar resampled images by reducing the y-parallax for accurate and efficient processing of satellite stereo images. Minimizing y-parallax requires the accurate sensor modeling that is carried out with ground control points. However, the approach is not feasible over inaccessible areas where control points cannot be easily acquired. For the case, a relative orientation can be utilized only with conjugate points, but its accuracy for satellite sensor should be studied because the sensor has different geometry compared to well-known frame type cameras. Therefore, we carried out the bias-compensation of RPCs (Rational Polynomial Coefficients) without any ground control points to study its precision and effects on the y-parallax in epipolar resampled images. The conjugate points were generated with stereo image matching with outlier removals. RPCs compensation was performed based on the affine and polynomial models. We analyzed the reprojection error of the compensated RPCs and the y-parallax in the resampled images. Experimental result showed one-pixel level of y-parallax for Kompsat-3 stereo data.
It is prerequisite to generate epipolar resampled images by reducing the y-parallax for accurate and efficient processing of satellite stereo images. Minimizing y-parallax requires the accurate sensor modeling that is carried out with ground control points. However, the approach is not feasible over inaccessible areas where control points cannot be easily acquired. For the case, a relative orientation can be utilized only with conjugate points, but its accuracy for satellite sensor should be studied because the sensor has different geometry compared to well-known frame type cameras. Therefore, we carried out the bias-compensation of RPCs (Rational Polynomial Coefficients) without any ground control points to study its precision and effects on the y-parallax in epipolar resampled images. The conjugate points were generated with stereo image matching with outlier removals. RPCs compensation was performed based on the affine and polynomial models. We analyzed the reprojection error of the compensated RPCs and the y-parallax in the resampled images. Experimental result showed one-pixel level of y-parallax for Kompsat-3 stereo data.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
의사 기준점에 기반한 상호 표정의 기법에 관한 기존의 연구들은 RPCs 보정을 위한 하나의 모델 (일반적으로 affine)을 적용하여 상호 표정을 수행하고 그 정밀도를 분석하였다. 본 연구에서는 상호 표정 기법을 affine모델과 2차 다항식에 대하여 각각 적용해보고 정밀도 달성의 차이를 분석해보았다. 또한 고해상도 입체 영상 처리에 활용 가능성을 적용 모델별로 살펴보기 위해 입체 영상 생성을 통해 종시차 달성의 정확성을 비교 분석해 보았다.
본 연구에서는 종시차가 존재하는 아리랑 3호 고해상도 입체 위성영상을 대상으로 상호 표정의 정확성을 분석하고 상호표정 기법을 통한 RPCs 편위보정을 통하여 에피폴라 영상 생성하고 종시차의 정도를 분석해보았다. 획득된 공액점의 의사기준점 재투영 오차를 분석하여 과대 오차를 보이는 공액점을 탐지할 수 있었고, 과대 오차 제거 후 의사기준점을 지상기준점으로 활용하는 상호 표정 방식의 적용을 통해 affine 및 2차 다항식으로 RPCs 편위를 보정할 수 있었다.
제안 방법
이후 과대오차가 제거된 공액점을 바탕으로 상호 표정을 실행 및 RPCs를 보정하였다. RPCs 보정은 affine 및 다항식의 경우로 나누어 진행하였고, 보정후 RPCs를 활용한 매칭점의 재투영을 통해 투영오차 분석을 진행하였다. 최종적으로 에피폴라 영상을 생성한 후 종시차를 분석하기 위해 공액점들이 동일 라인에 위치하는 것을 확인하였다.
다음 과정으로 과대 오차를 제거 후의 120개의 공액점의 의사기준점 및 공액점 영상 좌표를 이용하여 RPCs 편위보정 수행 후 새로운 RPCs를 생성해 내었다. 제대로 RPCs가 생성되었는지 검사하기 위해 편위 보정 후의 RPCs를 이용하여 의사기준점을 영상으로 투영한 후 영상 좌표를 계산하고, 원 공액점의 영상좌표와의 차이를 계산하여 이를 affine과 2차 다항식으로 모델링하였다.
본 연구에서는 상호 표정 기법을 affine모델과 2차 다항식에 대하여 각각 적용해보고 정밀도 달성의 차이를 분석해보았다. 또한 고해상도 입체 영상 처리에 활용 가능성을 적용 모델별로 살펴보기 위해 입체 영상 생성을 통해 종시차 달성의 정확성을 비교 분석해 보았다.
상호 표정의 실험을 위해 입체 영상간 매칭을 통해 생성한 공액점을 활용하였으며, 매칭의 오차가 있음을 전제로 과대 오차 탐지를 통해 필터링을 진행하였다. 이후 과대오차가 제거된 공액점을 바탕으로 상호 표정을 실행 및 RPCs를 보정하였다.
스테레오 매칭을 통해 취득된 121개의 공액점을 이용하여 RPCs 공간교회법을 통해 지상 의사기준점 좌표를 계산하였고, 이를 각 영상으로 재투영하여 원 공액점 영상 좌표값과의 차이를 계산하였다. Fig.
상호 표정의 실험을 위해 입체 영상간 매칭을 통해 생성한 공액점을 활용하였으며, 매칭의 오차가 있음을 전제로 과대 오차 탐지를 통해 필터링을 진행하였다. 이후 과대오차가 제거된 공액점을 바탕으로 상호 표정을 실행 및 RPCs를 보정하였다. RPCs 보정은 affine 및 다항식의 경우로 나누어 진행하였고, 보정후 RPCs를 활용한 매칭점의 재투영을 통해 투영오차 분석을 진행하였다.
1과 같이 진행하였다. 입체로 취득된 두 영상과 RPCs, 그리고 두 영상간의 매칭을 통해 생성된 공액점을 이용하여 연구를 진행하였다. 첫 단계로 공액점과 입체 영상의 원 RPCs를 이용하여 지상 좌표를 계산한다.
다음 과정으로 과대 오차를 제거 후의 120개의 공액점의 의사기준점 및 공액점 영상 좌표를 이용하여 RPCs 편위보정 수행 후 새로운 RPCs를 생성해 내었다. 제대로 RPCs가 생성되었는지 검사하기 위해 편위 보정 후의 RPCs를 이용하여 의사기준점을 영상으로 투영한 후 영상 좌표를 계산하고, 원 공액점의 영상좌표와의 차이를 계산하여 이를 affine과 2차 다항식으로 모델링하였다. 모델링 후 잔차의 평균제곱근오차와 최대값을 Table 3에 나타내었다.
입체로 취득된 두 영상과 RPCs, 그리고 두 영상간의 매칭을 통해 생성된 공액점을 이용하여 연구를 진행하였다. 첫 단계로 공액점과 입체 영상의 원 RPCs를 이용하여 지상 좌표를 계산한다. 이렇게 생성된 지상 좌표를 의사기준점이라 한다.
이렇게 생성된 에피폴라 영상의 종시차 평가는 일반적으로 두가지 방법으로 시행한다. 첫째, 공액점의 에피폴라 영상 내 위치를 이용하여 좌표값으로 종시차를 비교하고, 둘째, 에피폴라 영상을 확대하여 종시차를 시각적으로 비교 분석한다.
해당 좌표값의 차이를 영상 전역에 대하여 분석하여 모델링하고 이를 통해 과대 오차인 공액점은 제거해낸다. 최종 공액점을 활용하여 RPCs 편위 보정을 진행하고, 보정된 RPCs를 활용하여 에피폴라 영상을 제작하고 종시차를 분석한다.
투영오차를 영상 전역에 대하여 도출한 후, 투영오차를 모델링한다. 이 때, Eq.
다음으로, 해당 의사 기준점을 다시 각각의 영상으로 투영하게 되면, 원래 매칭을 통해 추출된 공액점 좌표와 다른 값을 갖게 된다. 해당 좌표값의 차이를 영상 전역에 대하여 분석하여 모델링하고 이를 통해 과대 오차인 공액점은 제거해낸다. 최종 공액점을 활용하여 RPCs 편위 보정을 진행하고, 보정된 RPCs를 활용하여 에피폴라 영상을 제작하고 종시차를 분석한다.
대상 데이터
실험은 몽골 울란바토르에 대해 동일 궤도로 취득된 아리랑 3호 스테레오 영상을 활용하여 진행되었다. 아리랑 3호 입체 영상의 스펙은 Table 1에 제시되었다.
아리랑 3호 입체 영상의 스펙은 Table 1에 제시되었다. 특징점 추출, 상관계수 매칭, 최소제곱매칭으로 이루어진 입체 영상 매칭을 통해 121점의 공액점을 취득하였다. Fig.
이론/모형
Affine 모델 또는 2차 다항식 모델을 통해 편위 보정한 RPCs를 이용하여 piecewise기법으로 에피폴라 영상을 각각 생성하였다. 종시차를 분석하기 위해 120개의 공액점의 영상 좌표를 에피폴라 변환식에 따라 에피폴라 영상 좌표로 변환하였으며, 해당 지점에서 도출한 종시차를 결과를 Table 4에 나타내었다.
다음으로 영상 전역에 대하여 각 좌표값의 차이를 affine식과 2차 다항식을 이용하여 모델링하였다. 모델링 후의 계산된 잔차의 평균제곱근오차 결과를 Table 2에 제시하였다.
에피폴라 영상의 생성은 Oh et al. (2010)에서 제안한 piecewise기법을 사용하였다. 해당 기법은 보정된 RPCs를 기반으로 좌/우 영상 투영을 통해 에피폴라 선형을 생성해 낸 후, 이를 에피폴라 영상의 조건으로 재배열하는 방법이다.
Affine 모델 또는 2차 다항식 모델을 통해 편위 보정한 RPCs를 이용하여 piecewise기법으로 에피폴라 영상을 각각 생성하였다. 종시차를 분석하기 위해 120개의 공액점의 영상 좌표를 에피폴라 변환식에 따라 에피폴라 영상 좌표로 변환하였으며, 해당 지점에서 도출한 종시차를 결과를 Table 4에 나타내었다. Affine식을 통한 편위 보정의 경우 평균제곱근 오차가 0.
성능/효과
Affine식을 통한 편위 보정의 경우 평균제곱근 오차가 0.74, 최소/최대 종시차가 –2.7~1.5픽셀로 나타났으며, 2차 다항식의 경우 평균제곱근 오차가 0.46, 최소/최대 종시차가 –2.2~0.9픽셀로 나타났다.
8에서 좌측 그림의 경우 affine 모델을 통한 편위를 보정한 RPCs를 활용한 경우이며, 우측 그림은 2차 다항식을 통해 편위를 보정한 RPCs를 활용한 경우의 결과이다. 건물 좌상단 모서리를 확인해보면 두 모델 모두 종시차에 큰 차이를 보이지 않아 시각적인 차이도 두드러지지 않지만, affine모델의 경우 강조 표시한 지역에서 붉은색이 기준선보다 올라와 보이는 것을 확인할 수 있다. 즉, 즉 2차 다항식의 경우보다 조금 큰 종시차 차이를 보임을 어렵게나마 시각적으로도 확인해볼 수 있었다.
9픽셀로 나타났다. 두 모델 모두 평균제곱근 오차를 기준으로 1픽셀 이내로 에피폴라 영상 생성이 가능하여 만족스러운 결과를 보였으나, 2차 다항식의 경우가 보다 종시차를 줄이는데 효과적이었음을 알 수 있었다.
모델링 후의 계산된 잔차의 평균제곱근오차 결과를 Table 2에 제시하였다. 두 영상 모두 라인(line)방향으로는 약 0.001픽셀로서 0에 가까운 값을 보이며 원 좌표값과의 차이가 없음을 알 수 있었으나, 샘플방향으로는 약 0.8픽셀로서 유의미한 차이값을 보였다. 이는 Fig.
4픽셀가량의 오차를 보인 affine의 경우 보다 약간 높은 RPCs 편위 보정 정밀도를 보였다. 실험에 활용한 아리랑 3호의 경우 샘플방향으로의 오차가 라인방향으로의 오차보다 약간 큰 값을 보임을 관찰할 수 있었다. 최종적으로 상호 표정으로 보정된 RPCs를 이용하여 제작한 에피폴라 영상의 종시차를 확인해본 결과 평균제곱근 오차 1픽셀 이하의 에피폴라 영상을 제작할 수 있음을 확인할 수 있었고, 2차 다항식으로 편위보정을 수행한 경우가 affine모델의 경우보다 약간 정밀한 종시차를 확보할 수 있음을 알 수 있었다.
획득된 공액점의 의사기준점 재투영 오차를 분석하여 과대 오차를 보이는 공액점을 탐지할 수 있었고, 과대 오차 제거 후 의사기준점을 지상기준점으로 활용하는 상호 표정 방식의 적용을 통해 affine 및 2차 다항식으로 RPCs 편위를 보정할 수 있었다. 아리랑 3호 영상에 대해 실험을 진행한 결과 2차 다항식의 경우가 최대 1픽셀가량의 오차를 보이며, 1.4픽셀가량의 오차를 보인 affine의 경우 보다 약간 높은 RPCs 편위 보정 정밀도를 보였다. 실험에 활용한 아리랑 3호의 경우 샘플방향으로의 오차가 라인방향으로의 오차보다 약간 큰 값을 보임을 관찰할 수 있었다.
즉, 즉 2차 다항식의 경우보다 조금 큰 종시차 차이를 보임을 어렵게나마 시각적으로도 확인해볼 수 있었다. 즉, 별도의 지상기준점을 활용하지 않고 공액점 추출만을 통한 상호표정만을 통해서도 1픽셀이하의 종시차를 확보한 입체 영상 처리가 가능함을 알 수 있었다.
모델링 후 잔차의 평균제곱근오차와 최대값을 Table 3에 나타내었다. 최대 오차량을 살펴보았을 때, affine식의 경우 208영상에 대해 샘플방향으로 1.4픽셀 가량의 차이가 나는 반면, 2차 다항식의 경우 그 차이가 1픽셀 가까이 줄어들어 해당 실험 영상에 대해서는 2차 다항식을 활용하는 것이 affine식을 사용하는 것보다 정확성이 있는 것을 알 수 있었다. 그러나 여전히 샘플방향으로의 차이가 라인방향으로의 차이보다 약간 큰 값을 보임을 관찰할 수 있다.
실험에 활용한 아리랑 3호의 경우 샘플방향으로의 오차가 라인방향으로의 오차보다 약간 큰 값을 보임을 관찰할 수 있었다. 최종적으로 상호 표정으로 보정된 RPCs를 이용하여 제작한 에피폴라 영상의 종시차를 확인해본 결과 평균제곱근 오차 1픽셀 이하의 에피폴라 영상을 제작할 수 있음을 확인할 수 있었고, 2차 다항식으로 편위보정을 수행한 경우가 affine모델의 경우보다 약간 정밀한 종시차를 확보할 수 있음을 알 수 있었다.
RPCs 보정은 affine 및 다항식의 경우로 나누어 진행하였고, 보정후 RPCs를 활용한 매칭점의 재투영을 통해 투영오차 분석을 진행하였다. 최종적으로 에피폴라 영상을 생성한 후 종시차를 분석하기 위해 공액점들이 동일 라인에 위치하는 것을 확인하였다.
본 연구에서는 종시차가 존재하는 아리랑 3호 고해상도 입체 위성영상을 대상으로 상호 표정의 정확성을 분석하고 상호표정 기법을 통한 RPCs 편위보정을 통하여 에피폴라 영상 생성하고 종시차의 정도를 분석해보았다. 획득된 공액점의 의사기준점 재투영 오차를 분석하여 과대 오차를 보이는 공액점을 탐지할 수 있었고, 과대 오차 제거 후 의사기준점을 지상기준점으로 활용하는 상호 표정 방식의 적용을 통해 affine 및 2차 다항식으로 RPCs 편위를 보정할 수 있었다. 아리랑 3호 영상에 대해 실험을 진행한 결과 2차 다항식의 경우가 최대 1픽셀가량의 오차를 보이며, 1.
질의응답
핵심어
질문
논문에서 추출한 답변
고해상도 입체 위성영상을 보다 효율적으로 처리하기 위해서는 무엇이 필요한가?
고해상도 입체 위성영상을 보다 정확하고 효율적으로 처리하기 위해서는 종시차를 제거한 정밀한 에피폴라 영상을 생성하는 것이 필요하다. 종시차 제거를 위해서는 두 입체 영상간의 정밀한 센서모델링이 선행되어야하는데, 이를 위해 일반적으로 지상 기준점을 이용한 번들 조정을 수행한다.
스테레오로 취득된 고해상도 위성영상의 3차원 처리 및 디스플레이를 위해서는 종시차를 제거한 정밀한 에피폴라 영상의 생성이 필수적인 이유는?
고해상도 위성영상은 입체로 취득될 경우 DSM (Digital Surface Model)의 생성 및 3차원 도화를 통한 지도 제작 등에 사용될 수 있다. 하지만 국내 아리랑 고해상도 입체 위성영상은 해외 입체영상과는 달리 종시차가 존재하고 있다. 따라서 스테레오로 취득된 고해상도 위성영상의 3차원 처리 및 디스플레이를 위해서는 종시차를 제거한 정밀한 에피폴라 (epipolar) 영상의 생성이 필수적이다(Song and Oh, 2014).
종시차 제거를 위해서는 무엇이 선행되어야하는가?
고해상도 입체 위성영상을 보다 정확하고 효율적으로 처리하기 위해서는 종시차를 제거한 정밀한 에피폴라 영상을 생성하는 것이 필요하다. 종시차 제거를 위해서는 두 입체 영상간의 정밀한 센서모델링이 선행되어야하는데, 이를 위해 일반적으로 지상 기준점을 이용한 번들 조정을 수행한다. 그러나 접근이 힘들거나, 참조 데이터를 확보하기 어려운 지역, 또는 절대적 위치 정확성이 크게 중요치 않은 경우에는 기준점을 활용하지 않고, 공액점(conjugate points)만을 활용한 상호표정을 수행하여야 한다.
참고문헌 (11)
De Franchis, C., Meinhardt-Llopis, E., Michel, J., Morel, J.M., and Facciolo, G. (2014), An automatic and modular stereo pipeline for pushbroom images, ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 5-7 Sep 2014, Zurich, Switzrland, pp. 49-56.
Fraser, C.S. and Hanley, H.B. (2005), Bias-compensated RPCs for sensor orientation of high-resolution satellite imagery, Photogrammetric Engineering & Remote Sensing, Vol. 71, No. 8, pp. 909-915.
Ghuffar, S. (2016), Satellite stereo based digital surface model generation using semi global matching in object and image space, ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 12-19 July 2016, Prague, Czech Republic, pp. 63-68.
Gong, K. and Fritsch, D. (2017), Relative orientation and modified piecewise epipolar resampling for high resolution satellite images, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 6-9 June 2017, Hannover, Germany, pp. 579-586.
Lehmann, R. (2013), 3sigma-rule for outlier detection from the viewpoint of geodetic adjustment, Journal of Surveying Engineering, Vol. 139, No. 4, pp. 157-165.
Oh, J.H. and Lee, C.N. (2015), Automated bias-compensation of rational polynomial coefficients of high resolution satellite imagery based on topographic maps, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 100, pp. 14-22.
Song, J.H. and Oh, J.H. (2014), Epipolar resampling from Kompsat-2 and Kompsat-3, Journal of the Korean Association of Geographic Information Studies, Vol. 17, No. 4, pp. 156-166. (in Korean with English abstract)
Tao, C. and Yong, H. (2001), A comprehensive study of the rational function model for photogrammetric processing, Photogrammetric Engineering & Remote Sensing, Vol. 67, No. 12, pp. 1347-1357.
Wang, M., Hu, F., and Li, J. (2011), Epipolar resampling of linear pushbroom satellite imagery by a new epipolarity model, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 66, No. 3, pp. 347-355.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.