[논문]KOMPSAT-3·3A 위성영상 글로벌 융합활용을 위한 다중센서 위성영상과의 정밀영상정합

김태헌; 윤예린; 이창희; 한유경

doi:10.7780/kjrs.2022.38.6.4.4

[국내논문] KOMPSAT-3·3A 위성영상 글로벌 융합활용을 위한 다중센서 위성영상과의 정밀영상정합
Fine-image Registration between Multi-sensor Satellite Images for Global Fusion Application of KOMPSAT-3·3A Imagery 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.6 pt.4, 2022년, pp.1901 - 1910

김태헌 (서울과학기술대학교 건설시스템공학과) , 윤예린 (서울과학기술대학교 건설시스템공학과) , 이창희 (서울과학기술대학교 건설시스템공학과) , 한유경 (서울과학기술대학교 건설시스템공학과)

초록
AI-Helper

뉴스페이스(new space) 시대가 도래함에 따라 국내 KOMPSAT-3·3A 위성영상과 해외 위성영상과의 글로벌 융합활용 기술확보가 대두되고 있다. 일반적으로 다중센서 위성영상은 취득 당시의 다양한 외부요소로 인해 영상 간 상대적인 기하오차(relative geometric error)가 발생하며, 이로 인해 위성영상 산출물의 품질이 저하된다. 따라서 본 연구에서는 KOMPSAT-3·3A 위성영상과 해외 위성영상 간 존재하는 상대기하오차를 최소화하기 위한 정밀영상정합(fine-image registration) 방법론을 제안한다. KOMPSAT-3·3A 위성영상과 해외 위성영상 간 중첩영역을 선정한 후 두 영상 간 공간해상도를 통일한다. 이어서, 특징 및 영역 기반 정합기법을 결합한 형태의 하이브리드(hybrid) 정합기법을 이용하여 정합점(tie-point)을 추출한다. 그리고 피라미드(pyramid) 영상 기반의 반복적 정합을 수행하여 정밀영상정합을 수행한다. KOMPSAT-3·3A 위성영상과 Sentinel-2A 및 PlanetScope 영상을 이용하여 제안기법의 정확도 및 성능을 평가하였다. 그 결과, Sentienl-2A 영상 기준 평균 Root Mean Square Error (RMSE) 1.2 pixels, PlanetScope 영상 기준 평균 RMSE 3.59 pixels의 정확도가 도출되었다. 이를 통해 제안기법을 이용하여 효과적으로 정밀영상정합을 수행할 수 있을 것으로 사료된다.

Abstract ▼ AI-Helper

Arriving in the new space age, securing technology for fusion application of KOMPSAT-3·3A and global satellite images is becoming more important. In general, multi-sensor satellite images have relative geometric errors due to various external factors at the time of acquisition, degrading the quality of the satellite image outputs. Therefore, we propose a fine-image registration methodology to minimize the relative geometric error between KOMPSAT-3·3A and global satellite images. After selecting the overlapping area between the KOMPSAT-3·3A and foreign satellite images, the spatial resolution between the two images is unified. Subsequently, tie-points are extracted using a hybrid matching method in which feature- and area-based matching methods are combined. Then, fine-image registration is performed through iterative registration based on pyramid images. To evaluate the performance and accuracy of the proposed method, we used KOMPSAT-3·3A, Sentinel-2A, and PlanetScope satellite images acquired over Daejeon city, South Korea. As a result, the average RMSE of the accuracy of the proposed method was derived as 1.2 and 3.59 pixels in Sentinel-2A and PlanetScope images, respectively. Consequently, it is considered that fine-image registration between multi-sensor satellite images can be effectively performed using the proposed method.

주제어

표/그림 (11)

그림 Fig. 1. Methodology of fine-image registration between multi-sensor satellite images.
그림 Fig. 2. Overlapping area selection process using RPC and metadata of satellite images.
그림 Fig. 3. The hybrid matching method combining feature- and area-based matching method.
그림 Fig. 4. Experimental satellite images: (a) KOMPSAT-3A, (b) KOMPSAT-3, (c) Sentinel-2A, and (d) PlanetScope.
그림 Fig. 5. Results of tie-points extraction between multi-sensor satellite images. Red and green markers represent the reference and sensed tie-points, respectively: (a) Sentinel-2A & KOMPSAT-3A, (b) Sentinel-2A & KOMPSAT-3, (c) PlanetScope & KOMPSAT-3A, and (d) PlanetScope & KOMPSAT-3.
표 Table 1. Specification of experimental satellite imagery
그림 Fig. 6. Mosaic images between reference and registered images: (a) Sentinel-2A & KOMPSAT-3A, (b) Sentinel-2A & KOMPSAT-3, (c) PlanetScope & KOMPSAT-3A, and (d) PlanetScope & KOMPSAT-3.
그림 Fig. 7. Checkpoints for evaluating the accuracy of registration results: (a) distribution map of checkpoints and (b) examples of checkpoints.
그림 Fig. 8. Mosaic images according to the results of fine-image registration between multi-sensor satellite images. The first and second columns represent the results based on the Sentinel-2A and PlanetScope images, respectively: (a) raw image, (b) proposed method, (c) Local SURF, (d) raw image, (e) proposed method, and (f) Local SURF.
표 Table 2. Accuracy of fine-image registration between KOMPSAT-3·3A and Sentinel-2A images (RMSE unit: pixel)
표 Table 3. Accuracy of fine-image registration between KOMPSAT-3·3A and PlanetScope images (RMSE unit: pixel)

AI 본문요약
AI-Helper

문제 정의

따라서, 본 연구에서는 KOMPSAT-3·3A 위성영상과 해외 위성영상 간 존재하는 상대적인 기하오차를 보정하기 위한 정밀영상정합(fine image registration) 방법론을 제안한다

제안 방법

KOMPSAT-3·3A 위성영상과 해외 위성영상 간 글로벌 융합활용을 위해 하이브리드 정합기법과 피라미드 영상 기반의 반복적 정합을 이용하는 정밀영상정합 방법론을 제안하였다
먼저 다중센서 위성영상 간 초기 기하오차를 최소화하기 위해 KOMPSAT-3·3A 영상과 Sentinel-2A 및 PlanetScope 영상 간 전처리과정을 통해 초기 기하오차를 최소화하였다. 그리고 하이브리드 정합기법과 피라미드 영상 기반의 반복적 정합방법을 통해 두 영상 간 기하오차를 단계적으로 보정하는 방식으로 정밀영상정합을 수행하였다. 제안기법의 정확도는 Sentinel-2A 영상 기준 평균 1.
먼저 KOMPSAT-3·3A 위성영상의 초기 Rational Polynomial Coefficient (RPC)와 Sentinel-2A 및 PlanetScope 위성의 메타데이터(metadata) 정보를 이용하여 중첩영역을 탐색한다
먼저 다중센서 위성영상 간 초기 기하오차를 최소화하기 위해 KOMPSAT-3·3A 영상과 Sentinel-2A 및 PlanetScope 영상 간 전처리과정을 통해 초기 기하오차를 최소화하였다
먼저, KOMPSAT-3·3A 위성영상의 RPC와 Sentinel2A 및 PlanetScope 영상의 메타데이터를 이용하여 두 영상 간 초기 기하차이를 최소화하는 전처리를 수행하였다
선정된 중첩지역을 중심으로 Sentinel-2A 및 PlanetScope 영상의 공간해상도를 KOMPSAT-3·3A 영상과 동일하게 조정한다. 이어서, 두 영상의 공간해상도를 조정한 피라미드(pyramid) 영상을 생성하고 하이브리드(hybrid) 정합기법 이용하여 추출된 정합점을 통해 반복적으로 영상 정합을 수행함으로써 정밀영상정합을 수행한다.
먼저, KOMPSAT-3·3A 위성영상의 RPC와 Sentinel2A 및 PlanetScope 영상의 메타데이터를 이용하여 두 영상 간 초기 기하차이를 최소화하는 전처리를 수행하였다. 이어서, 본 연구에서 제안하는 하이브리드 정합 기법을 적용하여 정합점을 추출하였다. Sentinel-2A 및 PlanetScope 영상과 KOMPSAT-3·3A 영상 간 추출된 정합점은 Fig.
따라서, 본 연구에서는 KOMPSAT-3·3A 위성영상과 해외 위성영상 간 존재하는 상대적인 기하오차를 보정하기 위한 정밀영상정합(fine image registration) 방법론을 제안한다. 제안방법은 서로 상이한 특성의 다중센서 영상 간 신뢰도 높은 다수의 정합점(tie-point)을 추출하고, 단계적으로 기하오차를 보정하여 정밀영상정합을 수행한다. 또한, Sentinel-2A 및 PlanetScope와 같은 해외 영상을 이용하여 제안방법의 정확도 및 성능을 검증한다.
하이브리드 정합기법과 피라미드 영상 기반의 반복적 정합을 통해 KOMPSAT-3·3A 영상과 Sentinel-2A 및 PlanetScope 영상과의 정밀영상정합을 수행하였다

대상 데이터

4와 같이 연구 지역에 대해 취득된 KOMPSAT3·3A, Sentinel-2A 그리고 PlanetScope 영상을 연구데이터로 이용하였다
제안기법에 대한 정확도 및 성능 검증을 위해 Fig. 7과 같이 실험 위성영상 간 불변특성을 보이는 지역 중 지형이 평탄한 지역을 중심으로 총 15개의 검사점을 육안으로 판독하여 선정하였다. 추출된 검사점을 기반으로 정밀영상정합 전과 후의 모자이크 영상과 RMSE를 산출하였으며, 성능 평가를 위해 template 기반으로 정합점을 추출하는 Local SURF와의 비교분석을 수행하였다.
본 연구에서는 도심지, 수계, 농지, 산림 등 다양한 피복으로 구성된 대전광역시 일대를 연구 지역으로 선정하였으며, Fig. 4와 같이 연구 지역에 대해 취득된 KOMPSAT3·3A, Sentinel-2A 그리고 PlanetScope 영상을 연구데이터로 이용하였다.
정밀영상정합의 기준영상으로는 정사보정된 Sentinel-2A과 PlanetScope 영상의 Blue, Green, Red 그리고 Near Infrared (NIR) 영상을 이용해서 제작한 panchromatic 영상, 입력영상으로는 KOMPSAT-3·3A호 Level 1R panchromatic 위성영상을 활용하였으며, 각 영상에 대한 세부내용은 Table 1과 같다.

데이터처리

정밀영상정합 수행 전, 후에 대한 정확도를 정량적으로 평가하기 위해 Table 2와 Table 3과 같이 RMSE와 Number of Tie-points (NT)를 산출하였다. Sentinel-2A 영상을 기준으로 정밀영상정합을 수행한 결과, 제안기법의 NT는 Local SURF에 비해 약 6배와 3배 정도 높았으며, RMSE는 Local SURF에 비해 각 영상에서 1.
7과 같이 실험 위성영상 간 불변특성을 보이는 지역 중 지형이 평탄한 지역을 중심으로 총 15개의 검사점을 육안으로 판독하여 선정하였다. 추출된 검사점을 기반으로 정밀영상정합 전과 후의 모자이크 영상과 RMSE를 산출하였으며, 성능 평가를 위해 template 기반으로 정합점을 추출하는 Local SURF와의 비교분석을 수행하였다.

성능/효과

정밀영상정합 수행 전, 후에 대한 정확도를 정량적으로 평가하기 위해 Table 2와 Table 3과 같이 RMSE와 Number of Tie-points (NT)를 산출하였다. Sentinel-2A 영상을 기준으로 정밀영상정합을 수행한 결과, 제안기법의 NT는 Local SURF에 비해 약 6배와 3배 정도 높았으며, RMSE는 Local SURF에 비해 각 영상에서 1.5 pixels 이상 낮게 산출되었다(Table 2). PlanetScope 영상이 기준일 경우 제안기법의 NT는 Local SURF에 비해 약 5배 이상 높고 RMSE는 1.
6과 같이 모자이크 영상을 생성하였다. 다중센서 모자이크 영상 내 경계면에 위치한 피복의 기하가 일정하게 정렬되어 표현되었으며, 이를 통해 상대적인 기하오차가 효과적으로 보정된 것을 확인하였다.
제안방법은 서로 상이한 특성의 다중센서 영상 간 신뢰도 높은 다수의 정합점(tie-point)을 추출하고, 단계적으로 기하오차를 보정하여 정밀영상정합을 수행한다. 또한, Sentinel-2A 및 PlanetScope와 같은 해외 영상을 이용하여 제안방법의 정확도 및 성능을 검증한다.
8(c)의 우측 상단 지역에서 미세하게 기하오차가 잔존하였다. 반면, 제안기법은 Local SURF를 통해 보정하지 못한 지역에서도 효과적으로 영상정합을 수행하여 기하오차를 최소화하였다.
이를 통해 제안기법은 KOMPSAT-3·3A 위성영상과 Sentinel-2A 및 PlanetScope 영상 간 존재하는 상대기하오차를 효과적으로 최소화할 수 있다
5와 같다. 제안기법을 통해 추출된 정합점은 모든 영상 조합의 중첩영역 내 균등하게 분포하고 있으며, 각 영상의 정합점 위치도 유사하게 나타났다.
그리고 하이브리드 정합기법과 피라미드 영상 기반의 반복적 정합방법을 통해 두 영상 간 기하오차를 단계적으로 보정하는 방식으로 정밀영상정합을 수행하였다. 제안기법의 정확도는 Sentinel-2A 영상 기준 평균 1.2 pixels, PlanetScope 영상 기준 평균 3.59 pixels로 도출되었다. 따라서 제안기법을 통해 좌표가 통일된 KOMPSAT-3·3A 위성영상 및 다양한 해외위성영상을 함께 이용하여 국토모니터링, 정밀 농업, 관광, 문화산업, 그리고 국가안보 등 다양한 분야의 의사결정 자료로 활용할 수 있을 것으로 사료된다.

후속연구

따라서 제안기법을 통해 좌표가 통일된 KOMPSAT-3·3A 위성영상 및 다양한 해외위성영상을 함께 이용하여 국토모니터링, 정밀 농업, 관광, 문화산업, 그리고 국가안보 등 다양한 분야의 의사결정 자료로 활용할 수 있을 것으로 사료된다
따라서, 본 연구의 제안기법은 KOMPSAT-3·3A 영상과 해외 위성영상 간 융합활용을 위한 근간이 되는 기술로 활용할 수 있을 것으로 사료된다.
하지만, 산림 및 고층건물이 밀집한 지역에서 정합점의 신뢰도가 감소하는 경향이 존재하였으며, 국내 도심지역에서만 제안기법 성능평가가 진행되어 다양한 지역환경 특성에 강인한지 검증하기에는 한계가 있다. 따라서, 추후 연구에서는 딥러닝 방법 적용을 통한 정합점 위치신뢰도를 개선하고, 국내외 지역 특성을 고려하기 위한 변환모델 일반화 성능을 개선하기 위한 연구를 진행할 예정이다.
또한, 제안기법은 KOMPSAT-3·3A 위성 영상 뿐만 아니라 국내 중형위성 및 추후 예정된 초소형군집위성 영상의 글로벌 융합활용의 핵심 기술로 활용할 수 있을 것으로 판단된다
또한, 제안기법은 KOMPSAT-3·3A 위성 영상 뿐만 아니라 국내 중형위성 및 추후 예정된 초소형군집위성 영상의 글로벌 융합활용의 핵심 기술로 활용할 수 있을 것으로 판단된다. 하지만, 산림 및 고층건물이 밀집한 지역에서 정합점의 신뢰도가 감소하는 경향이 존재하였으며, 국내 도심지역에서만 제안기법 성능평가가 진행되어 다양한 지역환경 특성에 강인한지 검증하기에는 한계가 있다. 따라서, 추후 연구에서는 딥러닝 방법 적용을 통한 정합점 위치신뢰도를 개선하고, 국내외 지역 특성을 고려하기 위한 변환모델 일반화 성능을 개선하기 위한 연구를 진행할 예정이다.

참고문헌 (15)

An, H., H. Park, H. Lee, S. Oh, and E. Kim, 2019. A Study on the status of domestic space industry and policy challenges responding the new space era, Science and Technology Policy Institute, 20: 1-253 (in Korean with English abstract).
Bay, H., A. Ess, T. Tuytelaars, and L. Van Gool, 2008. Speeded-up robust features (SURF), Computer Vision and Image Understanding, 110(3): 346-359. https://doi.org/10.1016/j.cviu.2007.09.014

상세보기
Foroosh, H., J.B. Zerubia, and M. Berthod, 2002. Extension of phase correlation to subpixel registration, IEEE Transactions on Image Processing, 11(3): 188-200. https://doi.org/10.1109/83.988953

상세보기
Han, Y., T. Kim, Y. Ye, M. Jung, Y. Kim, and J. Lee, 2022. Analysis of image-to-image registration performance of multitemporal KOMPSAT-3.3A imagery with respect to convergence angle, International Journal of Remote Sensing, 43(12): 4454-4476. https://doi.org/10.1080/01431161.2022.2114111

상세보기
Kim, T. and Y. Han, 2021. Integrated preprocessing of multitemporal very-high-resolution satellite images via conjugate points-based pseudo-invariant feature extraction, Remote Sensing, 13(19): 3990. https://doi.org/10.3390/rs13193990

상세보기
Kim, T., Y. Yun, C. Lee, J. Yeom, and Y. Han, 2022a. Image registration of very-high-resolution satellite images using deep learning model for outlier elimination, Proc. of IGARSS 2022 - IEEE International Geoscience and Remote Sensing Symposium, Kuala Lumpur, Malaysia, Jul. 17-22, pp. 155-158. https://doi.org/10.1109/IGARSS46834.2022.9884075
Kim, T., J. Park, C. Lee, Y. Yun, J. Jung, and Y. Han, 2022b. Multi-temporal orthophoto and digital surface model registration produced from UAV imagery over an agricultural Field, Geocarto International, 1-23. https://doi.org/10.1080/10106049.2022.2143913

상세보기
Ling, X., Y. Zhang, J. Xiong, X. Huang, and Z. Chen, 2016. An image matching algorithm integrating global SRTM and image segmentation for multisource satellite imagery, Remote Sensing, 8(8): 672. https://doi.org/10.3390/rs8080672

상세보기
Ma, W., J. Zhang, Y. Wu, L. Jiao, H. Zhu, and W. Zhao, 2019. A novel two-step registration method for remote sensing images based on deep and local features, IEEE Transactions on Geoscience and Remote Sensing, 57(7): 4834-4843. https://doi.org/10.1109/TGRS.2019.2893310

상세보기
Merkle, N., W. Luo, S. Auer, R. Muller, and R. Urtasun, 2017. Exploiting deep matching and SAR data for the geo-localization accuracy improvement of optical satellite images, Remote Sensing, 9(6): 586. https://doi.org/10.3390/rs9060586

상세보기
Park, S., S. Na, and N. Park, 2021. Effect of correcting radiometric inconsistency between Input Images on spatio-temporal fusion of multi-sensor high-resolution satellite images, Korean Journal of Remote Sensing, 37(5-1): 999-1011 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.5.1.14

원문보기 상세보기
Sedaghat, A. and H. Ebadi, 2015. Distinctive order based self-similarity descriptor for multi-sensor remote sensing image matching, ISPRS Journal of Photogrammetry and Remote Sensing, 108: 62-71. https://doi.org/10.1016/j.isprsjprs.2015.06.003

상세보기
Ye, Y., J. Shan, L. Bruzzone, and L. Shen, 2017. Robust registration of multimodal remote sensing images based on structural similarity, IEEE Transactions on Geoscience and Remote Sensing, 55(5): 2941-2958. https://doi.org/10.1109/TGRS.2017.2656380

상세보기
Yun, Y., T. Kim, J. Oh, and Y. Han, 2021. Analysis of co-registration performance according to geometric processing level of KOMPSAT-3/3A reference image, Korean Journal of Remote Sensing, 37(2): 221-232 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.2.4

원문보기 상세보기
Zitova, B. and J. Flusser, 2003. Image registration methods: a survey, Image and Vision Computing, 21(11): 977-1000. https://doi.org/10.1016/S0262-8856(03)00137-9

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증