[논문]입력 영상의 방사학적 불일치 보정이 다중 센서 고해상도 위성영상의 시공간 융합에 미치는 영향

박소연; 나상일; 박노욱

doi:10.7780/kjrs.2021.37.5.1.14

입력 영상의 방사학적 불일치 보정이 다중 센서 고해상도 위성영상의 시공간 융합에 미치는 영향
Effect of Correcting Radiometric Inconsistency between Input Images on Spatio-temporal Fusion of Multi-sensor High-resolution Satellite Images 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.37 no.5 pt.1, 2021년, pp.999 - 1011

박소연 (인하대학교 공간정보공학과) , 나상일 (농촌진흥청 국립농업과학원) , 박노욱 (인하대학교 공간정보공학과)

초록
AI-Helper

다중 센서 영상으로부터 공간 및 시간해상도가 모두 높은 영상을 예측하는 시공간 융합에서 다중 센서 영상의 방사학적 불일치는 예측 성능에 영향을 미칠 수 있다. 이 연구에서는 다중 센서 위성영상의 서로 다른 분광학적 특성을 보정하는 방사보정이 융합 결과에 미치는 영향을 분석하였다. 두 농경지에서 얻어진 Sentinel-2, PlanetScope 및 RapidEye 영상을 이용한 사례연구를 통해 상대 방사보정의 효과를 정량적으로 분석하였다. 사례연구 결과, 상대 방사보정을 적용한 다중 센서 영상을 사용하였을 때 융합의 예측 정확도가 향상되었다. 특히 입력 자료 간 상관성이 낮은 경우에 상대 방사보정에 의한 예측 정확도 향상이 두드러졌다. 분광 특성의 차이를 보이는 다중 센서 자료를 서로 유사하게 변환함으로써 예측 성능이 향상된 것으로 보인다. 이 결과를 통해 상대 방사보정은 상관성이 낮은 다중 센서 위성영상의 시공간 융합에서 예측 능력을 향상시키기 위해 필요할 것으로 판단된다.

Abstract ▼ AI-Helper

In spatio-temporal fusion aiming at predicting images with both high spatial and temporal resolutionsfrom multi-sensor images, the radiometric inconsistency between input multi-sensor images may affect prediction performance. This study investigates the effect of radiometric correction, which compensate different spectral responses of multi-sensor satellite images, on the spatio-temporal fusion results. The effect of relative radiometric correction of input images was quantitatively analyzed through the case studies using Sentinel-2, PlanetScope, and RapidEye images obtained from two croplands. Prediction performance was improved when radiometrically corrected multi-sensor images were used asinput. In particular, the improvement in prediction performance wassubstantial when the correlation between input images was relatively low. Prediction performance could be improved by transforming multi-sensor images with different spectral responses into images with similar spectral responses and high correlation. These results indicate that radiometric correction is required to improve prediction performance in spatio-temporal fusion of multi-sensor satellite images with low correlation.

주제어

표/그림 (13)

그림 Fig. 1. Illustration of the basic concept of spatio-temporal image fusion.
그림 Fig. 2. Sentinel-2 false color composite images (near infrared-red-green bands as R-G-B) in two study areas: (a) March 14, 2018 in Hapcheon and (b) June 2, 2019 in Haenam.
표 Table 1. Summary of S2, PS and RE images used in this study
그림 Fig. 3. Spectral response functions of S2, RE and PS in blue, green, red, red-edge, and NIR bands.
그림 Fig. 4. Flowchart showing the processing pipeline. SPIF refers to spectrally pseudo-invariant features. Blue and gray boxes represent RRN and spatio-temporal fusion steps, respectively.
표 Table 2. List of satellite images used for spatio-temporal fusion in two study areas
표 Table 3. Three comparison cases considered in the spatio-temporal fusion experiment
표 Table 4. Correlation coefficients between CS and FS images per each spectral band
표 Table 5. SAM values of FS data and CS data with and without relative radiometric correction (The most similar case per each different image combination is underlined)
그림 Fig. 5. Comparison of true FS data and fusion results with and without relative radiometric correction (near infrared-red-green bands as R-G-B) in two subareas in Hapcheon: (a) predicted RE-like image using CS data, (b) predicted RE-like image using CSn data, (c) true RE image, (d) predicted PS-like image using CS data, (e) predicted PS-like image using CSn data, and (f) true PS image. A and B marked in the left image are the subareas of Case 2 and Case 1, respectively.
표 Table 6. Quantitative performance measures of fusion results with and without relative radiometric correction (The best prediction case per each band is underlined)
그림 Fig. 6. RMSE of fusion results for red and NIR bands per each land-cover class with and without relative radiometric correction in Case 3.
표 Table 7. SAM values per each land-cover class of FS data and CS data with and without relative radiometric correction in Case 3 (The most similar case per each land-cover class is underlined)

AI 본문요약
AI-Helper

제안 방법

이 연구에서는 다중 센서 고해상도 위성영상의 시공간 융합에서 다중 센서 입력 자료의 방사학적 불일치의 보정 여부가 융합 결과에 미치는 영향을 정량적으로 분석하였다. 기존 변화탐지를 위한 상대 방사보정에 적용된 SPIF를 새롭게 정의하여 선형 회귀 기반 상대 방사 보정을 다중 센서 영상에 적용하였다.
이 연구에서는 다중 센서 고해상도 위성영상의 시공간 융합에서 다중 센서 입력 자료의 방사학적 불일치의 보정 여부가 융합 결과에 미치는 영향을 정량적으로 분석하였다. 기존 변화탐지를 위한 상대 방사보정에 적용된 SPIF를 새롭게 정의하여 선형 회귀 기반 상대 방사 보정을 다중 센서 영상에 적용하였다.

대상 데이터

소규모 필지로 구성된 연구 지역을 대상으로 시공간 융합을 적용하기 위해 사례연구에는 Sentinel-2(S2) 영상, PlanetScope(PS) 영상 그리고 RapidEye(RE) 영상을 이용하였다(Table 1). 각 연구 지역에서 재배되는 작물의 생육주기를 고려하여 합천 지역은 3월과 5월 영상을, 해남 지역은 6월과 11월 영상을 사례연구에 이용하였다.
소규모 필지로 구성된 연구 지역을 대상으로 시공간 융합을 적용하기 위해 사례연구에는 Sentinel-2(S2) 영상, PlanetScope(PS) 영상 그리고 RapidEye(RE) 영상을 이용하였다(Table 1). 각 연구 지역에서 재배되는 작물의 생육주기를 고려하여 합천 지역은 3월과 5월 영상을, 해남 지역은 6월과 11월 영상을 사례연구에 이용하였다.
이 연구에서는 공간해상도가 다른 두 위성에 비해 상대적으로 낮은 S2 반사율 영상을 CS 자료로, S2 영상보다 공간해상도가 높은 PS 반사율 영상과 RE반사율 영상을 FS 자료로 간주하였다. PS 영상을 S2 영상과의 시공간 융합에 적용하기 위해서는 공간해상도를 S2 영상의 배수로 구성해야 하기 때문에 최근린 재배열 방법을 이용하여 PS 영상의 공간해상도를 2.
따라서 작물 모니터링은 구름이 없는 시기에 촬영된 영상을 이용해 시계열 자료를 구축할 수 있는 시공간 융합의 적용성이 매우 높다. 이러한 이유로 이 연구에서는 우리나라 마늘과 양파 주산지인 경상남도 합천군 초계면과 논벼와 배추를 재배하는 전라남도 해남군 산이면의 일부 지역을 사례연구 지역으로 선정하였다(Fig. 2).
2). 합천 연구 지역의 면적은 약 676 ha이며, 농경지는 평균 적으로 약 0.4~0.5 ha 면적을 갖는 필지로 구성되어 있다. 해남 연구 지역의 전체 면적은 약 1,156 ha이며, 평균 약 0.

성능/효과

세 다중 센서 영상의 분광반응함수를 비교했을 때(Fig. 3), 근적외선 밴드에서 센서 별 분광 파장 영역의 차이가 가장 컸다. 이는 근적외선 밴드에서의 세 영상의 방사학적 불일치가 큼을 의미하는데, 상대 방사보정을 통해 영상 간 유사도를 높임으로써 서로 다른 분광 파장 영역에 따른 불일치가 감소하여 예측 능력이 향상된 것으로 보인다.
농경지가 주로 분포하는 합천과 해남 지역을 대상으로 CS 자료로는 S2 영상을, FS 자료로는 PS 영상과 RE 영상을 사용하는 사례연구를 수행한 결과, 상대 방사보정을 적용함으로써 CSn 자료와 FS 자료와의 유사도가 높아졌으며 이로 인해 CSn 자료를 사용하였을 때 예측 정확도가 높은 융합 결과를 얻을 수 있었다. CS 자료를 FS 자료의 분광 특성과 유사하게 변환해줌으로써 FS 자료의 분광 특성이 융합 결과에 반영되어 예측 정확도가 향상되었다. 다중 센서 입력 자료의 상관성이 높은 S2 영상과 RE 영상을 이용한 시공간 융합에 비해, 동일 시기에 얻어진 원 자료 사이의 상관성이 상대적으로 낮은 S2 영상과 PS 영상을 융합했을 때 예측 정확도의 향상이 두드러졌다.
농경지가 주로 분포하는 합천과 해남 지역을 대상으로 CS 자료로는 S2 영상을, FS 자료로는 PS 영상과 RE 영상을 사용하는 사례연구를 수행한 결과, 상대 방사보정을 적용함으로써 CSn 자료와 FS 자료와의 유사도가 높아졌으며 이로 인해 CSn 자료를 사용하였을 때 예측 정확도가 높은 융합 결과를 얻을 수 있었다. CS 자료를 FS 자료의 분광 특성과 유사하게 변환해줌으로써 FS 자료의 분광 특성이 융합 결과에 반영되어 예측 정확도가 향상되었다.
CS 자료를 FS 자료의 분광 특성과 유사하게 변환해줌으로써 FS 자료의 분광 특성이 융합 결과에 반영되어 예측 정확도가 향상되었다. 다중 센서 입력 자료의 상관성이 높은 S2 영상과 RE 영상을 이용한 시공간 융합에 비해, 동일 시기에 얻어진 원 자료 사이의 상관성이 상대적으로 낮은 S2 영상과 PS 영상을 융합했을 때 예측 정확도의 향상이 두드러졌다. 이는 시공간 융합에 이용하는 입력 자료 사이의 상관성이 낮을 경우, 상대 방사보정을 적용한 입력 자료의 이용이 필요함을 지시한다.
이는 시공간 융합에 이용하는 입력 자료 사이의 상관성이 낮을 경우, 상대 방사보정을 적용한 입력 자료의 이용이 필요함을 지시한다. 서로 다른 분광 파장 영역을 갖는 다중 센서 간 방사학적 불일치에 따른 영향이 영상의 반사율 값에 직접적으로 반영되기 때문에 시공간 융합에 입력되는 영상 사이의 방사학 적 불일치를 보정하는 과정이 예측 정확도를 향상시킬 수 있다. 이 연구에서는 T0에 획득된 CS 자료와 FS 자료 사이의 불일치 요인으로 방사학적인 요인만 고려하였는데, 실제 다중 센서 자료는 방사학적인 요소 외에 기하학적 요소, 공간해상도의 차이 등 여러 요인에서 차이를 보일 수 있다.
서로 다른 분광 파장 영역을 갖는 다중 센서 간 방사학적 불일치에 따른 영향이 영상의 반사율 값에 직접적으로 반영되기 때문에 시공간 융합에 입력되는 영상 사이의 방사학 적 불일치를 보정하는 과정이 예측 정확도를 향상시킬 수 있다. 이 연구에서는 T0에 획득된 CS 자료와 FS 자료 사이의 불일치 요인으로 방사학적인 요인만 고려하였는데, 실제 다중 센서 자료는 방사학적인 요소 외에 기하학적 요소, 공간해상도의 차이 등 여러 요인에서 차이를 보일 수 있다. 따라서 시공간 융합에서 입력 자료 간 불일치가 큰 경우에도 특화된 전처리 과정의 적용을 통해 예측 능력을 효과적으로 개선할 수 있을 것으로 판단되며, 앞으로 시공간 융합의 입력 자료에 영향을 미칠 수 있는 다양한 요인들의 영향을 종합적으로 분석할 예정이다.
이 연구에서는 다중 센서 영상의 분광 파장 영역이 차이에 따라 영상에 나타나는 반사율 값의 차이를 분석하였는데, 방사학적 불일치 외에도 다중 센서 위성영상의 기하학적 불일치, 공간해상도 차이 등의 다른 요인들도 예측 성능에 영향을 줄 수 있다. 특히 고해상도 영상은 중저해상도 영상에 비해 지표면의 상세 정보를 제공하기 때문에 다중 센서 영상간 기하학적 불일치는 토지피복의 불일치를 초래하여 시공간 융합 결과에 큰 영향을 미칠 수 있다.

후속연구

이 연구에서는 T0에 획득된 CS 자료와 FS 자료 사이의 불일치 요인으로 방사학적인 요인만 고려하였는데, 실제 다중 센서 자료는 방사학적인 요소 외에 기하학적 요소, 공간해상도의 차이 등 여러 요인에서 차이를 보일 수 있다. 따라서 시공간 융합에서 입력 자료 간 불일치가 큰 경우에도 특화된 전처리 과정의 적용을 통해 예측 능력을 효과적으로 개선할 수 있을 것으로 판단되며, 앞으로 시공간 융합의 입력 자료에 영향을 미칠 수 있는 다양한 요인들의 영향을 종합적으로 분석할 예정이다.
만약 원 입력 자료의 반사율 값 변화가 클 경우, 시공간 융합 결과는 TP 시기의 실제 FS 자료와 반사율 차이가 발생할 수 있다. 따라서 이 연구에서 도출한 결과에는 상대 방사보정의 효과뿐만 아니라 다양한 요인들이 복합적으로 반영될 수 있으므로, 시공간 융합 모델별 차이, 다중 센서 영상의 기하학적 불일치 및 공간해상도 차이 등을 고려한 추가 분석이 필요하다.
다중 센서 입력 자료의 상관성이 높은 S2 영상과 RE 영상을 이용한 시공간 융합에 비해, 동일 시기에 얻어진 원 자료 사이의 상관성이 상대적으로 낮은 S2 영상과 PS 영상을 융합했을 때 예측 정확도의 향상이 두드러졌다. 이는 시공간 융합에 이용하는 입력 자료 사이의 상관성이 낮을 경우, 상대 방사보정을 적용한 입력 자료의 이용이 필요함을 지시한다. 서로 다른 분광 파장 영역을 갖는 다중 센서 간 방사학적 불일치에 따른 영향이 영상의 반사율 값에 직접적으로 반영되기 때문에 시공간 융합에 입력되는 영상 사이의 방사학 적 불일치를 보정하는 과정이 예측 정확도를 향상시킬 수 있다.

참고문헌 (27)

Belgiu, M. and A. Stein, 2019. Spatiotemporal image fusion in remote sensing, Remote Sensing, 11(7): 818.

상세보기
Canty, M.J., A.A. Nielsen, and M. Schmidt, 2004. Automatic radiometric normalization of multitemporal satellite imagery, Remote Sensing of Environment, 91(3-4): 441-451.

상세보기
Dennison, P.E., K.Q. Halligan, and D.A. Roberts, 2004. A comparison of error metrics and constraints for multiple endmember spectral mixture analysis and spectral angle mapper, Remote Sensing of Environment, 93(3): 359-367.

상세보기
Du, Y., P.M. Teillet, and J. Cihlar, 2002. Radiometric normalization of multitemporal high-resolution satellite images with quality control for land cover change detection, Remote Sensing of Environment, 82(1): 123-134.

상세보기
Gabr, B., M. Ahmed, and Y. Marmoush, 2020. PlanetScope and Landsat 8 imageries for bathymetry mapping, Journal of Marine Science and Engineering, 8(2): 143.

상세보기
Gao, F., J. Masek, M. Schwaller, and F. Hall, 2006. On the blending of the Landsat and MODIS surface reflectance: Predicting daily Landsat surface reflectance, IEEE Transactions on Geoscience and Remote Sensing, 44(8): 2207-2218.

상세보기
Gevaert, C.M. and F.J. Garcia-Haro, 2015. A comparison of STARFM and an unmixing-based algorithm for Landsat and MODIS data fusion, Remote Sensing of Environment, 156: 34-44.

상세보기
Giri, C.P., 2012. Remote Sensing of Land Use and Land Cover: Principles and Applications, CRC Press, Boca Raton, FL, USA.
Hong, G. and Y. Zhang, 2008. A comparative study on radiometric normalization using high resolution satellite images, International Journal of Remote Sensing, 29(2): 425-438.

상세보기
Houborg, R. and M.F. McCabe, 2018. A Cubesat enabled spatio-temporal enhancement method (CESTEM) utilizing Planet, Landsat and MODIS data, Remote Sensing of Environment, 209: 211-226.

상세보기
Jang, E., Y.J. Kim, J. Im, and Y.-G. Park, 2021. Improvement of SMAP sea surface salinity in river-dominated oceans using machine learning approaches, GIScience and Remote Sensing, 58(1): 138-160.

상세보기
Joyce, K.E., S.E. Belliss, S.V. Samsonov, S.J. McNeill, and P.J. Glassey, 2009. A review of the status of satellite remote sensing and image processing techniques for mapping natural hazards and disasters, Progress in Physical Geography, 33(2): 183-207.

상세보기
Kim, J., S. Kang, B. Seo, A. Narantsetseg, and Y. Han, 2020. Estimating fractional green vegetation cover of Mongolian grasslands using digital camera images and MODIS satellite vegetation indices, GIScience and Remote Sensing, 57(1): 49-59.

상세보기
Kim, Y. and N.-W. Park, 2019. Comparison of spatiotemporal fusion models of multiple satellite images for vegetation monitoring, Korean Journal of Remote Sensing, 35(6-3): 1209-1219 (in Korean with English abstract).

원문보기 상세보기
Kim, Y., P.C. Kyriakidis, and N.-W. Park, 2020. A cross-resolution, spatiotemporal geostatistical fusion model for combining satellite image time-series of different spatial and temporal resolutions, Remote Sensing, 12(10): 1553.

상세보기
Latte, N. and P. Lejeune, 2020. PlanetScope radiometric normalization and Sentinel-2 super-resolution (2.5 m): A straightforward spectral-spatial fusion of multi-satellite multi-sensor images using residual convolutional neural networks, Remote Sensing, 12(15): 2366.

상세보기
Leach, N., N.C. Coops, and N. Obrknezev, 2019. Normalization method for multi-sensor high spatial and temporal resolution satellite imagery with radiometric inconsistencies, Computers and Electronics in Agriculture, 164: 104893.

상세보기
Park, S., Y. Kim, S.-I. Na, and N.-W. Park, 2020. Evaluation of spatio-temporal fusion models of multi-sensor high-resolution satellite Images for crop monitoring: An experiment on the fusion of Sentinel-2 and RapidEye images, Korean Journal of Remote Sensing, 36(5-1): 807-821 (in Korean with English abstract).

원문보기 상세보기
Planet, 2021. Planet Imagery Product Specifications, https://assets.planet.com/docs/Planet_Combined_Imagery_Product_Specs_letter_screen.pdf, Accessed on Aug. 31, 2021.
Sadeh, Y., X. Zhu, D. Dunkerley, J.P. Walker, Y. Zhang, O. Rozenstein, and K. Chenu, 2021. Fusion of Sentinel-2 and PlanetScope time-series data into daily 3 m surface reflectance and wheat LAI monitoring, International Journal of Applied Earth Observation and Geoinformation, 96: 102260.

상세보기
Wilson, N., J. Greenberg, A. Jumpasut, A. Collison, and H. Weichelt, 2017. Absolute Radiometric Calibration of Planet Dove Satellites, Flocks 2p and 2e, https://earth.esa.int/eogateway/documents/20142/1305226/Absolute-Radiometric-Calibration-Planet-DoveFlocks-2p-2e.pdf, Accessed on Aug. 30, 2021.
Yang, X. and C.P. Lo, 2000. Relative radiometric normalization performance for change detection from multi-date satellite images, Photogrammetric Engineering and Remote Sensing, 66(8): 967-980.

상세보기
Zhang, W., A. Li, H. Jin, J. Bian, Z. Zhang, G. Lei, and C. Huang, 2013. An enhanced spatial and temporal data fusion model for fusing Landsat and MODIS surface reflectance to generate high temporal Landsat-like data, Remote Sensing, 5(10): 5346-5368.

상세보기
Zhao, Y., B. Huang, and H. Song, 2018. A robust adaptive spatial and temporal image fusion model for complex land surface changes, Remote Sensing of Environment, 208: 42-62.

상세보기
Zhou, J., J. Chen, X. Chen, X. Zhu, Y. Qiu, H. Song, and X. Cui, 2021. Sensitivity of six typical spatiotemporal fusion methods to different influential factors: A comparative study for a normalized difference vegetation index time series reconstruction, Remote Sensing of Environment, 252: 112130.

상세보기
Zhu, X., F. Cai, J. Tian, and T.K.A. Williams, 2018. Spatiotemporal fusion of multisource remote sensing data: Literature survey, taxonomy, principles, applications, and future directions, Remote Sensing, 10(4): 527.

상세보기
Zhu, Z., 2017. Change detection using Landsat time series: A review of frequencies, preprocessing, algorithms, and applications, ISPRS Journal of Photogrammetry and Remote Sensing, 130: 370-384.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증