[논문]고해상도 광학영상과 SAR 영상 간 정합 기법

전형주; 김용일

doi:10.7780/kjrs.2018.34.5.3

고해상도 광학영상과 SAR 영상 간 정합 기법
Registration Method between High Resolution Optical and SAR Images 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.34 no.5, 2018년, pp.739 - 747

전형주 (서울대학교 건설환경공학부) , 김용일 (서울대학교 건설환경공학부)

초록
AI-Helper

다중센서 위성영상 간 통합 분석 및 융합과 관련된 연구가 활발히 진행되고 있다. 이를 위해서는 다중센서 영상 간 정합이 선행되어야 한다. 대표적인 정합 기법으로는 SIFT (Scale Invariant Feature Transform)와 같은 알고리즘이 존재한다. 그러나, 광학영상과 SAR (Synthetic Aperture Radar)영상은 취득 시 센서 자세와 방사 특성의 상이함으로 영상 간 분광적인 특성이 비선형성을 이뤄 기존 기법을 적용하기에 어렵다. 이를 해결하기 위해, 본 연구에서는 특징기반 정합기법인 SAR-SIFT (Scale Invariant Feature Transform)와 형상 서술자 벡터 DLSS (Dense Local Self-Similarity)를 결합하여 개선된 영상 정합기법을 제안하였다. 본 실험 지역은 대전 일대에서 촬영된 KOMPSAT-2 영상과 Cosmo-SkyMed 영상을 이용하여 실험하였다. 제안 기법을 비교평가하기 위해 특징점 및 정합쌍 추출에 대해 대표적인 기존 기법인 SIFT와 SAR-SIFT를 이용하였다. 실험 결과를 통해 제안 기법은 기존 기법들과 다르게 두 실험 지역에서 참정합쌍을 추출하였다. 또한 추출된 정합쌍을 통한 정합 결과 정성적으로 우수하게 정합되었으며, 정량적으로도 두 실험 지역에서 각각 RMSE (Root Mean Square Error) 1.66 m, 2.65 m로 우수한 정합 결과를 보였다.

Abstract ▼ AI-Helper

Integration analysis of multi-sensor satellite images is becoming increasingly important. The first step in integration analysis is image registration between multi-sensor. SIFT (Scale Invariant Feature Transform) is a representative image registration method. However, optical image and SAR (Synthetic Aperture Radar) images are different from sensor attitude and radiation characteristics during acquisition, making it difficult to apply the conventional method, such as SIFT, because the radiometric characteristics between images are nonlinear. To overcome this limitation, we proposed a modified method that combines the SAR-SIFT method and shape descriptor vector DLSS(Dense Local Self-Similarity). We conducted an experiment using two pairs of Cosmo-SkyMed and KOMPSAT-2 images collected over Daejeon, Korea, an area with a high density of buildings. The proposed method extracted the correct matching points when compared to conventional methods, such as SIFT and SAR-SIFT. The method also gave quantitatively reasonable results for RMSE of 1.66m and 2.45m over the two pairs of images.

주제어

표/그림 (7)

그림 Fig. 2. An example of the LSS (Local Self-Similarity) descriptor generation. (a) local image region, (b) correlation surface (c) log-polar translated LSS descriptor (Ye et al., 2015).
그림 Fig. 1. GR (Gradient by Ratio) for the direction (a) G_x,α, (b) G_y,α.
그림 Fig. 3. Main processing chain for extracting the DLSS descriptor (Ye et al., 2017b).
그림 Fig. 4. Study area (a), (b): study area 1; (c), (d): study area 2.
그림 Fig. 5. Results of feature extraction using (a), (c): SAR-SIFT and (b), (d): SIFT.
그림 Fig. 6. Matching points extraction by (a) the proposed method (b) SAR-SIFT, and (c) SIFT (Left: study area 1, Right: study area 2).
그림 Fig. 7. Mosaic images (a) study area 1, (b) study area 2.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 SAR-SIFT와 DLSS를 결합하여 두 기법 간 장단점을 상호보완한 개선된 정합 기법을 제안하였다. 제안 기법의 우수성을 검증하기 위해, 대전 지역 일대에서 취득된 광학영상과 SAR영상으로 CosmoSkyMed 영상과 KOMPSAT-2 영상을 사용하여 실험을 수행하였다.

가설 설정

, 2017). 추출된 정합쌍들의 x, y좌표 차를 2차원 그래프에 표현하였을 때, 참정합쌍을 이루는 특징점 간 변위량이 유사하므로 참정합쌍들이 그래프의 특정 영역 내에 밀집해 있을 것으로 가정한다. 이를 이용하여 정합쌍들 간 x, y좌표 차를 2차원 그래프에 표시하고 20×20 영역 내에 가장 많은 점들이 분포하는 부분을 선정하여 그 영역에 해당하는 정합쌍들을 참정합쌍으로 간주한다.

제안 방법

그 후, 광학영상에서 추출된 특징점을 기준으로 x, y축 방향으로 탐색 영역 안에 있는 SAR영상에서의 추출된 특징점들과의 DLSS 간 상관관계를 측정한다. 본 연구에서 탐색 영역을 최대 130 화소까지 확장하여 실험하였다.
본 연구에서는 특징기반 정합기법인 SAR-SIFT와 형상 서술자 벡터 DLSS를 결합하여 광학영상과 SAR 영상 간 정합을 수행하였다. SAR-SIFT를 통해 두 영상에서 각각 특징점을 추출하고, 추출된 특징점들 간 DLSS를 계산하여 본 연구에서 제안하는 기법을 통해 정합쌍을 추출하였다.
추출된 정합쌍을 기준으로 어핀변환을 적용하여 SAR영상을 광학영상에 정합하였다. 정합된 SAR영상과 광학영상을 이용하여 모자이크영상을 생성한 결과는 Fig.

대상 데이터

SAR-SIFT를 통해 두 영상에서 각각 특징점을 추출하고, 추출된 특징점들 간 DLSS를 계산하여 본 연구에서 제안하는 기법을 통해 정합쌍을 추출하였다. 건물이 포함된 대전 지역 일대에서 촬영된KOMPSAT-2 영상과 Cosmo-SkyMed 영상을 활용하여 실험을 수행하였다. 실험 결과, 기존 기법들에 비해 정합쌍을 유의미하게 추출하였으며, 추출된 정합쌍을 통한 정합 결과 또한 정성적으로 우수한 정합 결과를 보였다.
마지막으로 template 안에서 cell의 일정 간격 부분에 해당하는 LSS 값들을 벡터로 연결하여 DLSS를 생성한다. 본 연구에서는 template 크기로 120을 설정하였으며, cell 크기는 77 화소 크기로 설정하였다.
본 연구에서는 고해상도 광학 및 SAR영상 간 정합을 수행하기 위해서 대전 지역 일대를 실험 지역으로 선정하였고, 광학영상과 SAR영상으로는 각각 1 m 공간해상도를 지니는 KOMPSAT-2 영상과 1 m 공간해상도를 가지는 Cosmo-SkyMed 영상이 사용되었다. KOMPSAT-2 영상은 16.
실험 대상지역은 대전의 두 지역을 선정하였고, 각 지역은 600×600 화소의 크기로 Cosmo-SkyMed 영상과 KOMPSAT-2 영상의 중복되는 영역으로 구성하였다(Fig. 4).
본 연구에서는 SAR-SIFT와 DLSS를 결합하여 두 기법 간 장단점을 상호보완한 개선된 정합 기법을 제안하였다. 제안 기법의 우수성을 검증하기 위해, 대전 지역 일대에서 취득된 광학영상과 SAR영상으로 CosmoSkyMed 영상과 KOMPSAT-2 영상을 사용하여 실험을 수행하였다. 실험 영상 내에서 생성된 정합쌍을 활용하여 영상 상호정합을 수행하였다.

데이터처리

본 연구에서는 특징기반 정합기법인 SAR-SIFT와 형상 서술자 벡터 DLSS를 결합하여 광학영상과 SAR 영상 간 정합을 수행하였다. SAR-SIFT를 통해 두 영상에서 각각 특징점을 추출하고, 추출된 특징점들 간 DLSS를 계산하여 본 연구에서 제안하는 기법을 통해 정합쌍을 추출하였다. 건물이 포함된 대전 지역 일대에서 촬영된KOMPSAT-2 영상과 Cosmo-SkyMed 영상을 활용하여 실험을 수행하였다.
실험 영상 내에서 생성된 정합쌍을 활용하여 영상 상호정합을 수행하였다. 실험 결과는 추출된 정합쌍을 사용하여 정합된 결과를 평가하였으며, 모자이크 영상과 RMSE (Root Mean Square Error)를 사용하여 정성적 그리고 정략적 평가를 수행하였다.
정략적인 평가를 위해 제안 기법을 통해 정합된 SAR 영상과 기준이 되는 광학영상에서 GCP(Ground Control Point)점을 찍어 RMSE를 계산하였다. 실험 지역 1, 2에서 각각 2.

이론/모형

각 점에서 R_SH(x, y, α)을 계산하여 3×3 크기의 윈도우 안에서 지역적 극점이면서 특정 임계값보다 높은 지점을 특징점으로 추출한다. SAR-SIFT에서 사용하는 변수값은 Dellinger et al.(2015)가 제안하는 변수값으로 설정하여 실험을 수행하였다.
본 연구에서는 제안 기법을 비교평가하기 대표적인 기존 기법인 SIFT와 SAR-SIFT를 사용하였다. 특징점 추출을 위해 제안한 방법론에서는 SIFT는 SAR영상에서 스페클 잡음을 특징점으로 오추출하므로 SAR-SIFT를 사용하였다.
이를 이용하여 정합쌍들 간 x, y좌표 차를 2차원 그래프에 표시하고 20×20 영역 내에 가장 많은 점들이 분포하는 부분을 선정하여 그 영역에 해당하는 정합쌍들을 참정합쌍으로 간주한다. 이 과정에서 2020 영역이라는 허용치를 부여했으므로, 보다 정밀한 정합쌍을 추출하기 위해 RANSAC(RANdom SampleConsensus) 기법을 적용한다(Kim and Im, 2003). 마지막으로, 추출된 정합쌍을 이용하여 SAR영상을 광학영상에 어핀변환식을 적용하여 정합을 수행한다.
본 연구에서는 제안 기법을 비교평가하기 대표적인 기존 기법인 SIFT와 SAR-SIFT를 사용하였다. 특징점 추출을 위해 제안한 방법론에서는 SIFT는 SAR영상에서 스페클 잡음을 특징점으로 오추출하므로 SAR-SIFT를 사용하였다. Fig.

성능/효과

본 실험 결과를 통해 제안 기법이 기존 특징기반 및 강도기반 정합기법의 각 단점들을 상호보완함을 보여줬으며, 광학영상과 SAR영상이 분광 비선형성을 이룰 시에도 적용이 가능함을 보였다. 더 나아가, 1 m급 고해상도 광학영상과 SAR영상의 위치 차이가 100화소 이상 발생하였을 경우에도 적용가능하며, 복잡한 시가지에서도 영상정합이 가능하다는 의의를 보인다. 추후 다른 고해상도 영상들을 통해 제안 기법을 적용하여 추가적인 정량적 평가를 진행할 계획이다.
7(b)에서는 실험 지역 2에서 도로와 같은 선형 특징 외에도 원형 객체에서도 자연스럽게 표현됨을 보여준다. 본 실험 결과를 통해 제안 기법 적용 시 건물이 밀집된 도심지역과 다양한 토지피복을 갖는 도심지역에서 1 m급 고해상도 광학영상과 SAR영상 간 정합이 제대로 이루어짐을 확인할 수 있다.
66 m로 정략적으로 우수한 실험 결과를 보였다. 본 실험 결과를 통해 제안 기법이 기존 특징기반 및 강도기반 정합기법의 각 단점들을 상호보완함을 보여줬으며, 광학영상과 SAR영상이 분광 비선형성을 이룰 시에도 적용이 가능함을 보였다. 더 나아가, 1 m급 고해상도 광학영상과 SAR영상의 위치 차이가 100화소 이상 발생하였을 경우에도 적용가능하며, 복잡한 시가지에서도 영상정합이 가능하다는 의의를 보인다.
건물이 포함된 대전 지역 일대에서 촬영된KOMPSAT-2 영상과 Cosmo-SkyMed 영상을 활용하여 실험을 수행하였다. 실험 결과, 기존 기법들에 비해 정합쌍을 유의미하게 추출하였으며, 추출된 정합쌍을 통한 정합 결과 또한 정성적으로 우수한 정합 결과를 보였다. 뿐만 아니라, 두 실험 지역에서 각각 RMSE 2.

후속연구

더 나아가, 1 m급 고해상도 광학영상과 SAR영상의 위치 차이가 100화소 이상 발생하였을 경우에도 적용가능하며, 복잡한 시가지에서도 영상정합이 가능하다는 의의를 보인다. 추후 다른 고해상도 영상들을 통해 제안 기법을 적용하여 추가적인 정량적 평가를 진행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	공간해상도를 일치 시키더라도 정합이 어려운 이유는?	우선, 두 영상 간 위치 정보 차이를 최소화시키기 위해 UTM좌표계로 통일하고 영상 정합을 효율적으로 수행하기 위해 공간해상도를 1 m로 일치시킨다. 공간해상도를 일치 시키더라도 두 영상 간 방사 정보의 차이가 크기 때문에 정합에 어려움이 존재한다. 따라서, 이를 최소화시키기 위해 다음과 같은 과정이 필요하다.
	ROEWA란?	, 1998). ROEWA는 RO(Ratio Of Average)의 개선된 형태로, ROA에 지수형 필터를 가중치로 적용한 기법이다. GR은 화소 (a, b)를 중심으로 x, y방향에 따라 식 (3)으로 계산된다.
	SIFT은 어떠한 분야에 이용되고 있는가?	대표적인 정합기법으로는 SIFT(Scale Invariant Feature Transform)이 있다(Lowe, 1999). 이 기법은 축척, 회전, 그리고 이동에 강건한 기법으로 컴퓨터 비전 분야 외에도 광학 위성영상 정합에도 활발히 이용되고 있다(Mikolajczyk and Schmid, 2005). 그러나, SIFT는 정합쌍을 추출할 경우, 차분영상을 이용하므로 SAR영상에 적용 시 스페클 노이즈 부분이 특징점으로 오추출되는 문제점이 발생한다.

참고문헌 (24)

Brown, L. G., 1992. A survey of image registration techniques, ACM Computing Surveys, 24(4): 325-376.
Byun, Y., J. Choi, and Y. Han, 2013. An area-based image fusion scheme for the integration of SAR and optical satellite imagery, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 6(5): 2212-2220.

상세보기
Dellinger, F., J. Delon, Y. Gousseau, J. Michel, and F. Tupin, 2012. SAR-SIFT: A SIFT-like algorithm for applications on SAR images, Proc. of 2012 International Geoscience and Remote Sensing Symposium, Munich, Germany, Jul. 22-27, pp. 3478-3481.
Dellinger, F., J. Delon, Y. Gousseau, J. Michel, and F. Tupin, 2015. SAR-SIFT: a SIFT-like algorithm for SAR images, IEEE Transactions on Geoscience and Remote Sensing, 53(1): 453-466.

상세보기
Deutsches Zentrum fur Luft- und Raumfahrt e.V(DLR), 2008. TerraSAR-X ground segment basic product specification document, Cluster Applied Remote Sensing (CAF) Oberpfaffenhofen, Germany.
Fjortoft, R., A. Lopes, P. Marthon, and E. Cubero-Castan, 1998. An optimal multiedge detector for SAR image segmentation, IEEE Transactions on Geoscience and Remote Sensing, 36(3): 793-802.

상세보기
Han, Y. K., 2013. Automatic image-to-image registration between high-resolution multisensor satellite data in urban areas, Doctor's Thesis, Seoul National University, Seoul, Korea.
Han, Y. K. and J. W. Choi, 2015. Matching points extraction between optical and TIR images by using SURF and local phase correlation, Journal of the Korean Society for Geo-spatial Information Science, 23(1): 81-88.
Jung, M. Y., H. J. Jeon, and Y. I. Kim, 2016. Feature extraction from SAR and optic image using SAR-SIFT for image registration, Proc. of the 2016 KSRS Fall Conference, Chungju, Korea, Nov. 3-4, vol. 19, pp. 41-44.
Kim, T. and Y. J. Im, 2003. Automatic satellite image registration by combination of matching and random sample consensus, IEEE Transactions on Geoscience and Remote Sensing, 41(5): 1111-1117.

상세보기
Kupfer, B., N. S. Netanyahu, and I. Shimshoni, 2015. An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images, IEEE Geoscience and Remote Sensing Letters, 12(2): 379-383.

상세보기
Liu, J. Z. and X. C. Yu, 2008. Research on SAR image matching technology based on SIFT, Proc. of 2008 the International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Beijing, China, Jul. 3-11, vol. 37, pp. 403-408.
Lowe, D. G., 1999. Object recognition from local scale-invariant features, Proc. of 1999 the Seventh IEEE International Conference on Computer Vision, Kerkyra, Greece, Sep. 20-27, vol. 2, pp. 1150-1157.
Ma, W., Z. Wen, Y. Wu, L. Jiao, M. Gong, Y. Zheng, and L. Liu, 2017. Remote sensing image registration with modified sift and enhanced feature matching, IEEE Geoscience and Remote Sensing Letters, 14(1): 3-7.

상세보기
Mikolajczyk, K. and C. Schmid, 2005. A performance evaluation of local descriptors, IEEE transactions on pattern analysis and machine intelligence, 27(10): 1615-1630.

상세보기
Merkle, N., R. Muller, P. Schwind, G. Palubinskas, and P. Reinartz, 2015. A new approach for optical and SAR satellite image registration, Proc. of 2015 ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Munich, Germany, Mar. 25-27, vol. 2, pp. 119.
Pellizzeri, T. M., P. Gamba, P. Lombardo, and F. Dell'Acqua, 2003. Multitemporal/multiband SAR classification of urban areas using spatial analysis: Statistical versus neural kernel-based approach, IEEE Transactions on Geoscience and Remote Sensing, 41(10): 2338-2353.

상세보기
Suri, S. and P. Reinartz, 2010. Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban areas, IEEE Transactions on Geoscience and Remote Sensing, 48(2): 939-949.

상세보기
Ye, Y. and J. Shan, 2014. A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences, ISPRS Journal of Photogrammetry and Remote Sensing, 90: 83-95.

상세보기
Ye, Y. and L. Shen, 2016. HOPC: A novel similarity metric based on geometric structural properties for multi-modal remote sensing image matching, Proc. of 2016 ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Prague, Czech, Jul. 12-19, vol. 3-1, pp. 9-16.
Ye, Y., J. Shan, L. Bruzzone, and L. Shen, 2017a. Robust registration of multimodal remote sensing images based on structural similarity, IEEE Transactions on Geoscience and Remote Sensing, 55(5): 2941-2958.

상세보기
Ye, Y., L. Shen, J. Wang, Z. Li, and Z. Xu, 2015. Automatic matching of optical and SAR imagery through shape property, Proc. of 2015 IEEE International Geoscience and Remote Sensing Symposium, Milan, Italy, Jul. 26-31, pp. 1072-1075.
Ye, Y., L. Shen, M. Hao, J. Wang, and Z. Xu, 2017b. Robust optical-to-SAR image matching based on shape properties, IEEE Geoscience and Remote Sensing Letters, 14(4): 564-568.

상세보기
Zitova, B. and J. Flusser, 2003. Image registration methods: a survey, Image and Vision Computing, 21(11): 977-1000.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증