[논문]구조-텍스처 분할을 이용한 위성영상 융합 프레임워크

유대훈

doi:10.15701/kcgs.2019.25.3.21

초록
AI-Helper

본 논문에서는 구조-텍스처 분할 기법을 기반으로 위성영상을 분할 융합하여 공간 해상도를 개선시키는 프레임워크를 제시한다. 위성영상은 센서가 감지하는 파장에 따라 다양한 공간해상도를 가진다. 전정 영상 (panchromatic image)은 일반적으로 높은 공간해상도를 가지지만 단일 흑백컬러를 가지고 있는 반면, 다중분광 영상 (multi-spectral image)나 적외선 영상은 전정 영상에 비해 낮은 공간해상도를 가지지만 다양한 분광 밴드정보와 열 정보를 가지고 있다. 본 논문에서는 다중분광 영상이나 적외선 영상의 공간 해상도를 향상시키기 위해 영상의 디테일이 텍스처 영상에만 존재한다는 것에 착안하여 본 프레임워크를 고안하였다. 고안된 프레임워크에서는 저해상도 영상과 고해상도 영상이 구조 영상과 텍스처 영상으로 분할된 뒤, 저해상도 구조영상은 고해상도 구조 영상을 참조하여 가이디드 필터링 된다. 구조-텍스처 영상 모델에 따라 필터링된 저해상도 영상의 구조 영역과 고해상도 영상의 텍스처 영역을 픽셀 단위로 더해져서 최종 영상이 생성된다. 생성된 영상은 저해상도 영상의 밴드와 고해상도 영상의 디테일을 포함한다. 제시하는 방법은 분광해상도와 공간해상도를 모두 보존할 수 있음을 실험적으로 확인하였다.

Abstract ▼ AI-Helper

This paper proposes a novel framework for image fusion of satellite imagery to enhance spatial resolution of the image via structure-texture decomposition. The resolution of the satellite imagery depends on the sensors, for example, panchromatic images have high spatial resolution but only a single ...

This paper proposes a novel framework for image fusion of satellite imagery to enhance spatial resolution of the image via structure-texture decomposition. The resolution of the satellite imagery depends on the sensors, for example, panchromatic images have high spatial resolution but only a single gray band whereas multi-spectral images have low spatial resolution but multiple bands. To enhance the spatial resolution of low-resolution images, such as multi-spectral or infrared images, the proposed framework combines the structures from the low-resolution image and the textures from the high-resolution image. To improve the spatial quality of structural edges, the structure image from the low-resolution image is guided filtered with the structure image from the high-resolution image as the guidance image. The combination step is performed by pixel-wise addition of the filtered structure image and the texture image. Quantitative and qualitative evaluation demonstrate the proposed method preserves spectral and spatial fidelity of input images.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 정합된 두 위성영상을 융합하기 위해 구조-텍스처 분할 (structure-texture decomposition) 기법을 이용하는 새로운 프레임워크를 제안한다. 기존의 영상융합 기법은 multi-scale transform 기법이나 영상 도메인변환을 거친 후에 입력 영상을 조합하고 역변환 (inverse transform)하여 융합영상을 생성하기 때문에 도메인 변환 및 역변환 과정에서의 픽셀 정보 손실이나 조합 정책 선택의 어려움이 있다.
정 합 된 고해상도 영상과 저해상도 영상은 동일한 지역 및 구조물을 동일한 위치에서 촬영한 결과이기 때문에 고해상도 영상의 텍스처 영상과 저해상도 영상의 구조 영상 간에도 구조-텍스처 영상 모델을 적용시킬 수 있다. 이에 착안 하여 전정 영상의 고해상도 디테일을 저해상도 영상에 효과적으로 전달할 수 있는 영상 융합프레임 워크를 고안하였다.
본 논문에서는 구조-텍스처 분할 기법을 기반으로 동일지역을 촬영한 고해성도 위성영상과 저해상도 위성영상을 융합하여 공간해상도를 개선하는 프레임워크를 제시하였다. 기존 방법들은 고해상도의 영상의 공간 해상도와 저해상도 영상의 분광 특성을 모두 보존하는데 어려움이 있는 반면, 제시하는 방법은 분광 특성이 구조 영역에, 높은 공간해상도의 디테일이 텍스처 영역에 있다는 것에 착안하여 고안되었기 때문에 두 입력 영상의 특징을 우수하게 보존한다.

제안 방법

이를 해결하기 위해, 선형최적화를 이용하여 영상의 원래 정보를 유지하면서 (▽'/)"를 따르는 신호를 재구축한다.
최적화된 신호는 § =(如五p + 如 와 같이 구한다. 위의 최적화 과정은 1차원 신호를 기준으로 진행된 것으로, 이를 2차원 영상에 적용하기 위해 영상의 X축과 y축 방향으로 반복적인 최적화를 수행하였다.
본 장에서는 제안한 프레임워크를 통해 생성된 융합 영상을 확인하고, 기존의 영상 융합 기법을 통해 생성된 영상과 정량적으로 비교.분석한다.
입력 저해상도 영상과 융합된 결과 영상의 분광정확도를비교하기 위해, 융합된 영상을 저해상도 영상의 해상도로다운 샘플링한 후, Gaussian blur를 적용하였다. 두 영상을 평가하는 지표로는 rooted mean square error (RMSE), 픽셀 값의 각 거리 (angular distance)를 측정하는 spectral angular mapping (SAM), 그리고 영상의 구조를 비교하는 Structural similarity (SSIM)을 사용하였다 [17, 18].

대상 데이터

실험을 위해 입력 영상으로 Quickbird2, WorldView2, WorldView3 위성으로 촬영한 전정 영상과 다중분광 영상을 이용 하였다. 각 입력 영상의 사양은 Table 1에서 확인할 수 있으며, Figure 7에서 융합 결과를 확인할 수 있다.
본 논문에서는 입력 고해상도 영상과 융합된 결과 영상의 공간정확도를 비교하기 위해, 두 영상의 그 라디언트 영상을 이용하였다. X와 y방향의 그 라디언트 영상을 생성한 뒤, 동일 방향의 영상 간의 평가 지표를 구하고 평균값을 계산하였다.

데이터처리

공간해상도가 보존되어야 한다. 본 논문에서 제안한 방법과 기존 방법을 비교하기 위해 분광정확도와공간정확도를 구분하여 비교.분석하였다.
본 논문에서는 입력 고해상도 영상과 융합된 결과 영상의 공간정확도를 비교하기 위해, 두 영상의 그 라디언트 영상을 이용하였다. X와 y방향의 그 라디언트 영상을 생성한 뒤, 동일 방향의 영상 간의 평가 지표를 구하고 평균값을 계산하였다. Table 3에서 비교 결과를 확인할 수 있다.

이론/모형

두 입력 영상은 동일한 장소를 표현하도록 정합되었으며, 동일한 픽셀 사이즈로 조정되었다. 영상의 픽셀 사이즈를 조정할 때, 원본 데이터가 손실되지 않도록 nearest neighbor 방법을 이용하였다.
입력 영상은 구조 영역과 텍스처 영역이 합쳐진 형태로 표현되기 때문에 두 영역이 합쳐진 신호라는 것을 고려할 수 있는 방법이 필요하다. 본 논문에서는 이현준 등이 제안한 interval gradient[14] 을 이용하여 구조 영상과 텍스처 영상으로 분할하였다. 3丄1부터 3.
저해상도 구조 영상의 경계를 샤프닝하기 위해 guided filter [12]를 사용하였다. Guided filter는 입력 영상의 경계를 샤프닝하기 위해 참조 영상의 경계 정보를 활용하는 필터로, 선형 최적화를 통해 비슷한 역할을 하는 joint bilateral 필터보다 빠른 연산을 보장한다는 특징이 있다.
분석하였다. 비교하기 위한 기존 방법으로는 원격탐사 분야의 ArcGIS나 ENVI와 같은 상용 소프트웨어에서 널리 사용되는 IHS [1], PCA [3], Gram-Schdmit (GS) [4], Adaptive Gram-Schmidt (GSA) [5], wavelet [6] 방법을 선택하였다. 각 방법에 의한 결과 영상은 Figure 8에서 확인할 수 있다.
두 영상을 평가하는 지표로는 rooted mean square error (RMSE), 픽셀 값의 각 거리 (angular distance)를 측정하는 spectral angular mapping (SAM), 그리고 영상의 구조를 비교하는 Structural similarity (SSIM)을 사용하였다 [17, 18]. Table 2에서 비교 결과를 확인할 수 있다.

성능/효과

기존의 영상융합 기법은 multi-scale transform 기법이나 영상 도메인변환을 거친 후에 입력 영상을 조합하고 역변환 (inverse transform)하여 융합영상을 생성하기 때문에 도메인 변환 및 역변환 과정에서의 픽셀 정보 손실이나 조합 정책 선택의 어려움이 있다. 본 논문이 제시하는 프레임워크에서는 입력 영상의 도메인을 변환하지 않을 뿐 아니라, 구조-텍스처 영상 모델에 따라 단순 덧셈을 이용해 영상을 조합하기 때문에 기존 방법에서 발생하는 어려움을 극복할 수 있다.
RMSE, SAM는수치가 0에 가까울수록 정확도가 높은 지표이며 SSIM은 1에 가까울수록 정확도가 높은 지표이다. 본 논문에서 제시하는 방법이 분광정확도 측면에서 가장 좋은 수치를 보여주고 있다는 것을 확인할 수 있다.
Table 3에서 비교 결과를 확인할 수 있다. 공간정확도가 매우 우수하게 보존되는 IHS, GS 방법의 특징에도 불구하고 두 방법과 비교 가능한 수준의 수치를 보여주고 있는 것을 확인할 수 있다.
기존 방법들은 고해상도의 영상의 공간 해상도와 저해상도 영상의 분광 특성을 모두 보존하는데 어려움이 있는 반면, 제시하는 방법은 분광 특성이 구조 영역에, 높은 공간해상도의 디테일이 텍스처 영역에 있다는 것에 착안하여 고안되었기 때문에 두 입력 영상의 특징을 우수하게 보존한다. 실험 결과를 통해, 기존 방법대비분광정확도와 공간정확도가 모두 높다는 것을 확인할 수 있었다. 하지만, 융합 결과가 구조-텍스처 분할 결과에 의존한다는 단점이 있다.

후속연구

하지만, 융합 결과가 구조-텍스처 분할 결과에 의존한다는 단점이 있다. 향후에는 고해상도 전정 영상과 저해상도 적외선 영상을 융합하는 방법을 연구할 계획이다. 전정 영상과 적외선 영상은 파장대가 다른 영역의 전자기파를 측정하였기 때문에 구조-텍스처 영상 모델을 그대로 적용하기 어렵다는 문제가 있다.

참고문헌 (18)

10.1016/S1566-2535(01)00036-7 Tu T., Su S., Shyu H. and Huang P. S., “A new look at HIS-like image fusion methods,” Information Fusion, vol. 2, pp. 177-186, 2001. 10.1016/S1566-2535(01)00036-7

상세보기
10.1109/LGRS.2010.2046715 Rahmani S., Strait M., Merkurjev D., Moeller M., and Wittman T., “An Adaptive IHS Pan-Sharpening Method,” IEEE Geoscience and Remote Sensing Letter, Vol. 7, No. 4, 2010. 10.1109/LGRS.2010.2046715

상세보기
Chavez P. S., Jr. and Kwarteng A. W., “Extracting spectral contrast in Landsat thematic mapper image data using selective principal analysis,” Photogramm. Eng. Remote Sens., vol. 58, no.5, pp.561-567, 1992
Laban C. A. and Brower B. V., Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening, US patenta 6,011,875, 2000.
10.1109/TGRS.2007.901007 Aiazzi B., Baronti S., and Selva M., “Improving component substitution pansharpening through multivariate regression of MS+Pan data,” IEEE Trans. Geosci. Remote Sens., vol. 45, no. 10, pp.3230-3239, 2007. 10.1109/TGRS.2007.901007

상세보기
10.1006/gmip.1995.1022 Li H., Manjunath M. S. and Mitra S. K., “Multisensor Image Fusion Using the Wavelet Trasform,” Graphics Models and Image Processing, vol. 57, pp. 234-245, 1995. 10.1006/gmip.1995.1022

상세보기
10.1109/TIP.2005.859376 M. N. Do and M. Vetterli, “The contourlet transform: An efficient directional multiresolution image representation,” IEEE Trans. Image Process., vol. 14, no. 12, pp. 2091- 2106, 2005. 10.1109/TIP.2005.859376 16370462

상세보기
10.1016/j.inffus.2006.02.001 F. Nencini, A. Garzelli, S. Baronti, and L. Alparone, “Remote sensing image fusion using the curvelet transform,” Information fusion, Vol. 8, Issue 2, pp. 143-156, 2007 10.1016/j.inffus.2006.02.001

상세보기
10.1109/LGRS.2017.2736020 Y. Wei, Yuan Q., Shen H., and Zhang L., “Boosting the Accuracy of Multispectral Image Pansharpening by Learning a Deep Residual Network,” IEEE Geoscience and Remote Sensing Letters, Vol. 14, Issue 10, 2017 10.1109/LGRS.2017.2736020

상세보기
10.1109/ICCV.2017.193 J. Yang, X. Fu, Y. Hu, Y. Huang, X. Ding, and J. Paisley, “PanNet: A Deep Network Architecture for Pan-Sahrpening,” In Proc. ICCV 2017, pp. 5449-5457, 2017 10.1109/ICCV.2017.193 PMC5443270
Tomasi C., Manduchi R., “Bilateral filtering for gray and color images,” In Proc. ICCV 1998, pp. 839-846, 1998
10.1109/TPAMI.2012.213 He K., Sun J. and Tang X., “Guided Image Filtering,” Transaction on Pattern Analysis and Machine Intelligence, No. 06, Vol. 35, pp. 1397-1709, 2013. 10.1109/TPAMI.2012.213 23599054

상세보기
10.1145/2601097.2601188 Cho H., Lee H., Kang H., and Lee S., “Bilateral Texture Filter,” ACM Transaction on Graphics, Vol. 33, no. 4, 2014 10.1145/2601097.2601188

상세보기
10.1145/2366145.2366158 Xu L., Yan Q., Xia Y. and Jia J., “Structure Extraction from Texture via Relative Total Variation,” ACM Transaction on Graphics, Vol. 31, 2012. 10.1145/2366145.2366158

상세보기
10.1111/cgf.13005 Jeon J., Lee H., Kang H. and Lee S., “Scale-aware Structure-Preserving Texture Filtering,” Computer Graphics Forum, Vol. 35, No. 7, 2016. 10.1111/cgf.13005

상세보기
10.1111/cgf.12875 Lee H., Jeon J., Kim J. and Lee S., “Structure-Texture Decomposition of Images with Interval Gradient,” Computer Graphics Forum, Vol. 36, 2017. 10.1111/cgf.12875

상세보기
10.1109/TIP.2003.819861 Wang Z., Bovik A. C., Sheikh H. R., and Simoncelli E. P., “Image quality assessment: from error visibility to structural similarity,” IEEE Transactions on Image Processing, Vol. 13, Issue 4, pp. 600-612, 2004. 10.1109/TIP.2003.819861 15376593

상세보기
Wald L., Ranchin T., and Mangolini M., “Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images,” Photogrammetric engineering and remote sensing, Vol. 63, pp. 691-699, 1997.

이 논문을 인용한 문헌

LOADING...

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 구조-텍스처 분할을 이용한 위성영상 융합 프레임워크
Image Fusion Framework for Enhancing Spatial Resolution of Satellite Image using Structure-Texture Decomposition 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (18)

이 논문을 인용한 문헌

연구과제 타임라인

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 구조-텍스처 분할을 이용한 위성영상 융합 프레임워크 Image Fusion Framework for Enhancing Spatial Resolution of Satellite Image using Structure-Texture Decomposition 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (18)

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 구조-텍스처 분할을 이용한 위성영상 융합 프레임워크
Image Fusion Framework for Enhancing Spatial Resolution of Satellite Image using Structure-Texture Decomposition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

활용도 Top5 논문