고해상도 위성영상은 기상관측, 지형관측, 원격탐사, 군사시설감시, 문화재보호 등 많은 분야에서 이용된다. 위성영상은 동일한 위성영상 시스템에서 획득한 영상이라 할지라도 하드웨어(광학장치, 위성의 운용고도, 영상 센서 등)의 조건에 따라서 해상도가 저하된 영상들이 발생한다. 따라서 위성이 발사된 이후에는 이러한 해상도가 저하된 영상들의 해상도 향상을 위해서 영상시스템의 하드웨어를 변경하는 것은 불가능하므로 위성영상 자체를 이용하여 해상도를 향상시키는 방법이 필요하다. 본 논문에서는 이러한 저해상도 위성영상을 이용하여 해상도를 향상시키는 방법으로 SR(Super Resolution) 알고리즘을 사용하였다. SR 알고리즘은 다수의 저해상도 영상들의 정합을 통해 영상의 해상도를 향상시키는 알고리즘이다. 하지만 위성영상에서는 동일 지역에 대한 여러 장의 영상을 획득하기 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 어파인 변환(Affine Transform)및 투영 변환(Projection Transform)을 적용 후 영상에 대한 기하학적 변화를 보정하여 SR 알고리즘을 수행하였다. 그 결과 SR 알고리즘만 적용한 영상보다 어파인 변환과 투영 변환을 거친 후 SR 알고리즘을 적용한 영상에서 해상도가 확실하게 더 증가되는 것을 확인하였다.
고해상도 위성영상은 기상관측, 지형관측, 원격탐사, 군사시설감시, 문화재보호 등 많은 분야에서 이용된다. 위성영상은 동일한 위성영상 시스템에서 획득한 영상이라 할지라도 하드웨어(광학장치, 위성의 운용고도, 영상 센서 등)의 조건에 따라서 해상도가 저하된 영상들이 발생한다. 따라서 위성이 발사된 이후에는 이러한 해상도가 저하된 영상들의 해상도 향상을 위해서 영상시스템의 하드웨어를 변경하는 것은 불가능하므로 위성영상 자체를 이용하여 해상도를 향상시키는 방법이 필요하다. 본 논문에서는 이러한 저해상도 위성영상을 이용하여 해상도를 향상시키는 방법으로 SR(Super Resolution) 알고리즘을 사용하였다. SR 알고리즘은 다수의 저해상도 영상들의 정합을 통해 영상의 해상도를 향상시키는 알고리즘이다. 하지만 위성영상에서는 동일 지역에 대한 여러 장의 영상을 획득하기 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 어파인 변환(Affine Transform)및 투영 변환(Projection Transform)을 적용 후 영상에 대한 기하학적 변화를 보정하여 SR 알고리즘을 수행하였다. 그 결과 SR 알고리즘만 적용한 영상보다 어파인 변환과 투영 변환을 거친 후 SR 알고리즘을 적용한 영상에서 해상도가 확실하게 더 증가되는 것을 확인하였다.
The high resolution satellite images are used in many fields such as weather observation, remote sensing, military facilities monitoring, cultural properties protection etc. Although satellite images are obtained in same satellite imaging system, the satellite images are degraded depending on the co...
The high resolution satellite images are used in many fields such as weather observation, remote sensing, military facilities monitoring, cultural properties protection etc. Although satellite images are obtained in same satellite imaging system, the satellite images are degraded depending on the condition of hardware(optical device, satellite operation altitude, image sensor, etc.). Due to the fact that changing the hardware of satellite imaging system is impossible for resolution enhancement of these degraded satellite after launching a satellite, therefore the method of resolution enhancement with satellite images is necessary. In this paper the resolution is enhances by using a Super Resolution(SR) algorithm. The SR algorithm is an algorithm to enhance the resolution of an image by uniting many low resolution images, so an output image has higher resolution than using other interpolation methods. But It is difficult to obtain many images of the same area. Therefore, to solve this problem, we applied SR after by applying the affine and projection transform. As a results, we found that the images applied SR after affine and projection transform have higher resolution than the images only applied SR.
The high resolution satellite images are used in many fields such as weather observation, remote sensing, military facilities monitoring, cultural properties protection etc. Although satellite images are obtained in same satellite imaging system, the satellite images are degraded depending on the condition of hardware(optical device, satellite operation altitude, image sensor, etc.). Due to the fact that changing the hardware of satellite imaging system is impossible for resolution enhancement of these degraded satellite after launching a satellite, therefore the method of resolution enhancement with satellite images is necessary. In this paper the resolution is enhances by using a Super Resolution(SR) algorithm. The SR algorithm is an algorithm to enhance the resolution of an image by uniting many low resolution images, so an output image has higher resolution than using other interpolation methods. But It is difficult to obtain many images of the same area. Therefore, to solve this problem, we applied SR after by applying the affine and projection transform. As a results, we found that the images applied SR after affine and projection transform have higher resolution than the images only applied SR.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
하지만 위성영상의 경우 위성의 촬영 각도의 변화로 인한 영상의 기하학적 변화 때문에 SR 알고리즘을 그대로 적용하기 어려우므로 기하학적 변화를 보정할 수 있는 과정을 필요로 한다. 따라서 본 논문에서는 SR 알고리즘을 적용하기 전 국부영역의 기하학적 변환과정으로써 어파인 변환과 투영변환을 실험을 통하여 국부영역의 기하학적 변환이 가능함을 확인 하였고, 위성영상에 SR 알고리즘 적용이 효과적으로 사용할 수 있는 지 확인해 보려고 하였다.
가설 설정
주파수 영역(Frequency Domain)에서 고해상도 영상은 저해상도 영상에 비해 고주파 성분을 더 많이 포함하고 있는 영상을 말한다. 영상의 표본화 과정에서는 고주파 성분이 감소되고, 주파수 중첩 현상이 발생하여 영상의 해상도에 영향을 준다. 주파수 영역에서 SR의 대표적인 방법 중 PG(Papoulis-Gerchberg)[3] 방법은 원본 영상에 대한 불충분한 표본화에 의해 발생하는 앨리어싱을 제거하기 위해 이상적인 저역통과 필터를 사용하여 고해상도 영상을 얻는 방법이다.
제안 방법
5장의 위성영상에 SR 알고리즘을 적용한 결과 영상은 기준 상이 없기 때문에 PSNR과 SSIM 비교가 불가하므로 Bilinear 보간법을 적용한 영상을 기준 영상으로 선정하여 비교하였다.
본 논문에서는 전체적으로 동일한 영상의 획득이 어려우므로 국소 영역 영상을 사용하였다. 실제 위성에서 서로 다른 시간에 획득한 국소 영역 영상에 대해서 어파인 변환과 사영 변환을 이용하여 기하학적 왜곡을 보정 한 후 SR을 적용하여 비교하였다. 객관적인 비교가 불가능하기 때문에 Bilinear 보간법을 적용한 결과와 각 SR 적용 결과 영상들과 비교하였다.
대상 데이터
본 논문에서는 실험으로 실제 위성에서 서로 다른 시간에 획득한 5장의 영상을 이용한 실험을 하였다. 위성영상은 같은 대상이라도 촬영 각이 달라 완벽하게 동일한 장면의 영상을 획득하기 어려우므로 본 논문에서는 국소영역 영상을 이용하였다.
본 논문에서는 실험으로 실제 위성에서 서로 다른 시간에 획득한 5장의 영상을 이용한 실험을 하였다. 위성영상은 같은 대상이라도 촬영 각이 달라 완벽하게 동일한 장면의 영상을 획득하기 어려우므로 본 논문에서는 국소영역 영상을 이용하였다. 또한 위성영상은 촬영 각과 태양 각에 변화로 인한 기하학적 왜곡이 포함되어 있으므로 Ⅲ장에서 계산한 어파인 변환 파라미터와 사영 변환 파라미터를 이용하여, 건물의 지붕부분인 국소 영역 영상에 대하여 왜곡을 보정한 후 SR 알고리즘을 적용하였다.
데이터처리
실제 위성에서 서로 다른 시간에 획득한 국소 영역 영상에 대해서 어파인 변환과 사영 변환을 이용하여 기하학적 왜곡을 보정 한 후 SR을 적용하여 비교하였다. 객관적인 비교가 불가능하기 때문에 Bilinear 보간법을 적용한 결과와 각 SR 적용 결과 영상들과 비교하였다. 그 결과 Bilinear 보간법이 적용된 영상에 비해 SR 알고리즘이 적용된 영상은 지붕 부분의 검은 무늬가 뚜렷하게 나타났으며 에지 부분 또한 뚜렷하게 표현 되는 것을 확인할 수 있다.
다음으로 최소제곱법을 이용하여 구한 어파인 변환 파라미터들의 정확도를 분석하기 위해 평균제곱근오차(RMSE:root mean square error)를 사용하였다. RMSE≤1이면 어파인 변환에 의해 영상을 정합가능한데, 표 2의 값과 식 (2), (3)으로부터 RMSE를 구했을 때 표 3과 같이 RMSE≤1인 것을 확인하였고, 따라서 어파인 변환을 이용하여 영상을 정합할 수 있다는 것을 확인하였다.
최소제곱법을 이용하여 구한 투영 변환의 파라미터들의 정확도를 분석하기 위해 평균제곱근오차를 사용하였고, 오차가 표 5와 같이 subpixel 이하로 나타나는 것을 확인하였다. 즉, 투영 변환을 이용하여 영상을 정합할 수 있다는 것을 확인하였다.
이론/모형
표 1을 확인해 보면 위성영상1 ∼ 위성영상5의 거리값과 pixel값이 다름으로 SR 알고리즘을 적용이 불가능하다. 그러므로 본 논문에서는 영상 등록(image reqistration)을 통해 기하보정을 한 후에 SR 알고리즘을 적용한다.
위성영상은 같은 대상이라도 촬영 각이 달라 완벽하게 동일한 장면의 영상을 획득하기 어려우므로 본 논문에서는 국소영역 영상을 이용하였다. 또한 위성영상은 촬영 각과 태양 각에 변화로 인한 기하학적 왜곡이 포함되어 있으므로 Ⅲ장에서 계산한 어파인 변환 파라미터와 사영 변환 파라미터를 이용하여, 건물의 지붕부분인 국소 영역 영상에 대하여 왜곡을 보정한 후 SR 알고리즘을 적용하였다. 그림 3은 실험의 흐름도를 보여주고 있다.
성능/효과
객관적인 비교가 불가능하기 때문에 Bilinear 보간법을 적용한 결과와 각 SR 적용 결과 영상들과 비교하였다. 그 결과 Bilinear 보간법이 적용된 영상에 비해 SR 알고리즘이 적용된 영상은 지붕 부분의 검은 무늬가 뚜렷하게 나타났으며 에지 부분 또한 뚜렷하게 표현 되는 것을 확인할 수 있다. 본 논문에서 제안한 고해상도 위성영상을 위한 국소영역 공간해상도 향상 기법은 위성영상 5장에서 국부영역을 수동으로 모서리 점을 추출하지만 차후 연구에서는 자동으로 모서리 점을 추출 연구와 위성영상을 대상으로 하는 SR algorithm, single frame SR algorithm, 다른 registration 기법들에 대한 연구도 병행되어야 할 것으로 생각한다.
후속연구
그 결과 Bilinear 보간법이 적용된 영상에 비해 SR 알고리즘이 적용된 영상은 지붕 부분의 검은 무늬가 뚜렷하게 나타났으며 에지 부분 또한 뚜렷하게 표현 되는 것을 확인할 수 있다. 본 논문에서 제안한 고해상도 위성영상을 위한 국소영역 공간해상도 향상 기법은 위성영상 5장에서 국부영역을 수동으로 모서리 점을 추출하지만 차후 연구에서는 자동으로 모서리 점을 추출 연구와 위성영상을 대상으로 하는 SR algorithm, single frame SR algorithm, 다른 registration 기법들에 대한 연구도 병행되어야 할 것으로 생각한다.
질의응답
핵심어
질문
논문에서 추출한 답변
고해상도 위성영상은 어디에 이용되는가?
고해상도 위성영상은 기상관측, 지형관측, 원격탐사, 군사시설감시, 문화재보호 등 많은 분야에서 이용된다. 위성영상은 동일한 위성영상 시스템에서 획득한 영상이라 할지라도 하드웨어(광학장치, 위성의 운용고도, 영상 센서 등)의 조건에 따라서 해상도가 저하된 영상들이 발생한다.
기존 저해상도의 영상으로부터 해상도를 향상시킬 수 있는 대표적인 방법은 무엇인가?
따라서 기존 저해상도의 영상으로부터 해상도를 향상시킬 수 있는 방법이 필요하다. 이러한 해상도 향상을 위한 대표적인 방법이 SR(Super Resolution) 알고리즘이다.
위성영상의 해상도 저하는 무엇에 의하여 발생하는가?
고해상도 위성영상은 기상관측, 지형관측, 원격탐사, 군사시설감시, 문화재보호 등 많은 분야에서 이용된다. 위성영상은 동일한 위성영상 시스템에서 획득한 영상이라 할지라도 하드웨어(광학장치, 위성의 운용고도, 영상 센서 등)의 조건에 따라서 해상도가 저하된 영상들이 발생한다. 따라서 위성이 발사된 이후에는 이러한 해상도가 저하된 영상들의 해상도 향상을 위해서 영상시스템의 하드웨어를 변경하는 것은 불가능하므로 위성영상 자체를 이용하여 해상도를 향상시키는 방법이 필요하다.
참고문헌 (13)
S. M. Park, M. K. Park, M. G. Kang, "Super-Resolution Image Construction: A Technical Overview," IEEE signal processing magazine, pp. 21-36, 2003.
R. C. Gonzalez, R. E. Woods, Digital Image Processing 2nd ed., 2002.
D. Jain. "Superresolution using Papoulis- Gechberg Algorithm," Digital Video Processing, 2005.
M. Irani and S. Peleg, "Improving resolution by image registration," CVGIP: Graphical Models and Image Proc., vol. 53, pp. 231-239, May 1991.
A. Zomet, A. Rav-Acha, S. Peleg, "Robust Super-Resolution," IEEE Computer Vision and Pattern Recognition, vol. 1, pp. 645-650, 2001.
A. M. Tekalp, Digital Video Processing. Englewood Cliffs, NJ: Prentice Hall, 1995.
T. Q. Pham, L. J. van Vliet, and K. Schutte, "Robust fusion of irregularly sampled data using adaptive normalized convolution," EURASIP J. Appl. Signal Process., article ID 83268, 2006.
D. Zwillinger(Ed.), Affine Transformation, 4.3.2 in CRC Standard Mathmatical Tables and Formulae 31st ed, Boca Raton, FL:CRC Press, pp. 265-266, 1995.
R. Hartley, A. Zisserman, Multiple View Geometry in computer vision, Cambridge Univ. Press, pp. 32-33, 2003.
F. Li, X. Jia, D. Fraser, and A. Lambert, "Super resolution for remote sensing images based on a universal Hidden Markov Tree model," IEEE Trans. Geosci. Remote Sens., vol. 48, pp. 1270-1278, Mar. 2010.
J. L. Moiqne, N. S. Netantahu, R. D. Eastman, Image Registration for Remote Sensing, Cambridge Univ. Press, 2011.
Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: From error measurement to structural similarity," IEEE Trans. Image Process., vol. 13, no. 4, pp. 600-612, Apr. 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.