고해상도 위성영상은 기상관측, 지형관측, 원격탐사, 군사시설감시, 문화재보호 등 많은 분야에서 이용된다. 위성영상은 동일한 위성영상 시스템에서 획득한 영상이라 할지라도 하드웨어(광학장치, 위성의 운용고도, 영상 센서 등)의 조건에 따라서 해상도가 저하된 영상들이 발생한다. 따라서 위성이 발사된 이후에는 이러한 해상도가 저하된 영상들의 해상도 향상을 위해서 영상시스템의 하드웨어를 변경하는 것은 불가능하므로 위성영상 자체를 이용하여 해상도를 향상시키는 방법이 필요하다. 본 논문에서는 이러한 저해상도 위성영상을 이용하여 해상도를 향상시키는 방법으로 SR(Super Resolution) 알고리즘을 사용하였다. SR 알고리즘은 다수의 저해상도 영상들의 정합을 통해 영상의 해상도를 향상시키는 알고리즘이다. 하지만 위성영상에서는 동일 지역에 대한 여러 장의 영상을 획득하기 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 특징점 자동추출과 투영 변환(Projection Transform)을 적용 후 영상에 대한 기하학적 변화를 보정하여 SR 알고리즘을 수행하였다. 그 결과 수동으로 특징점을 구한 SR 결과와 같이 에지 부분이 뚜렷하게 나타나는 것을 확인 할 수 있다.
고해상도 위성영상은 기상관측, 지형관측, 원격탐사, 군사시설감시, 문화재보호 등 많은 분야에서 이용된다. 위성영상은 동일한 위성영상 시스템에서 획득한 영상이라 할지라도 하드웨어(광학장치, 위성의 운용고도, 영상 센서 등)의 조건에 따라서 해상도가 저하된 영상들이 발생한다. 따라서 위성이 발사된 이후에는 이러한 해상도가 저하된 영상들의 해상도 향상을 위해서 영상시스템의 하드웨어를 변경하는 것은 불가능하므로 위성영상 자체를 이용하여 해상도를 향상시키는 방법이 필요하다. 본 논문에서는 이러한 저해상도 위성영상을 이용하여 해상도를 향상시키는 방법으로 SR(Super Resolution) 알고리즘을 사용하였다. SR 알고리즘은 다수의 저해상도 영상들의 정합을 통해 영상의 해상도를 향상시키는 알고리즘이다. 하지만 위성영상에서는 동일 지역에 대한 여러 장의 영상을 획득하기 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 특징점 자동추출과 투영 변환(Projection Transform)을 적용 후 영상에 대한 기하학적 변화를 보정하여 SR 알고리즘을 수행하였다. 그 결과 수동으로 특징점을 구한 SR 결과와 같이 에지 부분이 뚜렷하게 나타나는 것을 확인 할 수 있다.
High-resolution satellite imagery is used in diverse fields such as meteorological observation, topography observation, remote sensing (RS), military facility monitoring and protection of cultural heritage. In satellite imagery, low-resolution imagery can take place depending on the conditions of ha...
High-resolution satellite imagery is used in diverse fields such as meteorological observation, topography observation, remote sensing (RS), military facility monitoring and protection of cultural heritage. In satellite imagery, low-resolution imagery can take place depending on the conditions of hardware (e.g., optical system, satellite operation altitude, image sensor, etc.) even though the images were obtained from the same satellite imaging system. Once a satellite is launched, the adjustment of the imaging system cannot be done to improve the resolution of the degraded images. Therefore, there should be a way to improve resolution, using the satellite imagery. In this study, a super resolution (SR) algorithm was adopted to improve resolution, using such low-resolution satellite imagery. The SR algorithm is an algorithm which enhances image resolution by matching multiple low-resolution images. In satellite imagery, however, it is difficult to get several images on the same region. To take care of this problem, this study performed the SR algorithm by calibrating geometric changes on images after applying automatic extraction of feature points and projection transform. As a result, a clear edge was found just like the SR results in which feature points were manually obtained.
High-resolution satellite imagery is used in diverse fields such as meteorological observation, topography observation, remote sensing (RS), military facility monitoring and protection of cultural heritage. In satellite imagery, low-resolution imagery can take place depending on the conditions of hardware (e.g., optical system, satellite operation altitude, image sensor, etc.) even though the images were obtained from the same satellite imaging system. Once a satellite is launched, the adjustment of the imaging system cannot be done to improve the resolution of the degraded images. Therefore, there should be a way to improve resolution, using the satellite imagery. In this study, a super resolution (SR) algorithm was adopted to improve resolution, using such low-resolution satellite imagery. The SR algorithm is an algorithm which enhances image resolution by matching multiple low-resolution images. In satellite imagery, however, it is difficult to get several images on the same region. To take care of this problem, this study performed the SR algorithm by calibrating geometric changes on images after applying automatic extraction of feature points and projection transform. As a result, a clear edge was found just like the SR results in which feature points were manually obtained.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
제안 방법
기존 연구[1]에서는 서로 다른 시간에서 획득한 5장의 위성영상을 이용하므로 촬영 각과 태양각에 변화로 인한 기하학적 왜곡이 포함되어 있으므로 수동으로 특징점을 추출하여 왜곡을 보정한 후 SR을 적용했던 거와 같이 본 논문에서도 기존연구에서 사용한 서로 다른 시간에서 획득한 5장의 위성영상을 이용하여 자동으로 특징점을 추출하였다. 그림 9는 각 위성영상에서 자동으로 추출된 특징점들을 최소제곱법을 이용하여 투영 변환 파라미터를 구하여 투영 변화 결과를 확인 하였다.
위성영상 SR은 동영상을 사용하는 일반적인 SR 경우와 다르게 다수의 저해상도 영상을 얻을 수 없다. 따라서 동일 장면의 저해상도 영상을 획득하기 위해 다른 시점에서 획득된 위성영상들 중에서 특정 영역에 대한 국소영역 영상을 사용해야 하기 위해 기존 위성영상 국부영역 SR 연구[1]에서는 동일한 지역을 서로 다른 시간에 획득한 5장의 위성영상을 이용하여 수동으로 특징점(Feature Point)을 추출하였고, 추출된 특징점을 서로 정합하여 투영변환을 사용하여 각기 다른 영상 사이의 기하학적 관계를 추정하였다.
본 논문에서는 Harris Corner Detection을 이용하여 자동으로 특징점을 생성하고 이 특징점들을 추출하여 최소제곱법을 이용하여 투영변환을 통해 저해상도 국소영역 영상을 획득하고 SR 알고리즘 중 위성영상에 적합한 POCS(Projection onto convex sets) 를 적용하여 1m 급고행상도 국소 지역 위성 영상을 생성 하였다. 그 결과 수동으로 특징점을 구한 SR 결과 와 같게 에지 부분이 뚜렷하게 나타나는 것을 확인 할 수 있었다.
본 논문에서는 평균제곱근오차(RMSE값이 Subpixel 이하로 하는 자동 특징점을 추출 방법과 투영변환을 3장에서 제안한다.
단계3. 선택된 쌍의 수가 올바른 데이터 점들의 초기추정보다 크면 그때 선택된 모든 쌍에 대해 선형 기준 을 사용하여 Fundamental matrix를 계산한다.
우리가 제안하는 특징점 자동 추출 및 투영변환 방법은 Harris Corner Detection을 이용하여 위성영성1∼5까지의 모든 특징점들을 구하고 위성영상1에서 구해진 특징점과 각각의 위성영상2∼5들에서 구해진 특징점들을 이용하여 Normalised correlation 각각 실행하여 매칭 되지 않는 특징점들을 제거한다.
단계1. 필요한 최소 개수의 쌍의 집합(선형 계산을 위해 8개)을 구하기 위해 모든 일치된 점들을 표본 추출한 후, Fundamental matrix를 계산한다.
데이터처리
그림 9의 각 영상에서 추출된 12개의 특징들을 이용하여 투영 변환 파라미터를 구하였다. 최소제곱법을 이용하여 구한 투영 변환의 파라미터들의 정확도를 분석하기위해 평균제곱근오차를 사용하였고, 오차가 표 2와 같이 subpixel 이하로 나타나는 것을 확인하였고, 수동으로 추출된 RMSE보다 오차율이 낮음을 확인할 수 있다.
이론/모형
RANSAC에 의해 구해진 Fundamental matrix는 카메라 파라미터를 포함한 영상의 실제 픽셀 좌표사이의 기하학적 관계를 표현하는 matrix이다. 그림 8과 같이 RANSAC 알고리즘 반복에 의해 Epipolar lines을 구하였다.
앞에서 구한 일치하는 특징점을 이용하여 Epipolar lines을 추정하기 위해서는 RANSAC[11] 알고리즘을 통해 Fundamental matrix를 구하고, RANSAC 알고리즘은 아래와 같은 단계로 수행된다.
투영변환의 공식은 식 1와 같다. 투영변환 또한 어파인 변환과 같이 변환의 오차를 줄이기 위해 최소제곱법을 사용하여 투영 변환 파라미터를 결정한다.
성능/효과
본 논문에서는 Harris Corner Detection을 이용하여 자동으로 특징점을 생성하고 이 특징점들을 추출하여 최소제곱법을 이용하여 투영변환을 통해 저해상도 국소영역 영상을 획득하고 SR 알고리즘 중 위성영상에 적합한 POCS(Projection onto convex sets) 를 적용하여 1m 급고행상도 국소 지역 위성 영상을 생성 하였다. 그 결과 수동으로 특징점을 구한 SR 결과 와 같게 에지 부분이 뚜렷하게 나타나는 것을 확인 할 수 있었다.
본 논문에서는 자동으로 특징점 자동추출과 투영 변환을 적용 후 영상에 대한 기하학적 변화를 보정 및 SR 알고리즘을 수행하여 수동으로 특징점을 구한 SR 결과와 같이 에지 부분이 뚜렷하게 나타나는 것을 확인 할 수 있었으며, 전문가에 의해 추출한 특징점과 비슷한 결과를 확인할 수 있었다.
후속연구
그리고 특정 건물 또는 기반시설의 위치를 자동으로 완벽하게 파악하기 위해서는 위성영상을 위한 Classification 연구가 계속 수행되어야할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
위성영상에서 동일 지역에 대한 여러 장의 영상을 얻기 어려운 점을 해결하기 위해 수행된 것은?
하지만 위성영상에서는 동일 지역에 대한 여러 장의 영상을 획득하기 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 특징점 자동추출과 투영 변환(Projection Transform)을 적용 후 영상에 대한 기하학적 변화를 보정하여 SR 알고리즘을 수행하였다. 그 결과 수동으로 특징점을 구한 SR 결과와 같이 에지 부분이 뚜렷하게 나타나는 것을 확인 할 수 있다.
보간법의 특징은?
보간법의 경우, 하나의 저해상도 영상만을 사용하기때문에 고해상도의 영상을 구하기 힘들다. 반면에 SuperResolution(SR) 알고리즘들은 다수의 저해상도 영상들을 정합하여 영상 해상도를 향상 시키는 알고리즘이므로 보다 향상된 고해상도 영상을 확보할 수 있다[3].
저해상도 위성영상을 이용하여 해상도를 향상시키는 방법으로 사용된 것은?
따라서 위성이 발사된 이후에는 이러한 해상도가 저하된 영상들의 해상도 향상을 위해서 영상시스템의 하드웨어를 변경하는 것은 불가능하므로 위성영상 자체를 이용하여 해상도를 향상시키는 방법이 필요하다. 본 논문에서는 이러한 저해상도 위성영상을 이용하여 해상도를 향상시키는 방법으로 SR(Super Resolution) 알고리즘을 사용하였다. SR 알고리즘은 다수의 저해상도 영상들의 정합을 통해 영상의 해상도를 향상시키는 알고리즘이다.
참고문헌 (12)
J. Y. Kang, I. l. Kim, J. H. Kim, and J. W. Park, "Enhancement of Spatial Resolution to Local Area for High Resolution Satellite Imagery,"Journal of the Institute of Electronics Engineers of Korea, Vol. 50, no. 4, pp. 897-903, 2013.
R. C. Gonzalez, R. E. Woods, Digital Image Processing 2nd edition, 2002.
S. C.l Park, M. K. Park, and M. G. Kang, "Super-Resolution Image Construction: A Technical Overview," IEEE signal processing magazine, vol. 20, no. 3, pp. 21-36, 2003..
A. Zomet, A. Rav-Acha and S. Peleg, "Robust Super-Resolution," IEEE Computer Vision and Pattern Recognition, vol. 1, pp. 645-650, 2001.
A. M. Tekalp, Digital Video Processing. Englewood Cliffs, NJ: Prentice Hall, 1995.
T. Q. Pham, L. J. van Vliet and K. Schutte, "Robust fusion of irregularly sampled data using adaptive normalized convolution", EURASIP J. Appl. Signal Process., vol. 2006, pp. 1-12, 2006.
C. Harris and M. Stephens. "A combined comer and edge detector," In Alvey Vision Conference, pp. 147-151, 1988.
D. Tsai and C. Lin, "Fast normalized cross correlation for defect detection," Pattern Recognit. Lett. vol. 24, no. 15, pp. 2625-2631, 2003.
P. H. S. Torr and A. Zisserman, "MLESAC: A New Robust Estimator with Application to Estimating Image Geometry", Computer Vision and Image Understanding, vol. 78, pp. 138-156, 2000.
S. B. Jang and I. h. Jee, "A study on fast stero matching algorithm using Belief Propagation in multi-resolution domain," Journal of The Institute of Internet, Broadcasting and Communication (JIIBC) No, 4, pp. 67-73, Aug. 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.