영상융합이란 두 개 이상의 영상을 하나의 영상으로 결합하는 기술로 원격탐사, 컴퓨터 비전, 로보틱스, 의료영상 그리고 군사분야 등 여러 분야에서 활용되고 있다. 지금까지 웨이블렛 변환을 이용한 영상 융합규칙들은 웨이블렛 분해 후 얻어진 각 영역에서 평균 혹은 분산과 같은 액티비티(activity) 측도를 단순 수치 비교를 통하여 영상융합의 픽셀을 선택하였다. 이 경우 특징을 갖고 있는 영상이 융합과정에서 배제될 수 있고 또한 잡음의 영향으로 왜곡된 융합영상을 얻을 가능성이 높다. 본 논문에서는 웨이블렛 변환 하에 분산에 대한 통계적 검정인 제곱 순위 검정을 사용하여 통계적으로 유의하다고 판단되는 영역만을 융합 영상의 대체 영역으로 선택하였다. 영상 실험 결과 제안된 방법은 가시적인 평가에서 뿐 만 아니라 정량적인 평가에서도 입력 영상의 종류와 관계없이 기존의 방법들 보다 뛰어난 결과를 보여주었다.
영상융합이란 두 개 이상의 영상을 하나의 영상으로 결합하는 기술로 원격탐사, 컴퓨터 비전, 로보틱스, 의료영상 그리고 군사분야 등 여러 분야에서 활용되고 있다. 지금까지 웨이블렛 변환을 이용한 영상 융합규칙들은 웨이블렛 분해 후 얻어진 각 영역에서 평균 혹은 분산과 같은 액티비티(activity) 측도를 단순 수치 비교를 통하여 영상융합의 픽셀을 선택하였다. 이 경우 특징을 갖고 있는 영상이 융합과정에서 배제될 수 있고 또한 잡음의 영향으로 왜곡된 융합영상을 얻을 가능성이 높다. 본 논문에서는 웨이블렛 변환 하에 분산에 대한 통계적 검정인 제곱 순위 검정을 사용하여 통계적으로 유의하다고 판단되는 영역만을 융합 영상의 대체 영역으로 선택하였다. 영상 실험 결과 제안된 방법은 가시적인 평가에서 뿐 만 아니라 정량적인 평가에서도 입력 영상의 종류와 관계없이 기존의 방법들 보다 뛰어난 결과를 보여주었다.
Image fusion is the process of combining multiple images of the same scene into a single fused image with application to many fields, such as remote sensing, computer vision, robotics, medical imaging and military affairs. The widely used image fusion rules that use wavelet transform have been based...
Image fusion is the process of combining multiple images of the same scene into a single fused image with application to many fields, such as remote sensing, computer vision, robotics, medical imaging and military affairs. The widely used image fusion rules that use wavelet transform have been based on a simple comparison with the activity measures of local windows such as mean and standard deviation. In this case, information features from the original images are excluded in the fusion image and distorted fusion images are obtained for noisy images. In this paper, we propose the use of a nonparametric squared ranks test on the quality of variance for two samples in order to overcome the influence of the noise and guarantee the homogeneity of the fused image. We evaluate the method both quantitatively and qualitatively for image fusion as well as compare it to some existing fusion methods. Experimental results indicate that the proposed method is effective and provides satisfactory fusion results.
Image fusion is the process of combining multiple images of the same scene into a single fused image with application to many fields, such as remote sensing, computer vision, robotics, medical imaging and military affairs. The widely used image fusion rules that use wavelet transform have been based on a simple comparison with the activity measures of local windows such as mean and standard deviation. In this case, information features from the original images are excluded in the fusion image and distorted fusion images are obtained for noisy images. In this paper, we propose the use of a nonparametric squared ranks test on the quality of variance for two samples in order to overcome the influence of the noise and guarantee the homogeneity of the fused image. We evaluate the method both quantitatively and qualitatively for image fusion as well as compare it to some existing fusion methods. Experimental results indicate that the proposed method is effective and provides satisfactory fusion results.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 비교대상이 되는 기존의 영상융합 방법을 중심으로 논의하고자 한다. 영상융합에서 두 개의 영상을 융합하는 경우 F1(x, y)와 F2(x, y)를 픽셀 (x, y)에서 영상 1과 영상 2의 각각의 픽셀값이라 하고 F(x, y)를 픽셀 (x, y)에서 융합영상의 픽셀값이라 하자.
영상융합에서 중요한 것이 융합규칙 선택이다. 본 논문에서는 영역기반 영상융합에서 분산에 대한 식 (2.1)과 같은 단순비교에 대한 문제점을 해결하기위해 통계학의 이 표본 분산 문제에 대한 제곱순위 검정을 사용하여 영상융합한다. 영상 데이터가 정규분포를 갖는 경우 모수적인 F-검정이 유용하나 여기서는 모집단의 분포에 관계없이 유용하면서 사용하기 간편한 비모수적 방법을 고려한다.
본 논문에서는 웨이블렛 변환 하에 통계적 가설검정(statistical hypothesis test)을 이용한 새로운 융합규칙을 사용하여 영상을 융합하고자 한다. 지금까지 통계를 이용한 융합규칙들이 많이 제안되었으나 모두 액티비티 측도로서 어떤 통계량을 사용할 것인가에 대한 연구들이고 통계학의 가설검정을 이용한 융합규칙에 대한 연구는 전혀 이루어지지 않았다.
지금까지 통계를 이용한 융합규칙들이 많이 제안되었으나 모두 액티비티 측도로서 어떤 통계량을 사용할 것인가에 대한 연구들이고 통계학의 가설검정을 이용한 융합규칙에 대한 연구는 전혀 이루어지지 않았다. 본 논문에서는 이표본 척도문제(two-sample scale problem)에서 분산에 대한 제곱 순위 검정(squared ranks test) (Conover, 1979)을 사용하여 검정하고자 한다. 여기에 사용된 제곱 순위 검정은 영역기반 영상비교에서 n × n 부분영상의 크기가 작은 경우 영상 데이터들의 분포에 관계없이 유용한 비모수적 검정이다.
여기에 사용된 제곱 순위 검정은 영역기반 영상비교에서 n × n 부분영상의 크기가 작은 경우 영상 데이터들의 분포에 관계없이 유용한 비모수적 검정이다. 우리는 두 영상의 부분영상 간의 검정을 통하여 하나의 부분영상의 분산이 다른 부분영상의 분산보다 통계적으로 유의한 차이가 있다고 판단되는 경우에 한하여 한 부분영상의 픽셀을 융합 영상의 픽셀로 대체하고 그렇지 않은 경우 두 부분영상은 분산에서 통계적으로 유의한 차이가 없는 영상으로 간주하고자 한다.
가설 설정
3)에 대해 검정 한다. 가설 (3.2)에서 H0를 기각하면 첫 번째 영상에서 부분영역의 중심픽셀을 융합영상의 픽셀값으로 대체하고 가설 (3.3)에서 H0를 기각하면 두 번째 영상에서 부분영역의 중심픽셀을 융합영상의 픽셀값으로 대체한다.
제안 방법
PCA 방법은 저해상도 컬러영상에 PCA 변환을 수행하여 컬러영상을 여러 개의 주성분들로 분해하고 여기서 새롭게 형성된 첫 번째 주성분을 고해상도 흑백영상으로 대체한다. 그리고 대체된 주성분을 원 영상의 공간으로 대체한 후 PCA 역변환을 수행하여 고해상도 컬러영상을 얻는다.
본 논문에서는 웨이블렛 변환 하에 통계적 가설검정에 의해 통계적으로 유의하다고 판단되는 영역만을 융합 영상의 대체 영역으로 선택하였다. 본 논문에서는 잡음에 덜 민감한 비모수적 방법인 제곱 순위 검정을 사용하여 검정하였다.
본 장에서는 제안된 영상융합 방법의 성능을 비교 분석하기 위해 가중 평균법, 라플라시안 피라미드 방법 그리고 통계학의 분산 방법과 비교하고자 한다.
우리는 영상 융합의 정량적인 성능 비교를 위해 엔트로피(Entropy) (Arivazhagan 등, 2009), OCE(Overall Cross Entropy) (Sasikala와 Kumaravel, 2007), 평균 기울기(Average Gradient) (Wu 등, 2005; Yang, 2011) 척도를 가지고 비교하고자 한다.
대상 데이터
영상 실험에 사용된 표본영상으로는 그림 4.1에 있는 최근 의료 영상에서 관심이 쏠리고 있는 CT 영상과 MRI 영상 그리고 두 개의 멀티-포커스 영상으로 Cup 영상과 Clock 영상을 선택하였다.
데이터처리
본 논문에서는 웨이블렛 변환 하에 통계적 가설검정에 의해 통계적으로 유의하다고 판단되는 영역만을 융합 영상의 대체 영역으로 선택하였다. 본 논문에서는 잡음에 덜 민감한 비모수적 방법인 제곱 순위 검정을 사용하여 검정하였다.
제안된 영상융합 방법의 성능을 비교 분석하기 위해 세 개의 영상 즉, CT 영상과 MRI 영상, Cup 영상과 Clock 영상을 선택하였고 비교 대상으로 가중 평균법, 라플라시안 피라미드 방법 그리고 통계학의 분산 방법과 선택하여 비교하였다.
제안된 영상융합에 사용된 유의수준은 α = 0.05에서 부분영상을 선택하여 3 × 3 제곱 순위 검정을 수행하였고 가중평균법에서 α1 = α2 = 1/2을 선택하였다.
성능/효과
실험 결과 가중 평균법은 영상이 열화 되는 결과를 가져왔고 분산방법은 제안된 방법보다 흐릿한 영상을 나타났고 그리고 라플라시안 피라미드 방법은 영상의 종류에 따라 심한 편차를 보이는 반면에 제안된 방법은 가시적인 비교에서 뿐 만 아니라 정량적인 평가에서도 입력 영상의 종류와 상관없이 뛰어난 결과를 보여줌을 알 수 있었다.
그러나 라플라시안 피라미드 방법은 제안된 방법에 비하여 영상에 따라 성능순위 편차가 큼을 알 수 있다. 제안된 방법은 모든 영상에 대해 최고 혹은 차순위로 좋은 엔트로피를 갖고 있는 반면에 라플라시안 피라미드 방법은 CT-MRI 영상과 Clock 영상에서는 최고의 엔트로피를 갖으나 Cup 영상에 대해서는 가중평균과 분산 방법보다도 낮은 최하위의 엔트로피를 갖고 있음을 알 수 있다.
4의 Clock 영상에 대한 실험결과에서도 Cup 영상에 대한 실험결과와 비슷한 결과를 얻었다. 제안된 방법은 영상에 나타난 두 개의 시계 모두 선명하게 나타난 반면 다른 방법들은 두 개의 시계 모두에서 전체적으로 흐리던가 아니면 시계의 일부분이 희미하게 나타난 것을 알 수 있다.
이처럼 라플라시안 피라미드 방법을 사용한 영상합성은 두 영상이 유의하게 다른 영역에서는 불안정하여 블록효과와 같은 인공점 들이 생긴다. 제안된 방법은 위에서 볼 수 있는 문제점 없이 CT-MRI 영상의 특징이 다른 영상들에 비해서 더 잘 드러나 있음을 볼 수 있다.
지금까지 실험 결과 제안된 방법은 영상을 통한 가시적인 비교에서 뿐만 아니라 정량적인 평가에서도 입력 영상의 종류와 상관없이 뛰어난 결과를 보여줌을 알 수 있었다.
표 4.3의 평균 기울기에 대한 융합방법 결과를 보면 라플라시안 피라미드 방법과 제안된 방법이 다른 방법에 비해 좋은 성능을 보여주는 것을 알 수 있다. 라플라시안 피라미드 방법이 높은 수치를 보이는 것은 그림 4.
후속연구
사실 여러 시간과 여러 장소에 걸쳐 얻은 영상 자체에 대해 사전 영상 등록 없이 영상 융합은 쉽지 않다. 따라서 앞으로의 연구에서는 영상 등록에 대한 연구가 같이 진행되어 실시간으로 영상등록과 영상융합이 하나의 처리과정으로 이루어지도록 하고 싶다.
질의응답
핵심어
질문
논문에서 추출한 답변
영상융합은 어떤 분야에서 활용되는가?
영상융합이란 두 개 이상의 영상을 하나의 영상으로 결합하는 기술로 원격탐사, 컴퓨터 비전, 로보틱스, 의료영상 그리고 군사분야 등 여러 분야에서 활용되고 있다. 지금까지 웨이블렛 변환을 이용한 영상 융합규칙들은 웨이블렛 분해 후 얻어진 각 영역에서 평균 혹은 분산과 같은 액티비티(activity) 측도를 단순 수치 비교를 통하여 영상융합의 픽셀을 선택하였다.
영상융합은 어떤 기술인가?
영상융합이란 두 개 이상의 영상을 하나의 영상으로 결합하는 기술로 원격탐사, 컴퓨터 비전, 로보틱스, 의료영상 그리고 군사분야 등 여러 분야에서 활용되고 있다. 지금까지 웨이블렛 변환을 이용한 영상 융합규칙들은 웨이블렛 분해 후 얻어진 각 영역에서 평균 혹은 분산과 같은 액티비티(activity) 측도를 단순 수치 비교를 통하여 영상융합의 픽셀을 선택하였다.
웨이블렛 변환을 이용한 영상 융합규칙으로 웨이블렛 분해 후 얻어진 각 영역에서 평균 혹은 분산과 같은 액티비티(activity) 측도를 단순 수치 비교를 통하여 영상융합의 픽셀을 선택할때 어떤 영상을 얻을 가능성이 높은가?
지금까지 웨이블렛 변환을 이용한 영상 융합규칙들은 웨이블렛 분해 후 얻어진 각 영역에서 평균 혹은 분산과 같은 액티비티(activity) 측도를 단순 수치 비교를 통하여 영상융합의 픽셀을 선택하였다. 이 경우 특징을 갖고 있는 영상이 융합과정에서 배제될 수 있고 또한 잡음의 영향으로 왜곡된 융합영상을 얻을 가능성이 높다. 본 논문에서는 웨이블렛 변환 하에 분산에 대한 통계적 검정인 제곱 순위 검정을 사용하여 통계적으로 유의하다고 판단되는 영역만을 융합 영상의 대체 영역으로 선택하였다.
참고문헌 (17)
Arivazhagan, S., Ganesan, L. and Subash Kumar, T. G. (2009). A modified statistical approach for image fusion using wavelet transform, Signal, Image and Video Processing, 3, 137-144.
Burt, P. J. and Kolezynski, R. J. (1993). Enhanced image capture through fusion, Proceedings of 4th International Conference on Computer Vision, 173-182.
Carper, W. J., Lillesand, T. M. and Kiefer, R. W. (1990). The use of intensity-hue-saturation transformations for merging SPOT panchromatic and multispectral image data, Photo-Grammetric Engineering & Remote Sensing, 56, 459-467.
Conover, W. J. (1979). Practical Nonparametric Statistics, John Wiley & Sons, New York.
He, C., Liu, Q., Li, H. and Wang, H. (2010). Multimodal medical image fusion based on IHS and PCA, Procedia Engineering, 7, 280-285.
Li, H., Guo, L. and Liu, H. (2005). Current research on wavelet-based image fusion algorithms, Proceedings of SPIE, 5813, 360-367.
Li, H., Manunath, B. S. and Mitra, S. K. (1994). Multi-sensor image fusion using the wavelet transform, ICIP, 51-55.
Li, H., Manunath, B. S. and Mitra, S. K. (1995). Multisensor image fusion using the wavelet transform, Graphical Models and Image Processing, 57, 235-245.
Ma, H., Jia, C. and Liu, S. (2005). Multisource image fusion based on wavelet transform, International Journal of Information Technology, 11, 81-91.
Mallat, S. G. (1999). A Wavelet Tour of Signal Processing, Academic Press.
Moigne, J. L., Rhodes, A. C. and Eastman, R. (2002). Multiple sensor image registration, image fusion and dimension reduction of earth science imagery, Proceedings of the Fifth International Conference on Information Fusion, 999-1006.
Ranchin, T. and Wald, L. (2000). Fusion of high spatial and spectral resolution images: The ARSIS concept and its implementation, Photogrammetric Engineering & Remote Sensing, 66, 49-61.
Wu, J., Huang, H., Qiu, Y., Wu, H., Tian, J. and Liu, J. (2005). Remote sensing image fusion based on average gradient of wavelet transform, Proceedings of the IEEE, 1817-1821.
Yang, Y. (2011). Multiresolution image fusion based on wavelet transform by using a novel technique for selection coefficients, Journal of Multimedia, 6, 91-98.
Yang, Y., Park, D. S., Huang, S. and Rao, N. (2010). Medical image fusion via an effective wavelet-based approach, EURASIP Journal on Advances in Signal Processing 2010, 1-13.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.