[논문]다중센서 영상융합을 위한 대응점 추출에 기반한 자동 영상정합 기법

최원철; 정직한; 박동조; 최병인; 최성남

다중센서 영상융합을 위한 대응점 추출에 기반한 자동 영상정합 기법
Automatic Image Registration Based on Extraction of Corresponding-Points for Multi-Sensor Image Fusion 원문보기

韓國軍事科學技術學會誌 = Journal of the KIMST, v.12 no.4, 2009년, pp.524 - 531

최원철 (한국과학기술원 전자전산학부) , 정직한 (한국과학기술원 전자전산학부) , 박동조 (한국과학기술원 전자전산학부) , 최병인 (삼성탈레스(주)) , 최성남 (삼성탈레스(주))

Abstract ▼ AI-Helper

In this paper, we propose an automatic image registration method for multi-sensor image fusion such as visible and infrared images. The registration is achieved by finding corresponding feature points in both input images. In general, the global statistical correlation is not guaranteed between multi-sensor images, which bring out difficulties on the image registration for multi-sensor images. To cope with this problem, mutual information is adopted to measure correspondence of features and to select faithful points. An update algorithm for projective transform is also proposed. Experimental results show that the proposed method provides robust and accurate registration results.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

앞에서 얻어진 특징점들은 각 영상의 특징적인 정보를 표현하므로, 이를 이용하면 정합하려는 두 영상의 상대적인 관계를 유추할 수 있다. 본 논문에서는 검출된 특징점들 중에서 서로 대응되는 특징점 쌍을 선별하기 위해, 특징점 주변 영상의 정규 상호정보를 이용하는 방식을 제안하였다. 제안된 방식에서 검출된 특징점은 주변 영역의 영상을 포함하는 패치를 획득한 후, 이 패치들간의 정규 상호정보를 통해서 특징점의 유사성을 판별하게 된다.
본 논문에서는 기존의 방식을 확장하여 영상기반 정합 기법을 적용한 자동 영상정합 시스템을 제안하고자 한다. 제안하는 시스템은 각 영상에서 검출된 특징점 중에서 서로 대응되는 특징점을 선택하기 위해 정규 상호정보를 도입하여 높은 신뢰도는 갖는 특징점을 추출하고, 이를 이용해서 영상 변환을 업데이트하는 과정을 포함한다.
잘 대응되는 점일수록 정규 상호 정보가 높은 것은 사실이지만, 반대로 정규 상호정보가 높다는 것이 잘 대응되었음을 보장한다고 보기는 어렵기 때문이다. 여기서는 선별된 특징점들 중에서 신뢰도가 높은 대응점을 추출하는 과정을 제안한다.

제안 방법

앞에서 언급한 것과 같이 정규 상호정보의 값이 크다는 것이 바로 대응쌍의 정확도를 의미하지는 않으므로, 정규 상호정보 값의 절대치보다는 두 번째로 큰 정규 상호 정보 값과의 비율을 통해서 가장 특징적인 대응점을 고르는 것이 바람직하다. 그래서 본 논문에서는 각 대응점 마다 가장 큰 두 개의 정규 상호정보값을 구하고 이 값의 비율을 기준으로 상위 N 개의 특징점만을 사용하여 변환 모델 업데이트에 사용하였다.
하지만 서로 다른 센서로부터 획득한 영상의 경우, 정합이 잘 이루어지더라도 위의 척도들은 영상정합의 결과를 잘 표현하지 못하게 된다. 그래서 본 논문에서는 두 영상 사이의 통계적 유사성을 판단하는 척도로서 상호정보(MI : Mutual Information)를 사용하도록 한다^[3].
하지만 대응점 추출 과정을 수행한 후에도 잘못된 대응점이 발생할 경우, 여기서 구한 변환 행렬에 오차가 발생하게 되고 영상 전체의 정합 결과에 영향을 끼치게 된다. 그래서 여기서는 추출된 대응 특징점을 이용해서 높은 신뢰도를 갖는 변환 행렬로 업데이트하는 과정을 제안한다.
이때 특징 점이 적을 경우 올바른 대응 특징점이 없어서 변환이 잘 이루어지지 않으며, 반대로 특징점이 너무 많을 경우 연산량이 증가하고 잘못된 대응 특징점이 발생할 가능성이 커지게 된다. 그렇기 때문에 본 논문에서는 다음과 같이 Harris 검출기를 사용하여 특징점의 수를 조절하는 반복적 Harris 검출기를 제안한다.
본 논문에서는 서로 다른 센서로부터 획득한 영상에 대해 자동으로 특징점을 검출하고, 대응되는 대응쌍을 추출한 후, 영상 변환 모델을 업데이트하는 영상 정합 기법을 제안하였다. 기존의 특징점 기반 정합 기법들은 다른 센서의 영상들에 대해 대응되는 점을 파악하기 힘든 단점이 있는데, 제안하는 방식에서는 대응쌍을 검출하기 위해 특징점 주변 영역의 정규 상호 정보를 사용하여 유사성을 비교하고, 각 영상에서 대응점을 검색하여 상호 일치하는 특징점만을 사용하여 잘못된 대응 특징점을 제거하였다. 또 그 중에서 신뢰도가 높은 점들을 선별하여 영상변환 모델을 결정함으로써, 연산량을 줄이고 영상정합의 강인성을 높이도록 하였다.
기존의 특징점 기반 정합 기법들은 다른 센서의 영상들에 대해 대응되는 점을 파악하기 힘든 단점이 있는데, 제안하는 방식에서는 대응쌍을 검출하기 위해 특징점 주변 영역의 정규 상호 정보를 사용하여 유사성을 비교하고, 각 영상에서 대응점을 검색하여 상호 일치하는 특징점만을 사용하여 잘못된 대응 특징점을 제거하였다. 또 그 중에서 신뢰도가 높은 점들을 선별하여 영상변환 모델을 결정함으로써, 연산량을 줄이고 영상정합의 강인성을 높이도록 하였다. 실험 결과를 통해 밝기값 정보가 다른 적외선 및 가시광선 영상에 대해 영상정합이 자동으로 이루어지는 것을 확인하였으며, 제안하는 기법을 통해 잘못된 대응 특징점이 효과적으로 제거됨을 보여 주었다.
본 논문에서는 서로 다른 센서로부터 획득한 영상에 대해 자동으로 특징점을 검출하고, 대응되는 대응쌍을 추출한 후, 영상 변환 모델을 업데이트하는 영상 정합 기법을 제안하였다. 기존의 특징점 기반 정합 기법들은 다른 센서의 영상들에 대해 대응되는 점을 파악하기 힘든 단점이 있는데, 제안하는 방식에서는 대응쌍을 검출하기 위해 특징점 주변 영역의 정규 상호 정보를 사용하여 유사성을 비교하고, 각 영상에서 대응점을 검색하여 상호 일치하는 특징점만을 사용하여 잘못된 대응 특징점을 제거하였다.
본 논문에서는 원근적 변환을 변환함수로 사용하였고, 원근적 변환은 3×3의 변환 행렬 H 로 나타낼 수 있다.
제안하는 시스템은 각 영상에서 검출된 특징점 중에서 서로 대응되는 특징점을 선택하기 위해 정규 상호정보를 도입하여 높은 신뢰도는 갖는 특징점을 추출하고, 이를 이용해서 영상 변환을 업데이트하는 과정을 포함한다. 이 때 기존의 기법과는 달리 대응점을 자동으로 선택하고 잘못된 대응을 제거함으로써 안정적인 영상정합이 이루어지도록 하였다.
이 장에서는 이 두 가지 영상 정합 기법의 장점을 융합하여 자동으로 효과적인 영상 정합을 수행하는 기법을 제안한다. Fig.
이 때 알고리즘의 효율성을 위해 특징점의 수를 조절하는 과정을 수행한다. 이렇게 얻어진 각 영상의 특징점들을 중심으로 주변의 패치(patch) 영상을 이용하여 정규 상호정보를 계산하고 가장 높은 상관도를 갖는 특징점들을 선별한다. 이러한 특징점들을 이용하여 초기 변환 행렬을 계산하고, 대응 특징점들이 변환된 결과를 이용하여 최적의 변환 행렬로 업데이트 하는 과정이 수행된다.
본 논문에서는 검출된 특징점들 중에서 서로 대응되는 특징점 쌍을 선별하기 위해, 특징점 주변 영상의 정규 상호정보를 이용하는 방식을 제안하였다. 제안된 방식에서 검출된 특징점은 주변 영역의 영상을 포함하는 패치를 획득한 후, 이 패치들간의 정규 상호정보를 통해서 특징점의 유사성을 판별하게 된다. 이 때 주변 패치의 정규 상호 정보가 가장 큰 특징점을 대응 특징점으로써 신뢰도가 높다고 추정하고, 이러한 대응 특징점들을 선별한다.
제안된 영상정합 기법을 확인해 보기 위해 동일한 장면에 대해 획득한 적외선 영상과 가시광선 영상에 대한 모의 실험을 수행하였다. 수행된 영상은 Fig.
본 논문에서는 기존의 방식을 확장하여 영상기반 정합 기법을 적용한 자동 영상정합 시스템을 제안하고자 한다. 제안하는 시스템은 각 영상에서 검출된 특징점 중에서 서로 대응되는 특징점을 선택하기 위해 정규 상호정보를 도입하여 높은 신뢰도는 갖는 특징점을 추출하고, 이를 이용해서 영상 변환을 업데이트하는 과정을 포함한다. 이 때 기존의 기법과는 달리 대응점을 자동으로 선택하고 잘못된 대응을 제거함으로써 안정적인 영상정합이 이루어지도록 하였다.
Harris 방식의 경우 연산량이 적고 Harris 응답에서 문턱값(threshold)을 통해 특징점의 수가 결정되는 장점이 있다. 제안하는 영상정합 기법은 영상에서 특징이 있는 것으로 추정되는 특징점을 검출하고, 대응 특징점 선별 과정을 통해 잘못된 특징점들을 제거하는 과정을 포함한다. 이때 특징 점이 적을 경우 올바른 대응 특징점이 없어서 변환이 잘 이루어지지 않으며, 반대로 특징점이 너무 많을 경우 연산량이 증가하고 잘못된 대응 특징점이 발생할 가능성이 커지게 된다.

이론/모형

변환 함수는 변환 하고자 하는 영상의 특징에 따라 변환 모델을 선택하고, 그 변환 모델을 이루는 파라미터를 결정함으로써 정의된다. 본 논문에서는 2D 원근적 변환(projective transform) 모델을 사용하였다. 원근적 변환 모델은 평면 영상을 핀홀 카메라로 바라본다고 할 때 발생할 수 있는 왜곡과 물체의 원근 관계를 정확하게 표현할 수 있기 때문에 영상정합에서 널리 쓰인다^[4].
본 논문에서는 특징점을 추출하기 위한 기법으로 Harris 검출기를 사용하였다. Harris 방식의 경우 연산량이 적고 Harris 응답에서 문턱값(threshold)을 통해 특징점의 수가 결정되는 장점이 있다.

성능/효과

예를 들어 일정한 간격으로 창문이 있는 건물이나 자동차들이 주차되어 있는 주차장과 같은 경우, 정규 상호정보를 사용하더라도 주변의 다른 영상과의 구별이 쉽지 않기 때문에 하나의 영상에 대해서만 대응 특징점을 선별하게 되면 잘못된 결과를 얻기 쉽다. 그러나 제안된 방식의 상호 비교 기법을 사용하게 되면 이렇게 유사한 패턴이 반복되는 영상의 경우에도 대응 특징점 선별에서 발생하는 잘못된 대응을 줄일 수 있으며, 신뢰도가 높은 대응점만을 추출해 냄으로써 영상 정합의 변환 행렬 오차를 줄일 수 있게 된다.
(a)와 (b)는 정합 수행 전 두 영상의 엇갈림을 나타내고, (c)와 (d)는 수동으로 특징점을 선택하여 정합을 수행한 결과^[5]를, 그리고 (e)와 (f)는 제안하는 영상 정합의 결과이다. 기존의 수동 정합 기법은 대응쌍을 선택하는 것에 따라 정합 결과가 달라지며 사용자가 대응쌍을 선택해야 하는 반면에, 자동 정합 기법은 대응쌍을 자동으로 선별하면서도 더 큰 정규 상호 정보량을 갖고 정합이 효과적으로 수행되는 것을 확인할 수 있다. 영상 B의 경우 수동 정합(d)를 수행하였을 때 오히려 정규 상호 정보가 감소하기도 하지만 제안한 기법의 경우 모두 가장 큰 정규 상호 정보량을 얻는다.
실험 결과를 통해 밝기값 정보가 다른 적외선 및 가시광선 영상에 대해 영상정합이 자동으로 이루어지는 것을 확인하였으며, 제안하는 기법을 통해 잘못된 대응 특징점이 효과적으로 제거됨을 보여 주었다. 또한 기존의 수동 정합 기법에 비해서 더 큰 정규 상호 정보량을 얻으며, 더 정확한 정합을 수행할 수 있음을 확인하였다.
또 그 중에서 신뢰도가 높은 점들을 선별하여 영상변환 모델을 결정함으로써, 연산량을 줄이고 영상정합의 강인성을 높이도록 하였다. 실험 결과를 통해 밝기값 정보가 다른 적외선 및 가시광선 영상에 대해 영상정합이 자동으로 이루어지는 것을 확인하였으며, 제안하는 기법을 통해 잘못된 대응 특징점이 효과적으로 제거됨을 보여 주었다. 또한 기존의 수동 정합 기법에 비해서 더 큰 정규 상호 정보량을 얻으며, 더 정확한 정합을 수행할 수 있음을 확인하였다.
결정된 대응 특징점들을 통해서 제안된 변환 모델 업데이트가 수행된다. 이 때 대응 특징점들은 영상 A의 경우 51개, B의 경우 40개가 추출 되었으며, 변환 모델 업데이트를 수행하기 위해 신뢰도가 높은 20개의 대응쌍을 선별하고, 제안하는 변환 행렬 업데이트 과정을 통해 각각 2번, 1번의 반복 과정만을 거친 후 정합이 종료 되었다. Fig.
5는 제안하는 정합 기법을 이용하여 정합된 결과 영상을 웨이블렛 변환을 이용한 영상 융합 기법^[9]을 이용하여 하나의 영상으로 표현한 결과이다. 제안하는 영상 정합을 통해 IR과 CCD 영상의 특징들이 잘 정렬되어 하나의 영상에 표현되었음을 확인 할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영상정합이란 무엇인가?	영상정합은 같은 장면이나 물체에 대한 두 개 이상의 영상들의 위치 관계를 대응 시켜주는 과정으로써 다중 영상을 이용한 융합 시스템에서 핵심적인 부분을 차지한다. 영상정합의 대상이 되는 영상들은 단일 센서를 이용하여 시차를 두어 획득한 영상들, 서로 다른 시점에서 획득한 영상들, 혹은 서로 다른 여러 개의 센서로부터 획득된 특성이 다른 영상들에 이르기까지 다양하다[1].
	영상정합의 두가지 방법은 무엇이 있는가?	정합 방법에 따라 영상정합은 크게 두 가지로 분류할 수 있다[2]. 하나는 특징기반 정합 기법이고 다른 하나는 영상기반 정합 기법이다. 특징기반 정합 기법은 정합 하고자 하는 두 영상의 특징량을 추출하고, 추출된 특징량의 공통된 특성 정보를 이용하여 대응 관계를 설정하여 두 영상을 정렬시키는 방법이다. 특징 기반의 정합에 사용하는 특징들로는 특징점, 외곽선 특징, 모서리, 방향성 모서리와 그레디언트 등이 있다. 특징 기반의 정합인 경우 적은 연산량으로 특징을 추출하여 영상정합을 수행할 수 있다는 장점이 있지만, 두 영상에서 추출한 영상 특징점의 정확도가 영상정합의 성능에 많은 영향을 주게 된다. 반면에 영상 기반 정합 기법은 영상의 개별적인 특징을 이용하는 것이 아니라, 영상 전체 화소의 밝기 값의 분포를 이용하여 영상정합을 수행하는 방법으로 상호정보와 정규 상호정보를 이용하는 방법이 있다[3].
	다중센서를 이용한 영상융합 시스템이 활용되는 분야는 무엇이 있는가?	최근 다중센서를 이용한 영상융합 시스템 및 이를 활용한 응용 분야에 대한 연구가 활발히 진행되고 있다. 의료 분야에서 CT, MRI, PET 등의 상호 보완적인 영상정보들을 융합하여 정밀하고 정확한 진단을 내릴 수 있는 도구로 이용하고 있으며, 국방 산업에서 CCD 센서와 적외선 센서 등 서로 다른 파장 대역의 센서 정보를 융합하여 물체 인식 및 추적 시스템의 신뢰성및 정확성을 높이는데 이용하는 경우도 있다.

참고문헌 (9)

B. Zitova and J. Flusser, 'Image Registration Methods : A Survey,' Image and Vision Computing, pp. 977-1000, 2003
K. Kim, J. Lee, and J. Ra, 'Robust Multi-Sensor Image Registration by Enhancing Statistical Correlation', 7th International Conference on Information Fusion, FUSION, pp. 380-386, 2005
J. P. W. Pluim, J. B. A., Maintz, and M. A., Viergever, 'Mutual-Information-Based Registration of Medical Images : A Survey,' IEEE Transactions on Medical Imaging Vol. 22 No. 8, pp. 986-1004, 2003

상세보기
M. Irani and P. Anandan, 'Robust Multi-Sensor Image Alignment', Proceedings of IEEE International Conference on Computer Vision, pp. 959-966, 1998
J. Jung, W. Choi, D. Park, C. Park, and J. Lee, 'Automatic Extraction of Corresponding-Points for Image Registration,' Proceedings of SPIE, Vol. 6974, 2008
C. Harris and M. J. Stephens, 'A Combined Corner and Edge Detector', Alvey Vision Conference, pp. 147-151, 1988
F. Shen and H. Wang, 'A Local Edge Detector Used for Finding Corners', Proceedings of 3th International Conference on Information and Communication Security, pp. 1-4, 2001
D. G. Lowe, 'Distinctive Image Features from Scale- Invariant Keypoints', International Journal of Computer Vision, Vol. 60, No. 2, 2004.

상세보기
V. S., Petrovic and C. S., Xydeas, 'Gradient-Based Multiresolution Image Fusion', IEEE Transactions on Image Processing, Vol. 13, No. 2, pp. 228-237, 2004.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증