최근 고성능 디지털 카메라의 발전으로 영상을 쉽게 획득하고, 많은 곳에서 활용하고 있다. 그 중에서 영상을 정합하여 사용하는 이미지 스티칭 방법에 대한 많은 연구가 진행되고 있다. 이미지 스티칭은 위성이나 정찰기 등의 군사용 목적 및 의료 영상, 지도 등의 컴퓨터 비전 분야 등에서 활용할 수 있다. 본 논문에서는 영상에서 특징점을 추출하고 이를 정합하는 과정에서 의미 있는 특징점을 분류하고 이를 사용하는 향상된 SURF 알고리즘 기반의 고속 이미지 스티칭 방법을 제안한다. 여러 장의 영상에서 정합되는 부분을 찾기 위해 각각의 영상에서 특징점을 추출한다. 각각의 영상에서 추출된 특징점들 중 잡음 등과 같은 오류를 제거하여 의미 있는 특징점을 분류하고 이를 정합하여 연산 처리량을 줄임으로써 이미지 스티칭의 속도를 향상시켰다. 실험 결과 특징점 정합 속도 및 이미지 스티칭 속도가 기존의 알고리즘 보다 빠르면서도 자연스러운 영상을 생성할 수 있었다.
최근 고성능 디지털 카메라의 발전으로 영상을 쉽게 획득하고, 많은 곳에서 활용하고 있다. 그 중에서 영상을 정합하여 사용하는 이미지 스티칭 방법에 대한 많은 연구가 진행되고 있다. 이미지 스티칭은 위성이나 정찰기 등의 군사용 목적 및 의료 영상, 지도 등의 컴퓨터 비전 분야 등에서 활용할 수 있다. 본 논문에서는 영상에서 특징점을 추출하고 이를 정합하는 과정에서 의미 있는 특징점을 분류하고 이를 사용하는 향상된 SURF 알고리즘 기반의 고속 이미지 스티칭 방법을 제안한다. 여러 장의 영상에서 정합되는 부분을 찾기 위해 각각의 영상에서 특징점을 추출한다. 각각의 영상에서 추출된 특징점들 중 잡음 등과 같은 오류를 제거하여 의미 있는 특징점을 분류하고 이를 정합하여 연산 처리량을 줄임으로써 이미지 스티칭의 속도를 향상시켰다. 실험 결과 특징점 정합 속도 및 이미지 스티칭 속도가 기존의 알고리즘 보다 빠르면서도 자연스러운 영상을 생성할 수 있었다.
Recently, we can easily create high resolution images with digital cameras for high-performance and make use them at variety fields. Especially, the image stitching method which adjusts couple of images has been researched. Image stitching can be used for military purposes such as satellites and rec...
Recently, we can easily create high resolution images with digital cameras for high-performance and make use them at variety fields. Especially, the image stitching method which adjusts couple of images has been researched. Image stitching can be used for military purposes such as satellites and reconnaissance aircraft, and computer vision such as medical image and the map. In this paper, we have proposed fast image stitching based on improved SURF algorithm using meaningful features in the process of images matching after extracting features from scenery image. The features are extracted in each image to find out corresponding points. At this time, the meaningful features can be searched by removing the error, such as noise, in extracted features. And these features are used for corresponding points on image matching. The total processing time of image stitching is improved due to the reduced time in searching out corresponding points. In our results, the processing time of feature matching and image stitching is faster than previous algorithms, and also that method can make natural-looking stitched image.
Recently, we can easily create high resolution images with digital cameras for high-performance and make use them at variety fields. Especially, the image stitching method which adjusts couple of images has been researched. Image stitching can be used for military purposes such as satellites and reconnaissance aircraft, and computer vision such as medical image and the map. In this paper, we have proposed fast image stitching based on improved SURF algorithm using meaningful features in the process of images matching after extracting features from scenery image. The features are extracted in each image to find out corresponding points. At this time, the meaningful features can be searched by removing the error, such as noise, in extracted features. And these features are used for corresponding points on image matching. The total processing time of image stitching is improved due to the reduced time in searching out corresponding points. In our results, the processing time of feature matching and image stitching is faster than previous algorithms, and also that method can make natural-looking stitched image.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
반대로 군집 지역에서 벗어난 영역에서 추출된 특징점들은 잡음 등으로 분류되거나 정합과정에서 불필요한 연산을 가중 시키는 의미 없는 특징점으로 간주할 수 있다. 본 논문에서는 주변 환경의 변화에 강인하면서도 비중이 높은 특징점들을 선별하여 정합점을 추출할 수 있는 적응적 클러스터링 필터를 적용한 고속 이미지 스티칭 방법을 제안하였다.
반면에 추출된 특징점의 개수가 적으면 빈약한 정보로 인하여, 특징점 기술자의 생성이 어렵고 서로 대응되는 특징점을 찾기 어려워지므로 정확한 정합을 수행할 수 없는 문제점이 발생한다. 본 논문에서는 추출된 특징점에 대해 클러스터링 필터를 적용하여 불필요한 특징점을 제거함으로서 의미 있는 특징점만을 이용한 향상된 SURF 기반의 고속 이미지 스티칭 기법을 제안한다.
제안 방법
비교 대상은 기존의 SURF 방법으로 특징점 추출에 따른 특징점 추출 시간 및 특징점 정합 시간을 비교하였다. 또한 정확한 이미지 스티칭의 성능을 평가하기 위해서 동일한 영상 데이터 세트로 영상을 정합하는 총 수행 시간을 측정하였다.
SIFT 방법은 Lowe에 의해 제안 되었으며, 객체의 크기, 회전, 투영 변환 및 조명 변화 등에 강인함을 갖는 지역적 특성 벡터들의 집합으로 변환하는 방법이다[9]. 영상에서 특징이 되는 특징점을 찾기 위해 영상을 피라미드 형식으로 스케일 공간을 생성하고 이를 가우시안 함수를 적용하여, 차분 영상에서 최대값 또는 최저값을 추출하여 후보 특징점으로 선정한다. 이렇게 얻어진 다양한 레벨의 스케일 영상에서 DoG(Difference of Gaussian) 함수를 계산한다.
군집되지 않은 특징점은 영상에서 잡음 등으로 간주되므로 정합과정에서 불필요한 연산을 가중시키는 결과를 초래하게 된다. 제안한 클러스터링 필터를 통한 의미 있는 특징점들을 추출하기 위해서는 필터 내에 존재하는 특징점들의 개수 및 밀집도를 계산하여 특징점으로 사용 여부를 결정하고 이를 통하여 특징점 기술자를 생성한다. 수식 (6)과 (7)은 추출된 특징점 중에서 의미 있는 특징점들을 분류하기 위해서 사용된다.
대상 데이터
본 논문에서 제안한 방법을 적용한 이미지 스티칭 방법에 대하여 실험하기 위해 사용된 시스템은 코어 i5 2.3GHz, 메모리 4GB RAM을 사용하였으며, 운영체제는 Windows 7 환경에서 Visual Studio 2008을 이용하여 구현하였다. 실험을 위해 사용된 영상 데이터 세트(Image Data Set)는 VisualSize에서 제공하는 영상을 사용하였다[17].
본 논문에서 특징점을 분류하기 위해서 사용한 클러스터링 필터의 크기는 21x21을 사용하였으며, 필터내부에 존재 하는 특징점 개수는 전체 화소수의 약 1/8인 50개를 임계치로 사용하였다. 또한 필터내에 존재하는 특징점간의 밀집도에 대한 임계치는 7로 설정하여 사용하였다.
3GHz, 메모리 4GB RAM을 사용하였으며, 운영체제는 Windows 7 환경에서 Visual Studio 2008을 이용하여 구현하였다. 실험을 위해 사용된 영상 데이터 세트(Image Data Set)는 VisualSize에서 제공하는 영상을 사용하였다[17]. 영상에 따라 자연 경관 및 도심 경관, 단순한 영상 및 복잡한 영상 등으로 구성되어 있다.
데이터처리
비교 대상은 기존의 SURF 방법으로 특징점 추출에 따른 특징점 추출 시간 및 특징점 정합 시간을 비교하였다. 또한 정확한 이미지 스티칭의 성능을 평가하기 위해서 동일한 영상 데이터 세트로 영상을 정합하는 총 수행 시간을 측정하였다.
두 영상을 비교하였을 때 정합된 영상이 거의 유사한 결과를 보여 주는 것을 알 수 있다. 정확한 차이를 수치적으로 나타내기 위해서 기존의 방법인 SURF와 제안한 방법의 이미지 스티칭 영상을 PSNR(Peak Signal to Noise Ratio)를 사용하여 비교하였다.
성능/효과
(그림 7)에서 나타나듯이 기존의 알고리즘과 비교하여 제안한 알고리즘의 성능을 나타내고 있다. No.1 영상에서 제안한 알고리즘은 특징점 추출 시간(FT)에서 0.43초 증가하여 약 8.4% 증가된 결과를 보이지만 정합점 추출 시간(MT)에서는 5.24초 감소하여 약 34.2% 감소된 결과를 보이고 있다. 또한 이미지 스티칭 시간(ST)에서는 8.
3% 감소된 결과를 보여주고 있다. 다른 영상들에서도 동일한 결과를 보여주어 평균 특징점 추출 시간은 2.44초 증가하여 약 29.9% 증가된 결과를 보여주지만 정합점 추출 시간과 이미지 스티칭 시간은 각각 14.47초, 19.96초가 감소하여 약 61.1%와 26.7% 감소된 결과를 보여주고 있다.
이때, 헤이시안 행렬 기반의 추출기에서 가우시안 2차 미분을 사용하지 않고 근사화된 박스 필터를 사용한다. 따라서 근사화된 헤이시안 행렬 기반의 추출기를 사용하여 원본 영상의 스케일은 변화시키지 않고 박스 필터의 크기만 증가시켜 다양한 스케일 변화에 강인한 특징점을 추출할 수 있다. 헤이시안 행렬은 2차 미분된 가우시안 필터와 회선 연산을 통하여 얻을 수 있으며, 수식 (2)와 같이 나타낼 수 있다[14,15]
일반적으로 특징점을 추출하는 시간 보다는 특징점을 정합하는 시간이 이미지 스티칭에서 비중이 높다. 따라서 특징점 추출에서 추가되는 시간 비용보다 특징점 정합에서 보상 받는 시간 비용이 크기 때문에 전체적인 이미지 스티칭 수행 시간은 줄어들어 제안한 방법이 효과적인 이미지 스티칭을 수행함을 알 수 있었다.
실험 결과를 보면 기존의 방법보다 제안한 방법이 특징점을 추출한 후에 특징점의 밀집도 및 개수를 비교하기 때문에 전체 특징점 추출 과정에서 보다 많은 시간을 소비하지만 의미 있는 특징점만을 사용하기 때문에 특징점 정합 속도는 크게 향상되어 전체 영상의 정합 시간을 단축하는 성능을 보여주었다. 일반적으로 특징점을 추출하는 시간 보다는 특징점을 정합하는 시간이 이미지 스티칭에서 비중이 높다.
후속연구
본 연구를 통하여 제안된 특징점 추출 방법을 다른 기법들과 함께 조합하면 보다 향상된 성능을 추구할 수도 있다. 향후 연구 과제로 여러 장의 영상에서 정합된 영상을 기반으로 한 객체 추출, 추적 및 감시하는 기법에 대한 연구가 요구된다.
본 연구를 통하여 제안된 특징점 추출 방법을 다른 기법들과 함께 조합하면 보다 향상된 성능을 추구할 수도 있다. 향후 연구 과제로 여러 장의 영상에서 정합된 영상을 기반으로 한 객체 추출, 추적 및 감시하는 기법에 대한 연구가 요구된다.
질의응답
핵심어
질문
논문에서 추출한 답변
SIFT 방법이란 무엇인가?
이미지 스티칭에서 특징점을 추출하기 위해서 사용되는 방법은 SIFT, PCA-SIFT 및 SURF 등이 가장 많이 사용되고 있다[8]. SIFT 방법은 Lowe에 의해 제안 되었으며, 객체의 크기, 회전, 투영 변환 및 조명 변화 등에 강인함을 갖는 지역적 특성 벡터들의 집합으로 변환하는 방법이다[9]. 영상에서 특징이 되는 특징점을 찾기 위해 영상을 피라미드 형식으로 스케일 공간을 생성하고 이를 가우시안 함수를 적용하여, 차분 영상에서 최대값 또는 최저값을 추출하여 후보 특징점으로 선정한다.
이미지 스티칭이란 무엇인가?
이미지 스티칭은 원하는 경치 및 지역을 고해상도의 여러 장의 영상으로 분할하여 생성하고 중첩된 부분을 정합하여 한 장의 고해상도 영상으로 생성하는 방법이다[4]. 이러한 이미지 스티칭 시스템은 (그림 1)과 같은 과정으로 이루어진다.
영상 복잡도에 따라 발생될 수 있는 문제점을 해결하기 위해 적응적으로 클러스터 필터를 이용하는 이유는 무엇인가?
이러한 영상에서 클러스터 필터를 적용하더라도 제거되는 특징점의 수가 거의 없어 영상의 밀집도가 높다. 결과적으로 특징점의 개수가 임계치보다 많으면 클러스터링 필터를 통한 특징점 분류가 의미 없어질 뿐만 아니라, 오히려 특징점을 분류하기 위한 연산만을 가중시키게 된다. 반대로 단순한 영상에서는 전체 특징점의 개수가 적고 밀집도 또한 낮기 때문에 클러스터 필터를 통한 회선 연산을 수행하면 의미 있는 특징점도 제거되어 정보가 많이 없어지게 될 수 있다. 따라서 영상 복잡도에 따라 발생될 수 있는 문제점을 해결하기 위해서 특징점이 많을 때와 적을 때에 대한 임계치를 적용하여 적응적으로 클러스터 필터를 이용한다.
참고문헌 (17)
Q. Zhao, "Summary of Virtual Reality", Chinese Science, Jan., 2009.
S. J. Ha, et al., "Panorama mosaic optimization for mobile camera systems", IEEE Trans. Consumer Electronics, Vol.53, No.4, pp.1217-1225, Aug., 2007.
C. Tang and Y. Dong, "Automatic Registration based on Improved SIFT for Medical Microscopic Sequence Images", Second International Symposium on Intelligent Information Technology Application, Vol.1, pp.580-583, 2008.
E. Rosten and T. Drummond, "Machine Learning for High-Speed Corner Detection", Computer Vision - ECCV 2006, Lecture Notes in Computer Science, Vol.3951, pp.430-443, 2006.
D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.