[논문]빠른 특징점 기술자 추출 및 정합을 이용한 효율적인 이미지 스티칭 기법

이상범

doi:10.3745/ktsde.2013.2.1.065

빠른 특징점 기술자 추출 및 정합을 이용한 효율적인 이미지 스티칭 기법
Efficient Image Stitching Using Fast Feature Descriptor Extraction and Matching 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.2 no.1, 2013년, pp.65 - 70

초록
AI-Helper

최근 디지털 카메라 기술의 발전으로 이미지를 쉽게 생성할 수 있어 이를 활용한 컴퓨터 비전분야의 연구가 활발하게 진행되고 있다. 특히 디지털 이미지에서 특징점을 추출하고 이를 활용하는 연구가 활발하게 진행되고 있다. 이미지 스티칭은 여러 이미지에서 특징점을 추출하고 이를 정합하여 하나의 고해상도 이미지를 생성하는 것으로 군사용, 의료용뿐만 아니라 실생활의 다양한 분야에서 활용되고 있다. 본 논문에서는 특징점 기술자의 차원을 효과적으로 감소시켜 정확하면서도 빠르게 정합점을 찾을 수 있는 SURF 기반의 빠른 특징점 기술자 추출 및 정합을 이용한 효율적인 이미지 스티칭 기법을 제안한다. 추출된 특징점에서 불필요한 특징점을 분류하여 특징점 기술자를 생성한다. 이때 특징점 기술자의 연산량을 줄이면서도 효율적인 정합을 위해 기술자의 차원을 줄이고 방향 윈도우를 확장하였다. 실험 결과 특징점 정합 및 전체 이미지 스티칭 속도가 기존의 알고리즘보다 빠르면서도 자연스러운 스티칭된 이미지를 생성할 수 있었다.

Abstract ▼ AI-Helper

Recently, the field of computer vision has been actively researched through digital image which can be easily generated as the development and expansion of digital camera technology. Especially, research that extracts and utilizes the feature in image has been actively carried out. The image stitching is a method that creates the high resolution image using features extract and match. Image stitching can be widely used in military and medical purposes as well as in variety fields of real life. In this paper, we have proposed efficient image stitching method using fast feature descriptor extraction and matching based on SURF algorithm. It can be accurately, and quickly found matching point by reduction of dimension of feature descriptor. The feature descriptor is generated by classifying of unnecessary minutiae in extracted features. To reduce the computational time and efficient match feature, we have reduced dimension of the descriptor and expanded orientation window. In our results, the processing time of feature matching and image stitching are faster than previous algorithms, and also that method can make natural-looking stitched image.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

정보의 손실을 감소시키기 위해서 특징점에 대한 주 방향을 찾는 방향 윈도우의 크기를 확장하여 방향 정보의 손실을 줄일 수 있다. 따라서 본 논문에서는 차원 축소를 인하여 속도가 향상되고 방향 윈도우의 확장으로 정확한 기술자를 생성할 수 있는 향상된 특징점 기술자 생성을 제안한다.
본 논문에서는 의미 있는 특징점을 이용한 고속 이미지 스티칭 기법을 확장하였다[11]. 선별된 특징점을 통해 기술자의 차원을 축소하여 연산량을 감소시키고, 방향 윈도우 크기를 확장하여 정확한 방향 정보를 추출 함으로써 빠르면서도 효율적인 이미지 스티칭할 수 있는 기법을 제안한다.
이때 주변 환경의 변화 및 스케일 변화에 강인하면서도 효율적인 특징점 기술자 생성이 필요하다. 본 논문에서는 특징점 기술자의 차원을 줄여 속도를 향상 시켰다. 이때 차원 축소로 인하여 손실되는 정보는 방향 윈도우의 크기를 확장함으로써 보다 많은 정보를 활용하여 주 방향을 계산하여 정보 손실을 감소 시키는 알고리즘을 제안하고 있다.
SURF 알고리즘의 기술자는 64차원으로 성능은 우수하나 실시간으로 사용하기에는 느린 단점을 가지고 있다[12]. 이러한 문제를 해결하기 위해서 본 논문에서는 특징점 기술자의 차원을 축소하여 속도를 향상시킬 수 있다. 그러나 축소된 차원으로 인해서 정보의 손실이 발생하게 되어 정확한 특징점 기술자 생성이 어려워지게 된다.

제안 방법

기술자 생성에 앞서 먼저 위치가 결정된 특징점들이 회전에 불변하는 특성을 갖기 위해 특징점에서 방향 정규화를 수행한다. 방향 정규화에서는 주방향을 찾기 위해 탐지된 특징점들을 중심으로 특징점이 찾아진 스케일 공간의 스케일 정보 ‘s’를 사용한다.
또한 기존의 알고리즘과 제안한 알고리즘의 속도 향상을 보여주기 위해서 특징점 추출에 따른 특징점 추출 시간, 특징점 정합 시간을 서로 비교하였다. 뿐만 아니라 정확한 이미지 스티칭의 성능을 평가하기 위해서 동일한 데이터 세트로 이미지를 정합하는데 소요되는 전체 이미지 스티칭 시간을 측정하였다.
또한 기존의 알고리즘과 제안한 알고리즘의 속도 향상을 보여주기 위해서 특징점 추출에 따른 특징점 추출 시간, 특징점 정합 시간을 서로 비교하였다. 뿐만 아니라 정확한 이미지 스티칭의 성능을 평가하기 위해서 동일한 데이터 세트로 이미지를 정합하는데 소요되는 전체 이미지 스티칭 시간을 측정하였다.
두 번째는 추출된 관심점 주변을 특징 벡터로 표현하여 특징점 기술자를 생성한다. 생성된 특징점 기술자를 이용하여 입력 이미지와 참조 이미지에서 관심점과 대응되는 정합점을 찾는다. 대응되는 정합점을 찾기 위해서 기술자 사이의 거리 정보를 활용한다.
본 논문에서는 의미 있는 특징점을 이용한 고속 이미지 스티칭 기법을 확장하였다[11]. 선별된 특징점을 통해 기술자의 차원을 축소하여 연산량을 감소시키고, 방향 윈도우 크기를 확장하여 정확한 방향 정보를 추출 함으로써 빠르면서도 효율적인 이미지 스티칭할 수 있는 기법을 제안한다.
이때 60º 도의 방향 윈도우를 사용하지 않고 보다 많은 정보를 활용하여 주 방향을 계산하기 위해서 방향 윈도우를 90º 로 확장하여 측정하였다.

대상 데이터

본 논문에서 빠른 특징점 추출 및 정합을 이용한 효율적인 이미지 스티칭 기법에 대한 성능 평가를 위해서 다양한 이미지 데이터 세트(Image Data Set)를 사용하였다. 이미지 데이터 세트는 VisualSize에서 제공하는 이미지를 사용하였다[16].
이미지 스티칭 결과에 대한 정확한 수치적 차이를 보여주기 위해 기존의 방법인 SURF(a)에 대해 Clustering-SURF 방법(b)과 제안한 방법(c)의 PSNR(Peak Signal to Noise Ratio)을 측정하였다. 본 논문에서 사용하는 영상은 RGB 칼라 영상으로 각각의 R, G, B에 대하여 PSNR을 계산하고 이에 대한 평균값을 사용하였다. 수식 (2)은 PSNR을 계산하는 방법을 나타내고 있으며 수식(3)는 평균제곱오차를 나타내고 있다.
본 논문에서 빠른 특징점 추출 및 정합을 이용한 효율적인 이미지 스티칭 기법에 대한 성능 평가를 위해서 다양한 이미지 데이터 세트(Image Data Set)를 사용하였다. 이미지 데이터 세트는 VisualSize에서 제공하는 이미지를 사용하였다[16]. 또한 사용된 시스템은 i5 2.

성능/효과

실험 결과에서 나타나듯이 전체적인 이미지 스티칭 시간이 SURF 보다는 크게 향상되었지만, C-SURF 보다는 약간 향상되었다. 그러나 PSNR 에서는 C-SURF 보다 향상되어 제안한 알고리즘이 기존의 방법보다 결과 이미지의 개선뿐만 아니라 속도적인 측면에서도 향상된 것을 알 수 있다.
8% 감소되어 전체적으로 향상된 것을 알 수 있다. 그리고 이미지 스티칭 시간(ST)은 SURF, C-SURF 및 제안한 알고리즘에서는 각각146.9초, 113.6초 및 111.3초로 나타난다. 따라서 이미지 스티칭 시간은 SURF 보다는 24.
3초로 나타난다. 따라서 이미지 스티칭 시간은 SURF 보다는 24.2% 감소하고 C-SURF 보다는 2.0% 감소되어 전체적으로 향상된 것을 알 수 있다.
9초로 나타난다. 따라서 정합점 추출 시간 은 SURF 보다는 50.5% 감소하고 C-SURF 보다는 2.8% 감소되어 전체적으로 향상된 것을 알 수 있다. 그리고 이미지 스티칭 시간(ST)은 SURF, C-SURF 및 제안한 알고리즘에서는 각각146.
4초로 나타난다. 따라서 특징점 추출 시간은 SURF 보다는 15.1% 증가되지만 C-SURF 보다는 16.1% 감소되어 C-SURF 보다는 향상된 것을 알 수 있다. 또한 정합점 추출 시간(MT)은 SURF, C-SURF 및 제안한 알고리즘에서는 각각46.
1% 감소되어 C-SURF 보다는 향상된 것을 알 수 있다. 또한 정합점 추출 시간(MT)은 SURF, C-SURF 및 제안한 알고리즘에서는 각각46.3초, 23.5초 및 22.9초로 나타난다. 따라서 정합점 추출 시간 은 SURF 보다는 50.
실험 결과를 보면 기존의 C-SURF 방법보다 제안한 방법이 특징점 기술자의 차원을 축소 시켜 연산량을 줄일 수 있었으며, 또한 방향 윈도우의 크기를 확장함으로써 정확한 정합점을 찾을 수 있어 제안한 알고리즘이 빠르면서도 효율적인 이미지 스티칭을 수행함을 알 수 있었다.
실험 결과에서 나타나듯이 전체적인 이미지 스티칭 시간이 SURF 보다는 크게 향상되었지만, C-SURF 보다는 약간 향상되었다. 그러나 PSNR 에서는 C-SURF 보다 향상되어 제안한 알고리즘이 기존의 방법보다 결과 이미지의 개선뿐만 아니라 속도적인 측면에서도 향상된 것을 알 수 있다.
또한 X_i와 Y_i는 입력 영상과 대응 영상의 i번째 데이터를 표현하고 있다. 실험 결과에서 알 수 있듯이 기존의 SURF방법에 대해 Clustering-SURF 방법보다는 제안한 방법의 PSNR이 향상된 것을 알 수 있다. Table 1은 기존의 알고리즘과 제안한 알고리즘과의 PSNR을 비교한 결과를 나타내고 있다.
Table 2에서 알 수 있듯이 기존의 알고리즘과 비교하여 제안한 알고리즘이 향상된 성능을 보여주고 있다. 실험 이미지의 평균 특징점 추출 시간(FT)은 SURF, C-SURF 및 제안한 알고리즘에서는 각각10.8초, 14.8초 및 12.4초로 나타난다. 따라서 특징점 추출 시간은 SURF 보다는 15.

후속연구

향후 연구 과제로는 CCTV등과 같은 감시 장비로부터 받아들인 이미지를 스티칭하여 실시간으로 객체 추출, 추적 및 감시하는 기법에 대한 연구가 요구된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	이미지 스티칭이란 무엇인가?	그 중에서도 특히 이미지 스티칭 기법은 영상처리 분야에서 많은 관심을 가지고 있는 연구 분야이다. 이미지 스티칭은 두 개 이상의 이미지에서 중첩된 부분을 서로 정합하여 넓은 화각을 가지고 있는 하나의 고해상도 이미지를 생성하는 방법이다[1,2,3]. 일반적으로 이미지 스티칭 기법은 항공 및 위성으로부터 얻어진 이미지를 정합하여 정찰 등의 군사적 목적으로 사용되고 있다.
	이미지 스티칭에서 핵심적인 부분은 무엇인가?	이미지 스티칭에서 핵심적인 부분은 여러 이미지에서 중첩된 부분을 찾고 중첩된 부분에서 각각의 이미지에 대한 상호관계를 도출하는 것이다[4,5]. 상호관계 도출을 위해서는 입력 이미지에서 정확한 특징점을 찾고 다른 이미지에서 대응되는 정합점을 찾는 것이 가장 중요하다.
	이미지 스티칭은 어떤 분야에 활용되고 있는가?	일반적으로 이미지 스티칭 기법은 항공 및 위성으로부터 얻어진 이미지를 정합하여 정찰 등의 군사적 목적으로 사용되고 있다. 뿐만 아니라 가상 현실 인식, 물체 인식 및 의료 분야에서도 다양하게 활용되고 있다.

참고문헌 (16)

R. Szeliski, "Image alignment and stitching: A tutorial", Preliminary draft, Jan., 2005.
P. F. McLauchlan, A. Jaenicke, "Image mosaicing using sequential bundle adjustment", Image Vision Computer, Vol.20, No.9-10, pp.751-759, Aug., 2002.

상세보기
J. P. Snyder, "Geometry of mapping satellite", PE&RS, Vol.48, No.10, pp.1593-1602, 1982.
C. Y. Chen and R. Klette, "Image stitching: comparisons and new techniques", Computer Analysis of Images and Patterns, pp.615-622, 1999.
E. Vincent, R. Laganiere, "An empirical study of some feature matching strategies", Vision Interface, pp.139-145, 2002.
L. Juan and O. Gwun "A Comparison of SIFT, PCA-SIFT and SURF", IJIP, Vol.3, Issue 4, 2009.
E. Rosten and T. Drummond, "Machine Learning for High-Speed Corner Detection", Computer Vision - ECCV 2006, Lecture Notes in Computer Science, Vol.3951, pp. 430-443, 2006.
D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.

상세보기
Y. Ke and R. Sukthankar. "PCA-SIFT: A More Distinctive Representation for Local Image Descriptors", Proc. Conf. Computer Vision and Pattern Recognition, pp.511-517, 2004.
K. Mikolajczyk, C. Schmid, "A performance evaluation of local descriptors", PAMI27, pp.1615-1630, 2005.
H. Ahn, S. Rhee, "Fast Image Stitching Based on Improved SURF Algorithm Using Meaningful Features", The KIPS Transaction:Part B, Vol.19B, No.2, pp.93-98, April, 2012.

원문보기 상세보기
H. Bay, T. Tuytelaars. "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol.110, No.3, pp.346-359, 2008.

상세보기
M. Brown, D. Lowe, "Invariant features from interest point groups", In BMVC, 2002.
T. Schenk, Digitalphotogrammetry, Terrascience, 1999.
P. Viola, M. Jones, "Rapid object detection using a boosted cascade of simple feature". In CVPR(1), pp.511-518, 2001.
Image Data Set, http://www.visualsize.com/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증