[논문]특징점 추적을 통한 다수 영상의 고속 스티칭 기법

박시영; 김종호; 유지상

doi:10.5909/jbe.2015.20.5.728

[국내논문] 특징점 추적을 통한 다수 영상의 고속 스티칭 기법
Fast Stitching Algorithm by using Feature Tracking 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.20 no.5, 2015년, pp.728 - 737

박시영 (광운대학교 전자공학부) , 김종호 (광운대학교 전자공학부) , 유지상 (광운대학교 전자공학부)

초록
AI-Helper

스티칭 기법은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들간의 정합 과정을 통해 하나의 영상으로 만드는 것이다. 각각의 특징점은 128 차원의 정보를 가지고 있고, 특징점의 개수가 증가 할수록 데이터 처리 시간이 증가하게 된다. 본 논문에서는 비디오 영상을 입력 했을 때 고속 파노라마 생성을 위한 특징점 추출 및 정합 기법을 제안한다. 빠른 속도로 특징점 추출을 위해서 FAST(Features from Accelerated Segment Test) 기법을 사용한다. 특징점 정합과정은 기존의 방법과는 다른 새로운 방법을 제안한다. Mean shift를 통해 특징점이 포함된 영역을 추적하여 벡터(vector)를 구하고 이 벡터를 사용하여 추출한 특징점들을 정합하는데 사용한다. 마지막으로 이상점(outlier)을 제거하기 위해 RANSAC(RANdom Sample Consensus) 기법을 사용한다. 입력된 두 영상의 호모그래피(homography) 변환 행렬을 구하여 하나의 파노라마 영상을 생성한다. 실험을 통해 제안하는 기법이 기존의 기법보다 속도가 향상되는 것을 확인하였다.

Abstract ▼ AI-Helper

Stitching algorithm obtain a descriptor of the feature points extracted from multiple images, and create a single image through the matching process between the each of the feature points. In this paper, a feature extraction and matching techniques for the creation of a high-speed panorama using video input is proposed. Features from Accelerated Segment Test(FAST) is used for the feature extraction at high speed. A new feature point matching process, different from the conventional method is proposed. In the matching process, by tracking region containing the feature point through the Mean shift vector required for matching is obtained. Obtained vector is used to match the extracted feature points. In order to remove the outlier, the RANdom Sample Consensus(RANSAC) method is used. By obtaining a homography transformation matrix of the two input images, a single panoramic image is generated. Through experimental results, we show that the proposed algorithm improve of speed panoramic image generation compared to than the existing method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 파노라마 영상을 생성하기 위하여고속의스티칭기법을새롭게제안한다. data-checked="false">입력이비디오영상일경우생기는문제를해결하기위하여아래와같은방법을제 안한다.
본논문에서는비디오영상이입력으로들어올경우기존에사용하는방법대신수행시간을줄이기위한새로운 스티칭기법을제안하였다. 제안하는 기법에서는 비디오 영상은 프레임 간에움직임이많이없다고가정하였다.
기존의기법으로특징점을정합하는과정에걸리는수행 시간을위에서언급한두가지조건을가지고계산한다면 오랜수행시간이필요하다. 본논문에서는특징점정합에필요한수행시간을 줄이기 위한 방법을 제안한다. 일반적으로 영상에서 물체를 추적하는 알고리즘은 Optical flow^[12], Mean shift^[7] 등여러가지기법이존재한다.

가설 설정

형성된원에걸쳐있는16개의화소들 (그림2에서원이지나는화소)과중심화소p의밝기값을 비교한다. 16개화소의밝기값과p 화소의 밝기 값의 차이가 임계 값(Threshold) 이상인 값들이 연속적으로 N 개 이상 존재할 경우중심의p 화소를특징점으로정의한다. data-checked="false">[6]에서는임계값을중심화소p의밝기값에따라가변적으로 적용하여밝기에무관하게특징점을추출할수있도록하였으며, N 이 9일 경우 특징점의 반복성(Repeatability)이가장높음을보인다.
가장 먼저 모든 화소 간의 상태를unknown으로지정한다. 이후그림3처럼먼저임의의화소p에대하여주변16 개의화소와비교과정을거친다.
제안하는 기법에서는 비디오 영상은 프레임 간에움직임이많이없다고가정하였다. 입력으로 들어온 영상에 대해 FAST 기법을 통해 빠른 시간 안에 특징점을 추출할 수 있었다.

제안 방법

SIFT의경우DoG(Difference Of Gaussian)^[5]을통해주변보다 밝기 값이 어둡거나 밝은 영역의 중앙의위치를찾아특징점을검출하고, 각각의 특징점에 대해 주변의 화소들을 이용하여 주방향성분과128 또는64 차원 벡터를 통해 디스크립터(Descriptor)를 형성한다. SURF의 경우 Haar wavelet^[5]을통해특징점을검출하고특징점의주변의값들을통해64 또는32 차원벡터를형성한다.
먼저 비디오 영상을 입력받고 FAST 기법을 이용하여 일정한 간격의 프레임에서 특징점을추출한다. 추출된특징점을기반으로mean shift data-checked="false">기법을적용하여이동방향을추적하고이결과를정합과정에 적용한다.
이문제를 해결하고자 결정 트리구조를 이용한다. 트리구조를 만들기 위해 우선 각각의 화소들의관계를4가지상태로구분한다.
형성된원에걸쳐있는16개의화소들 (그림2에서원이지나는화소)과중심화소p의밝기값을 비교한다. 16개화소의밝기값과p 화소의 밝기 값의 차이가 임계 값(Threshold) 이상인 값들이 연속적으로 N 개 이상 존재할 경우중심의p 화소를특징점으로정의한다.

대상 데이터

실험 영상은 각각 정수기와 건물이 포함된 영상이다. 실험환경eMicrosoft 사의Microsoft Visual Studio C++ 2010과OpenCV 2.
파노라마영상을생성하기위해본논문에서는1920x 1080 해상도의 Samsung 사의 갤럭시노트로 직접획득한비디오를실험영상으로사용한다. 실험 영상은 각각 정수기와 건물이 포함된 영상이다.

데이터처리

표 1은 특징점 추출을 위해 제안한 FAST와기존에주로사용하는SIFT의DoG와SURF의Haar wavelet 부분의수행시간을비교하고각기법에따라추출된특징점개수를비교한다. 기존의DoG와Haar wavelet를사용하는대신에 FAST를이용했을때수행시간을표1과같이줄일수있 다.

이론/모형

일차적으로 영상을 스티칭하기 위해 사용하는SIFT 또는SURF 대신에FAST 를사용하여수행시간을감소시킨다. data-checked="false">그리고비디오영상의경우앞뒤프레임간에움직임이작고조명변화측면에 서도많은차이가없는점을고려하여디스크립터정보를 이용한정합방법을대신하여, Mean shift 기법을 이용하여 특징점을 추적한다^[7]. data-checked="false">추적한방향을토대로앞뒤영상의전체적인이동방향을예측하여정합과정을진행함으로써 상당한시간을줄일수 있다.
일반적으로 영상에서 물체를 추적하는 알고리즘은 Optical flow^[12], Mean shift^[7] 등여러가지기법이존재한다. data-checked="false">제안한방법에서는일정한영역의히스토그램을이용하여이동 방향을추적하는기법인Mean shift를사용한다.
본논문에서제안하는고속의영상스티칭(Stitching) 기법의흐름도는그림1과같다. 먼저 비디오 영상을 입력받고 FAST 기법을 이용하여 일정한 간격의 프레임에서 특징점을추출한다.
실험 영상은 각각 정수기와 건물이 포함된 영상이다. 실험환경eMicrosoft 사의Microsoft Visual Studio C++ 2010과OpenCV 2.4.8 라이브러리를이용하여구현하고, 3.40GHz의인텔i5 쿼드코어 프로세서를 이용한다.
data-checked="false">행렬을구할네쌍의특징점들을선택하는과정에서이상점(Outher)이스티칭을하기위한 특징점쌍으로이용될경우잘못된호모그래피행렬을구 할 수 있다. 이러한이상점들을제거하기위하여RANSAC 기법을사용한다. RANSAC data-checked="false">기법은특징점들의쌍중에서무작위로4개의쌍을뽑아서호모그래피행렬을생성한후 이전프레임을호모그래피변환한다.
data-checked="false">영상의특징점을정합할경우서로모여있는특징점들을가지고디스크립터(descriptor)로사용 하거나정합과정을진행할때오류가생길확률이높아진다. 이를해결하고자NMS(Non Maxi- mum Suppression)방법을통해서모여있는특징점들중에서값이가장큰 하나의 특징점을 선택하게 된다. 특징점 하나를 선택하기 위해서는 각각의 특징점마다값을부여해주는과정이필요하다.
제안하는 기법에서는 비디오 영상은 프레임 간에움직임이많이없다고가정하였다. 입력으로 들어온 영상에 대해 FAST 기법을 통해 빠른 시간 안에 특징점을 추출할 수 있었다. 기존에사용하였던디스크립터생성과이를이용 한정합방법보다 mean data-checked="false">shift를이용한특징점영역의이동방향을추정하여두영상간의특 징점정합과정을수행하여기존의방식보다빠른속도를 얻을 수 있었다.
먼저 비디오 영상을 입력받고 FAST 기법을 이용하여 일정한 간격의 프레임에서 특징점을추출한다. 추출된특징점을기반으로mean shift data-checked="false">기법을적용하여이동방향을추적하고이결과를정합과정에 적용한다. 잘못정합된특징점을제거하기위해RANSAC 기법을적용한후두영상의호모그래피관계를구하여하 나의파노라마영상을생성하게된다.
data-checked="false">입력이비디오영상일경우생기는문제를해결하기위하여아래와같은방법을제 안한다. 한영상에서특징점을추출할수있는방법은다양한데그중FAST(Features from Accelerated Segment Test) 기법^[6]을이용한다. FAST는SIFT의DoG 방법이나SURF 의Haar wavelet 방식보다 특징점을 추출하는 속도 측면에서 월등하며, 특징점으로서 중요한 요소 중에 하나인 높은반복성(Repeatability)을가지고있다.

성능/효과

특징점정합과정의수행시간에영향을미치는주된요인 은특징점개수, 디스크립터차원과정합기법이될 수 있다. data-checked="false">SIFT와SURF에서사용하는기법은특징점정합을위해디스크립터를형성하고이를비교요소로사용하지만 제안한방법은입력이비디오영상일경우디스크립터를 사용하지않고이동방향을기반으로정합과정을수행하였 기때문에표2와같이빠른수행시간의결과를얻을수 있었다. 표 1에서 같은 특징점 추출기법이더라도 특징점추출개수가다름을볼 수 있다.
입력으로 들어온 영상에 대해 FAST 기법을 통해 빠른 시간 안에 특징점을 추출할 수 있었다. 기존에사용하였던디스크립터생성과이를이용 한정합방법보다 mean data-checked="false">shift를이용한특징점영역의이동방향을추정하여두영상간의특 징점정합과정을수행하여기존의방식보다빠른속도를 얻을 수 있었다.
정합하는과정에서생길수있는문제는FAST로추출한특징점들이가까운위치에존재할경우한영역안에다수 의특징점이존재할수있다는것이다. 이경우위에서구한 를통해가까운특징점과정합한다.

참고문헌 (13)

Y. J. Cho, J. M. Seok, S. Y. Lim, S. W. An, J. I Seo, and J. H. Chan, “Post-UHD Realistic media, high quality panoramic AV technology”, Electronics and Telecommunications Trends, vol. 20, no. 3, pp. 33-46, June 2014.
Y. J. Lee, Y. J. Joe, M. S. Ki, S. Y. Lim, H. G. Lee and J. H. Cha, “High quality human fusion type panorama services”, The Korean Institute of Communications and Information Sciences, vol. 28, no. 6, pp. 11-20, 2011, 5.
D. Lowe, “Distinctive image features from scale-invariant keypoints”, International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, November 2004.

상세보기
H. Bay, A. Ess, T. Tuytelaars, L. V. Gool, “Speeded-up robust feature”, Computer Vision and Image Understanding, vol. 10, no. 3, pp. 346-359, June 2008.

상세보기
L. M. J. Florack, B. M. Ter Haar Romeny, J. J. Koenderink, M. A. Viergever, “General intensity transformations and differential invariants”, Journal of Mathematical Imaging and Vision, Vol. 4, no. 2, pp. 171-187, May 1994.

상세보기
E. Rosten and T. Drummond, “Machine learning for high-speed corner detection”, European Conference on Computer Vision, Graz, Austria, pp. 430-443, May 2006.
D. Comaniciu, V. Ramesh and P. Meer, “Real-time tracking of non-rigid objects using mean shift”, Proc. 2000 IEEE Conference Computer Vision and Patter Recognition, vol. 2, pp. 142-149, June 2000.
M. A. Fischler and R. C. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography”, Communications of the ACM, vol. 24, no. 6, pp. 381-395, June 1981.

상세보기
E. Dubrofsky, “Homography estimation”, UNIVERSITY OF BRITISH COLUMBIA, March 2009.
C. Harris and M. Stephens, “A combined corner and edge detector”, proceedings of the 4th Alvey Vision Conference, pp. 147-151, August 1988.
S. M. Smith and J. M. Brady, “Susan – a new approach to low level image processing“, International Journal of Computer Vision, vol. 23, no. 1, pp. 45-78, May 1997.
J. Tompkin, Optical flow an introduction, University College London((UCL) Computer Science Dept., machine Vision –Practical 2, March 2008.
D. Comaniciu and P. Meer, “Mean shift: a robust approach toward feature space analysis”, IEEE Computer Society, vol. 24, no. 5, pp. 603-619, May 2002.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증