[논문]호모그래피와 추적 알고리즘을 이용한 구면 파노라마 영상 생성 방법

아나르; 최형일

doi:10.5392/jkca.2017.17.03.042

호모그래피와 추적 알고리즘을 이용한 구면 파노라마 영상 생성 방법
Spherical Panorama Image Generation Method using Homography and Tracking Algorithm 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.17 no.3, 2017년, pp.42 - 52

초록
AI-Helper

파노라마 영상은 여러 시점에서 촬영한 영상들을 대응점들의 정합을 통해 합성하여 얻은 단일 영상을 말한다. 기존의 파노라마 영상 생성 방법들은 대응점들을 구할 때 각 영상에서 지역적 불변 특징점을 추출하여 서술자를 생성하고 매칭 알고리즘을 사용한다. 동영상의 경우, 프레임 수가 많아 기존의 방법으로 파노라마 영상을 생성하는 것이 상당한 시간을 소비하고 불필요한 계산을 한다. 본 논문에서는 동영상을 입력 받아 구면 파노라마 영상을 효과적으로 생성하는 기법을 제안한다. 동영상의 프레임 간의 변화가 지역적으로 크지 않으며 연속적이라는 전제 조건으로 반복성 및 계산속도가 높은 FAST 알고리즘을 사용하여 특징점들을 추출하고, Lucas-Kanade 알고리즘을 통해 각 특징점들을 추적하여 그 주변에서 대응점을 찾는다. 모든 영상에 대해서 호모그래피를 계산하면 가운데 영상을 중심으로 호모그래피를 변경하고 영상을 와핑하여 평면 파노라마 영상을 얻는다. 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 변환하여 얻는다. 실험을 통하여 제안하는 방법이 기존의 방법들보다 파노라마 영상을 빠르고 효과적으로 생성하는 것을 확인하였다.

Abstract ▼ AI-Helper

Panorama image is a single image obtained by combining images taken at several viewpoints through matching of corresponding points. Existing panoramic image generation methods that find the corresponding points are extracting local invariant feature points in each image to create descriptors and using descriptor matching algorithm. In the case of video sequence, frames may be a lot, so therefore it may costs significant amount of time to generate a panoramic image by the existing method and it may has done unnecessary calculations. In this paper, we propose a method to quickly create a single panoramic image from a video sequence. By assuming that there is no significant changes between frames of the video such as in locally, we use the FAST algorithm that has good repeatability and high-speed calculation to extract feature points and the Lucas-Kanade algorithm as each feature point to track for find the corresponding points in surrounding neighborhood instead of existing descriptor matching algorithms. When homographies are calculated for all images, homography is changed around the center image of video sequence to warp images and obtain a planar panoramic image. Finally, the spherical panoramic image is obtained by performing inverse transformation of the spherical coordinate system. The proposed method was confirmed through the experiments generating panorama image efficiently and more faster than the existing methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 동영상을 입력 받고 Lucas-Kanade 알고리즘[11]을 통해 프레임 영상에서 검출한 특징점을 추적하여 대응점들을 찾아 영상 매칭에 사용하고 구면 파노라마 단일 영상을 효과적으로 생성하는 방법을 제안한다. 제안하는 방법의 흐름도는 [그림 1]과 같다.
본 논문에서는 사용자에 의해 생길 수 있는 여러 변화에 강건한 구면 파노라마 영상 생성하는 방법 즉, 어떤 카메라든 상관없이 동영상을 촬영한 후 손 흔들림으로 인한 회전, 스케일의 변화가 있더라도 효과적으로 구면 파노라마 단일 영상을 생성하는 방법을 제안한다.
본 논문에서는 연속 동영상을 입력 받아 신속하고 정확한 구면 파노라마 영상 생성하는 기법을 제안하였다. 먼저 각 프레임간의 대응점들을 찾을 때 매칭 알고리즘 대신 Lucas-Kanade 알고리즘을 이용하여 특징점을 추적하였다.
대부분의 알고리즘은 속도는 느려도 좋은 성능을 갖거나 성능은 조금 떨어져도 속도 면에서 뛰어나다. 이 문제를 해결할 수 있는 신속하면서 정확한 파노라마 영상을 합성해 생성하는 알고리즘을 제안한다.

제안 방법

먼저 각 프레임간의 대응점들을 찾을 때 매칭 알고리즘 대신 Lucas-Kanade 알고리즘을 이용하여 특징점을 추적하였다. 대응점들로부터 호모그래피를 추정하여 가운데의 영상에 맞추어 호모그래피들을 수정하여 와핑시켜 평면 파노라마 영상을 얻었으며 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 생성하였다. 평면과 구면 파노라마 영상 생성 방법의 장단점을 서로 보완하여 동영상으로부터 효과적으로 단일 파노라마 영상을 만들 수 있었다.
먼저 모든 프레임에 대해서 영상을 호모그래피로 변환한 후, [그림 3]과 같은 단일 영상을 얻었을 때 수식 (9)의 구면 좌표계 역변환을 한번만 수행하여 구면 파노라마 영상을 얻는 방법을 제안한다. 평면 파노마라 영상은 자유도가 8인 호모그래피로 합성되기 때문에 이동, 회전, 스케일, 원근 변화에서도 최적의 변환을 수행할 수 있어서 기존의 원통 및 구면 파노라마 영상에 비해 정보 손실이 작은 편이다.
모든 영상에 대해서 호모그래피를 계산한 뒤, 단일 영상으로 합성하여 표현하기 위해서 대표 프레임 I_rep 을 선택해 그 영상을 중심으로 호모그래피를 행렬곱 연산을 통해 서로 연관성을 갖게 해준다.
본 논문에서 제안하는 것은 프레임마다 코너점을 검출하지 않고 임계값 T를 설정하여 Lucas-Kanade로 추적한 특징점 개수가 임계값 T보다 작아졌을 경우에만 다음 프레임에서 다시 특징점을 새롭게 추출한다. 본 논문에서는 임계값 T를 특징점 개수의 반으로 하여 T = M_t/2 설정하였다.
본 논문에서 제안하는 방법의 특징점 추적 단계의 실험은 Lucas-Kanade 방법으로 다음 프레임에서 7 × 7 크기의 마스크를 씌워 최대 3레벨의 피라미드를 생성 하여 대응점을 추적하였다.
본 논문에서 제안하는 알고리즘을 Intel Core i5-3470 3.20GHz CPU, 8GB RAM 사양의 컴퓨터로 Microsoft Visual Studio 2013과 OpenCV 2.4.11 라이브러리 환경 에서 실험하였다. 실험에 사용된 모든 동영상은 iPhone 5s 스마트폰 카메라의 1280 × 720의 해상도 25fps로실외 환경에서 촬영한 것이며, 각각 다른 위치에서 촬영한 216, 275, 168개의 프레임 영상들로 이루어진 동영상들이다.
이렇게 변경된 호모그래피들을 통해 각 영상의 모든 좌표에 대해서 수식 (5)와 수식 (6)의 변환을 수행했을 때 모든 영상이 하나의 파노라마 영상으로 표현될 수 있다. 본 논문에서는 대표 프레임 I_rep 를 모든 영상 프레임의 가운데 영상으로 하여 이에 맞게 모든 호모그래피들을 변경하여 영상을 와핑하고 [그림 3]과 같은 평면 파노라마 영상을 얻었다.
추정된 두 개의 초점거리 f₀, f₁의 기하학적 평균을 최종 초점거리 f로 택한다. 본 논문에서는 모든 호모그래피 에서 초점거리를 각각 계산하고 중간(Median)값을 최종적으로 선택하였다.
본 논문에서 제안하는 것은 프레임마다 코너점을 검출하지 않고 임계값 T를 설정하여 Lucas-Kanade로 추적한 특징점 개수가 임계값 T보다 작아졌을 경우에만 다음 프레임에서 다시 특징점을 새롭게 추출한다. 본 논문에서는 임계값 T를 특징점 개수의 반으로 하여 T = M_t/2 설정하였다. 기존의 여러 방법[2-5]과는 달리 특징점의 대응점을 찾을 때 모든 영상에서 특징점을 추출하고 특징점들을 서로 비교하지 않고 그 주변에서 연속적으로 추적하여 찾으므로 불필요한 연산을 피해 빠른 시간에 효과적으로 대응점을 찾을 수 있게 된다.
그 이유는, 호모그래피 신뢰도 c_t 값이 보통은 1 이상의 값을 가져야 비교가 가능해지고, 3보다 클 경우두 영상은 아주 가깝고 큰 변화 없거나 추정된 호모그래피는 충분히 신뢰할만하다고 판단되는 것이다. 연속 동영상은 프레임간의 차이가 크지 않기 때문에 제안하는 FAST+LK 방법은 호모그래피의 inlier 개수 n_i를다른 매칭 방법들보다 많이 갖게 하여 [그림 5]의 (a)와 같이 신뢰도가 높은 정확한 호모그래피를 추정할 수 있게 해준다.
연속 동영상의 경우 이러한 계산적 소비를 줄이기 위한 방법으로 본 논문에서는 광류를 효과적으로 계산하는 방법 중 하나인 Bruce D. Lucas와 Takeo Kanade가 제안한 Lucas-Kanade 알고리즘[11]을 이용하여 특징 점의 대응점을 다음 프레임에서 각각 구하는 방식을 제안하였다.

대상 데이터

실험에 사용된 모든 동영상은 iPhone 5s 스마트폰 카메라의 1280 × 720의 해상도 25fps로실외 환경에서 촬영한 것이며, 각각 다른 위치에서 촬영한 216, 275, 168개의 프레임 영상들로 이루어진 동영상들이다.

데이터처리

추적된 대응점들로부터 추정된 호모그래피를 D.Lowe가 제안한 신뢰도(confidence) 계산[5] 수식 (11) 으로 계산하여 신뢰도를 비교하였다.

이론/모형

본 논문에서는 연속 동영상을 입력 받아 신속하고 정확한 구면 파노라마 영상 생성하는 기법을 제안하였다. 먼저 각 프레임간의 대응점들을 찾을 때 매칭 알고리즘 대신 Lucas-Kanade 알고리즘을 이용하여 특징점을 추적하였다. 대응점들로부터 호모그래피를 추정하여 가운데의 영상에 맞추어 호모그래피들을 수정하여 와핑시켜 평면 파노라마 영상을 얻었으며 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 생성하였다.
호모그래피를 추정할 때 대표적으로 RANSAC[13] 알고리즘을 함께 사용한다. RANSAC 알고리즘은 임의의 대응점 4쌍을 선택해 변환 행렬을 구하고 일치하는 대응점들, 즉 inlier 정보를 반복적으로 얻고 그 중에서 inlier의 개수가 최대가 되는 호모그래피를 최적의 변환 행렬로 선택하게 된다.

성능/효과

3으로 지정된 값들이다. 수식 (11)으로 기존의 SIFT, SURF 특징점 검출기 알고리즘과 서술자 매칭 Brute Force, FLANN 알고리즘들로 호모그래피 추정한 결과와 제안하는 방법을 비교했으며, [그림 5]의 (a)와 같이 제안하는 방법으로 얻은 호모그래피의 신뢰도가 기존의 방법들보다 높았다. 그 이유는, 호모그래피 신뢰도 c_t 값이 보통은 1 이상의 값을 가져야 비교가 가능해지고, 3보다 클 경우두 영상은 아주 가깝고 큰 변화 없거나 추정된 호모그래피는 충분히 신뢰할만하다고 판단되는 것이다.
평면과 구면 파노라마 영상 생성 방법의 장단점을 서로 보완하여 동영상으로부터 효과적으로 단일 파노라마 영상을 만들 수 있었다. 실험결과에서 제안하는 방법이 빠르며 밝기오차 값을 줄일 수 있는 파노라마 영상 생성 기법임을 보여주었다.
[표 2]에서는 대응점을 구하기 위한 기존의 서술자 매칭 방법 및 제안하는 특징점 추적 알고리즘의 평균 수행 시간과 각 방법으로 얻은 대응점들로부터 호모그 래피를 추정한 평균 시간을 나타낸다. 제안하는 방법이 일정한 크기의 마스크를 씌우고 대응점을 구하므로 매칭 개수 즉, 대응점을 구하기 위한 비교 횟수를 크게 감소시켜 [표 2]의 결과와 같이 빠른 매칭을 수행시킴을알 수 있다. 특징점을 추출하고 추적하여 대응관계를 구하는 방법이 동영상과 같은 연속적 영상에서는 가장 적합하다는 것을 확인 할 수 있다.
반면에, 특징-기반 방법은 코너 점들 즉, 주요 특징점들을 검출하여 얻은 정보를 활용하기 때문에 픽셀-기반 방법 보다는 신속한 결과를 보여준다. 질적 혹은 결과적으로 봤을 때 픽셀-기 반의 방법은 세밀한 정합을 통해 만족스러운 최적의 해를 제공할 수 있지만 동영상과 같은 연속 프레임들이 수백 또는 수천 개나 이어지는 상황에서는 특징-기반 방법이 계산 시간을 줄여주며 만족할만한 결과를 얻게 할 수 있다. 여러 변화에 강건한 SIFT(Scale Invariant Feature Transform)[8], SURF(Speeded Up Robust Feature)[9]와 같은 특징 추출 및 서술자(Descriptor) 생성 알고리즘들이 나옴으로써 대표적인 파노라마 영상 생성 기법들은 대부분 특징 추출에 기반하게 되었다.
대응점들로부터 호모그래피를 추정하여 가운데의 영상에 맞추어 호모그래피들을 수정하여 와핑시켜 평면 파노라마 영상을 얻었으며 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 생성하였다. 평면과 구면 파노라마 영상 생성 방법의 장단점을 서로 보완하여 동영상으로부터 효과적으로 단일 파노라마 영상을 만들 수 있었다. 실험결과에서 제안하는 방법이 빠르며 밝기오차 값을 줄일 수 있는 파노라마 영상 생성 기법임을 보여주었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영상에서 광류는 무엇인가?	광류(Optical Flow)는 움직임 속도의 분포라 할 수 있다. 쉽게 말해, 영상 내에서 물체의 이동이나 카메라 움직임에 의해 각 픽셀은 밝기 변화를 나타내게 되는데 이를 추정하여 얻은 이동을 광류, 각 축에 해당되는 이동량을 속도 벡터라고 한다. Lucas-Kanade 알고리즘은 임의의 점의 광류, 즉 속도(이동) 벡터를 계산할 때 (2wx + 1)= × (2wy + 1) 크기의 마스크를 씌워 그 마스크 내에서 모든 픽셀을 만족시키는 속도 벡터를 찾는다.
	본 논문에서 제안한 연속 동영상을 입력 받아 신속하고 정확한 구면 파노라마 영상 생성하는 기법은 어떤 과정으로 이루어져 있는가?	본 논문에서는 연속 동영상을 입력 받아 신속하고 정확한 구면 파노라마 영상 생성하는 기법을 제안하였다. 먼저 각 프레임간의 대응점들을 찾을 때 매칭 알고리즘 대신 Lucas-Kanade 알고리즘을 이용하여 특징점을 추적하였다. 대응점들로부터 호모그래피를 추정하여 가운데의 영상에 맞추어 호모그래피들을 수정하여 와핑시켜 평면 파노라마 영상을 얻었으며 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 생성하였다. 평면과 구면 파노라마 영상 생성 방법의 장단점을 서로 보완하여 동영상으로부터 효과적으로 단일 파노라마 영상을 만들 수 있었다.
	파노라마 영상 생성 기법중 특징-기반 방법의 이점은 무엇인가?	파노라마 영상 생성 기법에 있어서 특징-기반 (Feature-based) 방법[6]과 픽셀-기반(Pixel-based) 방법[7]이 가장 대표적이고, 먼저 양적으로 비교하면, 픽셀-기반 혹은 direct[7]라 하는 방법은 두 영상의 모든 픽셀을 고려하고 변환 행렬의 최적의 매개 변수들을 얻을 때까지 반복적으로 계산하기 때문에 계산량은 물론 시간적 소비가 매우 큰 편이다. 반면에, 특징-기반 방법은 코너 점들 즉, 주요 특징점들을 검출하여 얻은 정보를 활용하기 때문에 픽셀-기반 방법 보다는 신속한 결과를 보여준다. 질적 혹은 결과적으로 봤을 때 픽셀-기 반의 방법은 세밀한 정합을 통해 만족스러운 최적의 해를 제공할 수 있지만 동영상과 같은 연속 프레임들이 수백 또는 수천 개나 이어지는 상황에서는 특징-기반 방법이 계산 시간을 줄여주며 만족할만한 결과를 얻게 할 수 있다.

참고문헌 (15)

R. Szeliski, Image alignment and stitching: A tutorial, Technical Report MSR-TR-2004-92, Microsoft Research, December 2004.
A. Bartoli, N. Dalal, B. Bose, and R. Horaud. "From video sequences to motion panoramas," In IEEE Workshop on Motion and Video Computing, December 2002.
Y. Li, L-Q. Xu, G. Morrison, C. Nightingale, and J. Morphett. "Robust panorama from mpeg video," In IEEE International Conference on Multimedia and Expo 2003 (ICME '03), pp.81-84, 2003.
D. Steedly, C. Pal, and R. Szeliski, "Efficiently Registering Video into Panoramic Mosaics," Tenth IEEE International Conference on Computer Vision (ICCV'05) IEEE, Vol.1, pp.1300-1307, 2005.
M. Brown and D. Lowe, "Automatic panoramic image stitching using invariant features," International Journal of Computer Vision, Vol.74, pp.59-73, 2007.

상세보기
P. H. S. Torr and A. Zisserman, "Feature Based Methods for Structure and Motion Estimation," Vision Algorithms: Theory and Practice, Springer, Vol.1883, pp.278-294, 2000.
M. Irani and P. Anandan, "About direct methods," In B. Triggs, A. Zisserman, and R. Szeliski, editors, Vision Algorithms: Theory and Practice, number 1883 in LNCS, Springer-Verlag, Corfu, Greece, pp.267-277, September 1999.
D. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.

상세보기
H. Bay, T. Tuytelaars, and L. V. Gool, "Surf: Speeded up robust features," European Conference on Computer Vision, Vol.3951, pp.404-417, 2006.
E. Rosten and T. Drummond, "Machine learning for high-speed corner detection," In Proc. 9th European Conference on Computer Vision (ECCV'06), Graz, May 2006.
B. D. Lucas and T. Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision," International Joint Conference on Artificial Intelligence, pp.674-679, 1981.
J. Y. Bouguet, Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm, Technical Report, Intel Microprocessor Research Labs, 1999.
M. Fischler and R. Bolles, "Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography," Communications of the ACM, Vol.24, pp.381-395, 1981.

상세보기
M. Marius and D. Lowe, "Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration," International Conference on Computer Vision Theory and Applications, Vol.1, pp.331-340, 2009.
O. Enqvist, F. Jiang, and F. Kahl, "A brute-force algorithm for reconstructing a scene from two projections," Computer Vision and Pattern Recognition(CVPR), 2011.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증