[논문]FAST를 이용한 파노라마 영상 생성 방법

김종호; 고진웅; 유지상

doi:10.6109/jkiice.2016.20.3.630

FAST를 이용한 파노라마 영상 생성 방법
A panorama image generation method using FAST algorithm 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.20 no.3, 2016년, pp.630 - 638

김종호 (Department of Electronic Engineering, Kwangwoon University) , 고진웅 (Department of Electronic Engineering, Kwangwoon University) , 유지상 (Department of Electronic Engineering, Kwangwoon University)

초록
AI-Helper

본 논문에서는 자연스러운 파노라마 영상 생성을 위해 SIFT와 SURF 방법보다 빠른 FAST(Features from Accelerated Segment Test)를 이용한 특징점 기반의 파노라마 영상 생성 기법을 제안한다. 다수의 영상을 이용해 자연스러운 파노라마 영상을 만들기 위해 실린더 투영을 수행 한 후 추출된 특징점들을 RANSAC(Random Sample Consensus)을 이용해 정합 시 오차율을 최소화한다. 서로 다른 방향에서 얻는 다수의 영상을 합성할 때 정합 경계 주변의 이질감을 보완하기 위해 블렌딩 기법을 사용함으로써 자연스러운 파노라마 영상을 생성한다. 제안하는 기법에서는 영상을 정합할 때 영상의 입력 순서와 방향에 관계없이 파노라마 영상을 만들 수 있다. 또한 기존의 방법보다 빠른 속도로 영상 정합이 가능하다. 다수의 영상으로 실험을 한 결과 왜곡이 보정되고 자연스러운 파노라마 영상을 생성할 수 있었다.

Abstract ▼ AI-Helper

In this paper, a feature based panorama image generation algorithm using FAST(Features from Accelerated Segment Test) method that is faster than SIFT(Scale Invariant Feature Transform) and SURF(Speeded Up Robust Features) is proposed. Cylindrical projection is performed to generate natural panorama images with numerous images as input. The occurred error can be minimized by applying RANSAC(Random Sample Consensus) for the matching process. When we synthesize numerous images acquired from different camera angles, we use blending techniques to compensate the distortions by the heterogeneity of border line. In that way, we could get more natural synthesized panorama image. The proposed algorithm can generate natural panorama images regardless the order of input images and tilted images. In addition, the image matching can be faster than the conventional method. As a result of the experiments, distortion was corrected and natural panorama image was generated.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 여러 영상에서 특징점을 추출한 뒤 호모그래피를 계산해 자연스러운 파노라마 영상을 만드는 기법을 제안한다. 제안하는 기법의 흐름도는 그림 1과 같다.
본 논문에서는 이러한 문제점들을 해결하고 특징점 기반의 자연스러운 파노라마 영상을 생성하기 위한 새로운 기법을 제안한다. 파노라마 영상 생성에 있어서 중요한 것은 정합할 영상들 사이의 특징점을 정확하게 찾고 특징점을 매칭해 정확한 호모그래피를 계산하는 것이다.
본 논문은 기존의 SITF, SURF 기법 보다 빠르게 특징점을 추출할 수 있는 FAST 기법을 이용하여 파노라마 영상 생성 기법을 제안하였다. 또 실린더 투영과 색상 블렌딩 기법을 통한 보정과정을 추가하여 기존보다 자연스러운 파노라마 영상을 생성할 수 있었다.

가설 설정

FAST 기법은 크게 세 가지 과정을 거쳐 특징점을 검출한다. 첫 째, 빠른 속도로 특징점 후보를 선택하는 것이다. 그림 3은 영상의 특징점 후보인 p 화소를 중심으로 원모양에 위치한 16개의 화소를 나타낸다.

제안 방법

기본적으로 SURF 기법의 64차원 서술자 벡터들 사이의 거리를 계산하여 가장 가까운 정합점을 결정한다. RANSAC 기법을 이용해 두 영상 사이의 특징점 중에서 가장 정확하게 정합되는 4개의 점을 결정한 뒤 호모그래피를 계산하여 기존의 한 영상에 적용하면 변환된 영상이 생성되고 두 영상을 겹치게 되면 파노라마 영상이 생성된다.
추출된 특징점들의 정합을 위해 특징점의 벡터 서술자(descriptor)를 계산할 때 SIFT 기법보다 빠르게 계산할 수 있는 SURF기법을 사용한다. 각 영상에서 추출된 특징점들의 위치를 이용해 입력받은 영상의 순서를 자동으로 계산한다. 다음은 RANSAC 기법을 이용하여 특징점들을 정합할 때 오차가 있는 점들을 제거한다.
RANSAC 기법은 에러와 잡음이 섞여있는 데이터들로부터 적절한 모델을 예측하여 오차를 최소화하는 기법이다. 모델 파라미터를 결정하기 위해 전체 데이터 중에서 최소의 데이터를 랜덤하게 선택하고 가상의 모델을 예측한다. 즉 영상에서 검출된 전체 특징점 중에서 랜덤하게 4개의 특징점을 선택한 뒤 호모그래피를 계산한다.
사람은 두 영상의 순서를 판단할 수 있지만 기계와 컴퓨터는 스스로 판단할 수 없기 때문에 영상의 순서를 결정하는 과정을 추가로 수행한다. 본 논문에서 제안하는 방법은 두 영상 사이의 정합되는 특징점들의 위치를 이용해 영상의 순서를 판단하는 것이다. 한 영상에서 정합된 특징점들의 위치가 영상의 오른쪽에 많이 존재한다면 이 영상은 두 영상 중 왼쪽에 위치한 영상일 확률이 높다.
각 영상에서 특징점을 검출한 후에는 각 특징점의 정보를 포함하는 서술자(descriptor)를 만든다. 본 논문에서는 FAST 기법을 이용해 특징점을 검출한 뒤 SURF(speed up robust feature) 기법의 서술자를 사용하여 각 특징점을 정의한다. SURF 기법의 특징점 검출 방법인 헤시안(hessian)검출기를 사용하는 것 보다 FAST 기법의 특징점 검출 방법이 빠르기 때문에 수행속도의 향상을 기대할 수 있다.
랜덤하게 선택된 특징점을 이용하여 호모그래피 계산을 한 뒤 영상을 변환하게 되면 기존 특징점의 위치와 변환 후 특징점의 위치가 일치 하지 않는다. 선택된 특징점이 변환 후 특징점의 위치와 일치할 때까지 반복적으로 호모그래피를 계산함으로써 최적의 호모그래피를 구한다. 기본적으로 SURF 기법의 64차원 서술자 벡터들 사이의 거리를 계산하여 가장 가까운 정합점을 결정한다.
htm 에서 다운로드 받았다. 실험은 입력 영상의 순서와 방향에 관계없는 자연스러운 파노라마 영상 생성과 실린더 투영의 효과 그리고 특징점 추출방법에 따른 과정별 속도를 측정 했다.
영상마다 카메라 위치와 초점거리의 차이가 있기 때문에 다수의 영상을 정합할 때 좌우로 늘어지는 왜곡 현상이 발생할 수 있다. 왜곡을 최소화하기 위하여 기존의 평면 좌표계에 있는 영상을 실린더 모양의 좌표계에 투영한다[11]. 실린더 투영이란 촬영된 영상을 3차원의 원통형 좌표계에 맞추어 2차원 영상으로 변환하는 것을 의미한다.
만약 16개의 화소 밝기값 중 p 화소에 임계값 를 더한 밝기값 보다 더 크거나 p 화소에 임계값 t를 뺀 밝기값 보다 더 작은 화소가 12개 이상 연속으로 있을 때 p점을 특징점 후보로 한다. 이 과정에서 특징점 후보를 빠르게 검출하기 위해서 16개의 화소를 다 비교하지 않고 네 개의 화소(1,5,9,13번) 밝기 값만 비교하여 특징점 후보를 선택한다. 점 p가 특징점 후보라면 위의 네 화소 중 3개 이상은 I_p+t 보다 밝거나 I_p-t 보다 어두울 것이다.
모델 파라미터를 결정하기 위해 전체 데이터 중에서 최소의 데이터를 랜덤하게 선택하고 가상의 모델을 예측한다. 즉 영상에서 검출된 전체 특징점 중에서 랜덤하게 4개의 특징점을 선택한 뒤 호모그래피를 계산한다. 호모그래피란 기준영상의 좌표와 그에 대응 되는 대상 영상의 좌표 사이의 관계를 식 (4)처럼 행렬로 나타낸 것이다.
FAST 기법으로 특징점을 검출한 뒤 서술자를 만들기 위해 특징점의 주방향을 먼저 찾는다. 특징점들을 회전에 강인하게 표현하기 위해 주변 화소 값들을 하 웨이블릿 필터(Haar wavelet filter)를 이용해 특징점의 주방향을 계산한다. 그림 4는 x축 방향과 y축 방향의 하 웨이블릿 필터를 도식화한 것으로 검은색 영역은 -1의 가중치를 가지고 흰색 영역은 +1의 가중치를 가진다.
표 1은 기존의 SIFT, SURF기법과 제안하는FAST 기법을 이용하여 800x600 크기의 두 영상을 파노라마 영상으로 생성할 때 과정별 처리 속도를 비교한 것이다. 특히 특징점을 추출하는 과정에서 FAST 기법의 수행 시간이 많이 줄어든 것을 확인할 수 있다.

대상 데이터

먼저 디지털 카메라, 스마트폰, 웹캠 등을 이용하여 다수의 영상을 획득한다. 영상들 사이에 중첩되는 영역이 너무 적으면 특징점 정합 시 오류가 생길 확률이 높기 때문에 이점을 유의하면서 다수의 영상을 획득하여야 한다.
6을 사용하였다. 실험에 사용한 영상은 http://mpac.ee.ntu.edu.tw/personal/sutony/public_html/vfx_stitching/pano.htm 에서 다운로드 받았다. 실험은 입력 영상의 순서와 방향에 관계없는 자연스러운 파노라마 영상 생성과 실린더 투영의 효과 그리고 특징점 추출방법에 따른 과정별 속도를 측정 했다.

이론/모형

n은 특징점의 수를 의미하며 4개의 특징점을 랜덤하게 선택하므로 n은 4가 된다. 두 영상에서 정합된 4개 점들의 좌표를 이용해 DLT(direct linear transformation)기법을 이용하여 호모그래피(homography) 행렬을 계산할 수 있다. DLT 기법은 다음에 설명하는 호모그래피 행렬을 계산하는 방법이다.
두 영상의 사이의 정합되는 특징점을 계산하기 위해서 RANSAC(random sample consensus) 기법을 이용한다. RANSAC 기법은 에러와 잡음이 섞여있는 데이터들로부터 적절한 모델을 예측하여 오차를 최소화하는 기법이다.
실린더 좌표계로 투영된 영상에서 특징점을 추출해 영상 사이의 정합점을 찾게 된다. 본 논문에서는 영상의 특징점을 추출하기 위해 FAST(features from accelerated segment test)기법을 사용한다. FAST 기법은 기존의 Harris, SIFT, SURF 같은 특징점 추출 기법보다 빠른 속도로 특징점 검출이 가능하다.
파노라마 영상을 생성하기 위해 다수의 영상을 정합하다 보면 입력 받은 영상마다 조명과 시점이 다르기 때문에 정합 후 부자연스러운 경계선이 생길 수 있다. 이런 경계선이나 색상의 불연속적인 부분을 보정하고 제거하기 위해 그림 8의 선형가중치함수(bilinear weighted function)를 사용한다. 겹쳐지는 정합영역의 화소 위치마다 가중치를 다르게 부여하는 방법으로 정합 영역의 경계선을 제거하고 자연스러운 파노라마 영상을 생성할 수 있다.
실린더 변환을 할 때 기존의 평면 좌표계에서 실린더 좌표계로 정방향 와핑(forward warping)을 하면 계산 후 각 좌표가 실수 좌표로 대응되기 때문에 영상에 홀과 잡음이 발생한다. 이를 해결하기 위해 역방향 와핑(backward warping)을 진행하고 와핑 과정에서 선형보간법을 적용하여 자연스러운 실린더 영상을 얻을 수 있다. 식 (1)을 이용해 역방향 실린더와핑을 하면 영상의 왜곡을 최소화 할 수 있다.
투영된 영상에서 FAST(feature from accelerated segment test) 기법을 통해 기존보다 빠르게 특징점을 추출하게 된다[7]. 추출된 특징점들의 정합을 위해 특징점의 벡터 서술자(descriptor)를 계산할 때 SIFT 기법보다 빠르게 계산할 수 있는 SURF기법을 사용한다. 각 영상에서 추출된 특징점들의 위치를 이용해 입력받은 영상의 순서를 자동으로 계산한다.

성능/효과

특히 특징점을 추출하는 과정에서 FAST 기법의 수행 시간이 많이 줄어든 것을 확인할 수 있다. 결과적으로 SIFT 기법에 비해 FAST기법이 10배 정도 수행 속도가 빠른 것을 알 수 있다. 표 2는 제안하는 FAST 기법을 이용하여 324x484 크기를 가지는 10장의 영상을 사용해 파노라마 영상을 생성할 때 과정별 처리 속도를 보여주고 있다.
본 논문은 기존의 SITF, SURF 기법 보다 빠르게 특징점을 추출할 수 있는 FAST 기법을 이용하여 파노라마 영상 생성 기법을 제안하였다. 또 실린더 투영과 색상 블렌딩 기법을 통한 보정과정을 추가하여 기존보다 자연스러운 파노라마 영상을 생성할 수 있었다. 또한 입력 영상의 순서와 방향에 상관없이 임의의 영상을 가지고 파노라마 영상 생성이 가능하였다.
또 실린더 투영과 색상 블렌딩 기법을 통한 보정과정을 추가하여 기존보다 자연스러운 파노라마 영상을 생성할 수 있었다. 또한 입력 영상의 순서와 방향에 상관없이 임의의 영상을 가지고 파노라마 영상 생성이 가능하였다. 약 10장 정도의 영상을 정합하여 하나의 자연스러운 파노라마 영상을 생성하였지만 그 이상의 영상을 정합할 경우 부자연스러운 왜곡이 생기는 한계가 있다.
두 영상의 색상 가중치의 합은 항상 1이 된다. 정합할 두 영상중 왼쪽의 영상은 왼쪽에서 오른쪽으로 갈수록 가중치가 1에서 0으로 줄어든다.
제안하는 기법으로 10장의 영상을 파노라마 영상으로 만드는데 약 3.5초 정도 수행시간이 걸렸고 SIFT, SURF기법에 비해 매우 빠른 것을 확인했다. 표 3은 시퀀스의 크기와 장수를 다르게 하면서 수행속도를 측정한 결과이다.
표 1은 기존의 SIFT, SURF기법과 제안하는FAST 기법을 이용하여 800x600 크기의 두 영상을 파노라마 영상으로 생성할 때 과정별 처리 속도를 비교한 것이다. 특히 특징점을 추출하는 과정에서 FAST 기법의 수행 시간이 많이 줄어든 것을 확인할 수 있다. 결과적으로 SIFT 기법에 비해 FAST기법이 10배 정도 수행 속도가 빠른 것을 알 수 있다.

후속연구

또한, 의료 영상에도 많이 사용되며 환자의 전체적인 환부를 쉽게 영상으로 확인할 수 있다. CCTV 같은 카메라에 파노라마 영상 생성 기술을 적용하면 효율적인 광역 감시를 할 수 있을 것으로 기대된다.
다수의 영상을 정합할 때 마다 연산 시간이 늘어나면서 실시간으로 정합하는 것은 한계가 있으나 병렬처리를 이용하여 시간을 줄일 수 있을 것으로 예상된다. 앞으로 더 많은 영상을 정합한 파노라마 영상을 생성할 때 연산속도 향상과 왜곡을 최소화하는 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	기존의 파노라마 생성 방법 중 SIFT는 어떻게 파노라마 영상을 생성하는가?	기존의 파노라마 생성 방법 중에는 SIFT(scale invariant feature transform) 기법으로 특징점을 추출하고 RANSAC(random sample consensus)을 이용한 호모그래피 (homography) 계산을 통해 파노라마 영상을 생성한 기법이 있었다. 이 방법은 고화질의 영상에서 계산량이 많은 SIFT 기법의 특성상 수행속도가 느린 단점이 있다[1, 2].
	RANSAC 기법은 무엇인가?	두 영상의 사이의 정합되는 특징점을 계산하기 위해서 RANSAC(random sample consensus) 기법을 이용한다. RANSAC 기법은 에러와 잡음이 섞여있는 데이터들로부터 적절한 모델을 예측하여 오차를 최소화하는 기법이다. 모델 파라미터를 결정하기 위해 전체 데이터 중에서 최소의 데이터를 랜덤하게 선택하고 가상의 모델을 예측한다.
	파노라마 영상을 만들 때 경계선이나 색상의 불연속적인 부분을 보정하고 제거하기 위해 선형가중치함수를 사용하면 어떤 이점을 얻을 수 있는가?	이런 경계선이나 색상의 불연속적인 부분을 보정하고 제거하기 위해 그림 8의 선형가중치함수(bilinear weighted function)를 사용한다. 겹쳐지는 정합영역의 화소 위치마다 가중치를 다르게 부여하는 방법으로 정합 영역의 경계선을 제거하고 자연스러운 파노라마 영상을 생성할 수 있다. 즉 경계선에서 두 영상의 색상을 얼마나 포함할 것인가를 0부터 1까지의 가중치를 이용한다.

참고문헌 (12)

M. Brown, and D.G. LOWE, "Automatic panoramic image stitching using invariant features", International journal of computer vision, vol. 74, no. 1, Dec. 2006.
Mostafiz Mehebuba Hossain, Hyuk-Jae Lee, Jaesung Lee, "Fast image stitching for video stabilization using SIFT feature point", The Journal of Korean Institute of Communications and Information Sciences, vol.39, no10, pp. 957-966, Sep. 2014.
R. Szeliski, "Image alignment and stitching: a tutorial," Computer graphics and vision, vol. 2, no.1, pp.15-16, Jan. 2006.
H. Bay, A. Ess, T. Tuytelaars and L. V. Gool "Speeded-Up Robust Features (SURF)," Computer vision and image understanding (CVIU), vol. 110, no. 3, pp. 2-8, Jun. 2008.
Jinseon Song, SooJung Hur, YongWan Park, Jeonghee Choi, "User positioning method based on image similarity comparison using single camera", The Journal of Korean Institute of Communications and Information Sciences, vol.40, no.08, pp.1655-1666, July 2015.

원문보기 상세보기
Yongwoo Cho, Joo Myoung Seok, Doug Young Suh, "3D-based monitoring system and cloud computing for panoramic video service", The Journal of Korean Institute of Communications and Information Sciences, vol.39, no.09, pp. 590-597, Aug. 2014.
E.Rosten, T.Drummond, "Machine learning for high-speed corner detection", European conference on computer vision, vol.1, pp.430-443, 2006.
L. Moisan, P. Moulon, and Pascal Monasse, "Automatic homographic registration of a pair of images, with a contrario elimination of outliers," Image processing on line(IPOL), pp. 2-3, May 2012.
K-W Kwon, A-Y Lee, U. Oh, "Panoramic image composition algorithm through scaling and rotation invariant features," Information processing society journal, vol. 17, no. 5, Jun. 2010.
P. J. Burt and E. H. Adelson, "A multiresolution spline with application to image mosaics," ACM Transaction on graphics, vol. 2, no. 4, pp. 2-5, Oct. 1983.
R.Szeliski, H.Y.Shum, "Creating Full View Panoramic Image Mosaics and Environment Maps", Computer Graphics, vol. 31, no. 1, pp.251-258, Aug. 1997
David G. Lowe, "Distinctive image features from scaleinvariant keypoints," International journal of computer vision, vol. 60, no. 2, pp. 5-16, Jan. 2004.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증