[논문]특징점 기반 이미지 스티칭을 이용한 파노라마 시스템 구현

최재학; 이용환; 김영섭

특징점 기반 이미지 스티칭을 이용한 파노라마 시스템 구현
Implementation of the Panoramic System Using Feature-Based Image Stitching 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.16 no.2, 2017년, pp.61 - 65

최재학 (단국대학교 전자전기공학과) , 이용환 (원광대학교 디지털콘텐츠공학과) , 김영섭 (단국대학교 전자전기공학과)

Abstract ▼ AI-Helper

Recently, the interest and research on 360 camera and 360 image production are expanding. In this paper, we describe the feature extraction algorithm, alignment and image blending that make up the feature-based stitching system. And it deals with the theory of representative algorithm at each stage. In addition, the feature-based stitching system was implemented using OPENCV library. As a result of the implementation, the brightness of the two images is different, and it feels a sense of heterogeneity in the resulting image. We will study the proper preprocessing to adjust the brightness value to improve the accuracy and seamlessness of the feature-based stitching system.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

1은 Basic Feature-based Stitching 알고리즘이다. 본 논문에서 구현한 알고리즘을 바탕으로 각 단계에서 사용된 알고리즘들에 대한 이론을 서술하도록 하겠다.
그에 반면, Feature-based Stitching기술은 이미지에서 특징점을 추출하여 그 특징점을 설명하는 서술자로 이미지 매칭이 이루어지기 때문에 회전변환, 크기변환에 강력하고 이미지 스티칭 정확도도 높아 많이 사용된다[3,10]. 본 논문에서는 Feature-based Stitching 기술에 대해서 서술하며 또한 Feature-based Stitching기술을 직접 구현하여 스티칭 결과를 보여준다.

제안 방법

광각의 이미지를 표현하기 위해서 일반 2D이미지 여러장을 겹치게 촬영하여 중첩되는 부분을 붙이는 이미지 스티칭 기술을 사용하여 360영상을 만든다[2]. 이미지 스티칭 기술에는 크게 두 가지 방법으로 나뉘는데, 직접적인 픽셀값을 사용하는 Direct-based Stitching 방법과 이미지에서 특징점을 추출하여 특징점과 특징점 서술자를 이용하는 Feature-based Stitching방법이 있다.
계산된 Key값에 방향과 크기는 상대적인 값들이라서 실제 이미지와 매칭이 불가능하기 때문에 SIFT Descriptor를 계산 한다. 그리고 나서 계산된 SIFT Descriptor와 타겟 이미지의 각 Key와의 거리를 유클리드 거리(Euclidean distance)을 사용하여 구한다. 마지막으로 제대로 매칭되었는지 확인함으로써 SIFT 알고리즘은 종료하게 된다.
두 개의 이미지를 입력받아 이미지 스티칭하는 스티칭알고리즘을 구현하였다. Fig.
7은 제안한 스티칭 알고리즘을 서술하고 있다. 먼저 두 입력이미지를 SIFT 알고리즘을 사용하여 특징점을 추출하고 Descriptor를 계산한다. 계산된 벡터값을 FLANN Matcher를 사용하여 매칭시킨다.
3은 SIFT 알고리즘을 보여준다. 먼저, 조도의 변화에 대한 불변한 특징(invariant feature)을 잡기 위해서 물체의 극소, 극대점을 잡는데, 여기에서 가우시안 피라미드를 사용한다. 한 개의 점을 찾기 위해서 위, 아래의 스케일공간에서 3x3 블록안에 모든 점들, 총 26개의 점들을 비교하게 된다.
본 논문에서는 두 개의 2D 이미지를 특징점을사용하여 이미지 스티칭 시스템을 구현하였다. 명도가 비슷한 이미지는 이음새 부분에 이질감 없이 스티칭 되었으나 명도 차이가 있는 입력 이미지에 대해선 이질감이 크게 느낄 수 있었다.
74% 순으로 평가되었다[9]. 이후 연구에서는 SURF 알고리즘이 가장 정확한 특징점 알고리즘이라는 것을 이용하여 SIFT 알고리즘을 SURF 알고리즘으로 바꿔 실험할 것이다. 또한, 입력이미지들 간의 명도 차이를 전처리(Preprocessing)를 하여 이질감을 최소화하는 연구를 진행할 것이다.
7. 제안한 이미지 스티칭 알고리즘.

대상 데이터

시점과 조도량이 서로 다른 두 이미지를 스티칭 하다가 보면 이음새 부분에 이질감을 느낄 수 있는데 이러한 이질감을 없애주는 기술이다[8]. Feathering, Multi-band Image Blending, Image pyramid 등 여러 블렌딩이 있는데 그 중 대표적인 알파 블렌딩(Alpha Blending)을 사용하였다.

이론/모형

SIFT 알고리즘은 크기에 강인한 특성을 가지고 위해 가우시안 피라미드(Gaussian Pyramid)를 사용하였다. 가우시안 피라미드는 이미지의 스케일(Scale)을 다양하게 만드는, 여러 크기의 이미지 집합이라고 말할 수 있다.

성능/효과

본 논문에서는 두 개의 2D 이미지를 특징점을사용하여 이미지 스티칭 시스템을 구현하였다. 명도가 비슷한 이미지는 이음새 부분에 이질감 없이 스티칭 되었으나 명도 차이가 있는 입력 이미지에 대해선 이질감이 크게 느낄 수 있었다.

후속연구

이후 연구에서는 SURF 알고리즘이 가장 정확한 특징점 알고리즘이라는 것을 이용하여 SIFT 알고리즘을 SURF 알고리즘으로 바꿔 실험할 것이다. 또한, 입력이미지들 간의 명도 차이를 전처리(Preprocessing)를 하여 이질감을 최소화하는 연구를 진행할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	VR이란?	최근 구글, 페이스북 등 VR (Virtual Reality) 많은 관심을 보이고 있다[1]. VR은 360도로 펼쳐지는 영상을 가지고 가상 세계를 만들어 다양한 체험을 할 수 있는 기술이다. VR시장이 커지면서 360영상과 360 카메라에 대한 관심이 확대되고 있다.
	Feature-based Stitching기술의 특징 및 장점은?	Direct-based Stitching 방법은 ROI (Region Of Interesting)의 모든 픽셀값을 비교하여 부적합한 비교범위를 가지게 되므로 회전 변환이나 크기변환에 성능이 떨어진다. 그에 반면, Feature-based Stitching기술은 이미지에서 특징점을 추출하여 그 특징점을 설명하는 서술자로 이미지 매칭이 이루어지기 때문에 회전변환, 크기변환에 강력하고 이미지 스티칭 정확도도 높아 많이 사용된다[3,10]. 본 논문에서는 Feature-based Stitching 기술에 대해서 서술하며 또한 Feature-based Stitching기술을 직접 구현하여 스티칭 결과를 보여준다.
	VR시장의 성장 및 이에 따른 관심으로 무엇이 진행되었는가?	VR시장이 커지면서 360영상과 360 카메라에 대한 관심이 확대되고 있다. 이로 인해 저렴한 보급형 360카메라가 출시되며 기존 2D이미지로 360영상을 만드는 이미지 스티칭 기술에 대해 많은 관심과 연구가 진행되고 있다.

참고문헌 (10)

Jongho Kim, Siyoung Park, Jisang Yoo, "Panorama image generation suing FAST algorithm", Kwangwoon University, Korean Broadcasting Engineering Conference, 2015.
Heejae Kim, "Authoring System using Panoramas of Real World", Sejong University, thesis for a degree, 2014.
Fanni Molnar, Andras Kovacs, "360-degree image stitching with GPU support", Obuda University, John von Neumann Faculty of Informatics, IEEE international Conference on Intelligent Systems, 2016.
Sungpil Choi "Scale-Invariant-Feature Transf- orm (SIFT)", Department of Electrical and Electronic Engineering, KAIST, 2014.
Mattew Brown, Richard Szeliski, Simon Winder, "Multi-image Matching using Multi-Scale Oriented Patches", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005.
Richard Szeliski, "Image Alignment and Stitching", Foundations and Trends(R)in Computer Graphics and Vision, 2006.
R Sukthankar, R.G. Stockton, M.D. Mullin, "Smarter Presentations : exploting homogra- phy in camera projector system.", IEEE International Conference on Computer Vision, 2001.
Hyung Il Koo, Nam Ik Cho, "Feature-based Registration Algorithm for image Stitching on Mobile Devices", IEEE Transactions on Consumer Electronics, 2011.
A.Zomet, A.Levin, S.Peleg, Y.Weiss, "Seamless Image Stitching by minizing false edge", IEEE Transactions on Image Processing, 2006.
Moushmi Zaman Bonny, Mohammad Shorif Uddin, "Feature-Based Image Stitching Algorithm", IEEE International Workshop on Computational Intelligences (IWCI), 2016.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

특징점 기반 이미지 스티칭을 이용한 파노라마 시스템 구현
Implementation of the Panoramic System Using Feature-Based Image Stitching 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

특징점 기반 이미지 스티칭을 이용한 파노라마 시스템 구현 Implementation of the Panoramic System Using Feature-Based Image Stitching 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

최재학 (2) 이용환 (70) 김영섭 (68)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

특징점 기반 이미지 스티칭을 이용한 파노라마 시스템 구현
Implementation of the Panoramic System Using Feature-Based Image Stitching 원문보기

AI 본문요약
AI-Helper