[논문]360 VR을 구성하는 영상들 간 밝기 차이를 이용한 seam finding 알고리즘

남다윤; 한종기

doi:10.5909/jbe.2018.23.6.896

360 VR을 구성하는 영상들 간 밝기 차이를 이용한 seam finding 알고리즘
Seam Finding Algorithm using the Brightness Difference Between Pictures in 360 VR 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.23 no.6, 2018년, pp.896 - 913

남다윤 (세종대학교 전자정보통신공학과) , 한종기 (세종대학교 전자정보통신공학과)

초록
AI-Helper

360 VR 영상을 구성하는 과정에서 합성되는 영상들 사이의 경계(seam)를 정확하고 효율적으로 추출하는 것은 스티칭된 영상의 화질에 매우 중요한 영향을 끼친다. 기존의 seam finding 기술들인 보로노이(Voronoi) 알고리즘, dynamic programming, graph cut 방법들은 시차(view disparity)가 존재하거나 이동하는 물체가 존재하는 상황에서는 ghost와 같은 왜곡을 발생시킨다. 본 논문에서는 기존 알고리즘들과 달리 물체를 가로지르지 않고, 물체를 피해 배경을 가로질러 접합선을 추출하는 '밝기 대비를 이용한 마스크 추출 방법'을 제안하였다. 이때, 배경과 물체와의 밝기차이를 이용하여, 물체의 형상을 따라 이어지는 접합선을 추출했다. 본 논문의 실험 결과를 통해, 제안하는 기술을 사용하면 왜곡을 감소시키는 위치에서 접합선이 생성되고, 스티칭된 영상의 화질이 개선되는 것을 확인하였다.

Abstract ▼ AI-Helper

Seam finding algorithm is one of the most important techniques to construct the high quality 360 VR image. We found that some degradations, such as ghost effect, are generated when the conventional seam finding algorithms (for examples, Voronoi algorithm, Dynamic Programming algorithm, Graph Cut algorithm) are applied, because those make the inefficient masks which cross the body of main objects. In this paper, we proposed an advanced seam finding algorithm providing the efficient masks which go through background region, instead of the body of objects. Simulation results show that the proposed algorithm outperforms the conventional techniques in the viewpoint of the quality of the stitched image.

주제어

표/그림 (17)

그림 그림 1. 복수개 영상들의 합성 과정 Fig. 1. Flowchart of the image stitching algorithm
그림 그림 2. 스티칭되기 전에 Warping된 사진들 Fig. 2. Warped images for the stitching process
그림 그림 3. Warping된 사진들을 stitching하기 위한 Mask들 Fig. 3. Masks for stitching the warped pictures
그림 그림 4. 마스크 사용한 경우와 사용하지 않은 경우들의 스티칭된 이미지들 비교 Fig. 4. Comparison between the stitched images using mask and no mask
그림 그림 5. 보로노이 알고리즘의 과정 Fig. 5. Process of Voronoi algorithm
그림 그림 6. 다이나믹 프로그래밍 알고리즘의 과정 Fig. 6. Process of Dynamic programming algorithm
그림 그림 7. 기존 seam finder 알고리즘들을 적용하여 스티칭된 사진들 (블렌딩 과정은 사용하지 않음) Fig. 7. The stitched pictures by using the conventional seam finder algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms
그림 그림 8. 시차에 의한 스티칭 에러 Fig. 8. Stitching error resulted from Parallax
그림 그림 9. 피사체의 움직임에 의한 스티칭 에러 Fig. 9. Stitching error resulted from moving objects
그림 그림 10. 제안 방법의 알고리즘 Fig. 10. Algorithm of the proposed seam finder
그림 그림 11. 밝기 대비를 이용한 마스크 추출 Fig. 11. Mask extraction by using the difference of brightness
그림 그림 12. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 12. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms
그림 그림 12. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 12. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms
그림 그림 13. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 13. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms
그림 그림 13. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 13. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms
그림 그림 14. 블렌딩 과정을 적용하는 조건에서 다양한 Seam finder들을 이용하여 스티칭된 영상들의 비교 Fig. 14. The images stitched by using a variety of seam finding algorithms, where the blending process is applied
그림 그림 15. 배경과 물체의 구분이 명확하지 않는 영상들의 스티칭 결과 Fig. 15. The stitched image when there is no clear division between background and objects

질의응답

핵심어	질문	논문에서 추출한 답변
	이미지 스티칭 기술은 무엇인가?	이미지 스티칭(Image Stitching) [1,2] 기술은 하나의 영상 으로 담기지 않는 풍경을 중첩되도록 촬영한 여러 장의 사진을 이어 붙여 파노라마 영상으로 만드는 기술을 의미한다. 현재 가장 주목받는 기술 중 하나인 360˚VR 역시 스티칭 과정이 기본적으로 필요하다.
	고성능의 seam finder의 특징은?	고성능의 seam finder 일수록 접합선 중심으로 영상 간 불일치가 적고, 고스팅이 보이지 않을 것이다. 기존에 seam finder 알고리즘으로는 Voronoi segment를 이용하는 보로 노이(Vo- ronoi) [6], 저주파 성분을 찾는 다이나믹 프로그래밍(Dyna- mic Programming) [7] 과 그래프 컷(Graph Cut) [8], 오버랩 되는 영상 간 최소 오차를 찾는 최소오차경계블렌딩
	이미지 스티칭은 어떤 단계로 구분되는가?	이미지 스티칭(Image Stitching)은 중첩되는 영역을 가진 여러 장의 사진을 오버랩 영역(Overlap Roi)에서 이어 붙여 하나의 영상을 만드는 작업이다. 스티칭은 간단히 (a) 특징점 검출(feature extraction), (b) 특징점 매칭(feature matching), (c) 영상 와핑(warping), (d) 경계선 블랜딩(blending)이렇게 4단계로 구분된다. 스티칭의 첫 단계에서는 SIFT (Scale Invariant Feature Transform) [11,12], SURF(Speeded Up Robust Features) [13], ORB(Oriented BRIEF) [14], FAST [15]등의 특징점 검출 알고리즘으로 특징점을 추출(feature extraction)한다.

참고문헌 (18)

Matthew Brown and David G. Lowe, "Automatic Panoramic Image Stitching using Invariant Features," International Journal of Computer Vision, Vol. 74, No. 1, pp. 59-73, 2007

상세보기
R. Szeliski, "Image Alignment and Stitching: A Tutorial," Foundations and Trends in Computer Graphics and Vision, Vol 2, Issue 1, January 2004.
Burt, P. J. and Adelson, E. H. "A multiresolution spline with applications to image mosaics," ACM Transactions on Graphics, Vol. 2, No. 4, pp.217-236, October 1983
Patrick Perez, Michel Gangnet and Andrew Blake, "Poisson Image Editing," ACM Transactions on Graphics, Vol 22, Issue 3, pp. 313-318, July 2003

상세보기
Matthew Uyttendaele, Ashley Eden and Richard Szeliski, "Eliminating Ghosting and Exposure Artifacts in Image Mosaics," 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol 2, pp. 509-516, 2001
Jun Pan, Mi Wang, Deren Li, and Jonathan Li, "Automatic Generation of Seamline Network Using Area Voronoi Diagrams With Overlap," IEEE Transactions on Geoscience and Remote Sensing , Vol. 47, Issue. 6, pp 1737-1744, April 2009

상세보기
Shai Avidan and Ariel Shamir, "Seam Carving for Content-Aware Image Resizing," ACM Transactions on Graphics, Vol. 26, Issue. 3, No 10, pp.1-10, July 2007
Yuri Y. Boykov and Marie-Pierre Jolly, "Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images," International Conference on Computer Vision, Vol. 1, pp.105-112, July 2001
Alexei A. Efros and William T. Freeman, "Image quilting for texture synthesis and transfer," Proceedings of ACM SIGGRAPH 2001, pp.341-346, 2001
Myeongah Cho, Junsik Kim, and Kyuheon Kim, "Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method," Journal of Broadcast Engineering, Vol. 23, No. 2, pp 235- 245, March 2018
David G. Lowe, "Distinctive Image Features from Scale-Invariant Key-points," International Journal of Computer Vision, Vol. 60, No. 2, pp.91-110, November 2004.

상세보기
Won-Jun Moon, Young-Ho Seo, and Dong-Wook Kim, "Parameter Analysis for Time Reduction in Extracting SIFT Keypoints in the Aspect of Image Stitching," Journal of Broadcast Engineering Vol. 23, No. 4, pp 559 -573, July 2018
Herbert Bay, Andreas Ess, Tinne Tuytelaars and Luc Van Gool, "Speeded-Up Robust Features (SURF)," Computer Vision and Image Understanding, Vol. 10, Issue 3, pp.346-359, 2008
E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "Orb: An efficient alternative to sift or surf," International conference on computer vision, Vol. 1, pp. 2564-2571, November 2011
Siyoung Park, Jongho Kim, and Jisang Yoo, "Fast Stitching Algorithm by using Feature Tracking," Journal of Broadcast Engineering, Vol. 20, No. 5, pp 728-737, September 2015
Martin A. Fischler and Robert C. Bolles , "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, Vol. 24, No. 6, pp.381-395, June 1981

상세보기
Heung-Yeung Shum and Richard Szeliski, "Construction of Panoramic Image Mosaics with Global and Local Alignment," International Journal of Computer Vision, Vol. 36, pp.953-956, 1998
R. Gonzalez and R. Woods, Digital Image Processing, Addison-Wesley , pp 512-550, 1992

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증