[논문]개선된 Seam Finder를 이용한 360 VR 이미지 스티칭 기술

손희정; 한종기

doi:10.5909/jbe.2018.23.5.656

개선된 Seam Finder를 이용한 360 VR 이미지 스티칭 기술
Advanced Seam Finding Algorithm for Stitching of 360 VR Images 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.23 no.5, 2018년, pp.656 - 668

손희정 (세종대학교 전자정보통신공학과) , 한종기 (세종대학교 전자정보통신공학과)

초록
AI-Helper

스티칭 기술은 고화질의 360 VR 영상을 제작하는 과정에서 가장 중요한 요소 기술들 중의 하나이다. 스티칭 기술의 성능을 저하시키는 원인들에는 특징점 추출 과정의 오류, seam finding 과정에서 사용되는 마스크의 왜곡으로 발생하는 오류, 각 영상들의 밝기 보상 오류 등 다양한 원인들이 존재한다. 본 논문에서는 합성되는 각 영상들 간의 시차(View Disparity)가 존재함으로써 스티칭 성능이 저하되는 현상을 분석하고, 이 문제를 해결하기 위해 이음부 탐색(seam finding)의 전처리 과정에서 사용되는 효율적인 알고리즘을 제안한다. 본 논문에서 제안하는 기술을 통해 기존 방법보다 개선된 마스크들을 제작하여 효율적인 이음부 탐색(seam finding)이 수행되도록 하고, 그 결과 개선된 화질을 갖는 360 VR 영상을 얻을 수 있음을 설명한다. 본 논문에서 실시된 다양한 실험들을 통해, 제안된 기술이 시차 왜곡이 존재하는 영상 신호들을 합성하는 과정에 효율적이면서 동작 복잡도도 높지 않음을 보이고 있다.

Abstract ▼ AI-Helper

VR (Virtual Reality) is one of the important research topics in the field of multimedia application system. The quality of the visual data composed from multiple pictures depends on the performance of stitching technique. The stitching module consists of feature extraction, mapping of those, warping, seam finding, and blending. In this paper, we proposed a preprocessing scheme to provide the efficient mask for seam finder. Incorporating of the proposed mask removes the distortion, such as ghost and blurring, in the stitched image. The simulation results show that the proposed algorithm outperforms other conventional techniques in the respect of the subjective quality and the computational complexity.

주제어

표/그림 (19)

그림 그림 1. (a),(b),(c): 다양한 각도로 촬영된 영상들에서 시차가 존재하는 물체들의 예, (d): 시차로 인한 스티칭 에러의 발생 예 Fig. 1. (a),(b),(c): Examples of objects captured with various directions, (d): Degradation resulting from view disparity in the stitched image
그림 그림 2. 스티칭 알고리즘 Fig. 2. Conventional stitching algorithm
그림 그림 3. 삼각측량법 Fig. 3. Triangulation method
그림 그림 4. 이미지 매칭쌍에 대한 삼각측량법 적용 Fig. 4. Triangulation method for the matched feature point pair
그림 그림 5. ROI 설정과 서브이미지 추출 Fig. 5. Extraction of subimages according to ROI
그림 그림 6. (a) subimage1의 밝기값, (b) subimage2의 밝기값, (c) subimage1 과 subimage2의 밝기값의 차이영상 Fig. 6. Difference image between gray pixels in subimage1 and subimage2
그림 그림 7. subimage1과 image2간의 연속성 평가 Fig. 7. Continuity Evaluation betwteen boundaries of subimage1 and image2
그림 그림 8. subimage2과 image1간의 연속성 평가 Fig. 8. Continuity Evaluation betwteen boundaries of subimage2 and image1
그림 그림 9. (a) ROI 영역에서 subimage2가 선택된 경우, (b) image1을 위한 시차 검출 영역 픽셀 값이 자워진 마스크, (c) image2를 위한 시차 검출 영역 픽셀값이 보존된 마스크 Fig. 9. (a) Example of ROI constructed from image1 and image2, (b) Mask for image1, (c) Mask for image2
그림 그림 10. (a) 기존 방법에서 사용되는 마스크 set, (b) (a)를 이용하여 이음부 탐색(seam finding)을 수행한 결과 마스크 set, (c) 제안하는 기술로 만든 마스크 set, (d) (c)를 이용하여 이음부 탐색(seam finding)을 수행한 결과 마스크 set Fig. 10. (a) Conventional mask set, (b) Mask set resulting from seam finder using mask set of (a), (c) Mask set generated from the proposed algorithm, (d) Mask set resulting from seam finder using mask set of (c)
그림 그림 11. (a) Blending 과정 없이 그림 10 (b)의 마스크를 이용하여 스티창된 영상, (b) Blending 과정 없이 그림 10 (d)의 마스크를 이용하여 스티창된 영상, (c) Blending 과정을 적용하면서 그림 10 (b)의 마스크를 이용하여 스티창된 영상, (d) Blending 과정을 적용하면서 그림 10 (d)의 마스크를 이용하여 스티창된 영상, Fig. 11. (a) The stitched image based on the mask of Fig. 10 (b) without blending, (b) The stitched image based on the mask of Fig. 10 (d) without blending, (c) The stitched image based on the mask of Fig. 10 (b) with blending, (d) The stitched image based on the mask of Fig. 10 (d) with blending
그림 그림 12. 제안된 아이디어의 알고리즘 Fig. 12. Proposed algorithm
그림 그림 13. ‘연구실 풍경’ 영상에 대해 기존 기술들과 제안 기술을 적용하여 스티칭된 이미지들, (a):보로노이 그래프 컷 알고리즘, (b):최대 유량 그래프 컷 알고리즘, (c):제안된 아이디어와 보로노이 그래프 컷 알고리즘 Fig. 13. ‘Research Laboratory’ Images resulting from various stitching algorithms, (a) Voronoi Cut Algorithm, (b) Max-flow Graph Cut Algorithm, (c) The proposed algorithm combined with Voronoi Graph Cut Algorithm
그림 그림 14. ‘복도 풍경’ 영상에 대해 기존 기술들과 제안 기술을 적용하여 스티칭된 이미지들, (a):보로노이 그래프 컷 알고리즘, (b):최대 유량 그래프 컷 알고리즘, (c):제안된 아이디어와 보로노이 그래프 컷 알고리즘 Fig. 14. ‘Aisle’ Images resulting from various stitching algorithms, (a) Voronoi Graph Cut Algorithm, (b) Max- flow Graph Cut Algorithm, (c) The proposed algorithm combined with Voronoi Graph Cut Algorithm
그림 그림 15. ‘의자’ 영상에 대해 기존 기술들과 제안 기술을 적용하여 스티칭된 이미지들, (a):보로노이 그래프 컷 알고리즘, (b):최대 유량 그래프 컷 알고리즘, (c):제안된 아이디어와 보로노이 그래프 컷 알고리즘 Fig. 15. ‘Chair’ Images resulting from various stitching algorithms, (a) Voronoi Graph Cut Algorithm, (b) Max-flow Graph Cut Algorithm, (c) The proposed algorithm combined with Voronoi Graph Cut Algorithm
그림 그림 16. ‘거실’ 영상에 대해 기존 기술들과 제안 기술을 적용하여 스티칭된 이미지들, (a):보로노이 그래프 컷 알고리즘, (b):최대 유량 그래프 컷 알고리즘, (c):제안된 아이디어와 보로노이 그래프 컷 알고리즘 Fig. 16. ‘living room’ Images resulting from various stitching algorithms, (a) Voronoi Graph Cut Algorithm, (b) Max-flow Graph Cut Algorithm, (c) The proposed algorithm combined with Voronoi Graph Cut Algorithm
표 표 1. 그림 13의 알고리즘 별 연산 시간과 메모리 소비량 비교 Table 1. The time and memory consumed to stitch images by various algorithms for images of Figure 13
표 표 2. 그림 14의 알고리즘 별 연산 시간과 메모리 소비량 비교 Table 2. The time and memory consumed to stitch images by various algorithms for images of Figure 14
표 표 3. 그림 15의 알고리즘 별 연산 시간과 메모리 소비량 비교 Table 3. The time and memory consumed to stitch images by various algorithms for images of Figure 15

질의응답

핵심어	질문	논문에서 추출한 답변
	보로노이 다이어그램의 단점은 무엇인가?	보로노이 다이어그램은 주요물체와 배경을 구분하며, 이 영역 간 경계가 seam이 되어 주요물체를 보존하는 방법이다. 소요되는 메모리나 연산시간에 비해 주요물체를 잘 보존하지만 ‘최대 유량(Max-Flow) 그래프 컷 알고리즘’에 비해 오버랩 경계에서는 물체가 잘리는 단점이 있다. 추가로 고려된 기존 알고리즘인 ‘최대 유량 그래프 컷 알고리즘’[15]에서는 각 픽셀을 노드로 그래프를 구성한다.
	영상들의 오버랩 영역에서는 어떤 현상이 발생하는가?	warping이 수행된 후, 전체 이미지의 밝기를 비슷하게 만드는 노출보정 과정(exposure compensation)[11]을 거친다. 이렇게 합성된 영상에는 서로 다른 영상들을 합성하면서 발생한 경계의 어색함이 존재하는데, 주로 영상들의 오버랩 영역에서 발생한다. 이러한 어색함 내지 왜곡을 제거하기 위해서, 이러한 오버랩 영역에서 핵심이 되는 중요한 물체의 경계를 의미하는 seam을 찾고, 이를 이용하여 blending과정을 수행한다[12].
	360 VR 기술은 무엇인가?	360 VR은 영화, 공연, 스포츠, 게임, 부동산, 숙박시설, 쇼핑, 소셜 커뮤니티 등에서 활용 가능한 차세대 주요 기술이다. 360 VR 기술은 컴퓨터 그래픽 기술을 활용하여 3차원 가상 공간을 구성하고, 네트워크 및 통신 기술을 이용하여 가상현실 공간과 현재 공간 사이를 실시간으로 연결하며, 사용자에게 몰입형 시청각 체험을 제공함으로써, 현장감이 넘치는 멀티미디어 서비스를 제공하는 신기술이다[1]. 이 360 VR 기술을 효율적으로 구현하기 위해서 필요한 세부 기술들에는 3차원 공간을 2차원에 구성하는 영상처리, 방대한 정보량을 통신하기 위한 압축 기술, 사용자에게 빠르게 반응하기 위한 초고속 대용량 통신 기술 등이 필요한데, 이러한 기술적 요구조건을 만족시키는 통신 인프라 기술이 5G 이동통신기술이라고 알려져 있다[2].

참고문헌 (15)

Chang-Hoon Kang, "Flow of next generation broadcast video, Present and Future of VR contents," The Korea Contents Association Review, Vol. 14, No. 2, pp. 14-18, 2016, June.
J. G. Andrews et al., "What Will 5G Be?," in IEEE Journal on Selected Areas in Communications, vol. 32, no. 6, pp. 1065-1082, June, 2014.

상세보기
ITU-T/ISO/IEC JVET, "Results of the Joint Call for Evidence on Video Compression with Capability beyond HEVC", JVET-G1004-v2, July, 2017.
ITU-T/ISO/IEC JVET, "Algorithm descriptions of projection format conversion and video quality metrics in 360Lib", JVET-E1003, January, 2017.
ITU-T/ISO/IEC JVET, "Common Test Conditions and Evaluation Procedures for HDR/WCG Video Coding", JVET-D1020, October, 2016.
M. Doma？ski, O. Stankiewicz, K. Wegner and T. Grajek, "Immersive visual media -MPEG-I: 360 video, virtual navigation and beyond," 2017 International Conference on Systems, Signals and Image Processing (IWSSIP), Poznan,pp. 1-9, May, 2017.
W. Li, C. B. Jin, M. Liu, H. Kim and X. Cui, "Local similarity refinement of shape-preserved warping for parallax-tolerant image stitching," in IET Image Processing, vol. 12, no. 5, pp. 661-668, May, 2018.

상세보기
N. Li, Y. Xu and C. Wang, "Quasi-Homography Warps in Image Stitching," in IEEE Transactions on Multimedia, vol. 20, no. 6, pp. 1365-1375, June 2018.

상세보기
K. Y. Lee and J. Y. Sim, "Stitching for Multi-View Videos With Large Parallax Based on Adaptive Pixel Warping," in IEEE Access, vol. 6, pp. 26904-26917, 2018.

상세보기
M.Brown, D. G. Lowe, "Automatic Panoramic Image Stitching using Invariant Features",International Journal of Computer Vision, Volume 74 Issue 1, Pages 59 - 73, August 2007.

상세보기
M. Uyttendaele, A. Eden and R. Skeliski, "Eliminating ghosting and exposure artifacts in image mosaics," Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001, pp. II-509-II-516 vol.2, December, 2001.
Vladan Rankov, Rosalind J. Locke, Richard J. Edens, Paul R. Barber, Borivoj Vojnovic, "An algorithm for image stitching and blending", SPIE 5701, Three-Dimensional and Multidimensional Microscopy: Image Acquisition and Processing XII, March 2005.
Muthukrishnan.R, M.Radha," Edge detection techniques for image segmentation",International Journal of Computer Science & Information Technology (IJCSIT) Vol 3, No 6, Pages 259 - 267,December, 2011.
Chetan Arora, Subhashis Banerjee, Prem Kalra, and S. Maheshwari. An efficient graph cut algorithm for computer vision problems. In Computer Vision ECCV 2010, volume 6313 of Lecture Notes in Computer Science, pages 552-565. Springer Berlin / Heidelberg, 2010.
Y. Boykov and V. Kolmogorov, "An experimental comparison of min-cut/max- flow algorithms for energy minimization in vision," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no. 9, pp. 1124-1137, Sept. 2004.

상세보기

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증