[논문]360 VR 영상 제작을 위한 Saliency Map 기반 Seam Finding 알고리즘

한현덕; 한종기

doi:10.5909/jbe.2019.24.6.1096

360 VR 영상 제작을 위한 Saliency Map 기반 Seam Finding 알고리즘
Modified Seam Finding Algorithm based on Saliency Map to Generate 360 VR Image 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.6, 2019년, pp.1096 - 1112

한현덕 (세종대학교 전자정보통신공학과) , 한종기 (세종대학교 전자정보통신공학과)

초록
AI-Helper

현재 360 VR 이미지를 만들어주는 카메라들은 상당히 고가이기에 사람들이 손쉽게 사용할 순 없는 상황이다. 이를 해결하기 위해 휴대 전화의 카메라를 이용해 100여 장의 사진을 360° 촬영을 한 후 Image stitching으로 360 VR 영상을 얻고자 한다. 기존의 장비는 한 번에 360℃ 촬영으로 VR 영상을 만들어내는 반면 휴대 전화를 이용하여 촬영할 경우 영상마다 시차가 생기게 된다. 이로 인해 움직이는 물체가 있는 경우 물체가 여러 장의 영상에서 나타나는 원하지 않는 상황이 생기게 되고 Seam이 물체를 관통하여 부자연스러운 결과 영상을 얻게 된다. 본 논문에서는 시각적으로 두드러지는 물체를 판별할 수 있는 Saliency map을 이용한 Seam finder 알고리즘을 통해 개선된 결과 영상을 얻을 수 있음을 확인했다.

Abstract ▼ AI-Helper

The cameras generating 360 VR image are too expensive to be used publically. To overcome this problem, we propose a way to use smart phones instead of VR camera, where more than 100 pictures are taken by smart phone and are stitched into a 360 VR image. In this scenario, when moving objects are in some of the pictures, the stitched 360 VR image has various degradations, for example, ghost effect and mis-aligning. In this paper, we proposed an algorithm to modify the seam finding algorithms, where the saliency map in ROI is generated to check whether the pixel belongs to visually salient objects or not. Various simulation results show that the proposed algorithm is effective to increase the quality of the generated 360 VR image.

주제어

표/그림 (14)

그림 그림 1. 스티칭될 와핑된 이미지들 Fig. 1. Warped images to be stitched
그림 그림 2. 스티칭에 사용될 마스크들 Fig. 2. Masks for stitching the warped images
그림 그림 3. 마스크를 이용한 스티칭과 이용하지 않은 스티칭의 차이점 Fig. 3. Comparison between the stitched images without and with masks
그림 그림 4. 블렌딩을 사용한 스티칭과 사용하지 않은 스티칭의 차이점 Fig. 4. Comparison between the stitched images without and with blending
그림 그림 5. 움직이는 물체가 존재할 때 기존의 Seam Finder를 이용한 결과 영상 Fig. 5. The stitched images resulted from the conventional algorithms when moving objects are included in an image among the warped images
그림 그림 6. 제안하는 알고리즘의 flow chart Fig. 6. The flow chart of the proposed algorithm
그림 그림 7. ROI(Region of interest) Fig. 7. ROI(Region of interest)
그림 그림 8. Saliency Map에서 threshold를 사용한 이진 영상 Fig. 8. Binary image derived from saliency map by using threshold
그림 그림 9. Dynamic Programming Algorithm 과정 Fig 9. Process of Dynamic Programming
그림 그림 10. Fig. 5에서 사용된 영상에 대해 기존의 Seam finder 알고리즘들과 제안된 알고리즘의 성능 비교 Fig. 10. Comparison between images stitched by the conventional seam finder algorithms and the proposed algorithm for pictures of Fig. 5
그림 그림 11. 움직이는 자동차가 존재할 때 기존의 Seam finder 알고리즘들과 제안하는 Seam finder 알고리즘을 이용한 결과들의 비교 Fig. 11. Comparison between images stitched by the conventional seam finder algorithms and the proposed algorithm when pictures include the moving object
그림 그림 12. 영상의 크기에 비해 작은 움직이는 물체가 존재하는 영상들의 스티칭 결과 비교 Fig. 12. Comparison between images stitched by the conventional seam finder algorithms and the proposed algorithm when pictures include small moving objects
그림 그림 13. 움직이는 물체가 없는 영상들의 스티칭 결과 비교 Fig. 13. Comparison between images stitched by the conventional seam finder algorithms and the proposed algorithm when any moving object is not included in the pictures
그림 그림 14. 그림 13의 와핑된 이미지, Saliency map, Mask Fig. 14. The warped images, Saliency maps, and Masks of Fig 13.

참고문헌 (20)

Matthew Brown and David G. Lowe, "Automatic Panoramic Image Stitching using Invariant Features," International Journal of Computer Vision, Vol. 74, No. 1, pp. 59-73, 2007

상세보기
Cheng-Ming Huang, Shu-Wei Lin, Jyun-Hong Chen, "Efficient Image Stitching of Continuous Image Sequence With Image and Seam Selections," IEEE Sensors Journal, Vol 15, no. 10, pp. 5910-5918, October 2015.

상세보기
H. Bay, T.Tuytelaars, and L. Gool, "SURF : Speeded Up Robust Features," In: A.Leonardis, H. Bischof, A. Pinz(Eds.): ECCV 2006, Part 1, LNCS 3951, pp 404-417, Springer 2006
E. Rublee, V. Rabaud, K. Konolige, G. Bradski, "ORB: An efficient alternative to SIFT or SURF," Proc. IEEE Int. Conf. Comput. Vis. (ICCV), pp. 2564-2571, Nov. 2011
C. Bore, "The Algebra of Video Mixing: Alpha Blending and Color Keying," BORES Signal Processing, 2014
M. Afifi, K. F. Hussain, "MPB: A modified Poisson blending technique," Computational Visual Media, vol. 1, no. 4, pp.331-341, 2015

상세보기
A. Levin, A. Zomet, S. Peleg, and Y. Weiss, "Seamless image stitching in the gradient domain," Proc. of Eur. Conf. Comput. Vis., Prague, Czech Republic, Vol. 4, pp 377-389, May 2004
Y.Wan, Z.Miao, "Automatic panorama image mosaic and ghost eliminating," Multimedia and Expo 2008 IEEE International Conference on, pp 509-516, 2001
B.-S.Kim, K.-A.Choi, W.-J.Park, S.-W.Kim, and S.-J.Ko, "Content-preserving video stitching method for multi-camera systems," IEEE Transactions on Consumer Electronics, vol. 63, no. 2, 2017

상세보기
J. Yoon and D. Lee, "Real-time video stitching using camera path estimation and homography refinement," Symmetry, vol. 10, no. 1, pp 4, 2017

상세보기
W. Jiang and J. Gu, "Video stitching with spatial-temporal content-preserving warping," in Proceedings of the IEEE conference on computer vision and pattern recognition workshops, pp 42-48, 2015
Jun Pan, Mi Wang, Deren Li, and Jonathan Li, "Automatic Generation of Seamline Network Using Area Voronoi Diagrams With Overlap," IEEE Transactions on Geoscience and Remote Sensing , Vol. 47, Issue. 6, pp 1737-1744, April 2009

상세보기
V. C. S. Chew, F. -L. Lian, "Panorama stitching using overlap area weighted image plan projection and dynamic programming for visual localization," Proc. IEEE/ASME Int. Conf. Adv. Intell. Mechatron. (AIM), Vol. 20, No. 5, pp 728-737, September 2015
Yuri Y. Boykov and Marie-Pierre Jolly, "Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images," International Conference on Computer Vision, Vol. 1, pp.105-112, July 2001
R. Achanta, S. Hemami, F. Estrada, and S. Susstrunk, "Frequencytuned Salient Region Detection," IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2009
J. L. Crowley, O. Riff, and J. H. Piater, "Fast computation of characteristic scale using a half octave pyramid," International Conference on Scale-Space theories in Computer Vision, 2003
Cao Congjun, Sun Jing, "Study on Color Space Conversion between CMYK and CIE L*a*b* Based on Generalized Regression Neural Network," International Conference on Computer Science and Software Engineering, 2008
Smith, Thomas; Guild, John, "The C.I.E. colorimetric standards and their use," Transactions of the Optical Society 33 (3), pp 73-134 1931-32

상세보기
Speranskaya, N.I., "Determination of spectrum color coordinates for 27 normal observers," Optics and Spectroscopy 7, 1959
A. C. Harris, I. L. Weatherall, "Objective evaluation of colour variation in the sand-burrowing beetle Chaerodes trachyscelides White (Coleoptera : Tenebrionidae) by instrumental determination of CIELAB values," Journal of the Royal Society of New Zealand 20 (3), September 1990

상세보기

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증