[논문]단안 비디오로부터의 5차원 라이트필드 비디오 합성

배규호; 안드레 이반; 박인규

doi:10.5909/jbe.2019.24.5.755

단안 비디오로부터의 5차원 라이트필드 비디오 합성
5D Light Field Synthesis from a Monocular Video 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.5, 2019년, pp.755 - 764

배규호 (인하대학교 정보통신공학과) , 안드레 이반 (인하대학교 정보통신공학과) , 박인규 (인하대학교 정보통신공학과)

초록
AI-Helper

현재 사용 가능한 상용 라이트필드 카메라는 정지 영상만을 취득하거나 가격이 매우 높은 단점으로 인하여 5차원 라이트필드 비디오 취득에 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 단안 비디오로부터 라이트필드 비디오를 합성하기 위한 딥러닝 기반 기법을 제안한다. 라이트필드 비디오 학습 데이터를 취득하기 어려운 문제를 해결하기 위하여 UnrealCV를 활용하여 3차원 그래픽 장면의 사실적 렌더링에 의한 합성 라이트필드 데이터를 취득하고 이를 학습에 사용한다. 제안하는 딥러닝 프레임워크는 입력 단안 비디오에서 $9{\times}9$의 각 SAI(sub-aperture image)를 갖는 라이트필드 비디오를 합성한다. 제안하는 네트워크는 밝기 영상으로 변환된 입력 영상으로부터 appearance flow를 추정하는 네트워크, appearance flow로부터 얻어진 인접한 라이트필드 비디오 프레임간의 optical flow를 추정하는 네트워크로 구성되어 있다.

Abstract ▼ AI-Helper

Currently commercially available light field cameras are difficult to acquire 5D light field video since it can only acquire the still images or high price of the device. In order to solve these problems, we propose a deep learning based method for synthesizing the light field video from monocular video. To solve the problem of obtaining the light field video training data, we use UnrealCV to acquire synthetic light field data by realistic rendering of 3D graphic scene and use it for training. The proposed deep running framework synthesizes the light field video with each sub-aperture image (SAI) of $9{\times}9$ from the input monocular video. The proposed network consists of a network for predicting the appearance flow from the input image converted to the luminance image, and a network for predicting the optical flow between the adjacent light field video frames obtained from the appearance flow.

주제어

표/그림 (9)

그림 그림 1. 학습에 사용된 3차원 그래픽 장면. (a) [7]에서 제공하는 3차원 그래픽 장면; (b) 본 논문에서 구성한 3차원 그래픽 장면 Fig. 1. The 3D graphic scenes used for training. (a) 3D graphic scene from [7]; (b) 3D graphic scene from ours
그림 그림 2. 제안하는 프레임워크 Fig. 2. Proposed framework
그림 그림 3. 광학 플로우 추정 네트워크의 구조 Fig. 3. Architecture of optical flow estimation network
그림 그림 4. 가상 환경 실험 영상(162 프레임)에 대한 라이트필드 비디오 합성 결과. Fig. 4. Light field video synthesis result of synthetic test scene (162 frames).
그림 그림 5. 가상 환경 실험용 영상에 대한 정량적 비교 Fig. 5. Quantitative comparison of synthetic test scene
표 표 1. 가상 환경 실험용 영상에 대한 평균 PSNR(dB), SSIM Table 1. Average PSNR (in dB) and SSIM from synthetic test scene
그림 그림 6. 실제 환경에 대한 라이트필드 비디오 합성 결과. Fig. 6. Light field video synthesis result for real scene.
그림 그림 7. 손실 함수에 따른 정량적 성능 비교 Fig. 7. Quantitative comparison of each loss function
표 표 2. 각 손실 함수에 따른 평균 PSNR(dB), SSIM Table 2. Average PSNR (in dB) and SSIM of each loss function

참고문헌 (21)

Raytrix 3D Light Field Cameras, https://raytrix.de/products
M. Abadi, P. Barham, J. Chen, Z. Chen, A. Davis, J. Dean, and M. Kudlur, "Tensor-flow: A system for large-scale machine learning," In Proc. of 12th Symposium on Operating Systems Design and Implementation, volume 16, pages 265-283, 2016.
N. K. Kalantari, T.-C. Wang, and R. Ramamoorthi, "Learning-based view synthesis for light field cameras," ACM Transactions on Graphics, 35(6): 193, 2016.
P. P. Srinivasan, T. Wang, A. Sreelal, R. Ramamoorthi, and R. Ng, "Learning to synthesize a 4D RGBD light field from a single image," In Proc. of IEEE International Conference on Computer Vision, pages 2243-2251, 2017.
A. Ivan, Willem, and I. K. Park, "Synthesizing a 4D spatio-angular consistent light field from a single image," arXiv preprint arXiv:1903.12364, 2019.
T.-C. Wang, J.-Y. Zhu, N. K. Kalantari, A. A. Efros, and R. Ramamoorthi, "Light field video capture using a learning-based hybrid imaging system," ACM Transactions on Graphics, 36(4): 133, 2017.
W. Qiu and Y. Alan,"UnrealCV: Connecting computer vision to unreal engine," In Proc. of European Conference on Computer Vision, pages 909-916, 2016.
M. Jaderberg, K. Simonyan, and A. Zisserman, "Spatial transformer networks," In Proc. of Advances in Neural Information Processing Systems, pages 2017-2025, 2015.
D. P. Kingma and J. B. Adam, "Adam: A method for stochastic optimization," In Proc. of International Conference on Machine Learning, 2015.
B. Wilburn, N. Joshi, V. Vaish, E. -V. Talvala, E. Antunez, A. Barth, A. Adams, M. Horowitz, and M. Levoy, "High performance imaging using large camera arrays," ACM Transactions on Graphics, 24(3), pages 765-776, 2005.

상세보기
G. Wu, M. Zhao, L. Wang, Q. Dai, T. Chai, and Y. Liu, "Light field reconstruction using deep convolutional network on EPI," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 6319-6327, 2017.
H. Wing Fung Yeung, J. Hou, J. Chen, Y. Ying Chung, and X. Chen, "Fast light field reconstruction with deep coarse-to-fine modelling of spatial-angular clues," In Proc. of European Conference on Computer Vision, pages 137-152, 2018.
T. Zhou, R. Tucker, J. Flynn, G. Fyffe, and N. Snavely, "Stereo magnification: Learning view synthesis using multiplane images," ACM Transactions on Graphics, 37(4):65:1-65:12, 2018.
P. P. Srinivasan, R. Tucker, J. T. Barron, R. Ramamoorthi, R. Ng, and N. Snavely, "Pushing the boundaries of view extrapolation with multiplane images," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 175-184, 2019.
B. Mildenhall, P. P. Srinivasan, R. Ortiz-Cayon, N. K. Kalantari, R. Ramamoorthi, R. Ng, and A. Kar, "Local light field fusion: Practical view synthesis with prescriptive sampling guidelines," ACM Transactions on Graphics, 38(4):29:1-29:14, 2019.
T. Zhou, S. Tulsiani, W. Sun, J Malik, and A. A. Efros, "View synthesis by appearance flow," In Proc. of European Conference on Computer Vision, pages 286-301, 2016.
H. Schilling, M. Diebold, C. Rother, and B. Jhne, "Trust your model: Light field depth estimation with inline occlusion handling," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 4530-4538, 2018
C. Shin, H.-G. Jeon, Y. Yoon, I. S. Kweon, and S. J. Kim, "Epinet: A fully-convolutional neural network using epipolar geometry for depth from light field images," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 4748-4757, 2018.
Williem, and I. K. Park, "Robust light field depth estimation for noisy scene with occlusion," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 4396-4404, 2016.
Williem, I. K. Park, and K. M. Lee, "Robust light field depth estimation using occlusion-noise aware data costs," IEEE Transactions on Pattern Analysis and Machine Intelligence, (10):2484-2497, 2018.
R. Ng, M. Levoy, M. Brdif, G. Duval, M. Horowitz, and P. Hanrahan, "Light field photography with a hand-held plenoptic camera," Computer Science Technical Report CSTR, 2(11):1-11, 2005.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증