[논문]대형 가상현실 공연장을 위한 360도 비디오 스트리밍 시스템

류영일; 김건형; 정세훈; 류은석

doi:10.5909/jbe.2022.27.6.848

대형 가상현실 공연장을 위한 360도 비디오 스트리밍 시스템
360-degree Video Streaming System for Large-scale Immersive Displays 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.27 no.6, 2022년, pp.848 - 859

류영일 (성균관대학교 컴퓨터교육학과) , 김건형 , , , 정세훈 (성균관대학교 컴퓨터교육과) , 류은석 (성균관대학교 컴퓨터교육학과)

초록
AI-Helper

본 논문은 일반적으로 사용되는 2D 디스플레이 또는 HMD (Head-Mounted Display) 기반 VR (Virtual Reality, VR) 서비스에서 탈피하여, 대형 가상현실 공연장을 위한 360도 비디오 스트리밍 시스템을 제안한다. 제안된 시스템은 Phase 1, 2, 3의 연구개발 단계를 밟아 6DoF (Degrees of Freedom) 시점 자유도를 지원하는 360도 비디오 스트리밍 시스템을 개발하는 것을 최종목표로 하고 있으며, 현재는 Phase 1: 대형 가상현실 공연장을 위한 3DoF 360도 비디오 스트리밍 시스템 프로토타입의 개발까지 완료되었다. 구현된 스트리밍 시스템 프로토타입은 서브픽처 기반 Viewport-dependent 스트리밍 기술이 적용되어 있으며, 기존 방식과 비교하였을 때 약 80%의 비트율 감소, 약 543%의 영상 디코딩 속도 향상을 확인하였다. 또한, 단순 구현 및 성능평가에서 그치지 않고, 실제 미국 UCSB (University of California, Santa Barbara)에 위치한 대형 가상현실 공연장 AlloSphere에서의 시범방송을 수행하여, 향후 Phase 2, 3 연구단계를 위한 연구적 기반을 마련하였다.

Abstract ▼ AI-Helper

This paper presents a novel 360-degree video streaming system for large-scale immersive displays and its ongoing implementation. Recent VR systems aim to provide a service for a single viewer on HMD. However, the proposed 360-degree video streaming system enables multiple viewers to explore immersive contents on a large-scale immersive display. The proposed 360-degree video streaming system is being developed in 3 research phases, with the final goal of providing 6DoF. Currently, the phase 1: implementation of the 3DoF 360-degree video streaming system prototype is finished. The implemented prototype employs subpicture-based viewport-dependent streaming technique, and it achieved bit-rate saving of about 80% and decoding speed up of 543% compared to the conventional viewport-independent streaming technique. Additionally, this paper demonstrated the implemented prototype on UCSB AlloSphere, the large-scale instrument for immersive media art exhibition.

주제어

표/그림 (16)

그림 그림 1. 15개 타일, 24개 슬라이스, 24개 서브픽처로 분할된 영상의 예시 Fig. 1. An example of partitioning a picture into 15 tiles, 24 slices, and 24 subpictures
그림 그림 2. 사용자 뷰포트 내외 타일의 차별적 품질제어를 통한 Viewport-dependent streaming 기법의 예시 Fig. 2. An example of viewport-dependent streaming technique using video quality adaptation
그림 그림 3. 제안된 대형 가상현실 공연장을 위한 360도 비디오 스트리밍 시스템 프로토타입의 구조 Fig. 3. Architecture for the proposed 360-degree video streaming system prototype
그림 그림 5. 14대 워크스테이션 및 26대 프로젝터로 구성된 AlloSphere의 디스플레이 서브시스템 Fig. 5. AlloSphere display subsystem with 14 workstations and 26 projectors
그림 그림 4. (a) AlloSphere의 CAD 모델, (b) 위에서 바라본 AlloSphere의 모습 Fig. 4. (a) CAD model of AlloSphere, (b) A view of the AlloSphere from above
그림 그림 6. 일정 부분 겹쳐지도록 투사된 26개 프로젝션 영역의 어안사진 Fig. 6. Fisheye photograph showing most of the 26 overlapping projection areas
그림 그림 7. 제안된 360도 비디오 스트리밍 시스템의 구성 모듈 및 동작 방식 Fig. 7. The video transmission and processing modules in the proposed 360-degree video system, and their workflow
그림 그림 8. 프로젝터 A, B에 연결된 GR을 위한 서브픽처 서브셋 추출 및 서브 비트스트림 재구성 Fig. 8. Extracting subpictures and reorganizing into sub-bitstream for the GR with projector A and B
그림 그림 10. 디코딩 된 서브픽처 서브셋의 ERP로의 재배치 Fig. 10. Rearrangement of the decoded and reconstructed subpicture subset
그림 그림 11. ERP 상의 원래 위치로 재배치된 서브픽처의 예시 Fig. 11. An example of the subpictures rearranged to the original position in ERP
그림 그림 9. 1행으로 병합된 5개 서브픽처 서브셋의 예시 Fig. 9. An example of the subpicture subset merged into one row
그림 그림 12. 구현된 3DoF 360도 비디오 스트리밍 시스템 프로토타입을 활용한 AlloSphere에서의 시범방송 Fig. 12. Demonstration of the proposed 3DoF 360-degree video streaming system prototype at AlloSphere
그림 그림 13. 테스트 시퀀스 'Trolley' Fig. 13. Test sequence 'Trolley'
표 표 1. 실험환경 Table 1. Experimental environments
표 표 2. 테스트 시퀀스 코딩 옵션 Table 2. Coding options for the test sequence
표 표 3. 실험 결과 Table 3. Test results

참고문헌 (23)

"BTS to hold virtual concert 'Permission To Dance On Stage' in October," https://www.ajudaily.com/view/20210915153706063 (accessed Aug. 1, 2022)
"U.S. Billboard highlighted NCT 127's 'Beyond the Origin'!," https://www.smentertainment.com/PressCenter/Details/4476 (accessed Aug. 1, 2022)
SPRI, Untact Era, Applications of XR (Extended Reality) in？Performance Industry, Monthly Software Oriented Society, Vol.74,？2020.
J. M. Boyce, R. Dore, A. Dziembowski, J. Fleureau, J. Jung, B. Kroon,？B. Salahieh, V. K. M. Vadakital, and L. Yu, "MPEG immersive video？coding standard," Proceedings of the IEEE, Vol.109, No.9,？pp.1521-1536, 2021.？doi: https://doi.org/10.1109/JPROC.2021.3062590

상세보기
Y. Ryu, and E.-S. Ryu, "Overview of Motion-to-Photon Latency？Reduction for Mitigating VR Sickness," KSII Transactions on Internet？and Information Systems (TIIS), Vol.15, No.7, pp.2531-2546, 2021.？doi: https://doi.org/10.3837/tiis.2021.07.013

원문보기 상세보기
B. Bross, Y. K. Wang, Y. Ye, S. Liu, J. Chen, G. J. Sullivan, and J. R.？Ohm, "Overview of the versatile video coding (VVC) standard and its？applications," IEEE Transactions on Circuits and Systems for Video？Technology, Vol.31, No.10, pp.3736-3764, 2021.？doi: https://doi.org/10.1109/TCSVT.2021.3101953

상세보기
J. S. Lee, J. T. Park, H. S. Choe, J. H. Byeon, and D. G. Sim, "Overview？of VVC," Broadcasting and Media Magazine, Vol.24, No.4, pp.10-25,？2019.

원문보기 상세보기
F. Bossen, K. Suhring, A. Wieckowski, and S. Liu, "VVC Complexity？and Software Implementation Analysis," IEEE Transactions on Circuits and Systems for Video Technology, Vol.31, No.10,？pp.3765-3778, 2021.？doi: https://doi.org/10.1109/TCSVT.2021.3072204

상세보기
Y.-K., Wang, R. Skupin, M. M. Hannuksela, S. Deshpande, Hendry,？Drugeon, Virginie, R. Sjoberg, B. Choi, V. Seregin, Y. Sanchez, J. M.？Boyce, W. Wan, and G. J. Sullivan, "The high-level syntax of the？versatile video coding (VVC) standard," IEEE Transactions on Circuits？and Systems for Video Technology, Vol.31, No.10, pp.3779-3800,？2021.？doi: https://doi.org/10.1109/TCSVT.2021.3070860

상세보기
VTM reference software for VVC, https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM (accessed Aug. 1, 2022)
Fraunhofer Versatile Video Encoder (VVenC), https://github.com/fraunhoferhhi/vvenc (accessed Aug. 1, 2022)
Fraunhofer Versatile Video Decoder (VVdeC), https://github.com/fraunhoferhhi/vvdec (accessed Aug. 1, 2022)
OpenVVC, https://github.com/OpenVVC/OpenVVC (accessed Aug. 1, 2022)
Fraunhofer HHI, "VVenC Fraunhofer Versatile Video Encoder," VVenC whitepaper, v1.3.1, 2021.
A. Wieckowski, G. Hege, C. Bartnik, C. Lehmann, C. Stoffers, B. Bross, and D. Marpe, "Towards a live software decoder implementation for the upcoming versatile video coding (VVC) codec," Proceeding of 2020 IEEE International Conference on Image Processing (ICIP), pp.3124-3128, 2020. doi: https://doi.org/10.1109/ICIP40778.2020.9191199
T. Amestoy, P. L. Cabarat, G. Gautier, W. Hamidouche, and D.？Menard, "OpenVVC: a Lightweight Software Decoder for the？Versatile Video Coding Standard," arXiv preprint arXiv:2205.12217,？2022.？doi: https://doi.org/10.48550/arXiv.2205.12217
A. Yaqoob, T. Bi, and G. M. Muntean, "A survey on adaptive 360？video streaming: Solutions, challenges and opportunities," IEEE？Communications Surveys & Tutorials, Vol.22, No.4, pp.2801-2838,？2020.？doi: https://doi.org/10.1109/COMST.2020.3006999

상세보기
R. Skupin, Y. Sanchez, D. Podborski, C. Hellge, and T. Schierl, "Viewport-dependent 360 degree video streaming based on the emerging Omnidirectional Media Format (OMAF) standard," Proceeding of IEEE International Conference on Image Processing (ICIP), pp.4592-4592, 2017. doi: https://doi.org/10.1109/ICIP.2017.8297155
J. W. Son, Y. I. Ryu, H. J. Roh, and E. S. Ryu, "SHVC-based ROI tile parallel processing for mobile virtual reality," Proceeding of the Winter Conference of Korea Institute of Information Scientists and Engineers, pp.1715-1717, 2016.
S. Lee, D. Jang, J. Jeong, and E. S. Ryu, "Motion-constrained tile set based 360-degree video streaming using saliency map prediction," Proceedings of the 29th ACM Workshop on Network and Operating Systems Support for Digital Audio and Video, pp.20-24, 2019. doi: https://doi.org/10.1145/3304112.3325614
T. Hollerer, J. Kuchera-Morin, and X. Amatriain, "The allosphere: a large-scale immersive surround-view instrument," Proceedings of the 2007 workshop on Emerging displays technologies: images and beyond: the future of displays and interacton, pp.3-es, 2007. doi: https://doi.org/10.1145/1278240.1278243
J. Kuchera-Morin, M. Wright, G. Wakefield, C. Roberts, D. Adderton,？B. Sajadi, H. Tobias, and A. Majumder, "Immersive full-surround？multi-user system design," Computers & Graphics, Vol.40, pp.10-21,？2014.？doi: https://doi.org/10.1016/j.cag.2013.12.004

상세보기
Allolib, https://github.com/AlloSphere-Research-Group/allolib (accessed Aug. 1, 2022)

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증