[논문]사용자 선택에 따른 자유 시점 비디오 서비스 기반의 통합 플레이어 시스템 구현

양지희; 송민기; 박구만

doi:10.5909/jbe.2020.25.2.265

[국내논문] 사용자 선택에 따른 자유 시점 비디오 서비스 기반의 통합 플레이어 시스템 구현
Implementation of Integrated Player System based on Free-Viewpoint Video Service according to User Selection 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.2, 2020년, pp.265 - 274

양지희 (서울과학기술대학교 나노IT디자인융합대학원 정보통신미디어공학전공) , 송민기 (서울과학기술대학교 일반대학원 미디어IT공학과) , 박구만 (서울과학기술대학교 전자IT미디어공학과)

초록
AI-Helper

자유 시점 비디오 서비스는 사용자와의 상호작용을 통해 원하는 임의의 각도나 위치, 거리에서 시청할 수 있게 하는 기술이다. 본 논문에서는 사용자가 선택하여 시청할 수 있는 자유 시점 비디오 서비스를 Inward view, Outward view, 3D object view, First person view의 네 가지 시청 모드로 정의하였으며 하나의 플레이어에서 시청이 가능한 새로운 통합 프로그램을 개발 및 구현하였다. 아이돌 공연과 농구 경기 콘텐츠에 대해 각 시청 모드에 적합한 다시점 카메라를 설치하여 데이터를 확보하였으며, 서버에 저장된 데이터가 네트워크를 통해 스트리밍 됨으로써 시청이 가능하도록 하였다. 사용자는 자유롭게 네 가지의 시청 모드와 공간상의 위치, 각도 등을 선택할 수 있으며, 선택된 시점에 맞는 영상과 음향이 렌더링 되어 통합 플레이어에 표출된다. 이는 기존의 자유 시점 비디오 서비스를 포함한 다양한 시청 형태를 결합함으로써 사용자에게 몰입감과 현장감을 제공할 수 있을 뿐만 아니라 확장성이 있는 자유 시점 비디오 서비스 플레이어가 될 것으로 기대된다.

Abstract ▼ AI-Helper

Free-viewpoint video service is a technology that allows users to watch at any angle, location and distance through interaction. In this paper, the free-viewpoint video services are defined in four viewing modes: Inward view, outward view, 3D object view and first person view. And we developed and implemented a new integrated program that plays all the suggested views. In the contents of girl band performances and basketball games, multi-view cameras suitable for each viewing mode are installed to acquire media, and data stored on the server is streamed over the network, making it available for viewing. Users can freely choose four viewing modes, space location, angle and so on, and the media data such as images and sounds are provided to them by rendering appropriately for the selected the viewpoint. Our system is expected to be a scalable free-viewpoint video service player as well as provide users with immersion and presence by combining various viewing modes.

주제어

표/그림 (11)

그림 그림 1. 제안 시스템 전체 구성도 Fig. 1. The overall configuration of proposed system
그림 그림 2. 통합 플레이어에서 표출이 가능한 자유 시점 뷰의 정의 Fig. 2. Definition of free-viewpoint view that can be displayed in the integrated player
그림 그림 3. 영상 및 음향 획득을 위한 카메라 구성 모습 및 결과 (a) 카메라 구성 (b) 획득 영상 결과 Fig. 3. Configuration and result for video and audio acquisition (a) Configuration of camera (b) The result of video
표 표 1. 리스너에 대한 up vector와 forward vector 수도 코드 Table 1. Pseudo code for up vector and forward vector of listener
표 표 2. 3D object view 제어를 위한 키보드 및 마우스 이벤트 Table 2. Keyboard and mouse event for 3D object view control
그림 그림 4. First person view를 위한 시점 카메라 구성 모습 예시 및 획득 결과 Fig. 4. Camera configuration and acquisition results for first person view
표 표 3. 마우스 이벤트에 대한 객체 이동, 회전과 카메라 회전, 줌 인/아웃 수도코드 Table 3. Pseudo code of mouse event for object move, object rotation, camera rotation and camera zoom in/out
표 표 4. 키보드 이벤트에 대한 카메라 이동 수도코드 Table 4. Pseudo code of keyboard event for camera move
그림 그림 5. 성능 검증을 위한 실험 환경 구성 Fig. 5. Configuration of experimental environment for performance verification
그림 그림 6. 통합 플레이어 구성 Fig. 6. Configuration of integrated player
그림 그림 7. 프로그램 실행 결과 (a) 콘텐츠 영상 데이터 (b) Inward view (c) Outward view (d) First person view (e) 3D object view Fig. 7. Result of program implementation (a) Contents video data (b) Inward view (c) Outward view (d) First person view (e) 3D object view

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 다시점 영상 데이터를 활용한 통합 플레이어 프로그램을 구현하였다. 다양한 표출 방법을 갖는 자유 시점 비디오 서비스에서 원하는 자유 시점 뷰를 선택하여 콘텐츠를 시청할 수 있도록 함으로써, 모든 시점을 자유자재로 볼 수 있는 자유 시점 비디오 서비스의 이점을 최대한 활용하고자 하였다. 또한 각각의 자유 시점 뷰에서 사용자의 시점 제어를 통해 몰입감과 현실감을 제공하고자 하였으며, 개별 플레이어로 시청을 해야만 했던 자유 시점 비디오 서비스를 하나의 플레이어로 통합하여 사용자의 편의성을 제공하도록 하였다.
First person view는 콘텐츠 내에 특정 객체의 시점을 사용자가 간접적으로 시청하는 뷰를 나타내므로 콘텐츠 내의 특정 객체에 장착된 카메라로 획득한 영상을 서버로부터 전송받아 그대로 표출하게 된다. 따라서 별도의 영상과 음향이 렌더링 없이 수행되지만, 고품질의 인칭 시점 뷰를 위해 영상 획득 시 짐벌을 장착하여 안정화된 영상을 획득하고자 하였다. 그림 4는 First person view에 대한 영상 데이터 획득을 위해 일인칭 시점 카메라를 설치한 예시를 나타낸다.
다양한 표출 방법을 갖는 자유 시점 비디오 서비스에서 원하는 자유 시점 뷰를 선택하여 콘텐츠를 시청할 수 있도록 함으로써, 모든 시점을 자유자재로 볼 수 있는 자유 시점 비디오 서비스의 이점을 최대한 활용하고자 하였다. 또한 각각의 자유 시점 뷰에서 사용자의 시점 제어를 통해 몰입감과 현실감을 제공하고자 하였으며, 개별 플레이어로 시청을 해야만 했던 자유 시점 비디오 서비스를 하나의 플레이어로 통합하여 사용자의 편의성을 제공하도록 하였다.
본 논문에서는 다시점 영상 데이터를 활용한 통합 플레이어 프로그램을 구현하였다. 다양한 표출 방법을 갖는 자유 시점 비디오 서비스에서 원하는 자유 시점 뷰를 선택하여 콘텐츠를 시청할 수 있도록 함으로써, 모든 시점을 자유자재로 볼 수 있는 자유 시점 비디오 서비스의 이점을 최대한 활용하고자 하였다.
이러한 자유 시점 비디오 서비스를 문화 콘텐츠에 적용함으로써 간단한 장비와 네트워크 기반의 전송 플랫폼만으로 다양한 시청 모드에 대해 뷰 선택이 가능한 새로운 통합 플레이어 시스템을 구성하고자 하였다. 기존의 다양한 자유 시점 비디오 서비스는 자유롭게 공간상의 위치, 각도 및 인칭 시점을 선택할 수 있지만 사용자가 선택한 시점 위치에 따라 영상과 음향이 동시에 렌더링 되어 단말기를 통해 사용자에게 제공되지 않는다.
이에 따라 본 논문에서는 다시점 카메라 배열로 표출할 수 있는 자유 시점 비디오 서비스를 네 가지의 뷰로 정의하였으며, 하나의 프로그램에서 시청이 가능한 통합 플레이어 시스템을 개발 및 구현하였다. 제안하는 통합 플레이어 시스템은 아이돌 공연, 스포츠 경기와 같은 문화 콘텐츠에 대해 자유 시점 뷰에 따른 다시점 카메라를 설치하여 영상과 음향을 획득하고, 이를 스트리밍 서버를 통해 전송함으로써 사용자에게 몰입감과 현장감을 제공할 뿐만 아니라 다양한 시청 형태를 추가적으로 확장성이 있게 결합할 수 있는데 목적을 둔다.

제안 방법

제안된 시스템의 성능 검증을 위하여 아이돌 공연과 농구 경기 콘텐츠를 테스트 베드로 설정하고 각 뷰에 대한 영상 및 음향 데이터를 획득하였으며, 앞서 제시한 네 종류의 자유 시점 비디오를 표출하도록 실험 환경 구성 및 프로그램을 구현하였다. 각각의 콘텐츠 제작 현장에서 설치된 다시점 카메라와 마이크를 통해 영상 및 음향을 획득하였으며, 각 뷰의 표출 방법에 맞게 편집 및 보정 과정을 거쳐 PC에 저장하였다. 이때, 데이터는 스트리밍 할 때 용이하도록 Inward view, Outward view, First person view, 3D object view 순으로 폴더를 생성하여 관리된다.
이때, 데이터는 스트리밍 할 때 용이하도록 Inward view, Outward view, First person view, 3D object view 순으로 폴더를 생성하여 관리된다. 그림 5와 같이 내부망이 설치된 환경에서 데이터가 저장된 PC에 Nginx를 설치하여 서버 PC로 처리하였으며, 통합 플레이어가 설치된 다른 PC에서 서버 PC에 접속하여 데이터를 받아 자유시점 비디오가 표출되도록 하였다. 또한 인터넷이 연결되지 않은 환경에서도 프로그램이 실행되도록 두 PC를 P2P(Peer-to-Peer network)로 연결하여 컴퓨터 간의 통신을 통해 실행이 가능하도록 하였다.
프로그램 실행 시 기본 모드인 Inward view가 실행되고, 시청하길 원하는 자유 시점 뷰를 택일하여 수행하거나 종료된다. 또한 실감성이 있는 자유 시점 비디오 서비스를 위해 각각의 뷰 내에서 시점을 제어할 수 있는 기능을 추가하였다. 이는, 시청하길 원하는 뷰를 선택하면 해당 기능이 활성화되어 자유 시점 뷰 내에서 시점 제어가 가능하며 이에 따른 영상을 화면으로 표출한다.
그림 5와 같이 내부망이 설치된 환경에서 데이터가 저장된 PC에 Nginx를 설치하여 서버 PC로 처리하였으며, 통합 플레이어가 설치된 다른 PC에서 서버 PC에 접속하여 데이터를 받아 자유시점 비디오가 표출되도록 하였다. 또한 인터넷이 연결되지 않은 환경에서도 프로그램이 실행되도록 두 PC를 P2P(Peer-to-Peer network)로 연결하여 컴퓨터 간의 통신을 통해 실행이 가능하도록 하였다.
3D object view는 다른 뷰들과는 다르게 회전 및 이동등의 제어가 가능한 Unity기반의 응용 프로그램을 제작하여 실행함으로써 3차원으로 복원된 객체를 표출한다. 먼저 콘텐츠 내 객체를 그래픽 기반의 3차원 모델로 복원하기 위해 객체를 중심으로 카메라를 둘러쌓아 다시점 영상을 획득한다. 이때, 객체의 동작에 대한 애니메이션을 추가로 획득하여 동적 3D 객체인 FBX(Filmbox)를 생성한다[10-12].
본 논문에서 제안하는 시스템의 송신단에서는 콘텐츠의 영상 및 음향을 획득하기 위해 네 개의 뷰를 표출하는데 적합한 카메라를 사용한다. 카메라는 각 뷰의 실감성을 최대로 표출할 수 있도록 위치와 각도를 고려하여 배치하고 촬영한다.
본 논문에서 제안하는 시스템의 수신단에서는 송신단으로부터 받은 데이터를 사용자에게 자유 시점 비디오 기반의 콘텐츠로 제공하기 위해 통합 플레이어를 통해 실시간으로 스트리밍 한다. 인터넷망이 구축된 환경에서 MPD 주소를 통해 서버로부터 데이터를 전송받으며 네 개의 시청모드 중 사용자가 선택한 하나의 뷰로 표출되도록 한다.
본 논문에서는 시스템 구현을 위해 자유 시점 서비스가 가능한 뷰를 각각 Inward view, Outward view, 3D object view, First person view로 정의하였다. 첫 번째 뷰는 일반적인 자유 시점 비디오에 해당되며 촬영을 위해 선형으로 설치된 카메라 배열에서 시점을 전환하여 시청 가능하도록 한다.
먼저 시청하고자 하는 콘텐츠의 종류를 콤보 박스로 선택할 수 있다. 아이돌 공연 또는 농구경기 콘텐츠에 대한 데이터를 받도록 구현하였으며, play와 pause, exit 버튼을 통해 서버로부터 영상 및 음향 데이터 스트리밍 하는 것을 수행하거나 종료한다. 뷰 선택부에서는 네 개의 뷰를 라디오 버튼으로 실행 및 종료할 수 있으며, 결과 영상이 메인 화면에 표출된다.
또한 자유 시점 영상의 서비스 종류는 많아지고 있으나 하나의 통합된 플레이어로 시청하는데 한계가 있다. 이에 따라 본 논문에서는 다시점 카메라 배열로 표출할 수 있는 자유 시점 비디오 서비스를 네 가지의 뷰로 정의하였으며, 하나의 프로그램에서 시청이 가능한 통합 플레이어 시스템을 개발 및 구현하였다. 제안하는 통합 플레이어 시스템은 아이돌 공연, 스포츠 경기와 같은 문화 콘텐츠에 대해 자유 시점 뷰에 따른 다시점 카메라를 설치하여 영상과 음향을 획득하고, 이를 스트리밍 서버를 통해 전송함으로써 사용자에게 몰입감과 현장감을 제공할 뿐만 아니라 다양한 시청 형태를 추가적으로 확장성이 있게 결합할 수 있는데 목적을 둔다.
제안된 시스템의 성능 검증을 위하여 아이돌 공연과 농구 경기 콘텐츠를 테스트 베드로 설정하고 각 뷰에 대한 영상 및 음향 데이터를 획득하였으며, 앞서 제시한 네 종류의 자유 시점 비디오를 표출하도록 실험 환경 구성 및 프로그램을 구현하였다. 각각의 콘텐츠 제작 현장에서 설치된 다시점 카메라와 마이크를 통해 영상 및 음향을 획득하였으며, 각 뷰의 표출 방법에 맞게 편집 및 보정 과정을 거쳐 PC에 저장하였다.

후속연구

이를 개선하기 위해서는 서버 플랫폼을 발전시켜 연결된 다시점 카메라로부터 실시간으로 받은 데이터에 대해 보정 과정이 자동화되어 처리되는 기술과 고성능의 하드웨어가 수반되어야 할 것이다. 그러나 다양한 시점과 뷰로 콘텐츠를 시청할 수 있다는 점은 한정된 시점을 이용한 시스템에 비해 강점을 갖기 때문에, 자유 시점 뷰에 대한 정의를 확장하여 추후 속도 개선 및 추가 기능 구현을 통해 편리한 시스템이 구축될 수 있을 것으로 기대된다. 더 나아가 카메라에서 획득한 색상 영상으로부터 가상의 영상을 합성하여 Inward view에서 시점간의 부드러운 전환을 향상시킬 예정이다.
그러나 다양한 시점과 뷰로 콘텐츠를 시청할 수 있다는 점은 한정된 시점을 이용한 시스템에 비해 강점을 갖기 때문에, 자유 시점 뷰에 대한 정의를 확장하여 추후 속도 개선 및 추가 기능 구현을 통해 편리한 시스템이 구축될 수 있을 것으로 기대된다. 더 나아가 카메라에서 획득한 색상 영상으로부터 가상의 영상을 합성하여 Inward view에서 시점간의 부드러운 전환을 향상시킬 예정이다.
현재 구현된 통합 플레이어는 시청 가능한 콘텐츠에 대해 미리 확보된 영상 및 음향 데이터에 한해서만 동작하므로 촬영된 데이터를 각 뷰의 표출 방법에 맞게 편집 및 변환 과정을 거쳐 서버에 저장해야 한다. 이를 개선하기 위해서는 서버 플랫폼을 발전시켜 연결된 다시점 카메라로부터 실시간으로 받은 데이터에 대해 보정 과정이 자동화되어 처리되는 기술과 고성능의 하드웨어가 수반되어야 할 것이다. 그러나 다양한 시점과 뷰로 콘텐츠를 시청할 수 있다는 점은 한정된 시점을 이용한 시스템에 비해 강점을 갖기 때문에, 자유 시점 뷰에 대한 정의를 확장하여 추후 속도 개선 및 추가 기능 구현을 통해 편리한 시스템이 구축될 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	자유 시점 비디오 서비스란 무엇인가?	자유 시점 비디오 서비스는 사용자와의 상호작용을 통해 원하는 임의의 각도나 위치, 거리에서 시청할 수 있게 하는 기술이다. 본 논문에서는 사용자가 선택하여 시청할 수 있는 자유 시점 비디오 서비스를 Inward view, Outward view, 3D object view, First person view의 네 가지 시청 모드로 정의하였으며 하나의 플레이어에서 시청이 가능한 새로운 통합 프로그램을 개발 및 구현하였다.
	영상 처리 분야에서 다시점 비디오 서비스의 장점은 무엇인가?	또한 영상 처리 분야에서는 물리적인 카메라에서 획득한 영상 데이터를 합성 또는 3차원으로 재구성하여 시점의 수를 증가시켜 더 넓은 시점 선택의 폭을 제공한다. 이러한 경우 기존의 단일시점에 비해 시점을 전환할 때 끊김 없이 부드럽게 연결하면서 시청이 가능하며 임의 위치에서 공연이나 경기의 관찰을 통해 실감성을 높여준다[3-5].
	다시점 비디오 서비스이 구성 요소는 무엇인가?	다시점 비디오 서비스는 n 개의 카메라 장비에서 획득한 데이터를 응용 분야에 맞게 편집, 저장, 전송 및 관리하는 서버와, 받은 데이터를 처리 및 표출하는 단말기로 구성된다. 임의로 배열된 n 개의 카메라 장비로 다시점 영상을 획득하고 편집, 보정 등의 전/후처리 단계를 통해 다시점 콘텐츠를 제작하게 된다.

참고문헌 (12)

M. Domanski, O. Stankiewicz, K, Wegner and T, Grajek, "Immersive Visual Media-MPEG-I:360 Video, Virtual Navigation and Beyond", Proceeding of International Conference on Systems, Signals and Image Processing(IWSSIP), Poznan, Poland, pp.1-9, May, 2017, doi: 10.1109/IWSSIP.2017.7965623
X. Zhang, L. Toni, P. Frossard, Y. Zhao and C. Lin, "Adaptive Streaming in Interactive Multiview Video Systems", Transactions on Circuits and Systems for Video Technology, Vol.29, No.4, pp.1130-1144, April, 2019, doi: 10.1109/TCSVT.2018.2819804

상세보기
G. Park, "Free-Viewpoint Content Composition Technology Development Case", Broadcasting and Media Magazine, Vol.24, No.3, pp.24-34. July, 2019.
G. Park, "Free-Viewpoint Video Technology Trends and Free Selection View Development Case", The Journal of The Korean Institute of Communication Sciences, Vol.36, No.12, pp.3-9, Nov, 2019.
G. Lafruit, M. Domanski, K. Wegner and T. Grajek, et al, "New Visual Coding Exploration in MPEG: Super-MultiView and Free Navigation in Free Viewpoint TV", Electronics Imaging, Stereoscopic Displays and Applications XXVII, pp.1-9, Feb, 2016, doi: 10.2352/ISSN. 2470-1173.2016.5.SDA-426
S. Song, Y. Park and J. Wee, "Streaming Technology for Free-Viewpoint Service", The Journal of The Korean Institute of Communication Sciences, Vol.36, No.12, pp.32-37, Nov, 2019.
S. Yairi, Y. Iwaya, M. Kobayashi, M. Otani, Y. Suzuki and T. Chiba, "The Effects of Ambient Sounds on The Quality of 3D Virtual Sound Space", Proceeding of International Conference on Intelligent Information Hiding and Multimedia Signal Processing, Kyoto, Japan, pp.1122-1125, Sept, 2009, doi: 10.1109/IIH-MSP.2009.267
Fmod API Documentation, https://www.fmod.com/resources/documentation-api.
S. Jeon, C. Kim and G. Park, "Implementation of Omni-directional Image Viewer Program for Effective Monitoring", Journal of Broadcasting Engineering, Vol.23, No.6, pp. 939-946, Nov, 2018, doi: 10.5909/JBE.2018.23.6.939
J. Jeong, M. Yoon, S. Kim and G. Park, "Design and Production of Realtime 3D Animation Viewer based on Motion Capture", Proceeding of The Institute of Electronics and Information Engineers Conference, Jeju, Korea, pp.531-535, July, 2019.
Z. Cao, G. Hidalgo, T. Simon, S. E. Wei and Y. Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Transactions on Pattern Analysis and Machine Intelligence, pp.1-14, June, 2018, doi: 10.1109/TPAMI.2019.2929257

상세보기
J. Jeon, H. Lim and C. Kim, "A Study of Dynamic 3D Modeling based on Photogrammetry Technology for Object Observation View", The Journal of The Korean Institute of Communication Sciences, Vol.36, No.12, pp.38-44, Nov, 2019.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증