영상 처리, 컴퓨터 비전 및 영상 디스플레이와 같은 기술의 발전으로 다양한 미디어의 생성 및 소비 방식에 대한 시장이 관심이 증대됨에 따라, Ultra Wide Viewing(UWV) 미디어에 관한 관심 또한 높아지고 있다. 이와 같은 UWV 미디어의 소비에 있어, 서버의 부하 및 단말의 자원을 효율적으로 관리하고 사용자의 자유도 높은 서비스를 제공하기 위하여, 사용자가 관심 영역을 선택 및 소비할 수 있게 하는 기술이 필요하다. 이에 본 논문에서는 MPEG-CI 및 Layout 시그널링을 이용하고 확장하여 UWV 미디어를 구성하는 다양한 미디어 간 공간적 위치정보를 기술하고 이를 전송하는 방안을 통해 사용자로 하여금 선택적 소비를 가능케하는 방안을 제안하였다.
영상 처리, 컴퓨터 비전 및 영상 디스플레이와 같은 기술의 발전으로 다양한 미디어의 생성 및 소비 방식에 대한 시장이 관심이 증대됨에 따라, Ultra Wide Viewing(UWV) 미디어에 관한 관심 또한 높아지고 있다. 이와 같은 UWV 미디어의 소비에 있어, 서버의 부하 및 단말의 자원을 효율적으로 관리하고 사용자의 자유도 높은 서비스를 제공하기 위하여, 사용자가 관심 영역을 선택 및 소비할 수 있게 하는 기술이 필요하다. 이에 본 논문에서는 MPEG-CI 및 Layout 시그널링을 이용하고 확장하여 UWV 미디어를 구성하는 다양한 미디어 간 공간적 위치정보를 기술하고 이를 전송하는 방안을 통해 사용자로 하여금 선택적 소비를 가능케하는 방안을 제안하였다.
As progress on image processing, computer vision and display technologies aroused market's interests on generation and consumption of various types of media, interests on UWV media are also increasing. In context of consumption of UWV media, to effectively manage load of servers and resources of end...
As progress on image processing, computer vision and display technologies aroused market's interests on generation and consumption of various types of media, interests on UWV media are also increasing. In context of consumption of UWV media, to effectively manage load of servers and resources of end terminal devices and provide user-derived services, technology which enables users to select and consume interested regions of media seems to be needed. Here, this paper proposes a method for description and transmission of spatial relationships among media, which composes UWV, by expanding MPEG-CI and Layout signaling to enable users' selective consumption of UWV media.
As progress on image processing, computer vision and display technologies aroused market's interests on generation and consumption of various types of media, interests on UWV media are also increasing. In context of consumption of UWV media, to effectively manage load of servers and resources of end terminal devices and provide user-derived services, technology which enables users to select and consume interested regions of media seems to be needed. Here, this paper proposes a method for description and transmission of spatial relationships among media, which composes UWV, by expanding MPEG-CI and Layout signaling to enable users' selective consumption of UWV media.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 제안한 기술은 서버가 MPEG CI와 Layout 시그널링을 기반으로 사용자에게 공간 인접 행렬을 전송하여 UWV 미디어들이 어떻게 구성되어 있는지를 밝히며, 사용자는 ROI Message를 통해 자신이 원하는 관심 영역 정보를 서버에게 전송 가능하도록 하는 방안이다. 따라서 본 장에서는 검증을 통해 제안한 기술의 효용성을 확인하도록 한다. 검증은 총 7개의 미디어를 사용한 UWV 미디어를 통해 이루어진다.
본 논문에서 제안한 기술은 서버가 MPEG CI와 Layout 시그널링을 기반으로 사용자에게 공간 인접 행렬을 전송하여 UWV 미디어들이 어떻게 구성되어 있는지를 밝히며, 사용자는 ROI Message를 통해 자신이 원하는 관심 영역 정보를 서버에게 전송 가능하도록 하는 방안이다. 따라서 본 장에서는 검증을 통해 제안한 기술의 효용성을 확인하도록 한다.
MPEG CI기반 공간 인접 행렬 전송 기법을 통해 사용자는 UWV를 구성하는 미디어들의 공간적, 시간적 정보를 획득할 수 있고, 관심 영역의 미디어들을 전송 받는 것이 가능 하다. 본 논문에서는 UWV를 구성하는 미디어들을 Group 으로 명명하는 새로운 개념을 도입하여 특정 이벤트 혹은 물체를 구성하는 미디어들이 Group 단위로 제공될 수 있도록 하였다. 또한 ROI Message를 통해 제공 받은 정보를 이용하여 사용자가 원하는 장면 혹은 미디어들을 선택하여 요구할 수 있도록 하였다.
따라서 UWV를 구성하는 여러 미디어 중 사용자의 관심 영역에 존재하는 미디어들을 선별적으로 전송하는 시스템이 필요하다. 본 논문에서는 미디어 전송 시 UWV 미디어를 구성하는 미디어들의 공간적 위치 정보를 전송하고, 사용자는 MMT의 시그널링 메시지를 통해 관심 영역을 서버로 전달하는 기법을 제안하여 상기 문제들을 해결하고자 한다. 미디어들의 공간적 위치 정보를 공간 인접 행렬(Spatial Adjacency Matrix)로 명명하고[4][5], 인접 미디어간 행렬의 형태로 전송한다.
이제 사용자는 CI와 Layout 시그널링을 통해 얻는 정보로 관심 영역을 서버에게 요구할 수 있다. 본 논문에서는 이러한 작업을 위해 signaling message를 정의한다.
따라서 영상 간 렌더링 시 겹치는 영역이 발생할 수 있다. 이에 본 논문에서는 MPEG-CI 및 기존의 Layout Signaling 기술에서 공간 인접 행렬을 전송하기 위해 이들을 확장하여 제공하는 방안을 제안한다.
미디어들의 공간적 위치 정보를 공간 인접 행렬(Spatial Adjacency Matrix)로 명명하고[4][5], 인접 미디어간 행렬의 형태로 전송한다. 특히 본 논문은 MMT의 CI와 Layout 시그널링을 확장하여 공간정보 구성에 있어 유연한 서술이 가능하도록 제안하여 공간 인접 행렬의 전송 및 소비 방안을 제안한다.
제안 방법
Layout 시그널링 기반 공간 인접 행렬 정보 기술 방안 이번에는 Layout 시그널링을 이용하여 앞서 밝힌 UWV 미디어를 구성하는 미디어들의 공간 인접 행렬을 기술하고 공간 정보에 따른 장면을 설정하여 사용자에게 전송하는 개념을 제안한다.
표 1은 PA 메시지의 구조를 나타낸 표이다. PA 메시지는 앞서 소개한 바와 같이, 패키지로의 빠른 접근을 위하여 다양한 테이블들을 포함하고 있으며, 이러한 다양한 테이블을 구분하기 위하여 각 테이블의 식별자, 버전, 길이 등과 함께 테이블 데이터를 기록할 수 있도록 하였다.
서버는 미디어들을 2개의 Group으로 나누어 총 3가지의 장면을 구성하고, 사용자는 ROI message를 통해 관심 영역을 요구하는 시나리오로 제안 기술을 검증한다. 검증 시나리오를 위해 먼저 Layout 시그널링과 MPEG CI를 구현하였다.
본 논문에서는 UWV를 구성하는 미디어들을 Group 으로 명명하는 새로운 개념을 도입하여 특정 이벤트 혹은 물체를 구성하는 미디어들이 Group 단위로 제공될 수 있도록 하였다. 또한 ROI Message를 통해 제공 받은 정보를 이용하여 사용자가 원하는 장면 혹은 미디어들을 선택하여 요구할 수 있도록 하였다. 이러한 방안을 통해 서버는 사용자에게 장면을 이벤트 혹은 물체 단위로 제공해 줄 수 있으며, 사용자 또한 특정 이벤트 혹은 물체를 기준으로 자신이 원하는 장면을 선택하여 제공 받을 수 있다.
본 장에서는 MPEG CI와 Layout 시그널링을 기반으로 UWV 미디어를 구성하는 미디어들의 공간 인접 행렬을 기술하고 공간 정보에 따른 장면을 설정하여 사용자에게 전송하는 개념을 제안한다. 본 논문에서 상정하고 있는 공간인접 행렬은 다수의 미디어를 입력으로 하여 그들간의 유사도를 판별한 정보를 기반으로 미디어 간 렌더링 영역을 제공한다. 따라서 영상 간 렌더링 시 겹치는 영역이 발생할 수 있다.
본 장에서는 MPEG CI와 Layout 시그널링을 기반으로 UWV 미디어를 구성하는 미디어들의 공간 인접 행렬을 기술하고 공간 정보에 따른 장면을 설정하여 사용자에게 전송하는 개념을 제안한다. 본 논문에서 상정하고 있는 공간인접 행렬은 다수의 미디어를 입력으로 하여 그들간의 유사도를 판별한 정보를 기반으로 미디어 간 렌더링 영역을 제공한다.
MMT 표준은 다양한 시그널링 메시지를 정의하고 있는데, 대표적인 시그널링 메시지로는 패키지로의 접근에 사용되는 PA(Package Access) 메시지, CI의 전송을 위해 사용하는 MPI(Media Presentation Information) 메시지, 패키지 내의 미디어의 정보를 포함하는 MPT(MMT Package Table) 메시지 등이 있다[7]. 본 절에서는 본 논문에서 제안하는 시스템의 구현에 필요한 3가지 메시지인 PA 메시지, MPI 메시지, MPT 메시지에 대하여만 기술하고, 마지막으로 최근에 표준에 추가된 Layout 시그널링에 대하여 설명하도록 한다[8].
각각의 [view]는 제공되는 미디어의 전체 크기에 따라 다른 [width], [height]를 가지며, 하위 단에는 Group의 정보를 [refDiv]를 통해 보유하고 있음을 확인할 수 있다. 서버가 MPEG CI를 통해 공간 인접 행렬과 Group 정보를 전달할 수 있음을 구현하여 검증하였다. 그렇다면 사용자는 서버에게 전달받은 정보를 이용하여 원하는 관심 영역을 ROI message로 요구할 수 있어야 한다.
앞서 MPEG CI를 통해 공간 인접 행렬을 전송하고, 사용자가 이를 기반으로 ROI message를 구성하는 것을 구현을 통해 검증하였다. 하지만 최종적으로는 실제 미디어를 이용하여 구현한 MPEG CI에 기술된 [view]들을 검증하는 것이 필요하다.
대상 데이터
따라서 본 장에서는 검증을 통해 제안한 기술의 효용성을 확인하도록 한다. 검증은 총 7개의 미디어를 사용한 UWV 미디어를 통해 이루어진다. 서버는 미디어들을 2개의 Group으로 나누어 총 3가지의 장면을 구성하고, 사용자는 ROI message를 통해 관심 영역을 요구하는 시나리오로 제안 기술을 검증한다.
성능/효과
결과를 통해서 View1’에서는 2개의 ‘Group’을 이용해 7개의 미디어를 모두 제공하고 있는 점을 확인할 수 있다.
‘View3’의 경우 ‘Group2’로 구성되어 있으며, 4개의 미디어로 구성되어 있음을 그림 10(B)를 통해 확인할 수 있다. 상기한 내용들을 통해 최종적으로 제안한 기술들의 효용성을 검증하였다.
이처럼 ‘Layout configuration table’을 사용하여 서버가 제공하는 장면에 대한 정보와 장면을 구성하는 Group의 정보들을 얻을 수 있다는 것을 검증하였다.
후속연구
최근 사용자들은 Youtube 혹은 Facebook 등 자신들의 입맛에 맞는 미디어를 직접 선택 하여 시청하기를 원하고 있다. 이러한 변화와 더불어 본 논문에서 제안한 기술은 사용자 친화적인 서비스에 한걸음 다가가 새로운 수익모델을 창출할 수 있을 것으로 예상한다. 추후 본 논문의 제안 기술을 기반으로 사용자 상호 작용 기반 UWV 컨텐츠 방송 시스템을 연구하고자 한다.
이러한 변화와 더불어 본 논문에서 제안한 기술은 사용자 친화적인 서비스에 한걸음 다가가 새로운 수익모델을 창출할 수 있을 것으로 예상한다. 추후 본 논문의 제안 기술을 기반으로 사용자 상호 작용 기반 UWV 컨텐츠 방송 시스템을 연구하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
논문에서 제안한 MPEG CI기반 공간 인접 행렬 전송 기법은 무슨 방법인가?
본 논문에서 제안한 기술은 서버가 MPEG CI와 Layout 시그널링을 기반으로 사용자에게 공간 인접 행렬을 전송하여 UWV 미디어들이 어떻게 구성되어 있는지를 밝히며, 사용자는 ROI Message를 통해 자신이 원하는 관심 영역 정보를 서버에게 전송 가능하도록 하는 방안이다. 따라서 본 장에서는 검증을 통해 제안한 기술의 효용성을 확인하도록 한다.
UWV 미디어의 장점은?
특히 최근의 영상기술들은 넓은 시야각과 선명한 화질을 통해 실제와 같은 현장감을 제공하는 UWV의 경향성을 띄고 있다[1].상기한 경향성을 UWV 미디어들은 사용자에게 현장감을 주며, 넓은 시야각을 통해 다양한 정보를 제공한다는 장점을 갖고 있다[2]. 하지만 현재 UWV 미디어의 상용화에는 Stitching 기술의 방대한 계산 작업량, 비 관심 영역 수신시 사용자의 네트워크 자원 낭비 등 여러 문제점이 존재한다[3].
UWV 미디어의 상용화가 힘든 이유는?
상기한 경향성을 UWV 미디어들은 사용자에게 현장감을 주며, 넓은 시야각을 통해 다양한 정보를 제공한다는 장점을 갖고 있다[2]. 하지만 현재 UWV 미디어의 상용화에는 Stitching 기술의 방대한 계산 작업량, 비 관심 영역 수신시 사용자의 네트워크 자원 낭비 등 여러 문제점이 존재한다[3]. 따라서 UWV를 구성하는 여러 미디어 중 사용자의 관심 영역에 존재하는 미디어들을 선별적으로 전송하는 시스템이 필요하다.
참고문헌 (9)
TTA, Technical Report for High Quality Panorama Video, 2014
E. Lee, D. Kang, J. Kang and K. Kim, "GENERATION OF SPATIAL ADJACENCY MATRIX FOR ZIG-SAW LIKE ULTRA WIDE VIEWING DATA", EEECS 2017.
Y.J. Cho, J.M. Seok, S.Y. Lim, S.W. An, J.I. Seo, J.H. Cha, (2014) Post-UHD Realistic Media, High Quality Panoramic AV Technology, Electronics and Telecommuniucations Trends, 1225-6455
E. Lee, D. Kang and K. Kim, "Generation of Spatial Adjacency Map and Contents File Format for Ultra Wide Viewing Service", Journal of Broadcasting Engineering, vol. 22, no. 4, pp473-483, July, 2017
Xiaorui Li, K. Kim, "2D Adjacency Matrix Generation using DCT for UWV Contents", Journal of Broadcasting Engineering, vol.22, no.3, pp.366-374, May, 2017
Y. Lim, S. Aoki, I. Bouazizi, and J. Song, "New MPEG Transport Standard for Next Generation Hybrid Broadcasting System with IP", IEEE Trans. on Broadcasting, vol. 60, no. 2, pp. 160-169, June 2014
D. Kang, J. Kang, K. Kim, "Method of inserting In-program Ads in Hybrid Broadcasting Environment based on MMT", Journal of Broadcasting Engineering, vol. 22, no. 4, pp462-472, July, 2017
ISO/IEC JTC 1/SC 29 23008-1:2014, Informaiton technology - High efficiency coding and media delivery in heterogeneous environments - Part 1 : MPEG Media Transport(MMT)
ISO/IEC JTC 1/SC 29 23008-11:2014, Informaiton technology - High efficiency coding and media delivery in heterogeneous environments - Part 11 : Composition Information
※ AI-Helper는 부적절한 답변을 할 수 있습니다.