MPEG DASH 기반 service-compatible 3D 콘텐츠 대상 HTTP adaptive streaming 적용방안 HTTP Adaptive Streaming Method for Service-compatible 3D Contents Based on MPEG DASH원문보기
최근 3D 입체영상에 대한 소비자들의 관심 증대로 가전 업체들은 3D TV, 3D Monitor등의 제품들을 출시하고 있고, 이에 따라 3D 콘텐츠 시장도 급격히 성장할 것으로 예상된다. 그러나 이러한 3D 콘텐츠를 서비스함에 있어서 보다 높은 대역폭이 요구되어지므로 QoS(Quality of Service)를 보장하지 않는 IP 기반 전송환경에서의 고화질 3D 스트리밍 서비스는 소비자에게 끊김 없는 영상서비스를 제공하는데 제약이 있다. 이러한 문제를 해결하기 위해서, IP 망 네트워크 환경을 고려하여 사용자들이 원하는 콘텐츠를 네트워크 환경에 따라 적절한 품질로 제공 할 수 있는 적응적 스트리밍 서비스 기술이 현재 국제 표준화 기구인 MPEG(Moving Picture experts Group)에서 DASH(Dynamic Adaptive Streaming over HTTP)라는 이름으로 표준화가 진행 중에 있다. 그러나 DASH에서는 독립된 좌, 우 영상이 단일 segment안에 2개의 Elementary Stream(ES)으로 구성되어 있는 service- compatible 기반의 스테레오스코픽 콘텐츠에 대한 명확한 scheme이 나타나지 않는다. 따라서 본 논문에서는 DASH를 이용한 service-compatible 기반의 효율적인 적응적 3D 스트리밍 서비스 제공 방안을 제안한다. DASH를 이용한 3D 서비스는 사용자들에게 IP 망을 통한 다양한 품질의 3D 콘텐츠를 제공함으로써 끊김 없는 3D 스트리밍 서비스가 가능하고, 또한 하나의 3D 콘텐츠로 다양한 디바이스에 적용 가능하다는 이점이 있다.
최근 3D 입체영상에 대한 소비자들의 관심 증대로 가전 업체들은 3D TV, 3D Monitor등의 제품들을 출시하고 있고, 이에 따라 3D 콘텐츠 시장도 급격히 성장할 것으로 예상된다. 그러나 이러한 3D 콘텐츠를 서비스함에 있어서 보다 높은 대역폭이 요구되어지므로 QoS(Quality of Service)를 보장하지 않는 IP 기반 전송환경에서의 고화질 3D 스트리밍 서비스는 소비자에게 끊김 없는 영상서비스를 제공하는데 제약이 있다. 이러한 문제를 해결하기 위해서, IP 망 네트워크 환경을 고려하여 사용자들이 원하는 콘텐츠를 네트워크 환경에 따라 적절한 품질로 제공 할 수 있는 적응적 스트리밍 서비스 기술이 현재 국제 표준화 기구인 MPEG(Moving Picture experts Group)에서 DASH(Dynamic Adaptive Streaming over HTTP)라는 이름으로 표준화가 진행 중에 있다. 그러나 DASH에서는 독립된 좌, 우 영상이 단일 segment안에 2개의 Elementary Stream(ES)으로 구성되어 있는 service- compatible 기반의 스테레오스코픽 콘텐츠에 대한 명확한 scheme이 나타나지 않는다. 따라서 본 논문에서는 DASH를 이용한 service-compatible 기반의 효율적인 적응적 3D 스트리밍 서비스 제공 방안을 제안한다. DASH를 이용한 3D 서비스는 사용자들에게 IP 망을 통한 다양한 품질의 3D 콘텐츠를 제공함으로써 끊김 없는 3D 스트리밍 서비스가 가능하고, 또한 하나의 3D 콘텐츠로 다양한 디바이스에 적용 가능하다는 이점이 있다.
Recently, many consumer electronics manufacturers have produced 3D devices such as 3DTVs and 3D monitors as interests in a stereoscopic video service are getting increased. However, most of 3D services are focused on local storage or bandwidth guaranteed service since 3D stereoscopic video service r...
Recently, many consumer electronics manufacturers have produced 3D devices such as 3DTVs and 3D monitors as interests in a stereoscopic video service are getting increased. However, most of 3D services are focused on local storage or bandwidth guaranteed service since 3D stereoscopic video service require bandwidth more stable and larger. This property causes difficulties in seamless stereoscopic video streaming services under IP based open network environment that cannot guarantee quality of services. In order to achieve a seamless video streaming service the international standard organization MPEG (Moving Pictures Experts Group) has developed the adaptive HTTP streaming technology called as DASH (Dynamic Adaptive Streaming over HTTP). However, the DASH doesn't have obvious scheme which can express the two elementary video streams based service-compatible stereoscopic contents in one segment. Therefore, this paper proposes a scheme of efficient 3D adaptive streaming service based on the DASH, which covers not only frame-packing stereoscopic contents but also service-compatible ones. The 3D adaptive HTTP streaming scheme introduced in this paper is able to provide 3D contents with various qualities to user and also has benefit that single 3D content can be applied to a variety of devices.
Recently, many consumer electronics manufacturers have produced 3D devices such as 3DTVs and 3D monitors as interests in a stereoscopic video service are getting increased. However, most of 3D services are focused on local storage or bandwidth guaranteed service since 3D stereoscopic video service require bandwidth more stable and larger. This property causes difficulties in seamless stereoscopic video streaming services under IP based open network environment that cannot guarantee quality of services. In order to achieve a seamless video streaming service the international standard organization MPEG (Moving Pictures Experts Group) has developed the adaptive HTTP streaming technology called as DASH (Dynamic Adaptive Streaming over HTTP). However, the DASH doesn't have obvious scheme which can express the two elementary video streams based service-compatible stereoscopic contents in one segment. Therefore, this paper proposes a scheme of efficient 3D adaptive streaming service based on the DASH, which covers not only frame-packing stereoscopic contents but also service-compatible ones. The 3D adaptive HTTP streaming scheme introduced in this paper is able to provide 3D contents with various qualities to user and also has benefit that single 3D content can be applied to a variety of devices.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 DASH를 이용하여 단일 segment 안의 좌, 우 영상 ES를 포함한 형태인 service-compatible 기반의 스테레오스코픽 콘텐츠를 3D DASH 서비스하기 위한 MPD 기술 방안을 제안하고 구현 및 검증한다. 본 논문의 구성은 다음과 같다.
본 논문에서는 MPEG DASH를 이용하여 3D 서비스를 하기 위한 MPD 기술방안 중, 단일 segment에 좌 우 영상 스트림이 모두 포함된 형태를 고려한 MPD 기술방안을 제안하고 구현 및 검증하였다. 제안한 방안을 통하여 framepacking 기반의 스테레오스코픽 콘텐츠 뿐 만아니라, service- compatible 기반의 스테레오스코픽 콘텐츠도 3D 적응적 스트리밍 서비스가 가능할 것으로 예상된다.
제안 방법
상기의 개발 환경 아래, 그림 9의 3D DASH 서비스 시스템 구조도를 바탕으로 3D DASH File Generator와 MPD/segment 파서를 구현하여 실험을 하였다. Ⅲ장에서 제시한 MPD 기술 방안을 실험하기에 앞서 Ⅱ장에서 소개 하였던 frame-packing 방식의 MPD 기술방안을 토대로 MPD Generator 및 MPD 파서를 구현하였다. 그 결과로 나온 frame-packing 방식의 MPD 파일이 그림 10과 같이 생성되었다.
또한 동일한 비디오 콘텐츠를 세 가지의 품질로 생성하여, segment 요청 시에 품질을 가변적으로 요청할 수 있게끔 구현하였다. 다시 말해, MPD에서 Representation 요소 단위로 세 가지 품질을 분류하여 기술하여 줌으로써, 각 품질에 해당하는 segment URL정보를 클라이언트 측에서 알 수 있고, 이에 따라 가변적인 품질로 segment 파일을 요청할 수 있는 것이다.
본 논문에서 구현한 3D DASH 서비스의 시스템 구조도는 그림 9와 같다. 다양한 품질의 콘텐츠 인코딩을 위해서 상용화 제품인 Microsoft Expression Encoder를 사용하여 멀티레벨 인코딩을 하였고, 이를 통해 *.ism, *.
다음으로는 본 논문에서 제시한 단일 segment안에 스테레오스코픽 좌, 우 영상의 ES가 모두 포함된 형태의 콘텐츠를 표현하는 MPD 기술방안에 맞추어 MPD Generator를 구현하고 MPD를 생성하였다. 그 결과로 service-compatible기반의 콘텐츠 중에서 좌, 우 영상이 하나의 segment안에 모두 포함되어져 있는 형태의 MPD 파일이 아래의 그림 11과 같이 생성되었다.
이 URL정보를 통해 서버로 segment를 요청하여 해당 URL에 저장되어있는 segment를 전송받아 segment 파서를 통하여 파싱하고 디코딩 및 랜더링 하였다. 또한 동일한 비디오 콘텐츠를 세 가지의 품질로 생성하여, segment 요청 시에 품질을 가변적으로 요청할 수 있게끔 구현하였다. 다시 말해, MPD에서 Representation 요소 단위로 세 가지 품질을 분류하여 기술하여 줌으로써, 각 품질에 해당하는 segment URL정보를 클라이언트 측에서 알 수 있고, 이에 따라 가변적인 품질로 segment 파일을 요청할 수 있는 것이다.
상기의 MPD 기술방안에 맞게 생성된 MPD 파일을 서버로부터 수신하여, MPD 파서를 통해 파싱하였고, 파싱된 MPD 파일을 통해 해당 segment에 관한 URL정보를 얻을 수 있었다. 이 URL정보를 통해 서버로 segment를 요청하여 해당 URL에 저장되어있는 segment를 전송받아 segment 파서를 통하여 파싱하고 디코딩 및 랜더링 하였다.
상기의 MPD 기술방안에 맞게 생성된 MPD 파일을 서버로부터 수신하여, MPD 파서를 통해 파싱하였고, 파싱된 MPD 파일을 통해 해당 segment에 관한 URL정보를 얻을 수 있었다. 이 URL정보를 통해 서버로 segment를 요청하여 해당 URL에 저장되어있는 segment를 전송받아 segment 파서를 통하여 파싱하고 디코딩 및 랜더링 하였다. 또한 동일한 비디오 콘텐츠를 세 가지의 품질로 생성하여, segment 요청 시에 품질을 가변적으로 요청할 수 있게끔 구현하였다.
이 요소들로 segment에 관한 URL 정보를 기술하여 줄 수 있다. 이러한 계층적인 구조로 각 계층의 요소 및 속성을 통해 미디어 파일에 관한 정보를 기술하여 줌으로써 MPD가 구성된다.
ismv 파일은 미디어 세그먼트를 생성하기 위한 파일이다. 이와 같은 세 가지 파일을 이용해 DASH규격에 맞게끔 MPD 및 segment파일로 변환시켜주는 3D DASH File Generator를 구현하여 segment및 MPD 파일을 생성하였다. Client에서는 생성된 MPD를 요청하고 전달받아 MPD 파서를 통해 파싱하여 원하는 segment의 URL정보를 얻을 수 있게 되고, 이를 바탕으로 segment 파일을 요청하여 서버로부터 segment 파일을 전달 받는다.
우선, 그림 12는 frame-packing 기반의 3D 영상과 service-compatible기반의 3D 영상을 각각 나타낸다. 재생 화면의 윗부분에 mode, service type, resolution, bitrate등의 정보를 알 수 있도록 표시하여 주었다. 그림 12의 위쪽 영상은 type이 frame-packing형식의 side-by-side 타입을 나타내고 있음을 볼 수 있고, 아래쪽 영상에서의 type은 service-compatible 형식을 나타내고 있다.
성능/효과
또한 frame-packing 방식의 비디오 스트림이 segment에 포함되어 있음을 나타내기 위하여 AdaptationSet 요소의 하위 요소인 FramePacking 요소의 schemeIdUri 값을 “urn:mpeg:dash:14496:10:frame_packing_ arrangement_type:2011”로 지정하고 value값을 "3"으로 설정함으로써 AVC기반의 side-by-side frame-packing 영상임을 나타내었다.
후속연구
제안한 방안을 통하여 framepacking 기반의 스테레오스코픽 콘텐츠 뿐 만아니라, service- compatible 기반의 스테레오스코픽 콘텐츠도 3D 적응적 스트리밍 서비스가 가능할 것으로 예상된다. 또한 네트워크 환경에 적절하게 가변적인 품질로 스트리밍 서비스가 가능하므로 사용자들에게 끊김 없는 스테레오스코픽 콘텐츠의 제공이 가능하고, 더 나아가 여러 품질의 콘텐츠 서비스가 가능함으로 다양한 디바이스에 적용 가능할 것으로 보여 진다.
본 논문에서는 MPEG DASH를 이용하여 3D 서비스를 하기 위한 MPD 기술방안 중, 단일 segment에 좌 우 영상 스트림이 모두 포함된 형태를 고려한 MPD 기술방안을 제안하고 구현 및 검증하였다. 제안한 방안을 통하여 framepacking 기반의 스테레오스코픽 콘텐츠 뿐 만아니라, service- compatible 기반의 스테레오스코픽 콘텐츠도 3D 적응적 스트리밍 서비스가 가능할 것으로 예상된다. 또한 네트워크 환경에 적절하게 가변적인 품질로 스트리밍 서비스가 가능하므로 사용자들에게 끊김 없는 스테레오스코픽 콘텐츠의 제공이 가능하고, 더 나아가 여러 품질의 콘텐츠 서비스가 가능함으로 다양한 디바이스에 적용 가능할 것으로 보여 진다.
질의응답
핵심어
질문
논문에서 추출한 답변
적응적 스트리밍 서비스이란?
즉, 제한적인 네트워크 환경에서 모든 사용자에게 고화질의 스트리밍 서비스를 제공하는 것은 어려울 것으로 예상되므로 화질의 저하가 있더라도 사용자에게는 끊김 없는 스트리밍 서비스를 제공할 수 있는 기술개발이 필요하다. 다시 말해, 인터넷 망 상태가 좋을 때는 고화질의 콘텐츠를, 망 상태가 좋지 않을 때는 저화질의 콘텐츠를 적응적으로 스트리밍 서비스함으로써, 사용자는 끊김 없는 3D 영상을 제공 받을 수 있게 되는 것이다. 이러한 적응적 스트리밍 서비스는 다양한 품질의 3D 영상을 서비스를 하므로 사용자가 여러 디바이스를 통하여 스트리밍 서비스를 체험할 수 있다는 장점이 있다.
제한적인 네트워크 환경에서 예상되는 어려움은?
또한 인터넷 네트워크 인프라의 발달로 방송망이 아닌 인터넷 망을 통하여 데이터 용량이 큰 고화질의 3D 콘텐츠를 전송할 수 있게 됨에 따라 인터넷 네트워크의 부담이 가중될 것으로 보인다. 즉, 제한적인 네트워크 환경에서 모든 사용자에게 고화질의 스트리밍 서비스를 제공하는 것은 어려울 것으로 예상되므로 화질의 저하가 있더라도 사용자에게는 끊김 없는 스트리밍 서비스를 제공할 수 있는 기술개발이 필요하다. 다시 말해, 인터넷 망 상태가 좋을 때는 고화질의 콘텐츠를, 망 상태가 좋지 않을 때는 저화질의 콘텐츠를 적응적으로 스트리밍 서비스함으로써, 사용자는 끊김 없는 3D 영상을 제공 받을 수 있게 되는 것이다.
적응적 스트리밍 서비스의 장점은?
다시 말해, 인터넷 망 상태가 좋을 때는 고화질의 콘텐츠를, 망 상태가 좋지 않을 때는 저화질의 콘텐츠를 적응적으로 스트리밍 서비스함으로써, 사용자는 끊김 없는 3D 영상을 제공 받을 수 있게 되는 것이다. 이러한 적응적 스트리밍 서비스는 다양한 품질의 3D 영상을 서비스를 하므로 사용자가 여러 디바이스를 통하여 스트리밍 서비스를 체험할 수 있다는 장점이 있다. 이와 같이 단일 콘텐츠를 이용한 다양한 디바이스에서의 3D 스트리밍 서비스 개념도를 그림 1에서 나타내고 있다.
참고문헌 (7)
ISO/IEC_23009-1 Dynamic adaptive streaming over HTTP (DASH)-Part 1:Media presentation description and segment format
김정한, 이장원, 김규헌, 서덕영, "HTTP Streaming 환경에서 User Profile 기반Seamless Framework 제공방법", 방송공학회논문지, 제16 권제1호, pp.155 - 173
※ AI-Helper는 부적절한 답변을 할 수 있습니다.