[논문]하이브리드 미디어 전송을 위한 MMT 프로토콜 기반의 대역내 미디어 동기화 기법

원광은; 안은빈; 김아영; 이홍래; 서광덕

doi:10.5909/jbe.2019.24.2.299

하이브리드 미디어 전송을 위한 MMT 프로토콜 기반의 대역내 미디어 동기화 기법
In-band Media Synchronization Mechanism Based on MMT Protocol for Hybrid Media Delivery 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.2, 2019년, pp.299 - 305

원광은 (연세대학교 컴퓨터정보통신공학부) , 안은빈 (연세대학교 컴퓨터정보통신공학부) , 김아영 (연세대학교 컴퓨터정보통신공학부) , 이홍래 (연세대학교 컴퓨터정보통신공학부) , 서광덕 (연세대학교 컴퓨터정보통신공학부)

초록
AI-Helper

ISO MPEG에서는 향후 대용량의 초고해상도 영상을 이종(Heterogeneous)의 네트워크 환경에서도 소비자에게 원활하게 전달하기 위해 MPEG-H를 표준화 하였다. 그 중 MMT(MPEG Media Transport) 프로토콜은 이종의 네트워크 환경에서 하이브리드 (hybrid) 미디어 전송을 할 수 있는 차세대 MPEG 미디어 전송 규격이다. 대용량 초고해상도의 영상을 이종의 네트워크 환경을 통해 원활하게 서비스하려면 전송된 미디어 간의 정확한 동기화 (synchronization)가 중요한 요소이다. 본 논문에서는 MMT 기술에서 제공하는 대역외 (out-of-band) 미디어 동기화 기법의 추가적인 세션 연결과 과도한 트래픽 발생 문제를 해결하기 위해 대역내 (in-band) 미디어 동기화 기법을 제안하고 그 성능을 검증한다.

Abstract ▼ AI-Helper

In ISO MPEG, MPEG-H has been standardized to smoothly deliver huge volume of ultra-high resolution videos over heterogeneous network environments for the consumers. In the MPEG-H standard, MMT(MPEG Media Transport) protocol is the next generation MPEG media transport technology to provide hybrid media delivery over heterogeneous environments. It is important to sustain accurate media synchronization to provide ultra-high resolution video services over heterogeneous network environments. In this paper, we propose and verify an in-band media synchronization scheme to circumvent the problem of additional session setup and excessive traffic problems of the conventional out-of-band media synchronization supported by the MMT technology.

주제어

표/그림 (6)

그림 그림 1. 단대단 (point-to-point) 단일 채널 송수신 모델에서의 MMT 기술의 적용 Fig. 1. Application of MMT to point-to-point transceiver model over a single channel
그림 그림 2. MMT MPU_timestamp_descriptor 메시지 기반의 미디어 동기화 원리 Fig. 2. Synchronization of MMT based on MPU_timestamp_descriptor message
그림 그림 3. 대역내 미디어 동기화를 위한 PTS 정보를 포함한 MMT 프로토콜 헤더의 구조 Fig. 3. MMT protocol header containing PTS for in-band media synchronization
그림 그림 4. 제안하는 오디오 및 비디오 스트림 간 동기화 동작 절차 Fig. 4. Proposed Synchronization process between audio and video streams
그림 그림 5. 화면간 시간 간격 조절을 통한 동기화 성능을 나타내는 그래프. Fig. 5. Synchronization performance achieved by adjusting inter-frame interval
그림 그림 6. 재동기화 지연 값에 따른 동기화 왜곡을 나타낸 그래프 Fig. 6. Synchronization skew affected by the resynchronization delay

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 MMT 기술에서 기본적으로 제공하는 대역외 (out-of-band) 미디어 동기화 기법의 추가적인 세션 연결과 과도한 트래픽 발생 문제를 해결하기 위한 대역내(in-band) 미디어 동기화 기법을 제안하였다. 제안 기법에서는 MMTP 패킷 헤더에 UTC 포맷의 PTS 정보를 기록하여 패킷을 전송하게 되고, 오디오 스트림을 기준으로 비디오 스트림의 화면간 시간 간격을 조절함으로써 동기화를 맞출 수 있음을 실제 구현을 통해 확인하였다.
그러나 이 방식은 추가적인 시그널링 메시지 전달에 필요한 MMT 세션 연결과 네트워크 대역폭의 낭비를 초래할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 미디어간 동기화에 필요한 정보를 MMT 프로토콜 헤더에 기록하여 페이로드 데이터와 함께 전송함으로써 추가적인 MMT 세션 연결과 대역폭 낭비 없이 동기화를 제공하는 대역내 미디어 동기화 방법을 제안한다.

제안 방법

비디오의 경우 카메라에 캡처된 실시간 4K 해상도 영상을 FFmpeg으로 압축한 후 MMT패킷에 실어서 클라이언트로 전송하였고, 오디오의 경우 마이크에 입력된 PCM 신호를 무압축으로 MMT 패킷에 실어서 클라이언트로 전송하였다. MMT 패킷 헤더에는 각각의 미디어 타입의 데이터율에 맞게 PTS 시간 정보가 UTC포맷으로 기록되도록 하였다. 물리적으로 분리된 채널을 통해 MMT 패킷에 실려서 전송된 비디오 및 오디오 데이터는 III장에서 제안하는 대역내 미디어 동기화 기법에 의해 수신측에서 동기화되었다.
첫째, 비디오 데이터를 오디오 데이터에 맞춰 동기화를 맞추는 방법, 둘째, 오디오 데이터를 비디오 데이터에 맞춰 동기화를 맞추는 방법, 셋째, 외부 시스템 클럭에 오디오 데이터와 비디오 데이터의 동기화를 맞추는 방법이 있다. 본 논문에서는 첫 번째 방법을 기반으로 동기화를 맞추는데, 그 이유는 크게 두 가지이다. 첫째, 오디오의 경우 비디오와 달리 동기화 과정에서 소리의 끊김이 발생할 경우 주관적 품질에 좋지 못한 영향을 보다 더 크게 미칠 수 있지만, 비디오의 경우 동기화를 위해 화면간 시간 간격 (interframe interval)을 조절하더라도 이 간격의 변화를 인간의 시각이 쉽게 인지하지 못한다.
만약 디코딩된 오디오와 비디오 데이터의 동기화 과정 없이 각각의 렌더러로 전송해서 재생하면 각 미디어 데이터의 출력률 차이 때문에 동기화가 이루어지지 않은 상태로 재생된다. 본 연구에서는 대역내 미디어 동기화를 제공하기 위하여 MMT 전송 프로토콜 헤더에 존재하는 64비트의 타임스탬프 필드를 활용한다. 이 필드는 네트워크에서 발생되는 지터(jitter)와 전송 지연 시간을 계산하는데 활용될 수 있지만, 본 연구에서는 그림 3과 같이 대역내 동기화에 필요한 PTS 시간 기록을 위해 이 필드를 활용하였다.
그림 4는 본 논문에서 제안하는 MMT 프로토콜 헤더의 UTC 포맷의 PTS 정보를 활용하는 대역내 미디어 동기화기법의 동작 절차이다. 수신 측에서 오디오 패킷과 비디오 패킷을 수신한 후 각 패킷 헤더에 저장된 PTS 정보와 시스템 클럭(system clock)을 활용하여 두 미디어 데이터의 실제 지연 차이(actual delay)를 구하고 비디오 데이터를 오디오 데이터에 동기화시키는 방식으로 두 미디어 스트림 간에 동기화를 수행한다. 송신 측에서 저장한 오디오 데이터 패킷과 비디오 데이터 패킷의 PTS 정보 및 타임베이스 정보를 수신 측에 있는 Delay Generator에 전달한다.
물리적으로 분리된 채널을 통해 MMT 패킷에 실려서 전송된 비디오 및 오디오 데이터는 III장에서 제안하는 대역내 미디어 동기화 기법에 의해 수신측에서 동기화되었다. 이 실험에서는 비디오카메라의 화면 캡처율을 33 fps(frames/second)로 설정하였고, 대용량 비디오 전송에 의한 네트워크에서의 전달 지연과 클라이언트 컴퓨터 성능의 한계로 인한 처리 지연으로 발생하는 비디오 화면 멈춤 현상이 발생하는 경우 화면간 시간 간격 조절을 통해 동기화를 실시하였다. 그림 5는 이 실험에서 오디오와의 동기화를 성취하기 위해 비디오의 화면간 시간 간격을 10ms로 설정한 경우의 비디오의 화면간 시간 간격 변화 추이를 나타낸다.
본 연구에서는 대역내 미디어 동기화를 제공하기 위하여 MMT 전송 프로토콜 헤더에 존재하는 64비트의 타임스탬프 필드를 활용한다. 이 필드는 네트워크에서 발생되는 지터(jitter)와 전송 지연 시간을 계산하는데 활용될 수 있지만, 본 연구에서는 그림 3과 같이 대역내 동기화에 필요한 PTS 시간 기록을 위해 이 필드를 활용하였다. 일반적인 ISO BMFF 파일의 moov 헤더에 기록되는 PTS 시간 정보와는 달리 미디어 재생 시간을 UTC 시간 포맷으로 표기하여 서로 다른 채널을 통해 하이브리드 방식으로 전송된 미디어들 간에 동기화가 가능하도록 설계하였다.
인터넷을 통한 하이브리드 미디어 전송 환경에서 동기화성능을 실험하기 위하여 두 대의 서버를 활용하였고, 비디오 데이터 전송 서버와 오디오 데이터 전송 서버를 서로 다른 위치에 설치하였다. 각각의 서버는 MMT 표준 규격에 따른 세션 셋업 절차를 통해 하나의 동일한 클라이언트와 동시에 MMT 세션을 맺었다.
이 필드는 네트워크에서 발생되는 지터(jitter)와 전송 지연 시간을 계산하는데 활용될 수 있지만, 본 연구에서는 그림 3과 같이 대역내 동기화에 필요한 PTS 시간 기록을 위해 이 필드를 활용하였다. 일반적인 ISO BMFF 파일의 moov 헤더에 기록되는 PTS 시간 정보와는 달리 미디어 재생 시간을 UTC 시간 포맷으로 표기하여 서로 다른 채널을 통해 하이브리드 방식으로 전송된 미디어들 간에 동기화가 가능하도록 설계하였다.
본 논문에서는 MMT 기술에서 기본적으로 제공하는 대역외 (out-of-band) 미디어 동기화 기법의 추가적인 세션 연결과 과도한 트래픽 발생 문제를 해결하기 위한 대역내(in-band) 미디어 동기화 기법을 제안하였다. 제안 기법에서는 MMTP 패킷 헤더에 UTC 포맷의 PTS 정보를 기록하여 패킷을 전송하게 되고, 오디오 스트림을 기준으로 비디오 스트림의 화면간 시간 간격을 조절함으로써 동기화를 맞출 수 있음을 실제 구현을 통해 확인하였다. 또한, 재동기화 지연 값을 짧게 설정함으로써 동기화 수렴속도를 높일 수 있었다.

성능/효과

첫째, 오디오의 경우 비디오와 달리 동기화 과정에서 소리의 끊김이 발생할 경우 주관적 품질에 좋지 못한 영향을 보다 더 크게 미칠 수 있지만, 비디오의 경우 동기화를 위해 화면간 시간 간격 (interframe interval)을 조절하더라도 이 간격의 변화를 인간의 시각이 쉽게 인지하지 못한다. 둘째, 오디오의 경우 데이터 볼륨이 비디오에 비해 매우 작기 때문에 동일한 시간 동안의 데이터에 대해 전송 및 수신 후 신호처리에 소요되는 지연 시간이 비디오보다 짧다. 따라서, 오디오 데이터의 수신 지연으로 발생되는 문제는 거의 없고, 대용량 전송으로 늦게 수신되는 비디오 데이터의 화면 재생률 조절을 통해 오디오와의 동기화를 맞추기가 용이하다.
제안 기법에서는 MMTP 패킷 헤더에 UTC 포맷의 PTS 정보를 기록하여 패킷을 전송하게 되고, 오디오 스트림을 기준으로 비디오 스트림의 화면간 시간 간격을 조절함으로써 동기화를 맞출 수 있음을 실제 구현을 통해 확인하였다. 또한, 재동기화 지연 값을 짧게 설정함으로써 동기화 수렴속도를 높일 수 있었다.
95초 동안 재생하지 못했던 프레임들을 10ms의 화면간 시간 간격으로 빠르게 재생하여 오디오와 동기화를 맞추는 구간이다. 이후 영상이 원래의 화면율로 재생되어 정상적인 화면간 시간 간격을 유지함을 확인할 수 있다.
본 논문에서는 첫 번째 방법을 기반으로 동기화를 맞추는데, 그 이유는 크게 두 가지이다. 첫째, 오디오의 경우 비디오와 달리 동기화 과정에서 소리의 끊김이 발생할 경우 주관적 품질에 좋지 못한 영향을 보다 더 크게 미칠 수 있지만, 비디오의 경우 동기화를 위해 화면간 시간 간격 (interframe interval)을 조절하더라도 이 간격의 변화를 인간의 시각이 쉽게 인지하지 못한다. 둘째, 오디오의 경우 데이터 볼륨이 비디오에 비해 매우 작기 때문에 동일한 시간 동안의 데이터에 대해 전송 및 수신 후 신호처리에 소요되는 지연 시간이 비디오보다 짧다.

질의응답

핵심어	질문	논문에서 추출한 답변
	MMT 프로토콜이란?	ISO MPEG에서는 향후 대용량의 초고해상도 영상을 이종(Heterogeneous)의 네트워크 환경에서도 소비자에게 원활하게 전달하기 위해 MPEG-H를 표준화 하였다. 그 중 MMT(MPEG Media Transport) 프로토콜은 이종의 네트워크 환경에서 하이브리드 (hybrid) 미디어 전송을 할 수 있는 차세대 MPEG 미디어 전송 규격이다. 대용량 초고해상도의 영상을 이종의 네트워크 환경을 통해 원활하게 서비스하려면 전송된 미디어 간의 정확한 동기화 (synchronization)가 중요한 요소이다.
	대용량 초고해상도의 영상을 이종의 네트워크 환경을 통해 원활히 서비스하기 위해 중요한 요소는?	그 중 MMT(MPEG Media Transport) 프로토콜은 이종의 네트워크 환경에서 하이브리드 (hybrid) 미디어 전송을 할 수 있는 차세대 MPEG 미디어 전송 규격이다. 대용량 초고해상도의 영상을 이종의 네트워크 환경을 통해 원활하게 서비스하려면 전송된 미디어 간의 정확한 동기화 (synchronization)가 중요한 요소이다. 본 논문에서는 MMT 기술에서 제공하는 대역외 (out-of-band) 미디어 동기화 기법의 추가적인 세션 연결과 과도한 트래픽 발생 문제를 해결하기 위해 대역내 (in-band) 미디어 동기화 기법을 제안하고 그 성능을 검증한다.
	낭비를 초래하는 기존 미디어 동기화 기법을 해결하기 위해 제안된 것은?	그러나 이 방식은 추가적인 시그널링 메시지 전달에 필요한 MMT 세션 연결과 네트워크 대역폭의 낭비를 초래할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 미디어간 동기화에 필요한 정보를 MMT 프로토콜 헤더에 기록하여 페이로드 데이터와 함께 전송함으로써 추가적인 MMT 세션 연결과 대역폭 낭비 없이 동기화를 제공하는 대역내 미디어 동기화 방법을 제안한다.

참고문헌 (5)

ISO/IEC 23008-1:2014 (First edition), Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT), Jun. 2014.
Y. Sohn, M. Cho, and J. Paik, "Design of MMT-based broadcasting system for UHD video streaming over heterogenous networks," Journal of Broadcast Engineering, Vol. 20, No 1, pp. 16-25, Jan. 2015.

원문보기 상세보기
Y. Hu, S. Xie, and Y. Xu, "Dynamic VR live streaming over MMT," in Proc. of IEEE Int. Symp. Broadband Multimedia Systems and Broadcasting (BMSB), pp. 11-16, 2017.
S. Din and D., Bulterman, "Synchronization techniques in distributed multimedia presentation," in Proc. of Int. Conf. on Advances in Multimedia, pp. 1-9, 2012.
C. Kim, H. Lee, T. Jung, B. Kim, and K. Seo, "An efficient delay-constrained ARQ scheme for MMT packt-based real-time video streaming over IP networks," Journal of Real-time Image Processing, Vol. 12, No. 2, pp. 257-271, Aug. 2016.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증