선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 1채널 음성의 각 스트림을 비압축 HD 전송기술에 접목함으로써 협업 연구, 엔터테인먼트, 원격 의료 등의 요구를 만족시키는 시스템을 제안한다. 3D HD 영상을 재현하기 위한 방법을 위해 본 논문에서는 stereoscopic 영상을 사용해 입체감 있는 영상을 재현한다.
- 입체감 있는 영상을 획득, 전송, 재생해 고화질 저지연성을 갖는 HD 협업 환경의 가능성을 실험을 통해 보였으며 동기화를 위한 설계를 송수신 각각의 측면에서 다루었다. 다채널 음성 재생을 위해서, 본 논문에서는 오디오 프레임의 구조를 분석하고 채널 뒤섞임을 방지하기 위한 버퍼를 전처리로 추가하였다. 또한 프레임 손실에 의한 채널 뒤섞임을 방지하기 위해 입력신호와 시작 채널 메타 데이터를 비교하는 과정을 추가하였다.
- 기존의 비압축 전송 시스템에서 음성 재생을 이용하기 위해서는 이를 처리하기 위한 하드웨어의 설치가 필수적이었고, 이는 구축 비용 및 서비스의 확장을 막는 요소다. 따라서 본 논문에서는 음성 재생 하드웨어를 대체할 수 있는 다채널 음성 재생 소프트웨어를 구현한다. 이는 기존의 하드웨어로 재생된 음성을 일반 사운드카드를 이용하여 재생할 수 있기 때문에 수신부에서 음성 재생을 위한 하드웨어의 설치 없이 사용할 수 있다는 장점을 가진다.
- MSB (Most Significant Bit) 24 bits은 음성 데이터, LSB (Least Significant Bit) 8 bits은 zero-padding이 된 형식을 가지기 때문에 소프트웨어로 재생하기 위해서는 LSB 8 bits을 제거하는 과정이 추가되거나 음성 샘플을 32 bits으로 재생해야 올바른 재생 결과를 얻을 수 있다. 본 논문에서는 음성 재생 소프트웨어의 연산에 대한 부담을 줄이기 위해 LSB 8 bits을 제거하는 방식을 사용하지 않고 음성 포맷을 32 bits 로 설정하는 방식을 선택하였다.
- 본 논문에서는 좌ㆍ우 2개의 비압축 HD 영상 전송과 5.1채널의 음성 재생을 이용해 실감 협업 응용을 목표로 한다. 특히, 2개의 영상 세션과 1개의 음성 세션의 동기화 기법 및 다채널의 음성을 소프트웨어적으로 재생하는 모듈의 구현에 초점을 둔다.
- 이를 위해, 비압축 HD 미디어 전송 시스템을 개선[11]해 음성 프레임의 패킷화를 위해 비압축 음성 전송을 위한 RTP 페이로드를 정의, 오디오 세션과 비디오 세션의 인터 미디어 동기화, RTP 패킷의 특정 패킷 손실상황에서의 버퍼 관리등을 다루었다. 본 논문은 한층 더 몰입감 있는 협업환경을 위해 3D HD 영상 및 5.1채널 음성의 각 스트림을 비압축 HD 전송기술에 접목함으로써 협업 연구, 엔터테인먼트, 원격 의료 등의 요구를 만족시키는 시스템을 제안한다. 3D HD 영상을 재현하기 위한 방법을 위해 본 논문에서는 stereoscopic 영상을 사용해 입체감 있는 영상을 재현한다.
- 지금까지는 하나의 송신 시스템에서 하나의 수신 시스템으로 영상과 음성이 전송될 경우에 대해 알아보았다. 본 연구에서 다루는 병렬 세션간의 송신을 통한 stereoscopic 영상재생을 위해 세션을 병렬적으로 구성해 이용해 좌측과 우측의 영상을 각각의 송수신 시스템에서 받도록 한다.
- 음성 세션을 통해 수신된 6채널의 음성 프레임은 Advanced Linux Sound Architecture (ALSA) 기반으로 개발한 재생 모듈을 이용해 재생한다. 비압축 24bit 48Khz 6채널 오디오를 전송하기 위한 RTP 패킷 포맷의 정의는 [11]에서 다루었으며 본 논문에서는 수신측에서 전송 받은 오디오 프레임을 재생하기 위해 구현 시에 고려한 사항에 대해 자세히 다룬다. 이는 5절에서 소개되며, 요약하면, 가변적인 오디오 프레임의 구조로 인해 채널 변경을 막기 위해 메타데이터와 여분의 샘플을 저장할 수 있는 버퍼를 이용해 전송 에러나 지연에 의한 프레임 손실로 인한 채널 변경을 막을 수 있다는 것이며 이를 통해 6채널 음성의 재생이 수행된다.
- 개발된 음성 모듈을 사용해 한국에서 보낸 다채널 음성을 미국 SuperComputing06 행사에서 재생하는 시연을 수행했다. 시연은 비압축 HD 미디어 전송 시스템의 다채널 비압축 오디오 재생부분에 중점을 맞춰 참석자들에게 방향성 있는 HD 미디어를 체감하게 해주는 것에 목적을 두고 진행되었다. 다채널 오디오를 재생하기 위해 영상은 8bit로 보내진다.
- 이 절에서는 HD 미디어를 IP를 이용해 전송할 때 필요한 배경 지식을 알아보고, 입체감 있는 영상을 전송하기 위해 기존에 제안된 방법들과 본 연구와의 차이점을 밝힌다.
- 이 절에서는 비압축 HD stereoscopic 영상 및 다채널 음성 전송 시스템의 전체 구성에 대해 소개한다. 하나의 비압축 HD 영상 세션을 전송/재생하기 위해 한 쌍의 송ㆍ수신 시스템을 이용하며, 좌ㆍ우측 영상을 전송해야 하므로 총 두 쌍의 독립된 송ㆍ수신 시스템이 사용된다.
- 수신측의 동기화를 위한 설계는 [그림 5]에 나타나 있다. 인터 미디어 동기화의 목표는 같은 시간에 획득된 좌ㆍ우 프레임이 수신되었을 때 늦게 수신된 프레임과 같이 재생 될 수 있게 일찍 수신된 프레임의 재생시간을 보정해주는 것이다. 그림에서 좌측 영상 세션을 기준으로 살펴보면, RTCP 메시지(left RTCP#1)가 수신되고 해당 메시지로부터 RTCP timestamp (RTPts_L)와 그에 해당하는 NTP timestamp(NTPts_L)를 알 수 있다.
- 이는 기존의 하드웨어로 재생된 음성을 일반 사운드카드를 이용하여 재생할 수 있기 때문에 수신부에서 음성 재생을 위한 하드웨어의 설치 없이 사용할 수 있다는 장점을 가진다. 제안하는 비압축 stereoscopic 영상 전송과 다채널 음성 재생 시스템을 활용하여 고품질 HD 스트리밍 서비스와 다채널을 활용한 다자간 화상회의 서비스가 가능하며 이를 위한 사용 시나리오를 살펴봄으로써 본 응용 기술의 가능성을 검토한다.
가설 설정
- 이 장에서는 병렬 구조를 이루는 미디어 세션간의 동기화 모듈 및 개발한 음성 재생모듈의 설계를 다룬다. 병렬 세션의 인터 미디어 동기화는 송신측과 수신측 별로 다루며, 좌ㆍ우 영상의 두 송수신 시스템들의 시스템 클럭 (system clock)은 서로 동일하지 않아도 되며, 시스템 클럭의 속도는 같다고 가정한다. 공통 레퍼런스 클럭 (common reference clock)은 NTP를 사용한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.