본 논문은 오디오를 동반한 방송 서비스에 있어서 기존의 단순 청취형의 오디오 서비스에서 탈피한 대화형의 객체 기반 3차원 오디오 방송 시스템의 구조를 설명한다. 객체기반 3차원 오디오 방송 시스템은 3차원 오디오 입력부, 3차원 오디오 편집/제작부, 3차원 오디오 부호화부, 3차원 오디오 복호화부, 3차원 오디오 장면합성부 및 3차원 오디오 재생부로 구성된다. 오디오 입력부에서는 3차원 배경음 객체와 독립적인 오디오 객체들을 획득한다. 편집/제작부에서는 오디오 객체들에 대한 3차원 음상정위 및 오디오 이미지 생성을 위한 파라미터를 설정하고, 이들을 조합하여 3차원 오디오 장면을 편집/제작한다. 부호화부에서는 장면정보와 오디오 객체들을 부호화하고, 복호화부에서는 오디오 객체들을 복원하고 장면정보를 획득한다. 장면 합성부에서는 장면정보와 오디오 객체들을 이용하여 오디오 장면을 구성한다. 3차원 오디오 재생부에서는 3차원 오디오 객체들 재생하고, 사용자의 제어신호를 이용한 대화형 기능을 구현한다.
본 논문은 오디오를 동반한 방송 서비스에 있어서 기존의 단순 청취형의 오디오 서비스에서 탈피한 대화형의 객체 기반 3차원 오디오 방송 시스템의 구조를 설명한다. 객체기반 3차원 오디오 방송 시스템은 3차원 오디오 입력부, 3차원 오디오 편집/제작부, 3차원 오디오 부호화부, 3차원 오디오 복호화부, 3차원 오디오 장면합성부 및 3차원 오디오 재생부로 구성된다. 오디오 입력부에서는 3차원 배경음 객체와 독립적인 오디오 객체들을 획득한다. 편집/제작부에서는 오디오 객체들에 대한 3차원 음상정위 및 오디오 이미지 생성을 위한 파라미터를 설정하고, 이들을 조합하여 3차원 오디오 장면을 편집/제작한다. 부호화부에서는 장면정보와 오디오 객체들을 부호화하고, 복호화부에서는 오디오 객체들을 복원하고 장면정보를 획득한다. 장면 합성부에서는 장면정보와 오디오 객체들을 이용하여 오디오 장면을 구성한다. 3차원 오디오 재생부에서는 3차원 오디오 객체들 재생하고, 사용자의 제어신호를 이용한 대화형 기능을 구현한다.
This paper aims to describe the basic structure of novel object-based 3D audio broadcasting system To overcome current uni-directional audio broadcasting services, the object-based 3D audio broadcasting system is designed for providing the ability to interact with important audio objects as well as ...
This paper aims to describe the basic structure of novel object-based 3D audio broadcasting system To overcome current uni-directional audio broadcasting services, the object-based 3D audio broadcasting system is designed for providing the ability to interact with important audio objects as well as realistic 3D effects based on the MPEG-4 standard. The system is composed of 6 sub-modules. The audio input module collects the background sound object, which is recored by 3D microphone, and audio objects, which are recorded by monaural microphone or extracted through source separation method. The sound scene authoring module edits the 3D information of audio objects such as acoustical characteristics, location, directivity and etc. It also defines the final sound scene with a 3D background sound, which is intended to be delievered to a receiving terminal by producer. The encoder module encodes scene descriptors and audio objects for effective transmission. The decoder module extracts scene descriptors and audio objects from decoding received bistreams. The sound scene composition module reconstructs the 3D sound scene with scene descriptors and audio objects. The 3D sound renderer module maximizes the 3D sound effects through adapting the final sound to the listner's acoustical environments. It also receives the user's controls on audio objects and sends them to the scene composition module for changing the sound scene.
This paper aims to describe the basic structure of novel object-based 3D audio broadcasting system To overcome current uni-directional audio broadcasting services, the object-based 3D audio broadcasting system is designed for providing the ability to interact with important audio objects as well as realistic 3D effects based on the MPEG-4 standard. The system is composed of 6 sub-modules. The audio input module collects the background sound object, which is recored by 3D microphone, and audio objects, which are recorded by monaural microphone or extracted through source separation method. The sound scene authoring module edits the 3D information of audio objects such as acoustical characteristics, location, directivity and etc. It also defines the final sound scene with a 3D background sound, which is intended to be delievered to a receiving terminal by producer. The encoder module encodes scene descriptors and audio objects for effective transmission. The decoder module extracts scene descriptors and audio objects from decoding received bistreams. The sound scene composition module reconstructs the 3D sound scene with scene descriptors and audio objects. The 3D sound renderer module maximizes the 3D sound effects through adapting the final sound to the listner's acoustical environments. It also receives the user's controls on audio objects and sends them to the scene composition module for changing the sound scene.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 3차원 오디오 처리 기술과 MPEG-4를 기반으로 하는 객체기반 멀티미디어 처리 기술을 이용하겨, 객체기반 3차원 오디오 방송을 위한 시스템의 구조및 서비스 구현을 위한 기반 기술들에 대하여 설명한다. 본 논문의 구성은 다음과 같다.
본 논문에서는 3차원 오디오 처리 기술과 MPEG-4를 기반으로 하는 객체기반 멀티미디어 처리 기술을 이용하겨, 객체기반 3차원 오디오 방송을 위한 시스템의 구조및 서비스 구현을 위한 기반 기술들에 대하여 설명한다. 본 논문의 구성은 다음과 같다.
본 논문에서는 MPEG-4 표준에 기반한 객체기반 3차원 오디오 방송 서비스를 제안하고 가능한 시스템의 구조및 응용 분야를 살펴 보았다.
본 논문에서는 MPEG-4 표준에 기반한 객체기반 3차원 오디오 방송 서비스를 제안하고 가능한 시스템의 구조및 응용 분야를 살펴 보았다.
객체기반 3차원 오디오 빙송 시스템은 DAB (Digital Audio Broadcasting) 및 디지털 방송에서, MPEG-4 표준을 기반으로 하여 객체기반의 사용자 제어가 가능한 오디오 컨텐츠를 제작하고 부호화하여 전송하며, 수신된 컨텐츠를 3차원 공간상에서 장면을 구성하여 재생하며, 사용자 제어에 의해 오디오 객체들의 위치 및 특성에 관련된 속성들을 제어하는 기능들을 제공하는 시스템이다. 본 시스템은 3차원 오디오, 단말에서의 대화형 컨텐츠, 관련 이미지 혹은 영상데이터를부가하여 향상된 멀티미디어 서비스를 제공하기 위한 것이다.
제안된 시스템은 2채널 혹은 멀티채널 스피커 환경하에서 실감있는 3차원 오디오를 제공할뿐만 아니라 청취자에게 일방적으로 음악만을 들려주던 종래의 서비스에서 탈피하여, 사용자가 주어진 장면정보를 이용하여 음원을 객체별로 제어할 수 있는 대화형 오디오 방송 서비스를 제공하는 것을 목표로 한다. 이 러한 서 비스를 제공 하기 위해서는 3차원 오디오를 획득, 처리, 재생하는 기술과 3차원 오디오 장면을 편집하고 표현하는 기술과 사용자 제어를 처리하는 기술이 필요하다.
제안 방법
MPEG-4 표준은 객체기반 대화형 서비스 및 3차원 오디오에 기반한 매우 융통성 있는 서비스의 가능성을 시사하였다. 그러나 현실적 인 서비스로서 실현하기 위해서는 객체 모델의 최적화가 필요하며, 이를 위해 음원객체의 수를 최소한으로 감소시키고, 배경음 객체를 도입하는 것을 제안하였다. 또한 다양한 서비스를 위해 점음원뿐만 아니라 1차원, 2차원 및 3차원 음원 모델을 제시하였고 이들을 이용한 응용 서비스의 몇가지 예를 제시하였다.
MPEG-4 BIFS 구조가 대부분의 VRML (Virtual Reality Modeling Lan卽i迎e)로부터 가져온 것이기는 하지만 비트스트림 표현은 완전히 다르다. 또한 MPEQ-4는 VRML 네 비하여 몇가지 구별되는 메커니즘 (데이터 스트리밍, 장면 갱신, 압축)을 추가하였다. MPEG-4는 클라이 언트-서버 모델을 사용하다.
그러나 현실적 인 서비스로서 실현하기 위해서는 객체 모델의 최적화가 필요하며, 이를 위해 음원객체의 수를 최소한으로 감소시키고, 배경음 객체를 도입하는 것을 제안하였다. 또한 다양한 서비스를 위해 점음원뿐만 아니라 1차원, 2차원 및 3차원 음원 모델을 제시하였고 이들을 이용한 응용 서비스의 몇가지 예를 제시하였다. 제안한 시스템은 객체기반 3차원 오디오 방송뿐만 아니라 가상현실, 게임, 인터넷 쇼핑등의 분야에도 응용할 수 있다.
그러나 현실적 인 서비스로서 실현하기 위해서는 객체 모델의 최적화가 필요하며, 이를 위해 음원객체의 수를 최소한으로 감소시키고, 배경음 객체를 도입하는 것을 제안하였다. 또한 다양한 서비스를 위해 점음원뿐만 아니라 1차원, 2차원 및 3차원 음원 모델을 제시하였고 이들을 이용한 응용 서비스의 몇가지 예를 제시하였다. 제안한 시스템은 객체기반 3차원 오디오 방송뿐만 아니라 가상현실, 게임, 인터넷 쇼핑등의 분야에도 응용할 수 있다.
이때 3차원 장면 정보는사용자 (청취자)에 의해 변경될 수 있으며, 변경된 장면 정보에 의해 렌더링이 수행될 수 있다. 또한 청취공간에 설치된 스피커의 구성을 사용자로로부터 입력받아 스피커 구성에 따라 2채널 혹은 멀티채널에 의한 3차원 렌더링을 선택하여 수행한다.
이때 3차원 장면 정보는사용자 (청취자)에 의해 변경될 수 있으며, 변경된 장면 정보에 의해 렌더링이 수행될 수 있다. 또한 청취공간에 설치된 스피커의 구성을 사용자로로부터 입력받아 스피커 구성에 따라 2채널 혹은 멀티채널에 의한 3차원 렌더링을 선택하여 수행한다.
AudioBIFS는 하나의 오디오 장면에 합성오디오를 포함한 다양한 형태의 오디오 데이터를 결합하여 오디오 장면을 구성할 수 있도록 하였으며, 지연 노드를 통한동기 기능, 표본화 주파수 변경을 포함하는 고품질 재생기능 등을 제공한다. 또한 합성 오디오툴을 처리하기 위한 AudioFX 노드를 별도로 제공함으로써 신호처 리 및 필터링 기능을 유연하게 처리할 수 있도록 하였다. AudioBIFS는 사용자의 다양한 제어를 받아들일 수 있도록 AudioBIFS 노드 또는 다른 BIFS 노드들과의 유연한상호작용 (interaction) 기능을 제공한다.
마지막으로 SL 패킷 및 IOD 데이터를 DAB 멀티미디어 전송 규격 또는 인터넷 스트리밍 전송 규격에 따라 다중 화하여 전송한다.
단말에서의 실시간 처리를 위하여 객체기반 3차원 오디오 입력부의 전체 오디오 채널 （객체）의 수는 8개로 제한하며 이용 가능한 출력 객체의 조합은 표 1과 같다. 본 시스템에서는 점음원뿐만 아니라 다차원의 멀티채널 음원을 모델링하고 있다. 이들 음원은 점음원 이외에 그림 7과 같은 선 형태의 1차원 음원 면 형태의 2차원 음원, 부피를 가지는 3차원 음원으로 구분할 수 있다.
궁극적인 3차원 오디오를 재현하기 위해서는 3차원 오디오를 녹음하는 마이크로폰 기술로부터 스피커를 통하여 재생하는 기술까지 포함하는 통합적인 시스템을 구현하여야 한다［3］. 본 절에서는 3차원 오디오를 재현하기 위하여 필수적인 기술들을 3차원 오디오 획득 기술, 부호화 기술, 재생기술로 구분하여 설명한다.
재생 블록은 3차원 오디오 신호의 재생형태 즉 헤드폰, 스테레오 스피커, 스테레오 다이폴, 멀티채널 스피커 등의 정보를 입력받아크로스토크 제거 필터링을수행하고 청취자의 실내 음향 특성을 제거하기 위한 역필터링을 수행한다.
재생 블록은 3차원 오디오 신호의 재생형태 즉 헤드폰, 스테레오 스피커, 스테레오 다이폴, 멀티채널 스피커 등의 정보를 입력받아크로스토크 제거 필터링을수행하고 청취자의 실내 음향 특성을 제거하기 위한 역필터링을 수행한다.
이론/모형
또한 MPEQ-4는 VRML 네 비하여 몇가지 구별되는 메커니즘 (데이터 스트리밍, 장면 갱신, 압축)을 추가하였다. MPEG-4는 클라이 언트-서버 모델을 사용하다. MPEG-4 클라이언트 (또는플레이어, 브라우저)는 MPEG-4 서버에 접속하여 콘텐츠를 요청한 후 수신하고 표현한다.
또한 MPEQ-4는 VRML 네 비하여 몇가지 구별되는 메커니즘 (데이터 스트리밍, 장면 갱신, 압축)을 추가하였다. MPEG-4는 클라이 언트-서버 모델을 사용하다. MPEG-4 클라이언트 (또는플레이어, 브라우저)는 MPEG-4 서버에 접속하여 콘텐츠를 요청한 후 수신하고 표현한다.
객체기반 3차원 오디오 부호화부는 오디오 객체 신호 들을 MPEG-4 오디오 부호화 도구를 사용하여 부호화 한다. 오디오 부호화 방식으로는 MPEG-4 AAC 알고리즘을 이용한다.
후속연구
본 시스템은 향후 시스템의 구현 및 시험을 통해 실효성을 입증하게 될 것이다.
본 시스템의 방송에의 응용 분야로서는 3차원 오디오라 대화형 오디오 서비스를 접목한 서비스라고 할 수 있 으며, 3차원 방송 멀티뷰 방송의 오디오 가상 전시장의 대화형 객체, AUI 등에 응용할 수 있다.
또한 다양한 서비스를 위해 점음원뿐만 아니라 1차원, 2차원 및 3차원 음원 모델을 제시하였고 이들을 이용한 응용 서비스의 몇가지 예를 제시하였다. 제안한 시스템은 객체기반 3차원 오디오 방송뿐만 아니라 가상현실, 게임, 인터넷 쇼핑등의 분야에도 응용할 수 있다.
또한 다양한 서비스를 위해 점음원뿐만 아니라 1차원, 2차원 및 3차원 음원 모델을 제시하였고 이들을 이용한 응용 서비스의 몇가지 예를 제시하였다. 제안한 시스템은 객체기반 3차원 오디오 방송뿐만 아니라 가상현실, 게임, 인터넷 쇼핑등의 분야에도 응용할 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.