[논문]MPEG-I AEP 기반 실시간 6 자유도 공간음향 렌더링 시스템

강경옥; 유재현; 장대영; 이용주; 이태진

doi:10.5909/jbe.2023.28.2.213

MPEG-I AEP 기반 실시간 6 자유도 공간음향 렌더링 시스템
A Real Time 6 DoF Spatial Audio Rendering System based on MPEG-I AEP 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.28 no.2, 2023년, pp.213 - 229

강경옥 (한국전자통신연구원 초실감메타버스연구소 미디어연구본부) , 유재현 (한국전자통신연구원 초실감메타버스연구소 미디어연구본부) , 장대영 (한국전자통신연구원 초실감메타버스연구소 미디어연구본부) , 이용주 (한국전자통신연구원 초실감메타버스연구소 미디어연구본부) , 이태진 (한국전자통신연구원 초실감메타버스연구소 미디어연구본부)

초록
AI-Helper

본 논문에서는 가상환경에 위치한 청취자의 움직임에 대응하여 실시간으로 6DoF 공간음향을 제공하는 공간음향 렌더링 시스템에 대해 소개한다. 본 시스템은 MPEG-I Immersive Audio CfP 대응을 위하여 MPEG-I AEP를 개발환경으로 사용하여 구현되었으며 인코더와, 디코더를 포함하는 렌더러로 구성된다. 인코더는 인코더 입력 포맷(EIF) 파일에 포함된 가상공간 장면의 공간적 오디오 파라미터와, SOFA 파일로 제공되는 음원의 지향성 정보 등의 메타데이터를 오프라인으로 부호화하여 비트스트림으로 전달하는 역할을 하며, 렌더러는 전달된 비트스트림을 수신하여 청취자의 위치에 따라 실시간으로 6DoF 공간음향 렌더링을 수행한다. 개발된 렌더링 시스템에 적용한 주요 공간음향 처리 기술로는 음원 효과 및 장애물 효과 처리 기술이 있으며, 그 외 시스템 동작에 필요한 기술로는 도플러 효과 및 음장효과 처리 기술 등이 있다. 개발된 시스템에 대한 성능평가 결과로서 자체 주관평가 결과를 소개한다.

Abstract ▼ AI-Helper

In this paper, we introduce a spatial sound rendering system that provides 6DoF spatial sound in real time in response to the movement of a listener located in a virtual environment. This system was implemented using MPEG-I AEP as a development environment for the CfP response of MPEG-I Immersive Audio and consists of an encoder and a renderer including a decoder. The encoder serves to offline encode metadata such as the spatial audio parameters of the virtual space scene included in EIF and the directivity information of the sound source provided in the SOFA file and deliver them to the bitstream. The renderer receives the transmitted bitstream and performs 6DoF spatial sound rendering in real time according to the position of the listener. The main spatial sound processing technologies applied to the rendering system include sound source effect and obstacle effect, and other ones for the system processing include Doppler effect, sound field effect and etc. The results of self-subjective evaluation of the developed system are introduced.

주제어

표/그림 (21)

그림 그림 1. 가상 음향환경 구현 절차^[1] Fig. 1. Process of implementing virtual acoustic environments^[1]
그림 그림 2. MPEG-I Immersive Audio 기본 구조^[9] Fig. 2. MPEG-I Immersive Audio Reference Architecture^[9]
그림 그림 3. MPEG-I AEP 개요 및 처리과정^[8] Fig. 3. Overview of MPEG-I Audio Evaluation Platform and Process^[8]
그림 그림 4. 6DoF 공간음향 시스템 기능 구조 Fig. 4. Functional block-diagram of a 6 DoF spatial audio system
표 표 1. 렌더러 기능 블록의 주요 역할 Table 1. The main role of each function block in renderer
그림 그림 5. 메쉬 영역 단순화의 예(왼쪽: 주어진 메쉬 데이터, 오른쪽: 직육면체로 단순화한 확장 음원 영역) Fig. 5. Example of mesh area simplification (left: given mesh data, right: simplified extent source area as a cuboid)
그림 그림 6. 모노 확장 음원에 대한 음원이 사용자를 따라 움직이는 처리 방식 Fig. 6. A processing method in which the sound source for a mono extent sound source moves along the user
그림 그림 7. 멀티채널 OBJECT 확장 음원에 대한 처리(좌), USER 확장 음원에 대한 처리(우) Fig. 7. Processing for multi-channel OBJECT extent sound source (left), USER extent sound source (right)
그림 그림 8. Ambisonic 음원의 ESD 정보 기반 음상 배치 예(왼쪽: 단위 구 상의 ESD 음원 배치 정보, 오른쪽: 신호처리 과정) Fig. 8. Example of sound source localization based on ESD information of Ambisonic sound source (left: ESD sound source information in unit sphere, right: signal processing step)
표 표 2. 업데이트의 구분 Table 2. Classification of updates
그림 그림 9. 장애물 검출을 위한 기하학적 개념 Fig. 9. Geometrical concept of occlusion detection
그림 그림 10. 공간에서의 장애물 처리 개념 Fig. 10. Concept of occlusion processing for given space
그림 그림 11. 음향학적 장애물 효과 처리 구조 Fig. 11. Block-diagram of acoustic occlusion effect process
그림 그림 12. 시간축 상의 파형을 활용한 피치 이동 방법의 예 Fig. 12. Example of pitch shifting method using waveform on the time axis
그림 그림 13. 정반사음 처리를 위한 콤 필터 Fig. 13. Comb filter for specular reflections
그림 그림 14. 확산음 처리를 위한 콤 필터 Fig. 14. Comb filters for diffuse reflections
그림 그림 15. 잔향 처리를 위한 올패스 필터 Fig. 15. All pass filters for reverberation
표 표 3. MPEG-I Immersive Audio CfP에 따른 주관평가 환경 셋업 Table 3. Set-up for subjective test environment defined by the MPEG-I Immersive Audio CfP
표 표 4. MPEG-I Immersive Audio CfP에 따른 평가 장면 및 그 속성 Table 4. Test scenes and their attributes by the MPEG-I Immersive Audio CfP
그림 그림 16. 전체 테스트 장면에 대한 A-B 주관평가 결과의 Thurstone 모델 분석: 막대 그래프 (a) 및 네트워크 그래프 (b) Fig. 16. Thurstone model analysis of A-B test results for all scenes: bar plot (a) and network graph (b)
표 표 5. 평가자 정보 및 평가 소요시간 Table 5. Subject information and test time

참고문헌 (15)

Lauri Savioja et al., "Creating Interactive Virtual Acoustic Environments," Journal of Audio Engineering Society, Vol.47, No.9,？pp.675-705, September 1999.？http://www.aes.org/e-lib/browse.cfm?elib12095
Lauri Savioja et al., "Overview of geometrical room acoustic modeling？techniques," Journal of Acoustic Society of America, Vol.138, No.2,？pp.708-730, August 2015.？doi: https://doi.org/10.1121/1.4926438

상세보기
Room Acoustics Modeling with Interactive Visualizations (by Lauri？Savioja), https://interactiveacoustics.info/ (accessed Feb. 9, 2023)
Resonance Audio, https://resonance-audio.github.io/resonance-audio/ (accessed Feb. 9, 2023)
EVERTims, https://evertims.github.io/ (accessed Feb. 9, 2023)
RAVEN, https://www.akustik.rwth-aachen.de/go/id/dwoc/lidx/1/file/183613 (accessed Feb. 9, 2023)？RAVEN: A real-time framework for the auralization of interactive？virtual environments
ISO/IEC JTC1/SC29/WG6 N0056, "MPEG-I Immersive Audio Call？for proposals," Virtual, April 2021.
ISO/IEC JTC1/SC29/WG6 N100, "MPEG-I Immersive Audio？Documentation for the Audio Evaluation Platform, Version 2" Virtual,？October 2021.
ISO/IEC JTC1/SC29/WG6 N0028, "MPEG-I Immersive Audio？Architecture and Requirements," Virtual, January 2021.
ISO/IEC JTC1/SC29/WG6 N0054, "MPEG-I Immersive Audio？Encoder Input Format," Virtual, April 2021.
ETSI TS 126 260 V15.0.0 (2018-10), "5G; Objective test？methodologies for the evaluation of immersive audio systems (3GPP？TS 26.260 version 15.0.0 Release 15), 2018
N0101 (N20921), "MPEG-I Immersive Audio Subjective Test？Logistics document", 5th WG6 meeting (136th MPEG meeting),？October 2021, Virtual.
ISO/IEC JTC1/SC29/WG6 N0105, "MPEG-I Immersive Audio？additional instructions for Test Supervisors and Test Subjects," Virtual,？October 2021, Virtual.
ISO/IEC JTC1/SC29/WG6 m55106, "Thoughts on evaluation？procedure for MPEG-I CfP," Virtual, October 2020..
ISO/IEC JTC1/SC29/WG6 N0084, "MPEG-I Immersive Audio Test？and Evaluation Procedures," Virtual, July 2021.？

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증