[논문]MPEG-H 3D 오디오 바이노럴 렌더링 기술 표준화

박영철; 이태규; 윤대희

문제 정의

본 기고에서는 MPEG-H 3D 오디오의 바이노럴 렌더링 기술이 표준화 되는 과정과 현황을 먼저 설명하고, MPEG-H 3D 오디오의 바이노럴 렌더링의 기술적 특징을 대략적으로 살펴보고자 한다.
UHD, HMD 등 많은 고 몰입도 멀티미디어 시스템의 등장으로 사람이 가상현실을 일상적으로 사용하는 날이 멀지 않았다. 본 기고에서는 이러한 고 몰입도 멀티미디어 시스템에서 사용될 수 있는 MPEG-H 바이노럴 렌더링 기술을 소개하였다. 이 기술은 높은 복잡도를 줄이기 위하여 많은 새로운 접근법들을 채용함으로써 고효율의 바이노럴 렌더링 시스템을 구성할 수 있도록 한다.
RM을 선정하기 위하여 크게 네가지의 청음 평가를 수행하였는데, 첫째는 코덱의 성능을 평가하기 위한 3개의 비트레이트에 서의 음질 테스트, 둘째는 3D 오디오의 경우 다수의 사용자가 사용할 가능성이 높기 때문에 Sweet-spot이 아닌 지점에서도 충분한 퀄리티의 입체음향을 제공하는지에 대한 Off-sweet spot에서의 퀄리티 측정, 세번째는 모바일 환경을 고려한 헤드폰에서의 바이노럴 렌더링 테스트, 마지막으로는 스피커가 정해진 위치에 배치되어 있지 않을 때에도 충분한 입체 음향을 제공하는지에 대한 테스트 등이 이루어 졌다. 주목할 점은 CO(Channel + Object) 기반 및 HOA의 Immersive 오디오 컨텐츠를 헤드폰에서 효과적으로 재생하기 위한 기술로써 바이노럴 렌더링이 MPEG-H 표준의 범위에 포함하게 되었다는 것이다.

제안 방법

그림 1은 MPEG-H 3D 오디오에 대한 이해를 돕기 위한 개념도이다. BRIR을 시간-주파수 그리드로 표현했을때 각 그리드마다 서로 다른 세가지 기술, VOFF(Variable Order Filtering in Frequency-domain), SFR(Sparse Frequency-domain Reverberator), 그리고 QTDL(QMF Domain Tapped-Delay line) 중 하나로 처리한다.
MPEG-H 3D 오디오는 세가지 입력 신호, 즉 채널 기반 오디오 신호, 객체 기반 오디오 신호, 그리고 HOA(Highorder Ambisionic) 기반 신호를 지원하도록 되어 있다. MPEH-H 3D 오디오는 103차 회의에서 CfP(Call for Proposal)[4]를 발행하여 105차 미팅에서 채택된 표준 기술인 RM(Reference Model)을 선정하였다. RM을 선정하기 위하여 크게 네가지의 청음 평가를 수행하였는데, 첫째는 코덱의 성능을 평가하기 위한 3개의 비트레이트에 서의 음질 테스트, 둘째는 3D 오디오의 경우 다수의 사용자가 사용할 가능성이 높기 때문에 Sweet-spot이 아닌 지점에서도 충분한 퀄리티의 입체음향을 제공하는지에 대한 Off-sweet spot에서의 퀄리티 측정, 세번째는 모바일 환경을 고려한 헤드폰에서의 바이노럴 렌더링 테스트, 마지막으로는 스피커가 정해진 위치에 배치되어 있지 않을 때에도 충분한 입체 음향을 제공하는지에 대한 테스트 등이 이루어 졌다.
MPEH-H 3D 오디오는 103차 회의에서 CfP(Call for Proposal)[4]를 발행하여 105차 미팅에서 채택된 표준 기술인 RM(Reference Model)을 선정하였다. RM을 선정하기 위하여 크게 네가지의 청음 평가를 수행하였는데, 첫째는 코덱의 성능을 평가하기 위한 3개의 비트레이트에 서의 음질 테스트, 둘째는 3D 오디오의 경우 다수의 사용자가 사용할 가능성이 높기 때문에 Sweet-spot이 아닌 지점에서도 충분한 퀄리티의 입체음향을 제공하는지에 대한 Off-sweet spot에서의 퀄리티 측정, 세번째는 모바일 환경을 고려한 헤드폰에서의 바이노럴 렌더링 테스트, 마지막으로는 스피커가 정해진 위치에 배치되어 있지 않을 때에도 충분한 입체 음향을 제공하는지에 대한 테스트 등이 이루어 졌다. 주목할 점은 CO(Channel + Object) 기반 및 HOA의 Immersive 오디오 컨텐츠를 헤드폰에서 효과적으로 재생하기 위한 기술로써 바이노럴 렌더링이 MPEG-H 표준의 범위에 포함하게 되었다는 것이다.
바이노럴 렌더링 CE의 경우 105차 회의와 106차 회의 사이에 추가적인 참여 의사를 밝힌 기관의 참여가 허가되었으며, ETRI(한국), 연세대-윌러스표준기술연구소 (한국), Fraunhofer IIS(독일), Orange Lab(프랑스), Qualcomm(미국), Huawei(중국)의 6개 기관이 참가하였다. 각 기관에서 제출한 기술의 성능 검증을 위하여 위 6개 기관 외에 삼성전자(한국)가 cross-check site로서 추가되어 총 7개의 기관에서 음질 평가 실험을 수행하였다. 음질 평가 실험은 CfP의 내용과 같은 방식으로 RM0를 이용하여 512kbps로 부호화된 음원을 사용하여, 6개 기관이 각자가 제안한 시스템을 이용하여 얻은 바이노럴 오디오 신호를 제출하고, 상호간 청음평가를 수행하는 형태로 진행되었다.
따라서 바이노럴 렌더링 기술은 성능 뿐만 아니라 연산량 또한 매우 중요한 요소이며, 이 또한 바이노럴 렌더링 기술을 채택하는데 큰 요소로 논의되었다. 그러나 입력 신호의 도메인, 연산량 추정법 등에 대하여 매우 치열한 토론이 계속 되었으며, 마지막으로 다양한 BRIR에 대하여 적용 가능한 기술인지를 검증해야된다는 주장에 의하여 보다 길거나 짧은 BRIR에 대하여 107차 회의까지 검증하기로 하였다.
각 기관에서 제출한 기술의 성능 검증을 위하여 위 6개 기관 외에 삼성전자(한국)가 cross-check site로서 추가되어 총 7개의 기관에서 음질 평가 실험을 수행하였다. 음질 평가 실험은 CfP의 내용과 같은 방식으로 RM0를 이용하여 512kbps로 부호화된 음원을 사용하여, 6개 기관이 각자가 제안한 시스템을 이용하여 얻은 바이노럴 오디오 신호를 제출하고, 상호간 청음평가를 수행하는 형태로 진행되었다. 실험 결과 Qualcomm을 제외한 5개 제안 시스템의 취득 점수의 신뢰구간이 서로 겹친 상황에서 평균값을 기준으로 연세대-윌러스 시스템이 가장 높은 점수를 얻었고, 그 다음 ETRI, Orange 등의 순위를 가졌다.
본 기고에서는 이러한 고 몰입도 멀티미디어 시스템에서 사용될 수 있는 MPEG-H 바이노럴 렌더링 기술을 소개하였다. 이 기술은 높은 복잡도를 줄이기 위하여 많은 새로운 접근법들을 채용함으로써 고효율의 바이노럴 렌더링 시스템을 구성할 수 있도록 한다. 그러나 아직 머리 전달 함수의 개인화나 고음질 컨텐츠의 부족등의 문제는 해결되지 못한 채로 남아있다.

대상 데이터

이를 바탕으로 106차 회의까지 바이노럴 렌더링 CE가 진행되었다. 바이노럴 렌더링 CE의 경우 105차 회의와 106차 회의 사이에 추가적인 참여 의사를 밝힌 기관의 참여가 허가되었으며, ETRI(한국), 연세대-윌러스표준기술연구소 (한국), Fraunhofer IIS(독일), Orange Lab(프랑스), Qualcomm(미국), Huawei(중국)의 6개 기관이 참가하였다. 각 기관에서 제출한 기술의 성능 검증을 위하여 위 6개 기관 외에 삼성전자(한국)가 cross-check site로서 추가되어 총 7개의 기관에서 음질 평가 실험을 수행하였다.

성능/효과

RM이 선정된 105차 회의에서 전자통신연구원(ETRI) 에서 제출한 바이노럴 렌더링 기술이 연산량에 비하여 매우 우수한 성능을 보임을 확인하게 되었다. 이를 바탕으로 106차 회의까지 바이노럴 렌더링 CE가 진행되었다.
음질 평가 실험은 CfP의 내용과 같은 방식으로 RM0를 이용하여 512kbps로 부호화된 음원을 사용하여, 6개 기관이 각자가 제안한 시스템을 이용하여 얻은 바이노럴 오디오 신호를 제출하고, 상호간 청음평가를 수행하는 형태로 진행되었다. 실험 결과 Qualcomm을 제외한 5개 제안 시스템의 취득 점수의 신뢰구간이 서로 겹친 상황에서 평균값을 기준으로 연세대-윌러스 시스템이 가장 높은 점수를 얻었고, 그 다음 ETRI, Orange 등의 순위를 가졌다. 바이노럴 렌더링 기술은 모바일 환경에서 가장 빈번하게 사용 되기 때문에 연산량에 매우 민감하다.
107차 회의에서는 연세대/에트리/윌러스가 제안한 기술이 세가지 BRIR에 대하여 음질 및 연산량에서 우수하며 기존의 MPEG 표준 기술를 재사용 하는 CfP의 철학과 선정된 RM 디코더와의 조화, 마지막으로 기술의 복잡도가 상대적으로 낮다는 등을 근거로 주파수 영역 바이노럴 렌더링 기술로 채택되었다. 연세대/에트리/윌러스가 제안한 구조는 프라운호퍼 연구소의 이공잔향 기술을 채용하였으며 계산량 면에서 다른 기술에 비해 매우 효율적인 구조를 가진다.

핵심어	질문	논문에서 추출한 답변
	BRIR의 특징은 무엇인가?	이를 BRIR(Binaural Room Impulse Response)이라 부른다. 그러나 BRIR은 일반적으로 HRIR(Head Related Impulse Response, HRTF의 시간영역 신호)에 비하여 상당히 긴길이를 가지기 때문에, 많은 저장용량과 함께 높은 연산 량이 요구된다. UHD나 HMD에서 재생되는 오디오 콘텐츠가 충분한 몰입감을 주지 못하는 주요한 원인이 이러한 높은 연산량과 머리 전달 함수의 개인적 차이 때문 이라고 할 수 있다.
	바이노럴 렌더링은 어떤 과정을 의미하는가?	머리 전달 함수(Head Related Transfer Function, HRTF)은 특정 3차원 공간상의 위치 에서부터 사람의 두 귀까지의 전달함수로서 사람이 어떻게 3차원 공간상에서 소리의 방향을 인지하는데 사용 되는 단서들은 포함하고 있다[3]. 머리 전달 함수를 사용하여 모노(mono) 오디오 신호를 필터링하면 바이노럴 (binaural) 신호가 얻어지고, 이를 헤드폰 또는 이어폰으로 재생하게 될 경우 원하는 위치에 음상이 정위된다. 이프로세스를 바이노럴 렌더링(Binaural Rendering)이라고 한다.
	CE(Core Experiment)는 무엇인가?	MPEG 오디오 표준의 경우 CE(Core Experiment)라는 과정을 거쳐 RM 코덱의 성능을 발전 시켜왔다. CE란 RM 선정 이후 RM을 기반으로 새롭게 제안된 성능을 개선하거나 새로운 기능을 제공하는 기술을 추가 또는 삽입함으로써 선정된 RM의 성능을 개선하는 과정이다. 당연히 CE 과정에서 새롭게 제안된 기술에 대하여 해당 기술의 당위성을 검증하고 성능을 측정 및 비교하는 과정을 거친다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

MPEG-H 3D 오디오 바이노럴 렌더링 기술 표준화 원문보기

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

MPEG-H 3D 오디오 바이노럴 렌더링 기술 표준화 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

박영철 (87) 윤대희 (147)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper