[논문]사용자 맞춤형 실감 음향 기술의 현황과 전망

김정훈; 권기수; 강태균; 김남수

사용자 맞춤형 실감 음향 기술의 현황과 전망
Current State of the Art and Prospect of User Centric- Realistic Audio Technologies 원문보기

방송공학회지 = Korea society broadcast engineers magazine, v.19 no.1, 2014년, pp.10 - 21

김정훈 (서울대학교) , 권기수 (서울대학교) , 강태균 (서울대학교) , 김남수 (서울대학교)

초록
AI-Helper

3D 산업의 발달과 함께 음원을 통해 현장에서 느낄 수 있는 입체감을 재현하는 실감 음향 기술에 대한 관심 또한 증가하고 있다. 정확한 실감 음향을 구현하기 위해서 헤드폰과 스피커 시스템을 이용한 연구가 활발하게 진행되고 있다. 특히 스피커를 이용하는 실감 음향 연구는 초다채널 스피커를 이용하여 물리적 음장 재현을 목표로 하는 방법과 소채널 스피커를 이용하여 사용자의 특성을 적용한 인지적 음장 재현을 목표로 하는 방법으로 나뉜다. 헤드폰과 스피커를 이용한 기존 연구들이 사용하는 기술들에 대해서 알아보고, 기존 기술의 장점과 단점에 대해서 분석해본다. 이를 통해 사용자 맞춤형 실감 음향 기술의 구현을 위한 연구 방향과 새롭게 적용할 수 있는 기술들에 제시하고자 한다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

실제로는 <그림 7>과 같은 방법을 적용 하면 가장 외각에 있는 파원들에 의해 가장자리 효과가 발생하고, 이로 인한 왜곡이 발생해서 <그림 6>의 음파와 다른 파동이 생성된다. 가장자리 효과에 의한 오차를 극복하기 위해 WFS는 K-H적분과 레일리 적분을 이용, 스피커로 구성된 닫힌 공간 안에 가상의 음파를 만드는 것을 목표로 한다[9]. K-H적 분을 이용하면 <그림 8>과 같이 내부에 음원이 존재 하지 않는 스피커로 구성된 폐영역에서 가상의 음장을 만들기 위해 각 스피커 배열이 재생해야하는 음파의 수식을 적분 형태로 구할 수 있다.
Ⅱ장에서는 앞서 설명한 각 기술들에 대해서 더 자세하게 설명할 것이다. 그리고 각 기술들을 이용해서 실제로 개발되고 있는 시스템들에 대해서 소개할 것이다. Ⅲ장에서는 설명한 각 기술들을 비교 분석할 것이다.
Vector Based Amplitude Panning (VBAP)[5], 앰비소닉(ambisonic), Wave Field Synthesis(WFS) 등의 기술들이 연구되고 있다[6]. 이 방법들은 가상의 위치에 있는 음원에서 재생되는 물리적인 음장과 동일한 모양의 가상 음장을 다수의 스피커 배열을 이용해서 만드는 것으로 실감 음향을 구현하는 것을 목표로 한다.
하지만 개개인에 최적화 되지 않기 때문에 각자가 느끼는 입체감에는 한계가 있을수 있다. 이를 극복하기 위한 사용자 맞춤형 시스템을 구성하기 위해서 HRTF와 크로스토크 제거 기술을 이용하는 시스템에 대해서 알아보았다. 가정환경에 적용하기 위해 스피커의 숫자가 줄어들었기 때문에 스윗 스팟이 좁아진다는 단점이 있다.
지금까지 실감 음향을 재현하는 기술들의 현황에 대해서 알아보았다.
스피커를 이용한 실감 음향 재현 기술에 대한 연구는 2가지 방향으로 진행되고 있다. 첫 번째로 10채널 이상의 초다채널을 스피커 시스템을 이용해서 물리적으로 정확한 음장을 구현하는 것을 목표로 하는 기술이 있다. 이러한 시스템을 제작하기 위해서 VBAP, 앰비소닉, WFS 등의 기술이 연구되고 있고 NHK 22.
초기의 크로스토크 제거에 관한 연구는 오디오의 전달 경로를 대칭적으로 가정하고 HRTF의 동일화를 통한 크로스 토크 제거를 목표로 하였다. 그 후의 연구에서는 개별적인 스피커로부터 청자의 각 귀까지의 오디오 전달 경로를 고려하였다.
소채널의 스피커 배치를 이용해서 실감 음향을 구현하는 방법은 초다채널 스피커 배치를 이용한 음장 구현 방법과는 접근 방법이 다르다. 초다채널 실감 음향 기술이 물리적으로 완벽한 음장을 재현 하는 것을 목적으로 한다면 소채널 실감 음향 기술은 사람의 청각 인지적 특성을 이용해서 10채널 이하의 채널에서 실감 음향을 구현하는 것을 목표로 한다.

제안 방법

초기의 크로스토크 제거에 관한 연구는 오디오의 전달 경로를 대칭적으로 가정하고 HRTF의 동일화를 통한 크로스 토크 제거를 목표로 하였다. 그 후의 연구에서는 개별적인 스피커로부터 청자의 각 귀까지의 오디오 전달 경로를 고려하였다. 이 때 크로스 토크가 이상적으로 제거될 경우 H_RR과 H_LL은 1이 되고 H_LR과 H_RL은 0이 된다[11].
특히 기존의 실감 음향 기술에 대한 연구와 더불어 음원 분리 및 인공 잔향 모델을 통한 공간 정보를 이용하는 연구가 더해진다면 사용자 맞춤형 실감 음향 컨텐츠 개발에 크게 활용될 수 있을 것으로 보인다. 이를 위해서 사용자에 맞는 HRTF 데이터 베이스 구축과 더불어 크로스토크 제거를 이용한 맞춤형 가상 음원 생성 기술 그리고 RIR과 음원 분리 기술 등이 개발돼야 한다는 것을 제시했다. 이러한 기술 개발을 통해 개개인의 환경과 취향에 맞는 사용자 맞춤형 실감 음향 재현 기술 개발이 가능해질 것으로 전망한다.
헤드폰을 이용한 기술의 한계점을 극복하기 위해서 스피커를 이용하여 실감 음향을 재현하는 기술이 제안되고 있다. 이를 크게 두 가지 방향으로 구분해서 알아보았다. 앞서 살펴 본 초다채널 스피커를 이용하는 방법은 넓은 스윗 스팟을 만들 수 있다는 장점이 있다.
실감 음향을 재현하는 방식은 다양하게 연구되고 있다. 헤드폰을 이용해 불필요한 간섭을 최소화 한후 HRTF를 적용시키는 방법, 초다채널의 스피커 배치를 이용하는 VBAP, Ambisonic, WFS 등 물리적으로 파동의 형태를 구현하고자 하는 방법, 그리고 초다채널 스피커를 이용하는 기술에 비해서 적은 수의 스피커를 이용해서 HRTF, 크로스토크 제거 등을 이용해서 인지적으로 실감 음향을 재현하는 기술 등에 대해서 알아보았다. 이렇듯 다양한 환경과 상황에 맞는 실감 음향 재현 기술들이 제시되고 있다.

성능/효과

1채널 등의 다양한 다채널 서라운드 시스템이 개발, 상용화되고 있고 손쉽게 서라운드 음향을 제공하는 사운드바 기술이 개발돼서 많은 사람이 편하게 입체 음향을 접할 수 있는 기회를 제공해주고 있다[1]. 이와 더불어 블루레이 디스크와 같이 7.1 채널 이상의 다채널 오디오를 지원하는 콘텐츠의 생산 또한 늘어나고 있는 것으로 나타났다.

후속연구

HRTF, 크로스토크 제거, RIR, 음원 분리 등의 기술을 응용한 실감 음향의 구현이 이루어진다면 사용자가 실감 음향을 접할 수 있는 기회가 증가할 것이다. 또한 일반 가정에서도 쉽게 실감 음향을 접할 수 있는 환경을 조성함으로써 더 많은 이들이 쉽게 실감 음향을 경험하고 양질의 문화 컨텐츠를 즐길 수 있는 기회를 제공하게 될 것이고 이는 곧 실감 음향 기술의 대중화로 이어질 것이다.
음원 분리 기술의 적용을 통해서 각 악기의 위치를 사용자가 원하는 대로 조절할 수 있다. 개인의 취향에 따라 악기의 위치를 조절하는 등 사용자의 기호에 맞춘 실감 음향 기술 개발도 가능할 것으로 여겨진다. 뿐만 아니라 대편성의 클래식 협주곡 등에서 각 악기의 위치에 대한 정보를 미리 입력해 놓는다면 실제 콘서트 장에 있는 것과 같은 실감 음향을 경험할 수 있을 것이다.
따라서 HRTF 정보를 직접 측정하지 않고 사용자의 외향 특성 등의 물리적 데이터를 이용해서 추정할 수있는 기술의 개발이 필수적이다. 다수의 HRTF 정보와 추정에 필요한 요소들의 측정치를 데이터베이스로 구축한다면, 미리 구성된 데이터베이스를 토대로 사용자의 HRTF를 추정할 수 있는 기술을 개발하는 것도 가능할 것으로 보인다. 또한 사용자가스피커 환경을 통해 정확한 실감 음향을 경험할 수있도록 만들어 주는 크로스토크 제거 기술에 대한 연구가 이루어져야한다.
특히 앞서 설명한 2채널에 적용되는 크로스토크를 제거를 실감 음향에 적용하기 위해서 다채널 스피커 환경에서의 크로스토크 제거 기술의 개발이 필수적이다. 따라서 2채널에 대한 크로스토크 제거 기술을 먼저 구현한 후에 4~8채널까지 적용할 수 있는 다채널 크로스토크 제거 기술의 개발까지 이루어져야 완전한 실감 음향 기술의 개발이 가능할 것으로 보인다.
다수의 HRTF 정보와 추정에 필요한 요소들의 측정치를 데이터베이스로 구축한다면, 미리 구성된 데이터베이스를 토대로 사용자의 HRTF를 추정할 수 있는 기술을 개발하는 것도 가능할 것으로 보인다. 또한 사용자가스피커 환경을 통해 정확한 실감 음향을 경험할 수있도록 만들어 주는 크로스토크 제거 기술에 대한 연구가 이루어져야한다. 특히 앞서 설명한 2채널에 적용되는 크로스토크를 제거를 실감 음향에 적용하기 위해서 다채널 스피커 환경에서의 크로스토크 제거 기술의 개발이 필수적이다.
이와 함께 양질의 3D 멀티미디어 콘텐츠에 대한 관심과 콘텐츠의 공급량이 증가하는 추세이다. 이러한 3D 입체영상 디스플레이의 대중화와 맞물려서 3D 입체 음향 오디오 기술에 대한 관심도 증가할 것으로 예상된다. 2채널 혹은 2.
이를 위해서 사용자에 맞는 HRTF 데이터 베이스 구축과 더불어 크로스토크 제거를 이용한 맞춤형 가상 음원 생성 기술 그리고 RIR과 음원 분리 기술 등이 개발돼야 한다는 것을 제시했다. 이러한 기술 개발을 통해 개개인의 환경과 취향에 맞는 사용자 맞춤형 실감 음향 재현 기술 개발이 가능해질 것으로 전망한다.
뿐만 아니라 대편성의 클래식 협주곡 등에서 각 악기의 위치에 대한 정보를 미리 입력해 놓는다면 실제 콘서트 장에 있는 것과 같은 실감 음향을 경험할 수 있을 것이다. 이러한 기술들의 적용을 통해 궁극적으로는 사용자 개개인이 원하는 방식으로 음원을 조절하는 실감 음향 시스템을 개발할 수 있을 것으로 전망된다.
최근 3D TV 기술의 발달로 영화관에서만 감상하던 3D 입채 영상을 가정에서 경험할 수 있게 된 것처럼, 소 채널 실감 음향 기술에 대한 연구를 통해 가정 내에서 실감 음향을 경험할 수 있는 기회를 폭넓게 제공하게 될 수 있을 것으로 전망한다. 이러한 트렌드를 선도하기 위해서는 한발 앞서서 소채널 실감 음향 기술 개발에 힘을 써야 할 것으로 보인다. 특히 기존의 실감 음향 기술에 대한 연구와 더불어 음원 분리 및 인공 잔향 모델을 통한 공간 정보를 이용하는 연구가 더해진다면 사용자 맞춤형 실감 음향 컨텐츠 개발에 크게 활용될 수 있을 것으로 보인다.
또한 일반 가정에서도 쉽게 실감 음향을 접할 수 있는 환경을 조성함으로써 더 많은 이들이 쉽게 실감 음향을 경험하고 양질의 문화 컨텐츠를 즐길 수 있는 기회를 제공하게 될 것이고 이는 곧 실감 음향 기술의 대중화로 이어질 것이다. 이미 수년전 부터 초다채널 스피커를 이용한 실감 음향 기술을 실현하는 시스템들이 개발되고 표준 규격에 대한 논의가 진행 되고 있는 상황에서 이러한 기술 발전이 이루어진다면 실감 음향에 관련된 산업의 규모는 현재보다 비약적으로 발전할 수 있을 것으로 예상된다.
실감 음향 기술이 산업적으로 큰 영향을 끼치기 위해서는 극장 등의 환경에서 실감 음향을 경험하는 것도 중요하지만 일상적인 환경에서 실감 음향을 경험할 수 있는 기술 개발이 필요하다. 최근 3D TV 기술의 발달로 영화관에서만 감상하던 3D 입채 영상을 가정에서 경험할 수 있게 된 것처럼, 소 채널 실감 음향 기술에 대한 연구를 통해 가정 내에서 실감 음향을 경험할 수 있는 기회를 폭넓게 제공하게 될 수 있을 것으로 전망한다. 이러한 트렌드를 선도하기 위해서는 한발 앞서서 소채널 실감 음향 기술 개발에 힘을 써야 할 것으로 보인다.
이러한 트렌드를 선도하기 위해서는 한발 앞서서 소채널 실감 음향 기술 개발에 힘을 써야 할 것으로 보인다. 특히 기존의 실감 음향 기술에 대한 연구와 더불어 음원 분리 및 인공 잔향 모델을 통한 공간 정보를 이용하는 연구가 더해진다면 사용자 맞춤형 실감 음향 컨텐츠 개발에 크게 활용될 수 있을 것으로 보인다. 이를 위해서 사용자에 맞는 HRTF 데이터 베이스 구축과 더불어 크로스토크 제거를 이용한 맞춤형 가상 음원 생성 기술 그리고 RIR과 음원 분리 기술 등이 개발돼야 한다는 것을 제시했다.

질의응답

핵심어	질문	논문에서 추출한 답변
	스피커를 이용하는 기술에는 어떤 것들이 있는가?	실감 음향 기술은 크게 나누어 헤드폰을 이용하는 기술과 스피커를 이용하는 기술로 나눌 수 있다. 여기서 더 나아가 스피커를 이용하는 기술은 10.2채널, 22.2채널 등의 초다채널 스피커 배치를 이용 하여 물리적으로 음장을 재현해서 가상의 실감 음향을 구현하는 기술[2],[3]과 10채널 미만의 스피커를 사용해서 인지적으로 실감 음향을 구현하는 기술이 있다[4].
	실감 음향 기술은 어떻게 나뉘는가?	실감 음향 기술은 크게 나누어 헤드폰을 이용하는 기술과 스피커를 이용하는 기술로 나눌 수 있다. 여기서 더 나아가 스피커를 이용하는 기술은 10.
	초다채널 스피커 배치를 이용해서 실감 음향을 구현하는 방법에는 어떤 기술들이 연구 중인가?	초다채널 스피커 배치를 이용해서 실감 음향을 구현하는 방법은 최근 가장 활발하게 연구되고 있는 분야이다. Vector Based Amplitude Panning (VBAP)[5], 앰비소닉(ambisonic), Wave Field Synthesis(WFS) 등의 기술들이 연구되고 있다[6]. 이 방법들은 가상의 위치에 있는 음원에서 재생되는 물리적인 음장과 동일한 모양의 가상 음장을 다수의 스피커 배열을 이용해서 만드는 것으로 실감 음향을 구현하는 것을 목표로 한다.

참고문헌 (13)

Quixel Research, "Consumers heard the message and sound bar sales soared in 2012," Feb. 2013.
서정일, 이용주, 강경옥, 이석필, "멀티채널 사운드의 역사와 기술개발 동향", 한국방송공학회지, 제 16권, 제 4호, pp. 432-443, 2011년 11월.
서정일, 강경옥, "실감 오디오 방송을 위한 초다채널 오디오 시스템 및 표준화 동향", 한국전자통신연구원 전자통신동향분석, 제 27 권, 제 6호, pp. 49-56, 2012년 6월.
M. Vorlander, Auralization -fundamentals of acoustics, modelling, simulation, algorithms, and acoustic virtual reality(RWTH edition), Springer Verlag, 2007.
V. Pulkki, "Uniform spreading of amplitude panned virtual sources," Applications of Signal Processing to Audio and Acoustics, IEEE Workshop on, Oct. 1999.
J. Ahrens, S. Spors, and H. Wierstorf, "Comparison of higher order ambisonics and wave field synthesis with respect to spatial discretization artifacts in time domain," in Proc. AES 40th International Conference, Oct. 2010.
T. Nishino, N. Inoue, K. Takeda, and F. Itakura, "Estimation of hrtfs on the horizontal plane using physical features," Applied Acoustics, Vol. 68, No. 8, pp. 897-908, Aug. 2007.

상세보기
W. C. Samuel, E. G. Anne, B. Jonas, and N. Xiang, "Using ambisonics to reconstruct measured soundfields," in Proc. AES 135th Convention, Oct. 2013.
S. Koyama, Y. Hiwasake, K. Furuya, and Y. Haneda. "Inverse wave propagation in wave field synthesis," in Proc. AES 40th International Conference, Oct. 2010.
J. I. Seo, J. H. Yoo, K. O. Kang, and F. M. Fazi, "21-channel surround system based on physical reconstruction of a three dimensional target sound field," in Proc. AES 128th Convention, May 2010.
J. O. Jungmann, R. Mazur, M. Kallinger, T. Meim, and A. Mertins. "Combined acoustic mimo channel crosstalk cancellation and room impulse response reshaping," Audio, Speech, and Language Processing, IEEE Transactions on, Vol 20, No. 6, pp. 1829-1842, Aug. 2012.

상세보기
V. Valimaki, J. D. Parker, L. Savioja, J. O. Smith, and J. S. Abel, "Fifty years of artificial reverberation," Audio, Speech, and Language Processing, IEEE Transactions on, Vol. 20, No. 5, pp. 1421-1448, July 2012.

상세보기
V. Tuomas, "Monaural sound source separation by nonnegative matrix factorization with temporal continuity and sparseness criteria," Audio, Speech, and Language Processing, IEEE Transactions on, Vol. 15, No. 3, pp. 1066-1074, Mar. 2007.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증