본 논문에서는 헤드폰 재생 환경에서의 머리 밖 음상정위를 위한 음상 외재화(externalization) 기법을 제안한다. 제안된 기법에서는 기존의 머리전달함수(HRTF) 또는 초기 반사음 등을 이용한 외재화 기법들에서 발생하는 정위된 음성의 음색 왜곡을 줄이는 것에 그 초점을 맞춘다. 즉, 제안된 음상 외재화 기법은 모델 기반의 HRTF와 잔향 기법을 결합하고, 전방 음상 외재화의 성능 향상을 위하여 decorrelation 및 spectral notch 필터링 기법 등을 포함한다. 제안된 음상 외재화 기법의 성능을 평가하기 위하여 백색잡음, 효과음, 음성 및 오디오 등 다양한 장르의 음원을 이용하여, 평가자의 주관에 의한 청취평가를 수행하였다. 제안된 음상 외재화 알고리즘은 성능평가 결과에서 기존의 방법에 비해 더 좋은 외재화 거리 성능을 보였다.
본 논문에서는 헤드폰 재생 환경에서의 머리 밖 음상정위를 위한 음상 외재화(externalization) 기법을 제안한다. 제안된 기법에서는 기존의 머리전달함수(HRTF) 또는 초기 반사음 등을 이용한 외재화 기법들에서 발생하는 정위된 음성의 음색 왜곡을 줄이는 것에 그 초점을 맞춘다. 즉, 제안된 음상 외재화 기법은 모델 기반의 HRTF와 잔향 기법을 결합하고, 전방 음상 외재화의 성능 향상을 위하여 decorrelation 및 spectral notch 필터링 기법 등을 포함한다. 제안된 음상 외재화 기법의 성능을 평가하기 위하여 백색잡음, 효과음, 음성 및 오디오 등 다양한 장르의 음원을 이용하여, 평가자의 주관에 의한 청취평가를 수행하였다. 제안된 음상 외재화 알고리즘은 성능평가 결과에서 기존의 방법에 비해 더 좋은 외재화 거리 성능을 보였다.
In this paper, a sound externalization method is proposed for out-of-the-head localization in a headphone listening environment. In order to reduce timbre distortion by the conventional methods using a measured a head-related transfer function (HRTF) or early reflections, the proposed method integra...
In this paper, a sound externalization method is proposed for out-of-the-head localization in a headphone listening environment. In order to reduce timbre distortion by the conventional methods using a measured a head-related transfer function (HRTF) or early reflections, the proposed method integrates a model-based HRTF with reverberation. In addition, for improving frontal externalization performance, techniques such as decorrelation and spectral notch filtering are included. To evaluate the performance of the proposed externalization method, subjective listening tests are conducted by using different types of sound sources such as white noise, sound effects, speech, and music. It is shown from the test results that the proposed externalization method can localize sound sources farther away from out of the head than the conventional method.
In this paper, a sound externalization method is proposed for out-of-the-head localization in a headphone listening environment. In order to reduce timbre distortion by the conventional methods using a measured a head-related transfer function (HRTF) or early reflections, the proposed method integrates a model-based HRTF with reverberation. In addition, for improving frontal externalization performance, techniques such as decorrelation and spectral notch filtering are included. To evaluate the performance of the proposed externalization method, subjective listening tests are conducted by using different types of sound sources such as white noise, sound effects, speech, and music. It is shown from the test results that the proposed externalization method can localize sound sources farther away from out of the head than the conventional method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서, 음상을 효과적으로 외재화시키기 위해서는 이러한 잔향 성분을 부가시켜주는 과정이 반드시 필요하다. 따라서 본 논문에서는 머리전달함수 모델을 통해 방향 정위된 음원에 대해 거리감을 부여하여 음상을 외부에 맺히도록 하기 위하여 image method®】를 이용하여 인공 잔향 효과를 생성한다. 즉, 머리전달함수에 의해 방향정보가 부가된 음원에 image method를 이용하여 생성한 룸 임펄스 응답을 처리함으로써 직접음과 함께 인공적으로 생성한 잔향이 더해지게 된다.
제안한다. 또한 전방 음상 외재화 성능을 향상시키기 위하여 decorrelation 및 spectral notch 특성을 추가적으로 적용한 외재화 알고리즘을 제안한다.
본 논문에서는 수학적으로 모델링된 HRTF 모델 및 image method 기반 인공잔향을 오디오에 추가하여 음상을 사용자의 머리 밖에 맺히도록 하는 외재화 알고리즘을 제안한다. 또한 전방 음상 외재화 성능을 향상시키기 위하여 decorrelation 및 spectral notch 특성을 추가적으로 적용한 외재화 알고리즘을 제안한다.
본 논문에서는 헤드폰 기반 청취 환경에서의 실감 오디오 재현을 위한 머리전달함수 모델 및 image method 기반 외재화 알고리즘을 제안하였다. 먼저 수학적으로 모델링된 머리전달함수를 이용하여 음상의 방향을 정위시키고, image method를 이용해 인공 잔향을 생성 및 적용시킴으로써 거리감 및 공간감을 부여하도록 설계하였고, 각 모듈에 대하여 생성 파라메터 최적화를 수행하였다.
제안 방법
따라서 본 논문에서 제안된 알고리즘에서는 고도가 달라짐에 따라 HRTF 스펙트럼 상에 나타나는 spectral notch 위치를 그림 4와 같이 실제 subject로부터 측정한 CIPIC HRTF DB따3로부터 추출하고 이를 적용함으로써 전방 음상 외재화 성능 개선을 도모한다. Notch 위치에서의 극히 개인적인 특성을 배제하기 위하여 CIPIC HRTF DB에서 제공하는 전체 45명 (좌/우 귀에 해당하는 총 1350 개 데이터)의 subject로부터 측정된 모든 HRTF에 대해 각 고도별 평균 스펙트럼을 도출한다. 이를 통해 개인적인 신체차이에 의한 특성을 배제하고 청취자들의 평균적인 신체 특성에 따라 발생하는 notch 특성을 적용하는 것이 가능하다.
이를 통해 개인적인 신체차이에 의한 특성을 배제하고 청취자들의 평균적인 신체 특성에 따라 발생하는 notch 특성을 적용하는 것이 가능하다. 따라서 본 논문에서는 정면에 음상을 정위시키고자 하는 경우 CIPIC HRTF로부터 추출한 정면 방위각에 대한 평균 notch 특성을 적용한다. 본 논문에서 추출된 notch 위치는 9, 474 Hz, 14, 470 Hz, 그리고 17, 743 Hz이다.
그림 2에서 보는 바와 같이 머리전달함수 모델은 청취자의 머리 크기 및 음원의 방위각, 고도를 입력받게 된디". 또한 본 논문에서는 음상정위 방향에 따라 각각 다른 구조를 적용한다. 즉, 측면 음상정위의 경우에는 head model 및 pima model의 순서로 머리전달함수 모델을 적용하며, 정면 음상 정 위의 경우에는 head model 및 pinna mod사의 적용 순서가 바뀐 구조적 머리전달함수 모델을 적용한다.
기반 외재화 알고리즘을 제안하였다. 먼저 수학적으로 모델링된 머리전달함수를 이용하여 음상의 방향을 정위시키고, image method를 이용해 인공 잔향을 생성 및 적용시킴으로써 거리감 및 공간감을 부여하도록 설계하였고, 각 모듈에 대하여 생성 파라메터 최적화를 수행하였다. 추가적으로 외재화 알고리즘의 전방 음상 외재화 성능을 향상시키기 위하여, decorrelation 및 setral notch 필터링을 적용하였다.
외재화 거리에 대한 성능평가 과정은 다음과 같다. 먼저 시험자는 청취자에게 내재화된 효과와 외재화 효과를 인지시키기 위하여 동일한 원음에 대하여 헤드폰 및 lm 거리만큼 떨어진 스피커를 통해 재생되는 소리를 들려준다. 다음으로 각 음원에 대하여 원음 및 외재화 알고리즘을 처리한 음원을 각각 들려준 후 그림 7과 같이 음원이 정위되는 위치를 청취자가 직접 가리키도록 한다.
본 논문에서 제안된 음상 외재화 알고리즘의 성능 검증을 위하여 실제 음상 거리 측정을 통한 외재화 거리에 대한 성능평가를 수행하였다. 외재화 거리에 대한 성능평가 과정은 다음과 같다.
음상을 정면(0° 방위각)에 정위시키고자 하는 경우 정면 음상정위 성능향상을 위하여 HRTF로 처리한 출력신호에 대해 d«:orrelation 및 mixii車을 수행하고, 소리가 정면 음상정위 시 발생하는 spectral notch 특성을 적용하기 위한 notch 필터를 적용하였다. 즉, 정면 음상 정 위의 경우, HRTF 모델과의 convolution 과정을 통해 음상 정 위가 수행된 출력 신호에 대해 decorrelation 필터로 convolution 을 수행한다.
이러한 현상을 보완하기 위하여 본 논문에서는 그림 3과 같이 좌/우 신호를 decorrelation시킴으로써 상호상관도의 변화 효과를 얻는다. 즉, 상호상관도에 따른 인지 단서를 음상 외재화에 적용함으로써 전방 외재화 성능 향상을 도모함과 동시에, 특정 음원으로부터 양 귀로 소리가 전달될 때 잔향 등의 청취 공간 특성에 의해서 좌/우 채널 신호간의 상호상관도가 떨어지는 효과를 모델링할 수 있다.
청취자가 가리킨 지점에 대하여 시험자는 청취자의 머리 중심으로 부터의 거리를 직접 측정하고 이에 대한 통계를 통해 음상 외 재화 거리 성능을 평가하는 방법을 수행하였다的. 이를 위하여 백색잡음, 효과음, 음성, 음악 음원을 가지고 0°, 30°, 60°, 그리고 90° 각각에 대해 외재화 거리에 대한 성능평가를 실시하였다. 본 평가를 위하여 20대의 청각 장애가 없는 16명의 청취자가 실험에 참여하였으며, 헤드폰은 AKG 사의 K240이 실험에 사용되었다.
즉, 정면 음상 정 위의 경우, HRTF 모델과의 convolution 과정을 통해 음상 정 위가 수행된 출력 신호에 대해 decorrelation 필터로 convolution 을 수행한다. 이를 통해 얻은 decorrelation된 신호와 decorrelation 필터 입력 신호를 mixing함으로써 좌/우 채널이 상호상관도가 저하된 스테레오 신호를 얻게 되고, 각 신호에 대해 image method를 통해 얻은 공간 임펄스 응답을 부가시켜 준다. 최종적으로, 공간 임펄스 응답이 부가된 출력신호에 대하여 spectral notch를 생성하기 위해 그림 6과 같이 설계된 notch 필터와 convolution을 수행함으로써, 정면 음상 외재화 성능이 개선된 신호를 최종적으로 얻을 수 있었다.
다음으로 각 음원에 대하여 원음 및 외재화 알고리즘을 처리한 음원을 각각 들려준 후 그림 7과 같이 음원이 정위되는 위치를 청취자가 직접 가리키도록 한다. 청취자가 가리킨 지점에 대하여 시험자는 청취자의 머리 중심으로 부터의 거리를 직접 측정하고 이에 대한 통계를 통해 음상 외 재화 거리 성능을 평가하는 방법을 수행하였다的. 이를 위하여 백색잡음, 효과음, 음성, 음악 음원을 가지고 0°, 30°, 60°, 그리고 90° 각각에 대해 외재화 거리에 대한 성능평가를 실시하였다.
먼저 수학적으로 모델링된 머리전달함수를 이용하여 음상의 방향을 정위시키고, image method를 이용해 인공 잔향을 생성 및 적용시킴으로써 거리감 및 공간감을 부여하도록 설계하였고, 각 모듈에 대하여 생성 파라메터 최적화를 수행하였다. 추가적으로 외재화 알고리즘의 전방 음상 외재화 성능을 향상시키기 위하여, decorrelation 및 setral notch 필터링을 적용하였다. 외재화 거리 성능의 주관적 청취평가를 통해, 제안된 방법이 기존의 방식에 비해 높은 외재화 거리 성능을 보인다는 것을 알 수 있었다.
대상 데이터
2절에서 기술한 바와 같이 음상 정위된 음원에 대하여 공간감 및 거리감 부여를 통해 음상을 외재화 시키기 위하여 잔향 필터를 통과시킨다. 본 논문에 사용된 잔향은 20mx2Qmx3m 크기의 공간에서 음원이 10皿 18m, 1.5m, 왼쪽 마이크 및 오른쪽 마이크가 9.8m, 10m, 1.5m 지점 및 10.2m, 10m, 1.5m에 위치하며, 반사음 차수와 반사 계수는 각각 24와 0.6인 환경을 가정하여 생성하였다.
따라서 본 논문에서는 정면에 음상을 정위시키고자 하는 경우 CIPIC HRTF로부터 추출한 정면 방위각에 대한 평균 notch 특성을 적용한다. 본 논문에서 추출된 notch 위치는 9, 474 Hz, 14, 470 Hz, 그리고 17, 743 Hz이다.
이를 위하여 백색잡음, 효과음, 음성, 음악 음원을 가지고 0°, 30°, 60°, 그리고 90° 각각에 대해 외재화 거리에 대한 성능평가를 실시하였다. 본 평가를 위하여 20대의 청각 장애가 없는 16명의 청취자가 실험에 참여하였으며, 헤드폰은 AKG 사의 K240이 실험에 사용되었다.
이론/모형
본 논문에서 사용된 머리전달함수 모델은 Kistler와 Wightman®에 의해 제안된 구조적 머리전달함수 모델 (structural HRTF model)에 근거 한다. 구조적 머 리 전달함수 모델의 전체 구조는 그림 2와 같다.
성능/효과
그리고 콘텐츠별 외재화 거리 성능의 경우, 평균적으로 가장 높은 외재화 거리 성능을 보이는 것을 알 수 있었다.
따라서 본 논문에서 제안된 알고리즘에서는 고도가 달라짐에 따라 HRTF 스펙트럼 상에 나타나는 spectral notch 위치를 그림 4와 같이 실제 subject로부터 측정한 CIPIC HRTF DB따3로부터 추출하고 이를 적용함으로써 전방 음상 외재화 성능 개선을 도모한다. Notch 위치에서의 극히 개인적인 특성을 배제하기 위하여 CIPIC HRTF DB에서 제공하는 전체 45명 (좌/우 귀에 해당하는 총 1350 개 데이터)의 subject로부터 측정된 모든 HRTF에 대해 각 고도별 평균 스펙트럼을 도출한다.
또한 대표적 실측 HRTF인 KEMAR HRTF™를 이용하여 음상을 정위시킨 음원과 비교할 경우, 제안된 방식이 더 높은 외재화 거리 성능을 보인다는 것을 알 수 있었다. 그리고 콘텐츠별 외재화 거리 성능의 경우, 평균적으로 가장 높은 외재화 거리 성능을 보이는 것을 알 수 있었다.
이러한 단점을 해결함과 동시에 외재화 성능을 더욱 향상시키기 위하여 대역별 decon싢ator를 설계할 필요가 있다. 본 연구에서는 청취실험을 통해 전체 대역 중 저대역에 해당하는 절반은 그대로 bypass시키고, 나머지 고대역에 해당하는 절반에 대하여 decorrelation을 적용시킨 음원의 경우 다른 방법들에 비해 더 높은 외재화 효과를 얻을 수 있을 뿐만 아니라, 음질 및 음상정위 측면에서도 전체 대역에 대해 decorrelation을 적용한 알고리즘에 비해 개선효과를 얻을 수 있음을 관찰하였다.
추가적으로 외재화 알고리즘의 전방 음상 외재화 성능을 향상시키기 위하여, decorrelation 및 setral notch 필터링을 적용하였다. 외재화 거리 성능의 주관적 청취평가를 통해, 제안된 방법이 기존의 방식에 비해 높은 외재화 거리 성능을 보인다는 것을 알 수 있었다.
이를 통해 얻은 decorrelation된 신호와 decorrelation 필터 입력 신호를 mixing함으로써 좌/우 채널이 상호상관도가 저하된 스테레오 신호를 얻게 되고, 각 신호에 대해 image method를 통해 얻은 공간 임펄스 응답을 부가시켜 준다. 최종적으로, 공간 임펄스 응답이 부가된 출력신호에 대하여 spectral notch를 생성하기 위해 그림 6과 같이 설계된 notch 필터와 convolution을 수행함으로써, 정면 음상 외재화 성능이 개선된 신호를 최종적으로 얻을 수 있었다.
참고문헌 (16)
D. R. Begault, 3-D Sound for Virtual Reality and Multimedia, Academic Press, Cambridge, MA, 1994.
D. J. M. Robinson and R. G. Greenwood, "A binaural simulation which renders out-ofhead- localisation with low-cost digital signal processing of head-related transfer functions and pseudo reverberation," in Proc. of 104th AES Convention, Amsterdam, Netherlands, Preprint 4723, May 1998.
서정일, 이용주, 장인선, 유재현, 강경옥, "청취환경 차이에 따른 3차원 오디오 기술 개발 동향," 한국방송공학회지, 제13권, 제1호, pp. 82-96, 2008 년 3월.
P. Rubak, "Headphone signal processing system for out-of-the-head localization," in Proc. of 90th AES Convention, Paris, France, Preprint 3063, Feb. 1991.
T. Choi, Y. C. Park, and D. H. Youn, "Efficient out of head localization system for mobile applications," in Proc. of 120th AES Convention, Paris, France, Preprint 6758, May 2006.
Y. G. Kim, H. K. Kim, Y. J. Lee, D. Y. Jang, I. Jang, and K. Kang, "A sound externalization algorithm based on a structural head-related transfer function model and reverberation," in Proc. of International Technical Conference on Circuits/ Systems, Computers and Communications, Jeju island, Korea, pp. 1316-1319, July 2009.
J. Blauert, Spatial Hearing, MIT Press, 1997.
강성훈, 강경옥, 입체 음향, 기전연구사, 1997년 7월.
W. G. Gardner, 3-D Audio Using Loudspeakers, Kluwers Academic Publishers, 1998.
D. J. Kistler and F. L. Wightman, "A model of head-related transfer functions based on principal components analysis and minimumphase reconstruction," J. Acoust. Soc. Am., vol. 91, no. 3, pp. 1637-1647, Mar. 1992.
C. P. Brown and R. O. Duda, "An efficient HRTF model for 3-D sound," in Proc. of IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, New Paltz, NY, pp. 298-301, Oct. 1997.
J. A. Moorer, "About this reverberation business," Computer Music Journal, vol. 3, no. 2, pp. 13-28, June 1979.
J. B. Allen and D. A. Berkley, "Image method for efficiently simulating small-room acoustics," J. Acoust. Soc. Am., vol. 65, no. 4, pp. 943-951, Apr. 1979.
V. R. Algazi, R. O. Duda, D. M. Thompson, and C. Avendano, "The CIPIC HRTF database," in Proc. of IEEE Workshop on Applications of Signal Processing to Audio and Electroacoustics, New Paltz, NY, pp. 99-102, Oct. 2001.
W. G. Gardner and K. D. Martin, "HRTF measurements of a KEMAR," J. Acoust. Soc. Am., vol. 97, no. 6, pp. 3907-3908, June 1995.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.