[논문]양이형 음성 음질개선 시스템을 위한 온라인 잡음 상관도 추정 알고리즘

지유나; 백용현; 박영철

doi:10.7776/ask.2016.35.3.234

양이형 음성 음질개선 시스템을 위한 온라인 잡음 상관도 추정 알고리즘
On-line noise coherence estimation algorithm for binaural speech enhancement system 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.35 no.3, 2016년, pp.234 - 242

지유나 (연세대학교 컴퓨터정보통신공학부) , 백용현 (연세대학교 컴퓨터정보통신공학부) , 박영철 (연세대학교 컴퓨터정보통신공학부)

초록
AI-Helper

본 논문에서는 양이형 음성 음질개선 시스템에 적용 가능한 잡음 상관도 온라인 추정 알고리즘을 제안한다. 양이형 시스템에서 공간 상관도(spatial coherence) 정보를 이용해 잡음의 파워 스펙트럼을 추정하거나 음질 개선 이득을 형성하는 기술들이 다수 연구되어 왔다. 이때 잡음 상관도는 통상적으로 수학적으로 모델링된 실수의 고정 값을 사용하여왔다. 하지만 실생활에서 접하게 되는 잡음의 상관도는 음향 환경에 따라 변화하는 특성을 가지게 되며 이때 발생하는 오차는 음질 개선 알고리즘의 정확도를 떨어뜨리는 원인이 된다. 따라서 본 논문에서는 변화하는 잡음의 상관도를 온라인으로 업데이트하여 정확한 잡음 상관도를 추정함으로써 양이형 음질 개선 알고리즘의 성능을 향상 시키고자 하였다. 잡음의 상관도는 음성 부재 구간에서 업데이트 될 수 있으며 실험 결과 제안 알고리즘이 기존의 수학적 모델에 비해 음질 개선 알고리즘의 성능을 향상시킴을 볼 수 있다.

Abstract ▼ AI-Helper

In this paper, an on-line noise coherence estimation algorithm for binaural speech enhancement system is proposed. A number of noise Power Spectral Density (PSD) estimation algorithms based on the noise coherence between two microphones have been proposed to improve the speech enhancement performance. In the conventional algorithms, the noise coherence was characterized using a real-valued analytic model. However, unlike the analytic model, the noise coherence between the two microphones is time-varying in real environments. Thus, in this paper, the noise coherence is updated in accordance with the variation of the acoustic environment to track the realistic noise coherence. The noise coherence can be updated only during the absence of speech, and the simulation results demonstrate the superiority of the proposed algorithm over the conventional algorithms based on the analytic model.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

[11] 이 기술의 경우 인과성을 만족시키기 위한 임의의 딜레이를 고려하지 않아도 목표 음성의 방향에 관계없이 잡음의 파워 스펙트럼을 추정 할 수 있다는 장점이 있으므로 본 논문에서는 고유치 기반의 알고리즘을 이용하여 잡음의 파워 스펙트럼을 추정하고자 한다. 기존 논문에^[11] 제안된 알고리즘을 간단히 정리하면 다음과 같다.
이때 composite parameters와 PESQ는 8 kHz로 다운 샘플링 후 측정 되었다. segmental SNR과 PESQ의 경우 입력과 출력 신호 각각의 측정치의 차이 값을 구해 입력 신호 대비 출력 신호의 품질 향상을 쉽게 확인하고자 하였다. 이때 Fig.
정교하지 못한 잡음 상관도 모델에 의한 오차는 잡음 파워 스펙트럼 추정의 정확도를 떨어뜨려 최종 출력 신호에서 잔여잡음과 음성의 왜곡을 발생시킨다. 따라서 본 논문에서는 음질개선의 성능 향상을 위해 음향 환경의 변화에 따라 온라인으로 잡음의 상관도를 업데이트하는 기술을 제안한다. 이를 위해 잡음의 상관도를 음성이 존재하지 않는 구간, 즉 잡음만 존재하는 구간에서 1차 재귀 평균을 이용하여 다음과 같이 추정한다.
본 논문에서는 실제 환경에서 변화하는 잡음의 상관도를 추적하여 고정된 모델 보다 정확한 상관도를 구하고 이를 이용해 잡음 파워 스펙트럼 추정 알고리즘의 정확도를 높일 수 있는 방법을 제안한다. 잡음의 상관도는 음성이 존재하지 않는 구간에서 1차 재귀 평균을 이용해 업데이트되며 추정된 상관도 모델을 이용하여 정교한 잡음 파워 스펙트럼을 추정할 수 있다.
본 논문에서는 양이형 음질개선 알고리즘을 위한 잡음 상관도 온라인 추정 방법을 제안하였다. 제안 알고리즘은 음향 환경에 따라 변화하는 잡음 상관도를 음성 부재 구간에서 업데이트함으로써 변화하는 상관도 값을 온라인으로 추정하고자 하였다.
본 논문은 II장에서 잡음 상관도를 이용한 잡음 파워 스펙트럼 추정 알고리즘과 기존에 사용되었던 잡음 상관도의 수학적 모델에 대해 소개한다. 이어서 III장에서 본 논문에서 제안하는 잡음 상관도 온라인 추정 알고리즘을 소개하고 IV장에서 실험을 통해 제안 알고리즘의 성능을 평가한다.

제안 방법

음성의 존재 구간을 판단하기 위해 많은 기술들이 연구되었으며 그 중 에너지 기반의 알고리즘들은 대표적으로 널리 이용되고 있는 기술이다.^[4,15] 본 논문에서는 에너지 비율을 계산하기 위해 공분산 행렬의 최대 최소 고유치의 비율을 이용하였으며 이를 기반으로 음성의 존재 구간을 판별하였다. 이는 양쪽 채널의 잡음의 상관도가 낮다는 가정아래 Eq.
기존의 알고리즘들은 실제 환경에서 잡음 상관도를 정확히 알 수 없으므로 수학적으로 모델링된 잡음 상관도를 활용하였다.^[7,8,12,13] 이때 상관도는 마이크간의 거리, 머리에 의한 음영 효과(head shadowing effect) 등을 고려한 실수 값의 형태로 모델링 되었다.
더 나아가 최종 출력 신호의 품질을 측정하기 위해 segmental SNR, composite parameters 그리고 PESQ(Perceptual Evolution of Speech Quality)가 측정되었다.^[17] composite parameters는 신호의 왜곡정도(Csig), 배경 잡음의 왜곡정도(Cbak), 그리고 오디오 신호의 전체적인 품질(Covl)을 평가하는 파라미터로 0 ~ 5 사이의 값을 가지며 5에 가까울수록 신호의 품질이 깨끗한 원음에 더 가까운 신호임을 뜻한다.
또 다른 양이형 알고리즘으로 2-채널 신호의 공분산 행렬의 고유치를 이용하여 잡음의 파워 스펙트럼을 추정하는 기술이 제안되었다.^[11] 이 기술의 경우 인과성을 만족시키기 위한 임의의 딜레이를 고려하지 않아도 목표 음성의 방향에 관계없이 잡음의 파워 스펙트럼을 추정 할 수 있다는 장점이 있으므로 본 논문에서는 고유치 기반의 알고리즘을 이용하여 잡음의 파워 스펙트럼을 추정하고자 한다.
먼저 제안 알고리즘의 잡음 상관도 추적 성능을 측정하였다. 아래 Figs.
마지막으로 제안하는 알고리즘의 객관적인 성능평가를 위해 다음과 같은 파라미터들이 측정되었다. 먼저 제안된 알고리즘이 잡음 파워 스펙트럼 추정 알고리즘의 성능에 미치는 영향을 확인하기 위해 0 ~ 4 kHz 대역에서의 실제 잡음과 추정된 잡음 스펙트럼간의 로그 에러(Logarithm Error : LogErr)가 측정되었다. 실험 결과 온라인 추정된 잡음 상관도를 사용하는 경우가 모델링된 잡음 상관도를 사용하는 경우보다 잡음의 파워 스펙트럼을 더 정확하게 추정해감을 확인 할 수 있었다.
본 논문에서 제안하는 잡음 상관도 추정 알고리즘의 성능을 평가하기 위해 컴퓨터 시뮬레이션이 진행되었다. 실험을 위해 HRIR(Head-Related Impluse Response)^[16]를 이용해 렌더링 된 TIMIT 데이터베이스의 10개의 여성 음성과 ETSI 데이터베이스의 5개의 잡음 신호를 이용하였다.
앞장에서 잡음의 상관도를 이용하여 저주파대역에서도 실제 값보다 낮게 측정되는 값없이 안정적인 성능을 보장하는 잡음 파워 스펙트럼 추정 알고리즘과 잡음 상관도 모델을 소개하였다.
위의 수식에서 HF는 고주파대역이 시작되는 주파수 빈 인덱스이며 본 논문에서는 5 kHz를 그 기준으로 두었다. 고유치간의 비율을 이용해 음성 존재 구간을 판단하는 알고리즘은 앞 절에서 소개한 잡음 파워 스펙트럼 추정 알고리즘과 하나의 고유치 도메인에서 결합될 수 있어 추가적인 파라미터가 필요없다는 장점이 있다.
본 논문에서는 양이형 음질개선 알고리즘을 위한 잡음 상관도 온라인 추정 방법을 제안하였다. 제안 알고리즘은 음향 환경에 따라 변화하는 잡음 상관도를 음성 부재 구간에서 업데이트함으로써 변화하는 상관도 값을 온라인으로 추정하고자 하였다. 이를 통해 고정된 값을 가지는 상관도 모델을 사용할 때보다 잡음 파워 스펙트럼 추정 알고리즘의 정확도를 높일 수 있었다.

대상 데이터

실험을 위해 HRIR(Head-Related Impluse Response)^[16]를 이용해 렌더링 된 TIMIT 데이터베이스의 10개의 여성 음성과 ETSI 데이터베이스의 5개의 잡음 신호를 이용하였다. 사용된 HRIR은 Messachusetts Institute of Technology(MIT)에서 제공하는 데이터베이스로 Knowles Electronic Manikin for Acoustic Research(KEMAR) 더미 헤드로부터 얻어진 값이다.
1은 실제 양이형 시스템에서 녹음 된 서로 다른 잡음 신호들의 상관도를 나타내고 있다. 실험을 위해 ETSI(European Telecommunications Standards Institute)에서 제공하는 두 채널로 녹음 된 잡음 데이터베이스 중 카페테리아, 도로, 술집 그리고 마트의 카운터에서 녹음 된 잡음이 이용되었다. 두 채널로 녹음 된 잡음 신호의 상관도는 아래 수식을 이용해 측정되었다.
본 논문에서 제안하는 잡음 상관도 추정 알고리즘의 성능을 평가하기 위해 컴퓨터 시뮬레이션이 진행되었다. 실험을 위해 HRIR(Head-Related Impluse Response)^[16]를 이용해 렌더링 된 TIMIT 데이터베이스의 10개의 여성 음성과 ETSI 데이터베이스의 5개의 잡음 신호를 이용하였다. 사용된 HRIR은 Messachusetts Institute of Technology(MIT)에서 제공하는 데이터베이스로 Knowles Electronic Manikin for Acoustic Research(KEMAR) 더미 헤드로부터 얻어진 값이다.

데이터처리

따라서 본 논문에서는 음질개선의 성능 향상을 위해 음향 환경의 변화에 따라 온라인으로 잡음의 상관도를 업데이트하는 기술을 제안한다. 이를 위해 잡음의 상관도를 음성이 존재하지 않는 구간, 즉 잡음만 존재하는 구간에서 1차 재귀 평균을 이용하여 다음과 같이 추정한다.
입력 신호의 파워 스펙트럼은 1차 재귀 평균을 이용하여 추정되었다. 이때 α는 시간 축 평균 매개 변수로 빠르게 변화하는 잡음의 특성을 추정하기 위해 작은 값 α=0.

이론/모형

샘플링 주파수는 16 kHz로 설정하고 한 프레임 사이즈는 32 ms, 50 % overlap-add 방식을 이용하였으며 sine 윈도우가 적용되었다.

성능/효과

그렇지만 Eq.(4)에서 근사화를 위해 무시한 부분은 완전 제곱 부분에 비하여 작은 값을 가지며 특히 고주파대역으로 갈수록 낮은 값을 가지는 상관도의 영향으로 전체적인 값에 큰 영향을 미치지 않음을 알 수 있다.^[9]
^[9-11] 이러한 알고리즘들은 양 마이크 간의 잡음이 서로 낮은 상관도를 가진다는 기존의 알고리즘들과 다르게 잡음 상관도 모델을 이용해 저주파대역에서 분명히 존재하는 높은 상관도 값을 고려해주었다. 결과적으로 추정된 잡음 파워 스펙트럼이 저주파 대역에서 실제 값보다 더 작게 추정되는 문제를 보상할 수 있었다.^[9-11]
결과적으로 해당 주파수 대역이 역치 값 이하로 떨어지면 잡음만 존재하는 것으로 판단하여 상관도를 업데이트 할 수 있다.
4는 0 ~ 4 kHz 대역의 실험 결과를 보이고 있다. 모델링된 잡음 상관도를 사용한 경우보다 제안된 잡음 상관도를 이용한 경우 실제 잡음의 파워 스펙트럼을 더 잘 추정하는 것을 확인 할 수 있다.
먼저 제안된 알고리즘이 잡음 파워 스펙트럼 추정 알고리즘의 성능에 미치는 영향을 확인하기 위해 0 ~ 4 kHz 대역에서의 실제 잡음과 추정된 잡음 스펙트럼간의 로그 에러(Logarithm Error : LogErr)가 측정되었다. 실험 결과 온라인 추정된 잡음 상관도를 사용하는 경우가 모델링된 잡음 상관도를 사용하는 경우보다 잡음의 파워 스펙트럼을 더 정확하게 추정해감을 확인 할 수 있었다.
실험 결과 전체적인 객관적 성능 평가 파라미터에서 제안된 기술이 목표 음성의 방향에 관계없이 잡음의 파워 스펙트럼을 더 정확히 추정하며 따라서 최종 출력 신호에서 더 높은 품질을 가짐을 확인 할 수 있다.
제안 알고리즘은 음향 환경에 따라 변화하는 잡음 상관도를 음성 부재 구간에서 업데이트함으로써 변화하는 상관도 값을 온라인으로 추정하고자 하였다. 이를 통해 고정된 값을 가지는 상관도 모델을 사용할 때보다 잡음 파워 스펙트럼 추정 알고리즘의 정확도를 높일 수 있었다. 제안된 온라인 추정 기술은 기존에 제안된 다른 양이형 음질 개선 알고리즘에도 결합될 수 있다.
최근에는 두 개 이상의 마이크를 이용하는 다채널 알고리즘들이 연구되고 있으며 특히 왼쪽과 오른쪽에 마이크를 하나씩 이용하는 양이형 음질 개선 알고리즘들이 많이 제안되고 있다. 제한된 정보만을 이용해 잡음을 추정해야하는 단 채널 방식과는 달리 양이형 시스템에서는 공간 정보와 같은 추가적인 정보를 활용할 수 있게 됨으로써 향상된 잡음 제거 성능을 기대할 수 있게 됐다.^[5]
제안된 온라인 추정 기술은 기존에 제안된 다른 양이형 음질 개선 알고리즘에도 결합될 수 있다. 컴퓨터 실험 결과 최종 출력 신호에서 제안 기술을 사용한 경우 기존의 기술보다 더 나은 성능을 보이는 것을 확인 할 수 있었다.

후속연구

이를 통해 고정된 값을 가지는 상관도 모델을 사용할 때보다 잡음 파워 스펙트럼 추정 알고리즘의 정확도를 높일 수 있었다. 제안된 온라인 추정 기술은 기존에 제안된 다른 양이형 음질 개선 알고리즘에도 결합될 수 있다. 컴퓨터 실험 결과 최종 출력 신호에서 제안 기술을 사용한 경우 기존의 기술보다 더 나은 성능을 보이는 것을 확인 할 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음질 개선 시스템에서 알고리즘의 성능을 결정하는 중요한 부분은?	음질 개선 시스템에서 잡음의 파워 스펙트럼 밀도(Power Spectral Density, PSD) 추정 부분은 알고리즘의 성능을 결정하는 중요한 부분이기 때문에 정확도를 향상시키기 위해 많은 연구들이 진행되고 있다.
	정확하지 않은 잡음 스펙트럼 추정 결과는 어떤 원인이 되는가?	정확하지 않은 잡음 스펙트럼 추정 결과는 음성의왜곡 또는 듣기에 불편한 잔여 잡음을 발생시키는 원인이 된다. 초기 음질 개선 알고리즘들은 단일 마이크를 이용한 알고 리즘들로 입력 신호의 최소 파워는 잡음의 파워와 같다는 가정을 이용해 잡음의 파워를 추정하거나[1,2] 음성의 존재유무에 따라 잡음의 파워를 갱신하여 입력 신호의 신호대 잡음비(Signal to Noise Ratio, SNR)를 높이는 알고리즘들이 주를 이루었다.
	기존의 잡음 상관도 모델을 사용할 경우 음질향상 알고리즘의 성능이 저하 될 수 있는 이유는?	그러나 실제 환경에서 잡음의 상관도는 잡음의 특성, 음원의 이동 그리고 음향 환경 등에 영향을 받으며, 그 특성 또한 시간에 따라 변화한다.[13] 따라서 기존의 잡음 상관도 모델을 사용할 경우 음질향상 알고리즘의 성능이 저하 될 수 있다.

참고문헌 (17)

R. Martin, "Noise power spectral density estimation based on optimal smoothing and minimum statistics," IEEE Trans. Speech Audio Process. 9, 504-512 (2001).

상세보기
Y. H. Son, J. H. Choi and J. H. Chang, "Improved minimum statistics based on environment -awareness for noise power estimation" (in Korean), J. Acoust. Soc. Kr. 30, 123-128 (2011).

원문보기 상세보기
S. J. Lee and S. H. Kim, "Adaptive Threshold for Speech Enhancement in Nonstationary Noisy Environments" (in Korean), J. Acoust. Soc. Kr. 27, 386-393 (2008).
S. Rangachari and P. C. Loizou, "A noise-estimation algorithm for highly non-stationary environments," Speech communication, 48, 220-231 (2006).

상세보기
L. Wang, T. Gerkmann and S. Doclo. "Noise power spectral density estimation using MaxNSR blocking matrix," IEEE/ACM Trans. Audio, Speech, Lang. Process. 23, 1493-1508 (2015).

상세보기
H. Abutalebi, H. Sheikhzadeh and L. Brennan, "A hybrid subband adaptive system for speech enhancement in diffuse noise fields," IEEE Signal Process. Lett. 11, 44-47, (2004).

상세보기
B. N. Laska, M. Bolic and R. A. Goubran, "Coherence-assisted Wiener filter binaural speech enhancement," IEEE, Instrumentation and Measurement Technology Conference, 876-881, (2010).
I. A. McCowan and H. Bourlard, "Microphone array post-filter based on noise field coherence," IEEE Trans. on. Speech, Audio Process. 11, 709-716 (2003).

상세보기
A. H. Kamkar-Parsi and M. Bouchard, "Improved noise power spectrum density estimation for binaural hearing aids operating in a diffuse noise field environment," IEEE Trans. on Audio, Speech, and Lang. Process. 17, 521-533 (2009).

상세보기
M. Jeub, C. Nelke, H. Kruger, C. Beaugeant and P. Vary, "Robust dual-channel noise power spectral density estimation," Signal Processing Conference, 2011 19th European. IEEE, 2304-2308 (2011).
Y. Ji, Y. C. Park, D. W. Kim, and J. Shon, "Robust noise PSD estimation for binaural hearing aids in time-varying diffuse noise field," in IEEE ICASSP, 7264-7268 (2013).
I. Lindevald and A. Benade, "Two-ear correlation in the statistical sound fields of rooms," J. Acoust. Soc. Am. 80, 661-664 (1986).

상세보기
M. Jeub and P. Vary, "Binaural dereverberation based on a dual-channel Wiener filter with optimized noise field coherence." in IEEE ICASSP, 4710-4713 (2010).
A. V. Ralph, A. Carlos and D. Richard O, "Elevation localization and head-related transfer function analysis at low frequencies," J. Acoust. Soc. Am. 109, 1110-1122 (2001).

상세보기
I. Cohen, "Optimal speech enhancement under signal presence uncertainty using log-spectral amplitude estimator," IEEE Signal Processing Letters. 9, 113-116 (2002).

상세보기
W. G. Gardner and K. Martin, HRTF measurements of a KEMAR dummy-head microphone (Technical Report 280, MIT Media Lab Perceptual Computing, 1994).
Y. Hu and P. C. Loizou, "Evaluation of objective quality measures for speech enhancement," IEEE Trans. Audio Speech and Lang. Process. 16, 229-238 (2008).

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증