[국내논문]잡음 환경에서 심리음향모델 기반 음성 에너지 최대화를 이용한 음성 검출 방법 Voice Activity Detection Method Using Psycho-Acoustic Model Based on Speech Energy Maximization in Noisy Environments원문보기
이 논문은 음성 에너지를 최대화 하여 낮은 SNR환경에서 음성 존재 여부를 판단하고 정확한 끝점을 검출하는 방법에 대한 것이다. 전통적인 VAD (Voice Activity Detection) 알고리듬은 잡음의 추정치를 이용해 음성과 비음성 구간을 선택하여 낮은 SNR환경이나 비안정 잡음환경에서는 정확하지 못한 문턱값으로 인해 부정확한 끝점검출을 하였다. 또한 잡음의 시간적 변화를 반영하기 위해 비교적 큰 분석 구간을 두어 계산량이 증가함에 따라 실제 응용에 적합하지 않은 단점이 있다. 이 논문은 잡음환경에서 정확한 음성 구간의 검출을 위해 심리음향 모델에 기반 한 바크 스케일필터 뱅크를 이용하여 주어진 프레임에서 음성 에너지를 최대화 시키고 잡음을 억제하는 SEM-VAD (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다. 다양한 잡음환경, SNR 15 dB, 10 dB 5 dB 0 dB 상황에서 실험한 결과 SNR의 변화에 안정적인 문턱값을 얻었고, 음성 검출을 위한 실험에서 자동차 잡음 환경에 대한 PHR (Pause Hit Rate)은 모든 잡음 환경에서 100%의 정확도를 보였고, FAR (False Alarm Rate)는 SNR 15 dB와 10 dB에서는 0%, SNR 5 dB에서 5.6% SNR 0 dB에서 9.5%의 성능을 보였다.
이 논문은 음성 에너지를 최대화 하여 낮은 SNR환경에서 음성 존재 여부를 판단하고 정확한 끝점을 검출하는 방법에 대한 것이다. 전통적인 VAD (Voice Activity Detection) 알고리듬은 잡음의 추정치를 이용해 음성과 비음성 구간을 선택하여 낮은 SNR환경이나 비안정 잡음환경에서는 정확하지 못한 문턱값으로 인해 부정확한 끝점검출을 하였다. 또한 잡음의 시간적 변화를 반영하기 위해 비교적 큰 분석 구간을 두어 계산량이 증가함에 따라 실제 응용에 적합하지 않은 단점이 있다. 이 논문은 잡음환경에서 정확한 음성 구간의 검출을 위해 심리음향 모델에 기반 한 바크 스케일 필터 뱅크를 이용하여 주어진 프레임에서 음성 에너지를 최대화 시키고 잡음을 억제하는 SEM-VAD (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다. 다양한 잡음환경, SNR 15 dB, 10 dB 5 dB 0 dB 상황에서 실험한 결과 SNR의 변화에 안정적인 문턱값을 얻었고, 음성 검출을 위한 실험에서 자동차 잡음 환경에 대한 PHR (Pause Hit Rate)은 모든 잡음 환경에서 100%의 정확도를 보였고, FAR (False Alarm Rate)는 SNR 15 dB와 10 dB에서는 0%, SNR 5 dB에서 5.6% SNR 0 dB에서 9.5%의 성능을 보였다.
This paper introduces the method for detect voices and exact end point at low SNR by maximizing voice energy. Conventional VAD (Voice Activity Detection) algorithm estimates noise level so it tends to detect the end point inaccurately. Moreover, because it uses relatively long analysis range for ref...
This paper introduces the method for detect voices and exact end point at low SNR by maximizing voice energy. Conventional VAD (Voice Activity Detection) algorithm estimates noise level so it tends to detect the end point inaccurately. Moreover, because it uses relatively long analysis range for reflecting temporal change of noise, computing load too high for application. In this paper, the SEM-VAD (Speech Energy Maximization-Voice Activity Detection) method which uses psycho-acoustical bark scale filter banks to maximize voice energy within frames is introduced. Stable threshold values are obtained at various noise environments (SNR 15 dB, 10 dB, 5 dB, 0 dB). At the test for voice detection in car noisy environment, PHR (Pause Hit Rate) was 100%accurate at every noise environment, and FAR (False Alarm Rate) shows 0% at SNR15 dB and 10 dB, 5.6% at SNR5 dB and 9.5% at SNR0 dB.
This paper introduces the method for detect voices and exact end point at low SNR by maximizing voice energy. Conventional VAD (Voice Activity Detection) algorithm estimates noise level so it tends to detect the end point inaccurately. Moreover, because it uses relatively long analysis range for reflecting temporal change of noise, computing load too high for application. In this paper, the SEM-VAD (Speech Energy Maximization-Voice Activity Detection) method which uses psycho-acoustical bark scale filter banks to maximize voice energy within frames is introduced. Stable threshold values are obtained at various noise environments (SNR 15 dB, 10 dB, 5 dB, 0 dB). At the test for voice detection in car noisy environment, PHR (Pause Hit Rate) was 100%accurate at every noise environment, and FAR (False Alarm Rate) shows 0% at SNR15 dB and 10 dB, 5.6% at SNR5 dB and 9.5% at SNR0 dB.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
하지만 이와 같은 법들은 잡음의 변화량을 계산하기 위해 현재 프레임과 이전 프레임을 비교거나 100 ms 이상의 시간을 분석 구간으로 사용하여 실제 환경에 응용하기에 적합하지 점이 있다 ⑼. 논문에서는 주어진 프레임 내에서 음성 에너지를 최대화 시키고 잡음을 억제하는 SEM-VAD (Speech Energy Maximization-Voice Activity Detection) 방법을 제안한다. 제안된 방법은 주어진 프레임에서 것을 처리하기 때문에 분석 구간이 상대적으로 적어 실제 응용에서 유리하다.
따라서 잡음 신호 주어진 프레임 Z에서 최소 에너지로 본다. 논문은 음성 에너지의 이와 같은 특징을 이용하여 음성 에너지의 최대화를 위해 주어진 프레임에서 최소 에너지를 ⑼ 같이 계산한다.
본 논문에서는 기존의 음성검출 및 음성강화 알고리듬들의 대부분이 잡음을 추정하고 잡음의 변화를 시간의 변화에 따라 추적하는 학습알고리듬을 사용하여 잡음추정의 오차로 인한 알고리듬의 성능저하와 잡음추정의 갱신으로 인한 연산량 증가를 개선하기 위해 주어진 프레임 내에서 음성에너지를 최대화 시키고 잡음을 억제하는 SEM -VAD (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다.
본 논문에서는 주어진 프레임 내에서 음성 에너지를 최대화 시키고 잡음을 억제하는 SEM-VAD (Speech Energy Maximization-Voice Activity Detection) 방법을 제안한다.
본 논문은 심리 음향 모델에 기반을 바크 스케일 필터 뱅크를 이용하여 주어진 프레임에서 음성 에너지를 최대화 하고 음성 에너지가 최대화된 평균과 표준 편차 이용하여 음성과 비음성 구간을 결정하여 음성구간을 검출하는 음성 에너지 최대화 음성검출 (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다. 실험을 통해 제안된 음성검출 방법의 성능을 보면 낮은 SNR에서도 음성검출에 효과적 임을 있다.
본 논문은 심리 음향 모델에 기반을 바크 스케일 필터 뱅크를 이용하여 주어진 프레임에서 음성 에너지를 최대화 하고 음성 에너지가 최대화된 평균과 표준 편차 이용하여 음성과 비음성 구간을 결정하여 음성구간을 검출하는 음성 에너지 최대화 음성검출 (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다. 실험을 통해 제안된 음성검출 방법의 성능을 보면 낮은 SNR에서도 음성검출에 효과적 임을 있다.
본 논문은 이와 같이 최대화된 음성을 중심으로 문턱값에 의해 음성과 비음성 구간을 결정한다.
제안 방법
논문에서는 기존의 음성검출 음성강화 알고리듬 들의 대부분이 잡음을 추정하고 잡음의 변화를 시간의 변화에 따라 추적하는 학습알고리듬을 사용하여 잡음추 정의 오차로 인한 알고리듬의 성능저하와 잡음추정의 갱신 으로 인한 연산량 증가를 개선하기 위해 주어진 프레임 에서 음성에너지를 최대화 시키고 잡음을 억제하는 SEM -VAD (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다. 제안된 알고리듬은 현재 프레임과 이전 프레임을 비교 하거나 100 ms 이상의 시간을 분석구간으로 사용하여 실제 환경에 응용하기에 적합하지 않은 것을 개선하기 위해 주어진 프레임에서 에너지의 최대화를 통해 성능을 개선하였고.
바크 스케일 (Bark scale) 주파수는 음성의 중요 요소 있는 대역에 대한 표현이 우수하다. 논문은 입력신 대해 FFT 취해 얻어진 부밴드 프레임내 주파수 (Frequency bin) 대해 바크 스케일로 변환 처리 하였다. 아래 1 바크 스케일 대역과 주파 (Frequency bin) 표시한다.
식(14) 의해 최대화된 음성 에너지만 남고 억제된 잡음들 아직 남아 있는 잔존 잡음은 문턱값을 기준으 음성을 검줄하는 시스템에서 부정확한 음성 검줄을 실시할 가능성이 있다. 따라서 논문에서는 음성 에너 지가 최대화된 상태의 바크 크기 주파수의 인덱스를 이용하여 (⑵ (13)에서 평균과 표준편차 값을 하고 이를 이용하여 (Z) (15) 같이 구한다. 프레임에서 표준편차는 음성 에너지의 분포를 표현할 유용하다.
본 논문은 입력신호 에 대해 FFT를 취해 얻어진 부밴드 즉 프레임 내의 각 주파수 빈 (Frequency bin) 에 대해 바크 스케일로변환 처리 하였다.
실시간 응용에 적합하고 낮은 SNim경에서의 성능개선을 보기 위해 15 dB ~ 0 dB로 변화하는 잡음 음성 DB인 NOIZEUS 를 이용하여 음성 검출 실험을 하였다.
실시간 응용에 적합하고 낮은 SNim경에서의 성능개선을 보기 위해 15 dB 〜 0 dB 변화하는 잡음 음성 DB NOIZEUS 이용하여 음성 검출 실험을 하였다.
제안된 알고리듬은 현재 프레임과 이전 프레임을 비교 하거나 100 ms 이상의 긴 시간을 분석구간으로 사용하여 실제 환경에 응용하기에 적합하지 않은 것을 개선하기 위해 주어진 프레임에서 음성 에너지의 최대화를 통해 성능을 개선하였고.
논문에서는 기존의 음성검출 음성강화 알고리듬 들의 대부분이 잡음을 추정하고 잡음의 변화를 시간의 변화에 따라 추적하는 학습알고리듬을 사용하여 잡음추 정의 오차로 인한 알고리듬의 성능저하와 잡음추정의 갱신 으로 인한 연산량 증가를 개선하기 위해 주어진 프레임 에서 음성에너지를 최대화 시키고 잡음을 억제하는 SEM -VAD (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다. 제안된 알고리듬은 현재 프레임과 이전 프레임을 비교 하거나 100 ms 이상의 시간을 분석구간으로 사용하여 실제 환경에 응용하기에 적합하지 않은 것을 개선하기 위해 주어진 프레임에서 에너지의 최대화를 통해 성능을 개선하였고. 실시간 응용에 적합하고 낮은 SNim경에서의 성능개선을 보기 위해 15 dB 〜 0 dB 변화하는 잡음 음성 DB NOIZEUS 이용하여 음성 검출 실험을 하였다.
제안된 알고리듬을 처리하기 위해 입력신호에 대한 구간 퓨리에 분석은 음성신호 t) ⑸ 같이 정의 하고 주파수 역에서 처리하기 위하여 ⑺ 이용하 DFT (Discrete fourier Transform) 처리하여 ⑹ 같이 주파수 성분을 [ ] 표시한다.
제안된 알고리듬의 성능분석을 위해 Texas Mis 대학에 개발한음성 Corpus, NOIZEIE를사용하였다 NOIZEUS Corpus white gaussian noise, babble noise 등을 포함 하며 잡음 환경별로는 street, airport, car noise등으로 구분되며 음성향상 (Speech enhancement) 알고리듬의 성능 검증용으로 사용되는 Corpus이다 [11], 또한 SN組변 화에 대한 성능을 검증하기 위해 잡음환경 (15 dB, 10 dB, 5 dB, 0 dB) 구분하여 실험하였고, 끝점검출 성능 평가 위해서는 비음성 구간에 대한 비음성 구간 적중률 (Puase Hit Ratio) 음성 구간에 대한 비음성 구간 - (False Alarm rate) 사용하였다. 음원은 8 kHz 샘플링 레이트 (San ling Rate), 16비트 (Bit) 사용하였으며 FFT 크기는 256 샘플 (Sample), 1/2 오버래핑 (Overlapping) 구간 이용하였고 윈도우는 해밍 윈도우 (Hamming Window) 사용하였다.
제안된 알고리듬의 성능분석을 위해 Texas Mis 대학에서 개발한음성 Corpus, NOIZEIE를사용하였다 NOIZEUS Corpus는 white gaussian noise, babble noise 등을 포함하며 잡음 환경별로는 street, airport, car noise 등으로 구분되며 음성향상 (Speech enhancement) 알고리듬의 성능 검증용으로 사용되는 Corpus이다 [11], 또한 SN 組 변화에 대한 성능을 검증하기 위해 잡음환경 (15 dB, 10 dB, 5 dB, 0 dB)을 구분하여 실험하였고, 끝점검출 성능 평가를 위해서는 비음성 구간에 대한 비음성 구간 적중률 (Puase Hit Ratio)과 음성 구간에 대한 비음성 구간 오부- 율 (False Alarm rate) 을 사용하였다.
대상 데이터
음원은 8 kHz 샘플링 레이트 (San甲ling Rate), 16비트 (Bit)를 사용하였으며 FFT 크기는 256 샘플 (Sample), 1/2 오버래핑 (Overlapping) 구간을 이용하였고 윈도우는 해밍 윈도우 (Hamming Window) 를 사용하였다.
이론/모형
현재 사용되어지고 있는 잡음에 강인한 음성 인식기는 EISI ASDR (Advanced Distributed Speech Recognition) 과 같이 잡음 제거 기반 Wiener-filter 기술을 사용 한다.
성능/효과
결과적으로 & ⑴ 값은 주어진 프레임내의 표준 차와 평균값의 합에 대한 값으로 음성이 존재하는 영역과 음성이 존재하지 않는 영역에 대한 값의 차이를 출력하게 된다. 값들은 문턱값과 비교하여 음성과 비음성으로 구분할 있고, 특별히 비음성으로 채택된 구간은 음성 구간과의 구분을 명확히 하기 위해 바크 필터 뱅크 에너 지에 0 주어 끝점 검출 성능을 향상 시킬 있다.
는 실험값으로 본 논문에서는 0.2를 사용하였으며 실험 결과 낮은 SNR상황 (0 dB)과 높은 SNR상황 (15 dB)에서 음성을 검출하기 위한 적절한 문턱값으로 확인되었다.
2 잡음환경에 따라 음성검출 성능을 평가한 결과이다. 성능의 척도로 사용되어진 비음성 구간 적중률 (Pause Hit Rate) c&t 잡음 환경의 모든 잡음 구간에서 100% 정확도를 보였으며 음성 간에 대한 비음성 구간 오보율 (False Alarm Rate) SNR 15 dB 10 dB에서는 0% 좋은 성능을 보였으나 낮은 SNR 구간인 5 dB 0 dB에서 각각 5.6% 9.5% 성능을 보였다. 이와 같은 결과는 NOIZEUS Corpus car 잡음 환경이 백색잡음 형태의 특성을 띄고 있는 결과로 판단된다.
2 잡음환경에 따라 음성검출 성능을 평가한 결과이다. 성능의 척도로 사용되어진 비음성 구간 적중률 (Pause Hit Rate) c&t 잡음 환경의 모든 잡음 구간에서 100% 정확도를 보였으며 음성 간에 대한 비음성 구간 오보율 (False Alarm Rate) SNR 15 dB 10 dB에서는 0% 좋은 성능을 보였으나 낮은 SNR 구간인 5 dB 0 dB에서 각각 5.6% 9.5% 성능을 보였다. 이와 같은 결과는 NOIZEUS Corpus car 잡음 환경이 백색잡음 형태의 특성을 띄고 있는 결과로 판단된다.
N& . 실험값으로 논문에 서는 0.2 사용하였으며 실험 결과 낮은 SNR상황 (0 dB)과 높은 SNR상황 (15 dB)에서 음성을 검출하기 위한 적절 문턱값으로 확인되었다.
본 논문은 심리 음향 모델에 기반을 바크 스케일 필터 뱅크를 이용하여 주어진 프레임에서 음성 에너지를 최대화 하고 음성 에너지가 최대화된 평균과 표준 편차 이용하여 음성과 비음성 구간을 결정하여 음성구간을 검출하는 음성 에너지 최대화 음성검출 (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다. 실험을 통해 제안된 음성검출 방법의 성능을 보면 낮은 SNR에서도 음성검출에 효과적 임을 있다. 안된 방법은 음성 에너지를 최대화 하여 상대적으로 잡음 레벨을 저하시키는 방법을 사용하여 에너지를 기반으로 방법들 비교적 연산량이 적어 실제응용에 적합하 특히 무색잡음 특성을 갖는 자동차 잡음 환경에서 정적이고 뛰어난 성능을 나타내며 유색잡음 환경에서도 음성 에너지만을 강화시키는 특징으로 비교적 좋은 성능 가지는 것을 있었다.
본 논문은 심리 음향 모델에 기반을 바크 스케일 필터 뱅크를 이용하여 주어진 프레임에서 음성 에너지를 최대화 하고 음성 에너지가 최대화된 평균과 표준 편차 이용하여 음성과 비음성 구간을 결정하여 음성구간을 검출하는 음성 에너지 최대화 음성검출 (Speech Energy Maximization-Voice Activity Detection) 방법을 제안하였다. 실험을 통해 제안된 음성검출 방법의 성능을 보면 낮은 SNR에서도 음성검출에 효과적 임을 있다. 안된 방법은 음성 에너지를 최대화 하여 상대적으로 잡음 레벨을 저하시키는 방법을 사용하여 에너지를 기반으로 방법들 비교적 연산량이 적어 실제응용에 적합하 특히 무색잡음 특성을 갖는 자동차 잡음 환경에서 정적이고 뛰어난 성능을 나타내며 유색잡음 환경에서도 음성 에너지만을 강화시키는 특징으로 비교적 좋은 성능 가지는 것을 있었다.
실험을 통해 제안된 음성검출 방법의 성능을 보면 낮은 SNR에서도 음성검출에 효과적 임을 있다. 안된 방법은 음성 에너지를 최대화 하여 상대적으로 잡음 레벨을 저하시키는 방법을 사용하여 에너지를 기반으로 방법들 비교적 연산량이 적어 실제응용에 적합하 특히 무색잡음 특성을 갖는 자동차 잡음 환경에서 정적이고 뛰어난 성능을 나타내며 유색잡음 환경에서도 음성 에너지만을 강화시키는 특징으로 비교적 좋은 성능 가지는 것을 있었다. 제안된 음성 검출 방법은 음성 에너지가 중요한 특징으로 처리되는 음성인식 분야 에서 인식률 향상에 기여할 있을 것으로 기대한다.
실험을 통해 제안된 음성검출 방법의 성능을 보면 낮은 SNR에서도 음성검출에 효과적 임을 있다. 안된 방법은 음성 에너지를 최대화 하여 상대적으로 잡음 레벨을 저하시키는 방법을 사용하여 에너지를 기반으로 방법들 비교적 연산량이 적어 실제응용에 적합하 특히 무색잡음 특성을 갖는 자동차 잡음 환경에서 정적이고 뛰어난 성능을 나타내며 유색잡음 환경에서도 음성 에너지만을 강화시키는 특징으로 비교적 좋은 성능 가지는 것을 있었다. 제안된 음성 검출 방법은 음성 에너지가 중요한 특징으로 처리되는 음성인식 분야 에서 인식률 향상에 기여할 있을 것으로 기대한다.
논문에서는 주어진 프레임 내에서 음성 에너지를 최대화 시키고 잡음을 억제하는 SEM-VAD (Speech Energy Maximization-Voice Activity Detection) 방법을 제안한다. 제안된 방법은 주어진 프레임에서 것을 처리하기 때문에 분석 구간이 상대적으로 적어 실제 응용에서 유리하다.
후속연구
제안된 음성 검출 방법은 음성 에너지가 중요한 특징으로 처리되는 음성인식 분야 에서 인식률 향상에 기여할 있을 것으로 기대한다. 리고 아직 낮은 SNR에서 오보율 (False Alarm Rate) 능이 개선의 여지가 있으나 문턱값을 갱신하는 방법을 개선하면 보나 나은 성능을 가질 있을 것이다.
안된 방법은 음성 에너지를 최대화 하여 상대적으로 잡음 레벨을 저하시키는 방법을 사용하여 에너지를 기반으로 방법들 비교적 연산량이 적어 실제응용에 적합하 특히 무색잡음 특성을 갖는 자동차 잡음 환경에서 정적이고 뛰어난 성능을 나타내며 유색잡음 환경에서도 음성 에너지만을 강화시키는 특징으로 비교적 좋은 성능 가지는 것을 있었다. 제안된 음성 검출 방법은 음성 에너지가 중요한 특징으로 처리되는 음성인식 분야 에서 인식률 향상에 기여할 있을 것으로 기대한다. 리고 아직 낮은 SNR에서 오보율 (False Alarm Rate) 능이 개선의 여지가 있으나 문턱값을 갱신하는 방법을 개선하면 보나 나은 성능을 가질 있을 것이다.
안된 방법은 음성 에너지를 최대화 하여 상대적으로 잡음 레벨을 저하시키는 방법을 사용하여 에너지를 기반으로 방법들 비교적 연산량이 적어 실제응용에 적합하 특히 무색잡음 특성을 갖는 자동차 잡음 환경에서 정적이고 뛰어난 성능을 나타내며 유색잡음 환경에서도 음성 에너지만을 강화시키는 특징으로 비교적 좋은 성능 가지는 것을 있었다. 제안된 음성 검출 방법은 음성 에너지가 중요한 특징으로 처리되는 음성인식 분야 에서 인식률 향상에 기여할 있을 것으로 기대한다. 리고 아직 낮은 SNR에서 오보율 (False Alarm Rate) 능이 개선의 여지가 있으나 문턱값을 갱신하는 방법을 개선하면 보나 나은 성능을 가질 있을 것이다.
참고문헌 (11)
ETSI standard doc, ETSI ES 202 050 v1.1.1
Rabiner, L. R. and M. R. Sambur, "An Algorithm for De-termining the Endpoints of Isolated Utterances", The Bell System Technical Journal, Vol. 54, No. 2, pp. 297-315, 1975
Tuske, Zoltan and Mihajlik, Peter and Tobler, Zoltan and Fegyo, Tibor "Robust voice activity detection based on the entropy of noise-suppressed spectrum", in Proc. of INTER-SPEECH, pp. 245-248, Sep. 2005
E. Kosmides and E. Dermatas and G. Kokkinakis, "Stochastic endpoint detection in noisy speech", SPECOM Workshop, pp. 109-114, May. 1997
S. Rangachari and P.C. Loizou “A noise-estimation algo-rithm for highly non-stationary errvironments”, Speech Communi-cation, vol 48, no 2, pp. 220 - .231. 2006
P. Renevey and A. Drygajlo. "Entropy based voice activity detection in very noisy conditions', in Proc. Eurospeech. pp. 1887-1890. Sep. 2001
E. Zwicker and H. FastI, Psycho-acoustics Facts and Models, Springer-Verlag, Berlin, 1990
David Kozel and Constantin Apostoaia, “Colored Noise Re-duction Using Bark Scale Spectral Subtraction, Statistics, and Multiple Time Frames”, in Proc. IEEE International Con-ference Electro/lnformation Technology, pp. 416-421. May, 2007
※ AI-Helper는 부적절한 답변을 할 수 있습니다.