초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

음성 감정 인식이란 음성 데이터만 사용하여 화자의 감정을 인식하는 모델을 말한다. 음성 감정 인식을 위해 음성 신호를 Mel-Spectrogram으로 변환 후 CNN과 LSTM을 결합한 모델을 제안한다. 기존 모델은 전체 음성 데이터 중 특정 구간만 학습한다. 본 논문에서 제안하는 모델은 음성 데이터 전체를 학습하기 위해 모델의 입력 크기를 길이가 가장 긴 음성 데이터의 크기에 맞추며 입력 크기보다 짧은 데이터는 0으로 덧붙인다. 0으로 덧붙일 시 여러 레이어를 거치더라도 0을 덧붙인 부분의 비율은 유지된다. 따라서 길이가 짧은 음성 신호를 입력할 경우 CNN, ...

음성 감정 인식이란 음성 데이터만 사용하여 화자의 감정을 인식하는 모델을 말한다. 음성 감정 인식을 위해 음성 신호를 Mel-Spectrogram으로 변환 후 CNN과 LSTM을 결합한 모델을 제안한다. 기존 모델은 전체 음성 데이터 중 특정 구간만 학습한다. 본 논문에서 제안하는 모델은 음성 데이터 전체를 학습하기 위해 모델의 입력 크기를 길이가 가장 긴 음성 데이터의 크기에 맞추며 입력 크기보다 짧은 데이터는 0으로 덧붙인다. 0으로 덧붙일 시 여러 레이어를 거치더라도 0을 덧붙인 부분의 비율은 유지된다. 따라서 길이가 짧은 음성 신호를 입력할 경우 CNN, Max-Pooling 레이어를 여러 번 거치면 유의미한 값을 소실하게 된다. 이를 해결하기 위해 Variable Max-Pooling을 제안한다. Variable Max-Pooling은 실제 데이터만 참조하여 Max-Pooling을 적용한다. 실제 데이터 크기와 출력 크기에 맞게 pool 크기를 가변적으로 조정하며 이후 레이어가 실제 데이터만 참조할 수 있도록 도와준다. Variable Max-Pooling을 적용하여 음성 신호 전체를 학습 및 추론할 수 있으며 정확도를 측정한 결과 기존 83.56%에서 85%로 향상되었다.

Abstract ▼ AI-Helper

Speech emotion recognition refers to recognizing speaker’s emotion using only speech signals. We propose a model combining CNN and LSTM after converting speech signals into Mel-Spectrogram for speech emotion recognition. Existing models learn only a specific section of entire speech signal. For trai...

Speech emotion recognition refers to recognizing speaker’s emotion using only speech signals. We propose a model combining CNN and LSTM after converting speech signals into Mel-Spectrogram for speech emotion recognition. Existing models learn only a specific section of entire speech signal. For training entire speech data, proposed model’s input size is set as the longest speech data length and if a speech data is shorter than model’s input size, that speech data is padded with 0. The proportion of 0 padded section is maintained even if it passed multiple layers. Therefore, when a short-length speech signal is input, significant values are lost after passing through the CNN and Max Pooling layers several times. To solve this problem, we proposed Variable Max Pooling. Variable Max Pooling applies Max Pooling by referring only to actual data. The pool size is variably adjusted according to the actual data size and output size, and it helps later layers referred only actual data. By applying Variable Max Pooling, it is possible to learn and infer the entire speech signal. As a result, the accuracy was improved from 83.56% to 85%.

주제어