선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 음성으로부터 평상, 기쁨, 슬픔, 화남의 4 가지 감성 상태를 인식할 수 있는 음성 감성인식 시스템을 제안하였다. 제안 시스템은 1차적으로 남/여 성별을 구분한 뒤 각 성별에 따라 최적화된 특징벡터 열을 이용하여 2차적으로 음성 감성 인식을 수행함으로써 약 瓯3%의 높은 인식률을 달성할 수 있었다.
- 본 연구에서는 음성의 감성 상태를 평상, 기쁨, 슬픔, 화남의 4가지로 구별할 수 있는 감성인식 시스템을 제안하였다. 본 논문의 주요 내용은 다음과 같다.
제안 방법
- 감성 특징벡터는 매 프레임 단위로 피치, 에너지, MFCC와 ZCPA 특징을 추출하여 각 특징계수들의 평균(mean)과 표준 편차(standard deviation)를 구하고 피치, 에너지, MFCC에 대해서는 델타(Delta) 값을 구하여 최종적으로 총 136차의 특징벡터를 구성하였다.
- 추출된 특징벡터 중에서 남/여 성별을 구분하는데 탁월한 성능을 나타내는 피치와 MFCC를 이용하여 남/여 성별을 구분한다. 구분된 성별에 따라 1단계에서 구축된 최적의 남/여 성별 특징벡터 열을 남/여에 각각 적용하여 k-NN, SVM 패턴 분류기를 이용하여 질의 음성의 감성 상태를 평상, 기쁨, 슬픔 또는 화남의 4가지 감성 상태로 최종 분류한다.
- DB를 구축하였다. 구축된 감성 음성 DB는 평소 감성 음성 발성을 훈련하는 아마추어 연극단원 남/여 각 15명이 45개 문장에 대하여 4가지 감성 상태별로 발성한 음성을 총 5, 43개 16kHz, 16bit로 녹음한 것이다. 본
- 둘째, 음성의 운율적 특징을 설명하는 피치, 에너지, MFCC 외에 음성인식 분야에서 잡음에 강인한 특성을 가진 것으로 알려져 있는 ZCPA(Zero-Crossing with Peak Amplitudes) 특징间을 추가로 적용하여, 감성 인식 성능에 있어 ZCPA 특징의 유효성을 검증하였다. 셋째, 감성 특징으로 추출된 특징벡터 중 감성 인식률 향상에 기여가 높은 특징계수들만을 선별해서 시스템의 인식 성능을 향상시키고 연산 복잡도를 낮출 수 있는 SFS(Sequential Forward Selection)® 기법을 남/여 별도로 적용하였으며, 음성 감성 분류를 위한 패턴 인식기법으로는 k-NN, SVM 2가지 방법을 비교하였다.
- 있다. 본 논문에서 사용된 ZCPA 특징은 80차로, ZCPA를 포함한 전체 136차 특징벡터와 ZPCA를 제외한 56차 특징 벡터의 인식 결과를 비교하고 있다.
- 음성 감성상태를 인식하는 시스템이다. 본 논문에서 제안한 시스템은 음성 전처리 과정을 거쳐 피치, 에너지, MFCC, ZCPA 등의 136차 특징벡터를 추출하고 1 차적으로 피치, MFCC 특징벡터 열을 이용하여 성별을 분류한 다음-, 2차적으로 훈련용 음성 DB에서 SFS 기법으로 남/여 성별에 따라 선정된 최적화된 특징벡터 열을 남/여 음성에 각각 적용하여 최종 감성 상태를 분류하여 감성인식 성공률을 향상시킨다.
- 본 논문에서는 남/여 성별 차이에 따라 서로 다른 최적의 특징벡터 열을 갖는다는 가정하에 남/여 성별로 가장 높은 감성 인식률을 나타내는 특징계수부터 순차적으로 하나씩 특징계수를 추가해 가면서 감성 인식 정확도를 계산하여 남/여 성별로 최적화된 특징벡터 열을 구성하게 된다.
- 본 연구에서는 논문 [12]에서 기 구축된 DB를 이용하여 평상, 기쁘 슬픔 화남 4가지 감성에 대한 감성 음성 DB를 구축하였다. 구축된 감성 음성 DB는 평소 감성 음성 발성을 훈련하는 아마추어 연극단원 남/여 각 15명이 45개 문장에 대하여 4가지 감성 상태별로 발성한 음성을 총 5, 43개 16kHz, 16bit로 녹음한 것이다.
- 검증하였다. 셋째, 감성 특징으로 추출된 특징벡터 중 감성 인식률 향상에 기여가 높은 특징계수들만을 선별해서 시스템의 인식 성능을 향상시키고 연산 복잡도를 낮출 수 있는 SFS(Sequential Forward Selection)® 기법을 남/여 별도로 적용하였으며, 음성 감성 분류를 위한 패턴 인식기법으로는 k-NN, SVM 2가지 방법을 비교하였다. 본 논문의 구성은 다음과 같다.
- 남/여 성별로 각각 수행된 SVM-SFS 결과 여성은 25차에서 所%의 최대 인식 성공률을 남성은 淇차에서 855%의 최대 인식 성공률을 각각 나타냈다. 제안 시스템은 그림 5에서 추출된 최적 특징 벡터 열을 남/여 성별로 각각 구성하여 사용한다. 표 1은 제안 시스템에서 1차적으로 수행하게 되는 남 /여 성별 분류에 대한 실험 결과이다.
- 나타낸다. 제안 시스템은 크게 1단계 - SFS를 이용하여 남/여 성별로 최적의 감성 특징벡터 추출하는 단겨], 2단계 - 입력된 질의 음성으로부터 남/여 성별을 분류하고 분류된 성별을 바탕으로 1단계에서 구축된 성별 최적의 특징벡터 열을 적용하여 감성 상태를 분류하는 2가지 단계로 구성된다.
- 추출된 특징벡터 중에서 남/여 성별을 구분하는데 탁월한 성능을 나타내는 피치와 MFCC를 이용하여 남/여 성별을 구분한다. 구분된 성별에 따라 1단계에서 구축된 최적의 남/여 성별 특징벡터 열을 남/여에 각각 적용하여 k-NN, SVM 패턴 분류기를 이용하여 질의 음성의 감성 상태를 평상, 기쁨, 슬픔 또는 화남의 4가지 감성 상태로 최종 분류한다.
대상 데이터
- 5, 400개 음성 중 무작위로 1, 600개(남/여 각 800개, 감성별 狈개)의 음성을 선택하여 SFS를 이용한 최적의 감성 특징벡터를 선별하는데 사용하였고, 이와 문장이 중복되지 않는 400개(남/여 각 2(力개, 각 감성별 50 개)의 음성을 무작위로 선택하여 질의 데이터로 사용하였다.
이론/모형
- 피치는 일반적으로 사용되는 SHR(Subharmonic to harmonic ratio) 알고리즘1"'을 사용하였다. SHRe 음성 신호에 FFT를 취하여 2개의 피크 값 (有 을 피치 후보로 선정하고 아래의 수식 (3)에서 SHR 값을 특정 한계 값과 비교하여 SHIS] 한계 값보다 작으면 f2 를 최종 피치로 선정하고, 아니면 有을 피치로 선정한다.
- 역수를 주파수 히스토그램에 누적시킨다. 그리고 인접한 영교차점간 신호의 피크 값을 검출하여 비선형 함수를 통과한 값을 주파수 히스토그램에 가중치로 사용한다. 최종 ZCPA의 출력은 모든 채널의 히스토그램을 더함으로써 얻어지며, n번째 프레임의 ZCPA의 출력은 다음 수식 ⑸과 같이 표현할 수 있다田.
- 이후 끝점 검출은 음성 신호에서 음성 구간(voiced period)과 비-음성 구간을 구별하여 음성 구간에서만 특징벡터를 추출하기 위한 것으로 이는 비-음성 구간에서 잘못된 음성 분석과 특징벡터 추출로 인해 야기되는 시스템 성능저하를 예방하기 위한 것이다. 본 연구에서 사용된 끝점 검출기는 TK)와 에너지 엔트로피(entropy)를 이용해 낮은 SNR 환경에서도 비교적 높은 성능을 낼 수 있는 L. Gu의 알고리즘®을 이용하였다. TEO는 기존의 에너지 값이 신호의 세기만을 나타내던 것에 비하여 신호의 세기와 주파수적 특성을 동시에 나타낼 수 있는 장점이 있다.
- 일반적으로 수식(3)은 음성신호의 크기에 너무 민감하다. 이와 같은 문제점을 해결하기 위해 아래의 수식(4)와 같이 단-구간 음성 에너지는 평균크기 함수(average magnitude function)을 적용하여 에너지를 계산한다.
성능/효과
- 높은 성공률을 나타냈다. 남/여 성별로 각각 수행된 SVM-SFS 결과 여성은 25차에서 所%의 최대 인식 성공률을 남성은 淇차에서 855%의 최대 인식 성공률을 각각 나타냈다. 제안 시스템은 그림 5에서 추출된 최적 특징 벡터 열을 남/여 성별로 각각 구성하여 사용한다.
- 벡터 열을 적용하여 2차 감성 분류를 하는 제안 시스템에서는 참조 시스템에서 보였던 평상을 슬픔으로 오분류하는 경우와 화남을 기쁨으로 오분류하는 경우가 많이 줄어들어 853%의 감성인식 성공률을 나타내어 참조 시스템에 비해 약 13% 이상 감성인식 성공률이 크게 향상 되었다.
- 본 논문의 제안시스템과 같이 1차적으로 남/여 성별을 분류한 뒤 각 성별로 최적화된 특징벡터 열을 적용하여 감성 분류를 수행하는 것이 성공률 향상에 크게 기여함을 알 수 있다.
- 성능이 우수하였으며, 여성이 남성에 비해 낮은 차수에서 높은 성공률을 나타냈다. 남/여 성별로 각각 수행된 SVM-SFS 결과 여성은 25차에서 所%의 최대 인식 성공률을 남성은 淇차에서 855%의 최대 인식 성공률을 각각 나타냈다.
- Lee는 음성 신호의 음향학적 특징에 의미론적인 언어 특징 정보를 더하여 콜센터 같은 응용시스템에서 부정적인 음성 (negative) 과 비-부정적인 (non-negative) 음성을 분류할 수 있는 알고리즘을 제안하였다. 실험 결과 언어 특징 정보를 이용해 남성 음성의 경우 약 40.7%, 여성 음성의 경우 약 36.4% 향상시킬 수 있음을 밝히고 있다'Q Ronge Random Forest 와 함께 최적화된 功차 특징벡터 열을 사용하여 부정적인 음성, 긍정적인 음성 그리고 중립적인 음성의 세 가지 상태에 대해 57.3%, 27.3%, 45.9%의 인식 성공률을 얻었다⑸ 한편, Vogt는 음성을 남성과 여성으로 먼저 분류한 후 인식 성능을 평가한 결과 성별 독립 시스템이 성별 종속 시스템에 비해 약 2~4%의 성능 향상이 있음을 밝히고 있다回 Lugger는 음성의 운율적 특징정보를 이용해 음성을 High(화남, 기쁨, 근심), Low(평상, 지루함, 슬픔) 두 가지로 분류하는 감성인식 실험에서 66.7~74.5%의 인식 성공률을 보이고 있다0.
- 제안하였다. 제안 시스템은 1차적으로 남/여 성별을 구분한 뒤 각 성별에 따라 최적화된 특징벡터 열을 이용하여 2차적으로 음성 감성 인식을 수행함으로써 약 瓯3%의 높은 인식률을 달성할 수 있었다. 향후 제안시스템은 고객센터(Call center), 유비쿼터스(Ubiquitous) 환경 등에서 감성 상태에 따라 다른 맞춤형 서비스를 제공하는데 유용하게 사용될 것으로 기대된다.
- 첫째, 음성을 남/여 성별로 1차적으로 구분한 뒤 남/ 여 성별에 따라 각기 다른 최적의 특징벡터 열을 사용함으로서 감성인식 성능을 향상 시켰다.
- 표 1에서와 같이 피치와 MFCC로 구성된 특징 벡터를 이용한 SVM 분류기가 99.5%로 우수한 성별 분류성능을 나타냄을 알 수 있다. 위 결과에 따라 본 논문의 제안 시스템에서 1차 성별 분류과정에서는 피치와
- 표 2에서 보듯이 SFS 기법을 사용하지 않고 136차 특징 벡터 전체를 사용한 참조 시스템에서 k-NN 분류기는 65.3%, SVM 분류기는 72%의 인식 성공률을 보이고 있다. 반면, 남/여 성별을 구분한 제안 시스템의 경우는 이 보다 약 1-4% 정도 향상된 결과를 보이고 있다.
- 결과를 나타낸다. 표에서 제안 시스템은 남(총 54 차)/여(총 25차)별 최적화된 특징벡터 열과 SVM 분류기에 대한 평균 결과를 참조 시스템은 136차 특징 벡터가 적용된 SVM 결과를 나타낸다.
- 한편, SFS기법을 사용하여 최적화된 특징 벡터를 사용한 제안시스템은 참조시스템에 비해 k-NN 분류기에서는 약 14-16%, SVM 분류기에서는 약 14-15% 정도의 성능 향상을 보이고 있다.
후속연구
- 이외에 심장 박동 수, 체온, 혈압, 뇌파 등 다양한 수단을 통하여 감성 정보를 얻을 수 있으나 이중에서도 음성을 이용한 감성 인식 시스템은 마이크로폰을 통한 음성 신호의 입력, 처리 등이 타 매체보다 상대적으로 편리하다는 장점으로 최근에 활발한 연구가 이루어지고 있다. 이러한 음성 감성인식 시스템은 향후 유비쿼터스 (Ubiquitous) 환경에서 음성 정보를 이용하여 상대방의 감성 상태를 알고자하는 고객 센터 (Call Center), 결혼 정보 회사, 유비쿼터스(Ubiquitous) 환경 등에서 다양한 형태로 서비스될 수 있을 것이다.
- 제안 시스템은 1차적으로 남/여 성별을 구분한 뒤 각 성별에 따라 최적화된 특징벡터 열을 이용하여 2차적으로 음성 감성 인식을 수행함으로써 약 瓯3%의 높은 인식률을 달성할 수 있었다. 향후 제안시스템은 고객센터(Call center), 유비쿼터스(Ubiquitous) 환경 등에서 감성 상태에 따라 다른 맞춤형 서비스를 제공하는데 유용하게 사용될 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.