선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 감정 인식을 위한 피치 파라메터의 성능을 평가하기 위하여 GMM(Gaussian Mixture Model) 기반의 화자 및 문장 독립 감정 인식 시스템을 구현하였다. 감정 인식시스템은 크게 학습과정과 인식과정으로 나눌 수 있다.
- 본 논문에서는 음성신호의 특징 중 하나인 피치 정보를 이용한 감정 인식 시스템 개발을 목표로 피치 정보로부터 다양한 파라메터 추출방법을 연구하였다. 이를 위하여 다양한 감정이 포함된 한국어 음성 데이터베이스를 이용하여 피치의 통계적인 정보와 수치해석 기법을 사용한 피치 파라메터를 생성하였고 GMM 기반의 감정 인식 시스템을 구현하여 각파라메터의 성능을 비교하였다.
- 본 논문에서는 음성신호의 특징 중 흐}나인 피치 정보를 이용한 감정 인식 시스템 개발을 목표로 피치 정보로부터 다양한 파라머旧 추출방법을 연구하였다. 이를 위하여 다양한 감정이 포함된 한국어 음성 데이터베이스를 이용하여 피치의 통계적인 정보와 수치해석 기법을 사용한 피치 파라메터를 생성하였고 GMM(Gaussian Mixture Model) 기반의 감정 인식 시스템을 구현하여 각 파라메터의 성능을 비교흐]였다.
제안 방법
- n차식으로 수치화하여 가장 높은 차수의 계수를 이용하여 파라메터를 작성하였다.
- 녹음 동안에 감정표현이 미흡하다고 판단된 경우에는 다시 녹음을 하였다. 구축된 데이터베이스에 대하여 주관적 평가를 수행하여 구축된데이터 베이스 중에서 감정이 적절히 반영되었다고 판단되는 문장을 선택하여 감정 인식용 데이터베이스로 구축하였다. 이는 화자의 감정이 어느 정도 정확히 반영된 음성 데이터만을 선별하는 과정으로 평소 음성 신호 처리 실험에 숙련된연 구원들을 대상으로 주관적 평가를 실시하였다.
- 이렇게 구한 피치신호를 이용하여 여러가지 파라메터를 생성하였다. 기본적으로 최대값, 최소값, 평균값 등을 생성하였고 수치해석 기법을 이용하여 표 과 같은 다양한 파라메터들을 생성하였다. 각 파라메터는 문장 또는 유성음 단위로 생성되었다,
- 음성의 녹음은 평소 감정 표현을 훈련하는 아마추어 연극단원 남/녀 각 15명을 대상으로 하였다. 녹음작업은 조용한 사무실 환경에서 이루어졌고 각 화자는 45 개의 문장을 4가지 감정으로 녹음하였다. 녹음 동안에 감정표현이 미흡하다고 판단된 경우에는 다시 녹음을 하였다.
- 다음 실험에서는 GMM 기반의 감정 인식 시스템을 사용하여 각각의 피치 파라메터에 대한 감정 인식 성능을 비교하였다. 그림 2는 56개의 피치 파라메터중에서 상위 15개 파라메터들의 인식 성능을 나타낸 그래프이다.
- 또한 GMM을 사용한 감정 인식 시스템을 대상으로 SFS 알고.리즘을 통하여 56개중 15개의 파라메터 조합을 선택하였을 때 최대 63.
- 이를 위하여 다양한 감정이 포함된 한국어 음성 데이터베이스를 이용하여 피치의 통계적인 정보와 수치해석 기법을 사용한 피치 파라메터를 생성하였고 GMM 기반의 감정 인식 시스템을 구현하여 각파라메터의 성능을 비교하였다. 또한 SFS 방법을 사용하여 최고의 감정 인식 성능을 나타내는 피치 파라메터를 선정하였다 .
- 본 논문에서는 4가지 감정을 구별하는 감정 인식 외에도 감정이 포함되지 않은 음성(neutral)과 감정이 포함된 음성 (emotion)의 인식 실험도 수행하였다. 이를 위하여 감정이 포함된 음성(기쁨, 슬픔, 화남)을 합하여 표 4와 같이 데이터베이스를 재구성하였다.
- 비선형 정도 등을 알 수 있는 유용한 요소이다. 본 논문에서는 slope, curvature, inflexion로 정의하여 1차, 2차, 3차 함수로 점들을 유사화 하여 계수를 이용해 파라머旧를 작성하였다. 연속된 피치들은 식(1)과 같이 함수로 나타내어질 수 있다.
- 본 실험에서는 SFS(sequential Feature Selection)[10] 방법을 사용하여 우수한 성능을 나타내는 피치 파라메터의 조합을 선정하였다. SFS 알고리즘은 가장 우수한 성능을 나타내는 한 개의 파라메터를 선정한 후 이와 결합하였을 때 가장우수한 성능을 나타내는 파라메터의 조합을 찾아 다음 파라메터를 선정하는 방법이다.
- 본 연구에는 다양한 피치 파라메터를 생성하기 위하여 피치의 최대값, 최소값, 평균값, 표준편차 등을 Inflexion, Interquartile, Platueax, Slope, Curvature, Inflexion, Skewness, Kurtosis와 같은 수치해석 기법과 결합하여 파라메터를 작성하였다.
- ]. 본 연구에서는 인간의 주요 감정인 기쁨, 슬픔, 화남의 3가지 감정과 이틀의기준이 되는 평상 감정을 포함한 4가지 감정을 인식 대상 감정으로 결정하였다. 음성의 녹음은 평소 감정 표현을 훈련하는 아마추어 연극단원 남/녀 각 15명을 대상으로 하였다.
- 구축된 데이터베이스에 대하여 주관적 평가를 수행하여 구축된데이터 베이스 중에서 감정이 적절히 반영되었다고 판단되는 문장을 선택하여 감정 인식용 데이터베이스로 구축하였다. 이는 화자의 감정이 어느 정도 정확히 반영된 음성 데이터만을 선별하는 과정으로 평소 음성 신호 처리 실험에 숙련된연 구원들을 대상으로 주관적 평가를 실시하였다. 주관적 평가는 전체 데이터베이스 중에서 5400문장을 문장 당 10명이 청취한 후 감정이 적절히 반영되었다고 판단되는 문장을 선택하였다.
- 인식 실험도 수행하였다. 이를 위하여 감정이 포함된 음성(기쁨, 슬픔, 화남)을 합하여 표 4와 같이 데이터베이스를 재구성하였다.
- 파라메터 추출방법을 연구하였다. 이를 위하여 다양한 감정이 포함된 한국어 음성 데이터베이스를 이용하여 피치의 통계적인 정보와 수치해석 기법을 사용한 피치 파라메터를 생성하였고 GMM 기반의 감정 인식 시스템을 구현하여 각파라메터의 성능을 비교하였다. 또한 SFS 방법을 사용하여 최고의 감정 인식 성능을 나타내는 피치 파라메터를 선정하였다 .
- 추출방법을 연구하였다. 이를 위하여 다양한 감정이 포함된 한국어 음성 데이터베이스를 이용하여 피치의 통계적인 정보와 수치해석 기법을 사용한 피치 파라메터를 생성하였고 GMM(Gaussian Mixture Model) 기반의 감정 인식 시스템을 구현하여 각 파라메터의 성능을 비교흐]였다. 또한 SFS(Sequential Feature Selection)[10] 방법을 사용하여 최고의 감정 인식 성능을 나타내는 피치 파라메터를 선정하였다.
대상 데이터
- 학습 과정에서는 학습데이터를 기반으로 특징을 추출하여 기준 모델을 생성하고 인식 과정에서는 인식 데이터를 사용하여 최대 확률을 갖는 감정 모델을 입력 음성의 감정으로 결정한다. 모델의 학습에는 총 45개의 문장 중에서 35개의 문장을 20명(남성 10명과 여성 10명)이 녹음한 음성이 사용되었고 인식에는 학습에 참여하지 않은 10명(남성 5명과 여성 5명을 학습에 사용되지 않은 나머지 10개의 문장을 녹음한 음성이 사용되었다.
- 주관적 평가는 전체 데이터베이스 중에서 5400문장을 문장 당 10명이 청취한 후 감정이 적절히 반영되었다고 판단되는 문장을 선택하였다. 본 논문에서는 총 5400개의 음성 데이터 중에서 2237 개의 음성 데이터를 선별하여 데이터베이스로 구성하였다.
- 본 연구에서는 인간의 주요 감정인 기쁨, 슬픔, 화남의 3가지 감정과 이틀의기준이 되는 평상 감정을 포함한 4가지 감정을 인식 대상 감정으로 결정하였다. 음성의 녹음은 평소 감정 표현을 훈련하는 아마추어 연극단원 남/녀 각 15명을 대상으로 하였다. 녹음작업은 조용한 사무실 환경에서 이루어졌고 각 화자는 45 개의 문장을 4가지 감정으로 녹음하였다.
- 이는 화자의 감정이 어느 정도 정확히 반영된 음성 데이터만을 선별하는 과정으로 평소 음성 신호 처리 실험에 숙련된연 구원들을 대상으로 주관적 평가를 실시하였다. 주관적 평가는 전체 데이터베이스 중에서 5400문장을 문장 당 10명이 청취한 후 감정이 적절히 반영되었다고 판단되는 문장을 선택하였다. 본 논문에서는 총 5400개의 음성 데이터 중에서 2237 개의 음성 데이터를 선별하여 데이터베이스로 구성하였다.
데이터처리
- 이용흐卜였다. Praat 프로그램에서 분석창은 40ms 크기로 30ms씩 중첩되어 이동하였고 초당 100개의 분석 구간에서 피치를 계산하였다. 구하여진 피치 결과에 포함될 수 있는 갑작스런 변화를 제거하기 위하여 Praat 알고리즘에 포함된 스무딩 (smoothing) 이 사용되었다.
이론/모형
- 감정이 포함된 음성 신호의 피치를 추정할 때 Praat 알고리즘[11]을 이용흐卜였다. Praat 프로그램에서 분석창은 40ms 크기로 30ms씩 중첩되어 이동하였고 초당 100개의 분석 구간에서 피치를 계산하였다.
- Praat 프로그램에서 분석창은 40ms 크기로 30ms씩 중첩되어 이동하였고 초당 100개의 분석 구간에서 피치를 계산하였다. 구하여진 피치 결과에 포함될 수 있는 갑작스런 변화를 제거하기 위하여 Praat 알고리즘에 포함된 스무딩 (smoothing) 이 사용되었다.
- 이를 위하여 다양한 감정이 포함된 한국어 음성 데이터베이스를 이용하여 피치의 통계적인 정보와 수치해석 기법을 사용한 피치 파라메터를 생성하였고 GMM(Gaussian Mixture Model) 기반의 감정 인식 시스템을 구현하여 각 파라메터의 성능을 비교흐]였다. 또한 SFS(Sequential Feature Selection)[10] 방법을 사용하여 최고의 감정 인식 성능을 나타내는 피치 파라메터를 선정하였다.
- 본 연구에서는 피차를 구하기 위하여 Praat 알고리즴 11]을 이용하였다. 이렇게 구한 피치신호를 이용하여 여러가지 파라메터를 생성하였다.
성능/효과
- 그림 3은 최종 인식률이 나온 감정 인식 시스템에 사용된 파라메터의 개수별인식률을 나타낸 그래프이다. 56개의 파라메터중 15개를 조합했을 때 가장 높은 인식률로 63.5%를 나타냈다. 조합된 15 개의 파라메터로를 순서대로 나타내면 급격한 피치 변화율 (infcountnum), 최대값과 평균의 차이(meanjmax), Plateaux minima의 중간값(medianplaminima), 피치 상승 구간의 최대값 (risingmax), Plateaux maxima 의 interquartile range (interplamaxima), 평균과 최소값의 차이(meanjmin), 피치상승 구간의 중간값(risingmedian), 최소자승(leastsquare), 피치 최소값 (min), 유성음 구간 inflection 의 표준편차 (stdinflexions), interquartile range(interrange), 유성음 구간 curvature의 최대값(maxcurvatures), 유성음 구간 inflection의평균 (meaninflexions), 유성음구간 기울기의 표준편차 (stdslope), Plateaux minima의 평균(meanminima) 이다.
- 감정이 없는 음성과 감정이 포함된 음성과의 1:1 인식에서는 피치 파라메터로 80.3%의 인식률을 얻었으며 문장 독립적화자 인식 시스템에서뿐만 아니라 화자 및 문장 독립적 감정인식 시스템에서도 보다 적합한 인식 시스템으로 적용할 수있다고 판단된다.
- 그림 2는 56개의 피치 파라메터중에서 상위 15개 파라메터들의 인식 성능을 나타낸 그래프이다. 그림에서 알 수 있듯이 파라메터를 한 개씩만 사용했을 경우 급격한 피치 변화 (infcountnum)7} 43.7%로 가장 우수한 성능을 나타내었고그 다음으로 최소자승(leastsquare), 최대값과 최소값 차이피치 상승구간의 중간 값(risingmedian) 등의 파라메터가 높은 인식률을 나타냈다.
- 또한 GMM을 사용한 감정 인식 시스템을 대상으로 SFS 알고.리즘을 통하여 56개중 15개의 파라메터 조합을 선택하였을 때 최대 63.5%의 인식률을 얻었다.
- 5%를 나타냈다. 조합된 15 개의 파라메터로를 순서대로 나타내면 급격한 피치 변화율 (infcountnum), 최대값과 평균의 차이(meanjmax), Plateaux minima의 중간값(medianplaminima), 피치 상승 구간의 최대값 (risingmax), Plateaux maxima 의 interquartile range (interplamaxima), 평균과 최소값의 차이(meanjmin), 피치상승 구간의 중간값(risingmedian), 최소자승(leastsquare), 피치 최소값 (min), 유성음 구간 inflection 의 표준편차 (stdinflexions), interquartile range(interrange), 유성음 구간 curvature의 최대값(maxcurvatures), 유성음 구간 inflection의평균 (meaninflexions), 유성음구간 기울기의 표준편차 (stdslope), Plateaux minima의 평균(meanminima) 이다. 그림 1, 그림 2와 그림 3을 비교하여 15개의 파라메터중공통으로 포함되는 것은 급격한 피치 변화율(infcountnum), 평균과 최소값의 차이(mean_min)와 피치 상승 구간의 중간값 (risingmedian) 이다.
- 파라메터의 분산을 이용한 방법과 GM㎛을 사용한 방법으로 감정 인식 성능을 평가하였을 때 급격한 피치 변화를 나타내는 Infcountnum 파라메터가 가장 우수한 성능을 나타내었다. 또한 GMM을 사용한 감정 인식 시스템을 대상으로 SFS 알고.
- 표 2에서 13번 파라메터인 'infcountnum, 은 본 연구에서 제안한 피치가 급격히 변화한 개수를 나타내는 파라메터로 이전의 피치보다 7 이상의 큰 차이를 보이면 급격히 변화하였다고 간주하였을 때 가장 우수한 성능을 나타내었다 .
- 최종 인식률을 나타내는 표이다. 표에서 '평상 감정의 인식은 65.8%, '기쁨' 감정의 인식은 52%, 奪 감정의 인식은 71.4%, 翊감정의 인식은 64.9%로서 최종 인식률은 63.5%이다. '평상 , 슬^' , 鄭击 감정의 인식은 우수한 편이나, '슬픔' 감정의 인식에서는 화남 감정과의 구분이 명확하지 않았다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.