선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 기존 감정 인식 시스템의 성능을 향상하기 위하여 켑스트럼 파라메터와 다양한 피치 파라메터를 융합하는 방법을 제안하였다. 음성의 피치를 사용하여 수치해석적 방법과 통계적인 방법을 사용하여 다양한 피치 파라메터가 생성되었다.
- 본 논문에서는 스펙트럼 또는 피치 파라메터만을 사용하는 기존 감정 인식 시스템의 성능을 향상하기 위하여 음성 파라메터 융합 방법을 연구하였다. 이를 위하여 기존 감정 인식 시스템에 사용된 켑스트럼 파라메터와 다양한 피치 파라메터를 융합하여 최고의 성능을 나타내는 파라메터 조합을 선정하였다.
- 본 논문에서는 입력 음성을 감정이 포함되지 않은 음성과 감정이 포함된 음성으로 구분하는 감정 검출 실험을 수행하였다. 감정 검출을 위하여 기쁨, 슬픔 및 화남 데이터를 합쳐서 감정 음성(emotion)으로 재구성하였다.
- 본 연구에서는 MFCC와 피치 파라메터를 융합한 감정 인식 시스템의 성능을 평가하기 위하여 GMM 기반의 화자 및 문장 독립 감정 인식 시스템을 구현하였다(그림 1).
- 본 연구에서는 기존 감정 인식 시스템의 성능을 향상하기 위하여 특징 선택 방법을 사용하여 피치 파라메터를 선택하고 음성 파라메터와 융합하는 방법에 관하여 연구하였다. 감정 인식에 사용된 파라메터는 멜 켑스트럼 계수와 피치로부터 구한 파라메터를 융합하는 구조를 갖는다.
제안 방법
- MFCC와 피치 파라메터를 사용하여 각각 모델을 생성하고 인식을 수행한 후에 가중 값 α를 사용하여 최종 확률을 계산한다.
- 감정이 포함된 음성 신호의 피치를 추정하기 위하여 Praat 소프트웨어를 이용하였다[16]. Praat 소프트웨어에서 분석 창의 크기는 40ms로 하고 30ms씩 중첩되도록 이동하여 초당 100개의 피치 값을 계산하였다. 또한 Praat 소프트웨어의 스무딩 함수를 적용하여 피치 궤적에 포함될 수 있는 갑작스런 변화를 제거하였다.
- 녹음은 평소 감정을 표현하는 훈련이 된 아마추어 연극단 원 남/녀 각 15명을 대상으로 조용한 사무실 환경에서 이루어졌다. 각 화자는 45개의 서로 다른 문장을 4가지 감정으로 녹음하였다. 감정이 적절히 반영된 데이터베이스를 구축하기 위하여 주관적 평가를 수행하였다.
- 본 논문에서는 입력 음성을 감정이 포함되지 않은 음성과 감정이 포함된 음성으로 구분하는 감정 검출 실험을 수행하였다. 감정 검출을 위하여 기쁨, 슬픔 및 화남 데이터를 합쳐서 감정 음성(emotion)으로 재구성하였다. 데이터베이스는 평상 음성 630 개와 감정 음성 1607개로 구성되었다.
- 각 화자는 45개의 서로 다른 문장을 4가지 감정으로 녹음하였다. 감정이 적절히 반영된 데이터베이스를 구축하기 위하여 주관적 평가를 수행하였다. 주관적 평가는 전체 5400개의 문장을 음성 신호처리에 숙련된 연구원 10명이 청취한 후 감정이 적절히 반영되었다고 판단되는 문장을 선택하였다.
- 감정이 포함된 음성 신호로부터 MFCC 파라메터를 추출하여 사용하였다. MFCC 파라메터의 추출 과정은 다음과 같다.
- 이렇게 샘플링된 신호는 음성구간 검출 과정을 통해 묵음 구 간을 제거한다. 검출된 음성 신호는 20ms(320샘플)의 길이를 갖는 해밍 창을 사용하여 10ms씩 이동하면서 12차의 MFCC 파라 메터를 구한다. 또한 특징 파라메터의 시간적인 변화를 포함하는 ΔMFCC와 ΔΔMFCC 파라메터도 생성하였다.
- Amol T.는 멜 켑스트럼 계수(MFCC : Mel-Frequency Cepstral Coefficients)와 네가지 음성 특성을 결합하여 감정 인식을 수행하였다[7]. 음성을 사용하여 감정 인식을 수행하기 위하여 운율, 스펙트럼, 특징 파라메터 선택 방법, 인식기 등 다양한 방법이 제안되었다[8].
- Praat 소프트웨어에서 분석 창의 크기는 40ms로 하고 30ms씩 중첩되도록 이동하여 초당 100개의 피치 값을 계산하였다. 또한 Praat 소프트웨어의 스무딩 함수를 적용하여 피치 궤적에 포함될 수 있는 갑작스런 변화를 제거하였다.
- 본 실험에서는 기존 감정 인식 시스템에 사용된 켑스트럼 파라메터와 다양한 피치 파라메터를 융합하여 최고의 성능을 나타내는 파라메터를 조합을 선정하였다. 우선 기존 MFCC 또는 피치 파라메터만을 사용하는 감정 인식 시스템을 대상으로 인식 실험 을 실행한 후, 융합된 시스템의 성능을 평가하였다.
- 순차적 특징 선택 방법(SFS)은 56개의 피치 파라메터를 순차적으로 사용하여 MFCC와 결합하였을 때 가장 우수한 성능을 나타내는 피치 파라메터 조합을 선정하였다.
- 학습 과정에서는 감정별 학습 데이터를 사용하여 특징 파라메터를 추출한다. 여기서 사용된 특징 파라메터는 멜 켑스트럼 계수(MFCC)와 피치를 이용하여 수치 해석적 방법과 통계적인 방법을 사용하여 구한다. 다음 단계에서는 이러한 특징 파라메터를 사용하여 인식기를 학습한다.
- 본 실험에서는 기존 감정 인식 시스템에 사용된 켑스트럼 파라메터와 다양한 피치 파라메터를 융합하여 최고의 성능을 나타내는 파라메터를 조합을 선정하였다. 우선 기존 MFCC 또는 피치 파라메터만을 사용하는 감정 인식 시스템을 대상으로 인식 실험 을 실행한 후, 융합된 시스템의 성능을 평가하였다.
- 본 논문에서는 스펙트럼 또는 피치 파라메터만을 사용하는 기존 감정 인식 시스템의 성능을 향상하기 위하여 음성 파라메터 융합 방법을 연구하였다. 이를 위하여 기존 감정 인식 시스템에 사용된 켑스트럼 파라메터와 다양한 피치 파라메터를 융합하여 최고의 성능을 나타내는 파라메터 조합을 선정하였다. 다양한 피치 파라메터는 음성의 피치를 사용하여 수치해석적 방법과 통계적인 방법을 사용하여 생성되었다.
- 음성의 피치를 사용하여 수치해석적 방법과 통계적인 방법을 사용하여 다양한 피치 파라메터가 생성되었다. 켑 스트럼 파라메터와 결합하여 최고의 성능을 나타내는 피치 파라 메터를 선정하기 위하여 GMM을 사용한 감정 인식 시스템을 대상으로 성능이 평가되었다. 파라메터 선정 방법으로는 순차적인 특징선택 방법을 사용하였다.
- 다양한 피치 파라메터는 음성의 피치를 사용하여 수치해석적 방법과 통계적인 방법을 사용하여 생성되었다. 켑스트럼 파라메터와 결합하여 최고의 성능을 나타내는 피치 파라메터를 선정하기 위하여 가 우시안 혼합 모델(GMM : Gaussian Mixture Model) 기반의 감정 인식 시스템을 대상으로 성능이 평가되었다. 파라메터 선정 방법으로는 순차적인 특징선택 방법을 사용하였다[15].
- 반대로 plateaux at maxima 는 피치를 1차 미분한 값이 0에 가깝고 2차 미분한 값이 음수일 때 그 위치의 피치 값이다. 피치 신호의 기울기, 곡률, 선형 또는 비선형 정도를 나타내는 파라메터로 기울기(slope), 곡률 (curvature)와 변곡(inflexion)를 정의하여 1차, 2차, 3차 함수로 근사화하고 함수의 계수를 파라메터로 사용하였다. 피치 신호를 식(1)과 같이 함수로 근사화하고 가장 높은 차수의 계수 a1, b2, c3를 각각 기울기, 곡률, 변곡 파라메터로 정의하였다.
대상 데이터
- 감정 인식 시스템의 성능 평가를 위하여 기쁨, 슬픔, 화남과 평상을 포함한 4가지 감정을 포함한 데이터베이스를 사용하였다 [18]. 녹음은 평소 감정을 표현하는 훈련이 된 아마추어 연극단 원 남/녀 각 15명을 대상으로 조용한 사무실 환경에서 이루어졌다.
- 그림 1에서 GMM 모델의 학습을 위하여 20명(남성 10명, 여성 10명)이 총 45개의 문장 중에서 35개의 문장을 녹음한 음성이 사용되었다. 인식에는 학습에 참여하지 않은 10명(남성 5명, 여성 5명)을 학습에 사용되지 않은 나머지 10개의 문장을 녹음한 음성이 사용되었다.
- 감정 인식 시스템의 성능 평가를 위하여 기쁨, 슬픔, 화남과 평상을 포함한 4가지 감정을 포함한 데이터베이스를 사용하였다 [18]. 녹음은 평소 감정을 표현하는 훈련이 된 아마추어 연극단 원 남/녀 각 15명을 대상으로 조용한 사무실 환경에서 이루어졌다. 각 화자는 45개의 서로 다른 문장을 4가지 감정으로 녹음하였다.
- 감정 검출을 위하여 기쁨, 슬픔 및 화남 데이터를 합쳐서 감정 음성(emotion)으로 재구성하였다. 데이터베이스는 평상 음성 630 개와 감정 음성 1607개로 구성되었다.
- 주관적 평가는 전체 5400개의 문장을 음성 신호처리에 숙련된 연구원 10명이 청취한 후 감정이 적절히 반영되었다고 판단되는 문장을 선택하였다. 이런 과정을 통하여 총 5400개의 음성 중에서 2237개의 음성을 선별하여 최종 데이터베이스로 구성하였다.
- 그림 1에서 GMM 모델의 학습을 위하여 20명(남성 10명, 여성 10명)이 총 45개의 문장 중에서 35개의 문장을 녹음한 음성이 사용되었다. 인식에는 학습에 참여하지 않은 10명(남성 5명, 여성 5명)을 학습에 사용되지 않은 나머지 10개의 문장을 녹음한 음성이 사용되었다.
- 감정이 적절히 반영된 데이터베이스를 구축하기 위하여 주관적 평가를 수행하였다. 주관적 평가는 전체 5400개의 문장을 음성 신호처리에 숙련된 연구원 10명이 청취한 후 감정이 적절히 반영되었다고 판단되는 문장을 선택하였다. 이런 과정을 통하여 총 5400개의 음성 중에서 2237개의 음성을 선별하여 최종 데이터베이스로 구성하였다.
- 본 실험에서 사용된 피치 파라메터를 다음과 같이 정의하였다 [9,14,17]. 총 56개의 파라메터를 정의하였고 유성음과 문장 단위의 피치 파라메터를 별도로 생성하였다. 먼저 문장단위의 파라메터로 파라메터로 피치의 최대값, 최소값, 평균값, 최대 및 최소값 과 평균의 차이, 최대값과 최소값 차이, 표준편차, 변곡 및 급격한 변곡의 횟수, 평균 이상과 이하에서의 평균, 상위 10%의 평균, 사분범위 등이 생성되었다.
- 켑스트럼 파라메터로는 MFCC, ΔMFCC, ΔΔMFCC를 연결하여 사용하였다.
데이터처리
- 이렇게 구한 피치 궤적를 이용하여 여러가지 파라메터를 생성하였다. 기본적으로 피치의 최대값, 최소값, 평균값, 표준편차 등을 생성하였고 통계 및 수치해석 기 법을 이용하여 다양한 파라메터들을 표 1과 같이 생성하였다 [9,14,17].
- 9%의 최고 인식 성능을 나타내었다. 선정된 피치 파라메터는 사분범위, 급격한 변곡 횟수, 피치의 평균과 최소 차이, 평균이상 값의 평균값, 유성음 구간 변곡의 평균값, 첨도, 상승 기울기 구간의 중간값, 유성음 구간 곡률의 평균값, plateaux at maxima의 사분범위, 유성음 구간 기울기의 최대값, 하강 기울기의 사분위수 지속 구간, 유성음 구간 변곡의 표준편차 등이 선택되었다. 이러한 파라메터 들은 앞에서 수행한 감정 인식에서 선택된 파라메터와 상당히 유사한 것으로, 이들 파라메터들은 여러 감정에 따른 감정 변화를 잘 나타내어 감정 검출에도 유용한 것으로 볼 수 있다.
이론/모형
- 그림 2는 피치 파라메터와 MFCC를 각각 사용하여 감정 인식을 수행한 결과를 나타낸다. 56개의 파치 파라메터 중에서 우수한 성능을 나타내는 파라메터를 선정하기 위하여 순차적인 특징 선택 방법을 사용하였다[13]. 이러한 방법은 먼저 가장 우수한 성능의 파라메터 하나를 선정한 후, 이와 결합하였을 때 가장 우수한 성능을 나타내는 파라메터의 조합을 찾아가는 과정을 반복하여 원하는 개수의 파라메터를 선정한다.
- 감정이 포함된 음성 신호의 피치를 추정하기 위하여 Praat 소프트웨어를 이용하였다[16]. Praat 소프트웨어에서 분석 창의 크기는 40ms로 하고 30ms씩 중첩되도록 이동하여 초당 100개의 피치 값을 계산하였다.
- 다음 단계에서는 이러한 특징 파라메터를 사용하여 인식기를 학습한다. 본 연구에서는 인식기로 가우시안 혼합 모델(GMM)을 사용하였고 MFCC와 피치 파라 메터에 대하여 각각 인식 모델을 생성하였다. 이렇게 생성된 모델은 인식 단계를 위해 저장된다.
- 켑 스트럼 파라메터와 결합하여 최고의 성능을 나타내는 피치 파라 메터를 선정하기 위하여 GMM을 사용한 감정 인식 시스템을 대상으로 성능이 평가되었다. 파라메터 선정 방법으로는 순차적인 특징선택 방법을 사용하였다.
- 켑스트럼 파라메터와 결합하여 최고의 성능을 나타내는 피치 파라메터를 선정하기 위하여 가 우시안 혼합 모델(GMM : Gaussian Mixture Model) 기반의 감정 인식 시스템을 대상으로 성능이 평가되었다. 파라메터 선정 방법으로는 순차적인 특징선택 방법을 사용하였다[15].
- 피치 궤적을 구하기 위하여 자기상관방법을 사용하는 Praat 소프트웨어[16]을 이용하였다. 이렇게 구한 피치 궤적를 이용하여 여러가지 파라메터를 생성하였다.
성능/효과
- ‘슬픔’과 ‘화남’ 감정의 인식은 우수한 편이나, ‘평상’ 감정은 ‘슬픔’ 감정과 오인식이 많았고 ‘기쁨’ 감정의 인식에 서는 ‘화남’ 감정과의 구분이 명확하지 않았다.
- 4%의 최 고 인식 성능을 나타내었다. 가장 우수한 성능을 나타내는 피치 파라메터를 순서대로 나타내면 plateaux at minima의 중간값, plateaux at maxima의 사분범위, 최소 자승, 피치 상승 구간의 최대값, 피치 상승 구간의 중간값, 피치 상승 구간의 사분범위, 유성음 구간 변곡의 평균값, 피치의 표준편차, 하강 구간의 최대값, plateaux at maxima의 중간값, 평균 이하값의 평균값, 유성음 구간 곡률의 최대값, 급격한 변곡 횟수 등이다. 이렇게 선택된 파라메터들은 여러 가지 감정에 따라 피치가 급격하게 변화하는 것을 잘 표현하는 파라메터로 볼 수 있다.
- 그림에서 MFCC+ΔMFCC+ΔΔMFCC를 사용하는 경우 71.6%, 피치 파라메터만을 사용하는 경우는 63.5%이고 피치 파라메터와 MFCC+ΔMFCC를 융합하여 사용한 경우가 81.4%로 가장 우수하였다.
- 그림 4는 피치 파라메터와 MFCC와 ΔMFCC를 사용하고 순차적인 특징 선택 방법에 따라 선택된 피치 파라메터의 개수에 따른 인식률을 나타낸 그래프이다. 그림에서 선택된 피치 파라메터 개수가 10개 이상이면 최고값에 수렴하고 28개일 때 81.4%의 최 고 인식 성능을 나타내었다. 가장 우수한 성능을 나타내는 피치 파라메터를 순서대로 나타내면 plateaux at minima의 중간값, plateaux at maxima의 사분범위, 최소 자승, 피치 상승 구간의 최대값, 피치 상승 구간의 중간값, 피치 상승 구간의 사분범위, 유성음 구간 변곡의 평균값, 피치의 표준편차, 하강 구간의 최대값, plateaux at maxima의 중간값, 평균 이하값의 평균값, 유성음 구간 곡률의 최대값, 급격한 변곡 횟수 등이다.
- 그림에서 알 수 있듯이 MFCC에 ΔMFCC와 ΔΔMFCC를 결합하여 사용할수록 인식 성능이 상승되어 MFCC+Δ MFCC+ΔΔMFCC의 경우에 가장 우수한 71.6%의 인식 성능을 나 타내었다.
- 본 실험에서 특징 선택을 통하여 선택된 피치 파라메터들은 여러 가지 감정에 따라 피치가 급격하게 변화하는 것을 잘 표현 하는 파라메터로 볼 수 있다. 또한 이러한 피치 파라메터들은 스펙트럼 파라메터와 융합되어 사용될 때가 각각을 독립적으로 사용될 때보다 우수한 성능을 보였다. 이러한 특성은 감정이 포함된 음성을 찾아내는 감정 검출 실험에서도 유사한 성능 향상을 나타내어 85.
- 총 56개의 파라메터를 정의하였고 유성음과 문장 단위의 피치 파라메터를 별도로 생성하였다. 먼저 문장단위의 파라메터로 파라메터로 피치의 최대값, 최소값, 평균값, 최대 및 최소값 과 평균의 차이, 최대값과 최소값 차이, 표준편차, 변곡 및 급격한 변곡의 횟수, 평균 이상과 이하에서의 평균, 상위 10%의 평균, 사분범위 등이 생성되었다. 또한 상승 및 하강 기울기의 최대 값, 최소값, 평균값, 중간값, 최대 구간값, 사분위수 지속 시간 등 이 생성되었다.
- 이는 피치만을 사용한 경우의 인식률인 63.5%보다 17.9%가 향상되었고 MFCC+ΔMFCC+ΔΔMFCC만을 사용한 경우 보다 9.8%가 향상된 것으로 피치 파라메터와 MFCC 파라메터 융합의 감정 인식 성능 향상에 도움이 되는 것으로 볼 수 있다.
- 4%로 가장 우수하였다. 이러한 값은 MFCC+ΔMFCC+ΔΔMFCC만을 사 용한 경우보다 오차가 34.5% 감소하고 피치만을 사용한 경우보다 48.9% 감소한 것이다.
- 4%로 가장 우수하였다. 이러한 값은 MFCC+ΔMFCC+ΔΔMFCC만을 사 용한 경우보다 오차가 34.5% 감소하고 피치만을 사용한 경우보다 48.9% 감소한 것이다.
- 또한 이러한 피치 파라메터들은 스펙트럼 파라메터와 융합되어 사용될 때가 각각을 독립적으로 사용될 때보다 우수한 성능을 보였다. 이러한 특성은 감정이 포함된 음성을 찾아내는 감정 검출 실험에서도 유사한 성능 향상을 나타내어 85.9%의 감정 검출성능을 나타내었다.
- 평상, 기쁨, 슬픔 및 화남의 4가지 감정을 구별하는 화자 및 문장 독립 감정 인식 실험에서 총 56개의 피치 파라메터중 28개를 선택하여 MFCC+ΔMFCC를 결합하여 사용한 경우가 81.4%로 가장 우수하였다. 이러한 값은 MFCC+ΔMFCC+ΔΔMFCC만을 사 용한 경우보다 오차가 34.
- 표 3은 감정 검출 시스템의 인식 성능을 나타낸다. 표에서 감정이 없는 음성(neutral)은 인식률은 86.8%이고 감정이 포함된 음성(emotion)의 인식률은 84.8%로 최종 85.9%의 인식 성능을 나타내었다.
- 피치 파라메터와 결합 하여 가장 우수한 성능을 보인 것은 피치 파라메터와 MFCC와 ΔMFCC를 결합하여 사용하였을 때로 81.4%의 인식 성능을 나타내었다.
후속연구
- 현재 음성 인식과 화자 인증 기술은 실용화가 가능할 정도로 안정화되고 있고, 미래기술로 많은 관심과 주목받고 있는 분야는 감정인식 분야이다. 특히, 기계가 인간 감정을 파악하고, 그에 따라 정서적으로 반응하는 시스템 개발이 개발된다면 보다 고차원적인 인간-컴퓨터 인터페이스 제품 개발과 고객 중심의 맞춤형 서비스가 가능하게 될 것이다. 이에 따라 유럽, 미국, 일본, 중국 등 국외뿐만 아니라 국내에서도 감정 인식 분야가 중요한 과제로 연구되고 있다[1].
※ AI-Helper는 부적절한 답변을 할 수 있습니다.