선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구는 이러한 억양곡선 정규화기법을 감정음성의 음향적 분석에 적합하도록 보완해서 적용하고 분석하였다. 감정음성 말뭉치(Corpus)자료를 대상으로 억양근접복사 유형화 기법(Close-copy stylization)을 사용해서 일관성 있게 자동으로 값을 추출했다는 점에서 적은 양의 감정음성에서 주관적 판단에 기반한 수작업으로 뽑은 측정값을 사용한 기존연구(Bänziger et al.
제안 방법
- 또한 환산된 값을 대상으로 와 같이 피치포인트 이동거리를 구하였다.
- 본 연구에서 분석한 독일어 감정음성 데이터베이스(A Database of German Emotional Speech)는 Burkhardt등에 의해 2005년에 만들어졌다. 이를 위해 5명의 여성 배우와 5명의 남성 배우들이 7가지 감정(anger, fear, happiness, neutral, sadness, disgust, boredom)을 연기하면서 발화했고 무향실에서 Sennheiser MKH 40P 48 마이크와 Tascam DA-P1 DAT 녹음기로 총 800개의 발화문장을 녹음했다. 발화에 사용된 문장은 감정중립적인 문장으로 총 10문장이었다.
- 본 연구는 억양을 근접복사 유형화시킨 후 기존연구에서 살펴본 발화문장 내 억양자질들(피치포인트 이동시간, 피치포인트 이동거리, 피치포인트 피치변위, 피치포인트 기울기)뿐만 아니라 각각의 발화문장 전체의 피치기울기와 피치변위 그리고 발화문미의 피치변위 등의 억양자질들을 추가하여 기존연구(오재혁, 2014a; 오재혁, 2014b)를 보완하였다.
- 본 연구에 추가 억양자질로 사용된 발화문장 피치기울기(Pitch slope of a sentence)는 <그림 6>에서와 같이 마지막 피치포인트(Pn)와 첫 번째 피치포인트(P1)간의 피치차이를 이 둘 간의 시간(Tn - T1)으로 나눈 값이다. 발화문장 피치변위(Pitch range of a sentence)는 첫 번째 피치포인트와 마지막 피치포인트의 피치차이로 측정하였다. 그리고 발화문미 피치변위(Final pitch range)는 한 발화문장에서 발견되는 모든 피치 포인트들의 피치 중앙값(Median pitch value)과 마지막 피치포인트의 피치와의 차이로 계산하였다.
- 발화문장 피치변위(Pitch range of a sentence)는 첫 번째 피치포인트와 마지막 피치포인트의 피치차이로 측정하였다. 그리고 발화문미 피치변위(Final pitch range)는 한 발화문장에서 발견되는 모든 피치 포인트들의 피치 중앙값(Median pitch value)과 마지막 피치포인트의 피치와의 차이로 계산하였다. 중앙값은 일반적으로 사용되는 평균값보다 피치의 분석에서와 같이 오류와 정확도의 문제로 인해 생기기 쉬운 극단적 값들(outliers)의 영향을 덜 받기 때문에 정규화가 필요한 음성분석의 연구에 쓰여지고 있다(Forsell 2007, 이서배 et at.
- , 2011). 또한 본 연구에서 억양 특성을 산출하기 위해 작성한 Praat 스크립트에서 피치분석의 정확도를 높이기 위해 측정대상 지점의 전후 20ms 구간의 평균과 표준편차를 구한 뒤 평균값에 3표준편차(3*표준편차) 값을 더하거나 빼어서 피치측정 범위의 한계를 정한 후 구한 값이 이 범위 안에 들어있을 때는 그 값을 피치 값으로 지정하고 그렇지 않으면 그 지점 전후 20ms구간의 평균값을 대입했다. 이 범위 밖으로 나가는 경우 성대의 떨림이 이정도로 급작스럽게 변하지 않을 것이라는 전제하에 해당 20ms구간의 평균값을 취함으로 피치에러를 제거한 것이다(양병곤, 2000).
- 지금까지 억양의 근접복사 유형화(close-copy stylization)를 이용한 감정음성의 음향적 특징을 살펴보았다. 발화문장 내 피치포인트 간 억양자질들로 감정음성을 분석했을 때 남녀 간에 유의한 차이가 없는 것으로 나타나 기존연구(오재혁, 2014a; 오재혁, 2014b)에서와 마찬가지로 정규화에 필요한 억양자질들의 항상성이 재확인 되었다.
대상 데이터
- 이를 위해 5명의 여성 배우와 5명의 남성 배우들이 7가지 감정(anger, fear, happiness, neutral, sadness, disgust, boredom)을 연기하면서 발화했고 무향실에서 Sennheiser MKH 40P 48 마이크와 Tascam DA-P1 DAT 녹음기로 총 800개의 발화문장을 녹음했다. 발화에 사용된 문장은 감정중립적인 문장으로 총 10문장이었다.
- , 2005). 본 연구에서는 7가지 감정 중 감정음성 연구에서 주로 다루고 있는 5가지 감정 즉, 분노(angry), 두려움(fearful), 행복(happiness), 중립(neutral), 슬픔(sadness)의 음성을 대상으로 분노에서 127문장, 두려움에서 69문장, 행복에서 71문장, 중립에서 79문장, 슬픔에서 62문장을 뽑아 분석대상으로 삼았다.
데이터처리
- 유의미한 차이를 보인 두 종속변수(피치포인트 이동시간과 피치포인트 이동거리)별로 어느 감정들 간에 차이가 있는지를 살펴보기 위해 사후검정(Tukey HSD)을 실시했다. 그 결과, 피치포인트 이동시간의 경우, 다음과 같은 감정음성들 간에 차이가 났다: 분노 vs.
- 유의미한 차이를 보인 세 억양자질(발화문미 피치변위, 발화문장 피치변위, 발화문장 피치기울기)별로 어느 감정들 간에 차이가 있는지 살펴보기 위해 사후검정(Tukey HSD)을 실행했다. 사후검정결과, 발화문미 피치변위의 경우 다음과 같은 감정음성들 간에 차이가 났다: 분노 vs.
이론/모형
- 먼저 피치측정 값의 물리적인 단위로 기존연구(오재혁, 2014a; 오재혁, 2014b)에서 사용한 Hz대신 청각적 스케일 단위인 mel을 사용하였다3). 감정음성의 인지는 청각으로 처리된 신호를 대상으로 인간이 판단하는 작업이므로 물리적인 단위인 Hz보다는 청각적 특성을 반영한 mel 스케일을 사용해서 피치 값을 구하는 것이 보다 감정음성의 음향분석에 합리적일 것이다.
성능/효과
- 두 화자 집단(여성, 남성)과 다섯 가지 감정음성(분노, 두려움, 행복, 중립, 슬픔)을 모수요인으로 하고 억양 근접복사 유형화로부터 얻은 발화 내 자질들(피치포인트 이동시간, 피치 포인트 변위, 피치포인트 기울기, 피치포인트 이동거리)을 종속변수로 하는 MANOVA(다변량 분산분석)를 실시한 결과 남녀 두 화자 집단 간에는 어느 변수에서도 유의미한 차이가 없었고 두 화자 집단과 감정음성 간에는 어떠한 상호작용도 없었다. 이것은 기존의 억양곡선 정규화 연구(오재혁, 2014a; 오재혁, 2014b)와 부합하는 결과이다.
- , 2005)와 맥락을 같이하고 있다. 이 연구에서도 감정발화에서 피치변위의 영향을 통제했을 때 수작업으로 설정한 피치포인트 간의 기울기가 감정에 의해 받는 영향이 유의하지 않은 것으로 나타났다.
- 001). 정리하면, 피치포인트 이동시간의 경우 행복과 분노 간에는 차이가 없었지만 나머지 감정들은 서로 간에 유의한 차이를 보였고 피치포인트 이동거리의 경우, 행복과 분노 간에 역시 차이가 없었고 분노와 중립 그리고 두려움과 중립 간에도 차이가 없었다.
- 두 화자 집단(여성, 남성)과 다섯 가지 감정음성(분노, 두려움, 행복, 중립, 슬픔)을 모수요인으로 하고 억양 근접복사 유형화로 억양곡선 전체 즉, 각각의 발화문장 전체로부터 얻은 억양 자질들(발화문미 피치변위, 발화문장 피치변위, 발화문장 피치기울기)을 종속변수로 하는 MANOVA(다변량 분산분석)를 실시한 결과 남녀 두 화자 집단 간에는 발화문미 피치변위[F(1, 5.194), p<0.05, ηP2= 0.013]와 발화문장 피치변위[F(1, 4.016), p<0.05, ηP2= 0.010]에서 유의미한 차이가 있었다.
- 이상의 결과를 보면 발화문장 내 억양자질과 마찬가지로 발화문장 전체의 억양자질에서도 행복과 분노가 일관성 있게 동일그룹에 속했다. 즉, 행복과 분노는 발화문장 수준에서도 억양 음향적으로 서로 차이가 없고 다른 감정음성들과도 구분된다는 것이다.
- 이는 슬픔의 감정음성이 Arousal과 Potency/Control이 낮고 Valence가 부정적인 것과 관련이 있을 것으로 추정된다. 한편 Arousal이 크고 Potency/Control이 높은 행복과 분노의 감정음성은 다른 감정 음성들보다 음향적 절대치가 더 컸다. 이상과 같이, 앞 절의 결과와 마찬가지로 발화문장 전체와 관련한 억양자질들도 주관적인 감정음성의 평가를 물리적인 음향자질들의 측정값과 연관 지을 수 있는 가능성을 보여준다.
- 한편 Arousal이 크고 Potency/Control이 높은 행복과 분노의 감정음성은 다른 감정 음성들보다 음향적 절대치가 더 컸다. 이상과 같이, 앞 절의 결과와 마찬가지로 발화문장 전체와 관련한 억양자질들도 주관적인 감정음성의 평가를 물리적인 음향자질들의 측정값과 연관 지을 수 있는 가능성을 보여준다.
- 발화문장 내 피치포인트 간 억양자질들 중 피치포인트 이동시간과 피치포인트 이동거리는 분노와 행복을 일관성 있게 하나로 묶어 주어 다른 감정음성들과 음향적으로 차별됨을 보여주었다. 분노와 행복은 Arousal(각성)과 Potency/Control(힘/통제)의 정도가 크다는 공통점이 있다.
후속연구
- 이러한 결과로 볼 때, 본 연구는 음성으로 표현되어 주관적으로 인지되는 감정의 정도를 물리적인 음향자질들의 값으로 추정할 수 있는 가능성을 보여준다고 생각한다. 향후 감정음성의 억양과 관련한 초분절적 자질들을 감정별로 차이가 나는 모음의 포먼트값(이서배, 2011)과 같은 분절적 자질들과 연계해 더 많은 음향적 자질들로 감정음성을 분류하는 방안을 모색할 필요가 있을 것이다.
- 이러한 결과로 볼 때, 본 연구는 음성으로 표현되어 주관적으로 인지되는 감정의 정도를 물리적인 음향자질들의 값으로 추정할 수 있는 가능성을 보여준다고 생각한다. 향후 감정음성의 억양과 관련한 초분절적 자질들을 감정별로 차이가 나는 모음의 포먼트값(이서배, 2011)과 같은 분절적 자질들과 연계해 더 많은 음향적 자질들로 감정음성을 분류하는 방안을 모색할 필요가 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.