선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- ]에 해당하는 자료와 관련 정보를 추출하였다. 한국어의 경우 평음과 경음도 무성음으로 알려져 있지만, 본 연구에서는 모음 사이에서 유성음화가 이루어지지 않는 격음 분석을 통해 시범적으로 영어의 무성음의 경우와 얼마나 유사한 결과를 얻을 수 있는지 알아보고자 한다.
- 본 연구에서는 영어 벅아이 코퍼스와 한국어 서울 코퍼스에서 각각 무성 파열음과 격음 파열음을 자동 추출하여 개방 파열 부분에서의 스펙트럼의 양상을 살펴보았다. 특히, 중력중심값, 분산, 비대칭도와 첨예도 등으로 표현되는 운동량과 스펙트럼 기울기로 표현되는 스펙트럼 템플릿을 기반으로 다변량 통계 기법 중의 하나인 판별분석을 통하여 파열음의 조음 위치를 자동으로 분류하여 보았다.
가설 설정
- 본 연구에서는 개방 파열 부분만을 분석의 대상으로 삼아 파열음 조음 위치에 대한 분류 예측 정확도를 살펴보았지만, 발화의 일부로서의 파열음은 후속 모음과의 상호작용도 무시할 수 없을 것이다. 결국 특정한 인지적 단서는 여러 가지 음성학적 단서의 종합체(cue package)로 구성된다는 [19]의 주장처럼, 개방 파열에서만의 단서들뿐 아니라 후속 모음과 유기적으로 생성되는 성대진동개시시간(voice onset time)의 길이나 후속 모음 시작 부분의 스펙트럼 단서, 이러한 추가적인 단서들의 시간에 따른 변화 양상 등도 파열음 인지에 기여하고 있음이 분명하다.
제안 방법
- 본 연구에서는 최근에 구축된 자연발화 음성 코퍼스인 벅아이 코퍼스[15]와 서울 코퍼스[16]에서 발견되는 무성 파열음의 개방 파열 부분을 연구 대상으로 설정하여 이전 연구들의 절차를 따라 분석을 수행할 것이다. 특히, 한국어에 대한 연구는 관련 연구가 희박한 현 시점에서 의미 있는 자료가 될 것으로 생각된다.
- 이 두 코퍼스로부터 프랏[17] 스크립트를 이용하여 변이음 층으로부터 영어 [p, t, k], 한국어 격음 [ph, th, kh]에 해당하는 자료와 관련 정보를 추출하였다. 한국어의 경우 평음과 경음도 무성음으로 알려져 있지만, 본 연구에서는 모음 사이에서 유성음화가 이루어지지 않는 격음 분석을 통해 시범적으로 영어의 무성음의 경우와 얼마나 유사한 결과를 얻을 수 있는지 알아보고자 한다.
- 특히, 해당 무성 파열음의 개방 파열 시작점을 수작업으로 지정하는 대신, 프랏 스크립트를 작성하여 코퍼스에서 자동으로 시작점을 찾아내도록 하였다. <그림 1>에서 보듯이, 본 연구의 연구 대상인 무성 파열음들은 개방 파열 시작 직전이 폐쇄구간이다.
- 이 점을 활용하여, 스크립트로 하여금 파열음으로 레이블링 되어 있는 부분을 자동으로 감지하게 하였으며, 파열음 부분 전체를 폐쇄구간 시작부터 후속 모음 시작 직전까지 5 ms 간격으로 스펙트럼을 추출하였다. 그다음 스펙트럼의 에너지를 별도의 창에서 순차적으로 비교하여 갑자기 에너지가 증가하여 지정한 값을 초과하는 부분을 개방 파열의 시작점으로 지정하도록 하였다.
- 이 점을 활용하여, 스크립트로 하여금 파열음으로 레이블링 되어 있는 부분을 자동으로 감지하게 하였으며, 파열음 부분 전체를 폐쇄구간 시작부터 후속 모음 시작 직전까지 5 ms 간격으로 스펙트럼을 추출하였다. 그다음 스펙트럼의 에너지를 별도의 창에서 순차적으로 비교하여 갑자기 에너지가 증가하여 지정한 값을 초과하는 부분을 개방 파열의 시작점으로 지정하도록 하였다. 예를 들면 스크립트가 찾아낸 [k]의 개방 파열 시작점은 <그림 2>에서 해당 사운드를 관통하는 수직의 커서 위치로 볼 수 있다.
- 스크립트를 이용하여 측정 대상이 된 무성 파열음들로부터 추출된 정보는 화자 번호, 성별, 연령대, 파열음 종류, 파열음 길이, 파열음 소속 단어, 단어/발화 내 위치(어두, 어중, 어말이나 발화초, 발화 중), 이전/이후 단어, 이전/이후 변이음, 개방 파열 시작/ 끝 시간, 중력중심값, 분산, 비대칭도, 첨예도 등이다. 특히, 중력중심값을 비롯한 네 가지의 값은 개방 파열 시작부터 (후속 모음 시작 지점을 침범하지 않는 범위 내에서) 10, 20, 30, 40 msec 지점에서 해밍 윈도우를 씌워 추출한 다음 계산한 값을 기록하도록 하였다. 추출된 무성 파열음 개수는 영어의 경우는 [p, t, k] 각각 6,548개, 13,780개, 11,775개이고, 한국어의 경우는 [ph, th, kh] 각각 3,862개, 8,647개, 6,375개이며, 세부적인 사항은 <표 1>에 나타낸 바와 같다.
- 이를 알아내기 위하여 사람과 스크립트의 능력을 두 가지 관점에서 비교 판단하였다. 첫째는 해당 무성 파열음에 측정 가능한 개방 파열이 존재하는지를 사람과 스크립트 모두 올바르게 인식해내는가를 판단하는 것이고, 다른 하나는 개방 파열이 존재한다는 가정 하에 그 시작 지점을 사람과 스크립트가 얼마나 정확하게 알아내는가 하는 점이다.
- 우선 영어 벅아이 코퍼스의 40 명 화자에 대하여 한 명당 무작위로 25 개의 무성 파열음, 총 1,000 개를 선정하였다. 그런 다음 각각의 분석 대상에 대하여 스크립트를 실행하여 개방 파열의 존재 유무를 인식하는지와 존재하는 개방 파열의 시작 지점을 정확하게 알아내는지를 조사하였다. 사람이 판단하기에 개방 파열이 존재한다고 보는 많은 경우에 스크립트도 같은 판단을 하였다.
- 물론 사람은 있다고 보는데 스크립트는 찾아내지 못하는 경우도 간혹 있었다. 사람과 스크립트 모두 개방 파열이 존재한다고 판단한 경우, 그 시작점을 스크립트로 하여금 측정하게 하였다. 측정된 지점에 사람도 동의하는 경우가 많았지만, 간혹 스크립트가 측정한 지점이 틀린 경우도 있었다.
- 측정된 지점에 사람도 동의하는 경우가 많았지만, 간혹 스크립트가 측정한 지점이 틀린 경우도 있었다. 위와 같은 방식으로 한국어 서울 코퍼스의 40 명 화자에 대해서도 무작위로 추출된 1,000 개의 무성 파열 격음에 대하여 스크립트의 성능을 가늠해 보았다. 그 결과는 <표 2>에 제시하였다.
- 성별과 단어 내 위치 요인으로 인해 판별분석의 예측력이 영향을 받았을 가능성이 있으므로 이번에는 성별을 남성으로, 단어 내 위치를 어두로 하여 자료를 추출한 다음 판별분석을 다시 실시하였고 그 결과를 에 제시하였다.
- 영어와 한국어의 자료인 32,103 개와 18,884 개를 대상으로 각각 판별분석을 시행하였는데, 개방 파열의 시작 지점에서 10, 20, 30, 40 msec 등 네 경우를 측정하였으므로 각 언어별로 네 번의 판별분석을 시행하여 어떤 경우에 가장 예측 성능이 좋은지를 알아보았다. 시행한 총 판별분석의 수는 203,948 회이다 (영어: 32,103 × 4 = 128,412 번, 한국어: 18,884 × 4 = 75,536 번).
- 이번에는 운동량과 스펙트럼 템플릿 모두를 자료로 사용해 추가적으로 판별분석을 시행하였고, 그 결과를 에 나타내었다.
- 따라서 스펙트럼 템플릿을 판별분석의 자료로 이용하기 위하여 4,000 Hz를 중심으로 그 아래 부분과 위 부분의 스펙트럼 기울기를 각각 구하였다. 이렇게 하면, 양순 파열음의 스펙트럼은 두 기울기 모두 하강하는 양상을, 치경 파열음은 모두 상승하는 양상을, 연구개 파열음의 경우는 상승하다가 하강하는 양상을 보이게 될 것이므로 세 파열음을 구분할 수 있어 판별분석에 긍정적인 효과를 보일 것으로 예상할 수 있다.
- 본 연구에서는 영어 벅아이 코퍼스와 한국어 서울 코퍼스에서 각각 무성 파열음과 격음 파열음을 자동 추출하여 개방 파열 부분에서의 스펙트럼의 양상을 살펴보았다. 특히, 중력중심값, 분산, 비대칭도와 첨예도 등으로 표현되는 운동량과 스펙트럼 기울기로 표현되는 스펙트럼 템플릿을 기반으로 다변량 통계 기법 중의 하나인 판별분석을 통하여 파열음의 조음 위치를 자동으로 분류하여 보았다.
- 파열음 개방 파열 부분의 스펙트럼에서 얻은 중력중심값, 분산, 비대칭도, 첨예도 등의 운동량을 기반으로 판별분석을 시행한 경우와, 스펙트럼 기울기로 나타내어진 스펙트럼 템플릿을 기반으로 판별분석을 시행하였을 경우, 혹은 이들 두 가지 경우를 모두 합하여 판별분석을 시행하였을 경우 등 세 가지 경우에 대하여 영어와 한국어에 대한 비교를 에 나타내었다.
- 운동량을 네 개의 수치로 변환시켜 스펙트럼의 경향을 포착하려는 위의 시도와는 다소 다르지만, [4]나 [5]의 연구에서는 스펙트럼의 2 차원 분포 양상을 조음 위치별로 특정한 기울기(spectral tilt) 혹은 오르내리는 모양을 지니고 있다고 가정을 하여 스펙트럼 템플릿을 설정하였다. 운동량을 바탕으로 한 판별 분석과는 어떤 차이를 보일지 분석을 해 보았다.
대상 데이터
- 본 연구에서 사용한 자연발화 음성 코퍼스는 영어의 경우 벅아이 코퍼스, 한국어의 경우는 서울 코퍼스이다. 이 두 코퍼스는 모두 주어진 주제에 대하여 두 사람이 인터뷰 방식으로 자유롭게 발화한 것을 녹음한 것으로 단어 및 변이음별로 레이블링이 되어 있다.
- 우선 영어 벅아이 코퍼스의 40 명 화자에 대하여 한 명당 무작위로 25 개의 무성 파열음, 총 1,000 개를 선정하였다. 그런 다음 각각의 분석 대상에 대하여 스크립트를 실행하여 개방 파열의 존재 유무를 인식하는지와 존재하는 개방 파열의 시작 지점을 정확하게 알아내는지를 조사하였다.
- 시행한 총 판별분석의 수는 203,948 회이다 (영어: 32,103 × 4 = 128,412 번, 한국어: 18,884 × 4 = 75,536 번).
- 이러한 결과는 분류의 정확도나 가능성 측면에서 80 ~ 90% 혹은 그 이상의 수치를 보이고 대부분의 선행 연구와는 큰 차이를 보이고 있다. 거의 모든 선행 연구들은 분석 대상인 단어나 음절만을 낭독체 발화로 읽어 녹음한 것들인 반면, 본 연구의 분석 대상은 대화체를 기반으로 하는 자연발화 녹음이다. 녹음 타겟 단어나 음절을 명료하게 혹은 또박또박 발음하는 경향이 두드러질 수밖에 없는 낭독체 발화 방식은 분절음의 특성에 영향을 미쳤을 가능성이 크다.
데이터처리
- 중력중심값 등 수치로 표시할 수 있는 값들은 표를 통하여 평균 및 표준편차 등의 기술통계량을 제시하였고 경우에 따라 히스토그램 등을 사용하여 분포의 경향을 나타내었다. 추론 통계 분석에는 통계 프로그램인 RStudio[23]를 사용하였고 유의성은 95% 신뢰구간을 기준으로 하였다.
- 중력중심값 등 수치로 표시할 수 있는 값들은 표를 통하여 평균 및 표준편차 등의 기술통계량을 제시하였고 경우에 따라 히스토그램 등을 사용하여 분포의 경향을 나타내었다. 추론 통계 분석에는 통계 프로그램인 RStudio[23]를 사용하였고 유의성은 95% 신뢰구간을 기준으로 하였다.
- 기술 통계량으로 살펴본 분포 양상을 추론 통계를 통해 자세히 알아보기 위하여 언어별 파열음의 조음위치를 요인으로, 중력중심값을 결과값으로 보고 반복측정 분산분산을 실시하였다. 영어의 경우에는 각 길이의 개방 파열에 대하여 [p, t, k]가 중력 중심값에 대하여 통계적으로 의미 있는 영향을 미치고 있는 것으로 나타났다(40 ms의 경우, F(2,37) = 11.
이론/모형
- 파열음 개방파열의 스펙트럼에서 얻은 네 가지 운동량 즉, 중력 중심값, 분산, 비대칭도, 첨예도를 바탕으로 해당 파열음의 조음위치를 예측할 수 있는지를 알아보기 위하여 프랏에 구현되어 있는 다변량 통계 분석 기능 중의 하나인 판별분석(discriminant analysis)을 활용하였다.
- 자료를 트레이닝 자료와 테스트 자료로 나누는 방법은 프랏매뉴얼에서 추천하는 방식 중 하나인 Jacknife (leave-one-out) 분류 방식을 이용하여 프랏 스크립트를 작성한 다음 시행하였다. 이 방식은 테스트 자료로 하나의 자료만 제외하고 나머지 모든 자료를 트레이닝 자료로 이용하여 예측 모델을 구축하는 것인데, 이때 구축된 예측 모델로 테스트 자료를 예측하는 것이다.
성능/효과
- 무성 파열음의 개방 파열 부분 중 초기 40 ms에서 구한 이들 값들을 이용하여 92% 정도의 정확도로 조음 위치를 구분해낼 수 있었다고 한다. 더욱이 남성에게서 구한 값을 기준으로 여성을 분류할 때 94%의 정확도를 보여 성별에 무관함을 주장하였다. 하지만, 개방 파열을 이용한 미국 영어에 대한 조음 위치 분류는 연구 절차에 따라 정확도가 매우 달라 58%[7], 100%[8], 97%[9], 88%[10], [11], 92-98[6] 등 매우 차이가 난다.
- 한국어의 경우는 사람이 97%이고 스크립트가 92% 정도로 영어보다는 인식률이 조금 나았다. 개방 파열이 있는데도 놓친 경우를 제외해 놓고 보면, 일단 존재한다고 인식한 경우에 대하여 정확도를 살펴 보면 사람을 100%로 봤을 경우 스크립트는 영어의 경우 95%, 한국어의 경우 89% 정도의 정확도를 보인 것으로 나타났다.
- <그림 4>에서 볼 수 있듯이, 양순음의 경우는 값들의 분포 범위가 치경음에 비해 상대적으로 좁았으나, 최빈값의 분포 위치는 유사했고, 치경음과 연구개음의 경우는 분포 범위는 양순음에 비해 상대적으로 넓었고 최빈값의 위치도 다른 양상을 보였다.
- <표 4>의 % 정확도 부분에서 보듯이 영어와 한국어 모두, 개방 파열 시작부터 30 msec까지의 스펙트럼에서 얻은 중력중심값, 분산, 비대칭도, 첨예도가 가장 예측력이 강하였다. 하지만 두 경우 모두 60% 초반 대에 그친 예측 정확도는 기존의 연구 결과와는 차이를 보인다.
- 본 연구의 결과는 50% 후반대의 수치를 보이는 [7]의 연구와 결과값이 유사함을 알 수 있는데 해당 연구에서 분석에 사용된 자료는 대화체 녹음에서 추출한 것이다. 따라서 본 연구에 사용된 코퍼스가 인터뷰 형식의 대화체 음성 발화임을 감안하면, 틀문장을 통해서 만들어진 파열음과 대화체 녹음에서 추출된 파열음의 성질이 적어도 개방 파열 부분에 있어서 상이하다는 것과 개방 파열 부분에서 구한 네 가지 운동량값들만으로는 파열음 조음 위치의 구분이 만족스럽지 않다는 것을 알 수 있다.
- 60% 초반대의 정확도를 나타내는 운동량 기반의 판별분석 결과( 참조)와는 달리, 스펙트럼 기울기를 기반으로 하는 판별분석 결과는 대략 50% 중반대의 정확도를 나타내고 있다.
- 표에서 보듯이 판별분석의 정확도는 영어와 한국어 모두 60% 중반에 가까운 값을 보이고 있다. 이는 스펙트럼 템플릿만을 이용하였을 때보다 10% 정도 증가한 값이지만, <표 4>의 운동량 경우와 비교해보면 약 2% 정도의 상승에 불과하다.
- 개방 파열을 자동으로 인식하여 측정하는 프랏 스크립트의 경우 사람의 판단 지점과 5 ms 이내의 오차 범위 내에서 영어의 경우 인식률은 82%(사람은 90%), 측정 정확도는 95%(사람은 100%), 한국어의 경우 인식률은 92%(사람은 97%), 측정 정확도는 89%(사람은 100%)였다. 사람보다 인식률과 정확도는 다소 뒤지지만 일단 찾아낸 개방 파열의 시작 지점을 측정하는 데에는 89 ~ 95% 정도의 정확도를 보여 수작업이 대체 가능하다는 가능성을 보여주었다고 볼 수 있다.
- 영어의 무성 파열음 32,103 개의 경우, 개방 파열의 조음 위치가 중력중심값에 통계적으로 의미 있는 영향을 미치고 있었지만, 한국어의 격음 파열음 18,884 개의 경우, 그렇지 않았다. 네가지 운동량을 기반으로 수행한 판별분석 결과를 보면, 두 언어 모두 개방 파열의 길이가 30 ms일 때 가장 높은 예측 정확도를 보여, 영어의 경우 63.2%, 한국어는 61.4%를 나타내었다. 스펙트럼 템플릿을 기반으로 수행한 판별분석 결과는 개방 파열의 길이가 20 ms일 때 가장 높은 정확도를 보였으나, 전체적인 예측 정확도는 운동량의 경우보다 낮아서 영어는 55.
- 4%를 나타내었다. 스펙트럼 템플릿을 기반으로 수행한 판별분석 결과는 개방 파열의 길이가 20 ms일 때 가장 높은 정확도를 보였으나, 전체적인 예측 정확도는 운동량의 경우보다 낮아서 영어는 55.4%, 한국어는 54.7%를 나타내었다. 운동량과 템플릿 모두를 기반으로 판별분석을 수행했을 때는 예측력이 다소 높아져 영어는 65.
- 7%를 나타내었다. 운동량과 템플릿 모두를 기반으로 판별분석을 수행했을 때는 예측력이 다소 높아져 영어는 65.5%, 한국어는 63.3%의 예측 정확도를 보였다.
- 결국 특정한 인지적 단서는 여러 가지 음성학적 단서의 종합체(cue package)로 구성된다는 [19]의 주장처럼, 개방 파열에서만의 단서들뿐 아니라 후속 모음과 유기적으로 생성되는 성대진동개시시간(voice onset time)의 길이나 후속 모음 시작 부분의 스펙트럼 단서, 이러한 추가적인 단서들의 시간에 따른 변화 양상 등도 파열음 인지에 기여하고 있음이 분명하다. 물론 이번 연구에서 10 ~ 40 ms까지 네 단계로 개방 파열 길이를 변화시켜 시간적인 정보를 어느 정도 확보하기는 하였으나 판별분석 시행 결과, 분류 예측력의 정확도에서 있어서 크게 기여하는 점은 없었다고 생각된다.
- 개방 파열 스펙트럼의 분석만으로 대부분의 파열음 분류가 가능했던 낭독체 음성 분석 기반의 선행 연구들과는 달리, 즉흥적 대화체 음성을 기반으로 만들어진 영어 및 한국어의 자연발화 음성 코퍼스는 개방 파열 분석만으로는 무성 파열음 분류에 한계가 있으며, 정적인 스펙트럼 분석뿐 아니라 동적인 변화와 후속 모음과의 유기적 관계도 살펴봐야 할 것이라는 점을 암시하고 있다는 면에서, 또한 개방 파열 부분의 정적인 스펙트럼 분석 시에 스펙트럼 템플릿보다는 운동량 정보가 파열음 분류의 정확도에 있어서 예측력이 다소 높다는 것을 밝혀낸 것이 본 논문의 의의라고 할 수 있겠다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.