선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이 논문에서는 음성인식 기술을 발음진단과 개선에 활용할 목적으로 33명의 대학생들이 또렷한 음성과 대화체의 두 가지 양식으로 발음한 영어문단을 구글음성인식기를 이용해 인식시키고, 원문텍스트와 인식된 어구의 단어를 비교했다. R의 분석스크립트와 table 함수를 이용해서 단어별로 바르게 인식된 빈도수와 오인식된 단어들을 조사했다.
- 이 연구의 목적은 영어전공 대학생들이 서로 다른 발화 양식으로 영어문단을 읽었을 때 음성인식기가 어떤 표현이나 단어를 잘 인식하고, 잘 인식되지 않는 표현이나 단어의 음성언어학적 특징은 무엇인지 등을 살펴봄으로써 이들의 영어발음을 진단하고 교정하는데 근본적인 도움을 주는 것이다. 연구문제를 구체적으로 서술하면 다음과 같다.
- 이러한 참여자별 특성을 살펴보기 위해 에 개인별로 또렷한 음성과 대화체의 발화양식에 따라 인식률의 변화를 나타내어 보았다.
- 이번에는 구체적으로 어떤 단어들이 이런 발화양식에 따른 단어인식률의 차이를 보였는지를 를 통해 살펴보기로 한다.
- 이번에는 어구별로 또렷한 음성과 대화체에 대한 단어인식률을 를 통해 살펴본다.
가설 설정
- 3. 또렷한 음성의 단어인식률 평균값으로 구분한 상・하위집단별 단어인식 유형은 어떠한가?
제안 방법
- R에서의 처리과정을 간략하게 서술해보면, 먼저 문자열 처리 라이브러리인 stringr패키지를 설치하고 11개 행의 원래의 단어목록을 r1,r2…r11 등의 변수 리스트로 불러들여 메모리에 저장했다.
- 이 논문에서는 음성인식 기술을 발음진단과 개선에 활용할 목적으로 33명의 대학생들이 또렷한 음성과 대화체의 두 가지 양식으로 발음한 영어문단을 구글음성인식기를 이용해 인식시키고, 원문텍스트와 인식된 어구의 단어를 비교했다. R의 분석스크립트와 table 함수를 이용해서 단어별로 바르게 인식된 빈도수와 오인식된 단어들을 조사했다. 이어서 또렷한 발음의 단어인식률 평균값을 기준으로 상·하위집단으로 나누었을 때 집단별 단어인식률의 분포와 개인별 음성인식 경향을 단어를 구성하는 음성의 유형별로 분석하여 대학생들의 영어발음의 문제점을 찾아보았다.
- 각 행에 대한 분석은 이 통합문서를 R로 불러와 참여자와 11개의 어구별로 되풀이하며 인식된 단어수와 목록, 인식되지 않는 단어수와 목록을 매트릭스자료에 모아 하드디스크의 결과 파일에 덧붙여 쓰는 스크립트를 만들어 실행했다. R에서의 처리과정을 간략하게 서술해보면, 먼저 문자열 처리 라이브러리인 stringr패키지를 설치하고 11개 행의 원래의 단어목록을 r1,r2…r11 등의 변수 리스트로 불러들여 메모리에 저장했다.
- 이 문단 자체는 영어에서 나타나는 자모음을 모두 넣으려고 구성하는 과정에서 담화적인 맥락의 전개로서는 부자연스러우나 영어학습자의 단어인식률을 점검하는데는 도움이 될 것으로 보아 사용하게 되었다. 녹음에서는 구두점이 들어간 원문을 읽게 했지만, 이 논문에서는 69개의 연속된 단어로 된 텍스트를 아래와 같이 11개의 문장이나 어구로 나누어 설명하기로 한다. 이 가운데 일부는 완전한 문장도 있지만 이 논문에서는 어구로 표현한다.
- 녹음하는 과정은 대학생들이 조용한 연구실에서 PC컴퓨터에 연결된 젠하이져 헤드셋 마이크를 입에서 10 cm 정도로 띄운 채 발음하게 하고 이를 GoldWave(v5.70)버전을 이용해서 PCM signed 16 bit mono로 컴퓨터에 녹음했다. 이들은 영어문단을 모두 두 번씩 발음했는데 처음에는 또렷한 음성으로 약간 느린 속도로 모든 단어를 명확하게 발음했고, 이어서 대화체로 평소의 대화속도에 맞춰 약간 빠르게 발음했다.
- 2절에서 제시한 것처럼 3～9개의 단어로 된 11개의 문장이나 어구로 나누었다. 아래한글의 찾아 바꾸기를 이용하여 첫머리에 오는 단어를 찾아 한꺼번에 줄바꾸기를 통해 행별로 분할했다. 이어서 잘못된 단어로 인식되거나 누락된 단어 때문에 분리가 안 된 어구는 연구자가 원문 문단과 대조하면서 수작업으로 하나씩 분할한 다음, 참여자별로 인식된 단어목록으로 된 11개의 행을 복사하여 엑셀의 열마다 붙여서 하나의 통합문서로 저장했다.
- 5%로 50%가 채안 되는 아주 낮은 단어인식률을 보인다. 이렇게 낮은 인식률을 보인 이유는 다른 어구에 비해 마찰음 [s]가 많이 들어간 것이 한 가지 원인으로 보이는데, 다음 단락에서 구체적으로 분석해 보기로 한다. 9번 어구도 51.
- 이어서 또렷한 발음의 단어인식률 평균값을 기준으로 상·하위집단으로 나누었을 때 집단별 단어인식률의 분포와 개인별 음성인식 경향을 단어를 구성하는 음성의 유형별로 분석하여 대학생들의 영어발음의 문제점을 찾아보았다.
- 앞에서도 언급했듯이 문자열 처리 함수(str_count)에서 빈칸이 있는 경우와 없는 경우가 다르게 처리되기 때문에 행의 시작과 끝에 있는 단어는 각각 뒤쪽과 앞쪽에 빈칸을 넣어 저장했다. 이어서, 결과를 저장할 빈 매트릭스를 13개 행과 7개의 열로 구성한 다음, 첫 줄에 화자의 번호와 속도에 따른 구분기호를 넣고, 두 번째 행부터는 원래의 단어목록에 들어있는 단어 순서대로 하나씩 해당 단어가 화자별로 인식된 행의 단어목록에 들어 있는지를 str_count 함수를 이용해 확인하고, 있으면 인식된 단어수를 증가시키고 동시에 인식된 단어를 문자열에 덧붙여 변수로 저장하고, 없으면 잘못 인식된 단어수를 증가시키고 동시에 문자열을 덧붙여 변수로 처리한 뒤, 결과로 구한 변수값을 매트릭스의 열에 차례로 입력했다. 이 매트릭스의 뒤쪽 열에는 화자마다 인식된 문자열을 입력하여 나중에 잘못 인식된 단어를 확인하기 편하도록 했다.
- 인식기의 성능을 사전에 확인하기 위해 The speech accent archive(2017)에 제공되어 있는 피츠버그 태생의 42세 미국인 남성(speakerid=61)과 브룩클린 태생의 45세 여성(speakerid=121)의 음성을 컴퓨터에서 바로 재생함과 동시에 스테레오믹스기능으로 GoldWave에 녹음한 뒤, Praat(Boersma &Weenink, 2017)에서 최대값으로 증폭하여 인식시켜 보았다.
대상 데이터
- 실험에 사용한 영어문단은 The speech accent archive(2017)의 원문을 이용했다. 이 사이트에는 영어원어민과 비원어민화자들이 구어의 전달문 형태의 문단을 자연스럽게 읽은 녹음 표본을 제공하고 있다.
- 연구의 참여자는 영어음성학 과목을 수강한 대학생 중 33명이다. 이들은 영어교육을 전공하는 2-3학년생으로 원어민의 회화 수업을 비롯한 영어전공과목을 이수하였고, 본인이 평가한 영어의사소통능력에서 발음부분을 중급이상으로 표시한 학생들이다.
데이터처리
- 마지막으로 이렇게 처리한 결과파일을 엑셀에서 다시 불러와 공백을 기준으로 텍스트나누기를 시행하여 엑셀의 평균과 표준편차 등을 구하는 함수나 정렬기능을 이용하여 전체적인 단어인식률을 계산하거나 화자, 어구, 발화양식별로 잘못 인식된 단어를 분석하는데 활용했다. 인식 단어의 빈도 분포는 정렬하여 텍스트파일로 저장한 다음 R의 table 함수를 이용하여 구했다.
성능/효과
- 7%를 보였는데, 다소 빠른 속도로 발화한 대화체의 단어인식률이 전체적으로 낮았다. 구체적으로 단어인식률은 개인별 발화의 특성과 내용어보다는 기능어의 인식이 낮았고, 마찰음이 들어간 단어들에서 대체로 낮은 인식을 보였는데, 그 원인으로 개인별 발화오류와 원어민의 음성인식에서도 드러난 점을 고려해볼 때 음성인식기 자체의 문제점도 있었다.
- 구체적으로 에서her의 오인식 빈도수는 16번인데 비해 에서는 35번으로 두 배 이상이나 증가했고, of도 또렷한 음성에서는 15번이었는데 대화체에서 24번으로 증가했음을 알 수 있다.
- 구체적으로 조사해본 결과 또렷한 음성에서 가장 높은 단어 인식률을 보인 대학생은 95.7%를 기록했고, 가장 낮은 단어인식률을 보인 대학생은 52.2%를 보였다. 대화체에서는 92.
- 9%, 13% 등의 순서로 단어인식률의 차이를 보였고,나머지는 모두 10%이하를 보였다. 대다수 화자들이 대화체에서 단어인식률이 대체로 하락하는 경향을 보였는데, 이와 반대로 상위집단에서는 두 명의 단어인식률이 2%～6%상승하였고, 하위집단에서는 세 명의 단어인식률이 2%～9%로 상승한 결과를 보였다. <그림 1>의 맨 아래에 위치한 한 화자는 또렷한 음성에서는 81.
- 3%를 기록했고, 6번 어구는 또렷한 음성에 비해서 한 단어만 차이가 나고 세 번째로 잘 인식된 어구다. 대화체에서 아주 낮은 단어인식률을 보인 어구는 또렷한 음성에 대한 인식률의 순서와 같이 4번과 5번 어구로 각각 29.8%와 39.4%를 기록했고, 9번 어구는 41.8%로 또렷한 음성의 발음에 비해 단어인식률이 10%나 떨어졌다. 약간 느린 속도로 발음한 또렷한 음성에 비해 평소의 대화 속도로 다소 빠르게 발음한 대화체 음성으로 갈수록 단어인식률이 떨어지는 경향을 보이고 있는데, 1번과 2번 어구에서 각각 17.
- 둘째, 발화 양식에 따라 분리하여 보면 또렷한 음성에서 77.3%를 기록했고, 대화체에서 68.7%를 보였는데, 다소 빠른 속도로 발화한 대화체의 단어인식률이 전체적으로 낮았다. 구체적으로 단어인식률은 개인별 발화의 특성과 내용어보다는 기능어의 인식이 낮았고, 마찰음이 들어간 단어들에서 대체로 낮은 인식을 보였는데, 그 원인으로 개인별 발화오류와 원어민의 음성인식에서도 드러난 점을 고려해볼 때 음성인식기 자체의 문제점도 있었다.
- 이러한 낮은 단어인식률은 개인별 발음오류에도 문제가 있지만, 원어민의 발음(spoons)에서도 오류가 난 점을 생각해볼 때, 음향적으로 공명도(sonority scale)가 다른 자음에 비해 상대적으로 낮고, 이 마찰음의 스펙트럼에서는 4000~8000 Hz 사이에 절단주파수(cutoff frequency)가 나타나(Kent & Read,2002; Pickett, 1987), 이 부분이 적절히 입력이 되지 않거나 활용되지 않아 인식에 오류를 가져왔을 것으로 여겨진다. 또 다른 마찰음이 포함된 these, thick, things, three의 오인식도 fresh, frog, five와 함께 높게 나타났는데 대화체에서 유성마찰음이 들어간 these의 오인식 빈도가 가장 높은 37번을 보였다. 실제이 단어는 1번과 9번 어구에 두 번 쓰였기 때문에 반 이상이 오인식되었다고 볼 수 있다.
- 5%)의 전체 단어인식률을 기록했다. 발화 방식별 음성인식 결과를 보면 먼저 또렷하게 발화한 총 단어수 2,277개 중1,761개를 바르게 인식하여 77.3%(표준편차=9.6%)의 단어인식률을 기록했다. 대화체로 발화한 경우에는 바르게 인식한 단어가 1,564개이고 전체에서 차지하는 비율은 68.
- 셋째, 실험에 참여한 대학생들의 또렷한 음성에서 구한 단어 인식률의 평균을 기준으로 상·하위집단으로 나누어 살펴본 결과 전체집단에서 볼 수 없었던 개인별 특성이 드러났다.
- 8%로 또렷한 음성의 발음에 비해 단어인식률이 10%나 떨어졌다. 약간 느린 속도로 발음한 또렷한 음성에 비해 평소의 대화 속도로 다소 빠르게 발음한 대화체 음성으로 갈수록 단어인식률이 떨어지는 경향을 보이고 있는데, 1번과 2번 어구에서 각각 17.2%와 16.7%로 가장 많이 떨어졌고, 3번, 5번, 6번, 7번 어구에서 안정적으로 가다가 8번, 9번, 10번 어구부터 10%이상을 기록했고 마지막 어구에서는 0.8%상승했다. 마지막 어구를 뺀 나머지 어구의 평균을 내면 9.
- <표 2>에서 보면 또렷한 음성에서 가장 높은 단어인식률을 보인 어구는 11번으로 단어수도 4개이고 전치사구라는 하나의 의미단위로 되어 있어서 그런지 97%의 단어인식률을 보였다. 이어서 7번과 1, 2, 6번 어구가 90%이상의 단어인식률을 보였다.
- 요약하면, 영어문단의 단어인식률은 대학생들마다 독특한 개인별 발화특성과 발화양식에 따라 달라지고, [s]와 같은 특정한 음성이 들어간 어구에서 보았듯이 구글음성인식기 자체의 음성처리방식에서 오는 요인들이 결합되어 단어인식률이 낮아졌음을 알 수 있다.
- 이러한 결과를 보면 대학생들의 영어발음의 문제점을 진단하는데 음성인식기가 매우 유용하다고 결론을 내릴 수 있다.
- 첫째, 대학생들이 발화한 영어문단의 전체 단어인식률은 73%이고 표준편차가 11.5%로 나타났다. 영어교육을 전공하고 있는 대학생들이 영어발음에 대해 기본적인 교육을 받고 적극적으로 실험에 참여하게 되어 다소 높은 단어인식률을 보였다.
- 이런 관계는 단어인식률에서 영어전공대학생을 대상으로 했고, 특정단어의 분포나 기능어 등을 화자마다 다르게 발음한 결과가 영향을 미친 것으로 생각된다. 특히 상위집단에서 또렷한 음성의 단어인식률과 대화체의 단어인식률은 최대 36.2%의 차이를 보였고, 이어서 21.7%, 17.4%, 14.5%, 13%, 11.6%로 이어지고, 나머지는 모두 10%이하로 떨어지는 경향을 보였다. 하위집단에서는 최대 23.
후속연구
- 하지만 이러한 최근의 음성인식 기술의 발전에도 불구하고 인문학 분야에서는 컴퓨터 활용이 어려워서인지 아직까지 국내의 논문에서 실험을 통해 직접 조사하거나, 도구를 활용하는 방법을 구체적으로 제시한 연구가 드물다. 국외의 논문들은 주로 모국어의 제한된 숫자나 단어에 대한 인식률에 대한 평가가 일부 있긴 하지만 본 연구에서 제안한 외국어로서 영어발음 인식률을 조사하고 발음의 문제점을 진단하는데 활용한 연구는 부족하다.
- 이렇게 집단별로 나누면 전체 결과에서 볼 수 없는 특징을 파악할 수 있고 집단별 또는 수준별 영어발음 교육의 방안이나 개인별 맞춤형 지도방안을 찾는데 활용할 수 있을 것이다. 덧붙여, 이러한 집단별 구분은 대학생들의 발음을 원어민에게 들려주어 전체적인 발음평가점수를 기준으로 나눌 수도 있고, 단어인식률과 평가점수가 상관관계를 보인다면 발음평가를 대체할 수 있을 것으로 기대되는데 앞으로 더 연구가 필요하다. 우선 상·하위집단별 단어인식률의 평균과 표준편차를 살펴보면 <표 5>와 같다.
- 이러한 화자 개인별 특성을 그림으로 나타낸다면, 개인별 발음의 문제점을 진단하고 맞춤형으로 개선하는 방법을 찾는데 활용할 수 있을 것으로 기대된다. 덧붙여, 일정 기간에 걸쳐 영어발음을 지도하고 학습자의 발음 습득여부를 알아보기 위해 음성인식기로 단어인식률을 구해 학습효과를 비교분석할 때는 발화양식과 수준별 특성을 고려해서 측정해야 할 것으로 여겨진다
- 이렇게 영어전공 대상자를 선택한 이유는 구글음성인식기가 어느 정도 구별되는 영어발음을 하는 경우에 인식이 바르게 되기도 하고, 실제 교육현장에서 적극적으로 참여한 대학생들을 대상으로 함으로써 이들에게 공통으로 나타나는 영어발음 학습의 문제점을 찾아 차후의 교육과정에 반영할 수 있기 때문이다. 앞으로 보다 낮은 등급의 학습자들을 대상으로 단어인식률은 낮더라도 실험해 보거나, 일정 기간에 걸쳐 다양한 방식의 발음교육을 실시한 학습자들을 대상으로 발음학습의 성취도를 추정하는 데 활용하는 연구도 필요하다.
- 앞으로 영어학습자들이 단기간이나 장기간에 걸쳐 발음학습을 했을 때 단어인식률이 얼마나 변하는지, 또 외국인들의 한국어학습에서도 이런 분석방식을 적용하여 연구해볼 계획이다.
- 구글음성인식기에서 5와 6 등은 숫자로 표기되는 경우가 많아 분석의 편의상 모두 찾아서 five와 six로 바꾸어 처리했고 things나 peas는 복수형이 제대로 인식된 경우만 옳게 인식된 단어수로 포함했음을 밝힌다. 여기서는 편의상 단어인식률을 중심으로 음성인식결과를 다루지만, 복수형은 쉽게 주변 단어를 통해 추정할 수 있기 때문에 앞으로 원어민에게 문단 텍스트를 들려주어서 필요한 정보를 제대로 전달했는지를 평가해보는 연구가 필요하다.
- 8%의 하락률을 보였다. 이러한 경향은 연구자가 녹음된 음성을 여러 번 들으며 음성인식의 문제점이 무엇인지 파악하는 과정에서 일부 대학생들이 대화체의 발음 요구에 서둘러 속도를 내어 발음하다가 중간 부분에서는 약간 늦추었다가 다시 빠르게 발음하면서 오류가 늘어났거나, 어구에 들어있는 단어들의 조음 특성상 발화양식에 관계없이 에러를 보인 것 등을 원인으로 추정하는데 앞으로 더 세밀한 조사가 필요하다.
- 이러한 연구결과는 대학생들의 영어발음학습에 필요한 기초자료를 제공하고, 새로운 연구와 분석방법은 다양한 수준의 학습자와 한국어를 비롯한 외국인의 발음학습 성취도에 대한 평가를 통해 개인별 맞춤형 학습방향을 제시하거나, 궁극적으로는 구글음성인식기와 같은 장치의 개선에 도움이 될 것으로 기대된다.
- <그림 1>에서 대화체에서 인식률이 가장 많이 떨어진 대학생은 상위집단의 s11번임을 알 수 있고, 또한 하위집단에서는 s10 대학생도 대화체에서 매우 낮아진 단어인식률을 보이고 있음을 알 수 있다. 이러한 화자 개인별 특성을 그림으로 나타낸다면, 개인별 발음의 문제점을 진단하고 맞춤형으로 개선하는 방법을 찾는데 활용할 수 있을 것으로 기대된다. 덧붙여, 일정 기간에 걸쳐 영어발음을 지도하고 학습자의 발음 습득여부를 알아보기 위해 음성인식기로 단어인식률을 구해 학습효과를 비교분석할 때는 발화양식과 수준별 특성을 고려해서 측정해야 할 것으로 여겨진다
- 3%를 기준으로 상위집단 17명과 하위집단 16명으로 나누어 집단별 단어인식 경향을 조사해 보았다. 이렇게 집단별로 나누면 전체 결과에서 볼 수 없는 특징을 파악할 수 있고 집단별 또는 수준별 영어발음 교육의 방안이나 개인별 맞춤형 지도방안을 찾는데 활용할 수 있을 것이다. 덧붙여, 이러한 집단별 구분은 대학생들의 발음을 원어민에게 들려주어 전체적인 발음평가점수를 기준으로 나눌 수도 있고, 단어인식률과 평가점수가 상관관계를 보인다면 발음평가를 대체할 수 있을 것으로 기대되는데 앞으로 더 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.