[논문]한국인의 외국어 발화오류 검출을 위한 음성인식기의 발음 네트워크 구성

이상필; 권철홍

문제 정의

이는 각 언어의 음운현상에 대한 처리가 필요할 때 요구되며 실제로 음성 인식시 인식률에 상당한 영향을 끼치는 부분이다. 그리고 공학적으로는 음성언어처리를 위한 신호처리에 관한 관련지식의 습득이 요구되며, 본 연구에서는 음성인식을 이용한 방법을 제안한다.
본 논문에서는 외국어 교육에 있어 많은 시간과 비용을 투자하여 배우는 외국 어 발음에 대하여 컴퓨터를 이용한 방법론을 제안한다. 발음 교육의 핵심은 학습 자의 발음 진단과 평가이다.
본 논문에서는 외국어 학습자의 발음 품질을 평가하여 표준 및 오류 발음을 자동으로 분류하는 음성인식기를 제안하였다. 학습자의 오류 발음을 검출하기 위하여 유사발음 및 오류발음 분류 발음 네트워크를 사용하여 어느 것이 청취 판단에 보다 가까운 결과를 주는가에 대한 실험을 수행하였다.
본 논문에서는 한국인이 일본어 발화시 음소별로 발음오류를 자동으로 분류하는 HMM 음성인식기를 제안한다. 그리고 학습자의 오류 발음을 검출하기 위한 두 가지 발음 네트워크를 제안하고 어느 것이 더 나은 성능을 보이는가를 실험을 통해 알아본다.
음성언어를 이용한 외국어 교육은 지난 날 "읽기, 쓰기” 중심의 문자기반 교육 에서 "말하기, 듣기” 라는 소리기반 교육으로의 전환을 맞이하고 있다. 본 논문은 외국어 교육에서 그간 많은 비중을 차지해오지 못했던 발음교육에 관한 연구이다. 원활한 의사소통을 위해서는 최소한 상대방이 알아들을 수 있는 수준 이상의 발 음이 요구되는데 외국어를 배우는 데 있어 가장 어렵고 고치기 힘든 것 중의 하 나가 발음이다.
발음 교육의 핵심은 학습 자의 발음 진단과 평가이다. 외국어 발음에 대한 음성학적 지식을 이용하여 외국 어 발화시 나타나는 현상을 진단하여 필요한 부분에 교정정보를 제공할 수 있도 록 음성인식기술에 음성학적 지식을 결합한 형태의 시스템 구현 및 성능평가에 본 연구의 목적이 있다.

제안 방법

그리고 오류발음으로 분류된 음소에 대하여, 2차로 및의 발음 네트워크를 이용하여 특정 오류발음을 검출한다.
본 논문에서는 한국인이 일본어 발화시 음소별로 발음오류를 자동으로 분류하는 HMM 음성인식기를 제안한다. 그리고 학습자의 오류 발음을 검출하기 위한 두 가지 발음 네트워크를 제안하고 어느 것이 더 나은 성능을 보이는가를 실험을 통해 알아본다. 본 논문의 구성은 2장에서 발음오류 자동분류 음성인식기를 기술 하고, 3장에서 두 가지 발음 네트워크의 구성에 대하여 설명하고, 4장에서 실험 방법 및 결과를 논하고, 5장에서 결론 및 향후 연구 과제에 대하여 기술한다.
그러나 <표 9>의 각 음소별 출현비율 비교로부터 유사발음 네트워크와 오류발음 네트워크 중에서 어느 것이 청취 판단에 보다 가까운 결과를 주는가에 대한 결론을 내릴 수 없다. 따라서 두 네트워크간의 정확한 성능평가를 위하여 다음절에서 청취 판단과의 일치도를 비교 분석한다.
한국어 음소 셋은 자음은 변이음을 고려하여 29개를, 모음은 음성학적 차이를 보이는 모음만을 고려하여 17개를 선정하여, 총 46개의 음소로 구성하였다[1], 일본어 음소 셋은 일본음향학회에서 선정한 음소 셋을 참조하예2], 38개의 음소를 선정하였다[1]. 또한 일본어 음소와 유사하게 발음되는 음소들의 집합에 대한 정의가 필요하여, 본 연구에서 수집한 음성 DB를 일본어 음성학 전문가가 청취하여 한국인의 일본어 발화시 나타나는 음소별 발음오류 유형을 분석하여 유사발음 음소 셋을 구성하였다[1].
본 논문에서 제안한 발음오류를 자동으로 분류하는 음성인식기는, 한국인의 일본어 발화시 발음의 교정을 목표로 하고 있으므로 그 오류에 정확히 해당하는 교정지침을 제공하기 위하여, 오류 유형별 발화 모델들을 HMM 모델의 훈련 과정을 통해 미리 구축하고, 학습자의 발화에 따른 오류 양상을 자동으로 분류하는 기능을 수행한다.
실험 대상 자료는 일본어 [k] 음소를 포함하고 있는 24개 단어를 20대 일본어 비전공 여성 15명, 남성 15명 등 30명의 피험자가 발음한 720 개의 음성 파일로 하였다. 실험결과 어두 음소와 어중 음소의 차이가 각 음소별로 크게 차이를 보이므로 실험결과를 어두와 어중으로 나누어 분석하였다.<표 4>에 나타난 것처럼 어두에서 일본어 [k] 음소는 주로 한국어의 /「/를 발음할 때와 같 은 청각인상으로 나타났다.
오류발음 분류 1차 발음 네트워크에서 표준발음(na_k)과 오류발음(ko_k)으로 분류하고, 오류발음으로 검출된 데이터에 대하여 오류발음 분류 2차 발음 네트워크를 사용하여 음성 환경에 따른 일본어 [k] 음소의 인식 결과를 구했다.<표 8>에 비전공자의 일본어 [k] 발화에 대한 음성 환경에 따른 인식 결과를 정리하였다.
한국어 및 일본어 음소 모델은 다음과 같은 방법으로 생성하였다. 음성신호의 분석은 매 10msec 마다 25msec의 Hamming 창함수를 사용하여 MFCC 39차를 주출 하였고, HMM의 구조는 3 state left-to-right continuous HMM을 사용하여 언어별 음소별 음향모델을 생성하였다. Mixture 수는 일본어 음소모델인 경우 [로, 한국어인 경우 15를 사용하였다.
음성인식기에 입력되는 학습자의 음성 데이터가 원어민 일본어와 한국인이 발화한 일본어 사이에서 어느 정도의 유사도를 갖는가를 분석하기 위하여 두 가지 발음 네트워크를 구성하여 음성인식기를 테스트하였다. 학습자의 오류 발음을 검출하기 위하여 본 논문에서 실험한 발음 네트워크는 다음과 같다.
이 절에서는 유사발음 분류 및 오류발음 분류 등 두 가지 발음 네트워크를 사용한 음성인식기로 실험한 결과와 음성학 전문가의 청취판단 결과를 비교 분석한 다.<표 9>에 비전공자의 일본어 [k] 발화에 대한 음성인식기의 자동분류 결과와 전문가의 청취판단 결과를 음성 환경에 따라 정리하였다.
이 절에서는 유사발음 분류 및 오류발음 분류 등 두 가지 발음 네트워크를 사용한 음성인식기로 실험한 결과와 전문가의 청취판단 결과와 일대일 비교를 통한 일치도를 비교 분석한다.
본 논문에서는 외국어 학습자의 발음 품질을 평가하여 표준 및 오류 발음을 자동으로 분류하는 음성인식기를 제안하였다. 학습자의 오류 발음을 검출하기 위하여 유사발음 및 오류발음 분류 발음 네트워크를 사용하여 어느 것이 청취 판단에 보다 가까운 결과를 주는가에 대한 실험을 수행하였다. 발음오류 자동분류 음성인식기의 실험 결과와 음성학 전문가의 청취 판단과의 비교로부터 음성인식기에 의한 자동 분류가 제대로 수행되었음을 알 수 있었다.

대상 데이터

일본어 음소 모델은 일본인이 발화한 일본어 음성 DB로, 한국어 음소 모델은 한국인이 발화한 한국어 음성 DB로 생성하였다. 그리고 발음오류 자동분류 음성인식기를 테스트하기 위한 음성 DB는 일본어 비전공자 30명이 일본어 단어 24개를 발성한 것을 사용하였다.
일본어 음소 모델은 일본인이 발화한 일본어 음성 DB로, 한국어 음소 모델은 한국인이 발화한 한국어 음성 DB로 생성하였다. 그리고 발음오류 자동분류 음성인식기를 테스트하기 위한 음성 DB는 일본어 비전공자 30명이 일본어 단어 24개를 발성한 것을 사용하였다.
이 절에서는 인식결과의 비교 기준이 되는 음성학 전문가의 청취판단에 대한 실험결과를 요약한다[4]. 실험 대상 자료는 일본어 [k] 음소를 포함하고 있는 24개 단어를 20대 일본어 비전공 여성 15명, 남성 15명 등 30명의 피험자가 발음한 720 개의 음성 파일로 하였다. 실험결과 어두 음소와 어중 음소의 차이가 각 음소별로 크게 차이를 보이므로 실험결과를 어두와 어중으로 나누어 분석하였다.
음성 DB는 연구실 수준의 조용한 방에서 PC에서 수집하였고, 사운드카드는 Soundblaster Audigy를, 마이크는 SHURE 565SD를 사용하였다. 한국어 음성 DB는 SiTEC에서[3] 작성한 한국어 PBW (Phonetically Balanced Words) 452개 단어를 대전대학교 대학생 70명을 대상으로 수집하여 한국어 음소 모델을 생성하였다.
한국어 음성 DB는 SiTEC에서[3] 작성한 한국어 PBW (Phonetically Balanced Words) 452개 단어를 대전대학교 대학생 70명을 대상으로 수집하여 한국어 음소 모델을 생성하였다. 일본어 음성 DB는 ATR(일본 자동통역 연구소)에서 작성한 PBW 216개 단어를 고려대학교에서 한국어 연수 중인 일본인 70명을 대상으로 녹음하여 일본어 음소 모델을 만드는데 사용하였다.
<그림 1>에서, 일본어 [k]를 일본어 [k, ky, g, gy]로 발화하거나 한국어 [khc/크/, kkc/F/, kc/무성 「/, gc/유성 r/]로 발화하는 오류가 발생함을 의미한다. 일본어 음소 모델은 일본인이 발화한 일본어 음성 DB로, 한국어 음소 모델은 한국인이 발화한 한국어 음성 DB로 생성하였다. 그리고 발음오류 자동분류 음성인식기를 테스트하기 위한 음성 DB는 일본어 비전공자 30명이 일본어 단어 24개를 발성한 것을 사용하였다.
음성 DB는 연구실 수준의 조용한 방에서 PC에서 수집하였고, 사운드카드는 Soundblaster Audigy를, 마이크는 SHURE 565SD를 사용하였다. 한국어 음성 DB는 SiTEC에서[3] 작성한 한국어 PBW (Phonetically Balanced Words) 452개 단어를 대전대학교 대학생 70명을 대상으로 수집하여 한국어 음소 모델을 생성하였다. 일본어 음성 DB는 ATR(일본 자동통역 연구소)에서 작성한 PBW 216개 단어를 고려대학교에서 한국어 연수 중인 일본인 70명을 대상으로 녹음하여 일본어 음소 모델을 만드는데 사용하였다.
발화오류 유형의 분류는 음소별로 수행하므로, 한국어 및 일본어 음소 셋이 필 요하다. 한국어 음소 셋은 자음은 변이음을 고려하여 29개를, 모음은 음성학적 차이를 보이는 모음만을 고려하여 17개를 선정하여, 총 46개의 음소로 구성하였다[1], 일본어 음소 셋은 일본음향학회에서 선정한 음소 셋을 참조하예2], 38개의 음소를 선정하였다[1]. 또한 일본어 음소와 유사하게 발음되는 음소들의 집합에 대한 정의가 필요하여, 본 연구에서 수집한 음성 DB를 일본어 음성학 전문가가 청취하여 한국인의 일본어 발화시 나타나는 음소별 발음오류 유형을 분석하여 유사발음 음소 셋을 구성하였다[1].

성능/효과

<표 6>에서는 음성 환경에 관계없이 일본어 음소 [k]를 한국인이 발음했을 때 분석되는 청각 인상을 살펴 본 것으로 /ㄲ/가 가장 많았고 다른 두 경우는 비슷한 것으로 분석되었다. 결론적으로, 한국인이 일본어 [k] 음소를 발음할 때 일본어를 배우지 않은 피험자들은 일반적으로 한국어의 /ㄲ/로 발음하는 경우가 가장 많은 것으로 나타났음을 알 수 있다.
발음오류 자동분류 음성인식기의 실험 결과와 음성학 전문가의 청취 판단과의 비교로부터 음성인식기에 의한 자동 분류가 제대로 수행되었음을 알 수 있었다. 또한 유사발음 네트워크보다 오류발음 네트워크 방식이 더 나은 성능을 보이고 있음을 알 수 있었다. 향후 연구에서는 자동 분류의 정확도를 높여 자동 분류 결과와 음성학 전문가의 청취 판단을 좀 더 일치시키는 연구를 수행할 계획이다.
학습자의 오류 발음을 검출하기 위하여 유사발음 및 오류발음 분류 발음 네트워크를 사용하여 어느 것이 청취 판단에 보다 가까운 결과를 주는가에 대한 실험을 수행하였다. 발음오류 자동분류 음성인식기의 실험 결과와 음성학 전문가의 청취 판단과의 비교로부터 음성인식기에 의한 자동 분류가 제대로 수행되었음을 알 수 있었다. 또한 유사발음 네트워크보다 오류발음 네트워크 방식이 더 나은 성능을 보이고 있음을 알 수 있었다.
세 가지 실험결과를 비교해 보면, 일본어 [k] 음이 음성 환경에 따라 어두에서는 한국어 /ㄱ/, /ㅋ/, /ㄲ/ 순으로, 어중에서는 /ㄲ/, /ㅋ/, /ㄱ/ 순으로 발음된다는 사실에, 비율의 차이는 존재하지만 경향이 일치하는 결과를 보여 주었다. 이와 같은 실험결과로부터 음성인식기에 의한 자동 분류가 제대로 수행되었음을 알 수 있다.
유사발음 네트워크에서의 실험결과는, 음성 환경에 따라 /-!/ 음이 어두에 서 74개, 어중에서 8개, /ㅋ/ 음이 어두에서 27개, 어중에서 86개, /ㄲ/ 음이 어두에 서 2개, 어중에서는 265개 등이 청취판단과 일치하였다. 오류발음 네트워크에서의 실험결과는, 음성 환경에 따라「기 음이 어두에서 83개, 어중에서 7개, /키 음이 어 두에서 31개, 어중에서 94개, /-n/ 음이 어두에서 3개, 어중에서 265개 등이 청취판 단과 일치하였다.
1%(483개)의 일치도를 보여 주었다. 이와 같은 결과로부터 본 논문에서 제안한 발음 네트워크 구성 방법 중에서, 한국어와 일본어 유사음소를 일차원적으로 비교하는 유사발음 네트워크 보다, 원어민과 비전공자 일본어 모델 간에 비교를 통하여 도출한 결과를 다시 한국어 모델로 비교하는 2차원적 오류발음 네트워크 방식이 더 나은 성능을 보이고 있음을 알 수 있다.
<표 10>, <표 11>을 살펴 보면, 어두인 경우에 /r/, I키, 어중인 경우에 /키어서 오류발음 네트워크가 우수 한 성능을 보여주고, 나머지 경우에는 두 발음 네트워크가 비슷한 성능을 보여 준다. 청취 판단과의 비교대상 전체 발화 데이터 720개 중에서, 유사발음 네트워크 방식은 64.2%(462개)의 일치도를 보여 주었고, 오류발음 네트워크 방식은 67.1%(483개)의 일치도를 보여 주었다. 이와 같은 결과로부터 본 논문에서 제안한 발음 네트워크 구성 방법 중에서, 한국어와 일본어 유사음소를 일차원적으로 비교하는 유사발음 네트워크 보다, 원어민과 비전공자 일본어 모델 간에 비교를 통하여 도출한 결과를 다시 한국어 모델로 비교하는 2차원적 오류발음 네트워크 방식이 더 나은 성능을 보이고 있음을 알 수 있다.

후속연구

향후 연구에서는 자동 분류의 정확도를 높여 자동 분류 결과와 음성학 전문가의 청취 판단을 좀 더 일치시키는 연구를 수행할 계획이다. 이를 위하여 학습자의 발음에 대한 스코어링(scoring) 방법에 관한 연구를 진행할 계획이다.
또한 유사발음 네트워크보다 오류발음 네트워크 방식이 더 나은 성능을 보이고 있음을 알 수 있었다. 향후 연구에서는 자동 분류의 정확도를 높여 자동 분류 결과와 음성학 전문가의 청취 판단을 좀 더 일치시키는 연구를 수행할 계획이다. 이를 위하여 학습자의 발음에 대한 스코어링(scoring) 방법에 관한 연구를 진행할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

한국인의 외국어 발화오류 검출을 위한 음성인식기의 발음 네트워크 구성
Pronunciation Network Construction of Speech Recognizer for Mispronunciation Detection of Foreign Language 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

한국인의 외국어 발화오류 검출을 위한 음성인식기의 발음 네트워크 구성 Pronunciation Network Construction of Speech Recognizer for Mispronunciation Detection of Foreign Language 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

저자의 다른 논문 :

이상필 (1) 권철홍 (30)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

한국인의 외국어 발화오류 검출을 위한 음성인식기의 발음 네트워크 구성
Pronunciation Network Construction of Speech Recognizer for Mispronunciation Detection of Foreign Language 원문보기

AI 본문요약
AI-Helper