[논문]발성 평가를 위한 영어 음성인식기의 개발

박전규; 이준조; 김영창; 허용수; 이석재; 이종현

문제 정의

본 논문에서는 비원어민의 발성평가를 위한 영어 음성인식기의 구현과 그 기본적인 성능평가에 대해 기술하고 있다. 정확하고 신뢰성 있는 평가시스템의 구현을 위해서는 음향 음성학적인 지식, 평가와 관련한 전문지식 등을 지식 베이스화하고 이를 유연하게 통합 또는 추론함으로써 인간평가자의 수준에 이르도록 지속적으로 시스템을 튜닝하는 과정이 필수적이다.
는 음성인식기, 음성합성기, 문법 해석기, 음성코딩, 지식 베이스와 그 추론엔진 등 음성처리 및 자연어 처리 기술이 결합된 발성평가 또는 교수시스템의 예를 제시하고 있다. 본 논문에서는 이와 같은 시스템에 핵심적으로 적용이 가능한 음성인식 엔진의 개발 개념을 소개하고 그 성능평가에 대해 기술한다.
본 논문은 비원어민의 영어 발성 능력을 평가하고 오류발성에 대한 적절한 피드백을 지원하면서 궁극적으로 영어의 유창성(fluency) 평가를 목표로 하는 발성평가용 음성인식 엔진의 개발과 그 성능평가에 관한 보고를 목적으로 한다.

제안 방법

2. uniphone: uniphone을 대상으로 음소별 특성의 통계량을 추정.각 음소에 대해 VQ* 적용하여 16개의 코드워드를 생성
우선 학습 데이터(YOUTH)에 자동 음소분 절화를 통해 음소 로그 사후 확률 점수 (phone log-posterior probability score), 음소 기반 지속시간 점수 (phone -based duration score), 음절시간점수(syllabic timing score) 등의 세 가지 [4]특징 값을 추출했다. 다음 원어민의 음향 음성학적 특징을 바탕으로 하는 평가시스템의 성능 변화를 측정하기 위해 다섯 가지의 태스크를 설정하였다. 이때 태스크는 문맥종속음소(triphone)과 문맥독립 음소(uniphone)를 우선적으로 고려하고, 음소단위별로 벡터 양자화(VQ)와 스칼라 양자화(SQ)를 적용하는 것으로 세분하였다.
이때 태스크는 문맥종속음소(triphone)과 문맥독립 음소(uniphone)를 우선적으로 고려하고, 음소단위별로 벡터 양자화(VQ)와 스칼라 양자화(SQ)를 적용하는 것으로 세분하였다. 마지막으로 목표음소 및 코드워드별 통계량으로서 평균과 표준편차에 근거하는 사전확률(prior probability)® 추정했다. YOUTH 데이터로부터는 총 50개의 uniphone과 4, 431개의 triphone 이 생성되었다.
본 논문에서 사용된 음성인식 엔진은 동아시테크(주)와 카네기멜른 대학교의 연구진이 공동 개발한 연속음성인식 엔진인 SeeVoice를 근간으로 하며 음소분 절화, 고성능 잡음 처리, 고 신뢰도 거절 기능, 핵심 단어 및 구절인식, class n-gram 등을 지원하는 실시간 디코더를 특징으로 한다.
본 논문에서는 그 초기 단계로서 발성해석을 위한 기본 파라미터로서의 특징들을 음소 사후 확률, 음소 지속 시간 및 음절 타이밍에 중점을 맞추어서 평가에 사용하고 있다. 이러한 특징을 적용한 결과 인간 평가자와 기계평가 간의 상관지수는 최대 0.
우선 학습 데이터(YOUTH)에 자동 음소분 절화를 통해 음소 로그 사후 확률 점수 (phone log-posterior probability score), 음소 기반 지속시간 점수 (phone -based duration score), 음절시간점수(syllabic timing score) 등의 세 가지 [4]특징 값을 추출했다. 다음 원어민의 음향 음성학적 특징을 바탕으로 하는 평가시스템의 성능 변화를 측정하기 위해 다섯 가지의 태스크를 설정하였다.
음성인식 엔진의 거절 기능은 기본적으로 음소 및 단어 신뢰도점수(confidence score) 계산[8]에 근거하며 최종 거절 기능의 수행을 위해 50개의 은닉층 노드로 구성된 단층 BP 신경망을 구현했다. [8]에서는 9개의 인식기에 기반한 특징값을 동원해서 거절 기능을 수행하고 있지만 본 논문에서는 부가적으로 다음과 같은 7가지의 특징값을 추가해서 사용하고 있다.
다음 원어민의 음향 음성학적 특징을 바탕으로 하는 평가시스템의 성능 변화를 측정하기 위해 다섯 가지의 태스크를 설정하였다. 이때 태스크는 문맥종속음소(triphone)과 문맥독립 음소(uniphone)를 우선적으로 고려하고, 음소단위별로 벡터 양자화(VQ)와 스칼라 양자화(SQ)를 적용하는 것으로 세분하였다. 마지막으로 목표음소 및 코드워드별 통계량으로서 평균과 표준편차에 근거하는 사전확률(prior probability)® 추정했다.
HMM 기반의 학습 엔진을 사용해서 두 가지의 반연 4"(semi-continuous) HMM 음향 모델(AM)을 생성해서 사용하고 있다. 하나는 DARPA의 RM 데이터베이스와 같이 현재 미국 영어를 8개 권역으로 나누어 균형 있게 선정해서 기본 음향모델(default AM)을 만들었다. 다른 하나는 기본 모델에 어린이 화자의 특성이 강조되도록 MLLR 재학습기법을 통해 생성된 어린이용 음향 모델(kid AM)이다.
전체 문장에 대해 분석된 uniphone의 수는 42개, triphone의 수는 1, 135개이다. 학습 데이터와 동일한 조건으로 문장별로 세 가지 특성값을 계산하였다. 다음 YOUTH로부터 추정한 통계량과 사전 확률에 대해 테스트 데이터의 사후 확 Xposterior probability)을 추정한다.

대상 데이터

마지막으로 목표음소 및 코드워드별 통계량으로서 평균과 표준편차에 근거하는 사전확률(prior probability)® 추정했다. YOUTH 데이터로부터는 총 50개의 uniphone과 4, 431개의 triphone 이 생성되었다. 태스크는 다음으로 정의했다.
K-SEC 은 한국학술진흥재단의 협동연구 지원과제로 추진 중인 "한국인의 영어 발음 음성코퍼스(K-SEC) 설계, 구축 및 그 활용방안에 관한 연구”의 연구결과로 구축된 영어발성 데이터베이스이다. 본 연구에서는 이 가운데 10명의 한국인 어린이와 2명 의 원어민 어린이를 선정하고 각각 36개의 문장을 문장단위로 수작업으로 레이블링하여 실험에 사용하고 있다. 원래 DAT로 녹음된 데이터를 역시 16kHz, 16bit linear PCM, 모노로 샘플 링해서 사용했다.
음향 모델의 학습과 별도로 비원어민의 발성정확도를 평가하기 위해 본 논문에서 사용하고 있는 발성 데이터베이스는 두 종류로서 하나는 카네기스피치사의 어린이 발성 데이터베이스인 YOUTH, 두 번째는 K-SEC의 한국인 어린이 발성 데이터인 K-SEC이 다.
과 같은 AER(Annotation Error Rate)[8]을 정의하고 있다. 이러한 거절 기능의 구현을 위해 음향 모델 학습에 사용되지 않은 RM 데이터 중 1680문장(16, 198단어) 셑을 선정해서 실험에 사용했다. 기본 엔진의 성능은 이 테스트 데이터에 대해 95.
테스트를 위해서는 K-SEC의 12명 어린이 발성에 대해 문장별로 5명의 한국인 음성학자 및 3명 의 원어민 평가자 총 8명이 평가한 뒤 이를 산술 평균하여 인간평가자의 평가 결과로 사용했다. 전체 문장에 대해 분석된 uniphone의 수는 42개, triphone의 수는 1, 135개이다. 학습 데이터와 동일한 조건으로 문장별로 세 가지 특성값을 계산하였다.
테스트를 위해서는 K-SEC의 12명 어린이 발성에 대해 문장별로 5명의 한국인 음성학자 및 3명 의 원어민 평가자 총 8명이 평가한 뒤 이를 산술 평균하여 인간평가자의 평가 결과로 사용했다. 전체 문장에 대해 분석된 uniphone의 수는 42개, triphone의 수는 1, 135개이다.

데이터처리

본 논문에서 사용한 잡음 처리 기술은 데이터에 의한 방법과 보상기법에 의한 두 가지이다 [6]. 우선 전체 데이터에 대한 학습을 수행하여 이를 베이스 라인 시스템(baseline)으로 놓고, 전체 데이터 중에서 15dB 이상의 음성 데이터를 선정해서 학습을 수행한 결과(15dBup), CDCN을 사용해서 학습을 수행한 결과, 마지막으로 VTS를 사용해서 학습한 결과를 비교 분석하고 있다. 그림 3.

성능/효과

본 논문에서는 그 초기 단계로서 발성해석을 위한 기본 파라미터로서의 특징들을 음소 사후 확률, 음소 지속 시간 및 음절 타이밍에 중점을 맞추어서 평가에 사용하고 있다. 이러한 특징을 적용한 결과 인간 평가자와 기계평가 간의 상관지수는 최대 0.725를 얻었다.
인간 평가자에게는 문장별로 음소, 단어, 문장의 유창성을 종합적(holistic)으로 판단하여 100점 만점을 기준으로 점수를 부여하도록 하였다. 전체 문장에 대해 한국인 음성학자 평균과 원어민 평가자 평균 간의 상관지수는 r=0.906, 한국인 음성학자 간의 채점 결과는 평균 r=0.834, 원어민 평가자 간의 채점 결과는 평균 r=0.637을 나타냈다. 한편 인간평가자와 기계평가 결과간 편차의 평균은 7.

후속연구

기존의 방법에서는 실험에 사용된 사용자의 유창성 수준을 1-5 또는 1-6단계로 구분하고 있지만 [1][4][7]본 논문에서는 편의상 100점 만점으로 설정하고 있어서 단계별 평가를 적용할 경우보다 높은 수준의 상관도 가 기대된다.
앞으로의 연구개발은 현재 음성인식 엔진 위주의 분절 음평가 방식에 추가적으로 발성해석의 관점에서 생성되는 스펙트럼 특성, 강세나 억양을 비롯한 운율 특성 등을 통해 비분절적 요소에 대한 특성 및 파라미터를 추가함으로써 보다 향상된 인간평가자와의 상관지수를 얻는 방향으로 이루어질 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

발성 평가를 위한 영어 음성인식기의 개발
Development of English Speech Recognizer for Pronunciation Evaluation 원문보기

Abstract ▼ AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

발성 평가를 위한 영어 음성인식기의 개발 Development of English Speech Recognizer for Pronunciation Evaluation 원문보기

Abstract ▼ AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

발성 평가를 위한 영어 음성인식기의 개발
Development of English Speech Recognizer for Pronunciation Evaluation 원문보기

AI 본문요약
AI-Helper