초록 ▼

연구의 목적 및 내용
본 연구에서는 자연스런 한국어 대화체 음성을 합성하기 위하여 HMM 기반의 TTS 시스템을 개발하고, 한국어 대화체 음성의 운율적 특성을 연구하고, Momel 프로그램을 사용하여 운율 파라미터를 추출하는 대화체 운율 모델링 기법 개발을 목적으로 한다.
이러한 연구 목적을 위하여 음소와 운율이 레이블링된 대화체 음성 코퍼스 구축, 억양 목표점과 운율 경계 자동 추출 프로그램 성능 평가 및 업그레이드, 한국어 대화체의 운율특성 연구, 억양 패턴의 음향 특성 연구 등을 수행하고, 대화체 TTS를 위한 품사

연구의 목적 및 내용
본 연구에서는 자연스런 한국어 대화체 음성을 합성하기 위하여 HMM 기반의 TTS 시스템을 개발하고, 한국어 대화체 음성의 운율적 특성을 연구하고, Momel 프로그램을 사용하여 운율 파라미터를 추출하는 대화체 운율 모델링 기법 개발을 목적으로 한다.
이러한 연구 목적을 위하여 음소와 운율이 레이블링된 대화체 음성 코퍼스 구축, 억양 목표점과 운율 경계 자동 추출 프로그램 성능 평가 및 업그레이드, 한국어 대화체의 운율특성 연구, 억양 패턴의 음향 특성 연구 등을 수행하고, 대화체 TTS를 위한 품사태거 모듈, 대화체 TTS를 위한 요소기술, HMM 기반 TTS 등을 개발하였다.
연구결과
HMM 기반 대화체 음성 합성 시스템 개발을 위하여 대화체 TTS를 위한 품사태거 모듈개발, 전처리 모듈 개발, 발음열 생성 모듈 개발, 운율 경계 추정 모듈 개발, 억양 생성모듈 개발, HMM 기반 TTS 시스템 개발 등을 수행하였다. 시스템 통합 및 테스트 결과 테스트 집단 모두에서 자연성에서 높은 평가를 받았는데 이는 대화체 특성이 잘 반영된 점이 작용하였다고 할 수 있다.
한국어 대화체 음성의 운율적 특성을 연구하기 위하여 대화체 음성 코퍼스를 분석하였으며, 분석방법으로 음성 파일의 Momel 분석, Momel로 검출된 억양 목표점 수정, 강세구, 억양구 경계 표시, 억양 레이블링 등을 수행하였다. 분석결과로 강세구와 억양구의 패턴별 출현빈도 등을 파악할 수 있었다.
Momel 기반 대화체 운율 정보 파라미터 분석을 수행하였다. 강세구 분석을 위한 대화체음성에서 관찰된 강세구 억양 패턴은 총 21개인 반면, 낭독체 음성에서 관찰된 억양 패턴은 총 18개인 것을 파악하였다. 억양 패턴의 종류 이외에도 낭독체 음성과 대화체 음성에서 나타나는 강세구 억양 패턴은 그 분포에 있어서도 다른 양상을 보였다. 억양구 경계억양 패턴으로는 대화체 음성과 낭독체 음성에서 동일하게 H%, L%, HL%, LH%, LHL%의 5개의 패턴이 나타났다.
음성정보와 텍스트 정보를 이용한 음성 데이터 자동 운율 레이블링 기술 개발을 위해서 운율 경계 자동 추정, 자동 억양 레이블링 방법을 고안하였으며, 음성 코퍼스 분석을 통한 음성-텍스트 관계 모델링, 대화체 운율 모델링 성능 평가, 한국어 대화체의 운율 특성연구, 억양 패턴의 특성 연구 등을 수행하였다.
연구결과의 활용계획
향후, Sail system의 평가결과를 바탕으로 하여 Sail system의 전사자 간 일치도와 운율전사의 정확도를 입증하는 논문을 발표할 예정이다. 이는 기존의 ToBi system의 고질적인 문제점을 해결할 수 있는 운율 레이블링 체계이기 때문에 국내외 학계에 큰 반향을 일으킬 것으로 기대된다. 또한 Sail system에서 한국어 운율 경계를 자동으로 추출하는 프로그램을 업그레이드하고, 지금보다 억양패턴 레이블링을 더 정확하게 할 수 있는 프로그램으로 업그레이드 하여 보다 양질의 운율 레이블링 된 음성 코퍼스를 구축할 수 있을 것이다. 이 작업이 성공적으로 수행되면 HMM 방식의 음성합성기의 품질이 지금보다 많이 좋아질 것으로 기대된다. 또한 앞으로 감정 발화도 우수하게 구현하는 음성합성기나 음성인식기를 개발하는 데 도움이 될 것이다.

Abstract ▼

Purpose& contents
This study aims to develop an HMM-based TTS system, to investigate prosodic characteristics of Korean conversational speech, and to devise a computational model for Korean prosody to extract prosodic features using the MOMEL program, in an attempt to synthesize natural Korean co

Purpose& contents
This study aims to develop an HMM-based TTS system, to investigate prosodic characteristics of Korean conversational speech, and to devise a computational model for Korean prosody to extract prosodic features using the MOMEL program, in an attempt to synthesize natural Korean conversational speech. In order to achieve these goals, we built a labelled conversational speech corpus using newly developed Sail (Semi-automatic intonation labelling) system. We evaluated and upgraded Sail system to extract pitch targets and prosodic boundaries better. We also investigated prosodic characteristics of Korean conversational speech and acoustic properties of intonation patterns. In addition, we developed a part of speech tagger module, an HMM-based conversational TTS system and so on.
Result
In order to develop an HMM-based conversational speech synthesizer, we built a
part of speech tagger module, a preprocessor module, a pronunciation generator
module, a prosodic boundary detection module, a prosody generation module and a HMM-based TTS system. The system received high scores on naturalness, which indicates that the system has successfully incorporated characteristics of
conversational speech.
We also analysed a conversational speech corpus to investigate prosodic characteristics of Korean conversational speech. We manually modified pitch targets extracted by the MOMEL program and labelled accentual phrase (AP) and
intonational phrase (IP) boundaries and intonation patterns.
We also analysed prosodic features of conversational speech using the MOMEL.
We found that there are 21 AP intonation patterns in spontaneous speech, while
there are only 18 AP intonation patterns in read speech. In addition to the types of
intonation patterns, we found that spontaneous speech and read speech differ in
terms of the distribution of AP intonation patterns. As for IP intonation patterns,
five patterns: H%, L%, HL%, LH%, and LHL% occurred both in conversational and read speech.
Expected Contribution
We plan to write an article to report the rate of inter-labeler agreement and the
accuracy of prosodic labelling using the Sail system based on the evaluation results. Since our Sail system is expected to solve the existing problems that the ToBi system has, it will make important contributions in building labelled speech corpora.
We can also build a speech corpus with more consistent prosodic annotation by
improving the automatic boundary detection program in the Sail system. This will
eventually help improve the quality of HMM-based speech synthesizers and develop speech synthesizers and speech recognizers that successfully create and detect emotion in speech.

목차 Contents

• 중견연구자지원사업(핵심연구) 최종보고서(평가용) ... 1
• 목 차 ... 3
• 연구계획 요약문 ... 4
• 연구결과 요약문 ... 5
• 한글요약문 ... 5
• SUMMARY ... 6
• 연구내용 및 결과 ... 7
• 1. 연구개발과제의 개요 ... 7
• 2. 국내외 기술개발 현황 ... 10
• 3. 연구수행 내용 및 결과 ... 13
• 4. 목표달성도 및 관련분야에의 기여도 ... 42
• 5. 연구결과의 활용계획 ... 42
• 6. 연구과정에서 수집한 해외과학기술정보 ... 42
• 7. 주관연구책임자(공동연구원) 대표적 연구실적 ... 43
• 8. 참고문헌 ... 43
• 9. 연구성과 ... 45
• 10. 기타사항 ... 57
• [별첨1] 대표연구성과 ... 58
• 자체평가 의견서 ... 63