보고서 정보
주관연구기관 |
연세대학교 Yonsei University |
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2012-04 |
과제시작연도 |
2011 |
주관부처 |
교육과학기술부 Ministry of Education and Science Technology(MEST) |
등록번호 |
TRKO201300012209 |
과제고유번호 |
1345153473 |
사업명 |
중견연구자지원 |
DB 구축일자 |
2013-08-26
|
키워드 |
자동 운율 레이블링.운율인식.강세 및 경계.음성-음향학.감정-운율 관계.사용자-기계 인터페이스 연구.감정인식.Automatic prosody labeling.Prosody detection.Accent and boundary.Acoustic-Phonetics.Prosody-Emotion relation.User-machine interface.Emotion recognition.
|
DOI |
https://doi.org/10.23000/TRKO201300012209 |
초록
▼
연구의 목적 및 내용
본 연구에서는 인간의 의사소통을 재현하는 시스템에 필수적인 운율에 대한 내용을 다루었다. 운율은 음성인식 및 합성 기술의 완성에 필수적인 요소이나, 그 중요성에 비해 아직 활발한 연구가 이루어지지 못하고 있다. 그러한 가장 큰 원인으로 연구에 필요한 기본 요소인 데이터베이스의 부족을 꼽을 수 있는데, 따라서 본 연구에서는 운율 데이터베이스 확충을 위한 자동 운율 레이블링 시스템의 구축을 1차 목표로 삼았다. 최종 목표는 음성의 음향학적 특성 뿐 만 아니라 어휘 및 구문 특성을 적용하여 자동 운율 레이블링
연구의 목적 및 내용
본 연구에서는 인간의 의사소통을 재현하는 시스템에 필수적인 운율에 대한 내용을 다루었다. 운율은 음성인식 및 합성 기술의 완성에 필수적인 요소이나, 그 중요성에 비해 아직 활발한 연구가 이루어지지 못하고 있다. 그러한 가장 큰 원인으로 연구에 필요한 기본 요소인 데이터베이스의 부족을 꼽을 수 있는데, 따라서 본 연구에서는 운율 데이터베이스 확충을 위한 자동 운율 레이블링 시스템의 구축을 1차 목표로 삼았다. 최종 목표는 음성의 음향학적 특성 뿐 만 아니라 어휘 및 구문 특성을 적용하여 자동 운율 레이블링 시스템의 완성도를 높인 뒤, 운율을 감정인식 분야에 확장하는 것이다. 자동 운율 레이블링 시스템을 통해 확보한 데이터베이스를 기반으로, 감정과 운율 사이의 관계를 정립하여 감정인식의 성능 향상에 기여할 수 있다.
연구결과
본 연구의 1차년도 목표는, 음성의 음향학적 특성을 사용하여 모든 종류의 강세와 경계를 분류할 수 있는 자동 운율 레이블링 시스템을 구축하는 것이다. 본 연구실에서 기 수행하였던 네 가지 종류의 강세, 다섯 가지 종류의 경계 분류 시스템을 기반으로, 먼저, 시스템의 성능 향상을 위한 추가적인 특성을 찾아보았다. 지금까지는 주로 강세 및 경계가 존재하는 음절에서 추출한 음향학적 특성만을 사용하여 왔으나 운율은 어절 또는 문장 전체에 걸쳐 나타나는 것이기 때문에 인접 음절에서도 운율 종류 판별에 유용한 특성을 찾아낼 수 있다. 따라서 강세 및 경계가 존재하는 음절과 가장 인접한 앞, 뒤의 음절에서도 음향학적 특성을 추출하였고, 특성들의 유의성을 판별할 수 있는 크루스칼-왈리스 테스트를 사용하여 인접 음절의 특성이 운율의 종류에 따라 다른 특성을 가짐, 즉 운율 종류 판별에 유용하게 쓰일 수 있음을 확인하였다. 인접 음절에서 추출한 특성들을 추가하여 네 가지 종류의 강세, 다섯 가지 종류의 경계 분류 시스템을 완성하였고, 그 뒤 모든 종류의 강세 및 경계를 분류하는 시스템을 구축하였다. 현재 사용 가능한 운율 레이블링 데이터베이스에서, 학습 데이터의 개수가 15개 미만인 운율 종류는 다른 종류와 통합하여 각각 일곱 가지 종류의 강세와 경계를 분류하였다. 최종 결과로 일곱 가지 종류의 강세 분류 시스템에서 7.1%의 에러율을 보였으며, 각 운율 종류의 개수를 고려한 조화 에러율은 10.7%이다. 일곱 가지 종류의 경계 분류 시스템은 각각 10.8%, 19.6%의 에러율과 조화 에러율을 기록하였다.
연구결과의 활용계획
운율은 인간의 의사소통에 필수적인 요소이다. 본 연구의 최종 목표는 자동 운율 레이블링 시스템을 사용하여 구축 된 운율 데이터베이스를 기반으로, 운율 연구를 감정인식 시스템에 적용하는 것이다. 1차년도 연구의 결과로 음향학적 특성을 사용하여 ToBI 시스템의 모든 운율 종류를 분류할 수 있는 자동 운율 레이블링 시스템이 구축되었고, 추후 어휘 및 구문 특성을 추가적으로 적용하여 시스템의 완성도를 높이게 되면 운율 연구를 위한 다량의 데이터베이스 구축이 가능해 질 것이다. 본 연구에서는 운율을 적용할 수 있는 다양한 의사소통 시스템 중 감정인식에 초점을 맞추어 운율과 감정 사이의 관계를 정립해 나가는 것을 목표로 하였다. 그러나 더 나아가, 운율은 감정인식 뿐만 아니라 음성 인식, 음성합성 등에 적용되어 시스템의 완성도를 높이는데 있어 필수적인 요소이다. 따라서 자동 운율 레이블링 시스템을 사용한 운율 데이터베이스 구축 및 운율 연구는 인간의 의사소통을 재현하는 모든 시스템에 적용되어 우리의 삶의 질을 한 단계 더 높이는데 기여하게 될 것이다.
Abstract
▼
Purpose&contents
In this study, we covered prosody which is essential to reproduce human communication system. Studying prosody is essential to complete speech recognition and synthesis techniques. However, it has not been studied actively, due to the lack of databases. Therefore, we first aim to
Purpose&contents
In this study, we covered prosody which is essential to reproduce human communication system. Studying prosody is essential to complete speech recognition and synthesis techniques. However, it has not been studied actively, due to the lack of databases. Therefore, we first aim to construct a complete automatic prosody labeling system using only acoustic features. Once this is completed, lexical and syntactic features will be added for improving the system. Next, it will be applied to an emotion recognition system. Based on databases from automatic prosody labeling system, we will establish the relations between prosody and emotional types. It is expected that applying prosody may contribute to improving the performance of an emotion recognition system.
Result
In the $1^{st}$ year, the object of this research is constructing an automatic prosody labeling system using acoustic features only. First, we found additional acoustic features to improve performance of an automatic prosody labeling system. Features from target syllables are usually used, significant features from adjacent features are also found since prosody is represented over utterances or sentences. Therefore features are extracted from adjacent syllables (previous and following syllables).
Next, Kruskal-Wallis tests, which determines the significance of each feature, were performed. From results of Kruskal-Wallis tests, we find that features from adjacent syllables may be useful in classifying prosodic events. Consequently, using features from target syllables and adjacent features together, an automatic prosody labeling system is constructed. After that, we constructed a complete automatic prosody labeling system which can find all types of prosodic events. The error rate and balance error rate for an unbalanced data set of 7-class pitch accent classification is 7.1% and 10.7%, respectively. In 7-class boundary tone classification, error rate and balanced error rate are 10.8% and 19.6%, respectively.
Expected Contribution
Prosody is essential for human communication. The main object of this research is constructing automatic prosody labeling system using acoustic, lexical, and syntactic features, and establishing the relations between prosody and emotional types. From the research of 1st year, a complete automatic prosody labeling system is constructed using acoustic features. This system will be improved using additional features, such as lexical and syntactic features, which will make it possible to construct prosody labeling databases. In this study, we focus on applying prosody to an emotion recognition system, but prosody will be able to be applied to other systems, such as speech recognition or speech synthesis systems. Therefore, studying prosody will contribute to improve the quality of human life by enabling more natural and accurate speech communication systems.
목차 Contents
- 중견연구자지원사업(핵심연구) 최종보고서 ... 1
- 목차 ... 3
- 연구계획 요약문 ... 4
- 연구결과 요약문 ... 5
- 한글요약문 ... 5
- SUMMARY ... 6
- 연구내용 및 결과 ... 7
- 1. 연구개발과제의개요 ... 7
- 2. 국내외 기술개발 현황 ... 9
- 3. 연구수행 내용 및 결과 ... 11
- 4. 목표달성도 및 관련분야에의 기여도 ... 23
- 5. 연구결과의 활용계획 ... 24
- 6. 연구과정에서 수집한 해외과학기술정보 ... 25
- 7. 주관연구책임자 대표적 연구실적 ... 26
- 8. 참고문헌 ... 26
- 9. 연구성과 ... 27
- 10. 기타사항 ... 27
- 대표연구성과 ... 28
※ AI-Helper는 부적절한 답변을 할 수 있습니다.