[논문]d-vector를 이용한 한국어 다화자 TTS 시스템

김광현; 권철홍

doi:10.17703/jcct.2022.8.3.469

d-vector를 이용한 한국어 다화자 TTS 시스템
A Korean Multi-speaker Text-to-Speech System Using d-vector 원문보기

Journal of the convergence on culture technology : JCCT = 문화기술의 융합, v.8 no.3, 2022년, pp.469 - 475

김광현 (대전대학교 대학원 정보통신공학과) , 권철홍 (대전대학교 정보통신.전자공학과)

초록
AI-Helper

딥러닝 기반 1인 화자 TTS 시스템의 모델을 학습하기 위해서 수십 시간 분량의 음성 DB와 많은 학습 시간이 요구된다. 이것은 다화자 또는 개인화 TTS 모델을 학습시키기 위해서는 시간과 비용 측면에서 비효율적 방법이다. 음색 복제 방법은 새로운 화자의 TTS 모델을 생성하기 위하여 화자 인코더 모델을 이용하는 방식이다. 학습된 화자 인코더 모델을 통해 학습에 사용되지 않은 새로운 화자의 적은 음성 파일로부터 이 화자의 음색을 대표하는 화자 임베딩 벡터를 만든다. 본 논문에서는 음색 복제 방식을 적용한 다화자 TTS 시스템을 제안한다. 제안한 TTS 시스템은 화자 인코더, synthesizer와 보코더로 구성되어 있는데, 화자 인코더는 화자인식 분야에서 사용하는 d-vector 기법을 적용한다. 학습된 화자 인코더에서 도출한 d-vector를 synthesizer에 입력으로 추가하여 새로운 화자의 음색을 표현한다. MOS와 음색 유사도 청취 방법으로 도출한 실험 결과로부터 제안한 TTS 시스템의 성능이 우수함을 알 수 있다.

Abstract ▼ AI-Helper

To train the model of the deep learning-based single-speaker TTS system, a speech DB of tens of hours and a lot of training time are required. This is an inefficient method in terms of time and cost to train multi-speaker or personalized TTS models. The voice cloning method uses a speaker encoder model to make the TTS model of a new speaker. Through the trained speaker encoder model, a speaker embedding vector representing the timbre of the new speaker is created from the small speech data of the new speaker that is not used for training. In this paper, we propose a multi-speaker TTS system to which voice cloning is applied. The proposed TTS system consists of a speaker encoder, synthesizer and vocoder. The speaker encoder applies the d-vector technique used in the speaker recognition field. The timbre of the new speaker is expressed by adding the d-vector derived from the trained speaker encoder as an input to the synthesizer. It can be seen that the performance of the proposed TTS system is excellent from the experimental results derived by the MOS and timbre similarity listening tests.

주제어

표/그림 (8)

그림 그림 1. 다화자 TTS 시스템 구조 Figure 1. Structure of the multi-speaker TTS system
그림 그림 2. 화자 인코더 학습이 잘못된 경우의 그래프 Figure 2. Graph of the case of wrong trained speaker encoder
그림 그림 3. 화자 인코더 학습이 잘된 경우의 그래프 Figure 3. Graph of the case of well trained speaker encoder
그림 그림 4. Synthesizer 학습이 잘못된 경우의 어텐션 그래프 Figure 4. Attention graph of the case of wrong trained synthesizer
그림 그림 5. 시간 정렬 정보를 사용하지 않아 synthesizer 학습이 잘못된 경우의 어텐션 그래프 Figure 5. Attention graph of the case of wrong trained synthesizer without time alignment information
그림 그림 6. 시간 정렬 정보를 사용하여 synthesizer 학습이 잘된 경우의 어텐션 그래프 Figure 6. Attention graph of the case of well trained synthesizer with time alignment information
표 표 1. MOS 평가 결과 Table 1. Evaluation results for MOS
표 표 2. 유사도 평가 결과 Table 2. Evaluation results for voice similarity

참고문헌 (18)

A. J. Hunt and A. W. Black, "Unit selection in a concatenative speech synthesis system using a large speech database", Proceedings of the IEEE International Conference on Acoustics, Speech, Signal Processing (ICASSP) 1996, pp. 373-376, 1996, DOI: 10.1109/ICASSP.1996.541110
C. H. Kwon, "Performance comparison of state-of-the-art vocoder technology based on deep learning in a Korean TTS system", The Journal of the Convergence on Culture Technology (JCCT), Vol. 6, No. 2, pp. 509-514, 2020, DOI: 10.17703/JCCT.2020.6.2.509

원문보기 상세보기
M. S. Jo and C. H. Kwon, "A multi-speaker speech synthesis system using x-vector", The Journal of the Convergence on Culture Technology (JCCT), Vol. 7, No. 4, pp. 675-681, 2021, DOI:10.17703/JCCT.2021.7.4.675

원문보기 상세보기
Y. Jia, Y. Zhang, R. Weiss, et al., "Transfer learning from speaker verification to multispeaker text-to-speech synthesis", ArXiv:https://arxiv.org/pdf/1806.04558.pdf, Jan. 2019
A. Papir, I. Wan, Q. Wang, et al., "Generalized end-to-end loss for speaker verification", ArXiv: https://arxiv.org/pdf/1710.10467.pdf, Nov. 2020
J. Shen, R. Pang, R. J. Weiss, et al., "Natural TTS synthesis by conditioning WaveNet on mel spectrogram predictions", Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2018, pp. 4779-4783, 2018, DOI: 10.1109/ICASSP.2018.8461368
E. Elsen, N. Kalchbrenner, K. Simonyan, et al,, "Efficient neural audio synthesis", ArXiv. https://arxiv.org/pdf/1802.08435.pdf, June 2018.
K. H. Kim, "A study on multi-speaker TTS using speaker recognition technology", Master Thesis, Graduate School of Daejeon Univ. 2022
C. Jemine, "Real-time voice cloning", Master Thesis, Liege University, 2019
Real-time Voice Cloning, https://github.com/CorentinJ/Real-Time-Voice-Cloning
A. Nagrani, J. S. Chung, A. Zisserman, "VoxCeleb: A large-scale speaker identification dataset", Proceedings of the Interspeech 2017, pp. 2616-2620, 2017, DOI:10.1109/ICASSP.2018.8461375
H. Zen, V. Dang, R. Clark, et al., "LibriTTS: A corpus derived from LibriSpeech for text-to-speech", Proceedings of the Interspeech 2019, pp. 1526-1530, 2019, DOI:10.21437/Interspeech.2019-2441
J. W. Ha, K. H. Nam, J. Kang, et al., "ClovaCall: Korean goal-oriented dialog speech corpus for automatic speech recognition of contact centers", Proceedings of the Interspeech 2020, pp. 409-413, 2020, DOI:10.21437/Interspeech.2020-1136
Zeroth-Korean, Korean open source speech corpus for speech recognition by Zeroth project, https://www.openslr.org/40/
한국전자통신연구원, 음성 학습 데이터, https://aiopen.etri.re.kr/service_dataset.php?categoryvoice
Korean Forced Aligner, https://github.com/hyung8758/Korean_FA
D. Povey, A. Ghoshal, G. Boulianne, et al., "The Kaldi speech recognition toolkit", Proceedings of the IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) 2011, 2011
한국지능정보사회진흥원, AI Hub, 한국어 자유 발화 음성 데이터, https://aihub.or.kr/aidata/105

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증