음성 합성(Text-To-Speech, TTS)은 텍스트로부터 음성신호를 만들어내는 기술이다. 종전에는 분절음을 녹음하여 텍스트 요청에 따라 각 분절음을 차례로 이어 붙혀 음성신호를 생성해 왔는데, 이 방식은 속도가 빠르고 안정적이라는 장점이 있지만 부자연스럽고, 여러 문맥이나 상황 등에 효과적으로 대응하기 어렵다는 단점이 있었다. 딥러닝의 발전에 힘입어, 음성 합성 방식은 ...
음성 합성(Text-To-Speech, TTS)은 텍스트로부터 음성신호를 만들어내는 기술이다. 종전에는 분절음을 녹음하여 텍스트 요청에 따라 각 분절음을 차례로 이어 붙혀 음성신호를 생성해 왔는데, 이 방식은 속도가 빠르고 안정적이라는 장점이 있지만 부자연스럽고, 여러 문맥이나 상황 등에 효과적으로 대응하기 어렵다는 단점이 있었다. 딥러닝의 발전에 힘입어, 음성 합성 방식은 뉴럴네트워크를 사용하는 방식으로 전환되기 시작했고, 그 필두엔 Tacotron2(Shen et al., 2017)와 Wavenet(Oord et al., 2016)이 있었다. 이러한 변화로 인해 상기 단점들은 효과적으로 해소됐으나, 뉴럴 네트워크는 그 자체적인 크기와 연산 처리량이 방대하여 프로세싱 속도가 느리다는 단점이 대두되었다. 실생활 응용에서, 처리 속도는 비용문제로 연결되었고, 그 이후로 Waveglow(Prenger et al., 2018), Fastspeech(Ren et al., 2019), Fastspeech2(Ren et al., 2020), Parallel Wavenet(Oord et al., 2017), Melgan(Kumar et al., 2019) 등 많은 후속 연구들이 뉴럴 네트워크를 사용하면서도 빠르게, 그러나 그 과정에서 품질 저하를 최소한으로 하며, 발전 할 수 있는 방법론을 제시하며 트렌드로써 오늘에 이르고 있다. 그러나 상기 논문들이 제시하는 모델링을 그대로 사용한다고 해도, 코드가 전체 공개가 되는 것이 아닌 한 완전히 똑같이 구현하기엔 무리가 있고, 또 설령 코드가 공개된다 하더라도 논문에서 제시하는 퀄리티의 결과물을 얻기에는 데이터 상황이 그때 그때 다르므로 어려움이 있다. 본지는 이러한 상황과 연구 흐름에 맞춰, 뉴럴 네트워크의 반복 연산 최소화를 통하여 처리속도를 최적화함과 동시에 품질이 안정화된 모델링을 자체적으로 확보하고자 한다. 이를 위하여 Fastspeech(Ren et al., 2019), Fastspeech2(Ren et al., 2020), Parallel Wavenet(Oord et al., 2017), Melgan(Kumar et al., 2019), Transfomer(Vaswani et al., 2017), Trasformer TTS(Li et al., 2019), LSGAN(Mao et al., 2016) 등의 모델을 참고하여 독자적 모델링을 제시하며, 이를 기반으로 안정적이고 빠른 TTS 시스템을 구축한다.
음성 합성(Text-To-Speech, TTS)은 텍스트로부터 음성신호를 만들어내는 기술이다. 종전에는 분절음을 녹음하여 텍스트 요청에 따라 각 분절음을 차례로 이어 붙혀 음성신호를 생성해 왔는데, 이 방식은 속도가 빠르고 안정적이라는 장점이 있지만 부자연스럽고, 여러 문맥이나 상황 등에 효과적으로 대응하기 어렵다는 단점이 있었다. 딥러닝의 발전에 힘입어, 음성 합성 방식은 뉴럴네트워크를 사용하는 방식으로 전환되기 시작했고, 그 필두엔 Tacotron2(Shen et al., 2017)와 Wavenet(Oord et al., 2016)이 있었다. 이러한 변화로 인해 상기 단점들은 효과적으로 해소됐으나, 뉴럴 네트워크는 그 자체적인 크기와 연산 처리량이 방대하여 프로세싱 속도가 느리다는 단점이 대두되었다. 실생활 응용에서, 처리 속도는 비용문제로 연결되었고, 그 이후로 Waveglow(Prenger et al., 2018), Fastspeech(Ren et al., 2019), Fastspeech2(Ren et al., 2020), Parallel Wavenet(Oord et al., 2017), Melgan(Kumar et al., 2019) 등 많은 후속 연구들이 뉴럴 네트워크를 사용하면서도 빠르게, 그러나 그 과정에서 품질 저하를 최소한으로 하며, 발전 할 수 있는 방법론을 제시하며 트렌드로써 오늘에 이르고 있다. 그러나 상기 논문들이 제시하는 모델링을 그대로 사용한다고 해도, 코드가 전체 공개가 되는 것이 아닌 한 완전히 똑같이 구현하기엔 무리가 있고, 또 설령 코드가 공개된다 하더라도 논문에서 제시하는 퀄리티의 결과물을 얻기에는 데이터 상황이 그때 그때 다르므로 어려움이 있다. 본지는 이러한 상황과 연구 흐름에 맞춰, 뉴럴 네트워크의 반복 연산 최소화를 통하여 처리속도를 최적화함과 동시에 품질이 안정화된 모델링을 자체적으로 확보하고자 한다. 이를 위하여 Fastspeech(Ren et al., 2019), Fastspeech2(Ren et al., 2020), Parallel Wavenet(Oord et al., 2017), Melgan(Kumar et al., 2019), Transfomer(Vaswani et al., 2017), Trasformer TTS(Li et al., 2019), LSGAN(Mao et al., 2016) 등의 모델을 참고하여 독자적 모델링을 제시하며, 이를 기반으로 안정적이고 빠른 TTS 시스템을 구축한다.
Text-To-Speech(TTS) is a technology that generates wav signal from given input text. Before the advance of neural network, TTS system used to record individual wav chunks paired with corresponding text, and then upon user’s request, concatenated the recorded wavs into a sequence. This method was pro...
Text-To-Speech(TTS) is a technology that generates wav signal from given input text. Before the advance of neural network, TTS system used to record individual wav chunks paired with corresponding text, and then upon user’s request, concatenated the recorded wavs into a sequence. This method was proved to be stable and also fast, but had its own limitation that it could not cover all the circumstances or contexts, and also showed lack of naturalness in the generated sequence due to artificial chunking. Thanks to recent development of Deep-learning, Tacotron2(Shen et al., 2017) & Wavenet(Oord et al., 2016) started to set the trend that was a huge transition from old method to new one which was based on neural networks. In this elevational trend, the neural network-based systems successfully have solved previous issues of the old methods, but also have shown lack of processing speed because of their huge size and a lot of backbone computations. At real time application level, increase in processing time directly affected cost, thus, from that time, a great amount of research has focused on reducing the processing time and retaining the quality as good as possible at the same time. Now this efficiency trend has been led by Waveglow(Prenger et al., 2018), Fastspeech(Ren et al., 2019), Fastspeech2(Ren et al., 2020), Parallel Wavenet(Oord et al., 2017), Melgan(Kumar et al., 2019), etc. Nonetheless, data and model inference environment change from time to time, from organization to organization, making it hard for one to get consistent results based on these models, not to mention that not all the code bases are even opened to public yet. To tackle this situation, this paper suggests a novel approach of making an English TTS model that has robust quality thanks to many stabilizing techniques, and fast speed due to diminished repetition, based on Fastspeech(Ren et al., 2019), Fastspeech2(Ren et al., 2020), Parallel Wavenet(Oord et al., 2017), Melgan(Kumar et al., 2019), Transfomer(Vaswani et al., 2017), Trasformer TTS(Li et al., 2019), LSGAN(Mao et al., 2016), etc.
Text-To-Speech(TTS) is a technology that generates wav signal from given input text. Before the advance of neural network, TTS system used to record individual wav chunks paired with corresponding text, and then upon user’s request, concatenated the recorded wavs into a sequence. This method was proved to be stable and also fast, but had its own limitation that it could not cover all the circumstances or contexts, and also showed lack of naturalness in the generated sequence due to artificial chunking. Thanks to recent development of Deep-learning, Tacotron2(Shen et al., 2017) & Wavenet(Oord et al., 2016) started to set the trend that was a huge transition from old method to new one which was based on neural networks. In this elevational trend, the neural network-based systems successfully have solved previous issues of the old methods, but also have shown lack of processing speed because of their huge size and a lot of backbone computations. At real time application level, increase in processing time directly affected cost, thus, from that time, a great amount of research has focused on reducing the processing time and retaining the quality as good as possible at the same time. Now this efficiency trend has been led by Waveglow(Prenger et al., 2018), Fastspeech(Ren et al., 2019), Fastspeech2(Ren et al., 2020), Parallel Wavenet(Oord et al., 2017), Melgan(Kumar et al., 2019), etc. Nonetheless, data and model inference environment change from time to time, from organization to organization, making it hard for one to get consistent results based on these models, not to mention that not all the code bases are even opened to public yet. To tackle this situation, this paper suggests a novel approach of making an English TTS model that has robust quality thanks to many stabilizing techniques, and fast speed due to diminished repetition, based on Fastspeech(Ren et al., 2019), Fastspeech2(Ren et al., 2020), Parallel Wavenet(Oord et al., 2017), Melgan(Kumar et al., 2019), Transfomer(Vaswani et al., 2017), Trasformer TTS(Li et al., 2019), LSGAN(Mao et al., 2016), etc.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.