초록

본 발명은 자기 지도 학습을 이용한 VAE-GAN 구조 기반의 음성 발화 스타일 변환 방법 및 장치에 관한 것으로, 별도의 라벨 데이터 추가 없이 모델을 학습하는 음성 발화 스타일 변환 방법 및 장치를 제공하기 위함이다. 본 발명을 통해 더 정확한 발화 스타일 분포를 추정하고 좋은 품질의 음성신호를 생성할 수 있다.

대표청구항

입력된 음성신호의 특징을 추출하는 단계;상기 추출된 음성신호의 특징을 VAE-GAN 기반 모델을 통해 학습하는 단계; 상기 추출된 음성신호의 특징과 자기 지도 학습 네트워크를 이용해 데이터를 생성하는 단계; 및상기 생성된 데이터를 상기 VAE-GAN 기반 모델에 공유하여 학습하고 출력 음성 신호를 생성하는 단계를 포함하는, 자기 지도 학습을 이용한 음성 발화 스타일 변환 방법.

입력된 음성신호의 특징을 추출하는 단계;상기 추출된 음성신호의 특징을 VAE-GAN 기반 모델을 통해 학습하는 단계; 상기 추출된 음성신호의 특징과 자기 지도 학습 네트워크를 이용해 데이터를 생성하는 단계; 및상기 생성된 데이터를 상기 VAE-GAN 기반 모델에 공유하여 학습하고 출력 음성 신호를 생성하는 단계를 포함하는, 자기 지도 학습을 이용한 음성 발화 스타일 변환 방법.