초록 ▼

본 명세서에는 단대단 심층 학습을 이용하여 개발된 최신의 음성 인식 시스템의 실시예가 제시된다. 실시예에 있어서, 힘들게 설계된 처리 파이프라인에 의존하는 종래의 음성 시스템에 비해, 모델 구조가 훨씬 간단할 뿐만 아니라, 잡음이 있는 환경에서 사용 시 이러한 종래의 시스템 또한 성능이 떨어지는 경향이 있다. 반대로, 본 시스템의 실시예는, 배경 잡음, 잔향 또는 발언자 변이를 모델링하기 위한 수작업으로 설계된 컴포넌트를 필요로하는 대신, 이러한 영향에 로버스트한 함수를 직접 학습한다. 음소 사전뿐만 아니라, 심지어 “음소”의 개념

본 명세서에는 단대단 심층 학습을 이용하여 개발된 최신의 음성 인식 시스템의 실시예가 제시된다. 실시예에 있어서, 힘들게 설계된 처리 파이프라인에 의존하는 종래의 음성 시스템에 비해, 모델 구조가 훨씬 간단할 뿐만 아니라, 잡음이 있는 환경에서 사용 시 이러한 종래의 시스템 또한 성능이 떨어지는 경향이 있다. 반대로, 본 시스템의 실시예는, 배경 잡음, 잔향 또는 발언자 변이를 모델링하기 위한 수작업으로 설계된 컴포넌트를 필요로하는 대신, 이러한 영향에 로버스트한 함수를 직접 학습한다. 음소 사전뿐만 아니라, 심지어 “음소”의 개념도 필요하지 않게 된다. 실시예는, 다수의 GPU를 이용할 수 있는 양호하게 최적화된 회귀성 신경망(RNN) 트레이닝 시스템 및 트레이닝을 위한 대량의 다양한 데이터를 효율적으로 획득하는 것을 허용하는 신규 데이터 합성 기법들을 포함한다. 본 시스템의 실시예는 또한 광범위하게 사용되는 최신 상업용 음성 시스템에 비해 도전적인 잡음 환경을 더욱 잘 처리할 수 있다.

대표청구항 ▼

발언 집합 중의 각 발언에 대해: 스펙트로그램 프레임 집합을 포함하는 발언을 하나 또는 다수의 스펙트로그램 프레임의 문맥과 함께 전사 모델의 제1층에 입력하되, 상기 전사 모델의 제1층은 상기 스펙트로그램 프레임 집합으로부터의 각 스펙트로그램 프레임을 평가하는 단계; 상기 전사 모델로부터 상기 발언에 대한 예측된 문자 또는 문자 확률을 출력하는 단계; 및 상기 발언에 대한 예측 중의 착오를 측정하도록 손실을 컴퓨팅하는 단계; 실지 검증(ground truth) 문자가 주어진 상기 전사 모델의 예측된 출력의 기울기를 평가하는 단계;

발언 집합 중의 각 발언에 대해: 스펙트로그램 프레임 집합을 포함하는 발언을 하나 또는 다수의 스펙트로그램 프레임의 문맥과 함께 전사 모델의 제1층에 입력하되, 상기 전사 모델의 제1층은 상기 스펙트로그램 프레임 집합으로부터의 각 스펙트로그램 프레임을 평가하는 단계; 상기 전사 모델로부터 상기 발언에 대한 예측된 문자 또는 문자 확률을 출력하는 단계; 및 상기 발언에 대한 예측 중의 착오를 측정하도록 손실을 컴퓨팅하는 단계; 실지 검증(ground truth) 문자가 주어진 상기 전사 모델의 예측된 출력의 기울기를 평가하는 단계; 및 역전파를 이용하여 상기 전사 모델을 업데이터하는 단계;를 포함하되, 상기 전사 모델의 제1층에 입력되기 전에, 시간값을 수평 이동시키는 방식으로 상기 발언 집합 중의 적어도 일부 발언을 지터링하는 단계를 더 포함하고, 상기 전사 모델의 제1층에 입력되기 전에, 상기 발언 집합 중의 적어도 일부 발언을 지터링하는 단계는, 발언의 오디오 파일을 하나 또는 다수의 시간값만큼 수평 이동시켜 상기 발언에 대한 발언의 지터 집합을 생성하는 단계와, 상기 발언의 지터 집합과 상기 발언을 스펙트로그램 집합로 전환하는 단계와,상기 전사 모델 또는 전사 모델 집합으로부터 상기 스펙트로그램 집합에 대한 출력 결과를 획득하는 단계와, 상기 오디오 파일의 출력을 획득하도록 상기 스펙트로그램 집합에 대한 상기 출력 결과를 평균화하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.