초록

본 발명은, 시간 및 비용의 상승을 최소화하면서 신규 데이터(예: 특정 분야의 데이터) 기반의 어휘 확장을 통해 특정 분야를 위한 고성능의 사전학습 언어모델을 구축할 수 있는 기술을 실현하는 사전학습 언어모델 구축장치 및 사전학습 언어모델의 어휘 확장 방법을 제안하고 있다.

대표청구항 ▼

사전학습 언어모델 구축장치가, 특정 분야의 데이터로부터, 기 구축된 범용 사전학습 언어모델에 추가 적용하기 위한 특정 어휘를 선별하는 선별단계;상기 사전학습 언어모델 구축장치가, 상기 범용 사전학습 언어모델 및 상기 특정 어휘가 포함되는 문장을 이용하여, 상기 특정 어휘에 대한 임베딩 값을 생성하는 생성단계; 및상기 사전학습 언어모델 구축장치가, 상기 특정 어휘 및 상기 특정 어휘에 대하여 생성한 임베딩 값을, 상기 범용 사전학습 언어모델의 어휘 사전 및 임베딩 계층에 추가하여, 상기 특정 분야에 대한 분야 적응형 어휘 확장 사전학

사전학습 언어모델 구축장치가, 특정 분야의 데이터로부터, 기 구축된 범용 사전학습 언어모델에 추가 적용하기 위한 특정 어휘를 선별하는 선별단계;상기 사전학습 언어모델 구축장치가, 상기 범용 사전학습 언어모델 및 상기 특정 어휘가 포함되는 문장을 이용하여, 상기 특정 어휘에 대한 임베딩 값을 생성하는 생성단계; 및상기 사전학습 언어모델 구축장치가, 상기 특정 어휘 및 상기 특정 어휘에 대하여 생성한 임베딩 값을, 상기 범용 사전학습 언어모델의 어휘 사전 및 임베딩 계층에 추가하여, 상기 특정 분야에 대한 분야 적응형 어휘 확장 사전학습 언어모델을 구축하는 구축단계를 포함하며,상기 생성단계는, 상기 특정 어휘가 포함되는 문장에서 상기 특정 어휘를 특정 토큰(‘[MASK]’)으로 마스킹한 후 상기 범용 사전학습 언어모델의 MLM(Masked Language Model)에 입력하여, 상기 특정 어휘가 포함되는 문장 별로 상기 특정 토큰(‘[MASK]’)에 대한 예측 어휘 집합을 획득하며,획득한 상기 예측 어휘 집합에서 예측 오류를 개선하기 위한 필터링을 수행하며, 상기 범용 사전학습 언어모델로부터 상기 예측 어휘 집합에서 상기 필터링된 각 예측 어휘에 대한 임베딩 벡터값을 획득하고, 상기 획득한 임베딩 벡터값을 이용한 집계연산을 통해 상기 특정 어휘에 대한 임베딩 값을 생성하는 것을 특징으로 하는 사전학습 언어모델의 어휘 확장 방법.