초록

본 발명은 적응형 마스킹과 비방향성 특징을 가진 언어이해생성 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 적응형 마스킹과 비방향성 특징을 가진 언어이해생성 시스템은 학습 데이터에 마스킹을 수행하는 적응형 마스킹 블록, 마스킹된 단어를 복원하는 언어 생성기, 복원된 문장 구성 단어들의 원본 여부를 판별하는 인코더를 포함하는 인코더부 및 다음 생성될 단어의 위치를 파악하는 생성 단어 위치 판별기, 해당 위치에 적합한 단어를 결정하는 언어생성기 및 디코더 학습을 위한 비방향성 학습 데이터 생성기를 포함하는 디코더부를 포함한다.

대표청구항

학습 데이터에 마스킹을 수행하는 적응형 마스킹 블록, 마스킹된 단어를 복원하는 언어 생성기, 복원된 문장 구성 단어들의 원본 여부를 판별하는 인코더를 포함하는 인코더부; 및다음 생성될 단어의 위치를 파악하는 생성 단어 위치 판별기, 해당 위치에 적합한 단어를 결정하는 언어생성기 및 디코더 학습을 위한 비방향성 학습 데이터 생성기를 포함하는 디코더부를 포함하는 적응형 마스킹과 비방향성 특징을 가진 언어이해생성 시스템.

학습 데이터에 마스킹을 수행하는 적응형 마스킹 블록, 마스킹된 단어를 복원하는 언어 생성기, 복원된 문장 구성 단어들의 원본 여부를 판별하는 인코더를 포함하는 인코더부; 및다음 생성될 단어의 위치를 파악하는 생성 단어 위치 판별기, 해당 위치에 적합한 단어를 결정하는 언어생성기 및 디코더 학습을 위한 비방향성 학습 데이터 생성기를 포함하는 디코더부를 포함하는 적응형 마스킹과 비방향성 특징을 가진 언어이해생성 시스템.