초록

본 발명은 딥러닝 기반 생성형 AI 시스템의 학습용 데이터셋 증폭장치 및 그 방법에 관한 것으로, 외부에서 수집한 원본 문서를 표현방식을 달리한 복수 개의 학습용 데이터셋으로 증폭함으로써, 적은 양의 수집 문서로부터 대량의 학습용 데이터셋을 확보할 수 있으며, 상기 증폭한 학습용 데이터셋을 통해 딥러닝 기반 생성형 AI 모델을 학습하여 성능을 개선할 수 있는 딥러닝 기반 생성형 AI 시스템의 학습용 데이터셋 증폭장치 및 그 방법에 관한 것이다.

대표청구항 ▼

외부 서버로부터 문서를 수집하는 문서 수집부;상기 외부 서버로부터 수집한 각 문서별 텍스트를 추출하는 텍스트 추출부; 상기 추출한 텍스트를 통해 각 문서별 단일의 핵심 문장을 생성하는 핵심 문장 생성부; 상기 생성한 단일의 핵심 문장으로부터 요약 문장 생성을 위한 복수의 프롬프트를 생성하는 프롬프트 생성부; 상기 생성한 복수의 프롬프트를 GPT 시리즈를 포함한 언어 모델인 초거대 AI 모델에 입력하여 복수 개의 요약 문장을 생성하는 요약 문장 생성부; 상기 생성한 복수 개의 요약 문장에 대해서 통계적 유사도 측정을 수행하는 통계적

외부 서버로부터 문서를 수집하는 문서 수집부;상기 외부 서버로부터 수집한 각 문서별 텍스트를 추출하는 텍스트 추출부; 상기 추출한 텍스트를 통해 각 문서별 단일의 핵심 문장을 생성하는 핵심 문장 생성부; 상기 생성한 단일의 핵심 문장으로부터 요약 문장 생성을 위한 복수의 프롬프트를 생성하는 프롬프트 생성부; 상기 생성한 복수의 프롬프트를 GPT 시리즈를 포함한 언어 모델인 초거대 AI 모델에 입력하여 복수 개의 요약 문장을 생성하는 요약 문장 생성부; 상기 생성한 복수 개의 요약 문장에 대해서 통계적 유사도 측정을 수행하는 통계적 유사도 측정부; 및 상기 통계적 유사도 측정을 수행한 결과 상기 복수 개의 요약 문장 중에서 소정 수치 미만의 유사도를 가진 요약 문장을 학습용 데이터셋으로 선정하는 학습용 데이터셋 선정부;를 포함하는 학습용 데이터셋 증폭부;상기 선정한 학습용 데이터셋을 통해 딥러닝 기반 생성형 AI 모델을 학습하는 학습부; 및상기 학습부를 통해 상기 외부 서버로부터 수집한 문서와 상기 학습용 데이터셋 증폭부에서 선정한 학습용 데이터셋을 입력과 출력으로 하여 모델링하도록 학습한 딥러닝 기반 생성형 AI 모델에 상기 수집한 문서를 입력하여 추출한 요약 문장과 상기 핵심 문장 생성부에서 생성한 단일의 핵심 문장의 유사도를 비교하고, 상기 비교한 결과 유사도가 소정 수치 이상인 경우 상기 학습한 딥러닝 기반 생성형 AI 모델이 개선되지 않은 것으로 판단하여, 상기 수집한 문서로부터 복수 개의 학습용 데이터셋을 증폭하여 생성하는 것을 다시 수행하는 것을 통해서 상기 학습용 데이터셋의 재생성 및 상기 딥러닝 기반 생성형 AI 모델의 재학습을 수행하는 학습용 데이터셋 재생성 및 재학습부;를 포함하며,상기 수집한 단일의 문서로부터 복수 개의 학습용 데이터셋을 확보함으로써, 학습용 데이터셋의 부족을 해결하면서 상기 딥러닝 기반 생성형 AI 모델의 학습을 통한 성능 개선을 지원하는 것을 특징으로 하는 딥러닝 기반 생성형 AI 시스템의 학습용 데이터셋 증폭장치.