초록 ▼

연구개발 목표 및 내용
최종 목표
[기술 개발 목표]
(1) 한국어 자연어분석 과제에 범용적으로 쓰일 수 있는 BERT기반 한국어 범용 사전학습(Pre-trained) 언어모델 구축
(2) (1)의 모델을 바탕으로 전이학습(Transfer Learning)기반 순수/복합 텍스트 지식베이스 기계독해 언어모델 개발
(3) (2)를 바탕으로 인간의 독해 능력을 상회하는 기계독해 기술을 개발하고 이를 본사 기보유 챗봇 빌더 플랫폼에 적용, 세계 최초 인텐트/슬롯 기반 챗봇 빌딩과 기계독해 챗봇 빌딩을 모두 지원하

연구개발 목표 및 내용
최종 목표
[기술 개발 목표]
(1) 한국어 자연어분석 과제에 범용적으로 쓰일 수 있는 BERT기반 한국어 범용 사전학습(Pre-trained) 언어모델 구축
(2) (1)의 모델을 바탕으로 전이학습(Transfer Learning)기반 순수/복합 텍스트 지식베이스 기계독해 언어모델 개발
(3) (2)를 바탕으로 인간의 독해 능력을 상회하는 기계독해 기술을 개발하고 이를 본사 기보유 챗봇 빌더 플랫폼에 적용, 세계 최초 인텐트/슬롯 기반 챗봇 빌딩과 기계독해 챗봇 빌딩을 모두 지원하는 챗봇 빌딩 플랫폼 출시
[기술성능 정량 목표]
인공지능 경진대회 리더보드를 통한 공개 기술 성능 검증
· KorQuAD 1.0 기준 기계 독해 정확도 F1 score 95.6
· KorQuAD 2.0 기준 기계 독해 정확도 F1 score 89.92
· KorQuAD 2.0 기준 기계 독해 도출 속도 1000ms
· AIHub Dev 데이터셋 기준 기계 독해 정확도 F1 score 91.00

전체 내용
· 한국어 범용 사전학습(Pre-trained) 언어모델 개발
- BERT 기반 한국어 범용 사전학습 언어모델 훈련을 위한 프레임워크 개발
- 전이학습 기반 한국어 범용 사전학습 언어모델 개발 완료
· 순수/복합 텍스트 지식베이스 기반 기계 독해 언어모델 개발
- 각 과제에 최적화하여 한국어 범용 사전학습 언어모델 파인튜닝 진행
- 순수/복합 텍스트 지식베이스 기반 기계독해 언어모델 확보
· 순수/복합 텍스트 지식베이스 기반 기계독해 챗봇 빌딩 플랫폼 개발
- 기보유 챗봇 빌딩 플랫폼에 순수/복합 텍스트 지식베이스 기반 기계 독해 챗봇 구축 기술 적용
- 챗봇 제작자가 챗봇에 학습시킬 지식 문서(지문)만 준비하면 end-to-end 방식으로 챗봇 생성

1년차
(2단계)
목표
순수 텍스트 지식베이스 기반 기계독해 언어모델 개발
내용
- 1차년도 단계에서 개발한 모델을 기술에 최적화하여 파인튜닝 (fine-tuning) 진행
- 순수 텍스트 지식베이스 기반 기계독해 언어모델 개발 완료

2년차
(2단계)
목표
- 복합텍스트 지식베이스 기반 기계독해 언어모델 개발
- 순수/복합 텍스트 지식베이스 기반 기계 독해 챗봇 구축 기술 개발
- 챗봇 빌더 플랫폼 개발
내용
- 1차년도 1단계에서 개발한 모델을 기술에 최적화하여 파인튜닝 (fine-tuning) 진행
- 복합텍스트 지식베이스 기반 기계독해 언어모델 개발 완료
- 사용자의 질문에 대해 학습한 순수/복합 텍스트 지식베이스에서 답변을 찾아내는 기계 독해 챗봇 구축 기술 개발
- 기보유 중인 챗봇 빌더 플랫폼에 순수/복합 텍스트 지식베이스에서 답변을 찾아내는 기계 독해 챗봇 구축 기술 개발
- 챗봇 제작자가 순수/복합 텍스트 지식 데이터만 준비하면 이를 학습해 관련된 질의에 적절한 답변을 학습한 문서에서 찾아 사용자에게 제공

연구개발성과
순수/복합 텍스트 지식베이스 기반 기계독해 챗봇 빌딩 플랫폼 개발

연구개발성과 활용계획 및 기대 효과
[활용계획]
- 본 과제로 개발한 한국어 범용 언어모델을 추후 자연어 처리 기술 연구에 활용하면서 지속적 재훈련 및 성능 개선 진행
- 고객상담 분야 진출 및 기계독해 기술 사업화 진행
[기대효과]
- 다양한 한국어 자연어 처리에 쓰일 수 있는 범용 모델 확보
- 자연어 처리 과제는 언어별로 특화된 기술 개발이 필수적임. 그러나, 한국어 자연어 처리 기술성과(논문, 특허, 성능 등)는 아직 해외 선도 기술 수준에 도달하지 못하고 있으며, 보다 적극적인 기능 개선이 필요함
- 자연어 분석 목표에 상관없이 사용할 수 있는 범용 모델을 개발하여 다양한 자연어 처리 과제에 대해 효과적으로 기술 성능을 향상시킬 수 있음
- 4차 산업혁명 이후 필요한 정보를 빅데이터 안에서 빠르게 찾아내는 능력의 중요성이 점차 증대되고 있으며, 기계 독해 기술로 인공지능 기술을 활용하여 사람의 능력을 향상시키는 인공지능-인간 협업이 가능해짐

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 3
• 목차 ... 5
• 1. 연구개발과제의 개요 ... 6
• 1) 기술개요 ... 6
• 2) 연구 개발의 필요성 ... 10
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 12
• 1) 인공지능 언어모델 state-of-the-art 연구 조사 ... 12
• 2) 자연어 데이터 (원시 말뭉치) 수집 ... 16
• 3) 1단계(기초 단계) 사전 학습 언어 모델 구축 및 내부 성능 테스트 진행 ... 18
• 4) 기계독해 기술 기반 챗봇 제작 Mock-Up ... 19
• 5) 한국어 범용 사전학습 언어 모델 훈련을 위한 통합 프레임워크 개발 ... 21
• 6) 순수/복합 텍스트 지식베이스 기반 기계 독해 언어 모델 개발 ... 23
• 7) 복합 텍스트 지식베이스 기반 기계 독해 도출 속도 ... 23
• 8) 기계독해 기반 챗봇 제작의 제품화 ... 24
• 9) AIQ.VIDEO Q&A 제품에 대한 사용자 조사 ... 25
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 26
• 1) 연구수행 결과 ... 26
• 2) 목표 달성 수준 ... 45
• 4. 목표 미달 시 원인분석 ... 46
• 1) 목표 미달 원인(사유) 자체분석 내용 ... 46
• 2) 자체 보완활동 ... 47
• 3) 연구개발 과정의 성실성 ... 47
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 49
• 6. 연구개발성과의 관리 및 활용 계획 ... 50
• 첨부1. 성과증빙 : 사업화 실적 ... 51
• 첨부2. 성과증빙 : 지식재산권 실적 ... 100
• 첨부3. 성과증빙 : 저작권 실적 ... 103
• 첨부4. 성과증빙 : 기술소개 백서 배포 실적 ... 104
• 첨부5. 성과증빙 : 보도 자료 배포 실적 ... 107
• 첨부6. 성과증빙 : 정량적 연구개발성과 실적 ... 122
• 첨부7. 참여연구원 현황 ... 126
• 첨부8. 자체보안관리진단표 ... 129
• 첨부9. 종합검토평가 의견 반영내역 ... 130
• 끝페이지 ... 132