초록 ▼

□ 연구개요
자연언어이해와 생성 문제에서의 구조화된 출력 문제를 다루기 위한 메타러닝 기술연구하고, 메타러닝을 확장 적용하여 다양한 주요 자연언어처리 응용기술을 도출하는 연구를 제안하고 성과를 보인다.

□ 연구 목표대비 연구결과
< 1년차 목표 > 자연언어이해 및 생성을 위한 메타러닝 요소기술 개발
자연어 이해 및 생성을 위한 메타러닝을 위한 범용 인코더-디코더를 개발 후 자연어처리 태스크에 적용 완료.
- MASS에 기반한 메타러닝 기반 범용 인코더-디코더 언어 모델 개발 완료
- Zero-

□ 연구개요
자연언어이해와 생성 문제에서의 구조화된 출력 문제를 다루기 위한 메타러닝 기술연구하고, 메타러닝을 확장 적용하여 다양한 주요 자연언어처리 응용기술을 도출하는 연구를 제안하고 성과를 보인다.

□ 연구 목표대비 연구결과
< 1년차 목표 > 자연언어이해 및 생성을 위한 메타러닝 요소기술 개발
자연어 이해 및 생성을 위한 메타러닝을 위한 범용 인코더-디코더를 개발 후 자연어처리 태스크에 적용 완료.
- MASS에 기반한 메타러닝 기반 범용 인코더-디코더 언어 모델 개발 완료
- Zero-shot Entity Linking 학습 및 평가 완료

< 2년차 목표 > 자연언어이해 및 생성을 위한 메타러닝 요소기술 고도화
기존의 자연어 언어모델에 지식 기반의 요소 기술을 첨가한 학습 모델을 학습하여 메타러닝을 위한 인코더를 고도화 함. 이후 자연어 처리 태스크에 적용 완료.
- optimization-based approach를 적용한 메타 러닝 알고리즘을 개체 연결 태스크에 적용 완료
- KnowBERT 지식 언어 모델을 활용한 고도화된 메타러닝 언어 모델 개발 완료

< 3년차 목표 > 자연언어이해 및 생성 오픈도메인 응용 태스크를 위한 메타러닝 기술 고도화
고도화된 지식 기반 언어 모델 개발하여 오픈 도메인 질의 응답 등에 활용될 수 있는 메타러닝 기술 확보 완료.
- LUKE 지식 언어 모델을 활용한 고도화된 오픈 도메인 메타러닝 언어 모델 개발 완료
- 기계독해 기반 한국어 의존 파싱 모델 개발
- 기계독해 기반 한국어 개체명 인식 모델 개발

□ 연구개발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성)
1. 구조화된 출력 문제를 위한 메타러닝 원천기술 선점하여 자연언어이해 및 생성분야에서 선도적인 연구를 수행할 수 있을 것으로 예상됨.
2. 자연어 이해를 위한 범용 인코더 및 지식 기반 언어 모델을 개발하여 대규모 사전 학습 모델의 범용성 및 태스크 적응성을 획기적으로 개선시킬 수 있을 것으로 보임
3. 메타러닝 기반의 생성을 위한 디코더 언어모델을 개발완료하여 디코더에 의존하는 각종 자연언어생성 응용에서도 획기적 성능 향상을 이룰 것으로 예상함
4. 개발 완료된 자연언어이해 및 생성을 위한 통합 메타러닝 모델을 통해 질의응답, 대화시스템, VQA (Visual question answering), 멀티모달 그라운딩 언어 학습 등 주요 오픈도메인 자연언어 응용에 적용하여 획기적인 진전을 가져올 수 있을 것으로 예상함.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 6
• 1) 정성적 연구개발성과(연구개발결과) ... 6
• 2) 세부 정량적 연구개발성과 ... 12
• 3) 목표 달성 수준 ... 12
• 4) 목표 미달 시 원인 분석 ... 12
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 참고문헌 ... 14
• 붙임1. 세부 정량적 연구개발성과 ... 17
• 붙임2. 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 21
• 끝페이지 ... 21