초록 ▼

III . 연구개발 결과
○ 과학기술 텍스트에 특화된 언어이해모델 개발
- 2021년 현재 SuperGLUE 3위의 성능으로 입증된 DeBERTa모델을 응용하여 과학기술 텍스트 이해에 특화된 언어모델을 개발함.
- 도메인 특정 언어모델에 적합하도록 과학기술 데이터 셋 중 CS(Computer Science) 요약문, CS(Computer Science)분야 전문, 과학기술 데이터셋 전체의 요약문들에 대해 각각 학습을 진행하여 개선사항을 확인함.

○ 자연어 처리 세부 테스크에서 SOTA 달성
- 20

III . 연구개발 결과
○ 과학기술 텍스트에 특화된 언어이해모델 개발
- 2021년 현재 SuperGLUE 3위의 성능으로 입증된 DeBERTa모델을 응용하여 과학기술 텍스트 이해에 특화된 언어모델을 개발함.
- 도메인 특정 언어모델에 적합하도록 과학기술 데이터 셋 중 CS(Computer Science) 요약문, CS(Computer Science)분야 전문, 과학기술 데이터셋 전체의 요약문들에 대해 각각 학습을 진행하여 개선사항을 확인함.

○ 자연어 처리 세부 테스크에서 SOTA 달성
- 2021년 12월 현재 paperswithcode의 리더보드에 공개된 SciERC 데이터 셋을 활용하고, NER, RE, Joint RE 세부 테스크 수행을 통한 성능 검증
- NER 테스크 결과 F1-Score 72.7% 성능으로 최신 SOTA 모델 spERT 대비 약 2.4% 포인트 우위를 보이며 1위 달성
- RE 테스크 결과 F1-Score 89.47% 성능으로 최신 SOTA 모델 SciBERT 대비 약 15% 포인트 우위를 보이며 1위 달성
- 개체명과 관계 동시에 추출하는 Joint RE(Joint Entity and Relation Extraction) 테스크에서 F1-Score 59.55%(RE 48.8%, NER 70.3%)로 4위 달성(SOTA 모델인 PL-Marker는 60.95%(RE 52.0%, NER 69.9%)

○ Word Sense Disambiguation Model 설계
- WSD 모델 설계를 위한 Neural Sequential Learning, 트랜스포머 언어모델 등 최신 딥러닝 기법에 대한 연구 수행
- WSD 테스크의 복잡도 해소를 위한 Sense Vocabulary Compression 기법, 분류 이진화화 기법 등 연구
- WSD 학습 성능 및 정확도 향상을 위한 Data Augmentation 기법, Negative Sampling 기법, 모델 일반화 능력 향상을 위한 모델 병렬화 기법 등 설계

○ 멀티홉 질의응답시스템 연구동향 조사
- 다중 문헌의 복합적인 이해와 추론이 가능한 Multi-Hop Q&A 연구 기획을 위한 최신 모델들과 벤치마킹 데이터셋 활용에 대한 연구 수행

(출처 : 요약 8p)

Abstract ▼

III. Research results
○ Language model for S&T textual data understanding
- Developed S&T text understanding language model. We used DeBERTa which is the third highest performance model in SuperGLUE, 2021.
- In order to fit the S&T-specific language model, we trained the model with the trai

III. Research results
○ Language model for S&T textual data understanding
- Developed S&T text understanding language model. We used DeBERTa which is the third highest performance model in SuperGLUE, 2021.
- In order to fit the S&T-specific language model, we trained the model with the training data such as Computer Science documents (abstracts and full texts) and the summary of the entire S&T dataset.

○ SOTA achievement in NLP tasks
- We used the SciERC data set published on the leaderboard of paperswithcode as of December 2021, and verified the performance in the tasks such as NER, RE, and Joint RE.
- As a result of the NER task, we attained SOTA performance with F1-Score 72.7% which showed about 2.4% point higher than the latest SOTA model, spERT.
- As a result of the RE task, we attained SOTA performance with F1-Score 89.47%, which showed about 15% points higher than the latest SOTA model, SciBERT.
- As a result of Joint RE task, we attained the 4th place with F1-Score 59.55% (RE 48.8%, NER 70.3%) which showed about 1.4% point less than the current SOTA model, PL-Marker with 60.95% (RE 52.0%, NER 69.9%).

○ Word Sense Disambiguation Model design
- Conducting research on the latest deep learning techniques such as Neural Sequential Learning and transformer language model for WSD model design.
- Research on Sense Vocabulary Compression and classification binarization techniques for resolving the complexity of WSD tasks.
- Design new models by using data augmentation, negative sampling, model parallelization technique to improve learning performance, accuracy, generalization ability, etc.

○ Research on multi-hop Q&A system
- Research on the latest models and benchmarking datasets for multi-hop Q&A research that enables complex understanding and reasoning of multiple documents.

(source : Summary 13p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 연차보고서 초록 ... 3
• 요 약 문 ... 5
• 요 약 ... 7
• Summary ... 11
• Contents ... 16
• 목차 ... 17
• 표목차 ... 18
• 그림목차 ... 19
• 1장. 연구개발과제의 개요 ... 23
• 제1절. 연구 목적 및 필요성 ... 23
• 제2절. 연구내용 및 범위 ... 25
• 제3절. 추진 전략 ... 27
• 2장. 국내외 기술개발 현황 ... 28
• 제1절. 트랜스포머 기반 최신 언어모델 기법 분석 ... 28
• 제2절. 단어의미식별(Word Sense Disambiguation) 연구개요 및 동향 ... 76
• 제3절. 멀티홉 질의응답시스템의 연구동향 ... 80
• 3장. 연구개발과제 수행 과정 및 수행 내용 ... 83
• 제1절. 과학기술 이해 언어모델 개발과 자연어 처리 성능향상을 위한 연구 ... 83
• 제2절. Word Sense Disambiguation Model 설계 ... 134
• 제3절. 멀티홉 질의응답시스템 연구동향 조사 ... 146
• 4장. 연구개발과제의 수행 결과 및 목표 달성정도 ... 153
• 제1절. 정량 성과 ... 153
• 제2절. 정성 성과 ... 155
• 5장. 연구개발결과의 활용계획 ... 158
• 제1절. 주요 성과 ... 158
• 제2절. 활용 계획 ... 159
• 6장. 다음 연도 연구개발계획 ... 161
• 7장. 참고문헌 ... 162
• 끝페이지 ... 170