[보고서]과학기술 텍스트 분석을 위한 지능 기술 연구

이혁로

과학기술 텍스트 분석을 위한 지능 기술 연구
Research on the Intelligent Technology for Scientific Text Data Analysis 원문보기

보고서 정보
주관연구기관	한국과학기술정보연구원 Korea Institute of Science and Technology Information
연구책임자	이혁로
참여연구자	성원경 , 황명권 , 이민호 , 김은희 , 정유나 , 양동헌 , 박선경 , 조민수 , 노민기 , 이현아 , 이경하 , 박정현 , 유주연 , 선형주 , 조금원 , 신영호
보고서유형	최종보고서
발행국가	대한민국
언어	한국어
발행년월	2022-12
과제시작연도	2022
주관부처	과학기술정보통신부 Ministry of Science and ICT
등록번호	TRKO202300002693
과제고유번호	1711176863
사업명	한국과학기술정보연구원연구운영비지원(주요사업비)
DB 구축일자	2023-07-20
키워드	자연어 처리.언어 모델.딥 러닝.정보 추출.기계 독해.Natural Language Processing.Language Model.Deep Learning.Information Extraction.Machine Reading&Com prehension.

초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
과학기술 데이터의 지능적 처리를 위한 AI 기술 연구

◼ 전체 내용
⦁ AI 학습과정 효율화를 위한 모델·데이터 경량화 기술 연구
⦁ 과학기술 텍스트 분석을 위한 기계이해(machine understanding) 핵심 기술 연구

◼ 1단계
❏ 목표
AI 학습 과정의 효율화를 위한 모델·데이터 경량화 기술 연구
❏ 내용
⦁ weight / activation quantization 기반 모델 경량화 기술 연구
⦁ core dataset 구성을 통한 학습데이터 경량화 기술 연구

◼ 2단계
❏ 목표
과학기술 텍스트 분석을 위한 기계이해(machine understanding) 핵심 기술 연구
❏ 내용
⦁ 과학기술 분야 서비스에 특화된 딥 러닝 언어 모델 연구
⦁ 과학기술 분야 지식 추출을 위한 개체명 인식, 관계 추출, 상호참조 해결, 의미 중의성 해소, 다단계 추론 기반 질의응답 기술 연구

□ 연구개발성과
⦁ 과학기술 텍스트 대상 지식 추출 기술의 세계 최고 성능 (이하 SOTA) 확보 (2단계 완료 시점 기준)

□ 연구개발성과 활용계획 및 기대 효과
⦁ 범용의 언어 모델과 기계 이해 모델의 개발을 통한 신규 서비스 창출에 활용
⦁ 과학기술 데이터 분석을 위한 기계 독해 및 데이터 마이닝 등 다양한 서비스 개발을 위한 핵심 기술 요소로서 활용

(출처 : 요약문 4p)

Abstract ▼

III. Research results
○ Development of a language understanding model specialized for science and technology texts
- Development of SciDeBERTa, a language model specialized in understanding science and technology texts based on the DeBERTa model
- Development of SciDeBERTa (CS) and SciDeBERTa (Bio) models that are more specialized for each field by additionally learning CS (Computer Science) and BIO (Biomedical) knowledge as well as SciDeBERTa, which can be used universally in the field of science and technology.

○ Achieving the world's highest level in science and technology text knowledge extraction tasks
- Performance verification of NER, Joint RE, and Coreference tasks using SciERC data set in the field of computer science. Ranked #1 in the world in the NER task and #4 in the world in the Joint RE.
- Achieved 97% of the performance of the world's best model in its class in BLURB, a benchmark in the field of biomedical engineering.

(source : Summary 6p)

목차 Contents

표지 ... 1
제 출 문 ... 2
최종보고서 초록 ... 3
요 약 문 ... 4
Summary ... 6
Contents ... 8
목차 ... 9
표목차 ... 10
그림목차 ... 11
1장 연구개발과제의 개요 ... 13
1절 연구개발 최종 목표 ... 13
2절 국내·외 기술개발 현황 ... 14
(1) 트랜스포머 기반의 최신 언어모델 발전 동향 ... 14
(2) 언어모델 일반화를 위한 데이터 증강 기법 분석 ... 21
3절 단계별 연구개발 로드맵 ... 30
4절 단계별 연구개발과제 목표 및 내용 ... 31
2장 연구개발과제의 수행 과정 및 수행 내용 ... 37
(1) 과학기술데이터 분석에 특화된 딥러닝 기반 언어 모델 개발 ... 37
(2) 과학기술 지식 추출 기술 개발 ... 63
(3) 인공지능 기술의 중장기 발전 계획 수립 ... 79
3장 연구개발과제의 수행 결과 ... 88
1절 정성적 연구개발성과 ... 88
2절 정량적 연구개발성과 ... 93
4장 연구개발성과의 관련 분야에 대한 기여 정도 ... 96
5장 연구개발성과의 관리 및 활용 계획 ... 97
6장 참고문헌 ... 98
끝페이지 ... 103

표/그림 (89)

표 인공지능기술연구단 연구 내용 구성도
표 2018년에서부터 2020년까지 언어모델 규모의 변화
표 모델 성능과 각 scale factor와의 거듭제곱 관계
표 OpenAI에서 2020년 제안한 언어모델의 규모의 법칙
표 DeepMind에서 최근 발표한 언어모델의 규모의 법칙
표 최적의 언어모델 학습 조합을 찾기 위한 실험 결과
표 주어진 예산에서 최적의 언어모델 학습을 위한 모델 크기와 토큰 수
표 LinkBERT 모델의 사전학습 수행과정
표 대표적 최신 언어모델의 GLUE 벤치마크 성능 비교 결과
표 LinkBERT와 DeBERTaV3모델의 QA 태스크 성능 비교
표 BioLinkBERT의 BLURB 벤치마크 성능 비교 결과
표 ELECTRA의 모델 학습 구조
표 Vanilla embedding sharing
표 Gradient-disentangled embedding sharing
표 응용성, 의존성 및 필요성 등 측면에서 데이터 증강 방법 선택 비교
표 EDA를 통한 적은 데이터셋에서의 과적합 방지 효과와 성능개선
표 역번역 기술 [chaudhary2020]
표 다양한 언어를 통한 역번역 기술을 통한 데이터 증강 예시[chaudhary2020]
표 LINDA 프레임워크 아키텍쳐
표 4종류 데이터 셋에서 EDA, SSMBA, MixUP, LINDA 데이터 증강기술의 성능 비교
표 ID와 OOD를 고려한 6종류 데이터 셋에서 EDA, SSMBA, MixUP, LINDA 데이터 증강기술의 성능 비교
표 각 모델별 사전학습용 코퍼스 비교
표 사전학습 언어모델의 biomedical 분야 태스크별 성능 비교 표 [Gu2020]
표 PubMedBERT의 학습 데이터 형태(abstract, abstract+full-text)에 따른 성능 비교 결과 [Gu2020]
표 BioBERT모델의 사전학습 코퍼스 및 step 수와 Biomedical 분야 NER 태스크 성능 측정 결과 [Lee2020]
표 논문 데이터 연구 분야 분포
표 PubMedBERT의 vocab과 사전학습 방법에 따른 성능 차이 비교 [Gu2020]
표 비전분야 딥뉴럴 네트워크의 표현 학습
표 언어모델 분야 딥 뉴럴 네트워크의 표현 학습
표 재초기화를 통한 학습 손실로 확인되는 과적합 해소 효과
표 계층별 재초기화를 통한 NER 태스크 성능 변화
표 계층별 재초기화를 통한 RE 태스크 성능 변화
표 학습데이터에 따른 모델의 성능 변화
표 대소문자 구분에 따른 성능 변화
표 roberta base 모델과 large모델의 architecture 차이
표 SciERC 데이터셋 IE 태스크에 대한 모델 크기에 따른 성능 비교
표 학습 방법 및 데이터셋 크기 변화에 따른 성능 변화
표 Optimizer변화에 따른 정보추출 파인튜닝 태스크 성능 비교
표 딥러닝 모델 optimizer의 발전 과정
표 AdamW optimizer 알고리즘
표 RAdam optimizer 알고리즘
표 AdamP optimizer 알고리즘
표 DYGIE++ framework
표 개체명 인식 F1 점수
표 관계추출 F1점수
표 Dygie++ 모델의 성능 개선 (타겟 : JRE )
표 Dygie++ 모델의 성능 개선 (타겟 : NER)
표 의공학분야에서 IFT 기법의 검증 실험 결과
표 SciDeBERTa-BIO 모델 기반 태스크 모델에서 IFT 기법 적용 시 성능 개선 결과
표 일반적 언어 모델의 사전학습과 파인튜닝 수행 과정
표 도메인 특화 언어 모델 학습을 위한 두 가지 방안
표 SuperGLUE 벤치마크 SOTA 언어 모델
표 DeBERTa 모델의 구조
표 S2ORC 데이터셋의 구성요소와 분야별 분포
표 SciDeBERTa 모델의 사전학습 방안 요약
표 SciDeBERTa-BIO 예비 모델들의 학습 방안 비교
표 SciDeBERTa-BIO 예비 모델의 BLURB 벤치마크 성능 비교 결과
표 배치크기 변화에 따라 throughput 및 정확률 성능 향상
표 Node 개수 증가에 따른 batch 크기 증가에 따라 throughput과 정확률 성능 향상
표 자체 개발한 SciDeBERTa 모델의 SciERC 및 GENIA 벤치마킹 결과
표 SciDeBERTa 모델의 SciERC 기준 세계 1위 달성 (2022.10.24. 기준 Paperswithcode 페이지 캡쳐)
표 의공학분야 대표적 벤치마크 데이터셋인 BLURB에서의 성능평가 결과
표 WSD 태스크를 위한 Bidirectional LSTM 기반의 Neural Sequence Learning Model 구조도
표 WSD 태스크를 위한 Attention 층을 추가한 Bidirectional LSTM 기반의 Neural Sequence Learning Model 구조도
표 WSD 태스크를 위한 Attention 층을 추가한 인코더-디코더 기반의 Neural Sequence Learning Model 구조도
표 WSD 태스크를 위한 Attention 층을 추가한 인코더-디코더 기반의 Neural Sequence Learning Model 구조도
표 Neural Sequence Learning Model을 이용한 WSD 태스크의 성능 비교
표 BERT 모델을 활용한 GlossBERT 구조도
표 GlossBERT에 입력되는 문장 형식 (상단은 문맥 문장과 정의 문장 페어를 입력, 하단은 타깃 단어를 하이라이팅하고, 정의 문장에 한 번 더 입력하는 Weak Supervision 적용)
표 WSD 벤치마킹 데이터 셋을 활용한 성능 비교 결과
표 워드넷 센스를 신셋 번호로 압축하는 방법 개요도
표 워드넷의 상하위 개념 관계를 이용한 압축 방식
표 Sense Vocabulary Compression 방법을 통한 압축률
표 Sense Vocabulary Compression 방법의 성능 비교
표 Extractive Sense Comprehension 방법 개요도
표 Extractive Sense Comprehension 방법의 성능 비교
표 DeBERTa 모델을 활용한 ConSec의 상대적 위치 추가 방식
표 ConSec의 성능 평가 결과(최고 성능 달성)
표 BEM과 ESR을 동시에 활용한 하이브리드 모형
표 SACE 아키텍처+DeBERTa, ESR 방식의 후보 문장 증강을 활용한 하이브리드 모형
표 QAngaroo의 질문/답변 예시
표 QAngaroo 리더보드 (2021년 12월)
표 HotpotQA 리더보드 (2021년 12월)
표 BigBird의 어텐션 메카니즘
표 SAE 시스템 구조
표 HopRetriever의 추론과정
표 Data2Vec의 Multi-Modal 통합 학습 방식
표 VilBert의 변형 트랜스포머 사용 모델 구조
표 호주의 데이터 공유 검색 서비스 (Research Data Australia)

과제명(ProjectTitle) :	-
연구책임자(Manager) :	-
과제기간(DetailSeriesProject) :	-
총연구비 (DetailSeriesProject) :	-
키워드(keyword) :	-
과제수행기간(LeadAgency) :	-
연구목표(Goal) :	-
연구내용(Abstract) :	-
기대효과(Effect) :	-

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 제목(한글), 저자명(한글), 발행일자, 전자원문, 초록(한글), 초록(영문) 관리번호, 제목(한글), 제목(영문), 저자명(한글), 저자명(영문), 주관연구기관(한글), 주관연구기관(영문), 발행일자, 총페이지수, 주관부처명, 과제시작일, 보고서번호, 과제종료일, 주제분류, 키워드(한글), 전자원문, 키워드(영문), 입수제어번호, 초록(한글), 초록(영문), 목차
저장형식	Text(ASCII format) Excel format
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

과학기술 텍스트 분석을 위한 지능 기술 연구
Research on the Intelligent Technology for Scientific Text Data Analysis 원문보기