초록 ▼

□ 연구의 목적 및 내용
딥러닝 언어처리와 인공지능 기술 개발에 필수적으로 요구되는 한국어 정보처리 관련 원천기술을 개발하였다. 딥러닝 언어처리 연구에 필수적인 대규모 원시/태깅말뭉치를 구축하였으며, 언어처리 기술을 머신러닝 연구개발에 실제로 활용하기 위하여 감성분석 말뭉치를 확장 구축하고 이를 딥러닝 기법에 활용하는 연구를 수행하였다. 또한, 한국어 형태소 분석기를 기반으로 형태-의미 태거와 개체명 태거, 의존구조 구문분석기 등 한국어 언어처리의 핵심 요소 기술을 딥러닝 언어처리 연구에 적합하도록 발전시켰다. 구축된 대규모

□ 연구의 목적 및 내용
딥러닝 언어처리와 인공지능 기술 개발에 필수적으로 요구되는 한국어 정보처리 관련 원천기술을 개발하였다. 딥러닝 언어처리 연구에 필수적인 대규모 원시/태깅말뭉치를 구축하였으며, 언어처리 기술을 머신러닝 연구개발에 실제로 활용하기 위하여 감성분석 말뭉치를 확장 구축하고 이를 딥러닝 기법에 활용하는 연구를 수행하였다. 또한, 한국어 형태소 분석기를 기반으로 형태-의미 태거와 개체명 태거, 의존구조 구문분석기 등 한국어 언어처리의 핵심 요소 기술을 딥러닝 언어처리 연구에 적합하도록 발전시켰다. 구축된 대규모 말뭉치를 이용하여 딥러닝 언어처리의 최신 기술인 한국어에 최적화된 KR-BERT 임베딩 모델을 개발하고, 최신 임베딩 기법과 언어자원을 결합하여 상황인지 기술과 사용자 의도파악 기술을 개발하는 연구를 수행하였다. 영속성을 가진 언어 학습 모델을 개발하기 위해 Cross Modality 모델 구축, 객체 이해, 및 지식 추론 모델 개발, 인간의 신경 가소성 원리를 반영한 뇌 인지 모사영 모델 개발, 객체 개념 추상화 및 구조 변화 관리 기술을 개발하였다. 상황인지와 사용자 의도파악 기술을 보이스피싱, 인공지능 편향성 문제에 적용하여 국가 사회적으로 매우 큰 비용을 지출하거나 심각한 문제를 야기하고 있는 사회문제를 해결하는 연구를 수행하였다. 본 과제를 통해 구축된 언어자원 및 언어처리 기술을 GitHub와 CQPweb, 파이썬 플랫폼 등을 통해 공개하여 딥러닝 언어처리 연구자들이 유용하게 활용할 수 있도록 하였다.

□ 연구개발성과
(1) 딥러닝 언어처리를 위한 대규모 언어자원 구축
- 한국어 원시말뭉치 확장 구축 및 품사/구문 태깅 말뭉치 반자동 구축
- 감정분석을 위한 감정표현 말뭉치 등 다양한 말뭉치 구축
(2) 딥러닝 언어처리에 적합한 언어처리 핵심 요소 기술 개발
- 대화체 형태소 분석과 개체명 인식기 개발
- 구묶음을 반영한 한국어 의존구조 분석
- 단어 임베딩을 활용한 다의어 분별 시스템 개발
(3) 딥러닝 기법을 이용한 언어처리 기술 개발
- 한국어에 최적화된 최신 임베딩 모델 KR-BERT 개발
- 부분단어 임베딩 등 한국어에 적합한 워드 임베딩 기술 개발
- 딥러닝 기법을 이용한 한국어 생성 기술 개발
(4) 영속성을 가진 언어 학습 모델 개발
- 지식베이스와 Memory/Attention 기반의 객체 관계 이해 및 추론
- 언어발달 커리큐럼지능 컴퓨팅 모델 설계 및 구현
(5) 머신러닝을 위한 한국어 언어자원의 활용 및 배포
- 언어자원과 언어처리 기술을 쉽게 접근 및 활용할 수 있도록 지원
- 구축된 언어자원(말뭉치, 학습 데이터셋 등)을 CQPweb으로 구축

□ 연구개발성과의 활용계획 (기대효과)
기술적 측면
- 대규모 말뭉치와 언어자원 구축에 따른 한국어 연구의 국제 경쟁력 증대
- 언어처리 핵심 기술 개발을 통한 딥러닝 언어처리 분야의 최신 기술 확보
- 한국어에 최적화된 KR-BERT 임베딩 기술 등 최신 언어처리 기술 확보
- 언어처리 기술을 기존의 규칙기반 및 통계-확률적인 기법으로부터 새로운 패러다임으로 딥러닝 기술을 적용하여 실용적인 수준에 이르도록 함
- 다양한 한국어 언어자원의 생산 및 확산으로 언어처리 기반 서비스 실현

경제적 산업적 측면
- 대규모 말뭉치 등 한국어 언어자원을 활용한 언어처리 산업 발전에 기여
- 타산업 및 학문분야에서 한국어 언어자원의 응용 및 활용성 증대
- 언어처리 기술의 정확도 및 신뢰도가 높은 소프트웨어 개발이 가능하게 하여 관련 산업 활성화에 핵심적인 역할을 함
- 상황인지 및 사용자 의도파악 등 한국어 언어처리 기술은 사회문제 해결 및 지능형 소프트웨어 산업 발전에 기여함

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 3
• 요약문 ... 4
• 목차 ... 5
• 부록목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 가. 연구 개발의 개요 ... 8
• 나. 연구 필요성 및 범위 ... 13
• 다. 선행 연구 및 국내외 기술개발 현황 ... 23
• 2. 연구수행내용 및 성과 ... 33
• 가. 언어자원 구축 ... 33
• (1) 한국어 언어자원 구축 ... 33
• (2) 한국어 유니버설 품사 태그셋 ... 43
• (3) 품사/구문 태깅 말뭉치의 반자동 구축 ... 48
• (4) 한국어 언어자원의 활용 연구 ... 65
• 나. 한국어 태깅 시스템 ... 74
• (1) 대화체 형태소 분석 ... 74
• (2) 자연어 의미 표상 모델 ... 78
• (3) 개념 임베딩을 이용한 다의어 구분 ... 88
• 다. 기저구 분석과 의존 구문 분석 ... 97
• (1) 대화체 문장에서 문장 생략 성분 복원 ... 97
• (2) 대화체 문장에서 대용어/대명사 처리 ... 102
• (3) 심층학습 기반 기저구 인식 시스템 ... 107
• (4) 구묶음을 반영한 한국어 의존구조 말뭉치 생성 ... 115
• 라. 개체명 인식 ... 125
• (1) 개체명 인식 말뭉치 오류 수정 및 확장 ... 125
• (2) BIT을 이용한 개체명 인식 ... 131
• (3) 심층학습 이용한 개체명 인식 ... 138
• 마. 딥러닝 언어처리 기술 ... 139
• (1) 한국어 임베딩 기법 KR-BERT 개발 ... 139
• (2) 드라마 장르의 자동 분류 ... 152
• (3) GPT-2를 이용한 한국어 생성 ... 157
• (4) BERT와 OOV 선택을 이용한 문서 요약 ... 171
• (5) 종단 간 심층 신경망을 이용한 자동 띄어쓰기 ... 177
• 바. 상황인지 및 사용자 의도파악 ... 185
• (1) 단어 임베딩 기법 ... 185
• (2) 다중 열 LSTM을 이용한 문맥 정보 임베딩 ... 189
• (3) OOV 단어에 강건한 병렬 Tri-LSTM 문장 임베딩 ... 196
• (4) 한국어 감정사전 구축 ... 201
• (5) 상황인지 및 사용자 의도파악 기술 ... 206
• 사. 지식베이스와 Memory/Attention 기반의 객체 관계 이해 및 추론 ... 213
• (1) Symbolic/Distribute 기초 모델을 통한 Cross Modality 모델 구축 ... 213
• (2) Selective Attention의 Multi-modality 데이터 분류 기술 ... 215
• 아. 신경가소성을 반영한 뇌 인지 기전 모사형 모델 개발 ... 218
• (1) Cross Modality 기반 개념 및 지식 잠재 표상 구축 ... 218
• (2) 언어발달 커리큐럼지능 컴퓨팅 모델 설계 및 구현 ... 229
• 자. 객체 개념 추상화 및 점증적/동적 구조변화 관리 기술 ... 241
• (1) 문장으로 묘사된 시청각 데이터를 통한 Grounded learning ... 241
• (2) 동적 확장 네트워크를 이용한 실세계 개념 학습 기술 연구 ... 248
• 3. 목표 달성도 및 관련 분야 기여도 ... 260
• 가. 연구개발 목표 ... 260
• 나. 연구개발목표의 달성도 ... 262
• 다. 관련분야 기술발전의 기여도 ... 265
• 4. 연구개발성과의 활용 계획 ... 267
• 가. 연구개발 결과의 활용방안 ... 267
• 나. 연구개발 결과의 기대효과 ... 269
• 붙임. 참고문헌 ... 272
• 부록 ... 281
• 부록 1. 각국 언어의 언어자원 공개 및 배포 사이트 ... 281
• 부록 2. 언어자원 구축 및 공개 목록 (1단계 2017~2018) ... 282
• 부록 3. 언어자원 구축 및 공개 목록 (2단계 2019~2020) ... 284
• 부록 4. KCC 한국어 원시 말뭉치 ... 286
• 부록 5. 6가지 감정 표현 말뭉치 ... 287
• 부록 6. KsentiBank 감정분석 말뭉치 ... 288
• 부록 7. 품사 구문 태깅 말뭉치 ... 289
• 부록 8. 한국어 임베딩 모델 KR-BERT ... 290
• 부록 9. CQPweb 언어자원 웹서비스 ... 291
• 부록 10. 뉴스기사 생성 결과 예제 ... 292
• 부록 11. 드라마 생성 결과 예제 ... 295
• 부록 12. 문서 요약 결과 예제 ... 299
• 부록 13. 2단계 연구개발 주요 성과물 예시 ... 300
• 끝페이지 ... 308