초록 ▼

□ 연구의 목적 및 내용
본 과제에서는 4차 산업혁명 시대에 딥러닝과 인공지능 기술 개발에 필수적으로 요구되는 한국어 정보처리 관련 원천기술을 개발하였다. 딥러닝 관련 최신 기술인 BERT 임베딩 기법을 한국어에 적용, 발전시키고 임베딩 기법과 언어자원을 결합하여 상황인지 기술과 사용자 의도파악 기술을 개발하는 연구를 수행하였다. 언어처리 기술을 머신러닝 연구개발에 실제로 활용하기 위하여 감성사전 등 언어자원을 확장 구축하고 이를 딥러닝 기법에 활용하는 연구를 수행하였다. 상황인지와 사용자 의도파악 기술을 보이스피싱, 인공지능

□ 연구의 목적 및 내용
본 과제에서는 4차 산업혁명 시대에 딥러닝과 인공지능 기술 개발에 필수적으로 요구되는 한국어 정보처리 관련 원천기술을 개발하였다. 딥러닝 관련 최신 기술인 BERT 임베딩 기법을 한국어에 적용, 발전시키고 임베딩 기법과 언어자원을 결합하여 상황인지 기술과 사용자 의도파악 기술을 개발하는 연구를 수행하였다. 언어처리 기술을 머신러닝 연구개발에 실제로 활용하기 위하여 감성사전 등 언어자원을 확장 구축하고 이를 딥러닝 기법에 활용하는 연구를 수행하였다. 상황인지와 사용자 의도파악 기술을 보이스피싱, 인공지능 편향성 등에 적용하여 현대사회에서 국가 사회적으로 매우 큰 비용을 지출하거나 심각한 문제를 야기하고 있는 사회문제 해결에 기여하는 기술을 개발하였다. 1차년도에는 현재까지 구축된 언어자원과 학습 데이터를 확장-보완하여 최근에 가장 중요한 이슈로 떠오르고 있는 최신 임베딩 기법으로 BERT 기술을 한국어에 최적화된 임베딩 기법으로 개발하고 한국어 정보처리와 관련된 다양한 응용 시스템의 성능을 향상시키는 연구를 수행하였으며, 2차년도에는 최신기술로 개발된 한국어 딥러닝 기술을 보이스피싱, 인공지능 편향성에 적용하는 연구를 수행하여 사회문제 해결에 기여하는 연구를 수행하였다. 본 과제를 통해 구축된 언어자원 및 관련 기술을 GitHub 등을 통해 공개하여 한국어 언어처리 연구자들이 유용하게 활용할 수 있도록 하였다.

□ 연구개발성과
(1) 딥러닝 언어처리를 위한 대규모 학습 데이터 및 언어자원 구축
- 기계학습을 위한 대규모 언어자원 구축
- 한국어 원시말뭉치 확장 구축: 7억3천만 어절
- 한국어 품사/구문 태깅 말뭉치 및 감정 말뭉치 구축
(2) 딥러닝 기법을 이용한 언어처리 기술 개발
- 한국어 임베딩 모델 KR-BERT 개발
- n-gram 언어 모델과 대용량 말뭉치 분석 기법 연구
- 딥러닝 기법을 이용한 한국어에 적합한 워드 임베딩 기술 개발
- 딥러닝 기법을 이용한 한국어 생성 기술 개발
(3) 머신러닝을 위한 한국어 언어자원의 활용 및 배포
- 언어자원과 언어처리 기술을 쉽게 접근 및 활용할 수 있도록 지원
- 구축된 언어자원(말뭉치, 학습 데이터셋 등)을 CQPweb으로 구축

□ 연구개발성과의 활용계획(기대효과)
기술적 측면
- 언어분석 기술 개발을 통한 언어처리 관련 분야의 최신 기술 확보
- 머신러닝, 딥러닝 연구-개발에 필요한 한국어 언어처리 기술 확보
- 다양한 한국어 언어자원의 생산 및 확산으로 언어처리 기반 서비스 실현
- 다양한 언어자원 구축, 활용에 따른 한국어 연구의 국제 경쟁력 증대
경제적 산업적 측면
- 한국어 언어자원을 활용한 언어처리 산업 발전에 기여
- 타산업 및 학문분야에서 한국어 언어자원의 응용 및 활용성 증대
- 빅데이터 분석, 머신러닝과 딥러닝, 텍스트 마이닝 등 언어처리 기술의 정확도 및 신뢰도가 높은 소프트웨어 개발이 가능하게 하여 관련 산업 활성화에 핵심적인 역할을 함
- 상황인지 및 사용자 의도파악 등 한국어 언어처리 기술은 지능형 소프트웨어 산업 발전에 기여함

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 3
• 요약문 ... 4
• 목차 ... 5
• 1. 연구개발과제의 개요 ... 7
• 가. 연구 개발의 개요 ... 7
• 나. 연구 필요성 및 범위 ... 11
• 다. 국내외 기술개발 현황 ... 16
• 2. 연구수행내용 및 성과 ... 19
• 가. 언어자원 구축 ... 19
• (1) 한국어 언어자원 구축 ... 19
• (2) 한국어 유니버설 품사 태그셋 ... 29
• (3) 품사/구문 태깅 말뭉치의 반자동 구축 ... 34
• (4) 한국어 언어자원의 활용 연구 ... 51
• 나. 딥러닝 언어처리 기술 ... 60
• (1) 한국어 임베딩 기법 KR-BERT 개발 ... 60
• (2) 드라마 장르의 자동 분류 ... 73
• (3) GPT-2를 이용한 한국어 생성 ... 78
• (4) BERT와 OOV 선택을 이용한 문서 요약 ... 92
• (5) 종단 간 심층 신경망을 이용한 자동 띄어쓰기 ... 98
• 다. 상황인지 및 사용자 의도파악 ... 106
• (1) 단어 임베딩 기법 ... 106
• (2) 다중 열 LSTM을 이용한 문맥 정보 임베딩 ... 110
• (3) OOV 단어에 강건한 병렬 Tri-LSTM 문장 임베딩 ... 117
• (4) 한국어 감정사전 구축 ... 122
• (5) 상황인지 및 사용자 의도파악 기술 ... 127
• 3. 목표 달성도 및 관련 분야 기여도 ... 134
• 가. 목표 ... 134
• 나. 목표 달성여부 ... 135
• 다. 관련분야 기술발전의 기여도 ... 136
• 4. 연구개발성과의 활용 계획 등 ... 138
• 가. 연구개발 결과의 활용방안 ... 138
• 나. 연구개발 결과의 기대효과 ... 139
• 붙임. 참고문헌 ... 140
• 부록 ... 147
• 부록 1. 각국 언어의 언어자원 공개 및 배포 사이트 ... 147
• 부록 2. 언어자원 구축 및 공개 목록 (1단계 2017~2018) ... 148
• 부록 3. 언어자원 구축 및 공개 목록 (2단계 2019~2020) ... 149
• 부록 4. KCC 한국어 원시 말뭉치 ... 150
• 부록 5. 6가지 감정 표현 말뭉치 ... 151
• 부록 6. KsentiBank 감정분석 말뭉치 ... 152
• 부록 7. 품사 구문 태깅 말뭉치 ... 153
• 부록 8. 한국어 임베딩 모델 KR-BERT ... 154
• 부록 9. CQPweb 언어자원 웹서비스 ... 155
• 부록 10. 뉴스기사 생성 결과 예제 ... 156
• 부록 11. 드라마 생성 결과 예제 ... 159
• 부록 12. 문서 요약 결과 예제 ... 163
• 부록 13. 2단계 연구개발 주요 성과물 예시 ... 164
• 끝페이지 ... 169