[논문]한국어 의존 구문 분석을 위한 개선된 Deep Biaffine Attention

오동석; 우종성; 이병우; 김경선

한국어 의존 구문 분석을 위한 개선된 Deep Biaffine Attention
Improved Deep Biaffine Attention for Korean Dependency Parsing 원문보기

오동석 (NHN Entertainment) , 우종성 (NHN Entertainment) , 이병우 (NHN Entertainment) , 김경선 (Diquest)

한국어 의존 구문 분석(Dependency Parsing)은 문장 어절의 중심어(head)와 수식어(modifier)의 의존관계를 표현하는 자연어 분석 방법이다. 최근에는 이러한 의존 관계를 표현하기 위해 주의 집중 메커니즘(Attention Mechanism)과 LSTM(Long Short Term Memory)을 결합한 모델들이 높은 성능을 보이고 있다. 본 논문에서는 개선된 Biaffine Attention 의존 구문 분석 모델을 제안한다. 제안된 모델은 기존의 Biaffine Attention에서 의존성과 의존 관계를 결정하는 방법을 개선하였고, 한국어 의존 구문 분석을 위한 입력 열의 형태소 표상을 확장함으로써 기존의 모델보다 UAS(Unlabeled Attachment Score)가 0.15%p 더 높은 성능을 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 의존성과 의존관계를 결정하는 방법을 개선한 Biaffine Attention 모델과 함께 한국어 의존 구문 분석을 위한 형태소 표상 확장 방법을 제안한다.

제안 방법

그 중 미등록어 문제를 보완하고자 사전 학습된 형태소는 품사 정보와 결합하였고, 음절 정보도 \(x_i\)의 표상 정보에 결합하여 확장하였다. 그리고 어절을 이루고 있는 각 정보들에 Bi-LSTM을 적용하여 표상을 얻은 후 결합하여 확장된 표상을 얻는다.
그 다음에 각 단어의 은닉 표상을 다층신경망으로 적용하여 h_i^(arc_dep), h_i^(arc_head)의 추상화된 표상을 얻는다. 마지막으로, 의존 관계의 표상 정보를 Biaffine Attention 을 적용하여 각 단어의 head를 결정한다.
본 논문에서는 [14]에서의 제안한 표상 방법을 확장하여 형태소와 품사, 형태소, 형태소 품사, 음절 정보의 표상들을 결합하였고, [13][15]에서의 주의 집중 메커니즘 방법인 Biaffine Attention을 개선하여 의존성과 의존관계를 결정하는 방법을 추가하여 기존 방법의 성능을 개선하였다.
그림 1의 모델은 미등록어 문제 해결과 stacked Bi-LSTM에서 표현하는 각 어절의 은닉 표상의 성능을 높이기 위해 확장된 \(x_i\)의 표상 정보를 제안한다. 확장된 어절의 표상 정보는 형태소+품사, 형태소, 품사, 음절 정보를 이용하였고, 이 중 형태소+품사, 형태소는 사전 학습된 결과로 초기화 하였다. 그 중 미등록어 문제를 보완하고자 사전 학습된 형태소는 품사 정보와 결합하였고, 음절 정보도 \(x_i\)의 표상 정보에 결합하여 확장하였다.

대상 데이터

본 논문에서는 한국어 의존 구문 분석 실험을 위해 세종 데이터[9]을 사용하였으며, 평가 척도는 UAS(Unlabeled Attachment Score)와 LAS(Labeled Attachment Score)를 사용하였다. 사전 학습된 결과를 사용하는 형태소+품사, 형태소 임베딩은 Word2Vec을 이용하여 200차원으로 표현하였고, 데이터는 국립국어원에서 제공하는 80만개 문장으로 이루어진 형태소 분석 결과를 사용하였다.
본 논문에서는 한국어 의존 구문 분석 실험을 위해 세종 데이터[9]을 사용하였으며, 평가 척도는 UAS(Unlabeled Attachment Score)와 LAS(Labeled Attachment Score)를 사용하였다. 사전 학습된 결과를 사용하는 형태소+품사, 형태소 임베딩은 Word2Vec을 이용하여 200차원으로 표현하였고, 데이터는 국립국어원에서 제공하는 80만개 문장으로 이루어진 형태소 분석 결과를 사용하였다.

성능/효과

본 논문에서는 형태소+품사, 형태소, 음절, 품사 정보를 기반한 단어 표상 방법을 이용하였고, 기존의 Deep Biaffine Attention 모델을 개선하여 기존의 주의 집중 메커니즘을 이용한 논문들보다 성능을 개선하였다. 향후에는 의존 관계를 결정하는 부분인 Biaffine Attention을 self-attention 메커니즘을 적용하여 연구를 진행할 것이며, 단어의 표상 정보를 확장하는 부분에서는 사전 학습이 필요한 Word2vec이 아닌 ELMo(Embeddings from Language Models) 기법을 적용하여 문맥 정보를 활용하고, 미등록어 문제를 해결하는 단어 임베딩 결과를 적용하고자 한다.
표 1의 결과는 주의 집중 메커니즘을 이용한 논문들을 비교하였으며, 같은 Deep Biaffine 개념을 사용한 [15]의 모델 보다 UAS가 0.15%p 높은 성능을 보였다.

후속연구

본 논문에서는 형태소+품사, 형태소, 음절, 품사 정보를 기반한 단어 표상 방법을 이용하였고, 기존의 Deep Biaffine Attention 모델을 개선하여 기존의 주의 집중 메커니즘을 이용한 논문들보다 성능을 개선하였다. 향후에는 의존 관계를 결정하는 부분인 Biaffine Attention을 self-attention 메커니즘을 적용하여 연구를 진행할 것이며, 단어의 표상 정보를 확장하는 부분에서는 사전 학습이 필요한 Word2vec이 아닌 ELMo(Embeddings from Language Models) 기법을 적용하여 문맥 정보를 활용하고, 미등록어 문제를 해결하는 단어 임베딩 결과를 적용하고자 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

한국어 의존 구문 분석을 위한 개선된 Deep Biaffine Attention
Improved Deep Biaffine Attention for Korean Dependency Parsing 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

한국어 의존 구문 분석을 위한 개선된 Deep Biaffine Attention Improved Deep Biaffine Attention for Korean Dependency Parsing 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

한국어 의존 구문 분석을 위한 개선된 Deep Biaffine Attention
Improved Deep Biaffine Attention for Korean Dependency Parsing 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper