[논문]Multi-task sequence-to-sequence learning을 이용한 한국어 형태소 분석과 구구조 구문 분석

황현선; 이창기

Multi-task sequence-to-sequence learning을 이용한 한국어 형태소 분석과 구구조 구문 분석
Korean morphological analysis and phrase structure parsing using multi-task sequence-to-sequence learning 원문보기

황현선 (강원대학교) , 이창기 (강원대학교)

한국어 형태소 분석 및 구구조 구문 분석은 한국어 자연어처리에서 난이도가 높은 작업들로서 최근에는 해당 문제들을 출력열 생성 문제로 바꾸어 sequence-to-sequence 모델을 이용한 end-to-end 방식의 접근법들이 연구되었다. 한국어 형태소 분석 및 구구조 구문 분석을 출력열 생성 문제로 바꿀 시 해당 출력 결과는 하나의 열로서 합쳐질 수가 있다. 본 논문에서는 sequence-to-sequence 모델을 이용하여 한국어 형태소 분석 및 구구조 구문 분석을 동시에 처리하는 모델을 제안한다. 실험 결과 한국어 형태소 분석과 구구조 구문 분석을 동시에 처리할 시 형태소 분석이 구구조 구문 분석에 영향을 주는 것을 확인 하였으며, 구구조 구문 분석 또한 형태소 분석에 영향을 주어 서로 영향을 줄 수 있음을 확인하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

한국어 형태소 분석과 구구조 구문 분석은 하나의 출력열로서 표현될 수 있다. 본 논문에서는 sequence-to-sequence 모델을 이용하여 한국어 형태소 분석과 구구조 구문 분석을 동시에 처리하는 multi-task sequence-to-sequence 모델을 제안한다.
한국어 형태소 분석 및 구구조 구문 분석을 출력열 생성 문제로 바꾸었을 때, 이 두가지 문제는 하나의 열로서 표현이 가능하며 sequence-to-sequence 모델을 사용하여 동시에 분석이 가능하다. 본 논문에서는 sequence-to-sequence 모델을 이용하여 한국어 형태소 분석과 구구조 구문 분석을 동시에 처리하는 모델을 소개하며 이러한 모델의 단점을 설명하고 이를 극복하는 새로운 sequence-to-sequence 모델을 제안한다.
그러나 한국어 형태소 분석과 구구조 구문 분석의 출력은 서로 다른 출력열의 형태로 길이가 다를 수 있다. 본 논문에서는 서로 다른 디코더를 이어 hidden state를 공유하는 multi-task sequence-to-sequence 모델을 설계하였다.
1절에서 설명되었듯이 한국어 구구조 구문 분석은 한국어 형태소 분석에 영향을 받기 때문에 출력 결과를 단순히 합친 sequence-to-sequence 모델로는 낮은 구구조 구문 분석 성능을 보이게 된다. 이에 따라 본 논문에서는 구구조 구문 분석이 형태소 분석 결과를 이용할 수 있도록 hidden state를 공유하는 multi-task sequence-to-sequence 모델을 제안한다.

제안 방법

본 논문에서는 그림 2의 task1을 한국어 형태소 분석으로 설계하여 [6]과 동일한 attention mechanism, input-feeding, copying mechanism을 적용한 sequence-to-sequence 모델로 설계 하였다. Task2는 한국어 구구조 구문 분석으로 설계하여 [7]과 동일한 attention mechanism, input-feeding을 적용한 sequence-to-sequence 모델을 사용하였으며, 추가적으로 task1의 정보를 사용하기 위해 다음과 같이 디코더를 재설계하였다.
본 논문에서 제안한 multi-task sequence-to-sequence 모델의 성능을 평가하기 위해 [7]과 동일한 세종말뭉치의 구구조 구문 분석 데이터를 사용하였다. 모든 source, target word embedding은 200차원을 사용하였고 형태소 분석(task1)의 디코더 히든레이어의 크기는 1000, 구구조 구문 분석(task2)의 디코더 히든레이어의 크기는 500으로 설계 하였다. 추가적으로 해당 데이터에 대한 형태소 분석만의 성능과 형태소 분석이 되지 않은 문장을 입력으로 할 때의 구구조 구문 분석의 성능도 측정하였다.
본 논문에서는 그림 2의 task1을 한국어 형태소 분석으로 설계하여 [6]과 동일한 attention mechanism, input-feeding, copying mechanism을 적용한 sequence-to-sequence 모델로 설계 하였다. Task2는 한국어 구구조 구문 분석으로 설계하여 [7]과 동일한 attention mechanism, input-feeding을 적용한 sequence-to-sequence 모델을 사용하였으며, 추가적으로 task1의 정보를 사용하기 위해 다음과 같이 디코더를 재설계하였다.
모든 source, target word embedding은 200차원을 사용하였고 형태소 분석(task1)의 디코더 히든레이어의 크기는 1000, 구구조 구문 분석(task2)의 디코더 히든레이어의 크기는 500으로 설계 하였다. 추가적으로 해당 데이터에 대한 형태소 분석만의 성능과 형태소 분석이 되지 않은 문장을 입력으로 할 때의 구구조 구문 분석의 성능도 측정하였다.

대상 데이터

Task1은 형태소 분석을 나타내며, task2는 구구조 구문분석을 나타낸다. 먼저 [6]에서 제안된 RNN-search +input-feeding + copying 모델로 형태소 분석만을 시도할 시 F1 92.48의 성능을 보여 해당 데이터가 [6]의 데이터보다 크기가 작고, 형태소 분석이 어려운 데이터임을 알 수 있다([6]의 학습데이터는 9만 문장, 본 논문에서 사용한 학습데이터는 3만9천 문장). 마찬가지로 [7]에서 제안된 RNN-search + input-feeding 모델로 형태소 분석이 되지 않은 문장을 입력으로 받았을 시 F1 81.
본 논문에서 제안한 multi-task sequence-to-sequence 모델의 성능을 평가하기 위해 [7]과 동일한 세종말뭉치의 구구조 구문 분석 데이터를 사용하였다. 모든 source, target word embedding은 200차원을 사용하였고 형태소 분석(task1)의 디코더 히든레이어의 크기는 1000, 구구조 구문 분석(task2)의 디코더 히든레이어의 크기는 500으로 설계 하였다.

이론/모형

이러한 방식의 sequence-to-sequence 모델은 복잡한 문제를 출력열 생성 문제로 바꾸어 기존의 복잡한 작업을 단순화 시키는 장점이 있다. Sequence-to-sequence 모델은 Neural Machine Translation(NMT) 모델에 처음 적용이 되어 기계번역 문제를 end-to-end 방식의 모델로 처리하였다[3,4]. 이후 다른 자연어처리 문제들에 적용이 되었는데, 특히 복잡한 한국어 형태소 분석과 구구조 구문 분석을 출력열 생성 문제로 바꾸어 end-to-end 방식의 접근을 시도한 연구들이 진행 되었다[5,6,7].

성능/효과

Model 1에서의 구구조 구문 분석은 형태소 분석 정보를 사용하지 못함과 동시에 sequence-to-sequence 모델의 디코더 출력이 구구조 구문 분석 태그뿐만 아니라 형태소 분석 결과도 출력을 해야 하기 때문에 구문 분석의 난이도가 올라 것으로 분석된다. Model 2에서의 구구조 구문 분석은 형태소 분석이 되지 않은 문장을 입력으로 받았을 시의 구구조 구문 분석의 성능보다 높게 나와 task1의 형태소 분석 정보를 효과적으로 사용하였음을 확인할 수 있다. 또한 model 1과 model 2 모두 [6]의 모델을 이용하여 순수하게 형태소 분석만을 시도한 경우보다 높은 성능을 보여 한국어 구구조 구문 분석에 한국어 형태소 분석이 영향이 끼치는 것은 물론 한국어 형태소 분석에 한국어 구구조 구문 분석이 영향을 미칠 수 있음을 보여준다.
2절에서 제안한 hidden state를 공유하는 multi-task sequence-to-sequence 모델이다. 실험 결과 출력 결과를 합친 model 1의 경우 형태소 분석의 성능이 F1 94.10이었으나 구구조 구문 분석 성능은 F1 78.56으로 형태소 분석이 되지 않은 문장을 입력으로 받았을 시의 F181.78의 성능보다 낮게 나왔다. 그러나 구구조 구문 분석 시 형태소 분석(task1)의 정보를 보게 설계한 model2의 경우 구구조 구문 분석의 성능이 F1 85.

핵심어

질문

논문에서 추출한 답변

한국어 자연어처리에서 의존 구문 분석이 주로 쓰인 이유는?

구문 분석은 문장의 구조를 분석하는 방법으로 구구조 구문 분석과 의존 구문 분석이 사용된다. 그러나 한국어 특성상 구구조 구문 분석의 난이도가 높고 시간 복잡도가 O(n3)으로 높아 한국어 자연어처리에서는 주로 의존 구문 분석이 사용되었다.

구문 분석이란?

형태소 분석은 한국어 자연어처리 중 하나로 형태소 분리, 품사 태깅, 원형 복원 등의 여러 단계를 거처 난이도가 높은 작업에 속한다. 구문 분석은 문장의 구조를 분석하는 방법으로 구구조 구문 분석과 의존 구문 분석이 사용된다. 그러나 한국어 특성상 구구조 구문 분석의 난이도가 높고 시간 복잡도가 O(n3)으로 높아 한국어 자연어처리에서는 주로 의존 구문 분석이 사용되었다.

기존의 multi-task learning를 통한 한국어 분석에서의 단점은?

기존의 multi-task learning은 하나의 hidden state에서 서로 다른 task의 결과를 출력하는 모델로서 하나의 신경망으로 서로 다른 문제를 동시에 해결 할 수 있다는 장점이 있다[12]. 그러나 한국어 형태소 분석과 구구조 구문 분석의 출력은 서로 다른 출력열의 형태로 길이가 다를 수 있다. 본 논문에서는 서로 다른 디코더를 이어 hidden state를 공유하는 multi-task sequence-to-sequence 모델을 설계하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Multi-task sequence-to-sequence learning을 이용한 한국어 형태소 분석과 구구조 구문 분석
Korean morphological analysis and phrase structure parsing using multi-task sequence-to-sequence learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Multi-task sequence-to-sequence learning을 이용한 한국어 형태소 분석과 구구조 구문 분석 Korean morphological analysis and phrase structure parsing using multi-task sequence-to-sequence learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Multi-task sequence-to-sequence learning을 이용한 한국어 형태소 분석과 구구조 구문 분석
Korean morphological analysis and phrase structure parsing using multi-task sequence-to-sequence learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper