선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- 본 논문에서 제안하는 멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석은 기존 포인터 네트워크를 이용한 의존 구문 분석 모델의 인코더 부분을 여러 층으로 쌓아 인코딩을 수행하여 인코딩 레벨에서 각 단어들 간의 관계표현을 더욱 추상화하여 학습 및 예측을 수행하는 확장된 방법이다.
- 본 논문에서 제안한 멀티 레이어 포인터 네트워크를 이용한 의존 구문 분석은 멀티 태스크 학습 방법을 이용하며, 디코더의 입력으로 주어진 임의의 어절(형태소 단위로 나눠 입력)에 대하여 의존 관계를 갖는 중심어의 위치를 학습하고, 이에 해당하는 레이블 정보도 함께 학습한다. 멀티 레이어 포인터 네트워크는 인코더를 여러 층 쌓아 일반 포인터 네트워크보다 더 높은 추상화를 시도하는 모델이다.
- 본 논문에서는 인코딩 단계에서 인코더(Encoder RNN)를 여러 층으로 쌓아 더 높은 수준의 추상화를 시도하고, 디코딩 단계에서 멀티 태스크 학습 기반 포인터 네트워크를 이용하여 각 어절의 중심어를 찾고 의존 구문 분석의 레이블(label) 정보를 출력하는 멀티 레이어 포인터 네트워크(Multi-layer Pointer Networks)를 이용한 한국어 의존 구문 분석을 제안한다.
- 인코더와 디코더, 어텐션 레이어의 활성함수는 모두 tanh를 사용하였고, 의존 관계 레이블 Zoutput의 활성함수는 relu를 사용하였다. 임베딩 레이어에서 적용되는 단어 표현은 형태소 단위 100차원을 사용하였고, 히든 레이어의 차원 수와 드랍아웃은 [14]에서 가장 좋은 성능을 보인 차원 수 600과, 드랍아웃 0.
- 2로 설정하였으다. 학습은 모멘텀(momentum)을 이용하였고, 학습율(learning rate) 0.1을 시작으로 성능 개선이 없으면 3 에포크(epoch)마다 50%씩 감소시켰다.
대상 데이터
- 본 논문에서 제안한 멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석의 실험 데이터는 의존 구조로 변환된 세종 데이터셋[13]을 사용하였으며, 데이터셋은 총 59,659 문장이다. 학습에 사용한 문장은 전체 문장 중 90%인 53,842 문장이고, 나머지 10%인 5,817 문장을 평가에 사용하였다.
- 본 논문에서는 인코더로 bidirectional Gated Recurrent Unit(BiGRU)[14]을 사용하며, 각 히든 레이어의 BiGRU 수식은 아래와 같다.
- [표 1]은 본 논문에서 제안한 멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석 성능을 기존의 연구들과 비교한 표이다. 사용한 데이터는 모두 세종 코퍼스로 같으며 자동 형태소 분석 결과를 사용하였다. 실험 결과, 본 논문에서 제안한 멀티 레이어 포인터 네트워크를 이용하여 의존 구문 분석을 수행하는 방법이 일반 포인터 네트워크를 사용한 박천음[14]과 Deep biaffine 모델을 사용한 나승훈[9] 연구에 비하여 전반적으로 높은 성능을 보였으며, 2-layer stack cancat 모델이 UAS 92.
- 본 논문에서 제안한 멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석의 실험 데이터는 의존 구조로 변환된 세종 데이터셋[13]을 사용하였으며, 데이터셋은 총 59,659 문장이다. 학습에 사용한 문장은 전체 문장 중 90%인 53,842 문장이고, 나머지 10%인 5,817 문장을 평가에 사용하였다. 입력 형태소에 대한 단어표현은 10만 단어에 대한 2년치 뉴스기사를 Neural Network Language Model (NNLM)으로 학습한 것을 사용하였다.
이론/모형
- 전이 기반 의존 구문 분석은 입력(버퍼)과 스택으로부터 구문 분석 상태 표현을 얻고, 신경망을 이용하여 다음 전이 액션을 결정하는 방법이다[2-4]. 그래프 기반 방법은 입력 단어들에 대한 의존 관계의 점수(score)를 딥 러닝 모델로 계산하여 의존 구문 분석을 수행한다[5-9].
- 본 논문에서는 한국어 의존 구문 분석을 수행하기 위하여 인코딩 단계에서 더욱 높은 추상화를 시도하기 위한 멀티 레이어 포인터 네트워크 모델을 이용하였다. 실험 결과, 본 논문에서 제안한 방법이 2-layer stack과 concat 얼라인먼트 스코어 방법, 단어 표현 100차원, 히든 레이어 600 차원, 드랍아웃 0.
- 입력 형태소에 대한 단어표현은 10만 단어에 대한 2년치 뉴스기사를 Neural Network Language Model (NNLM)으로 학습한 것을 사용하였다. 의존 구문 분석 결과에 대한 평가 척도는 Unlabeled Attachment Score (UAS), Labeled Attachment Score(LAS)를 사용하였다.
- 학습에 사용한 문장은 전체 문장 중 90%인 53,842 문장이고, 나머지 10%인 5,817 문장을 평가에 사용하였다. 입력 형태소에 대한 단어표현은 10만 단어에 대한 2년치 뉴스기사를 Neural Network Language Model (NNLM)으로 학습한 것을 사용하였다. 의존 구문 분석 결과에 대한 평가 척도는 Unlabeled Attachment Score (UAS), Labeled Attachment Score(LAS)를 사용하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.