선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- 그리하여 단어를 벡터 공간에 표현하기보다는 음절사전에 등록된 음절 unigram과 bigram을 연속적인 벡터 공간에 표현하였다. 그리고 복합명사를 구성하는 음절들의 의존정보를 고정된 길이의 새로운 벡터로 표현하기 위해 그림 2와 그림 3과 같이 음절 벡터를 단방향 LSTM 또는 양방향 LSTM으로 인코딩하는 방법을 두 가지 모델로 각각 구성하여 복합명사를 구성하는 음절에 복합명사 분해 태그를 부착한다.
- 단어 벡터를 사용하는 모델은 말뭉치에 존재하는 단어를 연속적인 벡터 공간에 표현하기 때문에 말뭉치에 존재하지 않는 단어를 처리해야하는 문제가 발생한다. 그리하여 단어를 벡터 공간에 표현하기보다는 음절사전에 등록된 음절 unigram과 bigram을 연속적인 벡터 공간에 표현하였다. 그리고 복합명사를 구성하는 음절들의 의존정보를 고정된 길이의 새로운 벡터로 표현하기 위해 그림 2와 그림 3과 같이 음절 벡터를 단방향 LSTM 또는 양방향 LSTM으로 인코딩하는 방법을 두 가지 모델로 각각 구성하여 복합명사를 구성하는 음절에 복합명사 분해 태그를 부착한다.
- 한국어의 단위명사간의 결합은 자유로워 복합명사는 수는 다양하고 이에 따라 단위명사 사전의 용량은 커지게 된다. 그리하여 명사 기반의 어절 단위에서 복합명사를 분해하지 않고, 음절 단위에서 복합명사를 분해하는 방식으로 공백문자가 없는 복합명사를 단위명사로 분해하는 시스템을 제안한다.
- 001, 배치 사이즈(batch size)는 10, 20으로, 음절 벡터의 인코딩을 위한 단방향 LSTM 또는 양방향 LSTM 층수는 1로 모델을 학습하였다. 단방향 LSTM과 음절 unigram를 사용하는 모델의 경우에는 단방향 LSTM의 출력 결과를 그대로 전방향 신경망의 입력으로 하여 모델을 학습하였다.
- 그림 3과 같이 양방향 LSTM은 단방향 LSTM과 달리 현재 입력에 과거 입력과 미래 입력들의 의존정보를 고려하여 새로운 자질 벡터를 생성한다. 단방향 LSTM을 이용하여 음절 unigram 벡터와 음절 bigram 벡터를 인코딩 할 때에는, 그림 2와 같이 음절 unigram 벡터와 음절 bigram 벡터에 각각 하나의 단방향 LSTM으로 인코딩하고 음절 unigram과 음절 bigram의 왼쪽에서부터 오른쪽으로 대응되는 순서로 단방향 LSTM의 출력값을 결합하여 새로운 자질 벡터를 생성하였다. 양방향 LSTM을 이용하는 경우에도 그림 3과 같이 음절 unigram 벡터와 음절 bigram 벡터에 각각 하나의 양방향 LSTM으로 인코딩하고 음절 unigram과 음절 bigram의 왼쪽에서부터 오른쪽으로 대응되는 순서로 양방향 LSTM의 출력 값을 더하거나 이어붙이는 형태로 새로운 자질 벡터를 생성하였다.
- 명사 사전 없이 음절 정보만을 사용하여 복합명사를 분해하는 방법으로 복합명사 분해 문제를 순차적인 태그 열 부착 문제로 정의하고 복합명사를 단위명사로 분해하기 위해 음절 임베딩 기법과 단방향 LSTM 및 선형체인 CRF 또는 양방향 LSTM 및 선형체인 CRF를 이용하는 딥러닝 모델을 제안하였다. 그 결과 단방향 LSTM과 양방향 LSTM의 두 가지 모델에서 음절 unigram 벡터만 사용하여 새로운 자질 벡터를 생성하기보다는 음절 unigram 벡터와 음절 bigram 벡터를 함께 연속적인 벡터 공간에 표현하고 새로운 자질 벡터를 생성하였을 때 복합명사 분해 성능인 복합명사 분해 태그 정확도, 어절 재현율, 어절 정확도, 공백 재현율, 공백 정확도가 우수함을 보여 주었다.
- 테스트용 학습 데이터 집합에는 포함되지만 테스트 데이터 집합에는 포함되지 않는 음절 벡터의 경우에는 무작위로 초기화한 벡터를 사용하였다. 복합명사를 단위명사로 분해하기 위해 사용한 단방향 LSTM과 선형체인 CRF 또는 양방향 LSTM과 선형체인 CRF를 이용하는 모델은 텐서플로우*로 구현하였다.
- 선형체인 CRF는 순차적인 입력 열의 태그 점수와 각 열과 이웃하는 태그의 의존성을 함께 고려하여 최적의 태그 열을 예측한다[10]. 본 논문에서 그림 2와 그림 3과 같이 단방향 LSTM과 양방향 LSTM을 통해 인코딩 된 자질 벡터를 전방향 신경망(feedforward neural network)의 입력으로 하여 복합명사의 각 음절에 해당하는 태그 클래스(B 또는 I) 점수를 계산하고 이를 바탕으로 선형체인 CRF를 통해 최적의 태그 열을 예측하여 복합명사를 단위명사들로 분해한다.
- 본 논문에서는 단위명사 사전을 이용하지 않고 음절을 연속적인 벡터 공간에 표현하고 음절 unigram과 음절 bigram 벡터를 이용하여 미등록어 처리에 유연하고, 순차적인 데이터의 길이에 유연한 딥러닝 기법인 단방향 LSTM 또는 양방향 LSTM 이용하여 복합명사를 분해하는 두 가지 방법을 제안한다.
- 따라서 사전에 미등록 단위명사를 구성하는 음절이 사전에 등록된 단위명사를 구성하는 음절로 사용되는 경우가 단위명사 자체로 사전에 존재하는 확률보다 높다. 본 논문에서는 복합명사들에 대해 음절 unigram과 bigram 형태의 음절 사전을 구축하고 음절 임베딩과 신경망(neural network)을 이용하여 복합명사를 단위명사로 분해한다.
- 음절 unigram 벡터만을 사용한 경우에는 “남북 회담 사무 국장”이라는 복합명사를 분해할 때, 음절 unigram 정보만을 사용하기 때문에 “남북”, “회담사무”, “국장”과 같이 음절 bigram이 하나의 단위명사로 되는 형태를 분해하지 못하는 오류가 발생하지만, 음절 uingram 벡터와 음절 bigram 벡터를 함께 사용한 경우 “남북”, “회담”, “사무”, “국장”의 형태로 분류하였다.
- 음절 사전을 구축할 때 복합명사를 구성하는 마지막 음절 표시를 위하여 마지막 음절과 “” 토큰을 사용하여 음절 bigram을 구축한다.
- 전방향 신경망은 복합명사의 각 음절의 태그 클래스의 점수 계산을 위해 비선형 함수를 사용하지 않고, 한 개의 출력층(output layer)만 사용하였다. 테스트용 학습 데이터 집합에는 포함되지만 테스트 데이터 집합에는 포함되지 않는 음절 벡터의 경우에는 무작위로 초기화한 벡터를 사용하였다.
- 표 2는 학습 및 평가를 위한 음절 임베딩, LSTM의 출력 연산의 종류, 음절 임베딩 크기, LSTM 셀 유닛 크기 등을 다르게 구성한 모델의 종류를 나타내고, 각 모델들은 미니 배치 확률적 경사 하강법(mini batch stochastic gradient descent)로 학습하였다. 표 2의 모델 종류 이외의 하이퍼 파라미터(hyper parameter)의 경우에는 학습 횟수(epoch)는 5씩 증가하여 5, 10, 15, 20, 학습률(learning rate)는 0.001, 배치 사이즈(batch size)는 10, 20으로, 음절 벡터의 인코딩을 위한 단방향 LSTM 또는 양방향 LSTM 층수는 1로 모델을 학습하였다. 단방향 LSTM과 음절 unigram를 사용하는 모델의 경우에는 단방향 LSTM의 출력 결과를 그대로 전방향 신경망의 입력으로 하여 모델을 학습하였다.
대상 데이터
- 복합명사 데이터 집합은 표 1과 같이 한 라인에 하나의 복합명사로 구성되어 총 2,889,709개의 복합명사이며, 복합명사를 구성하는 단위명사는 320,532개(중복 단위명사 미포함), 음절은 총 4,393개(중복 음절 미포함)로 구성되어 있다. 복합명사 분해 학습 및 평가를 위해 2,889,709개의 복합명사를 2,600,738개의 학습 데이터와 288,971개의 테스트 데이터로 나누어 학습 및 평가를 수행하였다.
- 복합명사 분해 실험 및 평가를 위한 말뭉치 데이터는 “차세정 언어처리 경진대회 2018”의 복합명사 분해 태스크(task)에서 제공하는 복합명사 말뭉치를 사용하였다.
- 복합명사 데이터 집합은 표 1과 같이 한 라인에 하나의 복합명사로 구성되어 총 2,889,709개의 복합명사이며, 복합명사를 구성하는 단위명사는 320,532개(중복 단위명사 미포함), 음절은 총 4,393개(중복 음절 미포함)로 구성되어 있다. 복합명사 분해 학습 및 평가를 위해 2,889,709개의 복합명사를 2,600,738개의 학습 데이터와 288,971개의 테스트 데이터로 나누어 학습 및 평가를 수행하였다.
이론/모형
- 자연어 처리를 위한 딥러닝 모델은 단어의 의미를 이해하고 표현하기 위해서 단어를 연속적인 벡터 공간에 표현하는 벡터공간 모델을 사용한다[1,11,12,13]. 단어 벡터를 사용하는 모델은 말뭉치에 존재하는 단어를 연속적인 벡터 공간에 표현하기 때문에 말뭉치에 존재하지 않는 단어를 처리해야하는 문제가 발생한다.
- 표 2는 학습 및 평가를 위한 음절 임베딩, LSTM의 출력 연산의 종류, 음절 임베딩 크기, LSTM 셀 유닛 크기 등을 다르게 구성한 모델의 종류를 나타내고, 각 모델들은 미니 배치 확률적 경사 하강법(mini batch stochastic gradient descent)로 학습하였다. 표 2의 모델 종류 이외의 하이퍼 파라미터(hyper parameter)의 경우에는 학습 횟수(epoch)는 5씩 증가하여 5, 10, 15, 20, 학습률(learning rate)는 0.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.