선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 한국어는 교착어이므로 품사 부착 이전에 형태소 분석이 우선적으로 수행되어야 하지만, 영어는 교착어에 속하지 않으므로 이러한 추가적인 과정이 필요하지 않다. 따라서 본 연구에서는 사전 실험으로써 영어를 대상으로 BOF 방법의 성능을 평가한다.
제안 방법
- BOF를 이용한 모델과의 성능 비교를 위하여 단어의 벡터화에 one-hot 인코딩을 사용하는 모델을 제작하였다. 이 모델의 학습 시에는 학습 데이터에 등장한 모든 어휘가 어휘집에 포함되도록 하였으며, 개발 또는 평가 데이터에만 등장하는 단어는 OOV를 나타내는 특수 단어로 치환하였다.
- 본 연구에서는 단어를 고정 길이 벡터로 변환하는 단순하면서도 효과적인 방법인 Bag of Features를 이용하여 영어 품사 부착 모델을 구현하고 성능을 정량적으로 비교 평가하였다. BOF 방법은 문자 수준에서 동작하므로 사전에 정의된 한정적인 어휘집이 필요하지 않다.
- 모델의 뼈대는 GRU를 이용한 다층 회귀 신경망이며, 각 층사이에는 Dropout[7]을 적용하였다. 양방향 회귀 신경망의 출력에 Feed-Forward Neural Network(FFNN)을 적용한 후, softmax 함수를 이용하여 품사들에 대한 확률 분포를 얻는다. 입력과 회귀 신경망 사이에도 FFNN 층들을 추가하여 더 높은 차원의 자질이 추출될 수 있도록 하였으며, 이 FFNN 층에는 Dropout을 적용하지 않는다.
- 이찬희(2017)[3]의 연구에서 제안된 방법에 추가적으로, 영어의 특성을 반영한 대소문자 정보를 포함시켜 실험을 수행하였다. Collobert(2011)[4]에서 제안된 방법에 따라, 단어를 [모두 대문자, 모두 소문자, 첫 글자 대문자, 기타] 중 하나로 분류하여 이를 one-hot 인코딩을 사용하여 벡터로 변환 후 BOF 벡터에 결합하는 방법으로 이를 구현하였다.
대상 데이터
- 모든 FFNN 층 및 GRU 층에는 512개의 은닉 노드를 사용하였다. BOF를 사용한 모델에는 입력과 회귀 신경망 사이에 3개의 FFNN 층을 추가하였다.
- 본 실험에서는 영어 품사 부착 실험에서 가장 널리 쓰이는 말뭉치인 Penn TreeBank(PTB)의 Wall Street Journal(WSJ)부분을 사용하였으며, 표준에 따라 0-18항은 학습, 19-21항은 개발, 22-24항은 평가 데이터로 활용하였다. 해당 말뭉치는 총 45 종류의 품사 중 하나로 단어들이 구분되어 있다.
이론/모형
- 이찬희(2017)[3]의 연구에서 제안된 방법에 추가적으로, 영어의 특성을 반영한 대소문자 정보를 포함시켜 실험을 수행하였다. Collobert(2011)[4]에서 제안된 방법에 따라, 단어를 [모두 대문자, 모두 소문자, 첫 글자 대문자, 기타] 중 하나로 분류하여 이를 one-hot 인코딩을 사용하여 벡터로 변환 후 BOF 벡터에 결합하는 방법으로 이를 구현하였다.
- 순수한 회귀 신경망은 장거리 의존성 문제에 취약하므로, 본 연구에서는 이 문제를 개선시킨 Gated Recurrent Unit(GRU)[6]을 사용한다. 모델의 뼈대는 GRU를 이용한 다층 회귀 신경망이며, 각 층사이에는 Dropout[7]을 적용하였다. 양방향 회귀 신경망의 출력에 Feed-Forward Neural Network(FFNN)을 적용한 후, softmax 함수를 이용하여 품사들에 대한 확률 분포를 얻는다.
- 실험에 사용된 모델의 학습에는 경사 하강법을 바탕으로 한 최적화 알고리즘인 Adam[8]을 사용하였으며, 이를 이용하여 cross-entropy 손실 함수를 최소화 시켰다. 모든 모델의 구현에는 TensorFlow 라이브러리[9]를 사용하였다.
- 이찬희(2017)[3]의 연구에서는 bag of characters를 응용하여 어휘집에 제한이 없으며 신경망 구조에 의존하지 않고 문자 단위의 정보를 반영하는 단어 표현 방법인 Bags of Features(BOF)를 제안하였다. 본 연구에서는 BOF 방법을 이용하여 영어 품사 부착 실험을 수행한다.
- 양방향 회귀 신경망[5]은 특정 입력에 대하여 이전 및 이후 단어 정보를 효과적으로 활용할 수 있다. 순수한 회귀 신경망은 장거리 의존성 문제에 취약하므로, 본 연구에서는 이 문제를 개선시킨 Gated Recurrent Unit(GRU)[6]을 사용한다. 모델의 뼈대는 GRU를 이용한 다층 회귀 신경망이며, 각 층사이에는 Dropout[7]을 적용하였다.
- 실험에 사용된 모델의 학습에는 경사 하강법을 바탕으로 한 최적화 알고리즘인 Adam[8]을 사용하였으며, 이를 이용하여 cross-entropy 손실 함수를 최소화 시켰다. 모든 모델의 구현에는 TensorFlow 라이브러리[9]를 사용하였다.
성능/효과
- 반면 BOF를 이용한 모델은 단어를 구성하는 문자 정보를 활용할 수 있으며, 이는 정량적 실험 결과로도 확인할 수 있다. BOF를 이용한 모델은 one-hot 인코딩 이용 모델과 비교하여 OOV 단어는 49.68%, 전체 단어는 0.96%향상된 성능을 기록하였다.
- 96% 상승함을 관찰하였다. 기존의 영어 품사 부착 연구들과의 비교에서도 추가 데이터를 활용하지 않는 모델들과 비견할 만한 성능을 나타냄을 확인할 수 있었다.
- ‘추가’열은 해당 연구에서 PTB WSJ 학습 데이터 외의 추가적인 데이터를 사용했는지 여부를 나타내는데, 최근 최첨단 자연어처리 시스템들에서 널리 사용되는 단어 임베딩이 추가 데이터 활용의 대표적인 예이다. 본 연구에서의 실험 결과는 모델의 파라미터 학습에 추가적인 데이터를 활용하지 않는 연구 방법들과 비견할 만한 성능을 보였다.
- 또한, 문자 단위로 단어를 처리하는 기존의 방법과 달리 합성곱 신경망 혹은 회귀 신경망과 같은 추가적인 구조가 요구되지 않는다. 영어 품사 부착 실험 결과, one-hot 인코딩을 사용한 비교 모델과 대비하여 OOV 단어에 대한 품사 부착 정확도에서 49.68%의 성능 향상을 보였으며, 모든 단어에 대한 품사 부착 정확도 또한 0.96% 상승함을 관찰하였다. 기존의 영어 품사 부착 연구들과의 비교에서도 추가 데이터를 활용하지 않는 모델들과 비견할 만한 성능을 나타냄을 확인할 수 있었다.
후속연구
- Collobert(2011)[4]에 따르면, 추가 데이터를 활용한 단어 임베딩의 적용은 모델의 성능에 큰 향상을 가져온다. 본 연구에서 제안된 모델에도 마찬가지로 단어 임베딩을 적용하여 성능을 향상시킬 수 있을 것으로 기대되며, 이는 향후 추가 연구로 수행할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.