선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 단어 임베딩 벡터를 잘 만들기 위하여, 사전 학습을 진행한다. 단어 임베딩을 사전 학습하기 위해 3GB의 뉴스 말뭉치를 사용하였고, word2vec의 CBOW 모델을 사용하였다.
제안 방법
- 본 논문에서는 한국어 개체명 인식을 위해 bi-LSTM-CRFs에 입력으로 들어가는 단어 표상을 확장하는 방법을 이용하였다. 단어 표상을 확장하기 위하여 사전 학습된 단어 임베딩 벡터, 사전 학습된 품사 임베딩 벡터, 그리고 음절 기반 단위 임베딩 벡터를 사용하였다. 그 결과 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 추가한 모델이 사전 학습된 단어 임베딩 벡터만을 사용한 모델에 비해 4.
- 두 번째로는 사전 학습된 품사 임베딩 벡터를 사용하여 단어 표상을 확장한다. 개체명 인식에서는 품사의 시퀀스 또한 중요하기 때문에 품사를 잘 표현하는 임베딩 벡터가 중요하다.
- LSTM 기반의 모델은 각 단어의 임베딩 벡터를 입력으로 받기 때문에 단어 표상에 의존적이다. 따라서 본 논문에서는 그림 3과 같이 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 음절 기반 단어 임베딩 벡터를 사용하여 단어 표상을 확장한다.
- 개체명 인식에서는 품사의 시퀀스 또한 중요하기 때문에 품사를 잘 표현하는 자질 임베딩 벡터가 중요하다. 따라서 본 논문에서는 단어 임베딩 벡터를 사전 학습하는 것처럼 품사 단위의 사전 학습 결과를 품사 임베딩 벡터로 사용하였다. 품사 임베딩 벡터를 사전 학습하기 위하여 3GB의 뉴스 말뭉치를 형태소 분석 후 단어를 삭제 한 뒤 품사를 임베딩의 단위로 사용하였다.
- 따라서 본 논문에서는 한국어 개체명 인식을 위해 bi-LSTM-CRFs를 이용하고, 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 그리고 음절 기반에서 확장된 단어 임베딩 벡터를 사용한다.
- 단어는 음절의 시퀀스이기 때문에 음절 단위의 임베딩 벡터의 확장은 단어를 표현하기에 적합하다. 본 논문에서는 그림 4에서 보이는 것과 같이 bidirectional LSTM을 이용하고, forward의 마지막 상태와 backward의 마지막 상태를 결합하여 단어 단위 임베딩 벡터로 사용하였다.
- 본 논문에서는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터에 품사 임베딩 벡터를 추가하고, 음절 임베딩 벡터로부터 확장된 단어 임베딩 벡터를 추가한다.
- 본 논문에서는 한국어 개체명 인식을 위해 bi-LSTM-CRFs에 입력으로 들어가는 단어 표상을 확장하는 방법을 이용하였다. 단어 표상을 확장하기 위하여 사전 학습된 단어 임베딩 벡터, 사전 학습된 품사 임베딩 벡터, 그리고 음절 기반 단위 임베딩 벡터를 사용하였다.
- 음절 기반 단어 임베딩 벡터 실험에서는 음절 입력을 랜덤 벡터, 사전 학습된 음절 임베딩 벡터, 개체명 분포 임베딩 벡터, 그리고 사전 학습된 음절 임베딩 벡터와 음절 단위 개체명 분포 임베딩 벡터를 결합한 벡터로 실험을 진행하였다. 랜덤 벡터와 사전 학습된 음절 임베딩 벡터는 64차원을 사용 하였고, 음절 단위 개체명 분포 임베딩 벡터는 11차원을 사용하였다.
- 따라서 본 논문에서는 단어 임베딩 벡터를 사전 학습하는 것처럼 품사 단위의 사전 학습 결과를 품사 임베딩 벡터로 사용하였다. 품사 임베딩 벡터를 사전 학습하기 위하여 3GB의 뉴스 말뭉치를 형태소 분석 후 단어를 삭제 한 뒤 품사를 임베딩의 단위로 사용하였다. 품사 임베딩 벡터 학습의 모델로는 단어 임베딩 벡터를 학습할 때와 같은 word2vec의 CBOW모델을 사용하였다.
- 개체명 인식에서는 품사의 시퀀스 또한 중요하기 때문에 품사를 잘 표현하는 임베딩 벡터가 중요하다. 품사 임베딩 벡터를 사전 학습하기 위해 대량의 말뭉치를 형태소 분석을 하고, 단어를 삭제한 뒤 품사만 학습하여 사용한다.
대상 데이터
- 개체명 인식 평가 데이터로는 2016년 국어 정보 처리 시스템 경진 대회에서 배포한 개체명 인식 말뭉치 4,056 문장을 사용 하였다. 4,056 문장 중 3,244 문장을 학습 데이터로, 812 문장을 평가 데이터로 사용 하였다. 개발 데이터로는 학습 데이터 중에서 랜덤으로 500 문장을 추출하여 사용하였다.
- 4,056 문장 중 3,244 문장을 학습 데이터로, 812 문장을 평가 데이터로 사용 하였다. 개발 데이터로는 학습 데이터 중에서 랜덤으로 500 문장을 추출하여 사용하였다. 전체적인 실험 성능은 개발 데이터에서 가장 좋은 성능을 보인 97 epoch로 평가하였다.
- 개체명 인식 평가 데이터로는 2016년 국어 정보 처리 시스템 경진 대회에서 배포한 개체명 인식 말뭉치 4,056 문장을 사용 하였다. 4,056 문장 중 3,244 문장을 학습 데이터로, 812 문장을 평가 데이터로 사용 하였다.
- 사전 학습된 단어 임베딩 벡터에 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 확장한 결과 4.93%의 성능 향상을 얻었으며, 성능 평가를 위한 개체명 말뭉치로는 2016년 국어 경진대회에서 배포한 4,056문장을 사용하였다.
- 품사 임베딩 벡터 실험에서는 사전 학습된 품사 임베딩 벡터가 one-hot입력보다 좋은 자질이 될 수 있음을 보인다. 품사 임베딩 벡터에 16차원을 사용하였고, word2vec의 파라미터로 window size와, iteration은 각각 5를 사용하였다. 품사 임베딩 벡터 실험에서는 품사를 one-hot으로 추가한 실험보다 사전 학습된 품사 임베딩 벡터를 사용한 실험이 0.
데이터처리
- 최종 실험 결과로는 총 세 종류의 실험 중 가장 높은 성능을 모아서 비교한다. 결과적으로 사전 학습된 단어 임베딩 벡터만 사용한 실험 대비 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 추가한 실험의 성능이 4.
이론/모형
- 단어 임베딩 벡터 실험에서는 단어의 차원을 64로 하였고, 3GB의 뉴스 말뭉치로 word2vec의 CBOW모델을 사용하여 학습한 결과를 사용하였다. word2vec의 파라미터로는 window size, iteration을 각각 5로 사용하였다.
- 본 논문에서는 단어 임베딩 벡터를 잘 만들기 위하여, 사전 학습을 진행한다. 단어 임베딩을 사전 학습하기 위해 3GB의 뉴스 말뭉치를 사용하였고, word2vec의 CBOW 모델을 사용하였다. 이때 학습이 되는 단어의 단위는 형태소와 품사태그가 결합된 형태로 사용하였다.
- bi-LSTM-CRFs는 그림 2에서 보이는 것과 같이 LSTM에 입력 문자열을 양방향으로 받아서 각 단어 별로 은닉 계층의 결과를 얻고, 그 결과 간의 의존성을 추가한 모델이다. 본 논문에서는 bi-LSTM-CRFs를 이용하여 한국어 개체명 인식 실험을 진행한다.
- 음절 임베딩 벡터로부터 단어 임베딩 벡터를 유도하는 방식에는 bidirectional LSTM을 사용하고, 그 음절 열의 입력으로 학습 데이터에서 추출한 음절단위 개체명 분포를 이용한다.
- 제안한 한국어 개체명 인식에서 단어 표상 확장 방법의 성능 평가를 위해 bi-LSTM-CRFs를 TensorFlow[12]로 구현하여 사용하였다.
- 품사 임베딩 벡터를 사전 학습하기 위하여 3GB의 뉴스 말뭉치를 형태소 분석 후 단어를 삭제 한 뒤 품사를 임베딩의 단위로 사용하였다. 품사 임베딩 벡터 학습의 모델로는 단어 임베딩 벡터를 학습할 때와 같은 word2vec의 CBOW모델을 사용하였다.
- 품사 임베딩 벡터는 대량의 말뭉치를 형태소 분석한 결과에 단어를 삭제하고 품사를 하나의 단어 단위로 하여 word2vec[11]의 CBOW(Continuous bag-of-words) 모델을 이용하여 학습하고, 그 결과로 나오는 벡터를 사용한다.
성능/효과
- 최종 실험 결과로는 총 세 종류의 실험 중 가장 높은 성능을 모아서 비교한다. 결과적으로 사전 학습된 단어 임베딩 벡터만 사용한 실험 대비 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 추가한 실험의 성능이 4.93% 증가 하였다.
- 랜덤 벡터와 사전 학습된 음절 임베딩 벡터는 64차원을 사용 하였고, 음절 단위 개체명 분포 임베딩 벡터는 11차원을 사용하였다. 그 결과 랜덤으로 입력한 것 보다 사전 학습된 벡터와 음절 단위 개체명 분포 벡터를 결합한 성능이 1.94%향상하여 가장 좋은 성능을 보였다. 본 실험에서 개체명 분포 임베딩 벡터를 단독으로 사용한 경우의 성능이 높지는 않지만, 사전 학습된 음절 단위 임베딩 벡터에 결합하여 사용한 음절 단위 개체명 분포 벡터가 의미 있는 벡터임을 증명 하였다.
- 단어 표상을 확장하기 위하여 사전 학습된 단어 임베딩 벡터, 사전 학습된 품사 임베딩 벡터, 그리고 음절 기반 단위 임베딩 벡터를 사용하였다. 그 결과 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 추가한 모델이 사전 학습된 단어 임베딩 벡터만을 사용한 모델에 비해 4.93% 증가한 높은 성능을 얻을 수 있었다.
- word2vec의 파라미터로는 window size, iteration을 각각 5로 사용하였다. 단어 임베딩 벡터를 랜덤으로 초기화한 실험보다 사전 학습된 임베딩 벡터를 사용한 실험의 성능이 3.16% 높았다.
- 94%향상하여 가장 좋은 성능을 보였다. 본 실험에서 개체명 분포 임베딩 벡터를 단독으로 사용한 경우의 성능이 높지는 않지만, 사전 학습된 음절 단위 임베딩 벡터에 결합하여 사용한 음절 단위 개체명 분포 벡터가 의미 있는 벡터임을 증명 하였다.
- 개발 데이터로는 학습 데이터 중에서 랜덤으로 500 문장을 추출하여 사용하였다. 전체적인 실험 성능은 개발 데이터에서 가장 좋은 성능을 보인 97 epoch로 평가하였다.
- 품사 임베딩 벡터에 16차원을 사용하였고, word2vec의 파라미터로 window size와, iteration은 각각 5를 사용하였다. 품사 임베딩 벡터 실험에서는 품사를 one-hot으로 추가한 실험보다 사전 학습된 품사 임베딩 벡터를 사용한 실험이 0.84%증가하였고, 사전 학습된 단어 임베딩 벡터 만 사용한 결과 대비 2.99%증가하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.