초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

개체명 인식이란 문서 내에서 인명, 기관명, 지명, 시간, 날짜 등 고유한 의미를 가지는 개체명을 추출하여 그 종류를 결정하는 것을 말한다. 최근 개체명 인식 연구에서는 bidirectional LSTM CRFs가 가장 우수한 성능을 보여주고 있다. 하지만 LSTM 기반의 딥 러닝 모델은 입력이 되는 단어 표상에 의존적이기 때문에 입력이 되는 단어 표상을 확장하는 방법에 대한 연구가 많이 진행되어지고 있다. 본 논문에서는 한국어 개체명 인식을 위하여 bidirectional LSTM CRFs모델을 사용하고, 그 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 그리고 음절 기반에서 확장된 단어 임베딩 벡터를 사용한다. 음절 기반에서 단어 기반 임베딩 벡터로 확장하기 위하여 bidirectional LSTM을 이용하고, 그 입력으로 학습 데이터에서 추출한 개체명 분포를 이용하였다. 그 결과 사전 학습된 단어 임베딩 벡터만 사용한 것보다 4.93%의 성능 향상을 보였다.

개체명 인식이란 문서 내에서 인명, 기관명, 지명, 시간, 날짜 등 고유한 의미를 가지는 개체명을 추출하여 그 종류를 결정하는 것을 말한다. 최근 개체명 인식 연구에서는 bidirectional LSTM CRFs가 가장 우수한 성능을 보여주고 있다. 하지만 LSTM 기반의 딥 러닝 모델은 입력이 되는 단어 표상에 의존적이기 때문에 입력이 되는 단어 표상을 확장하는 방법에 대한 연구가 많이 진행되어지고 있다. 본 논문에서는 한국어 개체명 인식을 위하여 bidirectional LSTM CRFs모델을 사용하고, 그 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 그리고 음절 기반에서 확장된 단어 임베딩 벡터를 사용한다. 음절 기반에서 단어 기반 임베딩 벡터로 확장하기 위하여 bidirectional LSTM을 이용하고, 그 입력으로 학습 데이터에서 추출한 개체명 분포를 이용하였다. 그 결과 사전 학습된 단어 임베딩 벡터만 사용한 것보다 4.93%의 성능 향상을 보였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 단어 임베딩 벡터를 잘 만들기 위하여, 사전 학습을 진행한다. 단어 임베딩을 사전 학습하기 위해 3GB의 뉴스 말뭉치를 사용하였고, word2vec의 CBOW 모델을 사용하였다.

제안 방법

• 따라서 본 논문에서는 한국어 개체명 인식을 위해 bi-LSTM-CRFs를 이용하고, 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 그리고 음절 기반에서 확장된 단어 임베딩 벡터를 사용한다.
• 두 번째로는 사전 학습된 품사 임베딩 벡터를 사용하여 단어 표상을 확장한다. 개체명 인식에서는 품사의 시퀀스 또한 중요하기 때문에 품사를 잘 표현하는 임베딩 벡터가 중요하다.
• 개체명 인식에서는 품사의 시퀀스 또한 중요하기 때문에 품사를 잘 표현하는 임베딩 벡터가 중요하다. 품사 임베딩 벡터를 사전 학습하기 위해 대량의 말뭉치를 형태소 분석을 하고, 단어를 삭제한 뒤 품사만 학습하여 사용한다.
• 본 논문에서는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터에 품사 임베딩 벡터를 추가하고, 음절 임베딩 벡터로부터 확장된 단어 임베딩 벡터를 추가한다.
• LSTM 기반의 모델은 각 단어의 임베딩 벡터를 입력으로 받기 때문에 단어 표상에 의존적이다. 따라서 본 논문에서는 그림 3과 같이 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 음절 기반 단어 임베딩 벡터를 사용하여 단어 표상을 확장한다.
• 개체명 인식에서는 품사의 시퀀스 또한 중요하기 때문에 품사를 잘 표현하는 자질 임베딩 벡터가 중요하다. 따라서 본 논문에서는 단어 임베딩 벡터를 사전 학습하는 것처럼 품사 단위의 사전 학습 결과를 품사 임베딩 벡터로 사용하였다. 품사 임베딩 벡터를 사전 학습하기 위하여 3GB의 뉴스 말뭉치를 형태소 분석 후 단어를 삭제 한 뒤 품사를 임베딩의 단위로 사용하였다.
• 따라서 본 논문에서는 단어 임베딩 벡터를 사전 학습하는 것처럼 품사 단위의 사전 학습 결과를 품사 임베딩 벡터로 사용하였다. 품사 임베딩 벡터를 사전 학습하기 위하여 3GB의 뉴스 말뭉치를 형태소 분석 후 단어를 삭제 한 뒤 품사를 임베딩의 단위로 사용하였다. 품사 임베딩 벡터 학습의 모델로는 단어 임베딩 벡터를 학습할 때와 같은 word2vec의 CBOW모델을 사용하였다.
• 단어는 음절의 시퀀스이기 때문에 음절 단위의 임베딩 벡터의 확장은 단어를 표현하기에 적합하다. 본 논문에서는 그림 4에서 보이는 것과 같이 bidirectional LSTM을 이용하고, forward의 마지막 상태와 backward의 마지막 상태를 결합하여 단어 단위 임베딩 벡터로 사용하였다.
• 음절 기반 단어 임베딩 벡터 실험에서는 음절 입력을 랜덤 벡터, 사전 학습된 음절 임베딩 벡터, 개체명 분포 임베딩 벡터, 그리고 사전 학습된 음절 임베딩 벡터와 음절 단위 개체명 분포 임베딩 벡터를 결합한 벡터로 실험을 진행하였다. 랜덤 벡터와 사전 학습된 음절 임베딩 벡터는 64차원을 사용하였고, 음절 단위 개체명 분포 임베딩 벡터는 11차원을 사용하였다.
• 본 논문에서는 한국어 개체명 인식을 위해 bi-LSTM-CRFs 에 입력으로 들어가는 단어 표상을 확장하는 방법을 이용하였다. 단어 표상을 확장하기 위하여 사전 학습된 단어 임베딩 벡터, 사전 학습된 품사 임베딩 벡터, 그리고 음절 기반 단위 임베딩 벡터를 사용하였다.
• 본 논문에서는 한국어 개체명 인식을 위해 bi-LSTM-CRFs 에 입력으로 들어가는 단어 표상을 확장하는 방법을 이용하였다. 단어 표상을 확장하기 위하여 사전 학습된 단어 임베딩 벡터, 사전 학습된 품사 임베딩 벡터, 그리고 음절 기반 단위 임베딩 벡터를 사용하였다. 그 결과 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 추가한 모델이 사전 학습된 단어 임베딩 벡터만을 사용한 모델에 비해 4.

대상 데이터

• 사전 학습된 단어 임베딩 벡터에 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 확장한 결과 4.93%의 성능 향상을 얻었으며, 성능 평가를 위한 개체명 말뭉치로는 2016년 국어 경진대회에서 배포한 4,056문장을 사용하였다.
• 개체명 인식 평가 데이터로는 2016년 국어 정보 처리 시스템 경진 대회에서 배포한 개체명 인식 말뭉치 4,056 문장을 사용 하였다. 4,056 문장 중 3,244 문장을 학습 데이터로, 812 문장을 평가 데이터로 사용 하였다.
• 개체명 인식 평가 데이터로는 2016년 국어 정보 처리 시스템 경진 대회에서 배포한 개체명 인식 말뭉치 4,056 문장을 사용 하였다. 4,056 문장 중 3,244 문장을 학습 데이터로, 812 문장을 평가 데이터로 사용 하였다. 개발 데이터로는 학습 데이터 중에서 랜덤으로 500 문장을 추출하여 사용하였다.
• 4,056 문장 중 3,244 문장을 학습 데이터로, 812 문장을 평가 데이터로 사용 하였다. 개발 데이터로는 학습 데이터 중에서 랜덤으로 500 문장을 추출하여 사용하였다. 전체적인 실험 성능은 개발 데이터 에서 가장 좋은 성능을 보인 97 epoch로 평가하였다.
• 품사 임베딩 벡터 실험에서는 사전 학습된 품사 임베딩 벡터가 one-hot입력보다 좋은 자질이 될 수 있음을 보인다. 품사 임베딩 벡터에 16차원을 사용하였고, word2vec의 파라미터로 window size와, iteration은 각각 5를 사용하였다. 품사 임베딩 벡터 실험에서는 품사를 one-hot으로 추가한 실험보다 사전 학습된 품사 임베딩 벡터를 사 용한 실험이 0.
• 음절 기반 단어 임베딩 벡터 실험에서는 음절 입력을 랜덤 벡터, 사전 학습된 음절 임베딩 벡터, 개체명 분포 임베딩 벡터, 그리고 사전 학습된 음절 임베딩 벡터와 음절 단위 개체명 분포 임베딩 벡터를 결합한 벡터로 실험을 진행하였다. 랜덤 벡터와 사전 학습된 음절 임베딩 벡터는 64차원을 사용하였고, 음절 단위 개체명 분포 임베딩 벡터는 11차원을 사용하였다. 그 결과 랜덤으로 입력한 것 보다 사전 학습된 벡터와 음절 단위 개체명 분포 벡터를 결합한 성능이 1.

데이터처리

• 최종 실험 결과로는 총 세 종류의 실험 중 가장 높은 성능을 모아서 비교한다. 결과적으로 사전 학습된 단어 임베딩 벡터만 사용한 실험 대비 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 추가한 실험의 성능이 4.

이론/모형

• 품사 임베딩 벡터는 대량의 말뭉치를 형태소 분석한 결과에 단어를 삭제하고 품사를 하나의 단어 단위로 하여 word2vec[11]의 CBOW(Continuous bag-of-words) 모델을 이용하여 학습하고, 그 결과로 나오는 벡터를 사용한다.
• 음절 임베딩 벡터로부터 단어 임베딩 벡터를 유도하는 방식에는 bidirectional LSTM을 사용하고, 그 음절 열의 입력으로 학습 데이터에서 추출한 음절단위 개체명 분포를 이용한다.
• bi-LSTM-CRFs는 그림 2에서 보이는 것과 같이 LSTM에 입력 문자열을 양방향으로 받아서 각 단어 별로 은닉 계층의 결과를 얻고, 그 결과 간의 의존성을 추가한 모델이다. 본 논문에서는 bi-LSTM-CRFs를 이용하여 한국어 개체명 인식 실험을 진행한다.
• 본 논문에서는 단어 임베딩 벡터를 잘 만들기 위하여, 사전 학습을 진행한다. 단어 임베딩을 사전 학습하기 위해 3GB의 뉴스 말뭉치를 사용하였고, word2vec의 CBOW 모델을 사용하였다. 이때 학습이 되는 단어의 단위는 형태소와 품사태그가 결합된 형태로 사용하였다.
• 품사 임베딩 벡터를 사전 학습하기 위하여 3GB의 뉴스 말뭉치를 형태소 분석 후 단어를 삭제 한 뒤 품사를 임베딩의 단위로 사용하였다. 품사 임베딩 벡터 학습의 모델로는 단어 임베딩 벡터를 학습할 때와 같은 word2vec의 CBOW모델을 사용하였다.
• 제안한 한국어 개체명 인식에서 단어 표상 확장 방법의 성능 평가를 위해 bi-LSTM-CRFs를 TensorFlow[12]로 구현하여 사용하였다.
• 단어 임베딩 벡터 실험에서는 단어의 차원을 64로 하였고, 3GB의 뉴스 말뭉치로 word2vec의 CBOW모델을 사용하여 학습한 결과를 사용하였다. word2vec의 파라미터로는 window size, iteration을 각각 5로 사용하였다.

성능/효과

• 개발 데이터로는 학습 데이터 중에서 랜덤으로 500 문장을 추출하여 사용하였다. 전체적인 실험 성능은 개발 데이터 에서 가장 좋은 성능을 보인 97 epoch로 평가하였다.
• word2vec의 파라미터로는 window size, iteration을 각각 5로 사용하였다. 단어 임베딩 벡터를 랜덤으로 초기화한 실험보다 사전 학습된 임베딩 벡터를 사용한 실험의 성능이 3.16% 높았다.
• 품사 임베딩 벡터에 16차원을 사용하였고, word2vec의 파라미터로 window size와, iteration은 각각 5를 사용하였다. 품사 임베딩 벡터 실험에서는 품사를 one-hot으로 추가한 실험보다 사전 학습된 품사 임베딩 벡터를 사 용한 실험이 0.84%증가하였고, 사전 학습된 단어 임베딩 벡터 만 사용한 결과 대비 2.99%증가하였다.
• 랜덤 벡터와 사전 학습된 음절 임베딩 벡터는 64차원을 사용하였고, 음절 단위 개체명 분포 임베딩 벡터는 11차원을 사용하였다. 그 결과 랜덤으로 입력한 것 보다 사전 학습된 벡터와 음절 단위 개체명 분포 벡터를 결합한 성능이 1.94%향상하여 가장 좋은 성능을 보였다. 본 실험에서 개체명 분포 임베딩 벡터를 단독으로 사용한 경우의 성능이 높지는 않지만, 사전 학습된 음절 단위 임베딩 벡터에 결합하여 사용한 음절 단위 개체명 분포 벡터가 의미 있는 벡터임을 증명 하였다.
• 94%향상하여 가장 좋은 성능을 보였다. 본 실험에서 개체명 분포 임베딩 벡터를 단독으로 사용한 경우의 성능이 높지는 않지만, 사전 학습된 음절 단위 임베딩 벡터에 결합하여 사용한 음절 단위 개체명 분포 벡터가 의미 있는 벡터임을 증명 하였다.
• 최종 실험 결과로는 총 세 종류의 실험 중 가장 높은 성능을 모아서 비교한다. 결과적으로 사전 학습된 단어 임베딩 벡터만 사용한 실험 대비 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 추가한 실험의 성능이 4.93% 증가 하였다.
• 단어 표상을 확장하기 위하여 사전 학습된 단어 임베딩 벡터, 사전 학습된 품사 임베딩 벡터, 그리고 음절 기반 단위 임베딩 벡터를 사용하였다. 그 결과 품사 임베딩 벡터와 음절 기반 단어 임베딩 벡터를 추가한 모델이 사전 학습된 단어 임베딩 벡터만을 사용한 모델에 비해 4.93% 증가한 높은 성능을 얻을 수 있었다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

질의응답

핵심어	질문	논문에서 추출한 답변
단어 단위 임베딩 벡터로 유도하는 방법	음절단위 임베딩 벡터로부터 단어 단위 임베딩 벡터로 유도하는 방법에는 무엇이 있는가?	음절 단위 임베딩 벡터로부터 단어 단위 임베딩 벡터로 유도하는 방법은 LSTM기반 방법과 CNN(Convolutional Neural Networks)기반 방법, 그리고 LSTM과 CNN을 결합하여 사용하는 방법이 있다[5].
개체명 인식	개체명 인식은 무엇인가?	개체명 인식이란 문서 내에서 인명, 기관명, 지명, 시간, 날짜 등 고유한 의미를 가지는 개체명을 추출하여 그 종류를 결정하는 것을 말한다. 최근 개체명 인식 연구에서는 bidirectional LSTM CRFs가 가장 우수한 성능을 보여주고 있다.
RNN	RNN은 무엇 때문에 장기 의존성을 유지할 수 없는가?	따라서 이론상으로는 이전 상태를 기억하여 장기 의존성(long-range dependencies)을 다룰 수 있다. 하지만 실제적으로 위치 상 멀리 있는 정보를 많이 잃어버리는 문제인 그래디언트 소멸 문제(Vanishing gradient problem)가 존재하기 때문에 장기 의존성을 유지할 수 없는 문제점이 있다.

질의응답 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기