선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 1 의 Bi-LSTM-CRFs 모델은 입력 문장과 이에 대응하는 개체명 태그에만 최적화 된 모델이다. 본 논문에서는 개체명 인식 모델의 학습이 진행되는 동안 입력 문장에 대한 한국어 언어 모델을 동시에 학습하는 다중 학습을 사용한 모델을 제안한다. 그림 1 은 제안하는 멀티 태스크 학습 기반 개체명 인식 모델의 전체 구성도이다.
- 본 논문에서는 한국어 언어 모델 다중 학습을 이용한 한국어 개체명 인식 모델을 제안한다. 제안 하는 모델의 전체 구조는 그림 1 과 같다.
- 하지만 대다수 작업의 경우, 학습되는 데이터에 태그를 부착해야 하는 문제가 발생한다. 이를 해결하기 위해 본 논문에서는 별도의 태그 작업이 필요하지 않은 한국어 언어 모델과 개체명 인식 모델을 다중 학습하는 모델을 제안한다.
제안 방법
- 논문에서는 Bi-LSTM-CRFs를 사용한 개체명 인식 모델을 기반으로 단어 표상을 확장하기 위해 모델 학습 자소 단위 임베딩을 추가하였다. 또한 입력 데이터를 최대한 활용하기 위해 개체명 인식 모델과 한국어 언어 모델을 동시에 학습시키는 멀티 태스크 학습 기법을 적용된 모델을 제안하였다.
- 단어 표상을 확장하기 위해 입력되는 각 단어를 자소 단위로 분리하였다. 단어마다 구성된 자소의 개수가 다르기 때문에 분리된 자소는 Bi-LSTM 입력으로 사용된다.
- 입력 단어를 표현하기 위해 사전 학습된 단어, 품사 임베딩을 사용하였고, 자소 임베딩 및 개체명 사전 자질을 사용해 단어 표상을 확장 시켰다. 또한 동일한 입력 데이터를 최대한 활용하기 위해 개체명 인식 모델과 한국어 언어 모델을 동시에 학습시키는 다중 학습 모델을 제안한다.
- 본 논문에서는 단어 표상을 표현하기 위해 사전 학습된 단어 임베딩과 품사 임베딩을 사용했고, 추가적으로 자소 단위 임베딩과 개체명 사전 자질을 사용하여 단어 표상을 확장하였다. 또한 모델의 과적합을 줄이고 성능을 높이기 위해 Hard parameter sharing 기법을 적용한 멀티 태스크 학습 모델을 제안한다.
- 또한 본 논문에서는 데이터에 대한 추가적인 레이블링 작업이 필요 없는 언어 모델의 특성을 이용하여 한국어 언어 모델과 한국어 개체명 인식 모델을 동시에 학습하는 다중 학습 모델을 제안한다. 제안하는 다중 학습 모델은 동일한 입력데이터를 효율적으로 학습할 수 있다.
- 논문에서는 Bi-LSTM-CRFs를 사용한 개체명 인식 모델을 기반으로 단어 표상을 확장하기 위해 모델 학습 자소 단위 임베딩을 추가하였다. 또한 입력 데이터를 최대한 활용하기 위해 개체명 인식 모델과 한국어 언어 모델을 동시에 학습시키는 멀티 태스크 학습 기법을 적용된 모델을 제안하였다. 실험 결과, 제안하는 멀티 태스크 학습 모델은 멀티 태스크를 사용하지 않은 기본 BiLSTM-CRFs 보다 한국어 개체명 인식에서 향상된 성능을 보였다.
- 따라서 본 논문에서는 사전 학습된 단어 임베딩을 사용하였다. 또한 한국어의 언어적 특성상 형태소의 품사도 개체명 인식에서 중요하게 사용될 수 있기에 품사 임베딩을 사용하여 단어 표상을 확장했다. 원-핫 인코딩 방식 대신 임베딩 차원을 통해 품사를 표현함으로써, 품사가 가지고 있는 언어적 특성을 잘 표현하였다.
- 본 논문에서는 단어 표상을 표현하기 위해 사전 학습된 단어 임베딩과 품사 임베딩을 사용했고, 추가적으로 자소 단위 임베딩과 개체명 사전 자질을 사용하여 단어 표상을 확장하였다. 또한 모델의 과적합을 줄이고 성능을 높이기 위해 Hard parameter sharing 기법을 적용한 멀티 태스크 학습 모델을 제안한다.
- Bi-LSTM 모델의 성능은 단어 표상에 의존적이다[1]. 본 논문에서는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩, 문자열의 자소 임베딩, 형태소 임베딩, 음절 분포 그리고 개체명 사전 자질을 추가하여 성능을 향상시켰다.
- 본 논문에서는 개체명 인식 연구에서 좋은 성능을 보이는 Bi-LSTM-CRFs 을 기본 모델을 사용하였다. 입력 단어를 표현하기 위해 사전 학습된 단어, 품사 임베딩을 사용하였고, 자소 임베딩 및 개체명 사전 자질을 사용해 단어 표상을 확장 시켰다. 또한 동일한 입력 데이터를 최대한 활용하기 위해 개체명 인식 모델과 한국어 언어 모델을 동시에 학습시키는 다중 학습 모델을 제안한다.
- 본 논문에서는 단어 표상에 사전 학습된 단어 임베딩을 사용하였다. 추가적으로 품사 임베딩, 자소임베딩 및 개체명 사전을 사용하여 단어 표상을 확장하였다.
- 학습에 사용된 개체명 사전은 국어 정보 처리 시스템 경진대회에서 배포한 사전, 위키 코퍼스 인명사전 및 학습데이터에서 추가로 추출한 개체명 사전을 사용하였다. 개체명 사전을 자질로 사용 할 경우, 사용하지 않은 경우보다 1.
대상 데이터
- 사전 학습된 단어 임베딩은 2016 년 국어 정보 처리 시스템 경진대회에서 배포한 데이터를 사용하였다.
- 제안하는 멀티 태스크 학습을 이용한 Bi-LSTM-CRF 모델의 성능 평가를 위해 사용된 데이터는 2017 년 국어 정보 처리 시스템 경진 대회[12]에서 배포한 데이터를 사용하였다. 학습으로는 3,814 문장, 평가 데이터로 445 문장을 사용하였다.
- 품사 임베딩 차원은 16차원으로 설정하였다. 품사 임베 딩은 약3.8G의 wiki 데이터를 사용하였다. 학습 모델로 는 Word2Vec을 사용하였다.
- 제안하는 멀티 태스크 학습을 이용한 Bi-LSTM-CRF 모델의 성능 평가를 위해 사용된 데이터는 2017 년 국어 정보 처리 시스템 경진 대회[12]에서 배포한 데이터를 사용하였다. 학습으로는 3,814 문장, 평가 데이터로 445 문장을 사용하였다. 모든 실험 성능은 F1-measure 평가 방법을 사용하였다.
이론/모형
- 모든 실험 성능은 F1-measure 평가 방법을 사용하였다. 개체명 인식 모델은 TensorFlow[13]로 구현하여 실험하였다.
- 제안하는 개체명 인식 모델의 기본 입력은 형태소 단위의 단어이다. 따라서 본 논문에서는 사전 학습된 단어 임베딩을 사용하였다. 또한 한국어의 언어적 특성상 형태소의 품사도 개체명 인식에서 중요하게 사용될 수 있기에 품사 임베딩을 사용하여 단어 표상을 확장했다.
- 학습으로는 3,814 문장, 평가 데이터로 445 문장을 사용하였다. 모든 실험 성능은 F1-measure 평가 방법을 사용하였다. 개체명 인식 모델은 TensorFlow[13]로 구현하여 실험하였다.
- 본 논문에서는 개체명 인식 연구에서 좋은 성능을 보이는 Bi-LSTM-CRFs 을 기본 모델을 사용하였다. 입력 단어를 표현하기 위해 사전 학습된 단어, 품사 임베딩을 사용하였고, 자소 임베딩 및 개체명 사전 자질을 사용해 단어 표상을 확장 시켰다.
- 본 논문에서는 단어 표상에 사전 학습된 단어 임베딩을 사용하였다. 추가적으로 품사 임베딩, 자소임베딩 및 개체명 사전을 사용하여 단어 표상을 확장하였다.
- 8G의 wiki 데이터를 사용하였다. 학습 모델로 는 Word2Vec을 사용하였다.
성능/효과
- 멀티 태스크 학습이란 두 가지 이상의 태스크를 파라미터를 공유하며 동시에 학습하는 방법으로 주 태스크에 대해 성능을 높일 수 있다는 장점이 있다. 멀티 태스크 기반 학습은 크게 두가지로 분류되는데 1) Hard parameter sharing 2) Soft parameter sharing 기법이 있다. Hard parameter sharing 은 일반적으로 멀티 태스크 학습에서 사용하는 기법으로써 학습이 진행되는 동안 모든 태스크 사이에 은닉계층을 공유한다.
- 결과적으로 멀티 태스크 학습 모델은 다음 단어의 등장 확률과 이전 단어의 등장 확률 그리고 현재 입력 단어에 대한 개체명 태그를 예측하는 학습에 최적화된다.
- 임베딩의 차원은 50 차원이며 약 240,000 개의 단어로 구성되어 있다. 단어 임베딩 벡터를 랜덤으로 초기화한 경우보다 사전 학습된 단어 임베딩 벡터를 사용한 경우, F1-score 가 0.68% 높았다.
- 의 차원은 50 차원으로 사용하였다. 동일한 개체명 데이터에 대해 언어 모델을 추가하여 멀티 태스크 학습을 진행 할 경우 개체명 인식 모델만 학습한 경우 보다 성능이 1.49% 증가하였다.
- 또한 입력 데이터를 최대한 활용하기 위해 개체명 인식 모델과 한국어 언어 모델을 동시에 학습시키는 멀티 태스크 학습 기법을 적용된 모델을 제안하였다. 실험 결과, 제안하는 멀티 태스크 학습 모델은 멀티 태스크를 사용하지 않은 기본 BiLSTM-CRFs 보다 한국어 개체명 인식에서 향상된 성능을 보였다.
- 실험을 통해 멀티 태스크 학습을 통한 개체명 인식은 기존 Bi-LSTM-CRFs 모델보다 높은 성능을 보였다.
- 또한 한국어의 언어적 특성상 형태소의 품사도 개체명 인식에서 중요하게 사용될 수 있기에 품사 임베딩을 사용하여 단어 표상을 확장했다. 원-핫 인코딩 방식 대신 임베딩 차원을 통해 품사를 표현함으로써, 품사가 가지고 있는 언어적 특성을 잘 표현하였다.
- 자소 임베딩은 학습시 랜덤으로 초기화했으며 임베딩에 필요한 LSTM 의 은닉 계층의 차원은 50 차원이다. 자소 임베딩을 학습 할 시 자소 임베딩을 추가하지 않은 경우보다 0.71% 높은 성능을 얻을 수 있었다.
- 이와 같은 문제를 해결하기 위해 딥 러닝 기반의 개체명 인식 연구가 많이 진행되고 있다. 특히 순환신경망의 종류 중 하나인 LSTM 모델과 CRF 를 결합한 Bi-LSTM-CRF[7]를 사용한 모델이 좋은 성능을 보였다. 이는 입력 단어의 앞뒤 문맥을 고려한 모델로써, 정방향(forward)과 역방향(backward)을 나타내는 두개의 LSTM 의 은닉 계층을 결합한다.
- 결과적으로 다중 학습 모델은 사용 가능한 학습 코퍼스를 최대한 활용하는 방향으로 모델을 학습하게 된다. 학습 코퍼스를 최대한 활용함으로써, 은닉 계층을 효율적으로 학습시켜 기존 모델보다 기존 모델에 비해 우수한 성능을 얻을 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.