[논문]Bidirectional LSTM CRFs를 이용한 한국어 개체명 인식

송치윤; 양성민; 강상우

문제 정의

본 논문에서는 한국어 개체명 인식을 위하여 Bidirectional LSTM CRFs 모델을 적용하고 자질로서 단어인 베딩, 품사 임베딩 그리고 사전 정보 자질을 이용하는 방법을 제안하였다.
형태소 단위는 비지도 학습(unsupervisedlearning)을 통해 사전 학습된 단어 및 품사 임베딩 모델을 사용하며 추가적으로 단어 임베딩 벡터, 개체명 사전 자질 벡터를 통해 입력 단어의 표상을 확장한다. 본 논문의 구성은 다음 장에서 Bidirectional LSTMCRFs 모델 및 단어 표상 확장 방법에 대해 소개한다. 3장에서는 본 논문에서 제시한 방법에 대한 실험 결과를 평가 및 분석하고, 마지막으로 결론을 기술한다.

제안 방법

[표 1]과 같이 학습 모델로는 RNN, LSTM, Bidirectional LSTM CRFs 모델을 비교하고 입력 자질로는 워드 임베딩, 음절 기반 워드 임베딩, 품사 임베딩,개체명 사전을 조합하여 구성하였을 때의 성능을 실험하였다. 실험 결과 [표 1]과 같이 Bidirectional LSTMCRFs 모델에 모든 자질을 입력으로 사용한 경우 84.
품사는 개체명 인식에서 매우 중요한 자질이다. 따라서 품사 정보를 사용하여 입력데이터의 정보량을 확장하였다. 일반적으로 품사 자질을 추가하기 위해서는 원-핫인 코딩(one-hot encoding)을 통해 벡터로 변환하지만 품사들 간의 연속적인 의미를 반영하기 위해서 품사 기반의 사전 학습된 벡터를 생성한다.
본 논문은 [그림 1]과 같이 임베딩 데이터가 Inputlayer 통해 입력 되고 LSTM layer와 CRFs layer를 통해서 예측한 개체명(h)이 출력이 되는 계층 구조를 제안한다.
제안하는 모델에서는 입력 문장을 벡터로 변환하여 입력 자질로 사용한다. 워드 임베딩 모델을 구축하기 위하여 국립국어원에서 제공된 학습 말뭉치와 세종 코퍼스, 위키피디아에서 수집한 말뭉치를 사용하였다.
제안한 개체명 인식 방법의 성능 평가를 위해 Bidirectional LSTM CRFs를 Tensorflow로 구현하였다. 개체명 인식 평가 데이터로는 2017년 국어 정보 처리 시스템 경진대회에서 배포한 개체명 말뭉치 문장을 사용하였다.
gensim 모델을 통해 워드 임베딩 모델을 사전 학습시켰다. 품사 정보를 반영하기 위해 단어와 품사 태그를 결합한 형태로 적용하였다. 또한, 미등록어 문제를 보완하기 위해서 음절 기반 워드 임베딩을 사용하였다.

대상 데이터

개체명 사전의 정보를 이용하여 입력 단어로부터 자질을 확장한다. 개체명 사전은 2016 ~ 2017년 국어 정보처리 시스템 경진대회에서 제공된 말뭉치와 세종 코퍼스, 위키피디아의 데이터에서 추출한 개체명을 활용하였다. 추출된 개체명들은 n-gram 자질로 구성하고 카이제곱 통계량을 사용하여 자질을 선택하였다.
제안한 개체명 인식 방법의 성능 평가를 위해 Bidirectional LSTM CRFs를 Tensorflow로 구현하였다. 개체명 인식 평가 데이터로는 2017년 국어 정보 처리 시스템 경진대회에서 배포한 개체명 말뭉치 문장을 사용하였다. 총 4,259 문장 중 3,000 문장을 학습 데이터로, 1,259 문장을 평가 데이터로 사용하였다.
제안하는 모델에서는 입력 문장을 벡터로 변환하여 입력 자질로 사용한다. 워드 임베딩 모델을 구축하기 위하여 국립국어원에서 제공된 학습 말뭉치와 세종 코퍼스, 위키피디아에서 수집한 말뭉치를 사용하였다. gensim 모델을 통해 워드 임베딩 모델을 사전 학습시켰다.
개체명 인식 평가 데이터로는 2017년 국어 정보 처리 시스템 경진대회에서 배포한 개체명 말뭉치 문장을 사용하였다. 총 4,259 문장 중 3,000 문장을 학습 데이터로, 1,259 문장을 평가 데이터로 사용하였다. 전체적인 실험 성능은 가장 높은 성능을 보인 30 epoch로, 워드 이미 베딩, 음절 기반 워드 임베딩, 품사 임베딩은 각각 50차원으로 실험하였다.

데이터처리

전체적인 실험 성능은 가장 높은 성능을 보인 30 epoch로, 워드 이미 베딩, 음절 기반 워드 임베딩, 품사 임베딩은 각각 50차원으로 실험하였다. 실험 성능은 F₁-score로 평가하였다.
개체명 사전은 2016 ~ 2017년 국어 정보처리 시스템 경진대회에서 제공된 말뭉치와 세종 코퍼스, 위키피디아의 데이터에서 추출한 개체명을 활용하였다. 추출된 개체명들은 n-gram 자질로 구성하고 카이제곱 통계량을 사용하여 자질을 선택하였다.

이론/모형

워드 임베딩 모델을 구축하기 위하여 국립국어원에서 제공된 학습 말뭉치와 세종 코퍼스, 위키피디아에서 수집한 말뭉치를 사용하였다. gensim 모델을 통해 워드 임베딩 모델을 사전 학습시켰다. 품사 정보를 반영하기 위해 단어와 품사 태그를 결합한 형태로 적용하였다.
품사 정보를 반영하기 위해 단어와 품사 태그를 결합한 형태로 적용하였다. 또한, 미등록어 문제를 보완하기 위해서 음절 기반 워드 임베딩을 사용하였다. 이 방법은 미등록어가 입력되었을 때 말뭉치 내에서 유사한 단어들을 기반으로 벡터를 생성해줌으로써 미등록어 문제를 완화할 수 있다.
본 논문에서는 기존의 LSTM 모델을 기반으로 데이터를 양방향성(Bi-directional)으로 입력하고, 모델의 출력 값들 사이의 전이 확률을 포함시킴으로써 연속적인 데이터에 적합한 Bi-directional LSTM-CRFs 모델을 적용한다.
일반적으로 품사 자질을 추가하기 위해서는 원-핫인 코딩(one-hot encoding)을 통해 벡터로 변환하지만 품사들 간의 연속적인 의미를 반영하기 위해서 품사 기반의 사전 학습된 벡터를 생성한다. 품사 임베딩 모델은 워드인 베딩 모델과 마찬가지로 국립국어원에서 제공된 학습 말뭉치와 gensim 모델을 사용하여 학습하였다.

성능/효과

[표 1]과 같이 학습 모델로는 RNN, LSTM, Bidirectional LSTM CRFs 모델을 비교하고 입력 자질로는 워드 임베딩, 음절 기반 워드 임베딩, 품사 임베딩,개체명 사전을 조합하여 구성하였을 때의 성능을 실험하였다. 실험 결과 [표 1]과 같이 Bidirectional LSTMCRFs 모델에 모든 자질을 입력으로 사용한 경우 84.62%로 가장 높은 성능을 나타내었다.
총 4,259 문장 중 3,000 문장을 학습 데이터로, 1,259 문장을 평가 데이터로 사용하였다. 전체적인 실험 성능은 가장 높은 성능을 보인 30 epoch로, 워드 이미 베딩, 음절 기반 워드 임베딩, 품사 임베딩은 각각 50차원으로 실험하였다. 실험 성능은 F₁-score로 평가하였다.

후속연구

향후에는 개체명을 인식할 때 개체명의 접두어, 접미어와 같은 세분화된 의미 정보를 사용하여 입력 자질을 일반화 및 최적화 하는 방법을 연구할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Bidirectional LSTM CRFs를 이용한 한국어 개체명 인식
Named-entity Recognition Using Bidirectional LSTM CRFs 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Bidirectional LSTM CRFs를 이용한 한국어 개체명 인식 Named-entity Recognition Using Bidirectional LSTM CRFs 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Bidirectional LSTM CRFs를 이용한 한국어 개체명 인식
Named-entity Recognition Using Bidirectional LSTM CRFs 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper