[논문]Bi-directional LSTM-CNN-CRF를 이용한 한국어 개체명 인식 시스템

이동엽; 임희석

문제 정의

본 연구에서는 2017 국어 정보시스템 경진대회에서 제공한 2016klpNER 데이터를 이용하여 한국어 개체명 인식 시스템을 개발하였다. 실험은 전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 진행하였다.
본 연구에서는 개체명 인식 시스템을 개발하기 위해 딥러닝 기반의 워드 임베딩(word embedding) 자질과 문장의 형태적 특징 및 기구축 사전(lexicon) 기반의 자질 구성 방법을 제안하고, bi-directional LSTM, CNN, CRF과 같은 모델을 통해 구성된 자질을 학습하는 방법을 제안한다. 실험은 2017 국어 정보 시스템경진대회에서 제공한 2016klpNER 데이터를 이용하여 진행하였다.

제안 방법

문서 표현을 구성하기 위해 CNN을 이용한 한국어 음절 단위의 자질 표현, glove vector를 이용한 형태소 단위의 자질 표현, 품사 태깅 정보, 기구축 사전 정보를 이용하였다. 구성된 문서 표현을 bi-directional LSTM의 입력으로 사용하여 은닉 상태를 계산한 후 CRF의 입력으로 사용하여 최종적으로 형태소에 대응하는 개체명을 예측 하였다. 실험 결과 본 연구에서 제안하는 모델은 98.
최종적으로 2, 3, 4, 5 만큼의 필터 크기와 128 개의 필터 개수를 사용하였을 때, 가장 좋은 성능을 보였다. 또한 글자의 자질 표현 방법에 따른 성능 비교를 진행하기 위해 자소 단위와 음절 단위의 자질 표현 방법을 비교하였다. 그 결과 음절 단위로 글자를 구성하여 자질을 표현할 경우 자소 단위로 글자를 구성하여 자질을 표현하는 경우보다 f1-score가 약 2% 정도 만큼 높은 성능을 보였다.
실험은 전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 진행하였다. 문서 표현을 구성하기 위해 CNN을 이용한 한국어 음절 단위의 자질 표현, glove vector를 이용한 형태소 단위의 자질 표현, 품사 태깅 정보, 기구축 사전 정보를 이용하였다. 구성된 문서 표현을 bi-directional LSTM의 입력으로 사용하여 은닉 상태를 계산한 후 CRF의 입력으로 사용하여 최종적으로 형태소에 대응하는 개체명을 예측 하였다.
글자(character) 임베딩을 기반으로 자질을 추출하기 위해 CNN을 이용할 수 있다[6]. 본 실험에서는 CNN의 필터 크기(filter size)와 필터 개수를 다양하게 설정하여 성능 비교를 진행하였다. 최종적으로 2, 3, 4, 5 만큼의 필터 크기와 128 개의 필터 개수를 사용하였을 때, 가장 좋은 성능을 보였다.
“조동팔” 이라는 단어와 그에 해당하는 품사 태깅 결과가 주어졌을 때 제안하는 시스템은 4가지의 방법으로 문서를 표현한다. 음절 단위의 자질 표현을 구성하기 위해 단어를 이루는 음절 단위로 임베딩을 구성한 뒤 CNN을 통하여 음절의 자질을 추출 한 후 이를 음절 단위 자질 표현으로 활용한다. 형태소 단위로 나눠진 단어에 대해 glove vector를 이용한 워드 임베딩을 구성하여 이를 형태소 단위의 자질 표현으로 활용한다.
학습 데이터에는 앞, 뒤 단어에 대한 연관성을 고려 할 때 활용될 수 있는 단어에 대한 품사 태깅 정보가 존재하여 이를 자질 표현으로 활용하였다. 그 결과 품사 태깅 정보를 이용하였을 때, 품사 태깅 정보를 이용하지 않았을 때 보다 f1-score가 약 1.
형태소 단위의 자질을 표현하기 위해 glove vector를 이용한 임베딩 공간을 구성하였다. Glove vector를 학습하기 위해 한국어로 구성된 위키피디아 데이터 약 345만건을 이용하였다.

대상 데이터

형태소 단위의 자질을 표현하기 위해 glove vector를 이용한 임베딩 공간을 구성하였다. Glove vector를 학습하기 위해 한국어로 구성된 위키피디아 데이터 약 345만건을 이용하였다.
본 연구에서는 개체명 인식 시스템을 개발하기 위해 딥러닝 기반의 워드 임베딩(word embedding) 자질과 문장의 형태적 특징 및 기구축 사전(lexicon) 기반의 자질 구성 방법을 제안하고, bi-directional LSTM, CNN, CRF과 같은 모델을 통해 구성된 자질을 학습하는 방법을 제안한다. 실험은 2017 국어 정보 시스템경진대회에서 제공한 2016klpNER 데이터를 이용하여 진행하였다. 전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 실험을 진행하였다.
본 연구에서는 2017 국어 정보시스템 경진대회에서 제공한 2016klpNER 데이터를 이용하여 한국어 개체명 인식 시스템을 개발하였다. 실험은 전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 진행하였다. 문서 표현을 구성하기 위해 CNN을 이용한 한국어 음절 단위의 자질 표현, glove vector를 이용한 형태소 단위의 자질 표현, 품사 태깅 정보, 기구축 사전 정보를 이용하였다.
실험은 2017 국어 정보 시스템경진대회에서 제공한 2016klpNER 데이터를 이용하여 진행하였다. 전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 실험을 진행하였다. 실험 결과 본 연구에서 제안하는 모델은 BIO 태깅 방식의 개체 청크 단위 성능 평가 결과 98.
제공된 데이터 전체 4258 문장 중 학습데이터 3406 문장, 검증데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 실험을 진행하였다. 성능 평가는 BIO 태깅 방식의 개체 청크 단위 성능 평가를 이용하여 진행하였다.

이론/모형

기구축 사전 정보를 이용하여 사전 기반의 자질을 표현하기 위해 gazette 기구축 사전을 이용하였다. 그 결과 기구축 사전 정보를 이용하였을 경우, 기구축 사전 정보를 이용하지 않았을 때 보다 f1-score가 약 1% 향상됨을 알 수 있었다.
제공된 데이터 전체 4258 문장 중 학습데이터 3406 문장, 검증데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 실험을 진행하였다. 성능 평가는 BIO 태깅 방식의 개체 청크 단위 성능 평가를 이용하여 진행하였다. [표 2]는 문서 표현을 하기위한 자질 표현 방법에 따른 한국어 개체명 인식 시스템의 성능을 나타낸다.

성능/효과

기구축 사전 정보를 이용하여 사전 기반의 자질을 표현하기 위해 gazette 기구축 사전을 이용하였다. 그 결과 기구축 사전 정보를 이용하였을 경우, 기구축 사전 정보를 이용하지 않았을 때 보다 f1-score가 약 1% 향상됨을 알 수 있었다.
또한 글자의 자질 표현 방법에 따른 성능 비교를 진행하기 위해 자소 단위와 음절 단위의 자질 표현 방법을 비교하였다. 그 결과 음절 단위로 글자를 구성하여 자질을 표현할 경우 자소 단위로 글자를 구성하여 자질을 표현하는 경우보다 f1-score가 약 2% 정도 만큼 높은 성능을 보였다.
학습 데이터에는 앞, 뒤 단어에 대한 연관성을 고려 할 때 활용될 수 있는 단어에 대한 품사 태깅 정보가 존재하여 이를 자질 표현으로 활용하였다. 그 결과 품사 태깅 정보를 이용하였을 때, 품사 태깅 정보를 이용하지 않았을 때 보다 f1-score가 약 1.9% 향상되었다.
또한 학습 데이터에 포함되어 있는 품사 태깅 정보를 기반으로 품사 태깅에 대한 임베딩을 구성하여 이를 자질로 활용할 수 있다. 마지막으로 형태소 단위로 나눠진 단어를 대상으로 미리 구축된 기구축 사전을 이용하여 사전 기반의 자질을 표현할 수 있다. 학습 데이터를 이용하여 표현된 각각의 자질들을 연결(concatenation)한 뒤 이를 bi-directional LSTM의 입력으로 사용한다.
구성된 문서 표현을 bi-directional LSTM의 입력으로 사용하여 은닉 상태를 계산한 후 CRF의 입력으로 사용하여 최종적으로 형태소에 대응하는 개체명을 예측 하였다. 실험 결과 본 연구에서 제안하는 모델은 98.9%의 테스트 정확도(test accuracy)와 89.4%의 f1-score를 나타냈다.
전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 실험을 진행하였다. 실험 결과 본 연구에서 제안하는 모델은 BIO 태깅 방식의 개체 청크 단위 성능 평가 결과 98.9%의 테스트 정확도(test accuracy)와 89.4%의 f1-score를 나타냈다.
본 실험에서는 CNN의 필터 크기(filter size)와 필터 개수를 다양하게 설정하여 성능 비교를 진행하였다. 최종적으로 2, 3, 4, 5 만큼의 필터 크기와 128 개의 필터 개수를 사용하였을 때, 가장 좋은 성능을 보였다. 또한 글자의 자질 표현 방법에 따른 성능 비교를 진행하기 위해 자소 단위와 음절 단위의 자질 표현 방법을 비교하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Bi-directional LSTM-CNN-CRF를 이용한 한국어 개체명 인식 시스템
Korean Entity Recognition System using Bi-directional LSTM-CNN-CRF 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Bi-directional LSTM-CNN-CRF를 이용한 한국어 개체명 인식 시스템 Korean Entity Recognition System using Bi-directional LSTM-CNN-CRF 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Bi-directional LSTM-CNN-CRF를 이용한 한국어 개체명 인식 시스템
Korean Entity Recognition System using Bi-directional LSTM-CNN-CRF 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper