[논문]BERT 를 활용한 한국어 개체명 인식기

황석현; 신석환; 최동근; 김성현; 김재은

문제 정의

본 논문에서는 BERT 를 이용한 한국어 개체명 인식방법을 제안하였다. BERT-multilingual 모델을 활용하되 음절이 입력되도록 수정만 하여 활용하여도 매우 높은 성능을 낼 수 있었으며, WIKI 덤프 데이터를 활용하여 연장학습을 할 경우 더 성능이 향상되었다.
본 논문에서는 자연어처리 분야에서 좋은 성능을 보이는 BERT[7] 모델을 활용하여 개체명 인식의 성능을 높이는 실험을 진행하였다. 비교 모델로는 Bi-LSTM+Attent ion+CRF를 사용했고, 기학습된 BERT 모델을 활용하여 테스트 하였으며, 성능향상을 위해 WIKI 데이터를 활용하여 연장학습을 수행하였다.

제안 방법

BERT-NER 과 BERT-NER+ 모델의 학습은 V100 32GB GPU 에서 Batch size 를 16 으로 지정하여 3 epochs 를 학습하였다.
BERT-NER 모델은 BERT 를 활용한 개체명 인식 모델로, BERT 모델에 한 개의 layer 를 추가하여 해당 layer 에서 개체명을 태깅하도록 설계했다. 개체명 태깅에서 음절 단위의 토크나이징을 활용했다.
BERT-NER 모델은 구글에서 공개한 BERT-multilingual[7] 모델을 활용하였다. BERT-NER+ 모델은 WIKI 데이터를 활용하여 BERT-multilingual 에 연장 학습을 진행한 모델이며 V100 32GB GPU 를 활용하여 16 Batch size 로 100K 스텝을 연장 학습 하였다.
Bi-LSTM+Attention+CRF 모델의 입력은 음절 임베딩 레이어 300 차원, 형태소 정보 30 차원, 개체명 사전정보 15 차원을 붙여서 345 차원을 입력으로 활용하였다. LSTM 층은 2 층으로 구성하고 cell 크기는 100 을 사용하였으며 multi-head attention 에서 head 의 갯수는 4 개를 사용하였으며, dropout 은 0.5 를 적용하였다. Batch size 는 128 을 활용하여 100 epochs 을 학습하였다.
비교 모델로는 Bi-LSTM+Attent ion+CRF를 사용했고, 기학습된 BERT 모델을 활용하여 테스트 하였으며, 성능향상을 위해 WIKI 데이터를 활용하여 연장학습을 수행하였다. 논문의 구성은 2 장에서 개체명 인식 모델 이해를 위한 배경 지식 소개와 논문의 비교 모델을 소개한다. 3장에서는 실험 및 결과에 대해 토의하며, 마지막으로 4 장에서는 결론 및 향후 연구 방향에 대하여 제안한다.
본 논문에서는 자연어처리 분야에서 좋은 성능을 보이는 BERT[7] 모델을 활용하여 개체명 인식의 성능을 높이는 실험을 진행하였다. 비교 모델로는 Bi-LSTM+Attent ion+CRF를 사용했고, 기학습된 BERT 모델을 활용하여 테스트 하였으며, 성능향상을 위해 WIKI 데이터를 활용하여 연장학습을 수행하였다. 논문의 구성은 2 장에서 개체명 인식 모델 이해를 위한 배경 지식 소개와 논문의 비교 모델을 소개한다.
Embedding layer, Bi-LSTM, attention, CRF 네트워크를 거쳐서 개체명이 태깅 된다. 음절 단위의 입력을 사용하였으며, 형태소와 사전 정보를 추가로 입력으로 넣어주었다. 형태소는 따로 임베딩 레이어를 만들어서 사용하였으며, 개체명 사전의 경우에는 15 개의 개체명에 대하여 사전에 있는 개체명의 경우 1, 없을 경우 0으로 입력을 넣어주었다.

대상 데이터

Bi-LSTM 기반의 개체명 인식 모델과 BERT 기반의 개체명 인식 모델의 학습과 평가를 위해 솔트룩스에서 구축한 데이터를 동일하게 사용했다. 데이터 구성은 학습 데이터는 총 95,786 문장에 257,387 개의 태그가 태깅된 데이터이고, 평가 데이터는 총 10,502 문장에 27,781 개의 태그가 태깅된 데이터로 이루어져 있다.
Bi-LSTM+Attention+CRF 모델의 입력은 음절 임베딩 레이어 300 차원, 형태소 정보 30 차원, 개체명 사전정보 15 차원을 붙여서 345 차원을 입력으로 활용하였다. LSTM 층은 2 층으로 구성하고 cell 크기는 100 을 사용하였으며 multi-head attention 에서 head 의 갯수는 4 개를 사용하였으며, dropout 은 0.
Bi-LSTM 기반의 개체명 인식 모델과 BERT 기반의 개체명 인식 모델의 학습과 평가를 위해 솔트룩스에서 구축한 데이터를 동일하게 사용했다. 데이터 구성은 학습 데이터는 총 95,786 문장에 257,387 개의 태그가 태깅된 데이터이고, 평가 데이터는 총 10,502 문장에 27,781 개의 태그가 태깅된 데이터로 이루어져 있다. 평가 지표는 precision, recall, F1-Score를 활용했고, 15 개의 개체명 태그를 각각 평가하고, 전체 태그에 대한 평가도 동일하게 진행했다.
정보 검색에서 개체명은 중요한 검색 대상이 될 수 있으므로 자연어처리 분야에서 활발히 연구가 진행되고 있고, 중요하다고 볼 수 있다[1]. 본 논문에서는 15개의 개체명 태그(정보통신단체표준 TTA.KO-10.0852)인 AF(대상물), AM(동물). CV(문명), DT(날짜), EV(사건), FD(학문), LC(지역), MT(금속), OG(기관), PS(사람), PT(식물), QT(수량표현), TI(시간), TM(용어).
음절 단위의 입력을 사용하였으며, 형태소와 사전 정보를 추가로 입력으로 넣어주었다. 형태소는 따로 임베딩 레이어를 만들어서 사용하였으며, 개체명 사전의 경우에는 15 개의 개체명에 대하여 사전에 있는 개체명의 경우 1, 없을 경우 0으로 입력을 넣어주었다.

데이터처리

데이터 구성은 학습 데이터는 총 95,786 문장에 257,387 개의 태그가 태깅된 데이터이고, 평가 데이터는 총 10,502 문장에 27,781 개의 태그가 태깅된 데이터로 이루어져 있다. 평가 지표는 precision, recall, F1-Score를 활용했고, 15 개의 개체명 태그를 각각 평가하고, 전체 태그에 대한 평가도 동일하게 진행했다.

이론/모형

BERT 기반의 개체명 인식 모델은 2 가지로 평가를 진행했다. BERT-NER 모델은 구글에서 공개한 BERT-multilingual[7] 모델을 활용하였다. BERT-NER+ 모델은 WIKI 데이터를 활용하여 BERT-multilingual 에 연장 학습을 진행한 모델이며 V100 32GB GPU 를 활용하여 16 Batch size 로 100K 스텝을 연장 학습 하였다.

성능/효과

본 논문에서는 BERT 를 이용한 한국어 개체명 인식방법을 제안하였다. BERT-multilingual 모델을 활용하되 음절이 입력되도록 수정만 하여 활용하여도 매우 높은 성능을 낼 수 있었으며, WIKI 덤프 데이터를 활용하여 연장학습을 할 경우 더 성능이 향상되었다.
Bi-LSTM+Attention+CRF 모델에 개체명 사전까지 활용한 모델에 비해서 사전을 활용하지 않음에도 불구하고 높은 성능을 내어 실제 서비스에도 충분히 활용할 수 있는 성능으로 여겨진다.
<표 1>을 보면 Bi-LSTM+Attention+CRF 모델에 개체명 사전까지 활용한 모델이 81 점의 F1-Score 를 기록하였으며 BERT 기반의 모델의 경우 기본적인 Multillingual 모델을 활용하여 3 epochs 만 학습하였음에도 89.71 의 F1-Score 를 기록했다.

후속연구

향후 연구로는 BERT 에 CRF 와 같은 네트위크를 분여서 성능 향상을 시도할 수 있을 것이며, BERT-multiligual 모델이 아닌, 처음부터 한국어로 학습한 BERT 모델을 활용하면 성능이 더 향상될 것으로 기대된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

BERT 를 활용한 한국어 개체명 인식기
Korean Named Entity Recognition using BERT 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

BERT 를 활용한 한국어 개체명 인식기 Korean Named Entity Recognition using BERT 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

BERT 를 활용한 한국어 개체명 인식기
Korean Named Entity Recognition using BERT 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper