[논문]딥러닝을 이용한 전이 기반 한국어 형태소 분석 및 품사 태깅

민진우; 나승훈; 김영길

딥러닝을 이용한 전이 기반 한국어 형태소 분석 및 품사 태깅
A Transition based Joint Model for Korean Morpheme Segmentation and POS Tagging Using Deep Learning 원문보기

민진우 (전북대학교) , 나승훈 (전북대학교) , 김영길

한국어 형태소 분석은 많은 자연어 처리 분야에서 핵심적인 역할을 수행하고 있기 때문에 형태소를 분류하고 형태소에 맞는 알맞은 품사를 결정하는 것은 매우 중요하다. 형태소의 품사를 태깅하는 대표적인 방법은 크게 음절 단위 형태소 분석과 단어 단위 형태소 분석의 두 가지로 나눌 수 있다. 본 논문에서는 의존 파싱 분야에서 널리 활용되고 있는 전이 기반 방식을 적용하여 전이 기반 단어 단위 한국어 형태소 분석 모델을 제안하고 해당 모델을 한국어 형태소 분석 데이터인 세종 품사 부착 말뭉치 셋에 적용하여 F1 97.77 %로 기존의 성능을 더욱 향상시켰다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 [9]의 전이 기반 형태소 분할 문제를 한국어 형태소 분석 및 품사 태깅 문제로 확장하여 적용하여 기존의 한국어 형태소 분석의 성능을 향상시킬 수 있음을 보인다.

제안 방법

성능 비교를 위해 본 모델에 대한 비교 베이스 라인 모델으로는 순차 레이블링 문제에서 높은 성능을 보여주는 CRF 모델과 Bi-LSTM CRF 모델을 사용하였다. CRF에 대해서는 2가지 표기법을 사용하였다. 하나는 [B,I] 표기법이고 추가적인 표기법은 [B,I,E,S]표기법으로 각각 CRF, CRF(BIES)로 구분하며[B,I,E,S] 표기법에 대한 설명은 다음과 같다.
본 논문에서 사용한 모델의 구조는 [9]의 전이 기반 형태소 분할 문제를 한국어 형태소 분석 및 품사 태깅 문제로 확장하였으며 형태소 분할 및 태깅을 전이 액션으로 하고 이를 딥러닝을 통해 결정하는 모델이다.
는 출력층으로 연결되어 softmax를 통해 전이 확률 중에 최대가 액션을 다음 전이 액션으로 하여 형태소의 분할 및 품사를 결정한다. 제안 모델의 장점은 이전 전이 액션으로 결정된 스택 내의 형태소와 해당 품사의 정보를 다음 전이 액션을 결정하기 위한 자질로 사용할 수 있어 추가적인 성능향상을 바라볼 수 있다.

대상 데이터

}을 버퍼의 입력 표상으로 사용하게 된다. 버퍼의 입력 표상을 얻기 위해 사용된 LSTM 신경망의 유닛은 512개가 사용되었고 각 자질의 차원은 32차원으로 입력 임베딩은 160차원이다.
본 논문에서 제안한 모델을 평가하기 위해 [2]와 동일한 집합인 세종 품사 부착 말뭉치 약 25만 문장 중 75%를 학습 셋, 5%를 검증 셋 그리고 나머지 20%를 평가 셋으로 하여 본 모델을 학습하였고 모델의 학습률은 0.1로 설정하였고 모든 히든레이어의 Dropout 비율은 0.8로 설정하였다.

이론/모형

성능 비교를 위해 본 모델에 대한 비교 베이스 라인 모델으로는 순차 레이블링 문제에서 높은 성능을 보여주는 CRF 모델과 Bi-LSTM CRF 모델을 사용하였다. CRF에 대해서는 2가지 표기법을 사용하였다.
추가로 mtag(a)에 의해 얻어져 적용되는 Lookup Table에 대해서는 [형태소-품사] 단위로 Glove 알고리즘을 적용하여 얻은 약 70만 개의 형태소에 대한 100차원의 사전 학습한(pretrained) 임베딩 벡터를 사용하였다. 위에서 정의한 상태벡터 𝐫(𝐵), 𝐫(𝑆)을 연결하여 품사 태거 상태 표상 𝒑_𝑡를 얻는다.

성능/효과

표 4는 모델 별 형태소 분석 성능을 F1-measure로 보여주고 있다. 동일 평가 셋에서 평가한 베이스 라인 모델인 CRF, Bi-LSTM CRF에 비해 제안한 전이 기반 형태소 분석 모델의 성능이 추가적인 성능 향상을 가져왔음을 확인 할 수 있다.
본 논문에서는 의존 파싱에서 널리 활용되고 있는 전이 기반 방식을 한국어 형태소에 맞는 액션을 정의하고 액션에 의해 형태소를 분할하고 품사를 부여하는 형태소 기반 방식으로 딥러닝 모델에 적용하여 세종 품사 부착 말뭉치 셋에서 F1 97.77%으로 기존 모델보다 높은 성능을 보였다.
본 논문에서는 전이 기반 방식을 한국어 형태소 분석문제에 알맞게 액션을 정의한 후 제안 모델 적용하여 기존의 방식에 비해 추가적인 성능 향상을 가져왔다. 차후 전이 기반 방식을 한국어 품사 태깅 및 의존 파싱통합 모델에 대한 연구로 확장할 예정이다.

후속연구

차후 전이 기반 방식을 한국어 품사 태깅 및 의존 파싱통합 모델에 대한 연구로 확장할 예정이다. 이에 나아가 전이 기반 방식을 개체명 인식 및 의미역 결정 문제에도 적용할 예정이다.
본 논문에서는 전이 기반 방식을 한국어 형태소 분석문제에 알맞게 액션을 정의한 후 제안 모델 적용하여 기존의 방식에 비해 추가적인 성능 향상을 가져왔다. 차후 전이 기반 방식을 한국어 품사 태깅 및 의존 파싱통합 모델에 대한 연구로 확장할 예정이다. 이에 나아가 전이 기반 방식을 개체명 인식 및 의미역 결정 문제에도 적용할 예정이다.

핵심어

질문

논문에서 추출한 답변

한국어 형태소 분석은 무엇으로 구분되는가?

형태소 분석은 많은 자연어 처리 분야에서 핵심적인 수행하고 있다. 한국어 형태소 분석은 일반적으로 형태소 분석과 품사 태깅의 두 가지의 과정으로 구분하며 형태소 분석은 문장 내의 어절을 뜻을 지니는 최소의 단위인 형태소로 분해하고 해당 형태소의 품사 후보를 생성하는 작업이고 품사 태깅은 위의 품사 후보로부터 가장 적절한 품사를 결정하는 것이다[1].

Split Action, Merge Action 2가지은 어떤 역할을 하는가?

• Split Action : 현재 스택에 존재하고 있는 형태소의 끝 경계를 결정 짓고 현재 버퍼가 가리키고 있는 음절을 스택에 PUSH한 다음 품사태그를 부여한 후 해당 형태소의 시작으로 하는 액션 • Merge Action : 현재 스택의 top이 가리키고 있는 형태소에 현재 버퍼가 가리키고 있는 음절을 해당 형태소의 구성요소로 추가하는 액션. 현재 버퍼가 Focus를 다음 음절로 이동하는 동작만을 수행

형태소 분석은 어떤 작업인가?

형태소 분석은 많은 자연어 처리 분야에서 핵심적인 수행하고 있다. 한국어 형태소 분석은 일반적으로 형태소 분석과 품사 태깅의 두 가지의 과정으로 구분하며 형태소 분석은 문장 내의 어절을 뜻을 지니는 최소의 단위인 형태소로 분해하고 해당 형태소의 품사 후보를 생성하는 작업이고 품사 태깅은 위의 품사 후보로부터 가장 적절한 품사를 결정하는 것이다[1].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝을 이용한 전이 기반 한국어 형태소 분석 및 품사 태깅
A Transition based Joint Model for Korean Morpheme Segmentation and POS Tagging Using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝을 이용한 전이 기반 한국어 형태소 분석 및 품사 태깅 A Transition based Joint Model for Korean Morpheme Segmentation and POS Tagging Using Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝을 이용한 전이 기반 한국어 형태소 분석 및 품사 태깅
A Transition based Joint Model for Korean Morpheme Segmentation and POS Tagging Using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper