[논문]Semi-CRF or Linear-Chain CRF? 한국어 형태소 분할 및 품사 태깅을 위한 결합 모델 비교

나승훈; 김창현; 김영길

Semi-CRF or Linear-Chain CRF? 한국어 형태소 분할 및 품사 태깅을 위한 결합 모델 비교
Semi-CRF or Linear-chain CRF? A Comparative Study of Joint Models for Korean Morphological Analysis and POS Tagging 원문보기

나승훈 (한국전자통신연구원) , 김창현 (한국전자통신연구원) , 김영길 (한국전자통신연구원)

본 논문에서는 한국어 형태소 분할 및 품사 태깅 방법을 위한 결합 모델로 Semi-CRF와 Linear-chain CRF에 대한 초기 비교 실험을 수행한다. Linear-chain방법은 출력 레이블을 형태소 분할 정보와 품사 태그를 조합함으로써 결합을 시도하는 방식이고, Semi-CRF는 출력의 구조가 분할과 태깅 정보를 동시에 포함하도록 표현함으로써, 디코딩 과정에서 분할과 태깅을 동시에 수행하는 방법이다. Sejong품사 부착말뭉치에서 비교결과 Linear-chain방법이 Semi-CRF방법보다 우수한 성능을 보여주었다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 형태소 분할과 품사 태깅을 위한 결합 모델로 linear-chain CRF와 Semi-CRF를 비교했다. 실험 결과, Semi-CRF가 이론적으로 linear-chain CRF를 포괄함에도 불구하고, 본 연구에서는 linear-chain CRF의 성능을 뛰어넘지 못했다.
실험 결과, Semi-CRF가 이론적으로 linear-chain CRF를 포괄함에도 불구하고, 본 연구에서는 linear-chain CRF의 성능을 뛰어넘지 못했다. 본 연구는 Semi-CRF의 적용의 초기 연구로, 향후 개선의 여지가 남아있음을 물론이다. 후속 정교한 비교 연구를 통해, 위의 이슈에 대해 보다 엄밀한 실험을 수행할 예정이다.
본 연구에서는 형태소분할과 품사 태깅을 동시 수행하는 결합 모델로 linear-chain CRF [2]와 Semi-CRF [5]을 성능 평가를 수행하여 경험적으로 비교한다. 먼저, linear-chain CRF방식은 [16]의 음절 기반 결합 모델로, 음절의 태깅 출력 레이블을 형태소 분할 정보와 품사태그를 조합하여 구성함으로써, 결합을 수행하는 방식이다.

가설 설정

여기서 linear-chain CRF는 {B,I}에 기반한 분할/태깅의 결합 모델로 가정하고, 자질벡터를 다음 두 가지로 분류하자.

제안 방법

성능 평가 측도로 형태소 단위의 F-measure, 어절 정확률 (EA)를 사용하였으며, 이중 80%를 학습데이터로 20%는 테스트데이터로 사용했다. Linear-chain CRF와 Semi-CRF의 가질 가중치 벡터는 모두 [1]의 Averaged perceptron을 사용하여 학습하였다. 전체 학습데이터에서 최대 반복횟수를 총 30회로 제한하였다.
두 번째 단계에서는, 복합기능형태소“어줬/EP”에 대해서 기분석패턴에 기반하여 분해를 시도한다.
그러나, Semi-CRF [5]는 구조적 분류를 통해 순차열의 출력 구조를 분할과 태깅 정보를 동시에 내포하도록 구성함으로써, 디코딩 과정에서 동시에 분할과 태깅을 수행할 수 있도록 하는 방법이다. 형식적으로 기술하기 위해, 먼저 일반적인 구조적 분류 문제 (structured output problem)를 살펴보자. 주어진 입력문 x에 대해 분할/태깅 결과가 y라고 하면, 구조적 분류 문제는 다음과 같이 형식화 된다.

대상 데이터

두 가지 결합 모델의 형태소 분할 및 품사 태깅 성능 평가를 위해, 세종 품사 부착 말뭉치를 이용하였는데 이는 총 253,884개의 문장, 1,008,925개의 어절로 구성된다. 성능 평가 측도로 형태소 단위의 F-measure, 어절 정확률 (EA)를 사용하였으며, 이중 80%를 학습데이터로 20%는 테스트데이터로 사용했다.
두 가지 결합 모델의 형태소 분할 및 품사 태깅 성능 평가를 위해, 세종 품사 부착 말뭉치를 이용하였는데 이는 총 253,884개의 문장, 1,008,925개의 어절로 구성된다. 성능 평가 측도로 형태소 단위의 F-measure, 어절 정확률 (EA)를 사용하였으며, 이중 80%를 학습데이터로 20%는 테스트데이터로 사용했다. Linear-chain CRF와 Semi-CRF의 가질 가중치 벡터는 모두 [1]의 Averaged perceptron을 사용하여 학습하였다.

성능/효과

2. 분할/태깅 결합 모델의 1차 Linear-chain CRF에 대해, 디코딩 결과가 등가가 되는 Semi-CRF가 존재한다.
Semi-CRF는 디코딩 과정에서 분할과 태깅을 동시에 수행할 수 있는 방법이다. Sejong품사 부착 말뭉치에서 비교 결과, 기본 자질 집합에서, linear-chain CRF가 Semi-CRF보다 더욱 높은 성능을 보여주었다.
본 논문은 형태소 분할과 품사 태깅을 위한 결합 모델로 linear-chain CRF와 Semi-CRF를 비교했다. 실험 결과, Semi-CRF가 이론적으로 linear-chain CRF를 포괄함에도 불구하고, 본 연구에서는 linear-chain CRF의 성능을 뛰어넘지 못했다. 본 연구는 Semi-CRF의 적용의 초기 연구로, 향후 개선의 여지가 남아있음을 물론이다.

후속연구

Linear-chain CRF의 경우 상태 전이의 개수가 일정하는 점이 세그먼트의 개수에 따른 선호나 편향성 없이 학습될 수 있도록 하는 장점이 된 것으로 보인다. 물론, 이러한 결과는 본 연구에서 사용되는 자질 집합으로 국한된 것이므로, 두 방법에 대한 비교의 최종 결론을 도출하기 위해서는 보다 다양한 자질 집합에서 엄밀한 성능 비교를 해야 할 것이다.
후속 정교한 비교 연구를 통해, 위의 이슈에 대해 보다 엄밀한 실험을 수행할 예정이다. 학습 단계에서, Linear-chain CRF와 등가가 되는 고유 자질을 고정시키고, Semi-CRF에서 추가로 사용되는 자질만을 선택적으로 가중치 학습하는 것도 Semi-CRF의 성능 개선을 위한 한 방법이 될 것이다.
본 연구는 Semi-CRF의 적용의 초기 연구로, 향후 개선의 여지가 남아있음을 물론이다. 후속 정교한 비교 연구를 통해, 위의 이슈에 대해 보다 엄밀한 실험을 수행할 예정이다. 학습 단계에서, Linear-chain CRF와 등가가 되는 고유 자질을 고정시키고, Semi-CRF에서 추가로 사용되는 자질만을 선택적으로 가중치 학습하는 것도 Semi-CRF의 성능 개선을 위한 한 방법이 될 것이다.

핵심어

질문

논문에서 추출한 답변

Semi-CRF은 무엇인가?

먼저, linear-chain CRF방식은 [16]의 음절 기반 결합 모델로, 음절의 태깅 출력 레이블을 형태소 분할 정보와 품사태그를 조합하여 구성함으로써, 결합을 수행하는 방식이다. Semi-CRF는 디코딩 과정에서 분할과 태깅을 동시에 수행할 수 있는 방법이다. Sejong품사 부착 말뭉치에서 비교 결과, 기본 자질 집합에서, linear-chain CRF가 Semi-CRF보다 더욱 높은 성능을 보여주었다.

linear-chain CRF방식은 어떤 방식인가?

본 연구에서는 형태소분할과 품사 태깅을 동시 수행하는 결합 모델로 linear-chain CRF [2]와 Semi-CRF [5]을 성능 평가를 수행하여 경험적으로 비교한다. 먼저, linear-chain CRF방식은 [16]의 음절 기반 결합 모델로, 음절의 태깅 출력 레이블을 형태소 분할 정보와 품사태그를 조합하여 구성함으로써, 결합을 수행하는 방식이다. Semi-CRF는 디코딩 과정에서 분할과 태깅을 동시에 수행할 수 있는 방법이다.

Semi-CRF와 linear-chain CRF의 관계는 어떻게 되는가?

1. Semi-CRF는 linear-chain CRF를 특수한 경우로 포함한다. 형식적으로 Semi-CRF는 linear-chain CRF의 일반화된 형태로, 각 세그먼트 yi의 최대 길이를 1로 제한하면 Semi-CRf는 linear-chain CRF와 형식적으로 등가가 된다. 2. 분할/태깅 결합 모델의 1차 Linear-chain CRF에 대해, 디코딩 결과가 등가가 되는 Semi-CRF가 존재한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Semi-CRF or Linear-Chain CRF? 한국어 형태소 분할 및 품사 태깅을 위한 결합 모델 비교
Semi-CRF or Linear-chain CRF? A Comparative Study of Joint Models for Korean Morphological Analysis and POS Tagging 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Semi-CRF or Linear-Chain CRF? 한국어 형태소 분할 및 품사 태깅을 위한 결합 모델 비교 Semi-CRF or Linear-chain CRF? A Comparative Study of Joint Models for Korean Morphological Analysis and POS Tagging 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Semi-CRF or Linear-Chain CRF? 한국어 형태소 분할 및 품사 태깅을 위한 결합 모델 비교
Semi-CRF or Linear-chain CRF? A Comparative Study of Joint Models for Korean Morphological Analysis and POS Tagging 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper