[논문]CRF기반 한국어 형태소 분할 및 품사 태깅에서 두 단계 복합형태소 분해 방법

나승훈; 김창현; 김영길

CRF기반 한국어 형태소 분할 및 품사 태깅에서 두 단계 복합형태소 분해 방법
Two-Stage Compound Morpheme Segmentation in CRF-based Korean Morphological Analysis 원문보기

나승훈 (한국전자통신연구원) , 김창현 (한국전자통신연구원) , 김영길 (한국전자통신연구원)

본 논문은 CRF기반 한국어 형태소 분석 및 품사 태깅 과정에서 발생하는 미등록 복합형태소를 분해하기 위한 단순하고 효과적인 방법을 제안한다. 제안 방법은 1) 복합형태소를 내용형태소와 복합기능형태소로 분리하는 단계, 2) 복합기능형태소를 분해하는 두 단계로 구성된다. 실험 결과, 제안 알고리즘은 Sejong데이터에 대해, 기존의 lattice HMM 대비 높은 복합형태소 분해 정확률 및 두드러진 속도 개선을 보여준다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 미등록 복합형태소 분해를 위해 단순하고 효율적인 두 단계 방법을 제안하였다. 제안 방법은 두 단계로 구성되는데 먼저 복합형태소를 내용형태소와 복합기능형태소로 분해하고, 다음으로 복합기능형태소를 기분석 패턴으로 처리한다.
본 논문은 미등록 복합형태소 처리를 위해 보다 단순하고 효율적인 방법을 제안한다. 제안 방법의 핵심은 기능형태소만을 기분석화하는 것으로, 다음의 두 단계로 이루어진다.

가설 설정

위의 세 가지 지식, ST, FLEX, CLEX를 바탕으로, 본 논문에서 복합 형태소 분해 알고리즘은 최장일치법에 기반한다. 분해 알고리즘의 핵심적인 가정은 복합형태소내의 축약음절은 최대 단 한 개만이 존재한다는 것이다. 즉, 복합형태소내의 어느 위치에서 축약이 발생했는지를 판단하는 것이 알고리즘의 메인이 된다.
분해 알고리즘은 복합형태소 표층형의 마지막 음절부터 순차적으로 해당 음절이 축약음절인지를 조사한다. 축약여부는 음절매핑테이블을 참조하여 이를 2음절로 분해하고 분해된 음절 앞부분은 내용형태소로, 뒷부분은 기능형태소로 포함된다고 가정하고, 이들이 실제 CLEX, FLEX사전에 있는지 확인한다. 만약, 모두 사전에 있으면 바로 해당 음절위치에서 축약이 이루어진 것이다.

제안 방법

만약, 모두 사전에 있으면 바로 해당 음절위치에서 축약이 이루어진 것이다. 그렇지 않으면, 음절 위치를 앞으로 한칸 이동하여, 다시 축약음절인지 아닌지 조사한다.
다음으로, 두 번째 단계에서는, 복합기능형태소“어줬/EP”에 대한 기분석패턴에 기반하여 분해를 시도한다.
본 논문에서는 축약 문제로 한정, 입력음절열을 한음절, 출력음절로 2음절로 제한하여 설명한다. 물론, 제안 방법은 불규칙 활용 등을 포괄하는 형태로 알고리즘을 손쉽게 확장될 수 있다.
우선 “살려줬/VV~EP”이 복합형태소 기분석 패턴에 있는지를 조사한다.
위의 세 가지 지식, ST, FLEX, CLEX를 바탕으로, 본 논문에서 복합 형태소 분해 알고리즘은 최장일치법에 기반한다. 분해 알고리즘의 핵심적인 가정은 복합형태소내의 축약음절은 최대 단 한 개만이 존재한다는 것이다.
본 논문은 미등록 복합형태소 분해를 위해 단순하고 효율적인 두 단계 방법을 제안하였다. 제안 방법은 두 단계로 구성되는데 먼저 복합형태소를 내용형태소와 복합기능형태소로 분해하고, 다음으로 복합기능형태소를 기분석 패턴으로 처리한다. 결국, 제안 방법은 복합기능형태소에 대해서만 기분석 패턴을 유지하기 때문에 기존의 방식에 비해서 기분석 패턴의 수를 크게 줄일 수 있는 장점이 있다.

대상 데이터

실험을 위해, 세종코퍼스 약 25여만 문장 중 80%는 학습 데이터로, 20%는 테스트데이터로 사용하였다. 형태소 분할 및 품사 태깅 모델로 [11]과 유사하게, 형태소 분할과 태깅을 동시에 수행하는 음절 기반 결합 모델을 적용하였다.

이론/모형

실험을 위해, 세종코퍼스 약 25여만 문장 중 80%는 학습 데이터로, 20%는 테스트데이터로 사용하였다. 형태소 분할 및 품사 태깅 모델로 [11]과 유사하게, 형태소 분할과 태깅을 동시에 수행하는 음절 기반 결합 모델을 적용하였다. 이때 사용되는 자질은 [7]의 형태소 분할을 위해 사용되는 자질과 동일하다.

성능/효과

1) 복합형태소를 내용형태소와 복합기능형태소로 분리하는 단계, 2) 복합기능형태소를 분해하는 단계이다. Sejong 품사 부착 코퍼스에서 실험 결과, 제안 방법은 기존 lattice HMM방식에 비해 복합형태소 분해 정확률을 향상시킬 수 있을 뿐 아니라 두드러진 속도 향상을 보여주었다.
제안 방법은 두 단계로 구성되는데 먼저 복합형태소를 내용형태소와 복합기능형태소로 분해하고, 다음으로 복합기능형태소를 기분석 패턴으로 처리한다. 결국, 제안 방법은 복합기능형태소에 대해서만 기분석 패턴을 유지하기 때문에 기존의 방식에 비해서 기분석 패턴의 수를 크게 줄일 수 있는 장점이 있다. 실험 결과, 제안 방법은 기존의 lattice HMM기반 분해보다 정확도와 시간 복잡도를 모두 개선하였다.
제안 분해 방법은 본래 복합형태소단위로 기분석 패턴 중, 기능형태소에 대한 기분석 리스트만 유지하면 되기 때문에 원칙적으로 기분석 패턴의 개수를 대폭 감소시킬 수 있게 된다. 무엇보다 복합기능형태소는 1개의 단일형태소로 이루어지고, 2개 이상이 많지 않다는 점, 기능형태소는 용언류보다는 closed word에 해당되어 대부분은 사전에 등재 가능하는 점으로 인하여, 복합기능형태소의 기분석 패턴의 사용은 복합형태소 기분석패턴 기반 방법보다 현실성이 높다고 할 수 있다.
결국, 제안 방법은 복합기능형태소에 대해서만 기분석 패턴을 유지하기 때문에 기존의 방식에 비해서 기분석 패턴의 수를 크게 줄일 수 있는 장점이 있다. 실험 결과, 제안 방법은 기존의 lattice HMM기반 분해보다 정확도와 시간 복잡도를 모두 개선하였다.
요약하면, 제안 방법은 기존방법 대비, 분해 정확률을 높일 뿐 아니라, 시간 복잡도를 두드러지게 개선할 수 있음을 보여준다.
위의 세 가지 정보 중 음절 매핑 테이블 (ST)와 복합 형태소 기분석 사전 (FLEX)은 복합형태소의 기분석 리스트로부터, 내용형태소 사전 (CLEX)은 학습코퍼스의 단위 형태소로부터 얻어진다. ST, FLEX, CLEX모두 리스트는 빈도수로 정렬(sorting)하여, 가장 빈도수가 높은 엔트리가 리스트의 첫 번째에 위치하도록 배치한다.
표 2는 전체 형태소 분석에서 [7]의 CRF기반 방법의 복합형태소 분해 단계가 끝난 후 최종 성능을 비교한 것이다. 표 2에서 보다시피 최종 성능에서도, 제안 방법은 기존 CRF기반 방법대비 다소 높은 성능을 보여준다.

후속연구

본 논문에서는 음절매핑테이블을 구성할 때 축약음절만을 고려하였으나, 일반적으로는 불규칙 변형 등 보다 다양한 유형을 포괄하도록 확장하는 것이 필요하다. 또한, 제안 분해 알고리즘은 최장일치 방식에 기반을 두고 있으나, 전체적으로 가장 개연성이 높은 분해 결과를 찾는 글로벌 분해 방법을 도입하여 분해 알고리즘을 보다 정교화 하는 것도 흥미로운 주제가 될 것이다.
본 논문에서는 음절매핑테이블을 구성할 때 축약음절만을 고려하였으나, 일반적으로는 불규칙 변형 등 보다 다양한 유형을 포괄하도록 확장하는 것이 필요하다. 또한, 제안 분해 알고리즘은 최장일치 방식에 기반을 두고 있으나, 전체적으로 가장 개연성이 높은 분해 결과를 찾는 글로벌 분해 방법을 도입하여 분해 알고리즘을 보다 정교화 하는 것도 흥미로운 주제가 될 것이다.

핵심어

질문

논문에서 추출한 답변

복합형태소란 무엇인가?

그러나, 이들 연구에서는 복합형태소 처리 과정이 별도로 필요하다. 복합형태소 (compound morpheme)란 복수개의 단위형태소(atomic morpheme)로 구성되는 형태소를 일컫는데, 표층형이 입력문과 일치하는 특징을 가지고 있다. 복합 형태소를 단위형태소로 분할하는 간단한 방법은 학습데이터에 나타나는 기분석 패턴을 이용하는 것이다 [7,11], 그러나, 복합형태소는 용언류의 활용형이 많아 대부분 개방어이므로 미등록어가 필연적으로 발생하게 된다.

분해 알고리즘의 핵심적인 가정은 무엇인가?

위의 세 가지 지식, ST, FLEX, CLEX를 바탕으로, 본 논문에서 복합 형태소 분해 알고리즘은 최장일치법에 기반한다. 분해 알고리즘의 핵심적인 가정은 복합형태소내의 축약음절은 최대 단 한 개만이 존재한다는 것이다. 즉, 복합형태소내의 어느 위치에서 축약이 발생했는지를 판단하는 것이 알고리즘의 메인이 된다.

lattice HMM기반 방식의 미등록 복합형태소를 처리하는 방법의 한계는 무엇인가?

미등록 복합형태소 처리를 위한 일반적인 모델로, [7]은 lattice HMM기반 방식을 제안하였다. 그러나, 이 방법은 높은 시간 복잡도를 지니며, 결과적으로 CRF와 이질적인 생성 모델의 도입으로 형태소 전 분석 과정을 한 가지 모델로 통일시키지 못했다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

CRF기반 한국어 형태소 분할 및 품사 태깅에서 두 단계 복합형태소 분해 방법
Two-Stage Compound Morpheme Segmentation in CRF-based Korean Morphological Analysis 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

CRF기반 한국어 형태소 분할 및 품사 태깅에서 두 단계 복합형태소 분해 방법 Two-Stage Compound Morpheme Segmentation in CRF-based Korean Morphological Analysis 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

CRF기반 한국어 형태소 분할 및 품사 태깅에서 두 단계 복합형태소 분해 방법
Two-Stage Compound Morpheme Segmentation in CRF-based Korean Morphological Analysis 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper