[논문]한국어에 적합한 효율적인 품사 태깅

김영훈

한국어에 적합한 효율적인 품사 태깅
An Efficient Korean Part-of-Speech Tagging 원문보기

김영훈 (LG전자 CDMA단말연구소)

본 논문에서는 형태소 분석 단계에서 발생하는 형태소 모호성을 줄이기 위해서 말뭉치를 이용한 형태소 태깅을 구현한 시스템이다. 형태소 태깅을 위한 말뭉치가 대량의 것이 아니라도 효율적인 품사 분류와 태깅 알고리즘을 가지고 올바르고 효율적인 태깅을 할 수 있도록 하였다. 어절의 올바른 품사 태깅을 위해서 어절들 간의 인접도가 아니라 품사들 간의 인접도, 그리고 품사간의 제약 정보를 추가한 품사의 태깅에 이용을 하였다. 이와 같이 함으로 효율적인 시스템을 구현할 수 있었다.

In this paper i offer a new part-of-speech tagging method for Korean, it can solve difficulty of statistical data acquisition and ambiguities due to same part-of-speech stream input and make good use of the Corpus. This method can solve that the corpus don't have huge. This method uses pattern information about part-of-speech among eojols and constraint-rules in order to perform part-of-speech tagging. The Constraint-rule is used to select appropriate part-of-speech pattern.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 특정 단어와 주위의 품사간의 관계를 이용하고자 핸다. 이는 특정 단에과 특정 단어2가 같은 문장 내에서 같이 나타나기 어려운 것을 극복하고 꼭 대량의 말뭉치가 아닌 말뭉치로부터도 정보를 추출하여 이용하고자 함이다.
핸다. 이는 특정 단에과 특정 단어2가 같은 문장 내에서 같이 나타나기 어려운 것을 극복하고 꼭 대량의 말뭉치가 아닌 말뭉치로부터도 정보를 추출하여 이용하고자 함이다. 이와 같이 얻어진 정보는 형태소 분석에서 나온 결과의 올바른 품사 결정에 이용한다.
구문 분석 시에도 많은 구문구조의 발생을 초래하게 된다 따라서 어절이 사용된 문장 내에서 올바른 품사를 결정하여 주는 것은 여러 분야에서 효율적인 처리에 많은 도움을 준다. 즉, 구문분석 시에는 연산 횟수와 구문구조의 수를 현저하게 줄일 수 있다 이를 위해서 확률 정보 및 통계 정보를 이용하여 단어에 알맞은 품사를 태깅 하고자 한다. 품사 태깅을 위한 방법으로는 신경망에 의한 방법과 통계적인 처리에 의한 방법이 있다

제안 방법

본 논문에서는 bigram의 형태로 바로 인접한 품사만의 정보뿐만 아니라 인접할 수 없는 제약 정보를 추가하므로 좀 더 정확한 품사를 결정하였다.
본 논문에서는 태깅된 말뭉치에서 얻은 정보를 통계적인 처리를 이용하여 품사를 태깅 하고자 핸다. 말뭉치에서 얻은 품사들의 올바른 품사열을 찾는 것이 문제이다.
본 논문의 시스템은 하나의 문장을 형태소 분석을 한 후임 시 파일을 통하여 중간처리를 한다. 구성은 그림 4과 같이 구성되어 있다.
본 시스템에서 자연언어처리 연구실에서 개발한 형태 소분 中 I를 이용한 것이대1, 4 이 형태소 분석기는 본 시스템을 초점으로 하여 개발된 것이 아니라 일반적인 형태소분석을 위해서 개발된 것이다 그러므로 본 시스템에서 사용하기 위해서 품사 변환 및 필요한 형태의 결과 값을 위해 변환 과정을 후처리로 하였다
또한 높은 확률의 태깅 시스템을 구축하기위해서는 미정의 품사에 대해서도 높은 확률의 태깅이 이루어져야 핸다. 이를 위해서 품사 간인 접도나 제약 정보를 추가하여 사용하므로 정확성 높은 태깅 시스템을 구축 하였다.
그러나 이 방법의 문제점은 말뭉치에 내타나지 않은 표제어가 나타난다든지, 계산한 확률 값이 0이 되는 경우가 발생하게 된다. 이와 같은 문제점을 극복하기 위해서 본 시스템에서는 형태소 분석이 된 결과에서 나타난 품사들 가운데서 최대 전이 확률과 최대 빈도를 이용하여 품사를 태깅 하였다.
되어 있다. 이와 같이 태깅되어 있는 말뭉치로 1차적인 정보를 얻는데, 각 표제어의 전체 빈도수와 앞쪽의 품사에 대한 자신의 품사 값을 모두 조사한다. 2차적인 정보는 1차적인 정보로부터 전체 품사의 전이 정보와 각 품사에 대한 전체 정보를 구축한다.
우선 형태소 분석기를 통해서 분석된 품사들을 입력 받는다. 입력 받은 품사들을 2.2절에서 분류한 품사 분류 방법에 맞게 분류한다. 명사 결합 동사구에서 보조 동사구의 결합 수와 관련된 단어의 처리 등을 한다 여기서 나온 결과를 품사 태깅 시스템에 입력하여 최종 품사를 결정한다.
최적 품사열을 찾기 위한 알고리즘으로는 Viterbi 알고리즘을 변형하여 사용하였다. 가장 좋은 방법은 가능한 모든 품사 열을 찾아보는 것이 좋으나, 현실적으로 불가능하고 비효율적이기 때문에 이에 가깝도록 하기 위한 Viterbi 알고리즘을 선택하였다.

대상 데이터

이와 같이 세분류를 하게 되면 단어 간의 호응 정보와 같이 대량의 말뭉치가 필요하여아만 각 품사에 대해서 정확한 결과를 얻을 수 있다. 그래서 본 논문에서는 다음과 같이 5종류의 품사를 사용하였다.
본 논문에서 사용한 말뭉치는 수작업에 의해서 태깅 되었으며, 품사는 위에서 정한 것 중 NP, VP, AP, DP, $로태깅 되어 있다. 이와 같이 태깅되어 있는 말뭉치로 1차적인 정보를 얻는데, 각 표제어의 전체 빈도수와 앞쪽의 품사에 대한 자신의 품사 값을 모두 조사한다.
실험대상 어절로는 자연언어처리 연구실에서 수집한 것으로 문장수는 700문장에, 약 5000어절을 대상으로 하였다. 확률처리에 의한 방법은 전체적으로 98.

이론/모형

변형하여 사용하였다. 가장 좋은 방법은 가능한 모든 품사 열을 찾아보는 것이 좋으나, 현실적으로 불가능하고 비효율적이기 때문에 이에 가깝도록 하기 위한 Viterbi 알고리즘을 선택하였다.
말뭉치에서 얻은 품사들의 올바른 품사열을 찾는 것이 문제이다. 이를 위해서는 Viterbi 알고리즘을 이용하였다[7]. 기존의 연구를 보면 단어간의 호응 정보를 이용하여 특정 단에과 특정 단어2 사이의 관계를 확률 정보로 얻어 이용하였대[5] 그러나 특정 댄에과 특정 단어2가 같은 문장 내에서 발생할 수 있는 횟수는 매우 적으므로 여기서 얻은 정보는 매우 불확실할 수가 있다.

성능/효과

본 논문에서 구현한 품사 태깅 시스템은 확장성이 좋았으며, 표제어가 말뭉치에 존재하지 않는다 하더라도 가장 좋은 품사로 태깅을 할 수 있도록 구현되었다. 또한 품사 결정을 위해서 품사 제약 정보를 추가하여 사용하므로 더 나은 결과를 얻을 수 있었다.

후속연구

또한 형태소 모호성을 줄임으로써 형태소 분석을 이용하려는 다른 분야에서 이용할 때 매우 효과적으로 사용될 수 있다. 그러나 같은 품사 사이의 중의성 해결에는 아직 미약하게 되므로 같은 품사로 태깅된 경우의 중의성 해결을 위해서 좀 더 지속적인 연구가 이루어져야 하겠다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

한국어에 적합한 효율적인 품사 태깅
An Efficient Korean Part-of-Speech Tagging 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

한국어에 적합한 효율적인 품사 태깅 An Efficient Korean Part-of-Speech Tagging 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

한국어에 적합한 효율적인 품사 태깅
An Efficient Korean Part-of-Speech Tagging 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper