[논문]HMM을 이용한 한국어 품사 및 동형이의어 태깅 시스템

김동명; 배영준; 옥철영; 최호섭; 김창환

HMM을 이용한 한국어 품사 및 동형이의어 태깅 시스템
Korean POS and Homonym Tagging System using HMM 원문보기

김동명 (울산대학교 컴퓨터정보통신공학과) , 배영준 (울산대학교 컴퓨터정보통신공학과) , 옥철영 (울산대학교 컴퓨터정보통신공학과) , 최호섭 (한국과학기술정보연구원 정보기술개발단 정보시스템개발팀) , 김창환 (춘해대학교 보건행정과)

기존의 자연언어처리 연구 중 품사 태깅과 동형이의어 태깅은 별개의 문제로 취급되었다. 그로 인해 두 문제를 해결하기 위한 모델 역시 서로 다른 모델을 사용하였다. 이에 본 논문은 품사 태깅 문제와 동형이의어 태깅 문제는 모두 문맥의 정보에 의존함에 착안하여 은닉마르코프모델을 이용하여 두 가지 문제를 해결하는 시스템을 구현하였다. 제안한 시스템은 품사 및 동형이의어 태깅된 세종 말뭉치 1100만여 어절에 대해 unigram과 bigram을 추출 하였고, unigram을 이용하여 어절의 생성확률 사전을 구축하고 bigram을 이용하여 전이확률 사전을 구축하였다. 구현된 시스템의 성능 확인을 위해 비학습 말뭉치 261,360 어절에 대해 실험하였고, 실험결과 품사 태깅 99.74%, 동형이의어 태깅 97.41%, 품사 및 동형이의어 태깅 97.78%의 정확률을 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

현재 특정 어휘와 어휘 사이의 공기 관계 및 문맥 관계 등을 제안한 시스템에 추가하여 생성확률 및 전이확률에 가중치를 주어 시스템의 성능을 향상시키는 방법에 대해 연구를 수행하고 있다.

제안 방법

HMM에서의 생성확률은 어절이 형태소 분석되는 경우에 대한 발생확률로 적용하였고, 어절 간의 bigram 통계를 이용한 어절의 전이확률을 모델의 상태전이확률로 사용하였다.
후)[그림1]과">[그림 1]과 [그림 2]에서와 같이 품사 태깅과 동형이의어 태깅은 모두 주변 문맥 정보에 의해 영향을 받으므로 본 논문에서는 기존의 연구에서와 달리 두 가지 과정을 하나의 모델에서 해결하도록 하였다.
후)품 사">품사 태깅과 동형이의어 태깅을 별개의 과정으로 취급하였다. 그로 인해 문제를 해결하는 모델 역시 별개의 모델을 사용하여 왔으나 본 논문에서는 품사 및 동형이의어 태깅된 말뭉치와 HMM만을 사용한 시스템을 구현하여 품사 태깅과 동형이의어 태깅의 문제를 해결하였다.
동형이의어 태깅의 성능을 판단하기 위해 [6]의 ‘실험 1’에서 사용한 9개의 동형이의어에 대해서 정확률을 비교하였다.
본 논문에서는 위에 언급한 과정을 제안한 태깅 시스템에 적용하기 위하여 [그림 3]과 같은 형태로 모델링 하였다.
본 논문에서는 품사 태깅 문제와 동형이의어 태깅 문제는 모두 문맥 정보에 의존함에 착안하여 은닉마르코프모델만을 이용하여 두 가지 문제를 해결하는 시스템을 구현하였다. 기존의 연구들의 대부분은 후)학습말 뭉치의">학습 말뭉치의 오류를 검출하였다. 사람의 수작업으로 구축되는 말뭉치의 특성상 나타날 수 밖에 없는 오류에 대해서 저신뢰도 구간 검사를 통해 학습 말뭉치의 신뢰도를 높여 태깅 성능의 향상을 모색하였다.
후)생성 확률을">생성확률을 위한 unigram 사전을 구축하였다고, unigram 사전에 미등록된 어절을 처리하기 위하여 UTagger를 이용하였다. 어절 간의 전이확률을 구하기 위해 bigram 사전을 구축하였으며, 말뭉치의 태깅 오류 및 희소 어절에 대한 신뢰도를 유지하기 위하여 TF/IDF를 응용한 전이확률모듈을 두어 전이확률의 가중치를 설정하였다.
후)전이 확률을">전이확률을 얻기 힘들다. 이것을 보완하기 위해 추가적으로 가중치를 적용하는 전이확률모듈을 구현하였다. 후)말 뭉치”">말뭉치” 중 학습에 사용되지 않은 말뭉치를 이용하였다. 평가를 위한 말뭉치는 품사 및 동형이의어 태그 부착 말뭉치를 사용하였다.

대상 데이터

제안한 시스템의 학습을 위해 “21세기 세종 계획 형태 의미 분석 말뭉치” 중 11,100,293개 어절을 이용하였다.

이론/모형

후)전이 확률을">전이확률을 이용하여 최적의 상태열을 찾는다. HMM의 이와 같은 특징은 문맥 정보를 반영하기에 용이하므로 본 논문에서는 HMM을 기본 모델로 이용하였다.
HMM의 최적 상태열을 찾기 위해 Viterbi 알고리즘을 사용하였다.
후)후 처리">후처리 단계에서 효과적으로 이용될 수 있는 형태소 분석기이다. UTagger는 동형이의어 태깅에 대한 처리를 하지 않으며, 학습 말뭉치에서 품사 및 동형이의어태깅 정보가 없는 경우 품사 태깅을 위한 형태소 분석용도로 사용하였다.
본 논문에서 제안하는 시스템에는 본 연구실이 보유하고 있는 형태소 분석기 UTagger[8]를 이용하였다. UTagger는 본 논문은 은닉마르코프모델(HMM : Hidden Markov Model)[1]을 이용하여 한국어의 형태적인 중의성과 의미적인 중의성을 함께 해결할 수 있는 시스템을 구축한다.
시스템의 학습을 위해 품사 및 동형이의어 태깅된 학습 말뭉치를 사용하여 어절의 생성확률을 위한 unigram 사전을 구축하였다고, unigram 사전에 미등록된 어절을 처리하기 위하여 UTagger를 이용하였다. 어절 간의 후)어 절들은">어절들은 Tokenizer에 의해 나뉘어지며, 어절의 생성확률은 어절 unigram 사전과 UTagger에 의해 결정되는 확률값을 갖는다. 어절 간의 전이확률은 어절 bigram 사전과 전이확률모듈에 의해 확률값을 갖게되며, 이 어절들의 생성확률과 전이확률을 Viterbi 알고리즘에 적용하여 최적의 태그열을 찾는다.
후)상태전이 확률로">상태전이확률로 사용하였다. 어절의 발생확률을 위해 추출한 unigram 데이터는 어절의 품사 정보와 의미 정보를 함께 가지고 있으므로 기분석사전의 용도로 활용하였다. [2]에서는
성능/효과
- [표 4]의 비교 결과를 보면 [6]의 ‘실험 1’에서는 선정한 9개의 동형이의어에 대하여 평균 84.63%의 정확률을 보인 반면, 본 논문에서 제안한 모델에서는 평균 95.28%의 정확률을 보였다.
- 가장 빈도가 높은 오류 유형은 어절의 품사 태깅은 일치하지만 동형이의어 태깅이 일치 하지 않는 경우로 나타났다. 후)비교평가라고">비교 평가라고 하기에는 부족하다. 그러나 [표 2]의 전체 성능 실험 결과에서 나타난 동형이의어 태깅 결과와 [표 3]의 결과로 비춰 볼 때 본 논문에서 제안한 시스템은 [6]에서 제안한 모델에 비해 전체적으로 뛰어난 동형이의어 태깅 성능을 나타내었다. 이 성능 비교 결과 동형이의어 태깅 후)출현 위치에">출현위치에 따라 중의성 해소 성능이 큰 차이를 보이는 것을 발견하였다. 그리고 대상 단어가 학습집단과 실험집단 안에서 충분한 수의 연어를 갖는다면 정확률 90% 수준의 높은 성능을 가져올 수 있을 것으로 보았다.
- 78%의 정확률을 나타내었다. 또한, 동형이의어 태깅 시 [6]에서 제안한 모델보다 뛰어난 성능을 보였다.
- 실험 결과 [표 2]의 품사 태깅 결과는 정답 말뭉치에서 품사 태깅만의 정확률을 보여주고, 동형이의어 태깅 결과는 동형이의어 태깅이 필요한 어절에서의 태깅 정확률을 보여주며 품사 및 동형이의어 태깅 결과는 어절의 태깅 결과가 품사와 동형이의어 모두 일치 하였을 경우의 정확률을 나타낸다.
- 후)비춰볼">비춰 볼 때 본 논문에서 제안한 시스템은 [6]에서 제안한 모델에 비해 전체적으로 뛰어난 동형이의어 태깅 성능을 나타내었다. 이 성능 비교 결과 동형이의어 태깅 시 공기 정보를 이용한 베이지안 모델보다 문맥 정보를 이용한 HMM이 좀 더 좋은 성능을 나타냄을 알 수 있었다.
- [7]에서는 연어의 유형별로 동형이의어 중의성 해소모형을 실험하였다. 이 실험을 통해 중의성 해소 대상 단어의 의미별 출현 비율과 중의성 해소에 결정적인 역할을 하는 단서어의 출현위치에 따라 중의성 해소 성능이 큰 차이를 보이는 것을 발견하였다. 그리고 대상 단어가 학습집단과 실험집단 안에서 충분한 수의 연어를 갖는다면 정확률 90% 수준의 높은 성능을 가져올 수 있을 것으로 보았다.
- 제안한 시스템의 성능 평가를 위해 학습에 사용되지 않은 품사 및 동형이의어 태깅된 말뭉치 261,360어절을 사용하여 태깅한 결과 품사 태깅 99.73%, 동형이의어 태깅 97.41%, 품사 및 동형이의어 태깅 97.78%의 정확률을 나타내었다. 또한, 후)품 사">품사 태깅이 잘못되었을 경우 동형이의어 태깅이 필요한 경우에 대해 동형이의어 태깅 역시 잘못 태깅되는 결과가 나타났으며, 이 결과를 통해 품사 태깅과 동형이의어 태깅이 상관관계가 있음을 확인하였다.
후속연구
- 앞으로 대용량 통계 자료의 저장소 문제를 해결하기 연구를 진행한다면 더욱 확장성 있는 시스템을 구축할 수 있을 것으로 예상된다.

핵심어

질문

논문에서 추출한 답변

교착어란?

한국어는 교착어(膠着語)이다. 교착어란 어간에 조사나 어미같은 기능어가 추가되어 어절을 형성하는 언어를 말하며, 한국어를 비롯해 일본어, 몽골어, 만주어와 터키어 등이 있다. 한국어는 교착어적 특성으로 인해 자연언어처리과정에서 다른 언어에 비해 다양한 형태의 중의성이 발견된다.

한국어 외 교착어는 무엇이 있는가?

한국어는 교착어(膠着語)이다. 교착어란 어간에 조사나 어미같은 기능어가 추가되어 어절을 형성하는 언어를 말하며, 한국어를 비롯해 일본어, 몽골어, 만주어와 터키어 등이 있다. 한국어는 교착어적 특성으로 인해 자연언어처리과정에서 다른 언어에 비해 다양한 형태의 중의성이 발견된다.

형태적인 중의성과 의미적인 중의성이란?

한국어의 중의성은 형태적인 중의성과 의미적인 중의성으로 나눌 수 있다. 형태적인 중의성은 “나는” 과 같은 어절에서 찾아 볼 수 있다. 이 어절에 대한 형태소 분석 결과는 “나/대명사+는/보조사”, “나/동사+는/관형형어미”, “날/동사+는/관형형어미” 등으로 나타난다. 이와 같이 하나의 어절이 여러 가지 형태로 분석될 수 있으므로 이를 위한 처리가 필요하다. 다음으로 의미적인 중의성은 “배를” 과 같은 어절에서 찾을 수 있다. 이것은 “배/명사+를/목적격조사” 의 형태소 분석되지만 동형이의어 “배”가 가지는 여러 가지 의미로 인해 중의성을 띄게 된다.

원문 보기

ScienceON 원문보기

*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.

이 논문과 함께 이용한 콘텐츠

[논문] 사용자 어휘지능망을 이용한 의미적 정보검색

저작권 관리 안내

내보내기 메뉴

내보내기 구분

파일저장
인쇄
메일전송

구성항목

기본정보
상세정보

관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관

저장형식

Text(ASCII format)
Excel format
RefWorks Direct Export
RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley

메일정보

받는사람 (필수): @
보내는사람 (선택): @
제목
내용: KISTI 검색결과 이메일 서비스

안내

총 건의 자료가 검색되었습니다.

다운받으실 자료의 인덱스를 입력하세요. (1-10,000)

검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다.

데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요)

다운로드 파일은 UTF-8 형태로 저장됩니다.
파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오.

Text(ASCII format)
Excel format

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

AI-Helper ※ AI-Helper는 을 사용합니다.

AI-Helper

안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

연합인증

HMM을 이용한 한국어 품사 및 동형이의어 태깅 시스템
Korean POS and Homonym Tagging System using HMM 원문보기

초록
AI-Helper