[논문]의미그룹을 이용한 단어 중의성 해소

김은진; 이수원

[국내논문] 의미그룹을 이용한 단어 중의성 해소
Word Sense Disambiguation using Meaning Groups 원문보기

정보과학회논문지. Journal of KIISE. 컴퓨팅의 실제 및 레터, v.16 no.6, 2010년, pp.747 - 751

초록
AI-Helper

본 연구에서는 기계 가독형 사전 정보를 이용하여 중의어 의미 태깅을 위한 학습에 사용될 양질의 의미부착 데이터를 자동 생성하여 중의어 태깅 정확도를 향상시키는 방법을 제안한다. 또한 중의어의 의미별로 특징있는 주변 단어를 원소로 갖는 의미그룹을 생성하고, 의미그룹내 중요 자질의 가중치 선정에 집중도 개념을 도입하여 태깅 정확도를 높인다. SENSEVAL-2 데이터를 사용하여 태깅 정확도를 평가한 결과 본 연구에서 제안한 방법이 기존의 방법보다 정확도를 향상시킨 것으로 나타났다.

Abstract ▼ AI-Helper

This paper proposes the method that increases the accuracy for tagging word meaning by creating sense tagged data automatically using machine readable dictionaries. The concept of meaning group is applied here, where the meaning group for each meaning of a target word consists of neighbor words of the target word. To enhance the tagging accuracy, the notion of concentration is used for the weight of each word in a meaning group. The tagging result in SENSEVAL-2 data shows that accuracy of the proposed method is better than that of existing ones.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 기존의 단어 중의성 해소 연구가 가지고 있는 문제점을 해결하여 중의어 태깅 정확도를 향상시키는 방법을 제안하고자 한다. 대표적인 방법인 지도식 학습 방법은 태깅 성능이 뛰어나지만 양질의 학습데이터 확보가 어렵다는 문제점을 가지고 있으며, 수작업으로 학습 데이터를 생성하는 작업은 많은 비용이 소요되는 작업이다[1].
또한 사전에 생성된 학습 데이터를이용하는 경우 역시 학습 데이터의 양과 질에 제한적이다[2]. 본 연구에서는 기계가독형 사전 정보를 이용하여웹 문서 내 중의어 의미를 자동 태깅하여 학습 데이터를 자동으로 생성하는 방법을 제안한다.
본 연구에서는 기존 단어 중의성 해소 연구의 이슈중 하나인 학습 데이터 부족 문제를 해결하기 위해 의미소스로 기계 가독형 사전을 이용하여 의미부착 되어있지 않은 웹 문서를 의미부착 데이터로 자동 변환하는방법을 제안한다. 본 연구에서는 웹이라는 언어자원이풍부한 공간으로부터 의미부착 데이터를 자동 생성하여학습 데이터 부족 문제를 해결한다는 점에서 기존의 연구와 차별화된다.
보였다. 본 연구에서는 사전에서 추출한 seed의 양이 적을 경우 의미부착 데이터의 양 또한 적어지고 생성된 의미부착 데이터의 신뢰성이 떨어지는 문제점을 가지고 있다. 이를 해결하기 위해 웹 문서의 문맥에 의미부착할 때의미를 할당받지 않은 문맥을 활용하는 방법에 대한 추가 연구가 필요하다.

가설 설정

본 연구에서는 기존의 중의성 해소 연구들과 마찬가지로 '중의어는 의미별로 문맥상의 특징있는 주변 단어를 가질 것이다'라는 가정으로부터 시작한다. 그리고 중의어의 의미별 문맥상의 특징있는 주변 단어를 '의미별연관단어'로 정의한다’ 또한 의미별 연관단어 집합을 '의미그룹, 이라 정의한다.

제안 방법

의미그룹내 단어의 가중치를 결정하는 경우 집중도라는 개념을이용하여 타 의미그룹에 잘 등장하지 않으면서 특정 의미;!룹에 자주 등장하는 정도를 반영한다. 본 연구에서는 이러한 집중도 개념을 적용하여 의미그룹 내 중요자질을 선정하고 단어의 가중치를 계산한다.
분류될 수 있다. 첫 번째 방법은 지도식 학습 방법이고, 두 번째 방법은 비지도식 학습 방법이며, 세 번째 방법은 두 방법의 중간 형태인 준지도식 학습방법이다.
제안한다. 본 연구에서는 웹이라는 언어자원이풍부한 공간으로부터 의미부착 데이터를 자동 생성하여학습 데이터 부족 문제를 해결한다는 점에서 기존의 연구와 차별화된다.
본 연구에서는 기계 가독형 사전 정보로부터 추출한단어를 이용하여 웹 문서 문맥을 태깅하여 의미부착 데이터를 자동으로 생성한다. 이 때 특정 중의어에 대하여의미 부착 데이터를 생성하기 위해 사전에서 의미별로추출한 단어들을 'seed'로 정의한다.
것이다. 본 연구에서는 먼저 사전으로부터 색인어를추출한 후 불용어를 필터링하여 se《를 원소로 갖는 기초 의미그룹을 생성한다. 그 후 주출한 웹 문서 문맥에대해 전 단계에서 생성된 기초 의미그룹 내 seed를 이용하여 문맥 내 중의어의 의미를 부착하여 의미부착 데이터를 생성한다.
본 연구에서는 먼저 사전으로부터 색인어를추출한 후 불용어를 필터링하여 se《를 원소로 갖는 기초 의미그룹을 생성한다. 그 후 주출한 웹 문서 문맥에대해 전 단계에서 생성된 기초 의미그룹 내 seed를 이용하여 문맥 내 중의어의 의미를 부착하여 의미부착 데이터를 생성한다. 생성된 의미부착 데이터로부터 의미그룹 내 의미별 연관 단어의 가중치를 결정하여 최종 의미그룹을 구성한다.
본 연구에서는 기계 가독형사전으로 표준국어대사전과 두산백과사전을 사용하며최종 의미 태깅에 적용하는 의미구분체계는 가장 의미항목이 많은 표준국어대사전을 따른다. 먼저 여러 기계가독형 사전의 의미항목을 수작업으로 연결한 후 통합한 사전의 뜻풀이와 예문, 유의어 등의 사전 정보로부터색인어를 자동으로 추출한다. 본 연구에서는 불용어 리스트를 여러 개의 대상 중의어들로 검색된 문서그룹에등장하는 고빈도 단어들로 자동 선정하여 불용어를 필터 링 한다.
먼저 여러 기계가독형 사전의 의미항목을 수작업으로 연결한 후 통합한 사전의 뜻풀이와 예문, 유의어 등의 사전 정보로부터색인어를 자동으로 추출한다. 본 연구에서는 불용어 리스트를 여러 개의 대상 중의어들로 검색된 문서그룹에등장하는 고빈도 단어들로 자동 선정하여 불용어를 필터 링 한다.
먼저 중의어로 검색된 웹 문서로부터 중의어를포함한 문맥을 추출한다. 본 연구에서는 추출한 웹 문서문맥에 대하여 전 단계에서 생성된 기초 의미그룹의 seed와의 유사도 비교를 통해 의미를 부착시칸다. 여기서 문맥에 부착되는 의미는 웹 문서 문맥과 각 의미별기초 의미그룹과의 코사인 유사도 비교를 통해 가장 높은 유사도롤 보이는 의미로 할당한다.
의미그룹 내 단어 가중치를 계산한다. 본 연구에서는의미그룹 내 단어 가중치를 결정할 경우 집중도 개념[8] 을 도입한다. 집중도란 특정 의미그룹 내 의미별 연관단어가 다른 의미에 비해서 특정 의미를 반영하는 정도를말한다.
추출한 의미그룹의 부가 정보들을 이용하여 집중도 개념이 포함된 단어 가중치 결정 수식을 적용해의미그룹 내 단어의 가중치를 결정한다. 본 연구의 단어가중치 결정 수식은〔8]에서 사용된 기존의 집중도 수식을 수정하여 사용한다.
추출한 의미그룹의 부가 정보들을 이용하여 집중도 개념이 포함된 단어 가중치 결정 수식을 적용해의미그룹 내 단어의 가중치를 결정한다. 본 연구의 단어가중치 결정 수식은〔8]에서 사용된 기존의 집중도 수식을 수정하여 사용한다. 기존 집중도 수식에서는 다른 의미그룹 내에 해당 단어가 한 번 이라도 등장하게 되면마지막 항에 의해 전체 수식에 큰 영향을 미친다.
기존 집중도 수식에서는 다른 의미그룹 내에 해당 단어가 한 번 이라도 등장하게 되면마지막 항에 의해 전체 수식에 큰 영향을 미친다. 그러므로 본 연구의 수식에서는 다른 의미그룹 내의 문맥비율을 반영하여 수식의 세 번째 항을 수정하여 사용한다(식 ⑴).
본 연구에서는 기계가독형 사전으로 표준국어대사전과 두산백과사전을 사용하여 중의어의 뜻풀이, 예문, 유의어 정보 등을 추출하였다.
대상 중의어로는 먼저 기존 연구와의 실험 결과 비교를 위하여 SENSEVAL-2대회에서 사용한 중의어 9개 (눈, 말, 목, 밤, 점, 의사, 거리, 바람, 자리)로 설정하였다 이 외에, 배, 병, 차, 신, 다리, 경기, 신장, 인도, 연기, 기간' 둥의 10개의 일반적인 대상 중의어에 대해 평가 데이터를 수작업으로 구축하여' 평가하였다. 본 연구에서는 학습 데이터 구축을 위하여 'Dawn 블로그 검색' 으로부터 중의어로 검색된 블로그 본문 내용을 수집하였다.
본 연구에서는 중의성 해소를 위해 기계가독형 사전으로부터 추출한 정보를 이용하여 웹 문서 문맥 내 중의어의 의미를 자동으로 부착하였다. 새롭게 만들어진의미부착 데이터를 중의성 해소를 위한 학습에 이용하였다.
의미를 자동으로 부착하였다. 새롭게 만들어진의미부착 데이터를 중의성 해소를 위한 학습에 이용하였다.
또한 본 연구에서는 중의어 의미 태깅을 위한 의미그룹을 생성하여 의미그룹 내 단어 가중치 설정을 위해집중도 개념을 도입하였다. 이를 통해 각 의미그룹에 골고루 나오는 불용어를 자동적으로 순위를 낮추고 특정의미그룹을 대표하는 단어의 가중치를 높임으로써 태깅정확도를 높였다.

대상 데이터

데이터를 수작업으로 구축하여' 평가하였다. 본 연구에서는 학습 데이터 구축을 위하여 'Dawn 블로그 검색' 으로부터 중의어로 검색된 블로그 본문 내용을 수집하였다. 수집된 문서 수는 중의어 당 2000건이다' 수집된문서 중 중의어를 기준으로 앞 뒤 2문장 정도의 웹 문서 문맥을 추출하였다.
본 연구에서는 학습 데이터 구축을 위하여 'Dawn 블로그 검색' 으로부터 중의어로 검색된 블로그 본문 내용을 수집하였다. 수집된 문서 수는 중의어 당 2000건이다' 수집된문서 중 중의어를 기준으로 앞 뒤 2문장 정도의 웹 문서 문맥을 추출하였다.
평가를 위해 SENSEVAL-2대회의 9개의 대상 중의어에 대한 Korean 평가 데이터를 사용한다. 자동 태깅한웹 문서를 이용해 학습하고, SENSEVAL의 평가 문맥을이용하여 평가한다.

이론/모형

즉, 자질이 중의어의 다른 의미일 경우에 많이 사용됨에도 불구하고 특정 의미에서 높은 가중치를 가질 수 있다. 이러한 문제점을 해결하기 위해 본 연구에서는 중의어의 의미별로 특징있는 주변 단어로 '의미그룹'이라는학습 모델을 생성하여 의미태깅에 활용한다. 의미그룹내 단어의 가중치를 결정하는 경우 집중도라는 개념을이용하여 타 의미그룹에 잘 등장하지 않으면서 특정 의미;!룹에 자주 등장하는 정도를 반영한다.
대한 Korean 평가 데이터를 사용한다. 자동 태깅한웹 문서를 이용해 학습하고, SENSEVAL의 평가 문맥을이용하여 평가한다. 평가 척도는 정확도를 사용한다(식 (3)).

성능/효과

9개의 대상 중의어에 대하여 본 연구의 실험결과의정확도는 평균 82%로 MFS 태깅 실험의 정확도인 76% 보다 높았으며 SENSEVAL대회의 두 참가자보다도 높은 정확도 결과를 보였다. 의사', '밤', 말과 같은 중의어에서 MFS 태깅 실험이나 SENSEVAL대회의 두 참가자보다 높은 정확도를 보인 이유는 자동 생성한 의미부착 데이터로부터 MFS뿐 아니라 다른 의미들을 구분할 수 있는 중요한 자질을 추출하였기 때문이다.
또한 본 연구의 중의성 해소 시스템 태깅 결과 나이브 베이지안⑶을 사용하여 태깅한 결과와 비교하여 높은 정확도를 보였다. 나이브 베이지안 수식(식 (4))으로의미를 태깅할 경우 의미별 사용 확률과 해당 주변 단어가 중의어의 특정 의미에서 사용된 비율들을 곱하여가장 가능성이 높은 의미로 태깅하게 된다.
하지만 다른의미에서 해당 주변 단어가 사용되는 비율을 반영하지않는다. 그러므로 의미그룹 전반에 골고루 나온 단어들의 가중치를 낮춘 단어 가중치 수식을 적용한 본 시스템이 나이브 베이지안 수식을 적용한 방법보다 높은 태깅 정확률을 나타냈다.
나타낸 것이다. 10개의 대상 중의어에 대하여 본연구의 실험결과의 정확도는 평균 84%로 MFS방법의정확도 평균인 80%보다 높게 나타났다. 표 1의 실험결과와 마찬가지로 한 음절의 중의어보다 두 음절의 중의어가 정확도가 대부분 높게 나타났다.
개념을 도입하였다. 이를 통해 각 의미그룹에 골고루 나오는 불용어를 자동적으로 순위를 낮추고 특정의미그룹을 대표하는 단어의 가중치를 높임으로써 태깅정확도를 높였다.
실험 결과, 본 연구에서 제안한 방법이 MFS로 태깅하는 방법과 다른 SENSEVAL참가자들의 태깅 방법보다 향상된 태깅 정확률을 보였으며 베이지안 수식을 적용하여 태깅한 결과보다 높은 태깅 정확률을 보였다. 본 연구에서는 사전에서 추출한 seed의 양이 적을 경우 의미부착 데이터의 양 또한 적어지고 생성된 의미부착 데이터의 신뢰성이 떨어지는 문제점을 가지고 있다.

후속연구

본 연구에서는 사전에서 추출한 seed의 양이 적을 경우 의미부착 데이터의 양 또한 적어지고 생성된 의미부착 데이터의 신뢰성이 떨어지는 문제점을 가지고 있다. 이를 해결하기 위해 웹 문서의 문맥에 의미부착할 때의미를 할당받지 않은 문맥을 활용하는 방법에 대한 추가 연구가 필요하다.

참고문헌 (9)

H. Lee, D. H. Baek, H. C. Rim, "Word Sense Disambiguation using Classification Information," Journal of KIISE, vol.24 no.7, pp.779-789, 1997. (in korean)
H. C. Seo, H. C. Rim, "Word Sense Disambiguation using Multiple Feature Decision Lists," Journal of KIISE, vol.30, no.7-8, pp.659-671, 2003.(in korean)
D. S. Kim, J. W. Choe, "A Study on the Computational Model of Word Sense Disambiguation, based on Corpora and Experiments on Native Speaker's Intuition," Journal of KSCS, vol.17, no.4, pp.303-321, 2006. (in korean)
H. Schutze, "Automatic Word Sense Discrimination," Proc. Computational Linguistics, 24(1): pp.97-123, 1998.
S. I. Shin, K. S. Choi, "Automatic Clustering of Collocation for Detecting Practical Sense Boundary," Proc. ACL, 2004.
M. Lesk, "Automatic Sense Disambiguation Using Machine Readable Dictionaries," Proc. SIGDOC Conference, pp.24-26, 1986.
J. Hur, M. G. Jang, "Homonym Disambiguation based on Average Mutual Information," Proc. of the KIISE Korea Computer Congress, pp.159-166, 2005. (in korean)
S. J. Lee, "A Related Keyword Group Extraction Method for Recommendation in Keyword Shop," M.S. Thesis, Soongsil University, Seoul Korea, 2003. (in korean)
H. C. Seo, S. Z. Lee, H. C. Rim, and H. Lee, "KUNLP System using Classification Information Model at SENSEVAL-2," Proc. SENSEVAL-2, pp.147-150, 2001.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증