[논문]형태소 단위의 한국어 확률 의존문법 학습

최선화; 박혁로

doi:10.3745/kipstb.2002.9b.6.791

형태소 단위의 한국어 확률 의존문법 학습
Korean Probabilistic Dependency Grammar Induction by morpheme 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.9B no.6, 2002년, pp.791 - 798

최선화 (전남대학교 대학원 전산학과) , 박혁로 (전남대학교 전산학과)

초록
AI-Helper

본 논문에서는 코퍼스를 이용한 확률 의존문법 자동 생성 기술을 다룬다. 한국어의 부분 자유 어순성질과 문장의 필수적 성분의 생략과 같은 특성으로 인하여 한국어 구문분석에 관한 연구들에서는 주로 의존문법을 선호하고 있다. 본 논문에서는 기존의 어절단위학습방법에서는 학습할 수 없었던 어절 내의 의존관계를 학습할 수 있는 형태소 단위의 학습 방법을 제안한다. KAIST의 트리 부착 코퍼스 약 3만 문장에서 추출한 25,000문장의Tagged Corpus을 가지고 한국어 확률 의존문법 학습을 시도하였다. 그 결과 초기문법 2,349개의 정확한 문법을 얻을 수 있었으며, 문법의 정확성을 실험하기 위해 350개의 실험문장을 parsing한 결과 69.77%의 파싱 정확도를 보였다. 이로서 한국어 어절 특성을 고려한 형태소 단위 학습으로 얻어진 의존문법이 어절 단위 학습으로 얻어진 문법보다 더 정확하다는 사실을 알 수 있었다.

Abstract ▼ AI-Helper

In this thesis. we present a new method for inducing a probabilistic dependency grammar (PDG) from text corpus. As words in Korean are composed of a set of more basic morphemes, there exist various dependency relations in a word. So, if the induction process does not take into account of these in-word dependency relations, the accuracy of the resulting grammar nay be poor. In comparison with previous PDG induction methods. the main difference of the proposed method lies in the fact that the method takes into account in-word dependency relations as well as inter-word dependency relations. To access the performance of the proposed method, we conducted an experiment using a manually-tagged corpus of 25,000 sentences which is complied by Korean Advanced Institute of Science and Technology (KAIST). The grammar induction produced 2,349 dependency rules. The parser with these dependency rules shoved 69.77% accuracy in terms of the number of correct dependency relations relative to the total number dependency relations for best-1 parse trees of sample sentences. The result shows that taking into account in-word dependency relations in the course of grammar induction results in a more accurate dependency grammar.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한 실질어-기능어를 분리하는 것이 보다 더 일반적이고 넓은 적용범위의 어휘 문법을 학습할 수 있는 방식일 것이다. 따라서, 본 논문에서는 한국어 의존문법 학습의 경우 최소 학습의 단위를 어절이 아닌, 형태소 단위로 학습하고 그 결과 얼마나 정확한 의존문법이 생성되었는지를 보인다.
의존관계로 가정하였다. 본 논문에서는 어절 내부의 의존관계까지 고려하여 학습한다. 사용한 품사 집합, 丁는 55개의 품사로 구성되어 있다.
본 논문에서는 코퍼스를 이용한 의존문법의 통계적 자동학습을 목표로 한다. 특히, 어절 단위로 학습했던 기존 연구[21]와는 달리 어절 내부의 의존관계까지 학습하는 형태소 단위 학습방법을 실험하여 얼마나 정확한 의존문법이 학습되는지 보인다.
한 문장씩 차례로 분석에 필요한 규칙을 첨가하여 그렇게 수정된 문법을 반복적으로 인사이드 -아웃사이드 알고리즘을 이용하여 확률값 재추정을 하는 방식으로 문법학습이 이루어진다. 이 연구는 결국 의존문법학습이라기보다는 제한된 구 구조 문법 형식을 빌린 의존문법을 학습함으로써 문법 탐색 공간을 줄이는 효과를 얻고자 한 시도라고 볼 수 있다.
본 논문에서는 이승미 [21]의 인사이드-아웃사이드 재추정 알고리즘을 이용하여 어절 내부 의존관계까지 학습한다. 이로서 한국어의 한 어절이 가질 수 있는 어절 내부의 여러 개 의존관계까지 고려하는 학습을 통해 정확한 의존문법을 생성하기 위한 시도를 하였다.

가설 설정

. 의존관계의 교차, 순환이 없다.

제안 방법

부분적 학습 집합으로 나누었다. 각 부분적 학습 집합은 전체 학습 코퍼스의 첫 c개의 문장을 포함하도록 하였고, c는 503에서 25, 000까지 500씩 증가시키며 달리 하였다. 모든 부분적 학습 집합에 대하여, 초기 의존문법은 마찬가지로 3, 080개의 모든 가능한 품사쌍으로 구성되게 하였으며, 초기 확률값은 동일하게 하였다.
모든 부분적 학습 집합에 대하여, 초기 의존문법은 마찬가지로 3, 080개의 모든 가능한 품사쌍으로 구성되게 하였으며, 초기 확률값은 동일하게 하였다. 그리고 그 초기문법을 각 부분적 학습 집합에 대하여 재추정 알고리즘을 이용하여, 실험 코퍼스 엔트로피와 파싱 정확도, 학습된 문법의 크기, 즉 학습된 의존문법 규칙의 수를 조사하였다.
알고리즘의 수렴과 학습된 문법을 보인다. 또한 학습된 문법과 초기 문법의 크기 비교를 통해 학습 정도를 보이 고문법의 파싱 정확도를 실험한다. 이 알고리즘은 C언어로 구현되었으며 실험은 Window2000에서 시행되었다.
즉, 부분 단어열에 대한 의존관계 집합을 표현하는 단위요소에 대한 정의를 필요로 한다. 본 논문에서는 완결-링크와 완결-링크열을 이용하여 단어간 의존관계의 확률값 학습과 문장의 구문 구조파싱을 한다.
73%의 감소를 가져왔다’ 학습된 문법의 파싱 정확도를 실험하기 위하여 실험대상으로 350문장 트리부착코퍼스4)를 사용하였다. 실험 코퍼스 문장에 대해서, 학습된 문법을 이용하여 n-최적해 파서로 가장 좋은 점수의 파스만을 추출한 뒤 이를 트리뱅크 파스와 비교하였다. 파싱 정확도를 위한 비교 기준으로는 의존관계 정확도를 채택하였다.
알고리즘은 KAIST 코퍼스3)의 트리 부착 코퍼스에서 추출한 한국어 문장 집합에 대해서 학습되고 실험되었다. 실험은 어절 내부 의존관계까지 다루었으며, 품사 단위에 대해 이루어졌다. 한국어는 부분 자유 어순 언어로서 지배소인 어휘가 항상 피 지배소인 어휘의 오른쪽에 위치하는 제약을 가진다.
이러한 형태의 의존문법 확률 파라미터의 재추정을 위한 시도는 이승미[21]에 의해 시도된바 있다. 의존관계 집합을 표현하는 단위요소로 완결-링크와 완결-링크 열을 정의하고 이를 이용하여, 단어간 의존관계의 확률 값 학습을 시도하였다. 구성요소의 대표 지배소들 간의 의존관계만을 고려하여 학습한 결과 의존관계 정확도는 62.
학습 코퍼스의 크기가 문법의 학습과 학습된 문법의 정확도에 미치는 영향을 보기 위하여 25, 000의 학습 코퍼스를 25개의 부분적 학습 집합으로 나누었다. 각 부분적 학습 집합은 전체 학습 코퍼스의 첫 c개의 문장을 포함하도록 하였고, c는 503에서 25, 000까지 500씩 증가시키며 달리 하였다.

대상 데이터

본 논문에서는 어절 내부의 의존관계까지 고려하여 학습한다. 사용한 품사 집합, 丁는 55개의 품사로 구성되어 있다. 따라서 초기 문법은 丁의 모든 품사 쌍으로 구성되므로 3, 080개의 의존관계로 구성되었다.
확률값이 0에 가까운 의존관계를 제거하여 걸렀을 경우 문법 크기를 보기 위해서 학습 후 빈도수가 1보다 작은 의존관계는 모두 제거하였다.<표 3>에서 보이듯이 23.73%의 감소를 가져왔다’ 학습된 문법의 파싱 정확도를 실험하기 위하여 실험대상으로 350문장 트리부착코퍼스4)를 사용하였다. 실험 코퍼스 문장에 대해서, 학습된 문법을 이용하여 n-최적해 파서로 가장 좋은 점수의 파스만을 추출한 뒤 이를 트리뱅크 파스와 비교하였다.
초기확률값은 치우침 없도록 모두 같은 값을 갖도록 설정되었다. 재추정 알고리즘의 실험은 KAIST의 트리부착코퍼스 31, 086문장 중 25, 000문장의 태그 부착 문장을 추출하여 학습문장으로 구성하였고, 350 문장의 태그 부착 문장을 추출하여 실험문장으로 사용하였다.

데이터처리

실험 코퍼스 문장에 대해서, 학습된 문법을 이용하여 n-최적해 파서로 가장 좋은 점수의 파스만을 추출한 뒤 이를 트리뱅크 파스와 비교하였다. 파싱 정확도를 위한 비교 기준으로는 의존관계 정확도를 채택하였다. 의존관계 정확도는 분석결과에 있는 모든 의존관계에 대한 정확한 의존관계의 비율로 정의된다.

이론/모형

본 논문에서는 (부분) 자유어순 언어의 문법 자동학습을 위해 확률 의존문법에 적용할 수 있는 변형된 확률 파라미터 재추정 알고리즘인 인사이드-아웃사이드 알고리즘을 사용하였다. 한국어의 중심어 후위원칙하에 어절의 마지막 품사를 그 어절의 대표 지배소로 간주하고 그 들간의 의존관계만을 고례21]했던 학습방법은 한국어 어절 내부에 존재하는 의존관계를 학습하지 못함으로써 올바른 한국어 의존문법을 생성하지 못한다.
복잡한 구문 구조를 표현하기에는 문법의 개수가 너무도 적다. 본 논문에서는 이승미 [21]의 인사이드-아웃사이드 재추정 알고리즘을 이용하여 어절 내부 의존관계까지 학습한다. 이로서 한국어의 한 어절이 가질 수 있는 어절 내부의 여러 개 의존관계까지 고려하는 학습을 통해 정확한 의존문법을 생성하기 위한 시도를 하였다.

성능/효과

의존관계 집합을 표현하는 단위요소로 완결-링크와 완결-링크 열을 정의하고 이를 이용하여, 단어간 의존관계의 확률 값 학습을 시도하였다. 구성요소의 대표 지배소들 간의 의존관계만을 고려하여 학습한 결과 의존관계 정확도는 62.82%로 나타났다. 하지만, 이 방법은 초기 문법 3, 080개로 학습을 시작하여 학습 후 78.
본 논문에서는 어절 내부에 존재하는 의존관계를 학습하기 위하여 학습의 단위를 어절이 아닌 형태소 단위로 하고 학습한 결과, 총 2, 349개의 정확한 문법을 학습할 수 있었다. 학습 과정에서 보여지지 않은 실험문장에 대해서도 평균 69.
실험 대상인 자동 학습된 문법은 의존관계 정확도는 69.77% 로 기존 연구보다 높게 나타남을 알 수 있다. 이 결과는<표 4>에 표시하였다.
이는 Baum-Welch 재추정 알고리즘의 일종으로 촘스키 정규형인 확률적 문맥 자유 문법에 적용되도록 되어 있고, 기대치-최대화 알고리즘의 특별형태로, 학습코퍼스가 주어졌을 때, 학습코퍼스의 확률이 높아지도록 반복적으로 파라미터들의 확률 값을 조정함으로써 더 나은 확률 추정 값을 구하는 알고리즘이다. 이 알고리즘은 반복적으로 수행되면서 학습 코퍼스의 확률 값을 국부적 최대치로 만드는 확률 파라미터 값으로 수렴하는 것을 보장한다. 즉, 학습 코퍼스가 언어 현상을 충분히 반영하는 대표적인 코퍼스일 때, 이 학습 코퍼스의 확률을 높이면 높일수록 다른 텍스트에 대한 확률도 높아질 것이라는 가정에 기반 한 알고리즘이다[5].
(그림 4)에서 보이듯이 학습 코퍼스의 크기가 증가함에 따라 학습된 문법의 정확도도 같이 증가하였다. 즉, 학습 코퍼스가 4, 500문장까지 증가할 때는 정확도도 같이 증가하다가 9, 500문장부터는 그 정확도가 꾸준히 증가하지 않았고 점차 감소하는 경향을 보였다. 따라서 정확한 문법을 학습하기 위해서는 학습 코퍼스의 크기는 4, 500문장에서 9, 500문장은 학습해야 함을 알 수 있다.
학습 과정에서 보여지지 않은 실험문장에 대해서도 평균 69.77%의 의존관계 정확도를 보였다. 이는 어절 단위 의존관계만을 학습한 방법 보다 6.

후속연구

이중 특히 기능어 부분은 그 어절의 구문적인 정보를 담고 있어서 한국어 의존문법을 정의 할 때, 단순히 어절 간 의존관계로 정의하기 보다는 실질어와 기능어가 분리된 형태소간 의존관계로 정의하는 것이 더 의미가 있다. 또한 실질어-기능어를 분리하는 것이 보다 더 일반적이고 넓은 적용범위의 어휘 문법을 학습할 수 있는 방식일 것이다. 따라서, 본 논문에서는 한국어 의존문법 학습의 경우 최소 학습의 단위를 어절이 아닌, 형태소 단위로 학습하고 그 결과 얼마나 정확한 의존문법이 생성되었는지를 보인다.

참고문헌 (22)

De. Marcken, 'Lexical heads, phase structure and the induction of grammar,' In Third Workshop on Very Large Corpora, 1995
M. Magerman, 'Natural Language Parsingas Statistical pattern Recognition,' PhD thesis, Standford University, 1994
Black, Lafferty and S. Roukos, 'Development and evaluation of a road-coverage probabilistic grammar of Englishlanguage computer manuals,' In 30th Annual Meeting of the Assocation for Computational Linguistics, pp.185-192, 1992
E. Brill and M. Marcus, 'Tagging an unfamiliar text with minimal human supersision,' In Fall Symposium on Probabilistic Approaches to Natural Language, 1992
E. Charniak, 'Statistical Language Learning,' The MIT Press, 1993
F. Jelinek, J D. Lafferty and R. L. Mercer, 'Basic methods of Probabilistic Context Free Grammars,' Technical Report, IBM-T. J Watson Research Center, 1990
F. Pereira and Y. Schabes, 'Inside-outside reestimation from partially bracketed corpora,' In 30th Annual Meeting of the Association for Computational Linguistics, pp.128-135, 1992
G. Carroll and E. Charniak, 'Learning probabilistic dependency grammars from labeled text,' In Working Notes Fall Symposium Series AAAI, pp.25- 31, 1992
G. Carroll and E. Charniak, 'Two Experiments on Learning Probabilistic Dependency Grammars for Corpora,' Technical Report CS-92-16, Brown University, 1992
H. Gaifman, 'Dependency systems and phrase-structure system,' Information and Control, 8, pp.304-337, 1965

상세보기
J. K. Baker, 'Trainable grammars for speech recognition,' In 97th Meeting of the Acoustical Society of America, pp.547-550, 1979
K. Lari and S. J Young, 'The estimation of stochastic context-free grammars using the inside-outside algorithm,' Computer Speech and Language, 4, pp.35-56, 1990

상세보기
M. A. Covington, 'A Dependency Parser for Variable-WordOrder Languages,' Technical Report Al-1990-01, The University of Georgia, 1990
M. J Collins, 'A New Statistical Parser Based on Bi-gram Lexical Dependencies,' In COLING-96, 1996
P. F. Brown, V. J. Della Pietra, P. V. deSouza, J. C. Lai and R. L. Mercer, 'Class-Based n-gram Models of Natural Language,' Computational Linguistics, 18(4) : pp.467-480, 1992
S. F. Chen, 'Bayesian grammar induction for language modeling.' In 33rd Annual Meeting of the Association for Computational Linguistics, pp.228-235, 1995
김형근, '확률적 의존문법과 한국어 구분 분석', 석사논문, 한국과학기술원, 1994
나동렬, '한국어 파싱에 대한 고찰' 한국정보과학회지, 12(8), pp.33-46, 1994
이공주, '언어적 특성에 기반한 한국어의 확률적 구문분석' 박사논문, 한국과학기술원, 1998
이공주, 김재훈, 장병규, 최기선, 김길창, '한국어 구문트리 태깅 코퍼스 작성을 위한 한국어 구문 태그' 한국과학기술원 전산학과 기술보고서, CS/TR-96-102, http://hanul.kaist.ac.kr/~kjlee/paper.html, 1996
이승미, '확률 의존문법 학습' 박사논문, 한국과학기술원, 1998
홍영국, 이종혁, 이근배, '의존문법에 기반을 둔 한국어 구문 분석기' 한국정보과학회 봄 학술발표논문집, pp.781-784, 1993

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증