본 논문에서는 효과적인 구문 중의성 해결을 위해 문장성분의 구문자질, 기능자질, 내용자질, 크기자질을 활용하는 확률적 한국어 구문분석 모델을 제안한다. 그리고, 제안하는 구문분석 모델은 한국어의 부분자유어순과 생략현상을 잘 처리할 수 있도록 문법규칙을 이진형식으로 제한한다. 실험을 통해 제안하는 구문분석 모델의 성능을 각 자질조합별로 분석한다. 분석결과는 서로 다른 특징을 갖는 자질의 조합이 서로 유사한 특징을 갖는 자질의 조합보다 구문중의성 해결에 더 유용하다는 것을 보여준다. 또한, 단일자질인 기능자질이 내용자질과 크기자질의 조합보다 성능이 더 우수함을 알 수 있다.
본 논문에서는 효과적인 구문 중의성 해결을 위해 문장성분의 구문자질, 기능자질, 내용자질, 크기자질을 활용하는 확률적 한국어 구문분석 모델을 제안한다. 그리고, 제안하는 구문분석 모델은 한국어의 부분자유어순과 생략현상을 잘 처리할 수 있도록 문법규칙을 이진형식으로 제한한다. 실험을 통해 제안하는 구문분석 모델의 성능을 각 자질조합별로 분석한다. 분석결과는 서로 다른 특징을 갖는 자질의 조합이 서로 유사한 특징을 갖는 자질의 조합보다 구문중의성 해결에 더 유용하다는 것을 보여준다. 또한, 단일자질인 기능자질이 내용자질과 크기자질의 조합보다 성능이 더 우수함을 알 수 있다.
In this paper, we propose a probabilistic Korean parsing model using a syntactic feature, a functional feature, a content feature, and a site feature of a syntactic object for effective syntactic disambiguation. It restricts grammar rules to binary-oriented form to deal with Korean properties such a...
In this paper, we propose a probabilistic Korean parsing model using a syntactic feature, a functional feature, a content feature, and a site feature of a syntactic object for effective syntactic disambiguation. It restricts grammar rules to binary-oriented form to deal with Korean properties such as variable word order and constituent ellipsis. In experiments, we analyze the parsing performance of each feature combination. Experimental results show that the combination of different features is preferred to the combination of similar features. Besides, it is remarkable that the function feature is more useful than the combination of the content feature and the size feature.
In this paper, we propose a probabilistic Korean parsing model using a syntactic feature, a functional feature, a content feature, and a site feature of a syntactic object for effective syntactic disambiguation. It restricts grammar rules to binary-oriented form to deal with Korean properties such as variable word order and constituent ellipsis. In experiments, we analyze the parsing performance of each feature combination. Experimental results show that the combination of different features is preferred to the combination of similar features. Besides, it is remarkable that the function feature is more useful than the combination of the content feature and the size feature.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 효과적인 구문 분석을 위해 문장 성분을 구문 자질, 내용 자질, 기능자질, 크기 자질로 표현한 확률적 자질기반 한국어 문법 모델을 제안하였다. 그리고, 제안하는 구문분석 모델은 한국어의 부분 자유어순과 생략 현상을 잘 처리할 수 있도록 문법 규칙을 이진 형식으로 제한하였다.
이러한 점을 반영하여 본 논문에서는 말뭉치에서 쉽게 학습할 수 있고, 효과적인 구문 중의성 해결을 위해 문장성분의 다양한 자질을 활용하는 확률적 자질기반 한국어 문법을 제안한다.
제안 방법
본 논문에서는 (그림1)의 구문구조에서 규칙 (i), (ii), (ⅲ), (ⅳ)를 구분할 수 있도록 문장 성분의 다양한 자질을 사용하는 구분 분석 방법을 제안한다. 문장성분을 구문 레이블과 단일 중심어 어휘로 표현하는 기존의 어휘화된 구문분석 모델과 달리, 제안하는 방법은 구문분석에 유용한 정보를 더 많이 활용하기 위해서 문장성분을 구문 레이블, 내용 중심어, 기능 중심어, 크기로 표현한다.
(그림3)에서 枷c는 기능자질을 나타내고, cont는 내용 자질을 나타내고, size는 크기 자질을 나타낸다. 그리고 cross brackets, 정확률, 재현율을 기준으로 평가하였다[17]. 평가 대상 말 뭉치는 한국어의 다양한 언어 현상을 포함하고 있는 31, 080문장의 KAIST 트리뱅크[9]이며, 어절단위의 이진 형식으로 변환된 말뭉치이다.
한국어 문법 모델을 제안하였다. 그리고, 제안하는 구문분석 모델은 한국어의 부분 자유어순과 생략 현상을 잘 처리할 수 있도록 문법 규칙을 이진 형식으로 제한하였다. 실험에서 각 자질조합별로 구문중의성 해결 능력을 분석하였는데, 서로 다른 특징을 갖는 자질의 조합이 서로 유사한 특징을 갖는 자질의 조합보다 구문 중의성 해결에 더 많은 도움을 줄 수 있다는 것을 알 수 있었다.
(ⅳ)를 구분할 수 있도록 문장 성분의 다양한 자질을 사용하는 구분 분석 방법을 제안한다. 문장성분을 구문 레이블과 단일 중심어 어휘로 표현하는 기존의 어휘화된 구문분석 모델과 달리, 제안하는 방법은 구문분석에 유용한 정보를 더 많이 활용하기 위해서 문장성분을 구문 레이블, 내용 중심어, 기능 중심어, 크기로 표현한다. 앞으로, 제2장에서는 한국어 구문분석을 위한 기존 문법 모델에 대해 살펴본다.
대상 데이터
그리고 cross brackets, 정확률, 재현율을 기준으로 평가하였다[17]. 평가 대상 말 뭉치는 한국어의 다양한 언어 현상을 포함하고 있는 31, 080문장의 KAIST 트리뱅크[9]이며, 어절단위의 이진 형식으로 변환된 말뭉치이다. 이 말뭉치를 90%의 학습집합과 10%의 실험 집합으로 구분하여 실험하였다.
성능/효과
그리고, 제안하는 구문분석 모델은 한국어의 부분 자유어순과 생략 현상을 잘 처리할 수 있도록 문법 규칙을 이진 형식으로 제한하였다. 실험에서 각 자질조합별로 구문중의성 해결 능력을 분석하였는데, 서로 다른 특징을 갖는 자질의 조합이 서로 유사한 특징을 갖는 자질의 조합보다 구문 중의성 해결에 더 많은 도움을 줄 수 있다는 것을 알 수 있었다. 그러나, 제안하는 방법은 어휘 정보를 지나치게 많이 요구하는 경향이 있어서, 효율성이 떨어지고 자료부족 문제가 심각하게 나타날 수 있다는 문제점이 있다.
단일 자질 조합에서는 기능자질의 성능이 가장 우수하고, 크기 자질의 성능이 가장 떨어진다. 특이한 점은 단일 자질인 기능자질이 내용 자질과 크기 자질의 조합보다 성능이 더 우수하다는 것이다. 한편, 기능자질과 크기 자질의 자질조합 성능이 기능자질과 내용자질의 자질 조합 성능보다 우수했다.
특이한 점은 단일 자질인 기능자질이 내용 자질과 크기 자질의 조합보다 성능이 더 우수하다는 것이다. 한편, 기능자질과 크기 자질의 자질조합 성능이 기능자질과 내용자질의 자질 조합 성능보다 우수했다. 이는 어휘와 품사로 구성된 기능자질과 내용 자질이 서로 비슷한 특성을 가지므로, 자질의 효과가 서로 겹쳐서 성능 향상에 큰 영향을 끼치지 못한 것으로 보여진다.
후속연구
실험에서 각 자질조합별로 구문중의성 해결 능력을 분석하였는데, 서로 다른 특징을 갖는 자질의 조합이 서로 유사한 특징을 갖는 자질의 조합보다 구문 중의성 해결에 더 많은 도움을 줄 수 있다는 것을 알 수 있었다. 그러나, 제안하는 방법은 어휘 정보를 지나치게 많이 요구하는 경향이 있어서, 효율성이 떨어지고 자료부족 문제가 심각하게 나타날 수 있다는 문제점이 있다. 따라서, 앞으로 구문분석의 효율성을개선시키고, 자료부족 문제를 완화하기 위한 연구도 함께 진행되어야 한다.
그러나, 제안하는 방법은 어휘 정보를 지나치게 많이 요구하는 경향이 있어서, 효율성이 떨어지고 자료부족 문제가 심각하게 나타날 수 있다는 문제점이 있다. 따라서, 앞으로 구문분석의 효율성을개선시키고, 자료부족 문제를 완화하기 위한 연구도 함께 진행되어야 한다.
참고문헌 (27)
강호관, 이종혁, 이근배, '새로운 어절 해석에 기반한 한국어 의존관계 파서', 제9회 한글 및 한국어 정보처리 학술발표논문집, pp. 327-331, 1997
김학수, 서정연, '어휘 의존 정보에 기반한 한국어 통계적 구문 분석기', 한국정보과학회 인공지능 연구회 봄 학술발표논문집, pp. 61-65, 1997
나동렬, 한국어 파싱에 대한 고찰 정보과학지, 제12권 제8호, pp. 33-46, 1994
박성숙, 한성국, '자질 집합 표현에 의한 자연언어 문법 규칙기술', 제6회 한글 및 한국어 정보처리 학술발표논문집, pp. 419-425, 1994
이공주, 김길창, 'TAG을 기반으로 한 한국어 구문분석기에서 트리 변형 규칙', 제1회 지능기술 공동학술회의, pp. 100-105, 1995
이공주, 김재훈, 김길창, '제한된 형태의 구구조 문법에 기반한 한국어 구문분석', 정보과학회논문지(B), 제25권 제4호, pp. 722-732, 1998
최기선, KAIST 언어 자원 2001년도판, 과학기술부 핵심 소프트웨어 과제 결과물, 2001, http://kibs.kaist.ac.kr
Black, Ezra, Fred Jelinek, John Lafferty, David M. Magerman, Robert Mercer and Salim Roukos. 'Towards History-based Grammars: Using Richer Models for Probabilistic Parsing,' In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp.31-37, 1993
Cancedda, Nicola and Christer Samuelsson, Experiments with Corpus-based LFG Specialization. In proceedings of the Sixth Applied Natural Language Processing Conference. pp.204-209, 2000
Cha. Jeongwon, Geunbae Lee and Jong-Hyeok Lee, 'Korean Combinatory Categorial Grammar and Statistical Parsing,' Computers and the Humanities, Vol.36, No.4, pp.431 -453, 2002
Charniak, Eugene, 'Immediate-Head Parsing for Language Models,' In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp.116-123. 2001
Chung, Euisok, Soojong Lim, JiHyun Wang, Myung-Eun Lim and Bo-Hyun Yun, Korean Syntactic Analyzer with Tree-based Grammar, In Proceedings of the International Conference on Computer Processing of Oriental Languages, pp.132-137, 2001
Collins, Michael, Head-Driven Statistical Models for natural Language Parsing, Ph. K. Thesis, University of Pennsylvania, 1999
Goodman, Joshua. 'Parsing Algorithms and Metrics,' In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp.177 -183. 1996
Goodman, Joshua. 'Probabilistic Feature Grammars,' In Proceedings of the International Workshop on Parsing Technologies, pp.89-100. 1997
Klein, Dan and Christopher D. Manning. 'Accurate Unlexicalized Parsing,' In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp.423-430. 2003
Kwak, Yong-Jae, Young-Sook Hwang, Hoo-Jung Chung, So-Young Park, Sang-Zoo Lee and Hae-Chang Rim, GLR Parser with Conditional Action Model(CAM), In Proceedings of the 6th Natural Language Proceesing Pacific Rim Symposium, pp.359-366, 2001
Lee, Seungmi and Key-Sun Choi, Reestimation and Best-First Parsing Algorithm for Probabilistic Dependency Grammars, In Proceedings of the 5th Workshop on Very Large Corpora, pp.41-55, 1997
Lee, Wonll, Geunbae Lee and Jong-Hyeok Lee, Chart-Driven Connectionist Cateforial Parsing of Spoken Korean Computer Processing of Oriental Language, Vol.10, No.2, pp, 147-159, 1996
Magerman, David M., Statistical Decision-Tree Model for Parsing, In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp.176-183, 1995
Malouf, Robert, John Carroll, Ann Copes take. Efficient Feature Structure operations without compilation. Natural Language Engineering, Vol.6, No.1, pp.29-46, March, 2000
Manning, Chirstopher D. and Hinrich Schutze, Foundations of Statistical natural Language Processing, MIT Press, 1999
Pollard, Carl and Ivan A. Sag, Head-Driven Phrase Structure Grammar, CSLI and University of Chicago Press, Stanford, Ca. and Chicago, III, 1994
Yoon, Juntae, Chung-hye Han, Nari Kim and Mee-sook Kim, Customizing the XTAG system for efficient grammar development for Korean Proceedings of the International Workshop on Tree Adjoining Grammars and Related Formalisms, 2000
※ AI-Helper는 부적절한 답변을 할 수 있습니다.