$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

품사 정보와 템플릿을 이용한 문장 축소 방법
A Sentence Reduction Method using Part-of-Speech Information and Templates 원문보기

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용, v.35 no.5, 2008년, pp.313 - 324  

이승수 (삼성전자 DM연구소) ,  염기원 (한국과학기술연구원 지능인터렉션연구센터) ,  박지형 (한국과학기술연구원 지능인터렉션연구센터) ,  조성배 (연세대학교 컴퓨터과학과)

초록
AI-Helper 아이콘AI-Helper

문장 축소란 원본 문장의 기본적인 의미를 유지하면서 불필요한 단어나 구를 제거하는 일련의 정보 압축 과정을 의미한다. 기존의 문장 축소에 관한 연구들은 학습 과정에서 대량의 어휘나 구문적 자원을 필요로 하였으며, 복잡한 파싱 과정을 통해서 불필요한 문장의 구성원(예를 들어, 단어나 구, 절 등)들을 제거하여 문장을 요약하였다. 그러나 학습 데이타로부터 얻을 수 있는 어휘적 자원은 매우 한정적이며, 문장의 모호성과 예외적인 표현들 때문에 구문 분석 결과가 명료하게 제공되지 않은 언어에서는 문장 요약이 용이하지 않다. 이에 본 논문에서는 구문 분석을 대체하기 위한 방법으로 템플릿과 품사 정보를 이용한 문장 축소 방법을 제안한다. 제안하는 방법은 요약문의 구조적 형태를 결정하기 위한 문장 축소 템플릿(Sentence Reduction Templates)과 문법적으로 타당한 문장 구조를 구성하는 품사기반 축소규칙(Grammatical POS-based Reduction Rules)을 이용하여 요약 대상 문장의 구성을 분석하고 요약한다. 더불어, 문장 축소 템플릿 적용 시 발생하는 연산량 증가 문제를 은닉 마르코프 모델(HMM: Hidden Markov Model)의 비터비 알고리즘(Viterbi Algorithm)을 이용하여 효과적으로 처리한다. 마지막으로, 본 논문에서 제안한 문장 축소 방법의 결과와 기존 논문의 연구 결과를 비교 및 평가함으로써 제안하는 문장 축소 방법의 유용성을 확인한다.

Abstract AI-Helper 아이콘AI-Helper

A sentence reduction is the information compression process which removes extraneous words and phrases and retains basic meaning of the original sentence. Most researches in the sentence reduction have required a large number of lexical and syntactic resources and focused on extracting or removing e...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 설명한다. 더불어, 규칙을 선택하는 과정 중에서 발생하는 지수승의 계산량을 효과적으로 처리하기 위한 HMM 모델 기반의 문장 축소 방법에 대해서 기술한다.
  • 본 논문에서는 구문 분석을 이용하지 않고 적절한 요약문을 생성하기 위한 방법으로 템플릿과 품사 정보를 이용한 문장 죽소 방법을 제안한다. 본 논문에서 사용한 문장 축소 템플릿 (Sentence Reduction Templates)은 문장을 축소하는 과정에서 중요한 정보를 유지하고 요약문의 구조적 형태를 결정하기 위해 사용된다.
  • 본 논문에서는 구문 분석을 이용하지 않고 적절한 요약문을 생성하기 위해서 문장 축소 템플릿과 품사 기반축소규칙을 이용한 문장 축소 방법을 제안하였다. 문장축소 템플릿은 기계 번역 분야에서 사용된 번역 템플릿 기반의 학습 알고리즘을 적용하였으며, 이를 이용하여 문장 내의 중요 정보를 유지하면서 불필요한 구나 절을 제거하고 요약문의 형태를 결정하였다.
  • 방법을 수행하였다[3]. 본 논문에서는 문장의 중요정보 유지도와 문장의 문법성을 평가하기 위해서 각 평가자들에게 두 가지 실험에 참여하도록 하였다. 우선 평가자들은 축소된 문장이 원본 문장에 포함된 중요 정보를 얼마나 유지하고 있는가에 대해 1부터 10까지 범위내에서 평가하도록 하였으며, 다음으로 축소된 문장이 얼마나 문법적으로 타당한가에 대해 1부터 10까지 범위내에서 평가하도록 하였다.
  • 본 논문에서는 실험의 타당성을 증명하기 위해서 4명의 평가자들에게 서로 다른 방법으로 생성된 4개의 요약문을 평가하도록 하였다. 우선, 문장의 문법성 측면에서는 단어 간의 확률 정보를 이용한 방법이나 템플릿을 이용한 방법보다 문법적으로 적합하다고 분석되었으며, 중요 정보의 유지도 측면에서도 본 논문에서 제안한 방법이 기존의 방법과 비교하여 효과적으로 유지하고 있음을 확인하였다.
  • 이에 본 논문에서는 품사 정보를 이용하여 일반화된 축소 규칙을 유도하고 문법적으로 타당한 문장 구조를 구성하기 위해서 품사기반 축소규칙을 이용한 HMM 기반의 문장 축소 방법을 제안한다. 아래의 표 1은 단어 뭉치 "The/DT PKlite/NNP compression/NN" 이 나타낼 수 있는 모든 품사기반 축소규칙에 대한 정보를 설명하고 있다.

가설 설정

  • . 문장 축소 템플릿과 어휘 규칙을 통해서 단어 뭉치가 축소될 경우, 축소된 단어뭉치 간의 관계는 문법적으로 타당한가?
본문요약 정보가 도움이 되었나요?

참고문헌 (12)

  1. J. Kupiec, J. Pedersen, and F. Chen, "A trainable document summarizer," in Proceedings of ACM- SIGR, pp. 68-73, 1995 

  2. H. Jing, "Using hidden markov modeling to decompose human-written summaries," CL, Vol.28, No.4, pp. 527-543, 2002 

  3. K. Knight and D. Marcu, "Summarization beyond sentence extraction: A probabilistic approach to sentence compression," Artificial Intelligence, Vol. 139, pp. 91-107, 2002 

  4. S. Riezler, T. H. King, R. Crouch and A. Zaenen, "Statistical sentence condensation using ambiguity packing and stochastic disambiguation methods for lexical-functional grammar," HCL-NAACL 2003, pp. 197-204, 2003 

  5. J. M. Withbrock and O. V. Mittal, "Ultra-summarization: a statistical approach to generating highly condensed non-extractive summaries," In Proceedings of the 22nddddddd International Conference on Research and Development in Information Retrieval (SIGR'99, Berkeley, CA). Poster session, pp. 315-316, 1999 

  6. M. L. Nguyen, et al., "Probabilistic sentence reduction using support vector machines," Proceedings of The 20th International Conference on Computational Linguistics, pp. 23-27, 2004 

  7. M. Nagao, "Framework of a mechanical translation between Japanese and English by analogy principle," Artif. Human Intell., pp. 173-180, North- Holland, Edinburgh, 1984 

  8. I. Cicekli and H. A. Guvenir, "Learning translation rules from a bilingual corpus," In Proceedings of the Second International Conference on New Methods in Language Processing, pp. 90-97, 1996 

  9. I. Cicekli and H. A. Guvenir, "Learning translation templates from bilingual translation examples," Applied Intelligence, Vol.15, pp. 57-76, 2001 

  10. L. R. Rabiner, "A tutorial on hidden markov models and selected applications in speech recognition," Proceedings of IEEE, Vol.77, No.2, February 1989 

  11. K. S. Han, D. H. Baek, and H. C. Rim, "Automatic text summarization using query expansion," Proc. of the 27th Korean Information Science Society Spring Conference, pp. 339-341, 2000 

  12. M. L. Nguyen, S. Horiguchi, A. Shimazu, and B.T. Ho, "Example-Based Sentence Reduction Using the Hidden Markov Model," ACM Transactions on Asian Language Information Processing, Vol.3, No.2, pp. 146-158, 2004 

저자의 다른 논문 :

LOADING...
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로