본 논문은 단락의 자동 구분을 통해 중요한 문장을 추출하는 요약 시스템을 제안한다. 먼저 어휘의 재출현 여부를 파악하여 어휘의 일치도와 어휘의 역할 변화와 같은 재출현 어휘의 양상 정보를 수집하고, 이를 통하여 문장 간의 긴밀도를 정량적으로 계산한다. 다음으로 측정된 문장간 긴밀도를 이용하여 사용자의 추출 범위에 따라 단락을 구분하고, 각 단락의 대표 문장을 선정하여 최종 요약문을 추출한다. 제안한 방법은 문서 제목, 문장의 위치, 수사 구조 등의 정보를 이용하지 않기 때문에 수사 구조가 자주 발견되지 않는 문서에도 적용이 가능하다.
본 논문은 단락의 자동 구분을 통해 중요한 문장을 추출하는 요약 시스템을 제안한다. 먼저 어휘의 재출현 여부를 파악하여 어휘의 일치도와 어휘의 역할 변화와 같은 재출현 어휘의 양상 정보를 수집하고, 이를 통하여 문장 간의 긴밀도를 정량적으로 계산한다. 다음으로 측정된 문장간 긴밀도를 이용하여 사용자의 추출 범위에 따라 단락을 구분하고, 각 단락의 대표 문장을 선정하여 최종 요약문을 추출한다. 제안한 방법은 문서 제목, 문장의 위치, 수사 구조 등의 정보를 이용하지 않기 때문에 수사 구조가 자주 발견되지 않는 문서에도 적용이 가능하다.
In this paper, we describes a system that extracts important sentences from Korean newspaper articles using automatic paragraphing. First, we detect repeated words between sentences. Through observation of the repeated words, this system compute Closeness Degree between Sentences(CDS ) from the degr...
In this paper, we describes a system that extracts important sentences from Korean newspaper articles using automatic paragraphing. First, we detect repeated words between sentences. Through observation of the repeated words, this system compute Closeness Degree between Sentences(CDS ) from the degree of morphological agreement and the change of grammatical role. And then, it automatically divides a document into meaningful paragraphs using the number of paragraph defined by the user´s need. Finally. it selects one representative sentence from each paragraph and it generates summary using representative sentences. Though our system doesn´t utilize some features such as title, sentence position, rhetorical structure, etc., it is able to extract meaningful sentences to be included in the summary.
In this paper, we describes a system that extracts important sentences from Korean newspaper articles using automatic paragraphing. First, we detect repeated words between sentences. Through observation of the repeated words, this system compute Closeness Degree between Sentences(CDS ) from the degree of morphological agreement and the change of grammatical role. And then, it automatically divides a document into meaningful paragraphs using the number of paragraph defined by the user´s need. Finally. it selects one representative sentence from each paragraph and it generates summary using representative sentences. Though our system doesn´t utilize some features such as title, sentence position, rhetorical structure, etc., it is able to extract meaningful sentences to be included in the summary.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
먼저 문서에 나타난 어휘의 재출현 양상을 분석하여 문장 간 긴밀도를 파악하고, 이를 통하여 단락을 자동 구분한다. 그리고 각 단락의 대표 문장을 선출함으로써 최종 요약문을 구성하고자 한다.
본 논문에서는 단락의 자동 구분을 통한 문서 요약시스템을 제안한다. 먼저 재출현 어휘의 양상을 어휘의 일치도와 어휘의 역할 변화로 구분하여 분석하고, 이를 문장 사이의 내용이 얼마나 긴밀한가를 판단하기 위한 척도로 이용하였다.
본 논문에서는 추출 요약 방법을 사용하되, 단락의 자동 구분이라는 개념을 이용하여 중요 문장을 추출하고자 한다. 단락의 자동 구분은 토픽 분할(topic seg* mentation)의 개념을 축소시킨 것이라 할 수 있으며, Hearst의 TextTiling[5]이 담화의 덩어리로 토픽을 분할하는 대표적 연구이다.
본 논문은 단락 자동 구분을 통한 한국어 문서 요약시스템을 제안한다. 먼저 문서에 나타난 어휘의 재출현 양상을 분석하여 문장 간 긴밀도를 파악하고, 이를 통하여 단락을 자동 구분한다.
본 논문은 사람이 추출한 이상적인 요약문과 시스템이 추출한 요약문을 분석하여 시스템의 성능을 직접 평가하는 내적 평가를 수행한다. 실험은 30건의 신문 기사를 대상으로 하며, 이들은 모두 8문장 이상으로 구성된 문서이다.
반영하기 위한 것이다. 본 논문은 어휘의 재출현양상을 기반으로 문장 사이의 연결을 파악하고 있다. 앞서 언급한 문장 간 긴밀도는 문장 사이의 내용의 긴밀함을 수치로 측정한 값이며, 이를 기반으로 단락을 자동구분하게 된다.
본 연구는 문장 사이에서 발견된 어휘의 재출현 양상 정보를 수집하고, 이를 기반으로 문장 사이의 연결을 탐지하고자 한다. 먼저, 어휘의 재출현 양상은 재출현한 어휘의 표면적 형태와 문법적 성분을 수집하는 것으로, 이를 통하여 두 문장 사이의 내용의 긴밀함을 분석한다.
여기서, 제안한 시스템의 단락 구분이 어느 정도의 성능을 보이는지를 살펴보고자 한다. 단락 분할 실험은 사람이 수작업으로 구성한 단락과 시스템이 구성한 단락을 비교함으로써 측정되었다.
제안 방법
보이는지를 살펴보고자 한다. 단락 분할 실험은 사람이 수작업으로 구성한 단락과 시스템이 구성한 단락을 비교함으로써 측정되었다.
단락을 동적으로 자동 구분한 후에는 인접한 두 문장 사이의 긴밀도뿐만 아니라 이미 계산된 문장간의 긴밀도를 모두 이용하여 각 단락의 대표 문장을 추출한다. 본 시스템은 단락 내 대표 문장의 후보가 되는 각 문장들 중에서, 타단락의 모든 문장들과 가장 높은 긴 밀도를 가지는 문장을 그 단락의 대표 문장으로 선택한다.
예를 들면, 외화 차입, 은 '외화의 차입'으로, '차입조건'은 '차입에 대한 조건으로 파악할 수 있고, 두 경우에서 보여지는 '차입'에 대한 역할이 서로 다르기 때문에 이를 구분하는 것이다. 또한 본 시스템은 문서상에 나타나는 준말 또는 축약형 어휘를 처리하기 위하여 [기을 이용한다. 이것은 “도시계획위원회와 도시 계획위”, “서울대학교와 서울대”, “IQ와 Intelligence Quotient" 등이 형태는 다르지만 서로 동일한 대상을 지칭하고 있기 때문에 이들을 동일 개체로 인식하기 위한 것이다.
제안한다. 먼저 문서에 나타난 어휘의 재출현 양상을 분석하여 문장 간 긴밀도를 파악하고, 이를 통하여 단락을 자동 구분한다. 그리고 각 단락의 대표 문장을 선출함으로써 최종 요약문을 구성하고자 한다.
제안한다. 먼저 재출현 어휘의 양상을 어휘의 일치도와 어휘의 역할 변화로 구분하여 분석하고, 이를 문장 사이의 내용이 얼마나 긴밀한가를 판단하기 위한 척도로 이용하였다. 문장 사이의 긴밀도 분석을 통해서 사용자의 원하는 요약문의 추출 범위에 따라 단락을 나누고 각 단락의 대표 문장을 선출함으로써 최종 요약문을 추출하였다.
한다. 먼저, 어휘의 재출현 양상은 재출현한 어휘의 표면적 형태와 문법적 성분을 수집하는 것으로, 이를 통하여 두 문장 사이의 내용의 긴밀함을 분석한다. 본 논문에서 언급한 문장 간 긴밀도는 문장 내 어휘의 형태적 일치의 정도와 문법적 성분의 변화를 기반으로 하고 있다.
먼저 재출현 어휘의 양상을 어휘의 일치도와 어휘의 역할 변화로 구분하여 분석하고, 이를 문장 사이의 내용이 얼마나 긴밀한가를 판단하기 위한 척도로 이용하였다. 문장 사이의 긴밀도 분석을 통해서 사용자의 원하는 요약문의 추출 범위에 따라 단락을 나누고 각 단락의 대표 문장을 선출함으로써 최종 요약문을 추출하였다. 실험한 결과, 제안한 시스템이 MS-Word에 비해서 성능이 어느 정도 향상되었음을 볼 수 있었다.
추출한다. 본 시스템은 단락 내 대표 문장의 후보가 되는 각 문장들 중에서, 타단락의 모든 문장들과 가장 높은 긴 밀도를 가지는 문장을 그 단락의 대표 문장으로 선택한다. 다시 말해, 단락 내 대표 문장의 후보가 되는 각 문장들에 대해서 그 자신과 타단락에 있는 모든 문장들 사이의 긴밀도 점수를 모두 합하고, 그 중에서 가장 높은 점수를 가지는 문장을 그 단락의 대표 문장으로 선출한다.
어휘의 일치는 되풀이되는 어휘의 모습을 완전 알치와 부분 일치로 구분하여 수집한다. 완전 일치는 재출현한 어휘의 모습이 동일함을 의미하며, 부분 일치는 다시 중심어 일치와 수식어 일치로 나누어진다.
한다. 이러한 문서들은 대개 한 가지 토픽만을 다루고 있기 때문에, 본 논문에서는 내용의 흐름을 탐지하여 그 내용이 전환되는 곳에서 단락을 자동 분할하고 각 단락의 대표 문장을 요약문으로 구성한다. 따라서, 본 논문은 단순히 문장의 순위를 정해 중요 문장을 추출하는 방법에 비해 비슷한 내용의 문장이 요약문에 중복 추출되는 문제를 줄일 수 있으며, 문장 간의 관계를 살펴 요약문을 추출하기 때문에 담화 단계 분석을 위한 첫 단계라 할 수 있다.
평가는 이상적인 요약문에 대해서 본 시스템이 추출한 요약문과 MS-word가 추출한 요약문을 각각 비교함으로써 수행하였다. 성능 평가를 위한 척도로는 정보 검색 시스템을 평가하는데 널리 이용되는 정확률과 재현율, 그리고 F-점수를 사용한다.
기존의 코사인 유사도를 이용한 문장 간 유사도는 두 문장 사이에서 중복 출현한 어휘의 개수에 기반을 두고 있기 때문에 두 문장 사이의 형태적 유사함을 살피는 일차적 방법이라 할 수 있다. 하지만 본 연구의 문장 간 긴밀도는 코사인 유사도를 기반하여 형태적 유사함의 정도를 분석하고, 동시에 문장 의미의 결정에 영향을 미치는 어휘의 문법적 성분까지를 고려한다. 왜냐하면, 무의미하게 나열된 어휘들 속에서, 단순히 겹치는 어휘의 개수가 많고 적음만을 가지고는 문장 사이의 내용의 긴밀함을 판단하기에 부족함이 있기 때문이다 입력 문서의 문장 간 긴밀도 분석이 완료되면, 사용자의 추출 범위에 따라 단락을 동적으로 구분하고, 각 단락의 대표 문장 선정을 통하여 요약문을 구성한다.
대상 데이터
본 논문은 사람이 추출한 이상적인 요약문과 시스템이 추출한 요약문을 분석하여 시스템의 성능을 직접 평가하는 내적 평가를 수행한다. 실험은 30건의 신문 기사를 대상으로 하며, 이들은 모두 8문장 이상으로 구성된 문서이다. 실험 문서의 문장 수는 평균 9.
이론/모형
수행하였다. 성능 평가를 위한 척도로는 정보 검색 시스템을 평가하는데 널리 이용되는 정확률과 재현율, 그리고 F-점수를 사용한다. 다음은 두 시스템의 평가 결과이다.
평가자 사이의 일치도는 percent agreement를 사용하여 측정한다[1이. Percent Agreement는 과반수의 판단에 대하여, 가능한(possible) 일치와 관찰된 일치 사이의 비율을 말한다.
성능/효과
각 문서에서 20%의 요약문을 추출하였을 때, MS Word의 F-점수는 36%, 본 시스템의 F-점수는 56%였다. 정확률이나 재현율에 있어서도 본 시스템이 MS-Word에 비해 우수함을 볼 수 있다.
그 결과, 두 문장 사이에서 재출현할 어휘는 평균 2.5개였으며, 신문 기사의한 문장은 평균 14개의 어휘(명사류)로 구성됨을 볼 수 있었다. 따라서, 신문 기사가 다른 종류의 문서에 비해 비교적 긴 문장을 많이 사용하고 있음을 알 수 있다.
문장 사이의 긴밀도 분석을 통해서 사용자의 원하는 요약문의 추출 범위에 따라 단락을 나누고 각 단락의 대표 문장을 선출함으로써 최종 요약문을 추출하였다. 실험한 결과, 제안한 시스템이 MS-Word에 비해서 성능이 어느 정도 향상되었음을 볼 수 있었다. 하지만, 아직까지도 요약문 평가에 대한 어려움은 계속 남아 있다.
정확률이나 재현율에 있어서도 본 시스템이 MS-Word에 비해 우수함을 볼 수 있다. 이는 단락 자동 구분을 이용하여 중요 문장을 추출하는 본 시스템이 이를 이용하지 않는 타시스템에 비해 나은 성능을 보이고 있음을 의미한다.
후속연구
한다. 그리고 대용어나 생략 등으로 인해 저하되는 추출 요약 문장들 사이의 결합력, 가독성(readability)둥을 높이기 위한 후처리 방안도 추후 진행되어야 할 것이다.
본 시스템은 어휘의 재출현 양상 정보를 이용하고 있는데, 여기에 수사어구, 동의어, 대용어 등에 관한 연구를 추가하여 문장 사이의 긴밀도를 보다 정확히 판단할 수 있다면 제안한 시스템의 성능 향상에 기여할 것이다. 마지막으로, 요약문을 보다 객관적으로 평가할 수 있는 외적평가 방법의 도입을 고려해본다면, 보다 나은 평가 결과를 기대해 볼 수 있을 것이다.
다음으로, 문장 간 응집력 형성에 영향을 미치는 요소들을 생각해 볼 수 있다. 본 시스템은 어휘의 재출현 양상 정보를 이용하고 있는데, 여기에 수사어구, 동의어, 대용어 등에 관한 연구를 추가하여 문장 사이의 긴밀도를 보다 정확히 판단할 수 있다면 제안한 시스템의 성능 향상에 기여할 것이다. 마지막으로, 요약문을 보다 객관적으로 평가할 수 있는 외적평가 방법의 도입을 고려해본다면, 보다 나은 평가 결과를 기대해 볼 수 있을 것이다.
앞으로 문장 간 긴밀도와 단락 형성에 영향을 미치는 요소들에 대한 연구를 계속 진행시켜야 하며, 단락 분할을 위한 학습 방법의 도입이나 문장 사이의 결합 관계 등을 접목시켜 시스템의 전체적인 성능 향상을 모색해보려 한다. 그리고 대용어나 생략 등으로 인해 저하되는 추출 요약 문장들 사이의 결합력, 가독성(readability)둥을 높이기 위한 후처리 방안도 추후 진행되어야 할 것이다.
참고문헌 (10)
Inderjeet Mani and Mark T. Maybury, Advances in automatic text summarization, The MIT Press, 1999
Inderjeet Mani, Automatic Summarization, John Benjamins Publishing Company, 2001
Regina Barzilay, 'Lexical Chains for Summarization,' M.Sc. degree of Ben-Gurion University of the Negev, 1997
Daniel Marcu, 'Discourse trees are good indicators of importane in text,' In I. Mani and M. Maybury editors, Advances in Automatic Text Summarization, pages 123-136, The MIT Press, 1999
Marti A. Hearst, 'Multi-paragraph segmentation of expository text,' In Proceedings of the 32nd Annual Meeting of the Association for Computational Lingustics(ACL), Las Cruces, NM, June 1994
Gerard Salton, Michael J. McGill, Introduction to Modern Information Retrieval, McGraw-Hill, 1983
Gale William, Kenneth W.Church, and David Yarowsky, 'Estimating upper and lower bounds on the performance of word-sense disambiguation programs,' In Proceedings of the 30th Annual Meeting of the Association for Computational Linguistics(ACL-92), pages 249-256, 1992
※ AI-Helper는 부적절한 답변을 할 수 있습니다.