초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

자동 문서 요약 시스템은 문서내에 담겨있는 정보를 최대한 표현하면서 문서의 크기를 줄이는 시스템이다. 본 논문에서는 문서 요약을 크게 2단계로 나누어서 수행한다. 문장내 요약본으로써의 불필요한 문장을 미리 제거하고 이에 더해 다양한 통계적 방법의 여러 장점들을 수용함으로써 보다 나은 성능 향상을 얻을 수 있었다. 비교시스템으로는 제목, 위치, 빈도, 도합유사도, 어휘 클러스터링을 이용한 시스템을 구축하여 사용하였으며 30%, 10% 문장요약에서 제안한 시스템은 모두 우수한 성능을 보였다.

자동 문서 요약 시스템은 문서내에 담겨있는 정보를 최대한 표현하면서 문서의 크기를 줄이는 시스템이다. 본 논문에서는 문서 요약을 크게 2단계로 나누어서 수행한다. 문장내 요약본으로써의 불필요한 문장을 미리 제거하고 이에 더해 다양한 통계적 방법의 여러 장점들을 수용함으로써 보다 나은 성능 향상을 얻을 수 있었다. 비교시스템으로는 제목, 위치, 빈도, 도합유사도, 어휘 클러스터링을 이용한 시스템을 구축하여 사용하였으며 30%, 10% 문장요약에서 제안한 시스템은 모두 우수한 성능을 보였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 방법
• 연구 결과

제안 방법

• 위치와 제목을 사용하는 방법이 가장 높은 성능을 보이고 있다. 그러므로 성능이 가장 낮은 빈도를 이용한 방법을 제외한 3가지 방법을 본 시스템의 문장 추출 방법에 맞게 선형 결합(linear combination)하여 각 통계적 요 약 방법들의 장점들을 모두 사용하였다.
• 어떤 문서를 어느 정도 의미가 있는 단위로 나누어서 각 segment마다 통계적 score가 큰 문장들을 선택하고 이들을 비교하여 최종 요약문장을 선택하는 기법 [6] 은 비교적 효과적인 방법으로 알려져 있다. 본 논문에서 제안하는 방법은 2단계의 문장 추출과정을 사용한다. 우선 두 단계 중 첫 번째 단계에서 2개의 문장을 하나의 의미 관계로 생각하여 요약문 작성을 위한 후보 문장들을 추출하고 추출된 후보 문장들을 다시 2차적으로 요약함으로써 최종 요약문을 얻는다.
• 본 논문에서 제안하는 시스템은 통계에 기반한 접근 방법 이다. 비록 단어 간의 의미 관계가 고려되지는 않지만 지식 베이스(knowledgebase)가 필요 없고 통계적인 장점을 최대한 살리면서 추출 방법의 특성을 고려함으로써 문서 내의 자질들만으로 효과적인 문서 요약을 가능하게 한다.
• 그러나 언어학적 방법의 단점은 구축하기 위해서 많은 시간과 비용이 소요된다는 것이다. 본 논문에서는 통계에 기반한 방법을 크게 2단계로 나누어서 통계적 자질들의 장점들을 확인하고 각 단계별로 문장의 중요도가 현저한 방법들을 선형결합함으로써 효과적인 문 서요 약 시스템을 구현한다. 본 논문은 다음과 같이 구성되어 있다.
• 본 시스템은 통계에 기반한 방법들을 사용하기 때문에 일반적인 통계적 기법들의 성능을 [표 1]과 같이 비교해 보았다. 위치와 제목을 사용하는 방법이 가장 높은 성능을 보이고 있다.
• 이 문서 집합은 1,000개라고 보고되었으나[7], 중복된 문서와 제목이 없거나 요약이 없는 문서를 제외한 841개를 사용하였다. 압축률을 고정한 경우(10%, 30%)에 binary matrix를 이용하여 실험하였다. 비교시스템으로는 언어학적인 방법과 통계적인 방법을 고려한 어휘 클러스터 링을 이용한 시스템[2]과 bi-gram을 사용하지 않는 제목과 위치가 선형 결합(linear combination)된 시스템 올 사용하였다.

대상 데이터

• 실험 데이터로는 연구개발센터(KORDIC) 문서 요약 집합 (신문 기사)을 사용하였다. 이 문서 집합은 제목과 본문, 10% 요약과 30 % 요약 그리고 수동요약으로 나뉘어져 있다.
• 이 문서 집합은 제목과 본문, 10% 요약과 30 % 요약 그리고 수동요약으로 나뉘어져 있다. 이 문서 집합은 1,000개라고 보고되었으나[7], 중복된 문서와 제목이 없거나 요약이 없는 문서를 제외한 841개를 사용하였다. 압축률을 고정한 경우(10%, 30%)에 binary matrix를 이용하여 실험하였다.

이론/모형

• 1차 문장 추출에 사용된 방법은 제목과 위치를 선형결합(linear combination)하여 사용하였고 식(1), 2차 문장 추출에서는 기존의 식에 도합유사도를 식(2)을 추가 하였다. 이는 1차 문장 추출과정에서 중요도가 떨어지는 문장 이 어느 정도 제거되고 2차 문장 추출과정에서 도합 유사 도를 추가 함으로써 전체 문장과의 유사도를 고려하는 도 합유 사도가 문장의 score를 높이는 역할을 할 수 있기 때문이다.
• 압축률을 고정한 경우(10%, 30%)에 binary matrix를 이용하여 실험하였다. 비교시스템으로는 언어학적인 방법과 통계적인 방법을 고려한 어휘 클러스터 링을 이용한 시스템[2]과 bi-gram을 사용하지 않는 제목과 위치가 선형 결합(linear combination)된 시스템 올 사용하였다. 성능평가의 척도로는 다음과 같은 F1 값을 사용하였다.

성능/효과

• 7%의 성능 향상을 보인다. 또한 2단계를 거치면서 noise가 제거된 문장들에 서로 간에 유사도를 고려하는 도합유사도 방법(2step T&L&A)을 추가할 경우 관련성이 높은 문장들이 후보문장으로 남게 되므로 5%, 1.2%의 성능 향상을 얻을 수 있다.

후속연구

• 향후 연구로는 제목이 없이 문서 내 본문의 내용을 가지고 요약하는 방법에 대한 연구가 필요하다. 또한, 본 논문에서 제안한 2단계 자동 문서 요약 방법을 다중문서 요약에 적용하여 단일 문서 요약과의 차이점을 연구하고 중복되는 문장의 효과적인 제거방법에 대한 연구가 필요하다.
• 이는 Wordnet과 같은 언어적인 지식이 불필요할 뿐만 아니라 통계적인 장점들올 최대한 사용하기 때문에 문서 요약에 있어서도메인에 종속적이지 않고 적은 량의 정답문서만으로도 시스템 구현이 가능하다. 향후 연구로는 제목이 없이 문서 내 본문의 내용을 가지고 요약하는 방법에 대한 연구가 필요하다. 또한, 본 논문에서 제안한 2단계 자동 문서 요약 방법을 다중문서 요약에 적용하여 단일 문서 요약과의 차이점을 연구하고 중복되는 문장의 효과적인 제거방법에 대한 연구가 필요하다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기