[논문]시소러스를 이용한 문서 자동 요약

이창범; 박혁로

시소러스를 이용한 문서 자동 요약
Automatic Text Summarization Using Thesaurus 원문보기

이창범 (전남대학교 전산학과) , 박혁로 (전남대학교 전산학과)

문서 자동요약은 입력된 문서에 대해 컴퓨터가 자동으로 요약을 생성하는 과정을 의미한다. 즉, 컴퓨터가 문서의 기본적인 내용을 유지하면서 문서의 복잡도 즉 문서의 길이를 줄이는 작업이다. 효율적인 정보 접근을 제공함과 동시에 정보 과적재를 해결하기 하기 위한 하나의 방법으로 문서 자동요약에 관한 연구가 활발히 진행되고 있다. 본 논문에서는 의미기반 정보검색용 시소러스(thesaurus)를 이용한 문서 자동요약을 제안한다. 제안한 방법에서는 단어간의 연관 관계 즉, 동의어, 유의어, 상위어, 하위어 관계를 문서 요약에 이용한다. 크게 연관 사슬 형성 단계, 중심 문장 추출 단계, 요약 생성 단계의 새단계로 나누어 요약을 생성한다. 수동 요약된 신문기사를 대상으로 평가한 결과 평균 66%가 일치하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

”임기중 개헌 없다/김대통령 취임 100일 회견"이라는 제목의 실험 문서를 예로 들어 보자. 이 문서에는 '대통령', '국가、'국민'이 각각 4번, 3번, 2번이 나타난다.
본 논문에서는 시소러스(thesaurus)를 이용하여 단어 간의 연관 관계, 즉 동의어, 유의어, 상/하위어 관계를 이용하여 문서를 자동 요약하는 방법을 제안한다.
본 논문에서는 의미기반 정보 검색용 시소러스를 이용하여 문서를 요약하는 방법을 제안하였다. 문서 전체의 주제를 표현하는 중심 문장을 추출하는데 시소러스를 이용하였다.

제안 방법

먼저 시소러스틀 이용하여 그 문서를 대표할 수 있다고 볼 수 있는 중심 문장올 추출한다. 그리고 나서 추출된 중심 문장과 다른 문장과의 연관 관계를 파악한 후 연관 관계순으로 정렬한다. 중심 문장을 포함하여 사용자가 원하는 비율만큼의 문장을 추출하여 요약문으로 제시한다.
문서 전체의 주제를 표현하는 중심 문장을 추출하는데 시소러스를 이용하였다. 그리고, 그 중심 문장과 다른 문장과의 연관 정도도 역시 시소러스를 이용하여 측정하였다. 사람이 수동요약한 요약문과 평균 66%가 일치를 하였다.
또한 기존 연구[1]와 비교하여 긴 문장 선호도를 어느 정도 해소하였고, 사용자가 원하는 만큼의 요약을 생성할 수 있도록 보완하였다.
사람이 수동요약한 요약문과 평균 66%가 일치를 하였다. 또한긴 문장 선호도를 해소하고자 했고, 사용자가 원하는 정도의 비율만큼 요약을 생성할 수 있도록 하였다.
본 논문에서는 단어간의 연관 관계 즉, 동의어, 유의어, 상위어, 하위어 관계를 문서 요약에 이용한다. 제안하는 모델의 전체 구성도는 [그림 1]과 같다.
본 논문에서는 문장을 추출하여 그 문서의 요약으로 사용한다. 문장을 추출하는데 있어 의미기반 정보검색용으로 사용되었던 시소러스(thesaurus)를 이용하였다.
본 실험에서는 신문기사 30여건에 대해 30% 중요문장을 추출한 후 테스트 컬렉션에 있는 30% 요약 부분과 비교하였다. 실험에 사용된 문서는 평균 20.
요약 대상 문서의 주제를 파악하기 위해서 단어(명사) 반복이나 그 단어의 관련어만울 이용하였다. 여기에 동사나 형용사등의 용언까지 그 범위를 확장할 수 있는 연구가 필요하다.
6개의 문장이다. 요약에 포함된 전체 문장수와 테스트 컬렉션의 30% 요약과 일치하는 문장수를 비교하였다. 본 논문이 제안하는 방법과 MS-Word의 자동요약을 비교한 결과는 아래의 표와 같다.
제안하는 모델은 단어간의 개념 관계를 이용하여 요약대상 문서의 주제를 어느 정도 잘 표현하는 문장을 요약문으로 생성할 수 있다. 그리고 문장의 길이를 고려하였기 때문에 긴 문장의 선호도를 어느 정도 해소하였고, 또한 사용자가 원하는 비율만큼 요약을 생성할 수 있다.
중심 문장에 포함된 명사와 다른 문장에 포함된 명사들간에 연관도를 시소러스를 이용하여 계산한다. 그리고, 계산된 각 연관도를 문장의 길이 즉, 문장에 포함된 명사의 수로 나누어 주어 정규화 과정을 거친다.
그리고 나서 추출된 중심 문장과 다른 문장과의 연관 관계를 파악한 후 연관 관계순으로 정렬한다. 중심 문장을 포함하여 사용자가 원하는 비율만큼의 문장을 추출하여 요약문으로 제시한다. 중요 문장과 다른 문장과의 연관 관계를 파악할 경우에도 또한 의미기반 정보검색용 시소러스를 이용한다.

대상 데이터

문장을 추출하는데 있어 의미기반 정보검색용으로 사용되었던 시소러스(thesaurus)를 이용하였다. 먼저 시소러스틀 이용하여 그 문서를 대표할 수 있다고 볼 수 있는 중심 문장올 추출한다.
실험에 사용된 문서는 평균 20.6개의 문장이다. 요약에 포함된 전체 문장수와 테스트 컬렉션의 30% 요약과 일치하는 문장수를 비교하였다.
의미 기반 정보 검색용 시소러스(thesaurus)롤 실험에 사용했다. 이 시소러스는 단어(142, 682건), 상위어 (124, 390건), 동의어(기건), 유의어(6, 394건) 등으로 구성되어 있다.
이 시소러스는 단어(142, 682건), 상위어 (124, 390건), 동의어(기건), 유의어(6, 394건) 등으로 구성되어 있다. 하위어 관계는 상위어의 역으로 추정하였다[10].

성능/효과

하지만 제안한 모델에서는 '국가'와 '국민'이라는 단어가 유의어 관계임을 사용하기 때문에 '대통령'이라는 단어보다는 더 중요하게 이용된다. 여기에서 제안한 모델과 MS-Word의 자동요약과 차이가 있었으며, 제안한 모델이 테스트 컬렉션과 더 일치함을 보여준다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

시소러스를 이용한 문서 자동 요약
Automatic Text Summarization Using Thesaurus 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

시소러스를 이용한 문서 자동 요약 Automatic Text Summarization Using Thesaurus 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

시소러스를 이용한 문서 자동 요약
Automatic Text Summarization Using Thesaurus 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper