[논문]동적 연결 그래프를 이용한 자동 문서 요약 시스템

송원문; 김영진; 김은주; 김명원

문제 정의

구성될 가능성이 높아진다. 본 논문에서는 불필요한 문장의 연결을 제한하여 순환 연결 문제를 해결하기 위해, 두 문장간의 공통 포함 단어의 수를 제한하여 문장의 연결 여부를 동적으로 결정하는 방법을 제안한다. 예를 들어 그림 1의 문장 연결 결정을 위한 문장간 공통포함 단어의 수를 5개 이상으로 제한하면, '연결-2'는 사라지게 되며, 이로 인해, 문장-3'과 '문장-6'은 그래프를 분리할 수 있는 관절점 노드가 된다.
본 논문에서는 실생활에서 발생햘 수 있는 다양한 형태의 문서를 요약하기 위해 동적으로 문장 연결 그래프를 생성하고 이를 기반으로 하여 중요 문장을 추출하는 방법을 제안하였다. 특히 공통 포함 단어에 의한 문장간 연결 생성시, 문서내 문장들의 평균 길이에 따라 연결을 위한 최소 공통 포함 단어 수를 결정함으로써 실생활에서 발생할 수 있는 다양한 형태의 문서에 적합한 요약기법을 구현하고, 기존 기술을 융합하여 응용 프로그램문서로부터 요약을 자동으로 생성하는 시스템을 개발하였다.
본 연구에서는 기존에 제안된 가장 최근의 방법 중단 어의 공기정보에 따른 문장 연결 그래프를 이용한 문서 요약 방법에 대해 분석하고 이를 개선하여 보다 정확한 요약을 할 수 있는 방법을 제안하고자 한다. 특히, [6]에서 제안한 그래프 연결구조와 그룹 분할 방법을 이용하되 문장 연결 여부 판단을 동적으로 판단함으로써보다 다양한 종류의 문서에 적용할 수 있는 효과적 인문서 요약 시스템을 제안한다.

가설 설정

단지 공통단어를 포함하고 있는지의 여부만 확인한 것으로, 모든 문장이 순환 연결되어 표현된다(그림에서 내용을 표시하지 않은 연결은 두 문장간의 공통 단어가 5개 이상이라고 가정한다";

제안 방법

가장 직관적인 추출 요약 방법이다. Cosine 및 dice 유사도의 그룹화를 위한 유사도 임계값은 실험을 통하여 0.7로 설정하고 그룹을 분할하여 그룹별로 중요문장을 추출하였으며, 모든 방법에 대해 10%의 요약 비율을 적용하여 생성된 요약의 문장수가 원 문서 문장 수의 10%를 넘지 않도록 하였다. 또한 모든 방법을 위한 핵심어 추출 및 핵심어의 중요도 계산은 [이에서 사용한 공기 정보를 이용한 핵심어 추盞 및 도합유사도를 이용한 핵심어 중요도 계산방법을 이용하였다.
문장 추출 정도에 그치고 있다. 따라서 본 논문에서는 그림 2와 같이 제안한 방법과 기존에 개발된 텍스트 추출 및 형태소 분석 프로그램과 그래프 분할 기법을 융합하여 다양한 응용 프로그램 문서로부터 자동으로 요약을 생성하는 자동화된 문서 요약 시스템을 구현하였다.
그러나 혼 논문에서는 제안하는 요약(추출 요약)과 평가에 이용하는 문서에 포함된 요약(생성 요약)이 서로 다른 기준으로 작성되어 ROUGE와 같은 방법을 그대로 응용 할 수 없다. 따라서 본 논문에서는 다음 식 (3)과 같이 두 요약에 출현한 단어들을 대상으로 ROUGE의 개발 근거인 precision(정확률)과 recall(재현율) 및 두 값의 조화평균인 F-measiiie를 함께 측정 한다.
근거가 미흡하다고 판단된다. 또한 본 논문에서 제안한 방법은 단지 다양한 문장 형태에 따른 문장간 연결구조 파악만을 위한 방법으로, 문서 요약의 성능에 가장 크게 영향을 미치는 요인인 세부 주제별 유사 문장 그룹화 방법과 문장별 중요도 계산에 대한 개선은 고려하지 않았으며 성능평가에 사용한 문서 역시 공인된 데이타의 부재 문제로 인하여 학술지 논문만을 대상으로 함으로써 다양한 형태의 문서 요약에 대한 적합성 평가가 이루어지지 않았다.
제안한다. 또한, 기존의 텍스트 추출 및 형태소 분석 방법을 통합하여, 응용 프로그램 문서로부터 자동으로 요약을 생성하는 시스템을 개발한다.
또한 모든 방법을 위한 핵심어 추출 및 핵심어의 중요도 계산은 [이에서 사용한 공기 정보를 이용한 핵심어 추盞 및 도합유사도를 이용한 핵심어 중요도 계산방법을 이용하였다. 본 논문에서 제안한 방법은, 그래프의 연결여부 결정을 위한 임계 값에 따라 그 성농이 좌우될 수 있다. 따라서 연결 여부 임계 값을 계산하는 기준이 되는 식 (1)의 n 값외 변화에 따른 다양한 찰험을 통해 요약 성능을 평가하고, 적절한 仰을 결정하여야 한다.
따라서 연결 여부 임계 값을 계산하는 기준이 되는 식 (1)의 n 값외 변화에 따른 다양한 찰험을 통해 요약 성능을 평가하고, 적절한 仰을 결정하여야 한다. 본 논문에서는 우선 제안한 방법의 타당성 검증을 목표로 하여 找이 1~3의 값을 가진다고 가정하고 요약 성능을 평가 하였으며 실험 결과 그림 3에 따라 n의 값이 2일 때의 결과를 기존의 요약 방법들과 비교 하였다.
본 논문에서는 이러한 단점을 해결하며 개체의 상관관계 표현을 위한 가장 적합한 구조인 연결 그래프 구조를 이용하여 원 문서를 문장간 연결 그래프로 표현하고, 표현된 그래프의 분할을 통해 중요 문장을 추출하는 방법[6]을 이용하되, 실생활의 다양한 형태의 문서에 적합한 요약 기법을 위해 문장간 연결 그래프 생성시 각 문장의 길이에 따라 연결 여부를 동적으로 결정하는 방법을 제안한다. 또한, 기존의 텍스트 추출 및 형태소 분석 방법을 통합하여, 응용 프로그램 문서로부터 자동으로 요약을 생성하는 시스템을 개발한다.
형태소 분석을 통해 키워드의 후보가 되는 의미 있는 품사의 단어들이 추출되면 추출된 단어들의 공기 정보 분석[6]을 통하여 문서의 주요 키워드 단어를 추출하고 가중치를 설정한다. 이렇게 추출된 키워드 단어들을 이용하여 문서내의 각 문장을 키워드 단어 벡터로 구성하고 제안한 방법을 통하여 동적으로 문장 연결 그래프를 생성한다. 생성된 그래프는 관절 점을 이용한 그래프 분할 방법61을 통하여 몇 개의 그룹으로 나눈 후, 각 그룹별로 소속된 문장이 포함한 키워드 단어들의 가중치를 합산하여 그 값이 가장 놓은 한 개의 문장을 그룹의 중요 문장으로 추출한다.
이를 위해 본 논문에서는 먼저 [6]에서 사용한 공기 정보를 이용한 키워드 추출 방법을 이용하여, 문서 내의 주요 단어들을 추출하고, 각 문장을 주요 단어들의 리스트로 표현하였다. 이후 다음 식 (1)과 같이 문장의 평균 포함 단어 수에 따라 제한 값을 결정하고 문장의 연결 여부를 판단한다.
자동화된 문서 요약을 위해서는 가장 먼저 다양한 응용 프로그램 파일로부터 텍스트 정보만을 추출하며 이를 위해 관련 기술 보유 업체U1]의 텍스트 추출 제공라이브러리를 제공받아 이용하였디..
제안하였다. 특히 공통 포함 단어에 의한 문장간 연결 생성시, 문서내 문장들의 평균 길이에 따라 연결을 위한 최소 공통 포함 단어 수를 결정함으로써 실생활에서 발생할 수 있는 다양한 형태의 문서에 적합한 요약기법을 구현하고, 기존 기술을 융합하여 응용 프로그램문서로부터 요약을 자동으로 생성하는 시스템을 개발하였다. 또한 제안한 시스템의 객관적 평가를 위해 비교적 정확한 요약문이 실린 테스트 문서를 이용하여 성능을 평가하였다.
특히, [6]에서 제안한 그래프 연결구조와 그룹 분할 방법을 이용하되 문장 연결 여부 판단을 동적으로 판단함으로써보다 다양한 종류의 문서에 적용할 수 있는 효과적 인문서 요약 시스템을 제안한다.
이후, 그래프의 이음새인 관절점(articulation point) 이되는 그래프의 노드(문장)를 찾아 그래프를 몇 개의 그룹으로 분할한 후 그룹별로 중요 문장을 추출하고 요약으로 제공한다. 특히, 문장간 연결을 위한 공통 단어 포함 여부판단을 위해서는 단어들간의 공기정보를 이용하여 추출된 키워드[기를 이용함으로써 문장의 의미를 반영한 연결 구조 생성을 시도하였다.
형태소 분석에는 연구용으로 공개되어 있는 국민대의 KLTU2]를 이용하였다. 형태소 분석을 통해 키워드의 후보가 되는 의미 있는 품사의 단어들이 추출되면 추출된 단어들의 공기 정보 분석[6]을 통하여 문서의 주요 키워드 단어를 추출하고 가중치를 설정한다. 이렇게 추출된 키워드 단어들을 이용하여 문서내의 각 문장을 키워드 단어 벡터로 구성하고 제안한 방법을 통하여 동적으로 문장 연결 그래프를 생성한다.

대상 데이터

인터넷 정보학회, 정보보호학회 등에서 2(XX)년 이후 발행한 학술지 논문 중 DBpi&U3] 서비스를 이용하여 임의로 20건을 수집하였다. 이와 같은 문서는 문서 내에 본문과 함께 요약이 풋함되어 있어 시스템의 성능 평가에 용이하다.
이렇게 추출된 텍스트 정보로부터 형태소 분석기를 통해 명사나 동사, 형용사 같은 의미 있는 품사의 단어만을 따로 추출한다. 형태소 분석에는 연구용으로 공개되어 있는 국민대의 KLTU2]를 이용하였다. 형태소 분석을 통해 키워드의 후보가 되는 의미 있는 품사의 단어들이 추출되면 추출된 단어들의 공기 정보 분석[6]을 통하여 문서의 주요 키워드 단어를 추출하고 가중치를 설정한다.

데이터처리

특히 공통 포함 단어에 의한 문장간 연결 생성시, 문서내 문장들의 평균 길이에 따라 연결을 위한 최소 공통 포함 단어 수를 결정함으로써 실생활에서 발생할 수 있는 다양한 형태의 문서에 적합한 요약기법을 구현하고, 기존 기술을 융합하여 응용 프로그램문서로부터 요약을 자동으로 생성하는 시스템을 개발하였다. 또한 제안한 시스템의 객관적 평가를 위해 비교적 정확한 요약문이 실린 테스트 문서를 이용하여 성능을 평가하였다.

이론/모형

즉, 시스템이 많온 양의 요약을 생성하는 경우 precisione 높게, recalle 낮게 계산되며, 시스템이 적은 양의 요약을 생성하는 경우 precissige 낮게, rec&ne 높게 계산된다. 따라서 이 두 값욜 모두 고려하여 시스템을 평가하기 위해 뚜 값의 조화평균인 F-measure를 함께 측정한다[2丄
7로 설정하고 그룹을 분할하여 그룹별로 중요문장을 추출하였으며, 모든 방법에 대해 10%의 요약 비율을 적용하여 생성된 요약의 문장수가 원 문서 문장 수의 10%를 넘지 않도록 하였다. 또한 모든 방법을 위한 핵심어 추출 및 핵심어의 중요도 계산은 [이에서 사용한 공기 정보를 이용한 핵심어 추盞 및 도합유사도를 이용한 핵심어 중요도 계산방법을 이용하였다. 본 논문에서 제안한 방법은, 그래프의 연결여부 결정을 위한 임계 값에 따라 그 성농이 좌우될 수 있다.

성능/효과

예를 들어 그림 1의 문장 연결 결정을 위한 문장간 공통포함 단어의 수를 5개 이상으로 제한하면, '연결-2'는 사라지게 되며, 이로 인해, 문장-3'과 '문장-6'은 그래프를 분리할 수 있는 관절점 노드가 된다. 결과적으로 '연결-1'을 절단하여 문장들을 두 개의 그룹으로 분류하고 그룹별로 중요 문장을 추출함으로써, 중복문장이 제거된 효율적 요약을 생성할 수 있다.
4와 같다. 비교 결과, 제안한 시스템의 precision이 가장 높아 불필요한 정보 없이 기존의 요약문과 가장 비슷한 요약이 생성되었다고 평가할 수 있다. 그러나 recalle 다른 방법에 비해 상대적으로 낮은 값을 보이는데, 이는 다른 방법에 비해 비교적 적은 수의 문장을 요약으로 추출함으로써 기존의 요약을 상대적으로 적게 포함할 수밖에 없었기 때문인 것으로 판단된다.
그러나 recalle 다른 방법에 비해 상대적으로 낮은 값을 보이는데, 이는 다른 방법에 비해 비교적 적은 수의 문장을 요약으로 추출함으로써 기존의 요약을 상대적으로 적게 포함할 수밖에 없었기 때문인 것으로 판단된다. 종합적으로는 제안한 시스템의 F~measure값이 다른 시스템에 비해 높으므로, 제안한 요약 방법이 중요한 문장만을 잘 선별함으로써 전반적으로 요약에 좋은 성능을 보임을 알 수 있다.

후속연구

그러나 제안한 방법에서는 문장간 연결의 동적 결정을 위한 공통 포함 단어 수의 제한 값 결정에 직관적인 계산 방법을 이용함으로써 연결 여부 결정에 대한 객관적 근거가 미흡하다고 판단된다. 또한 본 논문에서 제안한 방법은 단지 다양한 문장 형태에 따른 문장간 연결구조 파악만을 위한 방법으로, 문서 요약의 성능에 가장 크게 영향을 미치는 요인인 세부 주제별 유사 문장 그룹화 방법과 문장별 중요도 계산에 대한 개선은 고려하지 않았으며 성능평가에 사용한 문서 역시 공인된 데이타의 부재 문제로 인하여 학술지 논문만을 대상으로 함으로써 다양한 형태의 문서 요약에 대한 적합성 평가가 이루어지지 않았다.
방법들에 대해 연구 할 것이다. 또한 웹 문서나 뉴스 기사 등의 다양한 형태의 문서를 수집하고 이에 대한 공인된 요약을 생성, 수집하는 방법을 간구하여 실험 및 평가를 수행함으로써 제안한 방법이 학술지 논문과 같은 기술 문서에서 뿐만 아닌 실생활의 다양한 문서 요약에 적합한 방법인지를 검증할 것이다.
실험에 사용한 문서의 목록은 논문 마지막 페이지의 별지 1과 같다. 본 논문의 목적에 따라 신문기사, 웹 정보 등 다양한 형태의 문서를 수집하여 실험을 수행하여야 하나, 객관적으로 인증된 요약을 포함한 문서는 현실적으로 수집하기 어려우므로 실험은 수집한 학술지 논문으로 제한한다.
향후에는 다양한 실험을 통하여 보다 객관적으로 문장의 연결 여부를 판단할 수 있는 근거를 마련함과 함께 보다 효율적인 요약문 생성을 위해 의미적 유사성에 기반하여 문장들을 그룹화 하고, 문장의 중요도를 계산하는 방법들에 대해 연구 할 것이다. 또한 웹 문서나 뉴스 기사 등의 다양한 형태의 문서를 수집하고 이에 대한 공인된 요약을 생성, 수집하는 방법을 간구하여 실험 및 평가를 수행함으로써 제안한 방법이 학술지 논문과 같은 기술 문서에서 뿐만 아닌 실생활의 다양한 문서 요약에 적합한 방법인지를 검증할 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

동적 연결 그래프를 이용한 자동 문서 요약 시스템
A Document Summarization System Using Dynamic Connection Graph 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

동적 연결 그래프를 이용한 자동 문서 요약 시스템 A Document Summarization System Using Dynamic Connection Graph 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

송원문 (6) 김영진 (3) 김은주 (6) 김명원 (32)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

동적 연결 그래프를 이용한 자동 문서 요약 시스템
A Document Summarization System Using Dynamic Connection Graph 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper