[논문]TextRank 알고리즘과 주의 집중 순환 신경망을 이용한 하이브리드 문서 요약

정석원; 이현구; 김학수

TextRank 알고리즘과 주의 집중 순환 신경망을 이용한 하이브리드 문서 요약
Hybrid Document Summarization using a TextRank Algorithm and an Attentive Recurrent Neural Networks 원문보기

정석원 (강원대학교) , 이현구 (강원대학교) , 김학수 (강원대학교)

문서 요약은 입력 문서가 가진 주제를 유지하면서 크기가 축약된 새로운 문서를 생성하는 것이다. 문서 요약의 방법론은 크게 추출 요약과 추상 요약으로 구분된다. 추출 요약의 경우 결과가 문서 전체를 충분히 대표하지 못하거나 문장들 간의 호응이 떨어지는 문제점이 있다. 최근에는 순환 신경망 구조의 모델을 이용한 추상 요약이 활발히 연구되고 있으나, 이러한 방법은 입력이 길어지는 경우 정보가 누락된다는 문제점을 가지고 있다. 본 논문에서는 이러한 단점들을 해소하기 위해 추출 요약으로 입력 문서의 중요한 일부 문장들을 선별하고 이를 추상 요약의 입력으로 사용했을 때의 성능 변화를 관찰한다. 추출 요약을 통해 원문 대비 30%까지 문서를 요약한 후 요약을 생성했을 때, ROUGE-1 0.2802, ROUGE-2 0.1294, ROUGE-L 0.3254의 성능을 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 추상 요약은 특정 출력을 반복하거나 입력이 길어지는 경우 일부 정보들이 누락되는 등의 문제점들이 있다. 본 논문에서는 이러한 문제들을 해소하기 위해 추출 요약을 통해 중요 문장들을 선별하고, 이를 추상 요약의 입력으로 사용하여 원문에 없는 새로운 문장을 생성하는 하이브리드 문서 요약을 제안한다.
본 논문에서는 추출 요약과 추상 요약의 결합을 통해 두 가지 방법론이 가진 단점을 해소함으로써 문서 요약 성능의 개선을 시도하였다. 그러나 원본 문서를 의미 있는 방법으로 축약하더라도 추상 요약의 성능이 향상되지는 않았으며, 출력된 문장이 요약으로서 충분하지 않은 경우도 많았다.

제안 방법

같은 원리로 각 단어를 정점으로 가정할 경우 중요 키워드를 선별할 수 있다. 본 논문에서는 TextRank를 이용한 추출 요약으로 입력 문서의 중요한 문장들을 선별하여 추상 요약의 입력으로 사용한다.
최경호 외[8]는 주의 집중 순환 신경망(Attentive RNN)[9]을 비롯한 다양한 모델을 이용해 한국어 문서 요약을 수행하였으며 음절, 형태소, 음절+형태소 혼합 등 입력 형태에 따른 추상 요약의 성능을 비교하였다. 이 결과를 통해 본 논문에서는 형태소 단위의 입력으로 추상 요약을 수행한다.
본 논문에서는 TextRank를 이용한 추출 요약으로 입력 문서의 문장들을 선별한다. 이를 위해 입력 문서의 각 문장들에 대해 형태소 분석을 수행하고, 체언류와 용언류의 TF∙IDF를 계산하여 문장-단어 행렬을 생성한다. 그 뒤 생성된 문장-단어 행렬의 전치 행렬을 구하여 서로 곱해주면 문장 간의 상관관계(correlation)를 나타내는 행렬을 얻을 수 있다.
제안 시스템은 위에서 설명한 주의 집중 순환 신경망을 이용하여 추상 요약을 수행한다. 신경망의 입력은 TextRank를 통해 일부 요약된 결과이며 출력으로 요약된 문장을 출력한다.
제안 시스템은 추출 요약을 통해 입력 문서를 먼저 요약한 뒤, 그 결과를 추상 요약의 입력으로 사용하는 파이프라인 형태의 구조이다. 구조도는 [그림 1]과 같다.

대상 데이터

본 논문에서는 TextRank를 이용한 추출 요약으로 입력 문서의 문장들을 선별한다. 이를 위해 입력 문서의 각 문장들에 대해 형태소 분석을 수행하고, 체언류와 용언류의 TF∙IDF를 계산하여 문장-단어 행렬을 생성한다.
본 논문에서는 실험을 위해 인사이트 뉴스 기사 21,072 문서를 수집하였다. 전체 데이터 중 19,999 문서를 학습에 사용하였으며, 1,073 문서를 평가에 사용하였다.
본 논문에서는 실험을 위해 인사이트 뉴스 기사 21,072 문서를 수집하였다. 전체 데이터 중 19,999 문서를 학습에 사용하였으며, 1,073 문서를 평가에 사용하였다. 학습을 위한 정답으로는 기사를 작성한 기자가 남긴 코멘트를 사용하였다.
전체 데이터 중 19,999 문서를 학습에 사용하였으며, 1,073 문서를 평가에 사용하였다. 학습을 위한 정답으로는 기사를 작성한 기자가 남긴 코멘트를 사용하였다. 요약 결과를 평가하기 위한 지표로는 ROUGE[10]를 사용하였으며, 그 중에서도 ROUGE-1, ROUGE-2, ROUGE-L을 사용하였다.

이론/모형

학습을 위한 정답으로는 기사를 작성한 기자가 남긴 코멘트를 사용하였다. 요약 결과를 평가하기 위한 지표로는 ROUGE[10]를 사용하였으며, 그 중에서도 ROUGE-1, ROUGE-2, ROUGE-L을 사용하였다.
주의 집중 순환 신경망 모델의 인코더로는 양방향 GRU(Gated Recurrent Unit)를 사용한다. 모델을 수식으로 표현하면 아래 식 (2)과 같다.

성능/효과

성능 평가 결과, 중요한 일부 문장을 선별하여 입력할 경우 성능이 향상될 것이라는 예상과 달리 입력의 길이를 줄이더라도 추상 요약의 성능이 향상되지는 않았다. 그러나 원본 문서 대비 30% 수준까지 문서를 축약하여 입력하였음에도 불구하고 성능 감소가 크지 않은 것을 확인할 수 있었다.
본 논문에서는 추출 요약과 추상 요약의 결합을 통해 두 가지 방법론이 가진 단점을 해소함으로써 문서 요약 성능의 개선을 시도하였다. 그러나 원본 문서를 의미 있는 방법으로 축약하더라도 추상 요약의 성능이 향상되지는 않았으며, 출력된 문장이 요약으로서 충분하지 않은 경우도 많았다. 분석 결과, 이는 문서 요약 분야에서 현재의 신경망 모델 및 데이터가 가진 한계로 보인다.
성능 평가 결과, 중요한 일부 문장을 선별하여 입력할 경우 성능이 향상될 것이라는 예상과 달리 입력의 길이를 줄이더라도 추상 요약의 성능이 향상되지는 않았다. 그러나 원본 문서 대비 30% 수준까지 문서를 축약하여 입력하였음에도 불구하고 성능 감소가 크지 않은 것을 확인할 수 있었다.

후속연구

분석 결과, 이는 문서 요약 분야에서 현재의 신경망 모델 및 데이터가 가진 한계로 보인다. 그러나 입력되는 문서의 크기를 크게 줄이더라도 요약 성능이 크게 하락되지는 않았다는 점으로 미루어 볼 때, 충분한 데이터를 확보하고 모델 구조를 개선한다면 의미 있는 결과를 보일 수 있을 것으로 생각된다.
향후 연구로 TextRank외에 다양한 방법을 통해 추출 요약 성능을 향상시킬 것이며, 더 많은 데이터를 수집하고, 개선된 형태의 신경망을 활용하는 것으로 추상 요약을 성능을 향상시킬 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

TextRank 알고리즘과 주의 집중 순환 신경망을 이용한 하이브리드 문서 요약
Hybrid Document Summarization using a TextRank Algorithm and an Attentive Recurrent Neural Networks 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

TextRank 알고리즘과 주의 집중 순환 신경망을 이용한 하이브리드 문서 요약 Hybrid Document Summarization using a TextRank Algorithm and an Attentive Recurrent Neural Networks 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

TextRank 알고리즘과 주의 집중 순환 신경망을 이용한 하이브리드 문서 요약
Hybrid Document Summarization using a TextRank Algorithm and an Attentive Recurrent Neural Networks 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper