[논문]주제 균형 지능형 텍스트 요약 기법

윤여일; 고은정; 김남규

doi:10.13088/jiis.2019.25.2.141

주제 균형 지능형 텍스트 요약 기법
Subject-Balanced Intelligent Text Summarization Scheme 원문보기

지능정보연구 = Journal of intelligence and information systems, v.25 no.2, 2019년, pp.141 - 166

윤여일 (국민대학교 경영대학) , 고은정 (국민대학교 비즈니스IT전문대학원) , 김남규 (국민대학교 경영대학)

초록
AI-Helper

최근 다양한 매체를 통해 생성되는 방대한 양의 텍스트 데이터를 효율적으로 관리 및 활용하기 위한 방안으로써 문서 요약에 대한 연구가 활발히 진행되고 있다. 특히 최근에는 기계 학습 및 인공 지능을 활용하여 객관적이고 효율적으로 요약문을 도출하기 위한 다양한 자동 요약 기법이(Automatic Summarization) 고안되고 있다. 하지만 현재까지 제안된 대부분의 텍스트 자동 요약 기법들은 원문에서 나타난 내용의 분포에 따라 요약문의 내용이 구성되는 방식을 따르며, 이와 같은 방식은 비중이 낮은 주제(Subject), 즉 원문 내에서 언급 빈도가 낮은 주제에 대한 내용이 요약문에 포함되기 어렵다는 한계를 갖고 있다. 본 논문에서는 이러한 한계를 극복하기 위해 저빈도 주제의 누락을 최소화하는 문서 자동 요약 기법을 제안한다. 구체적으로 본 연구에서는 (i) 원문에 포함된 다양한 주제를 식별하고 주제별 대표 용어를 선정한 뒤 워드 임베딩을 통해 주제별 용어 사전을 생성하고, (ii) 원문의 각 문장이 다양한 주제에 대응되는 정도를 파악하고, (iii) 문장을 주제별로 분할한 후 각 주제에 해당하는 문장들의 유사도를 계산한 뒤, (iv) 요약문 내 내용의 중복을 최소화하면서도 원문의 다양한 내용을 최대한 포함할 수 있는 자동적인 문서 요약 기법을 제시한다. 제안 방법론의 평가를 위해 TripAdvisor의 리뷰 50,000건으로부터 용어 사전을 구축하고, 리뷰 23,087건에 대한 요약 실험을 수행한 뒤 기존의 단순 빈도 기반의 요약문과 주제별 분포의 비교를 진행하였다. 실험 결과 제안 방법론에 따른 문서 자동 요약을 통해 원문 내각 주제의 균형을 유지하는 요약문을 도출할 수 있음을 확인하였다.

Abstract ▼ AI-Helper

Recently, channels like social media and SNS create enormous amount of data. In all kinds of data, portions of unstructured data which represented as text data has increased geometrically. But there are some difficulties to check all text data, so it is important to access those data rapidly and grasp key points of text. Due to needs of efficient understanding, many studies about text summarization for handling and using tremendous amounts of text data have been proposed. Especially, a lot of summarization methods using machine learning and artificial intelligence algorithms have been proposed lately to generate summary objectively and effectively which called "automatic summarization". However almost text summarization methods proposed up to date construct summary focused on frequency of contents in original documents. Those summaries have a limitation for contain small-weight subjects that mentioned less in original text. If summaries include contents with only major subject, bias occurs and it causes loss of information so that it is hard to ascertain every subject documents have. To avoid those bias, it is possible to summarize in point of balance between topics document have so all subject in document can be ascertained, but still unbalance of distribution between those subjects remains. To retain balance of subjects in summary, it is necessary to consider proportion of every subject documents originally have and also allocate the portion of subjects equally so that even sentences of minor subjects can be included in summary sufficiently. In this study, we propose "subject-balanced" text summarization method that procure balance between all subjects and minimize omission of low-frequency subjects. For subject-balanced summary, we use two concept of summary evaluation metrics "completeness" and "succinctness". Completeness is the feature that summary should include contents of original documents fully and succinctness means summary has minimum duplication with contents in itself. Proposed method has 3-phases for summarization. First phase is constructing subject term dictionaries. Topic modeling is used for calculating topic-term weight which indicates degrees that each terms are related to each topic. From derived weight, it is possible to figure out highly related terms for every topic and subjects of documents can be found from various topic composed similar meaning terms. And then, few terms are selected which represent subject well. In this method, it is called "seed terms". However, those terms are too small to explain each subject enough, so sufficient similar terms with seed terms are needed for well-constructed subject dictionary. Word2Vec is used for word expansion, finds similar terms with seed terms. Word vectors are created after Word2Vec modeling, and from those vectors, similarity between all terms can be derived by using cosine-similarity. Higher cosine similarity between two terms calculated, higher relationship between two terms defined. So terms that have high similarity values with seed terms for each subjects are selected and filtering those expanded terms subject dictionary is finally constructed. Next phase is allocating subjects to every sentences which original documents have. To grasp contents of all sentences first, frequency analysis is conducted with specific terms that subject dictionaries compose. TF-IDF weight of each subjects are calculated after frequency analysis, and it is possible to figure out how much sentences are explaining about each subjects. However, TF-IDF weight has limitation that the weight can be increased infinitely, so by normalizing TF-IDF weights for every subject sentences have, all values are changed to 0 to 1 values. Then allocating subject for every sentences with maximum TF-IDF weight between all subjects, sentence group are constructed for each subjects finally. Last phase is summary generation parts. Sen2Vec is used to figure out similarity between subject-sentenc

주제어

표/그림 (22)

그림 Comparison of Various Summarization
그림 Subject Dictionary Construction and Review Summary Generation
그림 Research Overview
그림 Discovering Subjects and Seed Terms
그림 Word Embedding with Word2Vec
그림 Similar Term Expansion and Subject Dictionary Construction
그림 TF-IDF Value of Each Subject
그림 Normalized Sentence TF-IDF for Subject “Room” and “Service”
그림 Calculating Sentence Vectors from Word Vectors
그림 Document Similarity Matrix
그림 Process of Summary Generation
그림 Topic Keywords for 20 Topics
그림 Seed Term Candidates
그림 Seed Terms of Each Subject
그림 Term Expansion by Word2Vec
그림 Subject Dictionaries for “Room”, “Food”, “Service”, and “Location”
그림 Normalized Sentence Weight for Each Subject
그림 Sentence Set in Subject “Room”
그림 Summary Report of Subject “Location” for Hotel “E”
표 The Number of Sentences in Summary (Our Approach)
그림 Comparison of Subject Distribution
표 The Number of Sentences in Summary (Traditional Approach)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 문서가 포함하는 다양한 주제를 정의하고, 각 주제와 관련된 내용을 균형있게요약하는 방안을 제시한다. 구체적으로 본 연구에서는 (i) 문서에 내포된 핵심 주제를 정의하고 각 주제에 해당하는 시드(Seed) 용어를 구성한 뒤, (ii) 워드 임베딩을 통해 주제별 용어 사전을 생성하고, (iii) 문장 간 유사도 및 각 문장의 주제별 대응도를 산출한 뒤, (iv) 요약문의 평가 지표인 완전성(Completeness)과 간결성(Succinctness)의 개념을 활용하여(Ko and Kim, 2018), 요약문 내 내용의 중복을 최소화하면서도 원문의 다양한 내용을 최대한 포함할 수 있는 문서 자동 요약기법을 제시한다.
본 장에서는 문서가 내포한 다양한 주제를 식별하고, 각 주제와 관련된 내용을 균형있게 요약하는 요약문 도출 방법론을 간단한 예시와 함께 소개한다. 제안 방법론의 전체 개요는 [Figure3]과 같다
본 절에서는 3장에서 소개한 제안 방법론의 검증을 위한 실험 환경과 데이터를 소개한다. 실험을 위해 여행 정보 사이트인 TripAdvisor로부터 리뷰를 수집하고, 이들 리뷰를 문장으로 분해하여 총 50,000건의 문장 집합을 구성하였다.
본 절에서는 제안 방법론을 통해 도출한 요약문의 주제별 균형 정도를 평가하기 위한 분석을 수행한다. 구체적으로는 각 주제별 문장의 구성 비율을 비교하고자 하며, 각 주제별 문장 수의 표준 편차도 함께 비교한다.
본 절에서는 주제별 문서 집합으로부터 주제별 요약문을 도출한 결과를 제시한다. 주제별 문장을 Sen2Vec을 이용해 문장 벡터로 변환하고, 벡터 간 코사인 유사도를 계산하여 문장의 유사도 행렬을 도출하였다.
본 절에서는 호텔 리뷰가 내포한 다양한 주제를 확인하고, 이를 바탕으로 주제별 용어 사전을 구축한 결과를 제시한다. 우선 호텔 리뷰가 내포한 주제를 파악하기 위해 사전 구축용 리뷰 데이터로부터 20개의 토픽을 도출하고, 각 토픽별 주요 키워드를 확인하였다.
본 연구의 기여는 다음과 같다. 우선 본 연구는 낮은 빈도로 인해 소외될 수 있는 주제도 요약문에 포함시킬 수 있는 자동 요약 기법을 새롭게 제안하였으며, 이는 본 연구의 학술적 기여로 인정받을 수있다. 또한 이를 위해 완전성과 간결성이 높은 요약문을 생성하는 기법을 구체적으로 제시한 점도 새로운 시도로 인정받을 수 있을 것이다.
원문에 포함된 내용 중 최대한 다양한 주제를 포함하면서 요약문 내 문장 간의 내용 중복을 최소화하기 위해, 본 연구에서는 요약문 평가의 지표로 최근 발표된 개념인 완전성(Completeness)와 간결성(Succinctness)에 기반을 두어 문서 요약을 수행한다(Ko and Kim, 2018). 완전성은 요약문이 원문의 내용을 최대한 누락없이 포함해야 한다는 성질이고, 간결성은 요약문 내용의 중복이 최소가 되야 한다는 성질이다.

제안 방법

본 절에서는 23,087개의 리뷰 문장에 대한 주제별 TF-IDF 가중치를 도출하고, 가중치의 정규화를 통해 각 문장에 주제를 할당한 결과를 소개한다. 400개의 용어를 리뷰 문장 집합에 적용하여 용어의 TF 값과 IDF 값을 도출하였고, 이를 바탕으로 각 문장의 주제별 TF-IDF 값을 도출하였다. 전체 23,087개의 문장 중 주제 관련 용어를 하나도 포함하지 않은 문장을 제거하고 총 9,985개의 문장에 대해서 4개의 주제별 TF-IDF값을 도출하였고, 정규화를 통해 각 가중치를 0에서 1 사이의 값을 갖는 상대적인 비율로 변환하였다.
[Figure 14]에 나타난 4개 주제, 40개 시드 용어에 대해, Word2Vec을 이용한 용어 확장을 수행하여 주제별 용어 사전을 구축하였다. 50,000개의 문장에 포함된 용어 간의 코사인 유사도를 도출하고, 시드 용어 별로 높은 유사도를 갖는 50개의 용어를 추출한 뒤, 용어의 선별 과정을 통해 주제별로 100개씩의 용어를 포함하는 사전을 생성하였다. [Figure 15]는 시드 용어와 유사한 용어를 추출하는 용어 확장 과정의 일부이며, [Figure 16]은 이러한 과정을 통해 구축한 주제용어 사전 전체를 나타낸다.
[Figure 14]에 나타난 4개 주제, 40개 시드 용어에 대해, Word2Vec을 이용한 용어 확장을 수행하여 주제별 용어 사전을 구축하였다. 50,000개의 문장에 포함된 용어 간의 코사인 유사도를 도출하고, 시드 용어 별로 높은 유사도를 갖는 50개의 용어를 추출한 뒤, 용어의 선별 과정을 통해 주제별로 100개씩의 용어를 포함하는 사전을 생성하였다.
본 절은 [Figure 2]의 Phase 3의 과정을 소개한다. 각 주제별 문장 집합으로부터 문장 간 유사도를 기준으로 각 주제를 대표할 수 있는 문장을 추출하고, 이를 종합하여 주제별 문서의 요약문을 생성한다. 문장 간 유사도 도출을 위해 우선 각 문장을 벡터로 변환한다.
구체적으로 제안 방법론은 각 주제별 문장 집합 중 우선순위가 가장 높은 문장을 “Selected Sentence”로 선정하여 요약문에 추가하고, 이 문장을 포함하여 이 문장과 유사한 것으로 인정되는 문장들을“Covered Sentence”로 선정하여 이진 행렬에서 제거한다.
본 절에서는 제안 방법론을 통해 도출한 요약문의 주제별 균형 정도를 평가하기 위한 분석을 수행한다. 구체적으로는 각 주제별 문장의 구성 비율을 비교하고자 하며, 각 주제별 문장 수의 표준 편차도 함께 비교한다. 비교를 위해 주제에 대한 고려 없이 한꺼번에 요약문을 도출하는 방식의 실험도 수행하였으며, 유사도 임계값은[Table 1]과 마찬가지로 0.
다음으로 각 시드 용어의 유의어로 추출된 용어에 대한 검증을 통해 각 주제별 용어 사전을 구축한다. 이 작업은 각 시드 용어와 높은 유사도를 갖는 확장 용어 후보를 유사도 순으로 정렬한 후, 해당 주제에 적합하지 않은 용어를 사전에서 제거하는 방식으로 수행된다.
다음으로 리뷰 데이터를 구성하는 용어의 토픽별 가중치를 확인하고, 각 토픽별로 상위 가중치를 갖는 100개의 후보 용어를 추출하였다. [Figure 13]은 토픽별로 추출된 후보 용어의 일부를 보여준다.
다음으로 이진 행렬에 남아있는 문장들 중 우선순위가 가장 높은 문장을 다시“Selected Sentence”로 선정하고, 이진 행렬에 있는 모든 문장이 제거될 때까지 위의 과정을 반복 수행한다.
이러한 방식으로 도출된 TF-IDF 문장 가중치는 문장의 길이가 길어질수록 증가하는 경향을 갖게 되므로, 전체 문장의 상대적 비교를 위해서는 절대적 TF-IDF 값을 상대적인 비율로 변환하는 과정이 필요하다. 따라서 각 문장의 주제별 TF-IDF 값을 전체 주제에 대한 TF-IDF 값의 총합으로나누어 정규화한 값을 이후 분석에 사용한다. [Figure 7(c)]에서 “Sentence 1”은 “Room”에 대한 내용 75%와 “Service”에 대한 내용 25%로 구성되어있다.
주제별 문장을 Sen2Vec을 이용해 문장 벡터로 변환하고, 벡터 간 코사인 유사도를 계산하여 문장의 유사도 행렬을 도출하였다. 또한 이를 이진 유사도 행렬로 변환한 뒤 완전성과 간결성 측면의 문서 요약을 진행하였다. 요약문이 포함하는 문장의 수는 유사도 임계값에 따라 달라지며, 임계값이 높을수록 요약문의 문장 수도 증가하는 경향을 보인다.
완전성과 간결성은 서로 상충 관계(Trade off)에 있는 개념으로, 두 가지 지표는 문장 간 유사도에 기반하여 측정된다. 본 연구에서는 두 문장 간 유사성 여부를 이전 단계에서 도출한 이진 행렬에 기반을 두어 판단한다. 즉 이진 행렬에서 임의의 문장과 유사도가 1로 표현되는 문장은 해당 문장과 유사한 문장인 것으로 간주한다.
본 절에서는 23,087개의 리뷰 문장에 대한 주제별 TF-IDF 가중치를 도출하고, 가중치의 정규화를 통해 각 문장에 주제를 할당한 결과를 소개한다. 400개의 용어를 리뷰 문장 집합에 적용하여 용어의 TF 값과 IDF 값을 도출하였고, 이를 바탕으로 각 문장의 주제별 TF-IDF 값을 도출하였다.
본 절에서는 [Figure 3]의 Phase 2에 해당하는 과정, 즉 각 리뷰를 주제에 따라 재구성하는 과정을 설명한다. 우선 각 문장에 대한 파싱을 통해 각 용어가 각 문장에서 갖는 TF-IDF를 도출한다. 용어의 TF 값은 각 문서에서 해당 용어가 출현한 빈도수를 나타내며 IDF 값은 해당 용어를 포함하는 문서가 전체 문서에서 차지하는 비율에 로그를 취한 값으로 계산된다.
다음으로 Phase 2는 주제별 용어 사전을 활용하여 각 리뷰를 주제별로 재구성하는 과정이다. 우선 구축된 용어 사전을 기준으로 요약문을 추출할 대상 문서에 대해 빈도 분석을 수행하고(4),주제별 용어에 대한 TF값과 IDF값을 도출하여각 문장이 다양한 주제에 대해 대응되는 가중치를 산출한다(5). 이러한 가중치에 기반을 두어 각 문장을 주제별 문서 집합으로 재구성하고(6), 각 주제별 문장 집합 내에서 해당 주제의 가중치 값의 크기에 따라 주제별로 문장을 정렬한다(7).
본 절은 [Figure 3]의 Phase 1에 해당하는 과정, 즉 주제별 용어 사전을 구축하는 과정을 소개한다. 우선 주제 정의 및 시드 용어 선별을 위해 사전 구축용 문서에 대한 토픽 모델링을 수행한다. [Figure 4(a)]는 토픽 모델링 결과에 대한 가상 예를 나타내며, 각 용어가 100개의 토픽 각각에 대응되는 가중치를 보이고있다.
본 절에서는 호텔 리뷰가 내포한 다양한 주제를 확인하고, 이를 바탕으로 주제별 용어 사전을 구축한 결과를 제시한다. 우선 호텔 리뷰가 내포한 주제를 파악하기 위해 사전 구축용 리뷰 데이터로부터 20개의 토픽을 도출하고, 각 토픽별 주요 키워드를 확인하였다. [Figure 12]는50,000개의 호텔 리뷰 문장으로부터 도출한 토픽키워드를 나타낸다.
이렇게 도출된 2,000개의 용어로부터 “Food”, “Location”, “Room”, “Service” 의 4개의 주제를 식별하였고, 각 주제별로 종합된 용어에 대한 선별 작업을 거쳐 해당 주제를 대표할 수 있는 10개의 시드 용어를 선정하였다.
하지만 이와 같은 방식으로 각 주제별 용어를 모두 선정하는 것은 매우 비효율적이므로, 이들 시드 용어를 기본으로 하고 시드 용어와 유사한 의미와 맥락을 지닌 용어를 자동으로 추출하여 주제별 용어 사전을 확장한다. 이를 위해 대상 문서에 포함된 용어를 벡터로 변환한 후 벡터 간유사도에 따라 유의어를 식별한다. 본 연구에서는 용어의 벡터 변환에는 Word2Vec 알고리즘을 활용하며, 벡터 간 유사도는 코사인 유사도로 측정한다(Figure 5).
우선 Phase 1은 주제별 용어 사전을 구축하는 과정이다. 이를 위해 사전 구축용 문서에 대한 토픽 모델링을 수행하여 주요 용어를 확인하고(1), 전체 주제를 아우를 수 있는 주요 주제를 선정한 후 각 주제별 시드 용어를 선정한다(2). 주제별 용어를 모두 수작업으로 선정하는 것은 현실적으로 매우 어렵기 때문에, 각 주제별 시드 용어와 유사한 의미를 갖는 용어를 Word2Vec 알고리즘을 활용하여 발굴한다(3).
최근 방대한 양의 텍스트 데이터를 자동으로 요약하는 기술에 대한 연구가 활발하게 수행되고 있으며, 특히 다양한 관점에서 요약문의 품질을 향상시키기 위한 시도가 최근 이루어지고있다. 이에 본 연구에서는 주제별 용어 사전 구축을 통해 문서가 포함한 다양한 주제를 식별하고, 대상 문서들을 주제별 문서 집합으로 분할한 후, 각 주제별 요약문을 도출하고 이를 통합함으로써 주제별로 균형이 이루어진 요약문을 도출하는 문서 요약 방법을 새롭게 제시했다. 또한 제안 방법론을 실제 호텔 리뷰 데이터에 적용한 실험을 통해, 제안 방법론을 통해 도출한 요약문의 주제별 구성 비율이 기존 방법론에 의해 도출된 요약문에 비해 고르게 나타남을 확인하였다.
따라서 향후 연구에서는 유사도 임계값의 변화가 요약문의 품질에 어떤 영향을 미치는지에 대한 엄밀한 검토가 이루어져야 한다. 이와 관련하여 본 논문에서는 제안 방법론을 통해 도출된 요약문의 품질을 요약문의 주제별 구성 비율 측면에서만 평가하였다. 하지만 최근 국내외의 여러 연구를 통해 요약문의 품질 측정 방법이 소개되고 있으므로, 다양한 평가 기준에 의해 제안 방법론에 대한 성능 평가를 수행할 필요가있다.
400개의 용어를 리뷰 문장 집합에 적용하여 용어의 TF 값과 IDF 값을 도출하였고, 이를 바탕으로 각 문장의 주제별 TF-IDF 값을 도출하였다. 전체 23,087개의 문장 중 주제 관련 용어를 하나도 포함하지 않은 문장을 제거하고 총 9,985개의 문장에 대해서 4개의 주제별 TF-IDF값을 도출하였고, 정규화를 통해 각 가중치를 0에서 1 사이의 값을 갖는 상대적인 비율로 변환하였다. 각 문장에 대한 정규화된 가중치 산출 결과의 일부가 [Figure 17]에 나타나있다.
본 절에서는 주제별 문서 집합으로부터 주제별 요약문을 도출한 결과를 제시한다. 주제별 문장을 Sen2Vec을 이용해 문장 벡터로 변환하고, 벡터 간 코사인 유사도를 계산하여 문장의 유사도 행렬을 도출하였다. 또한 이를 이진 유사도 행렬로 변환한 뒤 완전성과 간결성 측면의 문서 요약을 진행하였다.

대상 데이터

Word2Vec 학습에는 50,000건의 문장을 모두 사용하였으며, 리뷰의 대상이 된 호텔 중 가장 많은 수의 문장을 포함하고 있는 New York 소재“E” 호텔을 선정하여 해당 호텔의 리뷰 문장 23,087개에 대한 요약을 수행하였다.
본 절에서는 3장에서 소개한 제안 방법론의 검증을 위한 실험 환경과 데이터를 소개한다. 실험을 위해 여행 정보 사이트인 TripAdvisor로부터 리뷰를 수집하고, 이들 리뷰를 문장으로 분해하여 총 50,000건의 문장 집합을 구성하였다. Word2Vec 학습에는 50,000건의 문장을 모두 사용하였으며, 리뷰의 대상이 된 호텔 중 가장 많은 수의 문장을 포함하고 있는 New York 소재“E” 호텔을 선정하여 해당 호텔의 리뷰 문장 23,087개에 대한 요약을 수행하였다.

데이터처리

Word2Vec 학습에는 50,000건의 문장을 모두 사용하였으며, 리뷰의 대상이 된 호텔 중 가장 많은 수의 문장을 포함하고 있는 New York 소재“E” 호텔을 선정하여 해당 호텔의 리뷰 문장 23,087개에 대한 요약을 수행하였다. 실험에서 토픽 모델링과 TF-IDF 가중치 도출은 SAS Enterprise Miner 14.2를 사용했으며, 용어 및 문장 간 유사도 도출, 그리고 문서 요약은 Python 3.6을 사용하였다.

이론/모형

이를 위해 대상 문서에 포함된 용어를 벡터로 변환한 후 벡터 간유사도에 따라 유의어를 식별한다. 본 연구에서는 용어의 벡터 변환에는 Word2Vec 알고리즘을 활용하며, 벡터 간 유사도는 코사인 유사도로 측정한다(Figure 5).

성능/효과

그 결과 “Food”, “Location”, “Room”, 그리고“Service”의 주제에 대한 문서 집합은 각각 1,558개, 1,957개, 4,119개, 그리고 3,853개의 문장으로 구성되었다.
두 기법 모두 “Food”와 “Location”에 비해 “Room”과 “Service”의 문장 수가 높게 나타나며, 이는 원문에서의 주제별 분포의 영향을 받은 것으로 보인다. 또한 기존 기법의 경우 임계값의 변화에 따른 주제별 구성 비율의 표준 편차가 특정한 양상을 보이지 않는 반면, 제안 방법론의 경우는 임계값의 증가에 따라 주제별 구성 비율의 표준 편차도 증가하는 양상을 보였다. 이로 인해 임계값이 0.
이에 본 연구에서는 주제별 용어 사전 구축을 통해 문서가 포함한 다양한 주제를 식별하고, 대상 문서들을 주제별 문서 집합으로 분할한 후, 각 주제별 요약문을 도출하고 이를 통합함으로써 주제별로 균형이 이루어진 요약문을 도출하는 문서 요약 방법을 새롭게 제시했다. 또한 제안 방법론을 실제 호텔 리뷰 데이터에 적용한 실험을 통해, 제안 방법론을 통해 도출한 요약문의 주제별 구성 비율이 기존 방법론에 의해 도출된 요약문에 비해 고르게 나타남을 확인하였다.

후속연구

우선, 제안 방법론은 문장 간유사도에 기반을 두어 동작하기 때문에, 유사도의 임계값이 결과에 미치는 영향은 절대적이라고 할 수 있다. 따라서 향후 연구에서는 유사도 임계값의 변화가 요약문의 품질에 어떤 영향을 미치는지에 대한 엄밀한 검토가 이루어져야 한다. 이와 관련하여 본 논문에서는 제안 방법론을 통해 도출된 요약문의 품질을 요약문의 주제별 구성 비율 측면에서만 평가하였다.
우선 본 연구는 낮은 빈도로 인해 소외될 수 있는 주제도 요약문에 포함시킬 수 있는 자동 요약 기법을 새롭게 제안하였으며, 이는 본 연구의 학술적 기여로 인정받을 수있다. 또한 이를 위해 완전성과 간결성이 높은 요약문을 생성하는 기법을 구체적으로 제시한 점도 새로운 시도로 인정받을 수 있을 것이다. 또한 주제별 용어 사전을 구축하는 과정에서 Word2Vec을 적용하여 비교적 수월한 방법으로 양질의 사전을 구축하였으며, 이러한 방식은 유사한 주제를 다루는 후속 연구에서도 충분히 활용할 수 있을 것이다.
또한 이를 위해 완전성과 간결성이 높은 요약문을 생성하는 기법을 구체적으로 제시한 점도 새로운 시도로 인정받을 수 있을 것이다. 또한 주제별 용어 사전을 구축하는 과정에서 Word2Vec을 적용하여 비교적 수월한 방법으로 양질의 사전을 구축하였으며, 이러한 방식은 유사한 주제를 다루는 후속 연구에서도 충분히 활용할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	텍스트 마이닝은 어떤 분야인가?	텍스트 마이닝(Text Mining)은 기존의 데이터마이닝의 다양한 기법을 텍스트 데이터에 접목한 분야로써, 텍스트 데이터로부터 알려지지 않은 새로운 사실을 발견하고 이를 통해 통찰을 도출하는 분야로(Tan, 1999) 정의된다. 텍스트 마이닝을 수행하기 위해선 텍스트 데이터의 수집과 분할, 정제와 같은 전처리 과정이 필요하며, 분석을 위해 자연어 형태의 텍스트를 정형화된 형태로 바꾸는 구조화의 단계가 선행되어야 한다.
	문서 요약이란 무엇인가?	문서 요약은 하나 이상의 문서로부터 중요한 정보를 찾아내고 해당 정보를 포함하는 짧은 문서로 축소하는 과정이라고 정의할 수 있으며(Eduard, 2015), 이렇게 도출된 요약문은 원문이 지닌 정보를 최대한 반영하여 정보의 손실을 최소화하면서도 객관적으로 전달해야 한다. 이에 따라 사람의 주관이 개입하지 않는 자동 요약에 대한 연구가 주목을 받아 활발히 이루어지고있다(Nenkova, 2012).
	Word2Vec은 CBOW(Continuous Bag of Words)와 Skip-Gram 두 가지 알고리즘을 활용하는데, 이들은 각각 어떤 알고리즘인가?	2013), CBOW(Continuous Bag of Words)와 Skip-Gram 두 가지 알고리즘을 활용하여 용어의 벡터화를 수행한다. CBOW는 대상 용어를 기준으로 주위에 등장하는 용어들에 대한 벡터를 도출하는 학습 모델이고, Skip-Gram 모델은 대상 용어와 인접하게 위치한 용어들을 바탕으로 대상 용어에 대한 벡터를 도출한다. Word2Vec은 기존의 임베딩 모델이 시도하지 않았던 개별 용어 관점의 구조화를 진행하였다는 점에 모델의 독창성을 인정받아 다양한 분야에서 활용되고있다.

참고문헌 (33)

Bingham, E. and H. Mannila, "Random projection in dimesionality reduction: applications to image and text," Proceedings of the seventh ACM SIGKDD international conference on Knowledge discovery and data mining, (2001), 245-250.
Chen, Y. and M. Bansal, "Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting," Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, (2018), 675-686.
Chorpa, S., M. Auli and A. Rush, "Abstractive Sentence Summarization with Attentive Recurrent Neural Networks," Proceedings of North American Chapter of the Association for Computational Linguistics: Human Language Technologies, (2016), 93-98.
Eduard, H., and C. Lin, "Automated text summarization and the SUMMARIST system," Proceedings of a workshop, (1998), 197-214.
Eduard, H., The Oxford Handbook of Computational Linguistics 2nd edition, Oxford University Press, Oxford, 2015.
Erk, K. and S. Pado, "A structured vector space model for word meaning in context," Proceedings of the Conference on Empirical Methods in Natural Language Processing, (2008), 897-906.
Gao, J., Y. He, X. Zhang and Y. Xia, "Duplicate Short Text Detection Based on Word2Vec," 2017 8th IEEE International Conference on Software Engineering and Service Science, (2017), 33-38.
Goldstein, J., M. Kantrowitz, V. Mittal and J. Carbonell, "Summarizing text documents: sentence selection and evaluation metrics," Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval, (1999), 121-128.
Gong, Y. and X. Liu, "Generic text summarization using relevance measure and latent semantic analysis," Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval, (2001), 19-25.
Gupta, V. and G. Lehal, "A Survey of Text Summarization Extractive Techniques," JOURNAL OF EMERGING TECHNOLOGIES IN WEB INTELLIGENCE, Vol.2, No.3(2010), 258-268.
Joel, L. N., A. Alex and C, Kaestner, "Automatic Text Summarization Using a Machine Learning Approach," Brazilian Symposium on Artificial Intelligence, (2002), 205-215.
Kageback, M., O. Mogren, N. Tahmasebi and D. Dubhashi, "Extractive Summarization using Continuous Vector Space Models," Proceedings of the 2nd Workshop on Continuous Vector Space Models and their Compositionality, (2014), 31-39.
Kim, J., J. Kim and D. Hwang, "Korean Text Summarization Using an Aggregate Similarity," Proceedings of the fifth international workshop on on Information retrieval with Asian languages, (2000), 111-118.
Ko, E. and N. Kim, "Automatic Quality Evaluation with Completeness and Succinctness for Text Summarization," Journal of Intelligence and Information Systems, Vol.24, No.2(2018), 125-148.
Li, W., X. Xiao, Y. Lyu and Y. Wang, "Improving Neural Abstractive Document Summarization with Structural Regularization," Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, (2018), 4078-4097.
Marco, B., D. Georgiana and K. German, "Don't count, predict! A Systematic comparison of context-counting vs. context-predicting semantic vectors," Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, (2014), 238-247.
Mikolov, T., I. Sutskever, K. Chen, G. Corrado and J. Dean, "Distributed representations of words and phrases and their compositionality," Proceedings of the 26th International Conference on Neural Information Processing Systems, Vol.2, (2013), 3111-3119.
Mittal, N., B. Agarwal, H. Mantri, R. Goyal and M. Jain, "Extractive Text Summarization," International Journal of Current Engineering and Technology, Vol.4, No.2(2014), 870-872.
Mohamed, A. F. and R. Fuji, "GA, MR, FFNN, Pnn and GMM based models for automatic text summarization," Computer Speech & Language, Vol.23, (2009), 126-144.

상세보기
Nallapati, R., B. Zhou, C. Santos, C. Gulcehre and B. Xiang, "Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond," Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, (2016), 280-290.
Nenkova, A. and K. Mckewon, "A Survey of Text Summarization Techniques," Mining Text Data, (2012), 43-76.
Omer, L., Y. Goldberg and I. Dagan, "Improving Distributional Similarity with Lessons Learned from Word Embeddings," Transactions of the Association for Computational Linguistics, Vol.3, (2015), 211-225.

상세보기
Rachit, A. and B. Ravindran "Latent Dirichlet Allocation and Singular Value Decomposition Based Multi-document Summarization," 2008 8th IEEE International Conference on Data Mining, (2008), 713-718.
Ramiz, M. A., "A new sentence similarity measure and sentence based extractive technique for automatic text summarization," Expert Systems with Applications, Vol.36, (2009), 7764-7772.

상세보기
Salton, G., A. Wong and C. S. Yang, "A Vector Space Model for Automatic Indexing," Communications of the ACM, Vol.18, No.11(1975), 613-620.

상세보기
Singhal, A., "Modern Information Retrieval: A Brief Overview," Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, (2001), 35-43.
Sonawane, S., A. Ghotkar and S. Hinge, "Context-Based Multi-document Summarization," Contemporary Advances in Innovative and Applicable Information Technology, (2018), 153-165.
Tan, A. "Text Mining: The state of the art and the challenges," Proceedings of the Pacific Asia Conf on Knowledge Discovery and Data Mining PAKDD'99 workshop on Knowledge Discovery from Advanced Databases, (1999), 65-70.
Wan, X. and J. Yang, "Multi-document summarization using cluster-based link analysis," Proceedings of the 31st annual international ACM SIGIR conference on Research and development in information retrieval, (2008), 299-306.
Wen, Z., T. Yoshida and X. Tang, "A comparative study of TF*IDF, LSI and multi-words for text classification," Expert Systems with Applications, Vol.38, No.3(2011), 2758-2765.

상세보기
Yeh, J. Y., H. Ke and W. Yang, "iSpreadRank: Ranking sentences for extraction-based summarization using feature weight propagation in the sentence similarity network," Expert Systems with Applications, Vol.35, (2008), 1451-1462.

상세보기
Zhang, F., J. Yao and R. Yan, "On the Abstractiveness of Neural Document Summarization," Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, (2018), 785-790.
Zhang, P. and C. Li, "Automatic text summarization based on sentences clustering and extraction," 2009 2nd IEEE International Conference on Computer Science and Information Technology, (2009), 167-170.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증