[논문]키워드 추출과 군집화 기반의 논문 분류 시스템의 설계 및 구현

이윤수; 테이퍼악떠라; 이종혁; 길준민

키워드 추출과 군집화 기반의 논문 분류 시스템의 설계 및 구현
Design and Implementation of Paper Classification Systems based on Keyword Extraction and Clustering 원문보기

이윤수 (대구가톨릭대학교 컴퓨터정보통신공학과) , 테이퍼악떠라 (대구가톨릭대학교 컴퓨터정보통신공학과) , 이종혁 (대구가톨릭대학교 빅데이터공학과) , 길준민 (대구가톨릭대학교 IT공학과)

컴퓨터 및 기술의 발전으로 힘입어 수많은 논문이 오프라인뿐 아니라 온라인으로 발행되고 있고, 새로운 분야들도 계속 생기면서 사용자들은 방대한 논문들 중 자신이 필요로 하는 논문을 검색하거나 분류하기에 많은 어려움을 겪고 있다. 이러한 한계를 극복하기 위해 본 논문에서는 유사 내용의 논문을 분류하고 이를 군집화하는 방법을 제안한다. 제안하는 방법은 TF-IDF를 이용하여 각 논문의 초록으로 부터 대표 주제어를 추출하고, K-means 클러스터링 알고리즘을 이용하여 추출한 TF-IDF 값을 근거로 논문들을 유사 내용의 논문으로 군집화한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

한편, K-means 클러스터링 알고리즘은 사용자가 클러스터의 개수를 미리 지정해야 하는 단점이 있다. 따라서 본 논문에서는 엘보우 기법(Elbow scheme)[5]을 이용하여 적절한 클러스터 개수를 유도하고자 한다. 엘보우 기법은 최적의 클러스터 개수를 구하기 위한 알고리즘으로 알려져 있으며, 한 개의 클러스터 개수를 추가했을 때, 추가하기 전보다 훨씬 더 좋은 결과가 나타나지 않으면 이전의 클러스터 개수를 최적의 클러스터 개수로 설정한다.
사용자들이 효율적으로 논문을 검색하고 이용하도록 하기 위해서는 수많은 논문에 대한 각각의 주제를 추출하고, 유사 내용의 논문을 분류할 필요가 있다. 따라서 본 논문에서는 초록의 핵심을 파악하여 유사한 논문을 분류하는 방법을 제안한다. 이를 위해 초록에서 키워드 추출을 위해 TF-IDF 기법[1]과 키워드 분류를 위해 K-means 클러스터링 기법[2]을 사용한다.
본 논문에서는 키워드 추출에 기반하여 유사 내용의 논문을 분류하고 이를 군집화 하는 논문 분류 시스템을 설계 및 구현하였다. TF-IDF 기법을 이용하여 각 논문을 대표하는 키워드를 추출하였고, 추출한 키워드를 이용하여 K-means 클러스터링 알고리즘으로 군집화를 수행하였다.
이 절에서는 TF-IDF 모델과 하둡 맵리듀스 프레임워크에 기반하여 논문들을 주제별 유사 그룹으로 분류할 수 있는 방법에 대해서 설명한다. 전체적인 연구 모델은 다음과 같다.

제안 방법

본 논문에서 제안하는 논문 초록 내용 분석을 통한 주제 분류를 위해 하둡 시스템을 데이터 처리를 위해 사용하였으며, 구체적으로 마스터 노드 서버 1대, 서브 노드 서버 1대, 데이터 노드 서버 4대로 시스템을 구성하였다. HDFS 및 맵리듀스 프레임워크(Hadoop-2.6.5 버전) 상에서 TF-IDF를 Java 언어를 이용하여 구현하였으며, Python Scikit-learn 라이브러리[6]를 활용하여 K-means 클러스터링 알고리즘을 구현하였다. 한편, 실험에 사용한 논문 데이터는 FGCS(Future Generation Computer System) 저널을 대상으로 3년(2015∼2017) 동안 게재된 논문(543개)을 크롤링한 제목, 초록, 키워드이다.
본 논문에서는 키워드 추출에 기반하여 유사 내용의 논문을 분류하고 이를 군집화 하는 논문 분류 시스템을 설계 및 구현하였다. TF-IDF 기법을 이용하여 각 논문을 대표하는 키워드를 추출하였고, 추출한 키워드를 이용하여 K-means 클러스터링 알고리즘으로 군집화를 수행하였다. 실제 출판된 FCFS 저널의 논문 데이터를 활용한 실험 결과는 추출한 키워드들이 각 논문의 주제를 잘 나타내고 있고, 군집화 결과도 연관된 주제의 논문끼리 비교적 잘 분류되었음을 확인하였다.
세 번째, 각 논문의 초록에서 각 단어가 출현한 횟수를 계산한다. 네 번째, 키워드 사전에 정의된 각 단어들이 전체 논문의 초록에 얼마나 많이 나오는지를 계산한다. 다섯 번째, 키워드 사전에 정의된 각 단어들이 전체 논문의 초록 중에서 몇 개 논문의 초록에 출현하는지를 계산한다.
네 번째, 키워드 사전에 정의된 각 단어들이 전체 논문의 초록에 얼마나 많이 나오는지를 계산한다. 다섯 번째, 키워드 사전에 정의된 각 단어들이 전체 논문의 초록 중에서 몇 개 논문의 초록에 출현하는지를 계산한다. 여섯 번째, 네 번째와 다섯 번째 단계에서 구한 결과 값을 이용하여 각 논문의 키워드별 TF-IDF 값을 계산한다.
대용량의 논문에서 논문의 키워드를 효과적으로 추출·처리하기 위해 본 논문에서는 높은 확장성을 갖고 대용량 데이터를 신속하고 안정적으로 처리할 수 있는 분산 병렬처리 프레임워크인 하둡 분산파일 시스템[3]에서 TF-IDF의 개별 연산을 맵리듀스(map/reduce) 프로그래밍 모델을 활용하여 구현하고 실행한다.
첫 번째, 데이터 수집 기간을 선정하여 해당 기간에 게재된 논문을 자동으로 수집한다. 두 번째, 수집된 각 논문의 키워드를 기반으로 키워드 사전을 구축한다. 전체 논문의 총 키워드 수가 많으므로, 전체 키워드 중 빈도 수가 높은 상위 N개(Top-N)의 키워드를 사용한다.
그러나 총 1394개의 대표 키워드 모두를 논문 분류 시 활용한다면, 많은 계산 시간을 필요로 한다. 따라서 본 논문에서는 계산 시간의 절감을 위해 대표 키워드 중 빈도 수가 높은 상위 10개, 20개, 30개의 키워드만을 이용한다. <표 1>은 상위 10∼30개의 키워드를 보여준다.
일반적으로 초록은 논문의 전체 내용 중 핵심 정보를 짧으면서도 흥미롭고 이해하기 쉽게 작성되어야 하므로 초록 내용은 연구의 특징, 의미, 결과를 빠르게 파악할 수 있도록 작성된다. 따라서 사용자는 논문을 검색할 때 논문의 전체 내용을 쉽고 빠르게 파악하기 위해서 제목과 함께 초록을 먼저 읽어보고 해당 논문의 주제를 파악하고 분류한다.
이를 위해 초록에서 키워드 추출을 위해 TF-IDF 기법[1]과 키워드 분류를 위해 K-means 클러스터링 기법[2]을 사용한다. 또한 대표 키워드들의 사전을 구축하여 다른 단어 같은 의미인 동의이음어들도 논문의 TF-IDF 값을 추출할 때 함께 이용한다.
본 논문에서는 엘보우 기법의 클러스터의 수를 2부터 100까지의 범위로 지정하여 결과 값을 측정하였다. 측정결과, 상위 10개의 키워드를 이용한 군집화에서는 클러스터의 개수가 24개, 상위 20개의 키워드는 33개, 상위 30개 키워드는 37개가 가장 적절한 클러스터의 개수로 계산되었다.
다섯 번째, 키워드 사전에 정의된 각 단어들이 전체 논문의 초록 중에서 몇 개 논문의 초록에 출현하는지를 계산한다. 여섯 번째, 네 번째와 다섯 번째 단계에서 구한 결과 값을 이용하여 각 논문의 키워드별 TF-IDF 값을 계산한다. 일곱 번째, TF-IDF 결과 값을 K-means 클러스터링 알고리즘을 이용하여 유사 주제의 논문들로 군집화한다.
여섯 번째, 네 번째와 다섯 번째 단계에서 구한 결과 값을 이용하여 각 논문의 키워드별 TF-IDF 값을 계산한다. 일곱 번째, TF-IDF 결과 값을 K-means 클러스터링 알고리즘을 이용하여 유사 주제의 논문들로 군집화한다. <그림 1>는 본 논문에서 제안하는 논문 초록 내용 분석을 통한 주제 분류 시스템의 전체적인 흐름을 나타낸다.
전체적인 연구 모델은 다음과 같다. 첫 번째, 데이터 수집 기간을 선정하여 해당 기간에 게재된 논문을 자동으로 수집한다. 두 번째, 수집된 각 논문의 키워드를 기반으로 키워드 사전을 구축한다.

대상 데이터

본 논문에서 제안하는 논문 초록 내용 분석을 통한 주제 분류를 위해 하둡 시스템을 데이터 처리를 위해 사용하였으며, 구체적으로 마스터 노드 서버 1대, 서브 노드 서버 1대, 데이터 노드 서버 4대로 시스템을 구성하였다. HDFS 및 맵리듀스 프레임워크(Hadoop-2.
<그림 1>의 키워드 사전 구축 단계에서는 데이터 크롤링 단계에서 추출한 키워드에 기반하여 키워드 사전을 구축한다. 본 논문에서는 유사한 의미의 키워드들을 하나의 대표 키워드로 하여 총 1394개의 대표 키워드를 선정하였다. 그러나 총 1394개의 대표 키워드 모두를 논문 분류 시 활용한다면, 많은 계산 시간을 필요로 한다.
아울러, 제안 방법의 적응성과 실용성 검증을 위해, FGCS(Future Generation Computer Systems) 저널[4]의 2015∼2017년도에 발행된 논문 제목과 초록을 실험 데이터로 활용한다.
한편, 실험에 사용한 논문 데이터는 FGCS(Future Generation Computer System) 저널을 대상으로 3년(2015∼2017) 동안 게재된 논문(543개)을 크롤링한 제목, 초록, 키워드이다.

이론/모형

본 논문에서 유사 논문의 군집화를 위한 군집화 알고리즘으로 K-means 클러스터링 알고리즘을 사용한다. K-means 클러스터링 알고리즘은 특정 영역을 대표하는 군집의 중심을 찾는 알고리즘으로, 각 논문과 클러스터 중심들 사이의 거리를 측정하여 유사도가 가장 높은 중심점에 논문을 할당한다.
본 논문에서는 최종으로 산출된 클러스터를 평가하기 위한 평가 척도로 내부 평가 기법 중 하나인 실루엣 기법(Silhouette scheme)[5]을 이용한다. 실루엣 기법에서 실루엣 값은 하나의 클러스터 내의 데이터와 다른 클러스터 내의 데이터 간의 거리를 비교하여 유사 정도를 나타내는 척도이다.
같은 중심점에 할당된 논문들은 하나의 군집을 형성한다. <그림 1>의 논문 분류 단계에서 TF-IDF 값과 K-means 클러스터링 알고리즘을 사용하여 유사 논문들의 군집화를 수행한다.
따라서 본 논문에서는 초록의 핵심을 파악하여 유사한 논문을 분류하는 방법을 제안한다. 이를 위해 초록에서 키워드 추출을 위해 TF-IDF 기법[1]과 키워드 분류를 위해 K-means 클러스터링 기법[2]을 사용한다. 또한 대표 키워드들의 사전을 구축하여 다른 단어 같은 의미인 동의이음어들도 논문의 TF-IDF 값을 추출할 때 함께 이용한다.

성능/효과

TF-IDF 기법을 이용하여 각 논문을 대표하는 키워드를 추출하였고, 추출한 키워드를 이용하여 K-means 클러스터링 알고리즘으로 군집화를 수행하였다. 실제 출판된 FCFS 저널의 논문 데이터를 활용한 실험 결과는 추출한 키워드들이 각 논문의 주제를 잘 나타내고 있고, 군집화 결과도 연관된 주제의 논문끼리 비교적 잘 분류되었음을 확인하였다.
본 논문에서는 엘보우 기법의 클러스터의 수를 2부터 100까지의 범위로 지정하여 결과 값을 측정하였다. 측정결과, 상위 10개의 키워드를 이용한 군집화에서는 클러스터의 개수가 24개, 상위 20개의 키워드는 33개, 상위 30개 키워드는 37개가 가장 적절한 클러스터의 개수로 계산되었다. <그림 2>는 상위 10개의 키워드를 이용한 클러스터링에 대해서 클러스터 수의 변화에 따른 엘보우 값을 나타낸 그래프이다.
한편, 상위 20개의 키워드를 이용하여 군집화한 결과, 1번 클러스터의 논문 중 “Uploading multiply deferrable big data to the cloud platform using cost-effective online algorithms” 논문에서 “Map-Reduce” 키워드가 추가되어 클러스터 결과도 기존 결과와 다르게 변경되었다.

핵심어

질문

논문에서 추출한 답변

본 논문에서 초록의 핵심을 파악하여 유사한 논문을 분류하는 방법을 제안하는 이유는 무엇인가?

기술의 진보와 융합으로 새로운 연구 분야가 빠르게 탄생하고 있으며 이에 다양한 분야의 수많은 논문들이 출판되고 있다. 사용자들이 효율적으로 논문을 검색하고 이용하도록 하기 위해서는 수많은 논문에 대한 각각의 주제를 추출하고, 유사 내용의 논문을 분류할 필요가 있다. 따라서 본 논문에서는 초록의 핵심을 파악하여 유사한 논문을 분류하는 방법을 제안한다.

논문의 초록은 무엇인가?

컴퓨터 및 기술의 발전과 더불어 관련된 수많은 논문이 오프라인뿐 아니라 온라인으로 발행되고 있고, 사용자들은 방대한 논문들 중 자신이 필요로 하는 논문을 검색하거나 분류하기에 많은 어려움을 겪고 있다. 논문의 초록은 논문의 요지를 설명한 것으로 논문의 구성요소 중 가장 중요한 부분이다. 일반적으로 초록은 논문의 전체 내용 중 핵심 정보를 짧으면서도 흥미롭고 이해하기 쉽게 작성되어야 하므로 초록 내용은 연구의 특징, 의미, 결과를 빠르게 파악할 수 있도록 작성된다.

일반적으로 초록은 어떻게 작성되어야 하는가?

논문의 초록은 논문의 요지를 설명한 것으로 논문의 구성요소 중 가장 중요한 부분이다. 일반적으로 초록은 논문의 전체 내용 중 핵심 정보를 짧으면서도 흥미롭고 이해하기 쉽게 작성되어야 하므로 초록 내용은 연구의 특징, 의미, 결과를 빠르게 파악할 수 있도록 작성된다. 따라서 사용자는 논문을 검색할 때 논문의 전체 내용을 쉽고 빠르게 파악하기 위해서 제목과 함께 초록을 먼저 읽어보고 해당 논문의 주제를 파악하고 분류한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

키워드 추출과 군집화 기반의 논문 분류 시스템의 설계 및 구현
Design and Implementation of Paper Classification Systems based on Keyword Extraction and Clustering 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

키워드 추출과 군집화 기반의 논문 분류 시스템의 설계 및 구현 Design and Implementation of Paper Classification Systems based on Keyword Extraction and Clustering 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

키워드 추출과 군집화 기반의 논문 분류 시스템의 설계 및 구현
Design and Implementation of Paper Classification Systems based on Keyword Extraction and Clustering 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper