[논문]텍스트 데이터 분석을 위한 근접성 데이터의 생성과 군집화

정민지; 신상민; 최용석

doi:10.5351/kjas.2019.32.3.451

초록
AI-Helper

문서-용어 빈도행렬은 텍스트 마이닝 분야에서 보편적으로 사용되는 데이터의 한 유형으로, 여러 개체들이 제공하는 문서를 기반으로 만들어진다. 그러나 대다수의 연구자들은 개체 정보에 무게를 두지 않고 여러 문서에서 공통적으로 등장하는 공통용어 중 핵심적인 용어를 효과적으로 찾아내는 방법에 집중하는 경향을 보인다. 공통용어에서 핵심어를 선별할 경우 특정 문서에서만 등장하는 중요한 용어들이 공통용어 선정단계에서부터 배제될 뿐만 아니라 개별 문서들이 갖는 고유한 정보가 누락되는 등의 문제가 야기된다. 본 연구에서는 이러한 문제를 극복할 수 있는 데이터를 근접성 데이터라 정의한다. 그리고 근접성 데이터를 생성할 수 있는 12가지 방법 중 개체 군집화의 관점에서 가장 최적화된 방법을 제안한다. 개체 특성 파악을 위한 군집화 알고리즘으로는 다차원척도법과 K-평균 군집분석을 활용한다.

Abstract ▼ AI-Helper

Document-term frequency matrix is a type of data used in text mining. This matrix is often based on various documents provided by the objects to be analyzed. When analyzing objects using this matrix, researchers generally select only terms that are common in documents belonging to one object as keyw...

Document-term frequency matrix is a type of data used in text mining. This matrix is often based on various documents provided by the objects to be analyzed. When analyzing objects using this matrix, researchers generally select only terms that are common in documents belonging to one object as keywords. Keywords are used to analyze the object. However, this method misses the unique information of the individual document as well as causes a problem of removing potential keywords that occur frequently in a specific document. In this study, we define data that can overcome this problem as proximity data. We introduce twelve methods that generate proximity data and cluster the objects through two clustering methods of multidimensional scaling and k-means cluster analysis. Finally, we choose the best method to be optimized for clustering the object.

주제어

표/그림 (8)

그림 Figure 2.1. The process of ﬁnding one elbow point. TF-IDF = term frequency-inverse document frequency.
표 Table 2.1. The methods for creating a document-keyword weighted matrix
표 Table 2.2. Proximity data generated by 12 methods
그림 Figure 3.1. Applications of multidimensional scaling using different distance measures. d_ED = Euclidean distance;d_CD = chi-square distance; d_WED = weighted Euclidean distance.
그림 Figure 3.2. Applications of multidimensional scaling using diﬀerent weighting and ﬁltering methods.
표 Table 3.1. The average silhouette statistics according to k
표 Table 3.2. Real classiﬁcation of the nineteen government-funded research institutes
표 Table 3.3. The calculation result of Γ and MIR

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이때 다양한 거리측도를 사용하면 두 문서 간의 거리, 즉 비유사성을 계산할 수 있는데 본 연구에서는다음 세 가지 거리측도를 사용하고자 한다.
개체 군집화에 최적화된 근접성 데이터 생성법을 제안하기 위하여, 2016년 한 해 동안 경제·인문사회연구회 소속 정부출연연구기관들이 기관별 홈페이지에 무료로 배포한 정기간행물을 연구 자료로 활용하고자 한다.
다차원척도법도는 비유사성 행렬이 갖는 값에 따라 형태가 변하므로 비유사성을 측정하는 거리측도에 따라 결과는 달라진다. 거리측도만 다르게 적용한 근접성 데이터의 다차원척도법도를 살펴보자. Fig-ure 3.
그러나 이 방법은 개별 문서가 갖는 고유 정보를 누락시킬 뿐만 아니라 특정 문서에서만 발생빈도가 높은 잠재 적 핵심어를 제거하는 문제를 초래한다. 본 연구에서는 이러한 문제를 극복할 수 있는 근접성 데이터 생성법 12가지를 개발하였다. 12가지 방법 중 텍스트 데이터 군집에 특화된 방법을 찾기 위하여 2016년 한 해 동안 정부출연연구기관에서 발간한 정기간행물을 연구 자료로 활용하여 근접성 데이터를 생성하고 다차원척도법과 K-평균 군집분석을 적용하였다.
개체 정보는 고려하였을지라도 각 문서가 가지고 있는 고유한 정보는 고려하지 않았기 때문이다. 이러한 문제를 극복하기 위하여 각 문서별 핵심어 정보가 반영된 문서 간 비유사성 행렬을 생성하고자 한다. g개의 개체 정보가 존재하며 크기가 n×q인 문서-핵심어 가중행렬 X는 크기가 n_r ×q, r = 1, .
이어지는 [용어 필터링 방법]에서 용어를 필터링하는 두 가지 방법을 소 개하고 핵심어를 선정하는 과정을 상세히 설명하고자 한다.

제안 방법

12가지 방법 중 텍스트 데이터 군집에 특화된 방법을 찾기 위하여 2016년 한 해 동안 정부출연연구기관에서 발간한 정기간행물을 연구 자료로 활용하여 근접성 데이터를 생성하고 다차원척도법과 K-평균 군집분석을 적용하였다.
다차원척도법으로 분석한 결과 12가지 방법 중 가중유클리드거리를 사용하는 Method 3, 6, 9, 12를 선택하였고, 네 가지 방법 중에서는 일부 개체의 특성이 과하게 추정되지 않는 Method 3, 6, 9를 선택하였다. 바람직한 개체 군집화가 이루어졌는지를 수치로 비교하기 위해 K-평균 군집분석을 실시하였다.
Γ와 오분류율을 활용하여 비교한 결과 Method 9로 생성한 근접성 데이터 Ψ₉이 가장 우수한 결과를 도 출하였다. 따라서 개체별로 용어 가중치를 부여하고 전체 용어를 기준으로 핵심어를 필터링한 후 가중 유클리드거리를 적용하는 근접성 데이터 생성법 Method 9를 최종 제안한다. 텍스트 데이터 생성 시 본 연구에서 제안한 방법을 활용한다면 각 문서별 용어의 특이성을 반영할 뿐만 아니라 개체 군집화 역시 바람직하게 이루어지는 데이터를 생성할 수 있을 것이다.
본 연구에서는 텍스트 마이닝 뿐만 아니라 보편적으로 많이 사용하는 K-평균 알고리즘을 활 용하여 군집분석을 수행한다.
이어지는 3.2절에서는 세 가지 Method로 만들어진 근접성 데이터에 K-평균법을 적용하여 개체 군집화에 가장 적합한 방법 하 나를 선택하고자 한다.

대상 데이터

분석 대상이 되는 개체는 총 19개의 연구기관이며 알파벳 A부터 S로 표시한다. 문서-용어 빈도행렬의 행에 해당하는 문서는 각 연구기관에서 제공하는 간행물 343개이며 열에 해당하는 용어는 간행물에서추출한 명사 용어 26,352개이다.

데이터처리

다차원척도법으로 분석한 결과 12가지 방법 중 가중유클리드거리를 사용하는 Method 3, 6, 9, 12를 선택하였고, 네 가지 방법 중에서는 일부 개체의 특성이 과하게 추정되지 않는 Method 3, 6, 9를 선택하였다. 바람직한 개체 군집화가 이루어졌는지를 수치로 비교하기 위해 K-평균 군집분석을 실시하였다. Γ와 오분류율을 활용하여 비교한 결과 Method 9로 생성한 근접성 데이터 Ψ₉이 가장 우수한 결과를 도 출하였다.

이론/모형

Γ를 도출하기 위해 Nam과 Choi (2017)의 이론을 참고한다.
가장 대표적인 유클리드거리(Euclidean distance, d ED )와 행 범주 간 거리 계산에 사용되는 카이제곱거리(chi-square distance, d CD ) 그리고 행 프로파일 벡터 간거리를 계산하는 가중유클리드거리(weighted Euclidean distance, d WED )를 사용한다.
개체 군집화 기법으로는 전통적 으로 사용되어 왔던 다차원척도법(multidimensional scaling)과 비계층적 군집분석의 일종인 K-평균 군 집분석(K-means cluster analysis)을 사용한다.
따라서 개체 간의 평균적인 비유사성을 나타내는 거리행렬로는 사용할 수 없다. 대각원소를 0으로 만들기 위해 Cox와 Cox (2001)을 참고하고자 한다. r번째 개체의 평균좌표와 s번째 개체의 평균좌표 간 거리를 ψ_rs라 하면 ψ_rs= |2f rs ? f rr ? f ss |가 성립한다.
적정 군집 수인 k를 결정하기 위해 Rousseeuw (1987) 및 Cho 등 (2015)의 내용을 토대로 실루엣 통계 량(silhouette statistics)을 계산하고자 한다.

성능/효과

다차원척도법이란 다차원 상에 존재하는 개체 간 유사성 또는 비유사성을 저차원 공간에 기하적으로 나타내어 개체 간 관계를 파악하는 다변량 기법이다 (Choi, 2014). 12개의 근접성 데이터는 개체 간의 평균적인 비유사성을 나타내는 거리행렬이므로 다차원척도법 적용이 가능하다.
계산 결과 군집 수는 4일 때보다 2일 때가 더 좋고 Method 3에서 Method 9로 갈수록 결과 값이 나아짐을 확인하였다. 3.1절의 다차원척도법과 3.2절의 K-평균 군집분석 결과에 따라 텍스트 데이터로부터 개체 군집화에 최적화된 결과를 도출하는 근접성 데이터 생성법은 Method 9임을 확인하였다.
계산 결과 군집 수는 4일 때보다 2일 때가 더 좋고 Method 3에서 Method 9로 갈수록 결과 값이 나아짐을 확인하였다.
다차원척도법을 활용한 시각적 군집 결과를 바탕으로 Method 3, 6, 9로 생성된 근접성 데이터 Ψ3, Ψ6, Ψ9가 상대적으로 개체 간 군집 경향을 바람직하게 형성한다는 결론은 내린다.
둘째, 개체들이 가지고 있는 공통 용어를 찾아내어 행에는 다수의 개체가 열에는 공통 용어가 나 열된 새로운 개체-공통어 빈도행렬을 만드는 것이다.
따라서 세 거리 측도 중 개체 군집화에 적합한 거리측도는 가중유클리드거리임을 확인하였다.
첫째, 여러 개체가 제공하는 모든 문서를 종합하여 하나의 문서-용어 빈도행렬을 만 든다.

후속연구

텍스트 데이터 생성 시 본 연구에서 제안한 방법을 활용한다면 각 문서별 용어의 특이성을 반영할 뿐만 아니라 개체 군집화 역시 바람직하게 이루어지는 데이터를 생성할 수 있을 것이다.
그러나 하나의 연구 자료만을 활용하였기 때문에 결과를 일반화하여 단정 짓기엔 다소 무리가 있을 것이다. 따라서 다양한 연구 자료에 해당 방법을 적용하고 더 나은 결과를 도출하는 기법을 찾는 연구가 필요하다고 생각한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	TF-IDF만 사용할 때 문서-용어 빈도행렬에서 발생하는 단점은?	즉 일반적으로 흔하게 사용되는 용어에는 낮은 가중치가 부여되고 특정 문서에서 유독 많이 사용하는 용어에는 높은 가중치가 부여되는 것이다. 그러나 단순히 TF-IDF만 사용하면 문서-용어 빈도행렬 Y 전체에 가중치가 일괄적으로 부여되므로 개체 정보가 무의 미해지는 단점이 존재한다. 아래에서 소개할 [TF-IDF 가중치 부여 방법]에서는 단순한 TF-IDF인 [방법 W1]을 먼저 설명한 후 본 연구에서 새롭게 제안하는 개체별 용어 가중치 계산법인 [방법 W2]를 정의하고자 한다.
	문서-용어 빈도행렬이란?	문서-용어 빈도행렬(document-term frequency matrix)은 행에는 문서가 열에는 문서에서 추출한 용 어가 나열되고 각 용어의 발생빈도를 원소(element)로 하는 데이터이다. 분석하고자 하는 특정 개 체(object)가 존재할 때 해당 개체가 제공하는 문서를 바탕으로 문서-용어 빈도행렬을 만든다.
	문서-용어 빈도행렬에서 개체가 두 개 이상인 경우 행렬을 생성하는 방법은?	개체가 두 개 이상인 경우 다음과 같은 두 가지 방법으로 행렬을 생성할 수 있다. 첫째, 여러 개체가 제공하는 모든 문서를 종합하여 하나의 문서-용어 빈도행렬을 만 든다. 둘째, 개체들이 가지고 있는 공통 용어를 찾아내어 행에는 다수의 개체가 열에는 공통 용어가 나 열된 새로운 개체-공통어 빈도행렬을 만드는 것이다. 전자는 각 개체의 특성을 반영하지 못하고, 후자는 공통어가 아닐 경우 개별 문서에서 중요한 용어라 할지라도 삭제하기 때문에 두 방법 모두 문제가 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

텍스트 데이터 분석을 위한 근접성 데이터의 생성과 군집화
Creation and clustering of proximity data for text data analysis 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (8)

표/그림 (8)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

텍스트 데이터 분석을 위한 근접성 데이터의 생성과 군집화 Creation and clustering of proximity data for text data analysis 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (8) 모든 표/그림 보기

표/그림 (8) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

최용석 (34)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

텍스트 데이터 분석을 위한 근접성 데이터의 생성과 군집화
Creation and clustering of proximity data for text data analysis 원문보기

초록
AI-Helper

표/그림 (8)

표/그림 (8)

AI 본문요약
AI-Helper