다양한 소셜 미디어 활동과 인터넷 뉴스 기사, 블로그 등을 통해 유통되는 비정형 데이터의 양이 급증함에 따라 비정형 데이터를 분석하고 활용하기 위한 연구가 활발히 진행되고 있다. 텍스트 분석은 주로 특정 도메인 또는 특정 주제에 대해 수행되므로, 도메인별 용어 사전의 구축과 적용에 대한 중요성이 더욱 강조되고 있다. 용어 사전의 품질은 비정형 데이터 분석 결과의 품질에 직접적인 영향을 미치게 되며, 분석 과정에서 정제의 역할을 수행함으로써 분석의 관점을 정의한다는 측면에서 그 중요성이 더욱 강조된다. 이렇듯 용어 사전의 중요성은 기존의 많은 연구에서도 강조되어 왔으나, 용어 사전이 분석 결과의 품질에 어떤 방식으로 어떤 영향을 미치는지에 대한 엄밀한 분석은 충분히 이루어지지 않았다. 따라서 본 연구에서는 전체 문서에서의 용어 빈도수에 기반을 두어 사전을 구축하는 일괄 구축 방식, 카테고리별 주요 용어를 추출하여 통합하는 용어 통합 방식, 그리고 카테고리별 주요 특질(Feature)을 추출하여 통합하는 특질 통합 방식의 세 가지 방식으로 사전을 구축하고 각 사전의 품질을 비교한다. 품질을 간접적으로 평가하기 위해 각 사전을 적용한 문서 분류의 정확도를 비교하고, 각 사전에 고유율의 개념을 도입하여 정확도의 차이가 나타나는 원인을 심층 분석한다. 본 연구의 실험에서는 5개 카테고리의 뉴스 기사 총 39,800건을 분석하였다. 실험 결과를 심층 분석한 결과 문서 분류의 정확도가 높게 나타나는 사전의 고유율이 높게 나타남을 확인하였으며, 이를 통해 사전의 고유율을 높임으로써 분류의 정확도를 더욱 향상시킬 수 있는 가능성을 발견하였다.
다양한 소셜 미디어 활동과 인터넷 뉴스 기사, 블로그 등을 통해 유통되는 비정형 데이터의 양이 급증함에 따라 비정형 데이터를 분석하고 활용하기 위한 연구가 활발히 진행되고 있다. 텍스트 분석은 주로 특정 도메인 또는 특정 주제에 대해 수행되므로, 도메인별 용어 사전의 구축과 적용에 대한 중요성이 더욱 강조되고 있다. 용어 사전의 품질은 비정형 데이터 분석 결과의 품질에 직접적인 영향을 미치게 되며, 분석 과정에서 정제의 역할을 수행함으로써 분석의 관점을 정의한다는 측면에서 그 중요성이 더욱 강조된다. 이렇듯 용어 사전의 중요성은 기존의 많은 연구에서도 강조되어 왔으나, 용어 사전이 분석 결과의 품질에 어떤 방식으로 어떤 영향을 미치는지에 대한 엄밀한 분석은 충분히 이루어지지 않았다. 따라서 본 연구에서는 전체 문서에서의 용어 빈도수에 기반을 두어 사전을 구축하는 일괄 구축 방식, 카테고리별 주요 용어를 추출하여 통합하는 용어 통합 방식, 그리고 카테고리별 주요 특질(Feature)을 추출하여 통합하는 특질 통합 방식의 세 가지 방식으로 사전을 구축하고 각 사전의 품질을 비교한다. 품질을 간접적으로 평가하기 위해 각 사전을 적용한 문서 분류의 정확도를 비교하고, 각 사전에 고유율의 개념을 도입하여 정확도의 차이가 나타나는 원인을 심층 분석한다. 본 연구의 실험에서는 5개 카테고리의 뉴스 기사 총 39,800건을 분석하였다. 실험 결과를 심층 분석한 결과 문서 분류의 정확도가 높게 나타나는 사전의 고유율이 높게 나타남을 확인하였으며, 이를 통해 사전의 고유율을 높임으로써 분류의 정확도를 더욱 향상시킬 수 있는 가능성을 발견하였다.
As the volume of unstructured data increases through various social media, Internet news articles, and blogs, the importance of text analysis and the studies are increasing. Since text analysis is mostly performed on a specific domain or topic, the importance of constructing and applying a domain-sp...
As the volume of unstructured data increases through various social media, Internet news articles, and blogs, the importance of text analysis and the studies are increasing. Since text analysis is mostly performed on a specific domain or topic, the importance of constructing and applying a domain-specific dictionary has been increased. The quality of dictionary has a direct impact on the results of the unstructured data analysis and it is much more important since it present a perspective of analysis. In the literature, most studies on text analysis has emphasized the importance of dictionaries to acquire clean and high quality results. However, unfortunately, a rigorous verification of the effects of dictionaries has not been studied, even if it is already known as the most essential factor of text analysis. In this paper, we generate three dictionaries in various ways from 39,800 news articles and analyze and verify the effect each dictionary on the accuracy of document classification by defining the concept of Intrinsic Rate. 1) A batch construction method which is building a dictionary based on the frequency of terms in the entire documents 2) A method of extracting the terms by category and integrating the terms 3) A method of extracting the features according to each category and integrating them. We compared accuracy of three artificial neural network-based document classifiers to evaluate the quality of dictionaries. As a result of the experiment, the accuracy tend to increase when the "Intrinsic Rate" is high and we found the possibility to improve accuracy of document classification by increasing the intrinsic rate of the dictionary.
As the volume of unstructured data increases through various social media, Internet news articles, and blogs, the importance of text analysis and the studies are increasing. Since text analysis is mostly performed on a specific domain or topic, the importance of constructing and applying a domain-specific dictionary has been increased. The quality of dictionary has a direct impact on the results of the unstructured data analysis and it is much more important since it present a perspective of analysis. In the literature, most studies on text analysis has emphasized the importance of dictionaries to acquire clean and high quality results. However, unfortunately, a rigorous verification of the effects of dictionaries has not been studied, even if it is already known as the most essential factor of text analysis. In this paper, we generate three dictionaries in various ways from 39,800 news articles and analyze and verify the effect each dictionary on the accuracy of document classification by defining the concept of Intrinsic Rate. 1) A batch construction method which is building a dictionary based on the frequency of terms in the entire documents 2) A method of extracting the terms by category and integrating the terms 3) A method of extracting the features according to each category and integrating them. We compared accuracy of three artificial neural network-based document classifiers to evaluate the quality of dictionaries. As a result of the experiment, the accuracy tend to increase when the "Intrinsic Rate" is high and we found the possibility to improve accuracy of document classification by increasing the intrinsic rate of the dictionary.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
실제로 기존의 많은 연구에서 용어 사전의 품질에 따라 문서 분류의 정확도가 영향을 받을 것이라는 주장이 있어 왔으나(최성이, 2014; 김민철, 2013; 홍진성, 2014), 사전의 구성 내용 및 구성 과정이 구체적으로 분류 정확도에 어떻게 영향을 주는지에 대한 엄밀한 검증은 이루어지지 않았다. 따라서 본 연구에서는 용어 사전을 다양하게 구축하고 각 사전의 단어 구성 비율을 고유율 관점에서 비교 및 분석함으로써 융합된 분야를 분석하는 경우 용어 사전의 단어 구성 비율과 사전 구축 방법이 문서 분류의 정확도에 미치는 영향을 살펴보고자 한다.
하지만 용어 사전의 품질이 문서 분류 등 텍스트 분석의 결과에 어떠한 형태로 영향을 미치는지 용어 사전의 단어 구성과 그에 따른 품질 비교에 대한 연구는 찾아보기 어렵다. 따라서 본 연구는 용어 사전 구축 방법에 따라 각 사전을 구성하는 고유 단어 및 범용 단어의 비율이 어떻게 달라지는지 파악하고, 이러한 구성비가 문서 분류기의 성능에 미치는 영향을 분석한다.
본 절에서는 문서 분류 시 사용되는 용어 사전의 다양한 구성 방법을 세분화하여 살펴보고, 각 사전의 성능을 비교하고 분석하여 최적의 사전을 만드는 방안을 제시한다. 구체적으로는 일반적으로 가장 많이 사용되는 방식인 일괄 구축 사전과 앞서 언급한 개별 구축 사전인 용어 통합 사전, 특질 통합 사전을 구성하고, 각각의 용어 사전을 사용했을 때의 문서 분류 예측 정확도를 비교하고 그 차이의 원인을 분석한다.
본 절에서는 세 가지 용어 사전의 구성 방식을 소개한다. NEWS Documents는 카테고리별로 동일한 수의 기사를 추출하여 구성하며, 각 사전을 500개의 용어로 구성하여 용어의 수를 동일하게 구축하였다.
본 연구에서는 다양한 방법 중 토픽 모델링을 활용하여 비정형 문서의 구조화를 수행한다. 즉 본 단계에서의 토픽 모델링은 용어 사전의 구축을 위해서가 아니라 구축된 용어 사전의 품질을 문서 분류를 통해 간접적으로 평가하기 위해 수행한다. 구체적으로는 NEWS Documents를 구성하는 기사에 대한 토픽 모델링 과정에서 일괄 구축 용어 사전이 Start List로 적용되게 된다.
우선 본 부절에서는 개별 구축 방식 중 용어통합 방식에 대해 소개한다. 우선 NEWS Documents의 전체 기사를 카테고리별로 구분한 후, 카테고리별 파싱 및 빈도 계수를 통해 주요 용어를 빈도순으로 정렬한다.
본 연구의 목적은 용어 사전의 구축 방식에 따라 사전의 품질이 어떻게 다르게 나타나는지를 파악하는 것이다. 하지만 사전 품질을 직접적으로 평가할 수 있는 방법은 알려져 있지 않으므로, 본 부절에서는 각 사전을 문서 분류에 적용했을 때 나타나는 분류 정확도를 비교하여 사전의 품질을 간접적으로 평가하고 사전에 따라 문서 분류의 정확도가 상이하게 나타나는 현상을 해석하는 방안을 제시한다.
다음으로 본 연구에서는 사전별로 분류 정확도가 상이하게 나타나는 원인을 규명하기 위해 추가 실험을 수행하였다. 추가 실험은 <그림 12>에서 정확도가 높게 나타난 일괄 구축 사전과 용어 통합 사전의 두 가지 사전에 대해 수행하였으며, 카테고리별로 문서 분류의 정확도를 살펴보았다.
본 실험에서는 다양한 방식에 따라 용어 사전을 구축하고, 각 사전의 품질을 해당 사전을 사용한 문서 분류의 정확도 측면에서 살펴보았다. 또한 사전별로 정확도 차이의 원인을 규명하기위해 사전의 고유율을 정의하고, 각 카테고리별 정확도의 차이를 고유율 관점에서 분석하였다.
비정형 데이터 분석에서 분석 결과의 정제를 위해 사용되는 용어 사전은 수록된 용어의 관점에서 문서를 바라볼 수 있는 기준을 제공한다는 점에서 더욱 중요하게 여겨지고 있다. 이에 본 연구에서는 용어 사전을 구축하는 다양한 방법을 살펴보고, 각 결과로 도출된 용어 사전을 적용한 문서 분류의 정확도에 따라 용어 사전의 품질을 간접적으로 평가하였다. 또한 카테고리마다 분류 정확도가 상이하게 나타나는 현상에 착안하여 사전의 고유율이라는 개념을 정의하였으며, 용어 사전 구축 방법에 따라 사전의 고유율과 문서 분류의 정확도가 다르게 나타나는 현상을 확인하였다.
제안 방법
구체적으로 본 연구에서는 전체 문서에서의 용어 빈도수에 기반을 두어 사전을 구축하는 일괄 구축 방식과 카테고리별 용어 수의 균형을 맞춘 개별 구축 방식의 두 가지 방식으로 용어사전을 구축하여 결과를 분석하고자 한다. 또한 개별 구축 방식은 카테고리별 주요 용어를 추출하여 통합하는 용어 통합 방식과 카테고리별 주요 특질(Feature)을 추출하여 통합하는 특질 통합 방식의 두 가지 방식으로 다시 세분화하여 성능을 비교한다.
구체적으로 본 연구에서는 전체 문서에서의 용어 빈도수에 기반을 두어 사전을 구축하는 일괄 구축 방식과 카테고리별 용어 수의 균형을 맞춘 개별 구축 방식의 두 가지 방식으로 용어사전을 구축하여 결과를 분석하고자 한다. 또한 개별 구축 방식은 카테고리별 주요 용어를 추출하여 통합하는 용어 통합 방식과 카테고리별 주요 특질(Feature)을 추출하여 통합하는 특질 통합 방식의 두 가지 방식으로 다시 세분화하여 성능을 비교한다. 성능 비교 시 이들 사전을 구성하는 용어의 특성에 따라 고유 용어를 정의하고 고유율의 개념을 도입하여 정확도의 차이가 나는 원인을 심층 분석한다.
또한 개별 구축 방식은 카테고리별 주요 용어를 추출하여 통합하는 용어 통합 방식과 카테고리별 주요 특질(Feature)을 추출하여 통합하는 특질 통합 방식의 두 가지 방식으로 다시 세분화하여 성능을 비교한다. 성능 비교 시 이들 사전을 구성하는 용어의 특성에 따라 고유 용어를 정의하고 고유율의 개념을 도입하여 정확도의 차이가 나는 원인을 심층 분석한다.
본 절에서는 문서 분류 시 사용되는 용어 사전의 다양한 구성 방법을 세분화하여 살펴보고, 각 사전의 성능을 비교하고 분석하여 최적의 사전을 만드는 방안을 제시한다. 구체적으로는 일반적으로 가장 많이 사용되는 방식인 일괄 구축 사전과 앞서 언급한 개별 구축 사전인 용어 통합 사전, 특질 통합 사전을 구성하고, 각각의 용어 사전을 사용했을 때의 문서 분류 예측 정확도를 비교하고 그 차이의 원인을 분석한다. 제안 방법론의 전체적 개요는 <그림 2>와 같다.
마지막으로 우측의 흐름은 개별 구축 방식 중 특질 통합 방식으로, 각 카테고리별 사전을 적용하여 특질 분석을 반복적으로 수행하고 그 결과를 통합한다. 이렇게 세 가지 서로 다른 방식으로 구축된 사전의 품질을 간접적으로 평가하기 위해, 이들 사전을 각기 적용한 문서 분류의 정확도를 비교하고 정확도의 차이가 나타나는 원인을 분석한다.
마지막으로 우측의 흐름은 개별 구축 방식 중 특질 통합 방식으로, 각 카테고리별 사전을 적용하여 특질 분석을 반복적으로 수행하고 그 결과를 통합한다. 이렇게 세 가지 서로 다른 방식으로 구축된 사전의 품질을 간접적으로 평가하기 위해, 이들 사전을 각기 적용한 문서 분류의 정확도를 비교하고 정확도의 차이가 나타나는 원인을 분석한다. 전체 과정을 구성하는 단계별 설명은 이후 절에서 자세히 다루고, 실제 데이터에 대한 실험 결과는 4장에서 소개한다.
일괄 구축 방식은 실제 텍스트 분석에서 가장 일반적으로 사용되는 방식으로, 카테고리 구분 없이 전체 문서에서 출현한 용어의 빈도수에 기반을 두어 사전을 구성한다. 구체적으로는 NEWS Documents의 전체 문서에 대해 파싱을 수행하고, 추출된 단어 중 명사만을 추려낸 후, 빈도수가 높은 순서로 정렬하여 정해진 개수의 용어를 선택하여 사전을 구성한다. 요약하면 일괄 구축 방식을 통한 용어 사전은 카테고리에 관계없이 전체 문서에서 빈번하게 나타나는 명사들로 구성된다.
이후 일괄 구축 사전을 사용하여 NEWS Documents의 기사에 대한 토픽 모델링을 수행한다. 본 연구에서는 용어 사전의 품질을 평가하기 위한 간접적인 척도로 문서 분류의 정확도를 사용하며, 문서 분류를 위해서는 비정형 문서의 구조화가 선행되어야 한다.
이후 일괄 구축 사전을 사용하여 NEWS Documents의 기사에 대한 토픽 모델링을 수행한다. 본 연구에서는 용어 사전의 품질을 평가하기 위한 간접적인 척도로 문서 분류의 정확도를 사용하며, 문서 분류를 위해서는 비정형 문서의 구조화가 선행되어야 한다. 본 연구에서는 다양한 방법 중 토픽 모델링을 활용하여 비정형 문서의 구조화를 수행한다.
본 연구에서는 용어 사전의 품질을 평가하기 위한 간접적인 척도로 문서 분류의 정확도를 사용하며, 문서 분류를 위해서는 비정형 문서의 구조화가 선행되어야 한다. 본 연구에서는 다양한 방법 중 토픽 모델링을 활용하여 비정형 문서의 구조화를 수행한다. 즉 본 단계에서의 토픽 모델링은 용어 사전의 구축을 위해서가 아니라 구축된 용어 사전의 품질을 문서 분류를 통해 간접적으로 평가하기 위해 수행한다.
우선 본 부절에서는 개별 구축 방식 중 용어통합 방식에 대해 소개한다. 우선 NEWS Documents의 전체 기사를 카테고리별로 구분한 후, 카테고리별 파싱 및 빈도 계수를 통해 주요 용어를 빈도순으로 정렬한다. 다음으로 전체 통합 사전의 구성 용어가 특정 카테고리에 치우치는 현상을 방지하기 위해, 각 카테고리마다 고빈도 용어들을 동일 수만큼 추출하여 통합한다.
우선 NEWS Documents의 전체 기사를 카테고리별로 구분한 후, 카테고리별 파싱 및 빈도 계수를 통해 주요 용어를 빈도순으로 정렬한다. 다음으로 전체 통합 사전의 구성 용어가 특정 카테고리에 치우치는 현상을 방지하기 위해, 각 카테고리마다 고빈도 용어들을 동일 수만큼 추출하여 통합한다. 이때 둘 이상의 사전에서 중복으로 추출된 용어는 중복을 제거하고 한 번만 사용한다.
다만 본 과정에서는 이전과 달리, 각 카테고리별 용어 사전을 통합하는 대신 각 카테고리별 토픽 모델링 분석 결과를 통합한다. 즉 카테고리에 따라 용어사전을 적용하여 카테고리 수만큼의 토픽 모델링을 수행하고, 그 결과를 통합한다. <그림 7>은 ‘디지털’, ‘경제’, ‘연예’, ‘정치’, ‘스포츠’의 5개 카테고리에 대해 각각 토픽 모델링을 수행한 결과의 예를 나타낸다.
본 단계에서는 3장에서 제시한 과정에 따라 다양한 방식으로 용어 사전을 구축하고, 각 사전을 Start List로 적용한 문서 분류의 정확도 비교를 통해 사전의 품질을 비교한다.
우선 일괄 구축 방식을 통해 전체 기사 39,800건으로부터 고빈도 용어 500개를 도출하고, 이를 Start List로 적용한 토픽 모델링을 통해 50개의 토픽을 도출하였다(비교 1). 다음으로 개별 통합 방식의 사전 구축을 위해 각 카테고리별 기사 39,800건으로부터 고빈도 용어 130개를 도출하고, 이렇게 도출된 5개 카테고리의 사전의 통합 및 용어의 중복 제거를 통해 용어 500개로 구성된 통합 사전을 구축하였다.
우선 일괄 구축 방식을 통해 전체 기사 39,800건으로부터 고빈도 용어 500개를 도출하고, 이를 Start List로 적용한 토픽 모델링을 통해 50개의 토픽을 도출하였다(비교 1). 다음으로 개별 통합 방식의 사전 구축을 위해 각 카테고리별 기사 39,800건으로부터 고빈도 용어 130개를 도출하고, 이렇게 도출된 5개 카테고리의 사전의 통합 및 용어의 중복 제거를 통해 용어 500개로 구성된 통합 사전을 구축하였다. 이렇게 구축된 통합 사전을 Start List로 적용한 토픽 모델링을 통해 50개의 토픽을 도출하였다(비교 2).
다음으로 개별 통합 방식의 사전 구축을 위해 각 카테고리별 기사 39,800건으로부터 고빈도 용어 130개를 도출하고, 이렇게 도출된 5개 카테고리의 사전의 통합 및 용어의 중복 제거를 통해 용어 500개로 구성된 통합 사전을 구축하였다. 이렇게 구축된 통합 사전을 Start List로 적용한 토픽 모델링을 통해 50개의 토픽을 도출하였다(비교 2).
또한 앞에서 도출한 5개 카테고리별 용어 사전 각각을 적용한 토픽 모델링을 통해 카테고리별로 10개의 토픽을 도출하고, 이를 병합하여 각 문서별로 50개의 토픽에 대응되는 가중치를 산출하였다(비교 3). <그림 9>～<그림 11>은 각각 일괄 구축 방식, 개별 구축 방식 중 용어 통합 방식, 그리고 개별 구축 방식 중 특질 통합 방식에 의해 도출된 토픽 전체의 결과를 보여준다.
본 연구의 목적은 용어 사전의 구축 방식에 따라 사전의 품질이 어떻게 다르게 나타나는지를 파악하는 것이다. 하지만 사전 품질을 직접적으로 평가할 수 있는 방법은 알려져 있지 않으므로, 본 부절에서는 각 사전을 문서 분류에 적용했을 때 나타나는 분류 정확도를 비교하여 사전의 품질을 간접적으로 평가하고 사전에 따라 문서 분류의 정확도가 상이하게 나타나는 현상을 해석하는 방안을 제시한다.
우선 문서 분류는 SAS Enterprise Miner의 인공신경망을 적용하여 수행하였으며, 인공신경망의 구조는 입력층, 은닉층, 출력층으로 구성된다. 본 실험에서는 39,800건의 뉴스 데이터를 입력층의 데이터로 사용하였으며 은닉 마디 수는 3으로 설정하여 인공신경망 분석을 수행하였다.
또한 학습 데이터의 비중을 70%, 평가 데이터의 비율을 30%로 설정하였다. 일반적으로 학습 데이터와 평가 데이터의 비율을 8:2, 7:3, 6:4로 설정하며 본 연구에서 가장 적합한 모델인 7:3 비율로 설정하였다. 분석 결과 사전에 따른 문서 분류의 정확도는 <그림 12>와 같이 용어 통합 방식이 78.
추가 실험은 에서 정확도가 높게 나타난 일괄 구축 사전과 용어 통합 사전의 두 가지 사전에 대해 수행하였으며, 카테고리별로 문서 분류의 정확도를 살펴보았다.
따라서 본 연구에서는 사전을 구성하는 용어의 ‘고유율’이라는 개념을 새롭게 고안하여 사전을 상세 분석하였다.
따라서 본 연구의 에서 확인한 사전 구축 방법에 따른 분류 정확도의 차이를 사전의 고유율 관점에서 추가로 분석하였다.
예를 들어 ‘월드컵’, ‘투수’, ‘루타’ 등의 어휘는 스포츠 이외의 다른 분야에서는 거의 사용되지 않으므로, 해당 어휘를 포함한 문서를 스포츠 카테고리로 쉽게 분류할 수 있다. 하지만 어휘의 특수성과 분류 정확도에 대한 관계는 엄밀하게 다루어지지 않아 고유율이라는 개념을 도입하여 어휘의 특수성과 정확도의 관계를 비교하였다.
본 실험에서는 다양한 방식에 따라 용어 사전을 구축하고, 각 사전의 품질을 해당 사전을 사용한 문서 분류의 정확도 측면에서 살펴보았다. 또한 사전별로 정확도 차이의 원인을 규명하기위해 사전의 고유율을 정의하고, 각 카테고리별 정확도의 차이를 고유율 관점에서 분석하였다. 분석 결과 사전의 고유율이 높은 카테고리에서 문서 분류의 정확도가 높게 나타났으며, 이와 유사하게 고유율을 높일 수 있는 방식에 따라 사전을 구축한 경우 전체적으로 문서 분류의 정확도가 높게 나타남을 확인하였다.
이에 본 연구에서는 용어 사전을 구축하는 다양한 방법을 살펴보고, 각 결과로 도출된 용어 사전을 적용한 문서 분류의 정확도에 따라 용어 사전의 품질을 간접적으로 평가하였다. 또한 카테고리마다 분류 정확도가 상이하게 나타나는 현상에 착안하여 사전의 고유율이라는 개념을 정의하였으며, 용어 사전 구축 방법에 따라 사전의 고유율과 문서 분류의 정확도가 다르게 나타나는 현상을 확인하였다.
본 연구는 향후 다음의 측면에서 보완이 필요하다. 우선 본 연구는 문서 분류의 정확도를 비교하는 방법으로 사전의 품질을 간접적으로 평가하였다. 하지만 분류의 정확도는 용어 사전뿐 아니라 다른 여러 변수의 영향도 받으므로, 높은 분류 정확도를 나타내는 사전이 반드시 좋은 품질을 갖는 사전이라고 할 수는 없다.
대상 데이터
본 실험에서 형태소 분석, 파싱 및 빈도 계수, 토픽 모델링, 인공신경망 분석을 통한 문서 분류는 SAS Enterprise Miner Workstation 14.1을 통해 수행하였으며, 사전 구축 및 문서 분류를 위한 실험 데이터는 인터넷 뉴스 포털인 ‘D’ 사이트에서 수집한 뉴스 기사를 사용하였다.
구체적으로 2014년 6월 넷째 주부터 2014년 7월 첫째 주까지 2주 동안 디지털, 경제, 연예, 정치, 스포츠의 5개 카테고리에 게시된 뉴스 기사 총 39,800건을 사용하였으며, 카테고리별로 7,960건씩 동일한 수의 뉴스 기사를 추출하였다. 이때 하나의 기사는 하나의 카테고리로 분류되어 있다.
우선 문서 분류는 SAS Enterprise Miner의 인공신경망을 적용하여 수행하였으며, 인공신경망의 구조는 입력층, 은닉층, 출력층으로 구성된다. 본 실험에서는 39,800건의 뉴스 데이터를 입력층의 데이터로 사용하였으며 은닉 마디 수는 3으로 설정하여 인공신경망 분석을 수행하였다. 또한 학습 데이터의 비중을 70%, 평가 데이터의 비율을 30%로 설정하였다.
성능/효과
텍스트 마이닝은 방대한 양의 텍스트 데이터를 분석하여 의미 있는 정보를 찾아내는 과정으로, 데이터 마이닝, 자연어 처리 등을 포함한 다양한 분야의 기술을 포괄적으로 활용한다(Mooney and Bunescu, 2006; Rijsbergen, 1979; Sebastiani, 2006). 텍스트를 기반으로 작성된 문서는 단순한 수치적(Numerical) 데이터에 비해 상대적으로 더욱 풍부한 정보를 포함하고 있으므로, 이에 대한 분석을 통해 기존의 일반적인 데이터 마이닝에 비해 보다 다양한 지식을 추출할 수 있다. 텍스트 분석은 일반적으로 문서 수집, 파싱(Parsing) 및 필터링(Filtering), 구조화, 빈도 분석 및 유사도 분석의 순서로 수행되며, 텍스트 분석 기술은 비정형 데이터를 정형으로 구조화하는 단계와 구조화된 문서를 분석 및 활용하는 두 단계로 구분하여 살펴볼 수 있다.
분석 결과 사전에 따른 문서 분류의 정확도는 와 같이 용어 통합 방식이 78.86%로 가장 높게 나타났고, 그 다음으로 일괄 구축 방식(77.80%), 특질 통합 방식(70.64%) 순으로 정확도가 높게 나타났다.
추가 실험은 <그림 12>에서 정확도가 높게 나타난 일괄 구축 사전과 용어 통합 사전의 두 가지 사전에 대해 수행하였으며, 카테고리별로 문서 분류의 정확도를 살펴보았다. <그림 13>에서 5개 카테고리 전체에 걸쳐 용어 통합 사전의 분류 정확도가 일괄 구축 사전에 비해 높게 나타났으며, 두 사전 모두 스포츠, 연예가 높고, 이후 정치, 디지털, 경제 카테고리 순으로 높은 분류 정확도를 보였다.
즉 에서 용어 통합 사전의 고유율은 일괄 구축 사전에 비해 25% 높은 것으로 나타났으며, 이러한 차이가 각 사전을 사용한 문서 분류의 정확도의 차이를 가져온 것으로 판단한다.
이상의 실험에서 사전의 고유율이 높을수록 분류의 정확도도 높게 나타남을 확인하였다. 따라서 본 연구의 <그림 12>에서 확인한 사전 구축 방법에 따른 분류 정확도의 차이를 사전의 고유율 관점에서 추가로 분석하였다.
또한 사전별로 정확도 차이의 원인을 규명하기위해 사전의 고유율을 정의하고, 각 카테고리별 정확도의 차이를 고유율 관점에서 분석하였다. 분석 결과 사전의 고유율이 높은 카테고리에서 문서 분류의 정확도가 높게 나타났으며, 이와 유사하게 고유율을 높일 수 있는 방식에 따라 사전을 구축한 경우 전체적으로 문서 분류의 정확도가 높게 나타남을 확인하였다. 다만 고유율이 아무리 높아져도 정확도가 무제한 높아지지 않고 어느 정도 선에서 수렴을 하게 될 것이다.
본 연구의 의의는 다음과 같다. 우선 본 연구를 통해 카테고리별로 주요 용어를 도출한 후 이를 통합하는 사전 구축 방식이 타 사전 구축방식에 비해 분류 정확도 측면에서 바람직한 특징을 갖는 것을 확인할 수 있었다. 또한 사전의 고유율을 높임으로써 분류의 정확도를 더욱 향상시킬 수 있는 가능성을 발견하였으며, 이는 본 연구의 실무적 기여로 인정받을 수 있다.
본 실험에서 고유율을 정의하고 분석한 이유는 고유율이 분류 정확도에 미치는 영향을 파악하기 위함이며, 카테고리별 고유율과 정확도의 추이를 분석한 결과 와 같이 사전의 고유율이 높은 카테고리에서 분류의 정확도도 높게 나타남을 확인하였다.
후속연구
우선 본 연구를 통해 카테고리별로 주요 용어를 도출한 후 이를 통합하는 사전 구축 방식이 타 사전 구축방식에 비해 분류 정확도 측면에서 바람직한 특징을 갖는 것을 확인할 수 있었다. 또한 사전의 고유율을 높임으로써 분류의 정확도를 더욱 향상시킬 수 있는 가능성을 발견하였으며, 이는 본 연구의 실무적 기여로 인정받을 수 있다. 이처럼 본 연구는 고유 용어의 중요성에 주목했다는 점에서 의미를 갖는다.
따라서 향후 사전의 품질을 측정하기 위한 더욱 직접적이고 엄밀한 척도가 개발될 필요가 있다. 또한 본 연구의 수행 과정 중 용어 사전의 생성, 토픽 모델링, 분류 모델 생성, 그리고 정확도의 평가 과정에서 매우 많은 시간과 노력이 소요되었으므로, 향후 다양한 환경에서 더욱 방대한 양의 추가 실험을 수행하기 위해 실험의 많은 부분이 자동화될 필요가 있다. 고유 용어를 정의할 때 카테고리의 증가에 따라 몇 번 이하로 출현하는 용어를 고유 용어의 범주에 넣을 것인지, 사전의 개수에 따른 변화에 대한 부분에 대한 정교화가 필요하며 기본적인 정확도가 다소 낮게 나타나는 데이터에 대해 고유율의 변화에 따라 정확도가 개선되는 정도를 측정해 볼 필요가 있다.
고유 용어를 정의할 때 카테고리의 증가에 따라 몇 번 이하로 출현하는 용어를 고유 용어의 범주에 넣을 것인지, 사전의 개수에 따른 변화에 대한 부분에 대한 정교화가 필요하며 기본적인 정확도가 다소 낮게 나타나는 데이터에 대해 고유율의 변화에 따라 정확도가 개선되는 정도를 측정해 볼 필요가 있다. 본 연구에서는 2014년의 뉴스 기사를 사용했으나, 최신성을 반영하기 위해 향후 연구에서는 최근 데이터로 실험을 수행할 필요가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
텍스트 마이닝이란 무엇인가?
이렇듯 다양한 소셜 미디어 활동과 인터넷 뉴스 기사, 블로그 등을 통해 유통되는 비정형 데이터의 양이 급증함에 따라, 각 산업 분야에서 비정형 데이터를 분석하고 활용하기 위한 관심과 연구가 활발히 진행되고 있다. 특히 텍스트 마이닝(Text Mining)은 다량의 텍스트 문서 또는 문장에 대한 분석을 통해 의미 있는 정보를 추출하는 과정으로(Hearst, 1999), 개별 데이터의 기밀성(Confidentiality)이 정형 데이터에 비해 상대적으로 낮을 뿐 아니라 크롤링(Crawling)을 통해 상대적으로 용이하게 대량의 데이터를 수집할 수 있다는 특징으로 인해 다양한 텍스트 데이터에 대한 다양한 분석이 여러 도메인에서 이루어지고 있다.
용어 사전 및 불용어 사전을 사용하는 이유는 무엇인가?
텍스트 분석 과정에서 텍스트에 포함된 방대한 용어를 모두 분석에 사용하는 대신, 분석 주제에 집중하고 분석 결과의 품질을 향상시키기 위해 용어 사전 및 불용어 사전을 사용한다. 불용어 사전은 분석 시 배제되는 용어들을 포함하며, 주로 대명사, 관사, 접속사, 전치사 등과 같이 내용 정보가 없는 단어들로 구성된다.
사전을 구성하는 용어의 ‘고유율’이라는 개념을 새롭게 고안하여 상세 분석한 이유는 무엇인가?
이와 같이 카테고리별로 분류 정확도가 상이하게 나타나는 현상은 기존의 유사 연구에서도 여러 차례 발견되었으며, 특히 스포츠와 연예 분야의 분류 정확도는 타 분야에 비해 일관되게 높게 나타난 바 있다. 또한 이러한 현상의 원인으로는 스포츠와 연예 분야의 기사가 타 분야의 기사에 비해 특수성이 높은 어휘를 다수 포함하고 있음이 주장되어왔다. 따라서 본 연구에서는 사전을 구성하는 용어의 ‘고유율’이라는 개념을 새롭게 고안하여 사전을 상세 분석하였다.
참고문헌 (41)
강상욱.김민호.권혁철.전성규.오주현(2015), "세종 전자사전과 한국어 어휘의미망 을 이용한 용언의 어의 중의성 해소," 정보과학회 컴퓨팅의 실제 논문지, 21(7), 500-505.
곽수정.김보겸.이재성(2013), "한국어 형태소 분석을 위한 효율적 기분석 사전의 구성 방법", 정보처리학회논문지, 소프트웨어 및 데이터 공학, 2(12), 881-888.
Amensisa, A. D., Patil, S. and Agrawal, P.(2018), "A survey on text document categorization using enhanced sentence vector space model and bi-gram text representation model based on novel fusion techniques", 2018 2nd International Conference on Inventive Systems and Control(ICISC), 218-225
Blei, D. M., Ng, A. Y. and Jordan, M. I.(2003), "Latent dirichlet allocation", Journal of Machine Learning Research, 3, 993-1022.
Deerwester, S., Dumais, S. T., Furnas, G. W., Landauer, T. K. and Harshman, R.(1990), "Indexing by latent semantic analysis", Journal of the American Society for Information Science, 41(6), 391-407.
Gao, J. B., Zhang, B. W. and Chen, X. H.(2015), "A WordNet-based semantic similarity measurement combining edgecounting and information content theory", Engineering Applications of Artificial Intelligence, 39, 80-88.
Gupta, V. and Lehal, G. S.(2009), "A survey of text mining techniques and applications", Journal of Emerging Technologies in Web Intelligence, 1(1), 60-76.
Hearst, M. A.(1999), "Untangling text data mining", In Proceedings of the 37th annual meeting of the Association for Computational Linguistics, 3-10
Hong, L. and Davison, B. D.(2010), "Empirical study of topic modeling in twitter", In Proceedings of the First Workshop on Social Media Analytics, 80-88.
Hotho, A., Nurnberger, A. and Paass, G. (2005), "A brief survey of text mining", In Ldv Forum-GLDV Journal for Computational Linguistics and Language Technology, 20(1), 19-62.
Joachims, T.(1998), "Text categorization with support vector machines: Learning with many relevant features", In European Conference on Machine Learning, 137-142.
Miller, G. A.(1995), "WordNet: A lexical database for English", Communications of the ACM, 38(11), 39-41.
Mooney, R. J. and Bunescu, R. C.(2006), "Subsequence kernels for relation extraction", In Advances in Neural Information Processing Systems, 171-178.
Pedersen, T., Patwardhan, S. and Michelizzi, J.(2004), "WordNet:: Similarity: measuring the relatedness of concepts", In Proceedings of the 5th Annual Meeting of the North American Chapter of the Association for Computational Linguistics, 38-41.
Richman, A. E. and Schone, P.(2008), "Mining wiki resources for multilingual named entity recognition", In Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, 1-9.
Rijsbergen, C. J. V., Information Retrieval, 2nd edition, Butterworths, 1979.
Rogati, M. and Yang, Y.(2002), "Highperforming feature selection for text classification", In Proceedings of the 11th International Conference on Information and Knowledge Management, 659-661.
Salton, G. and McGill, M. J. Introduction to Modern Information Retrieval, McGraw-Hill, 1983.
Sebastiani, F.(2006), "Classification of text, automatic", The Encyclopedia of Language and Linguistics, 14, 457-462.
Vapnik, V. N., The Nature of Statistical Learning Theory, Springer, 1995.
Wang, C. and Blei, D. M.(2011), "Collaborative topic modeling for recommending scientific articles", In Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 448-456.
Wei, T., Lu, Y., Chang, H., Zhou, Q. and Bao, X.(2015), "A semantic approach for text clustering using WordNet and lexical chains", Expert Systems with Applications, 42(4), 2264-2275.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.