문서 범주화는 문서의 내용을 바탕으로 미리 정의된 범주를 문서에 부여함으로써 문서를 자동 분류하는 기법이다. 특히 문서 범주화에 이용되는 분류기 중에서 1995년에 Vladimir Vapnik에 의해 이원 패턴인식 문제를 해결하기 위해 제안된 SVM(Support Vector Machines) 분류기는 다른 분류기 보다 우수한 성능을 보이고 있다.
본 연구에서는 Reuters-21578 ModApte 분할판을 실험문서집단으로 하고 단어빈도, 역문헌빈도, 문헌길이 ...
문서 범주화는 문서의 내용을 바탕으로 미리 정의된 범주를 문서에 부여함으로써 문서를 자동 분류하는 기법이다. 특히 문서 범주화에 이용되는 분류기 중에서 1995년에 Vladimir Vapnik에 의해 이원 패턴인식 문제를 해결하기 위해 제안된 SVM(Support Vector Machines) 분류기는 다른 분류기 보다 우수한 성능을 보이고 있다.
본 연구에서는 Reuters-21578 ModApte 분할판을 실험문서집단으로 하고 단어빈도, 역문헌빈도, 문헌길이 정규화 공식을 자질에 대한 가중치로 이용하여 SVM분류기의 성능을 평가하고, 선형 SVM과 비선형 SVM의 성능을 비교하였다. 또한 이원 분류기를 승자독식 방법과 쌍단위 분류 방법에 의해 다원 분류기로 확장하여 실험한 후 이원 분류기와의 성능을 비교 분석하였다.
본 연구를 통해 밝혀진 사실은 다음과 같다.
첫째, 자질값에 따른 성능 비교 실험에서는 문헌길이 정규화 공식의 경우 역문헌빈도를 적용하였을 때 성능이 향상되었지만, 문헌길이 정규화 공식을 적용하지 않았을 때에는 TF(문서내 단어빈도)만을 사용한 것이 더 좋은 성능을 보였다. 다양한 단어빈도 가중치 중에서 루트 TF를 사용하였을 때 가장 좋은 분류 성능을 보였으며, Okapi TF와 로그 TF도 우수한 성능을 나타냈다. 그러나 각 용어가중치에 따른 성능의 차이는 그다지 크지 않으며, 이진값이나 단순 TF를 자질값으로 이용하더라도 SVM 분류기에서는 충분히 좋은 성능을 보이는 것을 알 수 있다.
둘째, SVM에서는 학습과정이 이루어지기 전에 사용자가 마진폭과 분류 오류사이의 타협점을 찾아주는 오류 패널티 변수 C 값과 비선형 SVM에 적용되는 커널함수의 파라미터를 직접 결정해야 한다. 본 연구에서는 문서 범주화에 적합한 SVM의 오류 패널티 변수 C 값과 비선형 SVM에 적용되는 커널함수의 파라미터를 결정하기 위해 사전실험을 수행하였다. 사전실험에서 우수한 성능을 보였던 C 값과 커널함수의 파라미터 값을 이용하여 SVM 이원 분류기의 성능 비교 실험을 수행하였다. 실험결과를 보면 선형 SVM과 비선형 SVM의 정확도는 거의 차이가 없으며, F_1 값에서 약간의 차이를 보이고 있기 때문에, 선형 SVM이 학습과정 전에 미리 커널함수의 파라미터 값을 결정해야 하는 비선형 SVM에 비해 문서 범주화에 간단하고 효율적인 방법으로 평가된다.
셋째, SVM 이원 분류기를 다원 분류기로 확장하여 실험을 수행한 결과 승자독식 방법은 F_(1) 값이 95.86%으로서 92.20%의 쌍단위 분류 방법보다 우수한 분류성능을 나타냈다. 이것은 SVM 이원 분류기의 분류 성능보다도 다소 향상된 결과이다. 그러나 분류 성능과 학습과정의 복잡도를 모두 고려해봤을 때 SVM 이원 분류기가 문서 범주화에 더 적합한 것으로 평가된다.
마지막으로 초기 문서 범주화 연구부터 지금까지 꾸준히 사용되고 있는 나이브 베이즈(Naive Bayes) 분류기를 이용하여 문서 범주화 실험을 수행한 후 SVM 분류기와의 성능을 비교 분석해본 결과, 나이브 베이즈 분류기는 마이크로 평균 F_(1) 값이 59.64%인 반면, SVM 분류기는 94.03%의 성능을 보임으로써 SVM 분류기가 나이브 베이즈 분류기보다 우수한 학습방법에 기반하고 있음을 증명하였다.
문서 범주화는 문서의 내용을 바탕으로 미리 정의된 범주를 문서에 부여함으로써 문서를 자동 분류하는 기법이다. 특히 문서 범주화에 이용되는 분류기 중에서 1995년에 Vladimir Vapnik에 의해 이원 패턴인식 문제를 해결하기 위해 제안된 SVM(Support Vector Machines) 분류기는 다른 분류기 보다 우수한 성능을 보이고 있다.
본 연구에서는 Reuters-21578 ModApte 분할판을 실험문서집단으로 하고 단어빈도, 역문헌빈도, 문헌길이 정규화 공식을 자질에 대한 가중치로 이용하여 SVM분류기의 성능을 평가하고, 선형 SVM과 비선형 SVM의 성능을 비교하였다. 또한 이원 분류기를 승자독식 방법과 쌍단위 분류 방법에 의해 다원 분류기로 확장하여 실험한 후 이원 분류기와의 성능을 비교 분석하였다.
본 연구를 통해 밝혀진 사실은 다음과 같다.
첫째, 자질값에 따른 성능 비교 실험에서는 문헌길이 정규화 공식의 경우 역문헌빈도를 적용하였을 때 성능이 향상되었지만, 문헌길이 정규화 공식을 적용하지 않았을 때에는 TF(문서내 단어빈도)만을 사용한 것이 더 좋은 성능을 보였다. 다양한 단어빈도 가중치 중에서 루트 TF를 사용하였을 때 가장 좋은 분류 성능을 보였으며, Okapi TF와 로그 TF도 우수한 성능을 나타냈다. 그러나 각 용어가중치에 따른 성능의 차이는 그다지 크지 않으며, 이진값이나 단순 TF를 자질값으로 이용하더라도 SVM 분류기에서는 충분히 좋은 성능을 보이는 것을 알 수 있다.
둘째, SVM에서는 학습과정이 이루어지기 전에 사용자가 마진폭과 분류 오류사이의 타협점을 찾아주는 오류 패널티 변수 C 값과 비선형 SVM에 적용되는 커널함수의 파라미터를 직접 결정해야 한다. 본 연구에서는 문서 범주화에 적합한 SVM의 오류 패널티 변수 C 값과 비선형 SVM에 적용되는 커널함수의 파라미터를 결정하기 위해 사전실험을 수행하였다. 사전실험에서 우수한 성능을 보였던 C 값과 커널함수의 파라미터 값을 이용하여 SVM 이원 분류기의 성능 비교 실험을 수행하였다. 실험결과를 보면 선형 SVM과 비선형 SVM의 정확도는 거의 차이가 없으며, F_1 값에서 약간의 차이를 보이고 있기 때문에, 선형 SVM이 학습과정 전에 미리 커널함수의 파라미터 값을 결정해야 하는 비선형 SVM에 비해 문서 범주화에 간단하고 효율적인 방법으로 평가된다.
셋째, SVM 이원 분류기를 다원 분류기로 확장하여 실험을 수행한 결과 승자독식 방법은 F_(1) 값이 95.86%으로서 92.20%의 쌍단위 분류 방법보다 우수한 분류성능을 나타냈다. 이것은 SVM 이원 분류기의 분류 성능보다도 다소 향상된 결과이다. 그러나 분류 성능과 학습과정의 복잡도를 모두 고려해봤을 때 SVM 이원 분류기가 문서 범주화에 더 적합한 것으로 평가된다.
마지막으로 초기 문서 범주화 연구부터 지금까지 꾸준히 사용되고 있는 나이브 베이즈(Naive Bayes) 분류기를 이용하여 문서 범주화 실험을 수행한 후 SVM 분류기와의 성능을 비교 분석해본 결과, 나이브 베이즈 분류기는 마이크로 평균 F_(1) 값이 59.64%인 반면, SVM 분류기는 94.03%의 성능을 보임으로써 SVM 분류기가 나이브 베이즈 분류기보다 우수한 학습방법에 기반하고 있음을 증명하였다.
Text categorization, defined as the assignment of natural language texts to one or more predefined categories based on their content, is an important component in many information management and organization tasks.
SVMs(Support Vector Machines) have been proven to outperform several other learning a...
Text categorization, defined as the assignment of natural language texts to one or more predefined categories based on their content, is an important component in many information management and organization tasks.
SVMs(Support Vector Machines) have been proven to outperform several other learning algorithms for text categorization. SVMs are a relatively new statistical learning approach introduced by Vladimir Vapnik in 1995 for solving two-class pattern recognition problems.
This paper evaluates the categorization ability of an SVM classifier using the ModApte split of the Reuters-21578 dataset, with three objectives: to test a few feature weighting schemes that will be used in the categorization tasks; to compare the categorization performances of linear and non-linear SVMs; and to expand the binary SVM classifier into a multi-class SVM classifier and evaluate their relative performances.
The findings of the study are as follows.
First, the experiment with feature weighting schemes shows that normalizing the document length improves the performance of the inverse document frequency, but not that of the term frequency. Among 6 term frequency weights, root TF marginally outperforms the other TF weights. Binary TF and simple TF are also proven to work well in SVMs.
Second, SVMs have only two major parameters to be defined by a user. They include the C value which defines a trade-off point between the margin width and the classification error and the kernel function used in the non-linear SVM. A prior experiment is performed to determine the parameter values suitable for text categorization. Next, the linear SVM is compared with the non-linear SVM, using the feature values and parameter values that showed the best performance in the prior experiment. The difference between the performances of the linear and non-linear SVMs is slight in this experiment. It is found that the linear SVM is a simpler and more efficient model for text categorization because the non-linear SVM requires complex parameter tuning.
Third, in the experiment expanding the binary SVM classifier into a multi-class SVM classifier by winner-takes-all and pairwise classification methods, the micro-averaged F_(1) score 95.86% for the winner-takes-all is higher than the pairwise classification (F_(1) score 92.20%). In particular, the performance of the multi-class SVM classifier is slightly better than that of the binary SVM classifier. This experiment indicates that the binary SVM classifier can be used as a representative model for text categorization considering classification complexity and accuracy.
Fourth, the performance of a Naive Bayesian classifier is evaluated and compared with that of the SVM classifier. This experiment shows that the SVM classifier performs significantly better than the Naive Bayesian classifier.
Text categorization, defined as the assignment of natural language texts to one or more predefined categories based on their content, is an important component in many information management and organization tasks.
SVMs(Support Vector Machines) have been proven to outperform several other learning algorithms for text categorization. SVMs are a relatively new statistical learning approach introduced by Vladimir Vapnik in 1995 for solving two-class pattern recognition problems.
This paper evaluates the categorization ability of an SVM classifier using the ModApte split of the Reuters-21578 dataset, with three objectives: to test a few feature weighting schemes that will be used in the categorization tasks; to compare the categorization performances of linear and non-linear SVMs; and to expand the binary SVM classifier into a multi-class SVM classifier and evaluate their relative performances.
The findings of the study are as follows.
First, the experiment with feature weighting schemes shows that normalizing the document length improves the performance of the inverse document frequency, but not that of the term frequency. Among 6 term frequency weights, root TF marginally outperforms the other TF weights. Binary TF and simple TF are also proven to work well in SVMs.
Second, SVMs have only two major parameters to be defined by a user. They include the C value which defines a trade-off point between the margin width and the classification error and the kernel function used in the non-linear SVM. A prior experiment is performed to determine the parameter values suitable for text categorization. Next, the linear SVM is compared with the non-linear SVM, using the feature values and parameter values that showed the best performance in the prior experiment. The difference between the performances of the linear and non-linear SVMs is slight in this experiment. It is found that the linear SVM is a simpler and more efficient model for text categorization because the non-linear SVM requires complex parameter tuning.
Third, in the experiment expanding the binary SVM classifier into a multi-class SVM classifier by winner-takes-all and pairwise classification methods, the micro-averaged F_(1) score 95.86% for the winner-takes-all is higher than the pairwise classification (F_(1) score 92.20%). In particular, the performance of the multi-class SVM classifier is slightly better than that of the binary SVM classifier. This experiment indicates that the binary SVM classifier can be used as a representative model for text categorization considering classification complexity and accuracy.
Fourth, the performance of a Naive Bayesian classifier is evaluated and compared with that of the SVM classifier. This experiment shows that the SVM classifier performs significantly better than the Naive Bayesian classifier.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.