자동 문서 분류란 문서의 내용을 바탕으로 미리 정의된 범주 안에 정해진 규칙 혹은 분류기준에 따라 문서를 분류하는 것이다. 효과적인 문서 분류를 위해서는 문서들을 가장 잘 표현할 수 있는 자질을 선정하고, 가중치를 부여해야 하며, 이러한 자질들을 이용하여 효과적인 문서를 분류할 수 있는 분류법을 사용해야 한다.본 연구는 자동 문서 분류 시스템의 성능 향상을 위한 것으로 기존의 학습 방법을 이용한 분류기의 성능을 개선하기 위한 것으로 제안하는 방법은 다음과 같다.초기 문서 분류 연구부터 현재까지 보편적으로 사용되고 있는 순수 나이브 베이즈 분류기를 대상으로 복잡하고 불확실성이 높은 분류 경계(decision boundary) 영역에서의 범주 결정 성능을 향상시키기 위해 로치오 ...
자동 문서 분류란 문서의 내용을 바탕으로 미리 정의된 범주 안에 정해진 규칙 혹은 분류기준에 따라 문서를 분류하는 것이다. 효과적인 문서 분류를 위해서는 문서들을 가장 잘 표현할 수 있는 자질을 선정하고, 가중치를 부여해야 하며, 이러한 자질들을 이용하여 효과적인 문서를 분류할 수 있는 분류법을 사용해야 한다.본 연구는 자동 문서 분류 시스템의 성능 향상을 위한 것으로 기존의 학습 방법을 이용한 분류기의 성능을 개선하기 위한 것으로 제안하는 방법은 다음과 같다.초기 문서 분류 연구부터 현재까지 보편적으로 사용되고 있는 순수 나이브 베이즈 분류기를 대상으로 복잡하고 불확실성이 높은 분류 경계(decision boundary) 영역에서의 범주 결정 성능을 향상시키기 위해 로치오 알고리즘을 추가한 형태의 변형 나이브 베이즈 분류기를 구현하여 두 분류기의 문서 분류 성능을 비교 분석한다.본 연구에서 제안한 방법의 검증과 타당성 평가를 위하여 Reuters-21578을 대상으로 주제 및 주제에 포함된 문서 수가 서로 다른 3개의 실험문서집단을 선정하여 카이제곱 통계량을 이용한 자질 선정 및 TF-IDF 가중치를 부여한 후 실험하였으며, 변형 나이브 베이즈 분류기가 순수 나이브 베이즈 분류기에 비해 실험문서집단에 따라 F-Measure 값이 0.6~7.5% 향상되었음을 알 수 있다.
자동 문서 분류란 문서의 내용을 바탕으로 미리 정의된 범주 안에 정해진 규칙 혹은 분류기준에 따라 문서를 분류하는 것이다. 효과적인 문서 분류를 위해서는 문서들을 가장 잘 표현할 수 있는 자질을 선정하고, 가중치를 부여해야 하며, 이러한 자질들을 이용하여 효과적인 문서를 분류할 수 있는 분류법을 사용해야 한다.본 연구는 자동 문서 분류 시스템의 성능 향상을 위한 것으로 기존의 학습 방법을 이용한 분류기의 성능을 개선하기 위한 것으로 제안하는 방법은 다음과 같다.초기 문서 분류 연구부터 현재까지 보편적으로 사용되고 있는 순수 나이브 베이즈 분류기를 대상으로 복잡하고 불확실성이 높은 분류 경계(decision boundary) 영역에서의 범주 결정 성능을 향상시키기 위해 로치오 알고리즘을 추가한 형태의 변형 나이브 베이즈 분류기를 구현하여 두 분류기의 문서 분류 성능을 비교 분석한다.본 연구에서 제안한 방법의 검증과 타당성 평가를 위하여 Reuters-21578을 대상으로 주제 및 주제에 포함된 문서 수가 서로 다른 3개의 실험문서집단을 선정하여 카이제곱 통계량을 이용한 자질 선정 및 TF-IDF 가중치를 부여한 후 실험하였으며, 변형 나이브 베이즈 분류기가 순수 나이브 베이즈 분류기에 비해 실험문서집단에 따라 F-Measure 값이 0.6~7.5% 향상되었음을 알 수 있다.
Automatic text classification is to sort out data depending on pre-set principles or standards of each group from the content of the document. To make the process effective, the best representative feature should be chosen, priority be set, and the most effective method to classify date be used.This...
Automatic text classification is to sort out data depending on pre-set principles or standards of each group from the content of the document. To make the process effective, the best representative feature should be chosen, priority be set, and the most effective method to classify date be used.This study is aimed to improve the performance of the automatic text classification system using the existing learning method. The suggestions are as follows.Based on the conventional Pure Naive Bayes Classifier that has been used from the initial stage to today, Modified Naive Bayes Classifier was created with Rocchio algorithm added in order to enhance the performance of deciding categories in the decision boundary high in its complexity and uncertainty. The two classifiers are compared and analyzed as to their performance of classifying text.To evaluate the method suggested, this paper made a test with features selected through chi-square statistics and the weight of TF-IDF assigned after choosing three text groups with different number of subject or text in the subject from Reuters-21578. According to the result, the Modified Naive Bayes Classifier showed the 0.6~7.5% improvement in F-Measure of each text group than the Pure Naive Bayes Classifier.
Automatic text classification is to sort out data depending on pre-set principles or standards of each group from the content of the document. To make the process effective, the best representative feature should be chosen, priority be set, and the most effective method to classify date be used.This study is aimed to improve the performance of the automatic text classification system using the existing learning method. The suggestions are as follows.Based on the conventional Pure Naive Bayes Classifier that has been used from the initial stage to today, Modified Naive Bayes Classifier was created with Rocchio algorithm added in order to enhance the performance of deciding categories in the decision boundary high in its complexity and uncertainty. The two classifiers are compared and analyzed as to their performance of classifying text.To evaluate the method suggested, this paper made a test with features selected through chi-square statistics and the weight of TF-IDF assigned after choosing three text groups with different number of subject or text in the subject from Reuters-21578. According to the result, the Modified Naive Bayes Classifier showed the 0.6~7.5% improvement in F-Measure of each text group than the Pure Naive Bayes Classifier.
주제어
#자동 문서 분류 나이브 베이즈 로치오 알고리즘 automatic text classification naive bayes rocchio algorithm
학위논문 정보
저자
나윤재
학위수여기관
연세대학교 공학대학원
학위구분
국내석사
학과
컴퓨터공학 전공
지도교수
이일병
발행연도
2008
총페이지
vi, 50장
키워드
자동 문서 분류 나이브 베이즈 로치오 알고리즘 automatic text classification naive bayes rocchio algorithm
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.