초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

문서 범주화는 전자 정보환경에서 매우 유용한 정보처리 도구로서, 다양한 문서 범주화 기법 및 성능향상을 위한 연구들이 지속적으로 이루어지고 있다. 그러나, 대부분의 연구들은 문서 범주화의 대상이 되는 단어 자질 공간의 차원축소 문제에만 집중되었을 뿐, 학습단계에 큰 영향을 미치는 다범주 단어 자질의 범주 모호성은 고려하지 않았다. 본 연구에서는, 다범주 자질의 범주 모호성을 해소함으로써 문서 범주화의 성능향상을 유도하는 범주 모호성 해소 가중치 W를 제시하고 이를 실험을 통해 증명하였다. 실험에서는 Naive Bayes 분류기와 가중치 W를 적용한 Naive Bayes-W 분류기를 직접 구축하여 문서 범주화의 성능향상 여부를 비교하는데 사용하였다. 도출된 실험결과를 통해, 가중치 W는 현재의 분류기가 가지고 있는 자질 표현의 범주 모호성이라는 단점을 보완하고 분류기의 성능향상을 유도함으로써 정보검색시스템의 검색효율을 높이는 데 활용될 수 있음일 증명되었다.

문서 범주화는 전자 정보환경에서 매우 유용한 정보처리 도구로서, 다양한 문서 범주화 기법 및 성능향상을 위한 연구들이 지속적으로 이루어지고 있다. 그러나, 대부분의 연구들은 문서 범주화의 대상이 되는 단어 자질 공간의 차원축소 문제에만 집중되었을 뿐, 학습단계에 큰 영향을 미치는 다범주 단어 자질의 범주 모호성은 고려하지 않았다. 본 연구에서는, 다범주 자질의 범주 모호성을 해소함으로써 문서 범주화의 성능향상을 유도하는 범주 모호성 해소 가중치 W를 제시하고 이를 실험을 통해 증명하였다. 실험에서는 Naive Bayes 분류기와 가중치 W를 적용한 Naive Bayes-W 분류기를 직접 구축하여 문서 범주화의 성능향상 여부를 비교하는데 사용하였다. 도출된 실험결과를 통해, 가중치 W는 현재의 분류기가 가지고 있는 자질 표현의 범주 모호성이라는 단점을 보완하고 분류기의 성능향상을 유도함으로써 정보검색시스템의 검색효율을 높이는 데 활용될 수 있음일 증명되었다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 연구에서는 문서 범주화의 성능향상을 위한 방법으로서 다범주 자질의 범주 모호성을 해소하는 가중치 W 를 제시하고, 이를 Naive Bayes 분류기에 적용하여 비교 검증하는 실험을 수행하였다.
• 이에 본 연구에서는 다범주 자질의 범주 모호성을 해소하는 가중치 市플 고안하고, 이를 분류기에 적용함으로써 분류기의 성능향상 여부를 실험으로 검증하였다.

제안 방법

• 검증집단의 문서 범주 할당은 계층적 분류체계를 따라, 하향식(top-down) 실험 1과 상향식(bottom-나p) 실험 2 과정으로 나뉘어 수행되었다. 다음의<표 1>은 본 실험의 문서집단 구성을, <그림 1>은 분류체계를 제시한 것이다.
• 또한, 대분류 3범주는 Level-1, 중분류 9범주는 Level-2 가 되어 계층적인 분류체계를 구성하도록 하였다. 검증집단의 문서 범주 할당은 계층적 분류체계를 따라, 하향식(top-down) 실험 1과 상향식(bottom-나p) 실험 2 과정으로 나뉘어 수행되었다.
• 본 연구에서는 Naive Bayes 분류기 및 Naive Bayes-lV 분류기의 문서 범주화 실험결과 평가를 위해 정확도(accuracy), 정확률(precision), 재현율(recall)을 주된 척도로 사용하고 필요시 부적합률(fallout)을 살펴보는 과정을 취하였다.
• 실제 범주 할당 과정에서는 실험 1, 실험 2 각각에 대해 일반적인 Naive Bayes 분류기와 다범주 자질의 범주 모호성 해소 가중치를 부여한 Naive Bayes-TV 분류기를 사용하여 범주를 할당하고 성능향상 여부를 관찰하였다.
• 학습집단과 검증집단의 비율은 3:1이 되도록 구분했으며, 자질들이 문서 범주화에 미치는 영향을 최대한으로 고려하기 위해 각 범주별로 문서 수는 동일하게 수집 했다.

대상 데이터

• 다범주 자질의 범주 모호성 해소 가중치를 적용한 문서 범주화 실험에는, 연세대학교 문헌정보학과에서 구축한 KFCM-CL 중 대분류 3범주와 각각의 대분류 아래에서의 중분류 3범주들로부터 선별된 문서 216건이 사용되었다. 학습집단과 검증집단의 비율은 3:1이 되도록 구분했으며, 자질들이 문서 범주화에 미치는 영향을 최대한으로 고려하기 위해 각 범주별로 문서 수는 동일하게 수집 했다.

성능/효과

• 그리고, 실험 1(하향식)과 실험 2(상향식)의 범주 할당 결과를 통해서는, 실험 1의 하향식 범주 체계, 즉 Level-1(대분류 수준)에서 Level-2(중분류 수준)로 세분하여 범주를 할당하는 과정이 보다 정확한 문서 범주화 결과를 낳는다는 사실을 알 수 있었다.
• 분류 순서를 기준으로 분류기의 문서 범주화 실험 결과를 비교해 보면, 하향식, 상향식 모두에서 Naive Bayes-VF 분류기가 Naive Bayes 분류기 보다 높은 성능을 보였다.
• 실험결과, 가중치 W를 적용한 Naive Bayes-附 분류기가 거의 모든 경우에서 Naive Bayes 분류기보다 월등한 성능을 보임으로써 다범주 자질의 범주 모호성 해소가중치가 Naive Bayes 분류기의 성능향상을 유도한 것으로 증명돠었다.
• 아래의 결과에서 알 수 있듯이, 실험 1, 실험 2의 거의 모든 수준에서 Naive Bayes-IV 분류기는 Naive Bayes 분류기보다 높은 분류 정확도 성능을 보이고 있다.
• 예외적으로, 실험 2의 Level-2 범주 할당시 Naive Bayes 분류기가 더 높은 정확률 결과를 보인 봐 있지만, 이 경우에도, Naive Bayes 분류기의 부적합률은 417% 인 반변 Naive Bayes-P7 분류기는 3.24%로 Naive Bayes-분류 알고리즘이 부적합한 범주를 할당하는 정도가 더 낮은 것으로 드러났다. 이는 Level-2 수준의 범주 할당시에는 부적합한 범주가 할당되었다 할지라도, Lev이-1 수준에서는 적합한 범주가 할당됨으로써 Naive Bayes-lV 분류기에 전체적인 범주 할당 성능향상 효과를 가져오기 때문이다.

후속연구

• 할 필요성이 있다. 또한 다양한 매체로 표현된 데이터의 처리 및 다변하는 웹환경 반영 등의 문제가 Naive Bayes니μ 분류기의 적용 분야 확대를 위한 향후 연구 과제가 될 수 있을 것이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기