$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

용어 가중치부여 기법을 이용한 로치오 분류기의 성능 향상에 관한 연구
A Study on the Performance Improvement of Rocchio Classifier with Term Weighting Methods 원문보기

정보관리학회지 = Journal of the Korean society for information management, v.25 no.1 = no.67, 2008년, pp.211 - 233  

김판준 (연세대학교 문헌정보학과)

초록
AI-Helper 아이콘AI-Helper

로치오 알고리즘에 기반한 자동분류의 성능 향상을 위하여 두 개의 실험집단(LISA, Reuters-21578)을 대상으로 여러 가중치부여 기법들을 검토하였다. 먼저, 가중치 산출에 사용되는 요소를 크게 문헌요소(document factor), 문헌집합 요소(document set factor), 범주 요소(category factor)의 세 가지로 구분하여 각 요소별 단일 가중치부석 기법의 분류 성능을 살펴보았고, 다음으로 이들 가중치 요소들 간의 조합 가중치부여 기법에 따른 성능을 알아보았다. 그 결과, 각 요소별로는 범주 요소가 가장 좋은 성능을 보였고, 그 다음이 문헌집합 요소, 그리고 문헌 요소가 가장 낮은 성능을 나타냈다. 가중치 요소 간의 조합에서는 일반적으로 사용되는 문헌 요소와 문헌집합 요소의 조합 가중치(tfidf or ltfidf)와 함께 문헌 요소를 포함하는 조합(tf*cat or ltf*cat) 보다는, 오히려 문헌 요소를 배제하고 문헌 집합 요소를 범주 요소와 결합한 조합 가중치 기법(idf*cat)이 가장 좋은 성능을 보였다. 그러나 실험집단 측면에서 단일 가중치와 조합 가중치를 서로 비교한 결과에 따르면, LISA에서 범주 요소만을 사용한 단일 가중치(cat only)가 가장 좋은 성능을 보인 반면, Reuters-21578에서는 문헌집합 요소와 범주 요소간의 조합 가중치(idf*cat)의 성능이 가장 우수한 것으로 나타났다. 따라서 가중치부여 기법에 대한 실제 적용에서는, 분류 대상이 되는 문헌집단 내 범주들의 특성을 신중하게 고려할 필요가 있다.

Abstract ▼ AI-Helper 아이콘AI-Helper

This study examines various weighting methods for improving the performance of automatic classification based on Rocchio algorithm on two collections(LISA, Reuters-21578). First, three factors for weighting are identified as document factor, document factor, category factor for each weighting scheme...

주제어

#가중치   #가중치부여 기법   #로치오 알고리즘   #문헌분류   #텍스트 범주화   #분류기  

참고문헌 (32)

  1. 김판준. 2007, 로치오 알고리즘을 이용한 자동분류에서 용어 가중치 기법. $\ulcorner$ 문헌정보학논집 $\lrcorner$ , 명지대학교, 문헌정보학회, 제9호: 157-185 

  2. 김판준. 200sa. 기계학습을 통한 디스크립터 자동부여에 관한 연구. $\ulcorner$ 정보관리학회지 $\lrcorner$ , 23(1) : 279-299 

    원문보기 상세보기 crossref

  3. 김판준. 2006b. 로치오 알고리즘을 이용한 학술지 논문의 디스크립터 자동부여에 관한연구 $\ulcorner$ 정보관리학회지 $\lrcorner$ , 23(3): 69-89 

    원문보기 상세보기 crossref

  4. 이재윤. 2005. 자질 선정 기준과 가중치 할당 방식간의 관계를 고려한 문서 자동분류의개선에 대한 연구 $\ulcorner$ 한국문헌정보학회지 $\lrcorner$ , 39(2) 123-146 

    원문보기 상세보기

  5. 이재윤, 최보영, 정영미. 2000. 문헌 자동분류에서 용어가중치 기법에 대한 연구. 제7회 한국정보관리학회 학술대회 논문집, 2000년 8월 17일 이화여자대학교, pp.41-44 

  6. 정영미. 1993. $\ulcorner$ 정보검색론 $\lrcorner$ . 서울: 구미무역 (주) 출판부 

  7. Brank, J., M. Grobelnik, N. Milic-Frayling & D. Mladenic. 2002. "Interaction of feature selection methods and linear classification models." In: Proceedings of the ICML-02 Workshop on Text Learning, Sydney. [cited 2007. 5. 3]. 

  8. Castillo M. D. and Serrano J. I. 2004. "A multistrategy approach for digital text categorization from imbalanced documents." ACM SIGKDD Explorations Newsletter: Special Issue on Leaning from Imbalanced Datasets, 6(1): 70-79 

    상세보기 crossref

  9. Debole, Franca and F. Sebastiani. 2003. "Supervised term weighting for automated text categorization." In: Proceedings of SAC-03, 18th ACM Symposium on Applied Computing, New York: ACM. 784-788 

    crossref

  10. Deng, Zhi-Hong et al. 2004. A Comparative study on feature weight in text categorization. In Proceedings of The Sixth Asia Pacific Web Conference(APWEB 2004), Hangzhou, China, April 14-17, LNCS 3007, 588-597 

  11. Forman G. 2003. "An extensive empirical study of feature selection metrics for text classification." The Journal of Machine Learning Research. Special Issue on Variable and Feature Selection. 3: 1289-1305 

    crossref

  12. Geng, L. and Howard J. Hamilton. 2006. "Choosing the right lens: finding what is interesting in data mining." eds. by Guillet, Fabrice, Howard J. Hamilton. Quality Measures in Data Mining. Springer, pp. 3-24 

  13. How, Bong Chih and Narayanan K. 2004. An empirical study of feature selection for text categorization based on term weightage. In Proceedings of the 2004 IEEE/WIC/ACM International Conference on Web Intelligence. pp.592-602 

    crossref

  14. Joachims. Thorsten. 1996. "A probabilistic analysis of the rocchio algorithm with TFIDF for text categorization." Proceedings of ICML-97. 14th International Conference on Machine Learning, Nashville. TN: 143-151 

  15. Joachims, Thorsten. 1998. "Text categorization with support vector machines: learning with many relevant features." In: Proceedings of the 10th European Conference on Machine Learning: 137-142 

  16. Lan, Man. Chew-Lim Tan, and Hwee-Boon LOW. 2006. "Proposing a new term weighting scheme for text categorization." In 21st National Conference on Artificial Intelligence, AAAI-2006, 16-20 July. 2006. Boston. Massachusetts. USA. [cited 2007. 3. 7.]. 

  17. Liu, Ying. Han Tong Loh. Kamal Yousef Tourni. and Shu Beng Tor. 2007. "Han dling of imbalanced data in text classification: category- based term weights." In: Kao, Anne and Stephen R. Poteet eds. Natural Language Processing and Text Mining. Springer.. pp.171-192 

  18. Papineni, K. 2001. "Why inverse document frequency?" Proceedings of the North American Association for Computational Linguistics, NAACI New York. pp. 25- 32 

  19. Prabowo. Ruby and Mike Thelwall. 2006. "A comparison of feature selection methods for an evloving RSS feed corpus." Information Processing and Management. 42: 1491-1512 

    상세보기 crossref

  20. Robertson S. 2004. Understanding inverse document frequency: on theoretical arguments for IDF. Journal of Documentation. 60(5): 503-520 

    상세보기 crossref

  21. Robertson. S. E. and K. Sparck Jones. 1976. "Relevance weighting of search terms." JASIS. 27(3): 129-146 

    상세보기 crossref

  22. Rogati, M and Y. Yang. 2002. High-Performing Feature Selection for Text Classification." In: Proceedings of the eleventh international conference on Information and knowledge management. CIKM '02. [cited 2007. 8. 23.]. 

  23. Salton. G.. H. Wu, and C. T. Yu. 1981. "The Measurement of term importance in automatic indexing." JASIS, 32(3): 175-186 

    상세보기 crossref

  24. Salton. G. and M. J. McGill. 1983. Introduction to Modern Information Retrieval. N. Y.: McGraw-Hill 

  25. Sebastiani. Fabrizio. 2002. "Machine learning in automated text categorization." ACM Computing Surveys, 34(1): 1-47 

    상세보기 crossref

  26. Soucy P. and Guy W. Mineau. 2005. "Beyond TFIDF weighting for text categorization in the vector space model." IJCAI-05 proceedings, 1130-1135. [cited 2007. 2. 20]. 

  27. Yang, Y and Liu X. 1999. "A re-examination of text categorization methods." In: Proceedings of the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval 

    crossref

  28. Yang, Y. 1999. "Evaluation of statistical approaches to text categorization." Information Retrieval. 1: 69-90 

    crossref

  29. Yang. Y. and Pedersen J. O. 1997. "A comparative Study on Feature Selection in Text Categorization." In: Proceedings of ICML-97, 14th International Conference on Machine Learning: 412420 

    crossref

  30. Yu. C. T. and G. Salton 1976. "Precision weighting-an effective automatic indexing method." Journal of Association for Computing Machinery, 23(1): 7688 

  31. Yu. C. T.. K. Lam. and G. Salton. 1982. "Term weighting in information retrieval using the term precision model." Journal of Association for Computing Machinery, 29(1): 152-170 

    상세보기 crossref

  32. Zheng Z., X. Wu and R. Srihari. 2004. "Feature selection for text categorization on imbalanced data." ACM SIGKDD Explorations Newsletter: Special Issue on Leaning from Imbalanced Datasets, 6(1): 80-89 

    상세보기 crossref

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로