[논문]불균형 텍스트 데이터의 변수 선택에 있어서의 카이제곱통계량과 정보이득의 특징

문혜인; 손원

doi:10.5351/kjas.2022.35.4.469

불균형 텍스트 데이터의 변수 선택에 있어서의 카이제곱통계량과 정보이득의 특징
Properties of chi-square statistic and information gain for feature selection of imbalanced text data 원문보기

응용통계연구 = The Korean journal of applied statistics, v.35 no.4, 2022년, pp.469 - 484

문혜인 (단국대학교 대학원 응용통계학과) , 손원 (단국대학교 대학원 응용통계학과)

초록
AI-Helper

텍스트 데이터는 일반적으로 많은 단어로 이루어져 있으므로 변수의 수가 매우 많은 고차원 데이터에 해당된다. 이러한 고차원 데이터에서는 계산 효율성과 통계분석의 정확성을 높이기 위해 많은 변수 중 중요한 변수를 선택하기 위한 절차를 거치는 경우가 많다. 텍스트 데이터에서도 많은 단어 중 중요한 단어를 선택하기 위해 여러가지 방법들이 사용되고 있다. 이 연구에서는 단어 선택을 위한 대표적인 필터링 방법인 카이제곱통계량과 정보이득의 공통점과 차이점을 살펴보고 실제 텍스트 데이터에서 이 단어선택 방법들의 성질을 확인해보았다. 카이제곱통계량과 정보이득은 비음성, 볼록성 등의 성질을 공유하지만 불균형 텍스트 데이터에서 카이제곱통계량이 양변수 위주로 단어를 선택하는 반면, 정보이득은 음변수도 상대적으로 많이 선택하는 경향이 있음을 확인하였다.

Abstract ▼ AI-Helper

Since a large text corpus contains hundred-thousand unique words, text data is one of the typical large-dimensional data. Therefore, various feature selection methods have been proposed for dimension reduction. Feature selection methods can improve the prediction accuracy. In addition, with reduced data size, computational efficiency also can be achieved. The chi-square statistic and the information gain are two of the most popular measures for identifying interesting terms from text data. In this paper, we investigate the theoretical properties of the chi-square statistic and the information gain. We show that the two filtering metrics share theoretical properties such as non-negativity and convexity. However, they are different from each other in the sense that the information gain is prone to select more negative features than the chi-square statistic in imbalanced text data.

주제어

표/그림 (7)

표 Table 1: 2-way contingency table for the term w and class c
표 Table 2: Top-10 categories of the Reuters-21578 data
그림 Figure 1: Comparison between chi-square statistic and information gain.
표 Table 3: Number of positive features selected by chi-square statistic and information gain
표 Table 4: Number of common features (cumulative)
표 Table 5: Average classification performance : averaged for 100 random test data sets
표 Table 6: Average classification performance : averaged for 100 random test data set

참고문헌 (8)

Bird S, Klein E, and Loper E (2009). Natural language processing with Python: analyzing text with the natural language toolkit. O'Reilly.
Forman G (2003). An extensive empirical study of feature selection metrics for text classification. Journal of Machine Learning Research, 3, 1289-1305.
Kou G, Yang P, Peng Y, Xiao F, Chen Y, and Alsaadi FE (2020). Evaluation of feature selection methods for text classification with small datasets using multiple criteria decision-making methods. Applied Soft Computing, 86, 105836.

상세보기
Manning C and Schutze H (1999). Foundations of statistical natural language processing. MIT press.
Mladenic D and Grobelnik M (1999). Feature selection for unbalanced class distribution and naive bayes. In Proceedings of the 16th International Conference on Machine Learning (ICML). 258-267.
Rao JNK and Scott AJ (1987). On simple adjustments to chi-square tests with sample survey data. The annals of statistics, 15(1), 385-397.

상세보기
SonW(2020). Skewness of chi-square statistic for imbalanced text data. Journal of the Korean Data & Information Science Society, 31(5), 807-821.

상세보기
Yang Y and Pedersen JO (1997). A comparative study on feature selection in text categorization. In Proceedings of the 14th International Conference on Machine Learning (ICML). 412-420.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증