IT 기술의 발달으로 인해 현대 사회에는 온라인 상의 기사, 블로그, 댓글 등 방대한 정보가 유통되고 있다. 이러한 데이터의 대부분은 비정형적인 자료(unstructured data)인 텍스트로 구성되어 있으며 끊임없이 생산되고 있다. 이에 따라 비정형적인 자료를 새롭게 수치화된 자료로 변환하여 텍스트 마이닝을 활용한 분석의 수요가 지속적으로 증가하고 있다. 정형화된 자료로부터 패턴을 찾는 데이터 마이닝(data mining)과 달리 텍스트 마이닝은 이렇게 비정형화된 텍스트로부터 패턴을 찾는다는 점이 가장 큰 차이점이다. 본 연구에서는 고차원의 한국어 텍스트를 최소한의 저차원으로 충분한 정보를 담고 있는지 살펴보는 것을 목적으로 한다. 여러 선행 연구로부터 이미 차원을 축소하는 방법이 소개되었으며, 그 중 다항 역회귀 기법과 충분차원축소 개념을 활용한다. 다항 역회귀 모형 기법을 활용하기 위해서는 리뷰 댓글을 모형에 알맞은 형태로 변환해야 하기 때문에 다양한 방식으로 전처리하고 수치화하였다. 분석 과정에서 요약된 저차원의 정보로 생기는 예측력 등과 같은 문제점을 파악하며 이를 해결하기 위한 방법으로 교차항이 포함된 모형을 제안한다. 또한 차원 축소 방법을 이용하여 기존 모형과 비교 분석하고 최종으로 최소한의 차원으로 예측력과 설명력을 기술한다.
IT 기술의 발달으로 인해 현대 사회에는 온라인 상의 기사, 블로그, 댓글 등 방대한 정보가 유통되고 있다. 이러한 데이터의 대부분은 비정형적인 자료(unstructured data)인 텍스트로 구성되어 있으며 끊임없이 생산되고 있다. 이에 따라 비정형적인 자료를 새롭게 수치화된 자료로 변환하여 텍스트 마이닝을 활용한 분석의 수요가 지속적으로 증가하고 있다. 정형화된 자료로부터 패턴을 찾는 데이터 마이닝(data mining)과 달리 텍스트 마이닝은 이렇게 비정형화된 텍스트로부터 패턴을 찾는다는 점이 가장 큰 차이점이다. 본 연구에서는 고차원의 한국어 텍스트를 최소한의 저차원으로 충분한 정보를 담고 있는지 살펴보는 것을 목적으로 한다. 여러 선행 연구로부터 이미 차원을 축소하는 방법이 소개되었으며, 그 중 다항 역회귀 기법과 충분차원축소 개념을 활용한다. 다항 역회귀 모형 기법을 활용하기 위해서는 리뷰 댓글을 모형에 알맞은 형태로 변환해야 하기 때문에 다양한 방식으로 전처리하고 수치화하였다. 분석 과정에서 요약된 저차원의 정보로 생기는 예측력 등과 같은 문제점을 파악하며 이를 해결하기 위한 방법으로 교차항이 포함된 모형을 제안한다. 또한 차원 축소 방법을 이용하여 기존 모형과 비교 분석하고 최종으로 최소한의 차원으로 예측력과 설명력을 기술한다.
With the development of IT technology, a vast amount of information, including articles, blogs and online comments, is being circulated in modern society. Much of this data consists of text, which is unstructured data and is constantly being produced. As a result, the demand for analysis using text ...
With the development of IT technology, a vast amount of information, including articles, blogs and online comments, is being circulated in modern society. Much of this data consists of text, which is unstructured data and is constantly being produced. As a result, the demand for analysis using text mining continues to increase by converting unstructured data into new digitized data. Unlike data mining, which extracts patterns from the structured data, the biggest difference is that text mining looks for patterns from the unstructured text. A main purpose of this study is to examine how high-dimensional Korean text variables, e.g., Korean movie reviews, can be summarized to provide sufficient information and to reduce dimension. This helps a further analysis, e.g., prediction of movie ratings. We use a state of the art method called multinomial inverse regression (MNIR), which was proposed to obtain a low-dimensional summary of texts that contains sentiment information. This requires the review comments to convert into an appropriate form for the model, so it was preprocessed and quantified in various ways. Besides prediction evaluation resulting from the summarized information, we propose the multiple MNIR models that consider interaction terms with movie genre variables. The proposed methods reveal an interesting feature of text data and it show a better prediction performance in our empirical study.
With the development of IT technology, a vast amount of information, including articles, blogs and online comments, is being circulated in modern society. Much of this data consists of text, which is unstructured data and is constantly being produced. As a result, the demand for analysis using text mining continues to increase by converting unstructured data into new digitized data. Unlike data mining, which extracts patterns from the structured data, the biggest difference is that text mining looks for patterns from the unstructured text. A main purpose of this study is to examine how high-dimensional Korean text variables, e.g., Korean movie reviews, can be summarized to provide sufficient information and to reduce dimension. This helps a further analysis, e.g., prediction of movie ratings. We use a state of the art method called multinomial inverse regression (MNIR), which was proposed to obtain a low-dimensional summary of texts that contains sentiment information. This requires the review comments to convert into an appropriate form for the model, so it was preprocessed and quantified in various ways. Besides prediction evaluation resulting from the summarized information, we propose the multiple MNIR models that consider interaction terms with movie genre variables. The proposed methods reveal an interesting feature of text data and it show a better prediction performance in our empirical study.
Adragni KP and Cook RD (2009). Sufficient dimension reduction and prediction in regression, Philosophical？Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 367, 4385-4405.
Cook RD and Weisberg S (1991). Discussion of "sliced inverse regression for dimension reduction", Journal of？the American Statistical Association, 86, 28-33.
Feinerer I (2017). Introduction to the tm package text mining in R, Available from: https://cran.r-project.？org/web/packages/tm/vignettes/tm.pdf
Gupta V and Lehal GS (2009). A survey of text mining techniques and applications, Journal of Emerging Technologies in Web Intelligence, 1, 60-76.
Jeon H (2016). KoNLP: Korean NLP package. R package version 0.80.1, Available from: https://CRAN.R-project.org/packageKoNLP
Jeon H (2018). Automatic Korean word spacing with R, Available from: https://github.com/haven-jeon/KoSpacing
Jentsch C, Lee ER, and Mammen E (2021). Poisson reduced-rank models with an application to political text？data, Biometrika, 108, 455-468.
Li KC (1991). Sliced inverse regression for dimension reduction, Journal of the American Statistical Association,？86, 316-327.
Tan KM, Wang Z, Zhang T, Liu H, and Cook RD (2018). A convex formulation for high-dimensional sparse？sliced inverse regression, Biometrika, 105, 769-782.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.