[논문]평점과 리뷰 텍스트 감성분석을 결합한 추천시스템 향상 방안 연구

현지연; 유상이; 이상용

doi:10.13088/jiis.2019.25.1.219

평점과 리뷰 텍스트 감성분석을 결합한 추천시스템 향상 방안 연구
How to improve the accuracy of recommendation systems: Combining ratings and review texts sentiment scores 원문보기

지능정보연구 = Journal of intelligence and information systems, v.25 no.1, 2019년, pp.219 - 239

현지연 (한양대학교 경영대학 비즈니스인포매틱스학과) , 유상이 (한양대학교 경영대학 경영학과) , 이상용 (한양대학교 경영대학)

초록
AI-Helper

개인에게 맞춤형 서비스를 제공하는 것이 중요해지면서 개인화 추천 시스템 관련 연구들이 끊임없이 이루어지고 있다. 추천 시스템 중 협업 필터링은 학계 및 산업계에서 가장 많이 사용되고 있다. 다만 사용자들의 평점 혹은 사용 여부와 같은 정량적인 정보에 국한하여 추천이 이루어져 정확도가 떨어진다는 문제가 제기되고 있다. 이와 같은 문제를 해결하기 위해 현재까지 많은 연구에서 정량적 정보 외에 다른 정보들을 활용하여 추천 시스템의 성능을 개선하려는 시도가 활발하게 이루어지고 있다. 리뷰를 이용한 감성 분석이 대표적이지만, 기존의 연구에서는 감성 분석의 결과를 추천 시스템에 직접적으로 반영하지 못한다는 한계가 있다. 이에 본 연구는 리뷰에 나타난 감성을 수치화하여 평점에 반영하는 것을 목표로 한다. 즉, 사용자가 직접 작성한 리뷰를 감성 수치화하여 정량적인 정보로 변환해 추천 시스템에 직접 반영할 수 있는 새로운 알고리즘을 제안한다. 이를 위해서는 정성적인 정보인 사용자들의 리뷰를 정량화 시켜야 하므로, 본 연구에서는 텍스트 마이닝의 감성 분석 기법을 통해 감성 수치를 산출하였다. 데이터는 영화 리뷰를 대상으로 하여 도메인 맞춤형 감성 사전을 구축하고, 이를 기반으로 리뷰의 감성점수를 산출한다. 본 논문에서 사용자 리뷰의 감성 수치를 반영한 협업 필터링이 평점만을 고려하는 전통적인 방식의 협업 필터링과 비교하여 우수한 정확도를 나타내는 것을 확인하였다. 이후 제안된 모델이 더 개선된 방식이라고 할 근거를 확보하기 위해 paired t-test 검증을 시도했고, 제안된 모델이 더 우수하다는 결론을 도출하였다. 본 연구에서는 평점만으로 사용자의 감성을 판단한 기존의 선행연구들이 가지는 한계를 극복하고자 리뷰를 수치화하여 기존의 평점 시스템보다 사용자의 의견을 더 정교하게 추천 시스템에 반영시켜 정확도를 향상시켰다. 이를 기반으로 추가적으로 다양한 분석을 시행한다면 추천의 정확도가 더 높아질 것으로 기대된다.

Abstract ▼ AI-Helper

As the importance of providing customized services to individuals becomes important, researches on personalized recommendation systems are constantly being carried out. Collaborative filtering is one of the most popular systems in academia and industry. However, there exists limitation in a sense that recommendations were mostly based on quantitative information such as users' ratings, which made the accuracy be lowered. To solve these problems, many studies have been actively attempted to improve the performance of the recommendation system by using other information besides the quantitative information. Good examples are the usages of the sentiment analysis on customer review text data. Nevertheless, the existing research has not directly combined the results of the sentiment analysis and quantitative rating scores in the recommendation system. Therefore, this study aims to reflect the sentiments shown in the reviews into the rating scores. In other words, we propose a new algorithm that can directly convert the user 's own review into the empirically quantitative information and reflect it directly to the recommendation system. To do this, we needed to quantify users' reviews, which were originally qualitative information. In this study, sentiment score was calculated through sentiment analysis technique of text mining. The data was targeted for movie review. Based on the data, a domain specific sentiment dictionary is constructed for the movie reviews. Regression analysis was used as a method to construct sentiment dictionary. Each positive / negative dictionary was constructed using Lasso regression, Ridge regression, and ElasticNet methods. Based on this constructed sentiment dictionary, the accuracy was verified through confusion matrix. The accuracy of the Lasso based dictionary was 70%, the accuracy of the Ridge based dictionary was 79%, and that of the ElasticNet (${\alpha}=0.3$) was 83%. Therefore, in this study, the sentiment score of the review is calculated based on the dictionary of the ElasticNet method. It was combined with a rating to create a new rating. In this paper, we show that the collaborative filtering that reflects sentiment scores of user review is superior to the traditional method that only considers the existing rating. In order to show that the proposed algorithm is based on memory-based user collaboration filtering, item-based collaborative filtering and model based matrix factorization SVD, and SVD ++. Based on the above algorithm, the mean absolute error (MAE) and the root mean square error (RMSE) are calculated to evaluate the recommendation system with a score that combines sentiment scores with a system that only considers scores. When the evaluation index was MAE, it was improved by 0.059 for UBCF, 0.0862 for IBCF, 0.1012 for SVD and 0.188 for SVD ++. When the evaluation index is RMSE, UBCF is 0.0431, IBCF is 0.0882, SVD is 0.1103, and SVD ++ is 0.1756. As a result, it can be seen that the prediction performance of the evaluation point reflecting the sentiment score proposed in this paper is superior to that of the conventional evaluation method. In other words, in this paper, it is confirmed that the collaborative filtering that reflects the sentiment score of the user review shows superior accuracy as compared with the conventional type of collaborative filtering that only considers the quantitative score. We then attempted paired t-test validation to ensure that the proposed model was a better approach and concluded that the proposed model is better. In this study, to overcome limitations of previous researches that judge user's sentiment only by quantitative rating score, the review was numerically calculated and a user's opinion was more refined and considered into the recommendation system to improve the accuracy. The findings of this study have managerial implications to recommendation system developers who need to consider both quantitative information and qualitative i

주제어

표/그림 (11)

그림 Ratings and reviews for movies rated by user gmlx****
그림 User-based Collaborative Filtering
그림 Item-based Collaborative Filtering
그림 Overview of the proposed framework
그림 Building sentiment dictionary
그림 Dictionary Accuracy and Pos/Neg Word Frequency
표 Confusion Matrix
표 Original ratings and Proposed new ratings (Example)
표 Experimental Results of Proposed Model with Test data
표 Paired t-test (MAE)
표 Paired t-test (RMSE)

질의응답

핵심어	질문	논문에서 추출한 답변
	추천 시스템이란 무엇인가?	추천 시스템은 고객이 관심을 가질 것으로 예상되는 아이템에 관한 정보나 인구 통계학적 정보, 과거 구매 패턴 등을 토대로 고객의 선호에 맞는 아이템을 추천해주는 것이다. 넷플릭스(Netflix)와 아마존(Amazon)이 추천시스템으로 성과를 거두면서 사용자의 취향에 맞는 아이템을 추천하기 위한 노력들이 국내에서도 왓챠(Whatcha)의 영화 추천 시스템, 네이버 인공지능에어스(AiRS)를 통한 메인 뉴스 추천, 실시간으로 사용자의 반응을 분석하여 콘텐츠를 추천하는 카카오의 루빅스(RUBICS) 등에서 활발하게 이루어지고 있다.
	특정 아이템에 대한 선호도가 유사한 사용자들은 다른 아이템에 대해서도 비슷한 선호도를 나타낼 것이라는 기본 가정을 바탕으로 선호도를 예측하는 방법은 무엇인가?	협업 필터링은 Goldberg et al.(1992)에 의하여 개념이 처음으로 소개되어진 방식으로 특정 아이템에 대한 선호도가 유사한 사용자들은 다른 아이템에 대해서도 비슷한 선호도를 나타낼 것이라는 기본 가정을 바탕으로 사용자 혹은 아이템 간 유사도를 기반으로 선호도를 예측하는 방법이다.
	대표적 알고리즘으로 SVD, SVD++가 사용되는 방식은 무엇인가?	과거 사용자의 평점을 기반으로 사용자를 모델링하여 사용자가 평점을 주지 않은 새로운 아이템에 부여할 평점을 예측하는 방식으로 Matrix Factorization, Clustering models 등으로 분류할 수 있다. Matrix Factorization 방식은 사용자와 아이템 사이의 직접적인 관계가 아닌 잠재 요인을 통하여 평점을 예측하는 방식이다. 대표적 알고리즘으로 SVD(Singular Value Decomposition), SVD++가 사용된다.

참고문헌 (26)

Ahn. J. K. and H. W. Kim , "Building a Korean Sentiment Dictionary and Applications of Natural Language Processing", J Intell Inform Syst, (2014), 177-182.
Bhojne, N. G., Deore, S., Jagtap, R., Jain, G. and Kalal, C., "Collaborative Approach based Restaurant Recommender System using Naive Bayes", International Journal of Advanced Research in Computer and Communication Engineering, Vol. 6, No.4(2017).
Breese, J. S., Heckerman, D., and Kadie, C., "Empirical analysis of predictive algorithms for collaborative filtering", In Proceedings of the Fourteenth conference on Uncertainty in artificial intelligence, (1998), 43-52.
Choi. D. J., H. S. Choi and C. Y. Park., "Classification of ratings in online reviews", Journal of the Korean Data & Information Science Society, (2016), 845-854.
Deng, D., Jing, L., Yu, J., Sun, S. and Zhou, H., "Neural gaussian mixture model for review-based rating prediction", RecSys '18 Proceedings of the 12th ACM Conference on Recommender Systems, (2018).
Garcis-Cumbreras, M. A., A. Montejo-Raez, and M. C. Diaz-Galiano, "Pessimists and optimists: Improving collaborative filtering through sentiment analysis", Expert Systems with Applications, Vol. 40, No.17(2013), 6758-6765.

상세보기
Goldberg, D., Nichols, D., Oki, B. M., and Terry, D., "Using collaborative filtering to weave an information tapestry", Communications of the ACM, (1992), 61-70.
Hoerl, E. and Kennard, R.W., "Ridge Regression: Biased Estimation for Nonorthogonal Problems", Technometrics, Vol.12, No.1 (1970), 55-67.

상세보기
Jakob, "Beyond the stars: exploiting free-text user reviews to improve the accuracy of movie recommendations", TSA '09 Proceedings of the 1st international CIKM workshop on Topic-sentiment analysis for mass opinion, (2009), 57-64.
Jeon, B. K., H. C. Ahn, "A Collaborative Filtering System Combined with Users Review Mining Application to the Recommendation of Smartphone-Apps", J Intell Inform Syst, Vol.21, No.2(2015), 1-18.
Jung, C. H., J. H. Kim, Y. J. Jeon, H. J. Jung, "Korean Sentiment Dictionary based on the Reliability of Review data", Korean Institute of Information Scientists and Engineers, 2017 Korea Software Congress, (2017), 1965-1967.
Kim. D. H. and S. H. Choi, "A Domain Adaptive Sentiment Dictionary Construction Method for Domain Sentiment Analysis", The Korean Society of Computer and Information, Proceedings of the Korean Society of Computer Information Conference, (2015), 15-18.
Kim. S. B., S. J. Kwon. and J. T. Kim, "Building Sentiment Dictionary and Polarity Classification of Blog Review by Using Elastic Net", Korean Information Science Society, (2015), 639-641.
Kim. Y. S. and S. R. Jeong, "Intelligent VOC Analyzing System Using Opinion Mining", Korea Intelligent Information Systems Society, Journal of Intelligence and Information Systems 19(3), (2013), 113-125.

원문보기 상세보기
Lee, S. H., J. Choi and J. W. Kim, "Analysis of movie review emotion through customized emotional dictionary construction by domain", J Intell Inform Syst, Vol.22, No.2 (2016), 97-113.
Leung, C. W., Chan, S. C. and Chung, F., "Integrating Collaborative Filtering and Sentiment Analysis: A Rating Inference Approach", ECAI 2006 Workshop on Recommender Systems, (2006), 62-68.
Liu, S. M., Chan, J. H., "A multi-label classification based approach for sentiment classification", Expert Systems with Application, Vol. 42, (2005), 1083-1093.
Oh. Y. J. and S. H. Choi, "Movie Rating Inference by Construction of Movie Sentiment Sentence using Movie comments and ratings", Journal of Korean Society for Internet Information, Vol.16, No.2(2015), 41-48.
Park, J. Y. and B. S. Jeon, "A structural Analysis of the Movie Reviews", The Journal of the Korea Contents Association, Vol. 14, No. 5(2014).
Ricci, F., Rokach, L., Shapira, B. and Kantor, P., Recommender systems handbook, 2011.
Sarwar, B., Karypis, G., Konstan, J., and Riedl, J., "Item-based collaborative filtering recommendation algorithms", In Proceedings of the 10th international conference on World Wide Web, (2001), 285-295.
Son. J. E., S. B. H., H. J. Kim and S. J. Cho., "Review and Analysis of Recommender Systems, Journal of the Korean Institute of Industrial Engineers, Vol. 41, No. 2(2015), 185-208.

원문보기 상세보기
Song. J. S., J. B. Back and S. W. Lee, "Automatic Construction of Positive/Negative Dictionary to Improve Performance of Product Review Classification", Korean Institute of Information Scientists and Engineers, 2010 Korea Computer Congress, Vol. 37, No.1 (2010), 136-137.
Tibshirani, R., "Regression Shrinkage and Selection via the Lasso", Journal of the Royal Statistical Society, Vol. 58, No. 1(1996), 267-288.
Wang, Y., Liu, Y. and Yu, X., "Collaborative Filtering with Aspect-Based Opinion Mining: A Tensor Factorization Approach", Proceedings of 2012 IEEE 12th International Conference on Data Mining (ICDM), (2012), 1152-1157.
Yu, E., Y. Kim, N. Kim, and S. R. Jeong, "Predicting the direction of the stock index by using a domain-specific sentiment dictionary," KIIS Journal of Intelligence and Information Systems, Vol. 19, No. 1(2013), 95-110.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증