[논문]상품 리뷰 감성분석을 이용한 아이템 기반 협업 필터링 추천 기법

윤소영; 윤성대

doi:10.6109/jkiice.2020.24.8.970

상품 리뷰 감성분석을 이용한 아이템 기반 협업 필터링 추천 기법
Item-Based Collaborative Filtering Recommendation Technique Using Product Review Sentiment Analysis 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.8, 2020년, pp.970 - 977

윤소영 (Information & Computer Center, Pukyong National University) , 윤성대 (Department of Computer Engineering, Pukyong National University)

초록
AI-Helper

협업 필터링 추천 기법은 전자상거래 기업들이 추천시스템을 도입한 이래로 가장 널리 사용되고 있다. 그러나 온라인에서 상품이나 콘텐츠의 구매가 일상화되면서 단순히 구매 고객의 평점만을 사용하는 추천 방식으로는 추천의 정확성이 낮아지는 문제점이 발생하였다. 본 논문에서는 추천의 정확성을 향상시키기 위해, 상품 리뷰를 분석하고 이를 가중치로 사용한 협업 필터링 추천 기법을 제안한다. 제안하는 기법은 상품에 대한 리뷰를 텍스트 마이닝 기법으로 정제하여 특징을 추출하고 감성 기반 분석을 통해 감성 점수를 산출한다. 사용자에게 더 나은 아이템을 추천하기 위해 산출된 점수를 아이템 예측 값 계산 시 가중치로 사용한다. 실험을 통해 전통적인 협업 필터링 기법보다 제안하는 기법의 정확성이 향상되는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

The collaborative filtering recommendation technique has been the most widely used since the beginning of e-commerce companies introducing the recommendation system. As the online purchase of products or contents became an ordinary thing, however, recommendation simply applying purchasers' ratings led to the problem of low accuracy in recommendation. To improve the accuracy of recommendation, in this paper suggests the method of collaborative filtering that analyses product reviews and uses them as a weighted value. The proposed method refines product reviews with text mining to extract features and conducts sentiment analysis to draw a sentiment score. In order to recommend better items to user, sentiment weight is used to calculate the predicted values. The experiment results show that higher accuracy can be gained in the proposed method than the traditional collaborative filtering.

주제어

표/그림 (11)

그림 Fig. 1 Text processing process
그림 Fig. 2 Structure of the proposed technique
그림 Fig. 3 Text preprocess
그림 Fig. 4 Review data
그림 Fig. 5 Sentiment score
그림 Fig. 6 Compute sentiment score weight
그림 Fig. 8 Select Top-N recommendation items
그림 Fig. 7 Example of item recommendation
그림 Fig. 10 Comparison of RMSE
그림 Fig. 9 Comparison of MAE
그림 Fig. 11 Comparison of F₁

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 평가 값 못지않게 구매를 결정하는데 중요한 요소로 작용하는 리뷰 데이터를 활용하여 추천의 정확성을 높이기 위해 아이템 기반 협업 필터링 기법에 사용자가 남긴 리뷰 데이터를 분석하고 가중치로 적용하는 방법을 제안하고자 한다. 제안하는 기법은 아이템에 대한 사용자들의 리뷰 데이터를 자연어 처리 기술을 사용하여 전 처리한 후 텍스트 마이닝 분석 기법 중 감성 기반 분석을 사용하여 리뷰 데이터의 감성 점수를 산출한다.
이러한 구매자들의 의견은 기업에 게는 제품의 개선과 발전에 도움을 줄 수 있고, 다른 구매자들에게는 제품 구매 결정에 도움을 줄 수 있다. 이에 추천 시스템의 정확성을 높이기 위해 구매자들의 의견인 리뷰 데이터를 추천시스템에 활용하고자 하는 연구들이 진행되고 있으며, 본 논문에서도 협업 필터링 시스템의 정확성을 높이기 위해 사용자들이 남긴 리뷰 데이터를 분석, 활용한 추천 기법을 제안하였다.

제안 방법

Opinion mining이라고도 하며 문서 내 텍스트에서 사람들의 의견, 정서, 감정, 태도 등을 분석하여 감성 지수를 계산한다. 긍정(positive) 지수, 부정(negative) 지수로 구성된 감성 지수들을 사용하여 텍스트에 포함된 긍정, 부정 감성을 판단한다. 그림 1은 텍스트를 처리하는 과정을 보여준다.
compound 지수는 어휘사전에서 각 단어들의 긍정, 중립, 부정 지수의 균형 점수를 합산한 후 정규화 시켜 ‘매우 부정 (-1)’에서 ‘매우 긍정(+1)’ 사이의 점수를 반환하며, 이 점수를 해당 문장의 감성 점수로 사용한다. 본 논문에서는 NLTK 패키지를 사용하여 아이템의 각 리뷰별 compound 점수를 구한 후 그 값들의 평균값을 해당 아이템의 감성 점수로 지정하였다. 그림 4와 5는 아이템별 리뷰 데이터와 리뷰 데이터의 감성점수를 추출한 예를 나타낸 것이다.
수집된 데이터의 userId, itemId, rating을 사용하여 user-item matrix를 생성한다. 생성된 매트릭스를 이용하여 아이템 간 유사도를 조정 코사인 유사도(adjusted cosine similarity)를 사용하여 계산한다.
실험은 전통적인 협업필터링 기법인 사용자 기반 추천기법, 아이템 기반 추천기법과 제안하는 추천 기법에 대하여 MAE와 RMSE를 사용한 예측의 정확성 비교와 F1 척도를 사용한 추천의 정확성 비교로 진행하였다. 예측 정확성을 비교하기 위해 근접 이웃의 수를 10~50까지 10씩 증가시켜 각 기법의 MAE와 RMSE를 구하였다.
아이템 간 유사도 계산 후 유사도가 높은 상위 N개의 근접 이웃을 선정하고 근접 이웃의 평가 값을 기반으로 예측 값을 계산한다. 예측 값 계산에는 아이템에 대한 리뷰의 감성 점수 가중치를 사용한다.
아이템 별로 사용자가 남긴 각각의 리뷰 데이터를 분석에 사용할 수 있도록 불필요한 부분을 제거하고, 어휘와 구문 분석을 다음과 같은 과정으로 진행한다.
진행하였다. 예측 정확성을 비교하기 위해 근접 이웃의 수를 10~50까지 10씩 증가시켜 각 기법의 MAE와 RMSE를 구하였다. 그림 9와 10은 근접 이웃 변화에 따른 예측의 정확성을 비교한 결과를 나타내는 것이다.
제안 기법은 감성분석을 활용하기 위해 영어 리뷰와 VADER 감성사전을 사용하였는데 한글 리뷰를 분석하기 위해서는 한글 분석이 가능한 감성사전을 사용해야 한다. 한글은 영어보다 전처리 과정이나 품사 태깅 과정 등이 복잡하기 때문에 여러가지 어려움이 많고 감성 사전이 부족하다.
제안 기법은 사용자간 유사도보다 좀 더 안정적인 아이템 간 유사도[9]를 사용하였으며, 아이템에 대한 평가 값의 정확성을 높이기 위해 사용자가 남긴 리뷰 데이터를 아이템 별로 분석하여 감성점수를 도출하고 이 점수를 아이템의 평균값 가중치로 사용하였다. 최종적으로 유사도와 가중치가 적용된 아이템의 평균값으로 예측값을 생성하였다.
그림 2는 시스템의 구성도이다. 제안하는 기법은 수집된 데이터를 텍스트 데이터(itemId, reviews)와 수치 데이터(itemId, userId, rating)로 나누어 3단계로 처리한다.
방법을 제안하고자 한다. 제안하는 기법은 아이템에 대한 사용자들의 리뷰 데이터를 자연어 처리 기술을 사용하여 전 처리한 후 텍스트 마이닝 분석 기법 중 감성 기반 분석을 사용하여 리뷰 데이터의 감성 점수를 산출한다. 산출된 감성 점수를 활용한 가중치를 아이템 기반 협업 필터링의 예측 값 계산 시 평가 값의 가중치로 사용한다.
첫 번째는 불필요한 부분을 제거, 처리하는 과정으로 저장된 리뷰 텍스트에 남아있는 HTML 태그를 제거하고, 숫자, 기호 등을 공백으로 처리한다. 두 번째는 토큰화(tokenization) 과정으로 문장(sentence) 토큰화, 단어 (word) 토큰화로 진행된다.
추천의 정확성을 비교하기 위해 근접 이웃 수의 변화에 따른 제안 기법과 비교 기법들의 F₁ 척도를 비교하는 실험을 진행하였다. 그림 11은 근접 이웃 수의 변화에 따른 추천의 정확성을 비교한 결과를 나타낸 것이다.

대상 데이터

사용했다. MovieLens 데이터 셋은 1996년 3월부터 2018년 9월까지 610명의 사용자가 9, 742개의 영화를 0.5~5사이의 점수로 평가한 100, 836개의 평가 값들로 구성되어 있는데 리뷰 데이터를 포함하고 있지 않다. 따라서 전체 데이터 중 1, 600개 영화를 선택하여 관련된 평가 데이터 48, 623 개와 해당 영화들의 imdbId를 사용하여 IMDb 사이트에서 수집한 리뷰 데이터 439, 962개를 사용하였다.
5~5사이의 점수로 평가한 100, 836개의 평가 값들로 구성되어 있는데 리뷰 데이터를 포함하고 있지 않다. 따라서 전체 데이터 중 1, 600개 영화를 선택하여 관련된 평가 데이터 48, 623 개와 해당 영화들의 imdbId를 사용하여 IMDb 사이트에서 수집한 리뷰 데이터 439, 962개를 사용하였다. imdbId 는 Movie-Lens 데이터 셋의 link파일에서 제공하며 IMDb 사이트에서 사용되는 해당 영화의 식별자이다.
IMDb는 Amazone company에서 운영하는 영화, TV 드라마 등에 관한 정보를 제공하는 온라인 데이터베이스이다. 실험에서는 평가 데이터를 80% training data와 20% test data 로 나눈 상태의 데이터 셋을 사용하였다.
제안 기법의 성능 평가를 위해 MovieLens 데이터 셋 중 ml-latest-small 데이터 셋과 IMDb(Internet Movie Dataset) 사이트에서 크롤링한 데이터를 사용했다. MovieLens 데이터 셋은 1996년 3월부터 2018년 9월까지 610명의 사용자가 9, 742개의 영화를 0.

이론/모형

수집된 데이터를 사용하여 아이템을 추천하기 위해 아이템 기반 협업 필터링 알고리즘을 사용한다. 수집된 데이터의 userId, itemId, rating을 사용하여 user-item matrix를 생성한다.
실험에서는 예측의 정확성과 추천의 정확성을 평가하기 위해 대표적인 예측 정확성 평가 척도인 MAE(Mean Absolute Error)와 RMSE(Root Mean Squared Error)를 사용하였고, 추천의 정확성을 평가하기 위해 F₁ 척도를 사용하였다.
2단계에서는 평가 값을 사용하여 아이템 간의 유사도를 계산하고 근접 이웃을 선택한다. 유사도 계산에는 Cosine similarity, Pearson’ Correlation, Adjusted Cosine similarity 등의 방법을 사용한다[8]. 식(1)은 Pearson’s Correlation 식으로 _는 사용자 u의 아이템 i에 대한 평가를 나타내고, 는 i번째 아이템의 평가 점수 평균이다.
전처리 단계를 거쳐 품사 태깅된 단어들을 기반으로 각각의 리뷰에 대한 감성 점수를 계산하기 위해 VADER[13] 감성사전을 사용한다. VADER는 집단지성으로 구축된 감성사전으로 결과를 부정(neg), 긍정 (pos), 중립(neu), compound 지수로 나타낸다.

성능/효과

그림 11은 근접 이웃 수의 변화에 따른 추천의 정확성을 비교한 결과를 나타낸 것이다. 근접 이웃의 수가 증가함에 따라 세 기법 모두 증가 곡선을 나타내지만 제안하는 기법이 사용자 기반 기법보다 5~9%, 아이템 기반 기법보다 2~6% 정도 추천의 정확성이 향상되었다.
세 기법 모두 근접 이웃의 수가 증가함에 따라 MAE, RMSE가 감소하며 30명 이상인 경우 일정한 값을 유지하는 것을 알 수 있으며, 제안하는 기법의 예측 성능이 비교 기법들보다 향상되었음을 알 수 있다. 제안하는 기법은 평균적으로 MAE는 사용자 기반 기법보다는 9%, 아이템 기반 기법보다는 4% 정도 향상되었고, RMSE는 사용자 기반 기법보다는 7%, 아이템 기반 기법보다는 3% 정도 향상되었다.
최종적으로 유사도와 가중치가 적용된 아이템의 평균값으로 예측값을 생성하였다. 실험 결과 제안하는 기법의 예측의 정확성이 전통적인 아이템 기반 기법과 사용자 기반 기법보다 향상되었으며, 추천의 정확성도 두 기법보다 향상되었음을 알 수 있었다.
기법들보다 향상되었음을 알 수 있다. 제안하는 기법은 평균적으로 MAE는 사용자 기반 기법보다는 9%, 아이템 기반 기법보다는 4% 정도 향상되었고, RMSE는 사용자 기반 기법보다는 7%, 아이템 기반 기법보다는 3% 정도 향상되었다.

후속연구

그러나 현재 다양한 연구가 시도되고 있다. 향후에는 한글 리뷰를 분석, 활용하여 추천의 정확성을 높일 수 있는 연구를 수행할 것이다.

참고문헌 (14)

J. Sun, Y. Zhai, Y. Zhao, J. Li, and N. Yan, "Information Acquisition and Analysis Technology of Personalized Recommendation System Based on Case-Based Reasoning for Internet of Things," 2018 International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery (CyberC), Zhengzhou, CHINA, pp. 107-110, 2018.
S. Zhang, L. Yao, A. Sun, and Y. Tay, "Deep Learning based Recommender System: A Survey and New Perspectives," ACM Computing Surveys, vol. 52, no. 1, Article 5, pp. 1-38, Feb. 2019.

상세보기
J. Lu, D. Wu, M. Mao, W. Wang, and G. Zhang, "Recommender system application developments: A survey," Decision Support Systems, vol. 74, pp. 12-31, Jun. 2015.

상세보기
D. Kluver, M. D. Ekstrand, and J. A. Konstan, "Rating-Based Collaborative Filtering: Algorithms and Evaluation," Social Information Access, pp. 344-390, May. 2018.
N. Archak, A. Ghose, and P. G.Ipeirotis, "Deriving the Pricing Power of Product Feature by Mining Consumer Reviews," Management Science, vol. 57, no. 8, pp. 1485-1509, Jun. 2011.

상세보기
J. Lee, "How eWOM Reduces Uncertainties in Decisionmaking Process : Using the Concept of Entropy in Information Theory," The Journal of Society for e-Business Studies, vol. 16, no. 4, pp. 241-256, Nov. 2011.

원문보기 상세보기
F. Li, N. Liu, K. Zhao, Q. Yang, and X. Zhu, "Incorporating Reviewer and Product Information for Review Rating Prediction," Proceedings of the 22nd International Joint Conference on Artificial Intelligence, Catalonia, pp. 1820-1825, 2011.
L. Jiang, Y. Cheng, L. Yang, J. Li, H. Yan, and X. Wang, "A trust-based collaborative filtering algorithm for E-commerce recommendation system," Journal of Ambient Intelligence and Humanized Computing, vol. 10, pp. 3023-3034, Jun. 2018.
D. Li, C. Chen, Q. Lv, L. Shang, Y. Zhao, T. Lu, and N. Gu, "An algorithm for efficient privacy-preserving item-based collaborative filtering," Future Generation Computer Systems, vol. 55, pp. 311-320, Feb. 2016.

상세보기
R. Feldman, and J. Sanger, The Text Mining Handbook : Advanced Approaches in Analyzing Unstructured Data, Cambridge. United Kingdom, Cambridge University Press, 2007.
C. Holton, "Identifying disgruntled employee systems fraud risk through text mining: A simple solution for a multi-billion dollar problem," Decision Support Systems, vol. 46, no. 4, pp. 853-864, Mar. 2009.

상세보기
B. Pang, and L. Lee, "Opinion Mining and Sentiment Analysis," Foundations and Trends in Information Retrieval, vol. 2, no. 1-2, pp. 1-135, Jan. 2008.

상세보기
S. Elbagir, and J. Yang, "Twitter Sentiment Analysis Using Natural Language Toolkit and VADER Sentiment," Proceedings of the International MultiConference of Engineers and Computer Scientists 2019, Hong Kong, pp. 216-225, 2019.
R. Mu, and X. Zeng, "Collaborative Filtering Recommendation Algorithm Based on Knowledge Graph," Hindawi Mathematical Problems in Engineering, vol. 2018, pp. 1-11, Jul. 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증