[논문]추천 시스템의 예측 정확도 향상을 위한 고객 평가정보의 신뢰도 활용법

최준연; 이석기; 조영빈

doi:10.5392/jkca.2013.13.07.379

추천 시스템의 예측 정확도 향상을 위한 고객 평가정보의 신뢰도 활용법
Applying Rating Score's Reliability of Customers to Enhance Prediction Accuracy in Recommender System 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.13 no.7, 2013년, pp.379 - 385

최준연 (세종대학교 디지털콘텐츠학과) , 이석기 (한성대학교 산업경영공학과) , 조영빈 (건국대학교 국제비즈니스대학 경영학과)

초록
AI-Helper

인터넷에서 고객들에 의해 생성된 평가정보는 해당 상품에 대한 고객별 선호도 정보로도 간주할 수 있기 때문에 개인화 추천을 위한 고객 프로필 생성에 효과적으로 활용될 수 있다. 하지만, 온라인에서의 상품평가는 누구나 작성할 수 있고, 왜곡된 목적으로 가지고 평가 행위를 하는 경우도 많아 평가정보의 신뢰도 편차가 크다. 따라서 본 연구에서는 상품에 부여된 평가정보 자체의 신뢰도를 측정하고 이를 추천시스템의 고객 프로필 생성 과정에 선별적으로 반영하는 방법론을 제안하고자 한다. 몇몇 추천 시스템 관련 연구에서 평가정보 작성자 수준에서 신뢰도를 측정하고 이를 활용하려 했던 것과 달리 본 연구에서는 개별 평가 정보 수준에서 신뢰도를 측정한다. 실험 결과 신뢰도가 일정수준 이상의 신뢰도를 갖는 평가정보만을 선별하여 고객 프로필을 생성할 경우 추천 시스템의 선호도 예측 정확도가 향상되는 것으로 나타났다.

Abstract ▼ AI-Helper

On the internet, the rating scores assigned by customers are considered as the preference information of themselves and thus, these can be used efficiently in the customer profile generation process of recommender system. However, since anyone is free to assign a score that has a biased rating, using this without any filtering can exhibit a reliability problem. In this study, we suggest the methodology that measures the reliability of rating scores and then applies them to the customer profile creation process. Unlikely to some related studies which measure the reliability on the user level, we measure the reliability on the individual rating score level. Experimental results show that prediction accuracy of recommender system can be enhanced when ratings with higher reliability are selectively used for the customer profile configuration.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

도움도가 높은 상품리뷰는 상품리뷰를 읽은 사람들이 도움이 되었다는 투표를 많이 했다는 의미이고, 이러한 상품리뷰는 평가점수에 대한 근거가 상품리뷰에 잘 설명되어있다는 것을 의미하는 것이어서, 다른 상품리뷰보다 평가점수에 대한 신뢰도가 높다고 말할 수 있다. 본 연구는 도움도를 평가점수에 대한 신뢰도의 척도로 이용하여 신뢰도가 높은 평가점수만을 이용하여 평가 예측 정확도를 향상시키고자 한다.
사용자 수준에서 신뢰도를 측정할 경우, 신뢰도가 높은 상대로 판단되면 상대가 남긴 모든 상품리뷰들에 대해서 일괄적으로 높은 신뢰도가 부여되는데, 한 사용자에 의해 작성된 상품리뷰들이라 하더라도 개별 리뷰별로 모두 똑같은 신뢰도를 갖는다고 단정 지을 수 없기 때문이다. 이러한 이유에서, 본 연구는 개별 상품리뷰 수준에서 각각의 신뢰도를 측정하여 일정 수준 이상의 높은 신뢰도를 갖는 상품평가 정보만을 선별하여 고객선호도로 채택하는 방법을 제안하고자 한다.
이에 따라 본 연구에서는 개별 고객들이 남긴 평가점수별로 신뢰성을 파악하고, 일정 수준 이상의 신뢰도를 가진 평가정보만을 선별하여 고객프로필생성 과정에 반영하는 방법에 대해 제안한다. 상품리뷰 작성자 이외 다수의 사용자들이 부여한 신뢰도라는 척도에 근거하여 상품 평가정보를 선별할 경우, 부정확하거나 왜곡되었을 것이 큰 평가들은 자연스럽게 고객프로필에 반영되지 않을 가능성이 높기 때문에 향후 이를 활용한 추천시스템의 예측 정확도 역시 향상될 것으로 판단된다.
온라인에 일반 사용자들이 만들어내는 방대한 데이터를 이용한 추천 시스템들이 만들어지고 있지만, 데이터의 신뢰성을 고려하지 않게 되면 추천 결과의 정확도도 떨어지게 된다. 이에 본 연구에서는 점점 증가하고 있는 일반 고객들의 평가정보를 직접적으로 고객 프로필로 활용하되, 이들 평가정보의 신뢰도를 고객 프로필 생성과정에 개입시킴으로써 추천 예측의 정확도를 향상시키는 방법을 제안 하였다.

제안 방법

com과 더불어 Amazon은 상품에 대한 상품리뷰가 가장 활발하게 올라오는 곳으로서, 다양한 상품리뷰와 product에 대한 평가점수, 그리고 해당 상품리뷰가 도움이 되었는가에 대한 투표수와 전체 투표수가 누적되어 있다. Amazon에서 무작위로 선별한 사용자에 대해 2009년 1월부터 2010년 12월까지 2년간의 평가정보를 학습 데이터로 (training data)로 활용, 제안된 방법론에 근거하여 2011년 1월부터 6월까지 6개월간의 평가정보를 예측, 실제 값과의 비교 평가를 수행 하였다. 이를 위해 RMSE, MAE, Pearson 상관계 수를 평가 지표로 활용 하였다.
하지만 본 연구에서는 같은 고객의 평가점수들이라 해도 평가점수별로 각각 신뢰도를 측정하고 고객 프로필 구성에 차별적으로 반영할 것을 제안 하였다. 구체적으로, 상품에 대한 고객들의 평가점수로 구성된 전형적인 고객 선호도 프로필 외에 평가 점수에 대한 신뢰도 점수로 구성된 고객 신뢰도 프로필을 추가로 생성, 신뢰도가 낮은 평가점수를 사전에 제거하여 고객 프로필의 신뢰도를 확보하는 방법론을 제시 하였다. 또한 이러한 방법을 활용할 때 추천 시스템이 추천 후보 상품에 대한 예상 평가점수를 예측함에 있어 정확도가 향상될 수 있음을 대표적인 온라인 기업인 아마존의 웹 데이터 (web data)를 활용한 실험으로 실제 입증 하였다.
이를 위해 신뢰할 수 있는 평가점수로 간주할 수 있는 최소한의 도움도 값으로서 Hmin을 설정하고, Hmin 이상의 도움도를 획득한 리뷰정보의 평가점수를 고객프로필에 반영 하였다. 본 연구에서는 최적의 Hmin을 찾기 위해, Hmin 값을 모두 10단계로 나누어 설정하고 성능을 비교 하였다.
이 중에서 최근 들어 고객 간의 신뢰도 (trust) 정보를 측정하고 이를 활용하려는 연구들도 몇몇 시도된 바 있다[7-11]. 이들 연구에서는 사용자간의 신뢰/불신뢰 정보를 이용하여 신뢰 네트워크 (trust network)를 구성하고 이 네트워크상에서 두 사용자간의 거리 값을 상호간의 신뢰도로 정의, 이를 협업 추천에 활용하는 방법을 제안 하였다. 하지만 이러한 기존연구들은 개별 상품리뷰 수준이 아닌 사용자 수준 (user level)에서 상호간 신뢰도를 측정한다는 점에서 한계점이 존재한다.
이 중에서 비교적 신뢰도가 높은 리뷰정보에 내재된 선호도만을 고객 프로필에 반영할 필요가 있다. 이를 위해 신뢰할 수 있는 평가점수로 간주할 수 있는 최소한의 도움도 값으로서 Hmin을 설정하고, Hmin 이상의 도움도를 획득한 리뷰정보의 평가점수를 고객프로필에 반영 하였다. 본 연구에서는 최적의 Hmin을 찾기 위해, Hmin 값을 모두 10단계로 나누어 설정하고 성능을 비교 하였다.
첫 번째 단계로 고객의 평가점수에 대한 신뢰도를 측정하고자, 우리는 상품리뷰에 대한 도움도(Helpfulness)를 이용하였다. 도움도는 해당 상품리뷰에 대해 작성자가 아닌 다 수 사 의 타인들이 부여하는 점수이다.

대상 데이터

구체적으로, 상품에 대한 고객들의 평가점수로 구성된 전형적인 고객 선호도 프로필 외에 평가 점수에 대한 신뢰도 점수로 구성된 고객 신뢰도 프로필을 추가로 생성, 신뢰도가 낮은 평가점수를 사전에 제거하여 고객 프로필의 신뢰도를 확보하는 방법론을 제시 하였다. 또한 이러한 방법을 활용할 때 추천 시스템이 추천 후보 상품에 대한 예상 평가점수를 예측함에 있어 정확도가 향상될 수 있음을 대표적인 온라인 기업인 아마존의 웹 데이터 (web data)를 활용한 실험으로 실제 입증 하였다.
실험을 위해 방대한 상품리뷰가 축적되어 있는 Amazon (www.amazon.com)의 데이터를 크롤링하여 수집 하였다. epinion.

데이터처리

Amazon에서 무작위로 선별한 사용자에 대해 2009년 1월부터 2010년 12월까지 2년간의 평가정보를 학습 데이터로 (training data)로 활용, 제안된 방법론에 근거하여 2011년 1월부터 6월까지 6개월간의 평가정보를 예측, 실제 값과의 비교 평가를 수행 하였다. 이를 위해 RMSE, MAE, Pearson 상관계 수를 평가 지표로 활용 하였다. 실험평가에 활용된 위 평가지표들은 추천 방법론 (혹은 구현시스템)에 의해 예측된 선호도와 실제 선호도간의 오차 혹은 유사도를 계산해주는 것들로서 추천시스템의 예측 정확성 평가에 가장 널리 활용되는 지표들이다.

이론/모형

세 번째 단계는 앞서 구성한 신뢰도기반 프로필을 이용해 사용자간 유사도를 계산하여 이웃집단을 찾고 대상 사용자가 아직 구매하지 않은 상품에 대한 평가정보를 예측하게 된다. 본 연구에서는 유사도 측정방법으로 피어슨 상관계수를 이용하였다. 사용자 a와 사용자 b간의 유사도인 Wab는 아래의 식 (3)에서와 같이 계산된다.

성능/효과

실험평가에 활용된 위 평가지표들은 추천 방법론 (혹은 구현시스템)에 의해 예측된 선호도와 실제 선호도간의 오차 혹은 유사도를 계산해주는 것들로서 추천시스템의 예측 정확성 평가에 가장 널리 활용되는 지표들이다. 구체적으로 RMSE 와 MAE metric은 실제선호도와 예측된 선호도들 간의 오차를 계산하여 합산하기 때문에 측정값이 낮은 수치일수록, Pearson metric은 두 선호도간의 유사도를 파악하여 측정된 결과가 1 에 가깝게 나타날수록 정확한 예측이 이루어졌음을 의미한다. 제안된 방법론에 대해 세 가지 지표에 의해 평가된 결과값은 아래의 [그림 1]과 같다.
이것은 평가정보의 신뢰도를 고려하는 것이 예측정확도를 향상시킨다는 것을 의미 한다. 최소 신뢰도 기준인 Hmin이 약 0.6이 되면서부터 성능이 향상되는 것으로 나타났다.

후속연구

결론적으로 본 연구의 결과는 추천 시스템을 활용한 개인화 마케팅 전략 등의 수행을 통해 기대 수익의 증가를 원하는 많은 온라인 상거래 기업들에게 의미 있는 시사점을 줄 수 있을 것이다.
이에 따라 이처럼 고객에 의해 직접 작성된 평가 점수를 고객 선호도의 명시적 표현으로 간주할 경우 협업 추천 시스템에 필요한 고객 프로필 생성에 활용할수 있지만, 누구나 점수를 부여할 수 있고, 왜곡된 목적 달성을 위해 본인의 실제 선호도와는 다른 부정확한 점수를 부여할 수 있는 문제가 존재한다[5]. 따라서 비교적 정확한 것으로 판별되는 평가점수만을 선별하여 고객의 선호도로 인정하고 이를 이용하여 고객 프로필을 생성할 수 있다면 평가 점수의 예측 정확도를 향상시킬 수 있을 것이다.
하지만 실제 기업 데이터를 활용, 제안된 방법론의 효과를 검증하였다는 점에서 평가할 만 하지만 실험환경의 제약으로 특정 웹 사이트 한 군데의 데이터만을 활용했다는 점에서 연구의 한계점 역시 분명히 존재한다. 따라서, 위에서 제시된 바와 같은 본 논문의 연구 결과를 일반화하기 위해서는 서로 다른 특징을 가지는 복수 개의 웹 사이트로부터 고객 평가 정보 데이터를 수집하고, 다양한 상황에서 제안 방법론의 효과를 보다 세심하게 검증할 필요가 있다. 이는 향후 연구 진행시 보완되어야 할 사항으로 판단된다.
이에 따라 본 연구에서는 개별 고객들이 남긴 평가점수별로 신뢰성을 파악하고, 일정 수준 이상의 신뢰도를 가진 평가정보만을 선별하여 고객프로필생성 과정에 반영하는 방법에 대해 제안한다. 상품리뷰 작성자 이외 다수의 사용자들이 부여한 신뢰도라는 척도에 근거하여 상품 평가정보를 선별할 경우, 부정확하거나 왜곡되었을 것이 큰 평가들은 자연스럽게 고객프로필에 반영되지 않을 가능성이 높기 때문에 향후 이를 활용한 추천시스템의 예측 정확도 역시 향상될 것으로 판단된다.
따라서, 위에서 제시된 바와 같은 본 논문의 연구 결과를 일반화하기 위해서는 서로 다른 특징을 가지는 복수 개의 웹 사이트로부터 고객 평가 정보 데이터를 수집하고, 다양한 상황에서 제안 방법론의 효과를 보다 세심하게 검증할 필요가 있다. 이는 향후 연구 진행시 보완되어야 할 사항으로 판단된다.
그 동안의 추천 관련 대부분의 연구들에서는 한명의 고객에 대해서 측정/ 계산된 신뢰도가 해당 고객의 모든 평가점수에도 동일한 수준으로 반영이 되었다. 하지만 본 연구에서는 같은 고객의 평가점수들이라 해도 평가점수별로 각각 신뢰도를 측정하고 고객 프로필 구성에 차별적으로 반영할 것을 제안 하였다. 구체적으로, 상품에 대한 고객들의 평가점수로 구성된 전형적인 고객 선호도 프로필 외에 평가 점수에 대한 신뢰도 점수로 구성된 고객 신뢰도 프로필을 추가로 생성, 신뢰도가 낮은 평가점수를 사전에 제거하여 고객 프로필의 신뢰도를 확보하는 방법론을 제시 하였다.
하지만 실제 기업 데이터를 활용, 제안된 방법론의 효과를 검증하였다는 점에서 평가할 만 하지만 실험환경의 제약으로 특정 웹 사이트 한 군데의 데이터만을 활용했다는 점에서 연구의 한계점 역시 분명히 존재한다. 따라서, 위에서 제시된 바와 같은 본 논문의 연구 결과를 일반화하기 위해서는 서로 다른 특징을 가지는 복수 개의 웹 사이트로부터 고객 평가 정보 데이터를 수집하고, 다양한 상황에서 제안 방법론의 효과를 보다 세심하게 검증할 필요가 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 연구에서 평가정보의 신뢰도를 고객 프로필 생성과정에 개입하여 추천 예측의 정확도를 향상시키는 방법을 제안한 이유는?	PC, 태블릿 컴퓨터, 스마트폰과 같은 다양한 디바이스를 통해 인터넷 상거래는 지속적으로 증가하고 있고, 상품을 구입한 고객들의 상품 평가 행위도 같이 증가하고 있다. 온라인에 일반 사용자들이 만들어내는 방대한 데이터를 이용한 추천 시스템들이 만들어지고 있지만, 데이터의 신뢰성을 고려하지 않게 되면 추천 결과의 정확도도 떨어지게 된다. 이에 본 연구에서는 점점 증가하고 있는 일반 고객들의 평가정보를 직접적으로 고객 프로필로 활용하되, 이들 평가정보의 신뢰도를 고객 프로필 생성과정에 개입시킴으로써 추천 예측의 정확도를 향상시키는 방법을 제안 하였다.
	협업 추천 시스템이란?	그 중에서도 협업 필터링을 근간으로 하는 협업 추천 시스템이 가장 성공적인 기법으로 평가되고 있다[4][6]. 협업 추천 시스템은 고객 프로필에 따라 비슷한 이웃들을 찾고 이웃들이 구매하지 않은 상품 중 구매가능성이 높은 상품을 찾아 추천하는 기법이다. 비슷한 이웃을 찾기 위해서는 고객 프로필을 필요로 한다.
	사용자 수준에서 신뢰도를 측정할 경우, 신뢰도가 높은 상대로 판단되면 상대가 남긴 모든 상품리뷰들에 대해서 일괄적으로 높은 신뢰도가 부여되는 이유는?	하지만 이러한 기존연구들은 개별 상품리뷰 수준이 아닌 사용자 수준 (user level)에서 상호간 신뢰도를 측정한다는 점에서 한계점이 존재한다. 사용자 수준에서 신뢰도를 측정할 경우, 신뢰도가 높은 상대로 판단되면 상대가 남긴 모든 상품리뷰들에 대해서 일괄적으로 높은 신뢰도가 부여되는데, 한 사용자에 의해 작성된 상품리뷰들이라 하더라도 개별 리뷰별로 모두 똑같은 신뢰도를 갖는다고 단정 지을 수 없기 때문이다. 이러한 이유에서, 본 연구는 개별 상품리뷰 수준에서 각각의 신뢰도를 측정하여 일정 수준 이상의 높은 신뢰도를 갖는 상품평가 정보만을 선별하여 고객선호도로 채택하는 방법을 제안하고자 한다.

참고문헌 (11)

이석기, 조현, 천성용, "전자상거래에서의 협업추천을 위한 고객프로필 모델", 한국콘텐츠학회논문지, 제11권, 제5호, pp.67-74, 2011.

원문보기 상세보기
정경용, 조선문, "내용 기반 필터링을 위한 프로파일 학습에 의한 선호도 발견", 한국콘텐츠학회 논문지, 제8권, 제2호, pp.1-8, 2008.

원문보기 상세보기
C. Dellarocas, "The digitization of word of mouth: Promise and challenges of online feedback mechanisms," Management Science, Vol.49, No.13, pp.1407-1424, 2003.

상세보기
이락규, 피준일, 박준호, 복경수, 유재수, "모바일 환경에서 콘텐츠 추천 시스템 설계 및 구현", 한국콘텐츠학회논문지, 제11권, 제12호, pp.40-51, 2011.

원문보기 상세보기
J. Liu, Y. Cao, C. Lin, Y. Huang, and M. Zhou, "Low-Quality product review detection in opinion summarization, Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP- CoNLL)," Publishing, pp.334-342, 2007.
Y. Y. Shih and D. R. Liu, "Product recommendation approaches: collaborative filtering via customer lifetime value and customer demands," Expert Systems with Applications, Vol.35, No.1, pp.350-360, 2008.

상세보기
P. Bedi and R. Sharma, "Trust based recommender system using ant colony for trust computation," Expert Systems With Applications, Vol.39, pp.1183-1190, 2012.

상세보기
Y. Jia, H. Cai, and C. Huang, "A Collaborative Filtering Recommendation Algorithm Based on User Trust Model," Networking and Distributed Computing (ICNDC), 2010 First International Conference, pp.213-217, 2010.
S. Raghavan, S. Gunasekar, and J. Ghosh, "Review quality aware collaborative filtering," Proceedings of the sixth ACM conference on Recommender Systems, pp.123-130, 2012.
Y. Hong, J. Lu, J. Yao, Q. Zhu, and G. Zhou, "What reviews are satisfactory: novel features for automatic helpfulness voting," Proceedings of the 35th international ACM SIGIR conference on research and development in information retrieval, pp.495-504, 2012.
S. Moghaddam, M. Jamali, and M. Ester, "ETF: extended tensor factorization model for personalizing prediction of review helpfulness," Proceedings of the 5th ACM international conference on Web search and data mining, pp.163-172, 2012.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증