대규모의 상품을 다루는 전자상거래 시스템에서 개인화된 추천은 필수적인 기능이 되고 있다. 대표적 추천 알고리즘인 협업필터링은 내용기반 추천에 비하여 뛰어난 추천성능을 제공해 주고 있으나, 희박성, 신규 아이템 문제(Cold-start), 확장성 등의 근본적인 한계를 갖고 있다. 본 연구에서는 추가적으로 협업필터링이 목표 대상자에 따라 비일관된 예측 능력의 차이를 보이는 추천 성능의 편차 문제를 제기하고자 한다. 추천성능의 편차는 기존의 Mean Absolute Error(MAE)에 의해서는 측정되기 어려우며 또한 정확도, 재현율 지표와도 독립적으로 평가되고 있다. 협업알고리즘의 정확한 성능평가를 위해서 본 연구에서는 MAE, MAE 편차, 정확도, 재현율을 포괄적으로 평가할 수 있는 확장 성능평가모델을 제안하고 이를 클러스터링 기반 협업필터링에 적용하여 성능을 비교 분석한다.
대규모의 상품을 다루는 전자상거래 시스템에서 개인화된 추천은 필수적인 기능이 되고 있다. 대표적 추천 알고리즘인 협업필터링은 내용기반 추천에 비하여 뛰어난 추천성능을 제공해 주고 있으나, 희박성, 신규 아이템 문제(Cold-start), 확장성 등의 근본적인 한계를 갖고 있다. 본 연구에서는 추가적으로 협업필터링이 목표 대상자에 따라 비일관된 예측 능력의 차이를 보이는 추천 성능의 편차 문제를 제기하고자 한다. 추천성능의 편차는 기존의 Mean Absolute Error(MAE)에 의해서는 측정되기 어려우며 또한 정확도, 재현율 지표와도 독립적으로 평가되고 있다. 협업알고리즘의 정확한 성능평가를 위해서 본 연구에서는 MAE, MAE 편차, 정확도, 재현율을 포괄적으로 평가할 수 있는 확장 성능평가모델을 제안하고 이를 클러스터링 기반 협업필터링에 적용하여 성능을 비교 분석한다.
In e-commerce systems that deal with a large number of items, the function of personalized recommendation is essential. Collaborative filtering that is a successful recommendation algorithm, suffers from the sparsity, cold-start, and scalability restrictions. Additionally, this work raises a new fla...
In e-commerce systems that deal with a large number of items, the function of personalized recommendation is essential. Collaborative filtering that is a successful recommendation algorithm, suffers from the sparsity, cold-start, and scalability restrictions. Additionally, this work raises a new flaw of the algorithm, inconsistent performance of recommendation. This is also not measurable by the current MAE-based evaluation that does not consider the deviation of prediction error, and furthermore is performed independently of precision and recall measurement. To evaluate the collaborative filtering comprehensively, this work proposes an extended evaluation model that includes the current criteria such as MAE, Precision, Recall, deviation, and applies it to cluster-based combined collaborative filtering.
In e-commerce systems that deal with a large number of items, the function of personalized recommendation is essential. Collaborative filtering that is a successful recommendation algorithm, suffers from the sparsity, cold-start, and scalability restrictions. Additionally, this work raises a new flaw of the algorithm, inconsistent performance of recommendation. This is also not measurable by the current MAE-based evaluation that does not consider the deviation of prediction error, and furthermore is performed independently of precision and recall measurement. To evaluate the collaborative filtering comprehensively, this work proposes an extended evaluation model that includes the current criteria such as MAE, Precision, Recall, deviation, and applies it to cluster-based combined collaborative filtering.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
단일 협업필터링의 단점을 보완하기 위하여 인구통계학적(demographic) 정보를 활용하는 복합 CF에 대한 연구[4][9][12]가 이루어져 왔으나, 본 연구에서는 제안하는 확장 성능평가 모델을 적용하기 위하여 클러스터링 기반 복합 협업필터링을 설계한다.
MAE, Precision, Recall등의 정확도 측정방법이 개발되었으나 이들을 포괄적으로 평가할 수 있는 연구는 상대적으로 부족하였다. 본 연구에서는 CF 알고리즘의 보다 정확한 성능 평가를 위하여 MAE편차를 비롯하여 MAE, 정확도와 재현율을 포괄하는 확장 성능평가모델로 MPR(MAE, Precision, Recall) 모델을 제안한다. 또한 단일 CF와 클러스터링 기반 복합CF에 대하여 제안된 확장 성능평가 모델을 적용하여 성능을 분석하는 실험을 수행한다.
협업필터링은 상품 평가 기록의 부족으로 인한 희박성(sparsity), 평가기록이 없는 새로운 고객과 상품에 대한 cold-start의 문제점을 갖고 있다[3][9]. 이밖에 본 연구의 사전실험 결과에 의해 협업필터링은 추천 성능 편차(inconsistent performance) 현상을 유발하는 것으로 확인되었으며 이 문제를 새로운 협업필터링의 특성으로 제기하고자 한다. 즉 협업필터링은 추천 대상자의 변동에 따라 상품 예측오차에 편차가 발생하며 비일관된 추천 성능을 보인다.
제안 방법
보다 정확한 CF알고리즘의 평가를 위하여 기존 지표인 MAE, MAE 편차, Precision, Recall을 포괄적으로 반영할 수 있는 확장형 성능평가 방법으로 MPRd(MAE, Precision, Recall) 모델을 제안한다. CF알고리즘의 안정성을 반영하고자 복수 CF 알고리즘의 상대적 성능 측정지표로 랭킹점수(Ranking Score: RS) 개념을 도입하였다. 즉 RS는 k명의 사용자에게 N개의 실험 알고리즘을 적용하여 MAE가 낮은 순으로 순위점수를 부여한 것으로 랭킹점수가 높을수록 알고리즘의 안정성이 높다.
Precision과 Recall의 편차를 반영하고자 F-measure에 대해서도 RS를 측정한다. CF알고리즘의 추천 성능은 MAE값에는 반비례하고, RS, Precision, Recall, F-measure에 각각 비례한다고 볼 수 있다.
본 연구에서는 CF 알고리즘의 보다 정확한 성능 평가를 위하여 MAE편차를 비롯하여 MAE, 정확도와 재현율을 포괄하는 확장 성능평가모델로 MPR(MAE, Precision, Recall) 모델을 제안한다. 또한 단일 CF와 클러스터링 기반 복합CF에 대하여 제안된 확장 성능평가 모델을 적용하여 성능을 분석하는 실험을 수행한다.
그러나 MAE는 평균적인 예측 선호도 오차를 의미하는 것으로 사용자별 MAE 편차는 반영하지 못하기 때문에, 최소 MAE를 갖는 알고리즘이 모든 사용자에게 최적의 알고리즘이 아닐 수 있다. 보다 정확한 CF알고리즘의 평가를 위하여 기존 지표인 MAE, MAE 편차, Precision, Recall을 포괄적으로 반영할 수 있는 확장형 성능평가 방법으로 MPRd(MAE, Precision, Recall) 모델을 제안한다. CF알고리즘의 안정성을 반영하고자 복수 CF 알고리즘의 상대적 성능 측정지표로 랭킹점수(Ranking Score: RS) 개념을 도입하였다.
성능평가 실험환경은 표3과 같으며, Movielens 데이터셋에서 추출된 목표사용자에 실험 알고리즘을 적용하여 알고리즘별로 각각 MAE, RS, Precision, Recall을 측정하고 F-measure, MPRd를 계산하였다.
성능평가를 위한 기본 알고리즘으로 순수 협업필터링(CF), 사용자 클러스터링 CF(User clustering CF: UC), 아이템 클러스터링 CF(Item clustering CF: IC)을 포함하며, 이를 목표 사용자에 각각 적용하여 1차 추천 리스트를 생성한다. 순수 협업 필터링(CF)은 kNN 방법으로 선호도가 유사한 이웃 집단을 탐색하여 추천할 아이템의 선호도를 예측한다.
데이터의 희박성, Cold-start, 확장성은 CF 알고리즘의 근본적인 문제로 인식되어 지속적인 연구가 진행되고 있는 분야이다. 이밖에 협업필터링은 목표 사용자 변화에 대해 추천 성능의 편차가 발생하는 비일관성의 특성이 있음이 확인되었고, 본 연구에서는 CF알고리즘의 MAE와 추천편차를 포괄하는 MPRd 성능평가모델을 제시하였다. 성능평가결과, 복합 CF 알고리즘이 단일 CF 알고리즘에 비하여 전반적인 추천 성능과 안정성이 높은 것으로 확인되었다.
대상 데이터
MovieLens 데이터셋(http://www.grouplens.org/)을 8:2의 비율로 train과 test 데이터셋으로 분리한 뒤, test 데이터셋에서 평가 횟수가 20이상으로 활동성이 높은 사용자들을 추출하여 목표 사용자로 설정한다.
데이터처리
또한 단일 알고리즘일수록 이 현상이 심화되는 경향이 있다. 사전 실험으로 MovieLens 데이터셋에서 활동성이 높은 상위 100명의 사용자를 추출하여 순수 협업필터링(CF)과 사용자 클러스터링 CF(UC)와 아이템 클러스터링 CF(IC)을 적용하여 평균예측오차인 MAE(Mean Absolute Error)를 측정하였다. 실험결과에 다수 사용자에 대한 평균적인 MAE는 IC가 가장 우수하였으나 사용자별 최적의 알고리즘은 각각 달랐다.
성능/효과
그림 1의 그래프는 각 알고리즘별로 최소 MAE를 기록한 사용자의 비율을 표시한 것이다. IC가 46%의 사용자에 대하여 최소 MAE를 제공하였으나 54%의 사용자는 CF와 UC알고리즘을 적용하였을 때 예측오차를 더 줄일 수 있었다. 이러한 비일관된 예측오차의 편차는 기존 MAE 평가기준으로는 고려할 수 없으며 또 다른 지표인 정확도(precision)와 재현율(recall)로도 불가능하다.
표 4는 평가항목별로 단일 CF 알고리즘 대비 복합 CF 알고리즘의 향상도를 계산한 것이다. MAE 항목에서 복합 CF은단일 CF에 비하여 각각 3.3% 개선한 것으로 확인되었고, 특히 RS(MAE) 항목은 복합 CF 알고리즘에 의해 52.3%가 향상하였다. MPRd 항목에서는 78%가 개선된 것으로 계산되었다.
MPRd 항목에서는 78%가 개선된 것으로 계산되었다. q 본 연구의 가정과 같이 복합 CF는 포괄적 성능평가를 가능하게 하며 단일 알고리즘의 한계를 보완하여 전반적으로 우수한 성능을 제공하는 것을 알 수 있었다.
CF+IC가 가장 높은 점수를 기록했으며 UC+IC가 각각 그 다음 순위로 랭크되었다. 복합 CF 알고리즘의 평균 RS는 127%로 단일 CF 알고리즘보다 27%를 향상시킨 것으로 확인되었다. Fig.
8478)가 우수하였으며, CF와 IC가 가장 낮은 수치를 기록했다. 복합 알고리즘의 MPRd이 1.4196으로 단일 CF의 평균(0.7967)보다 높은 것으로 확인되었다.
이밖에 협업필터링은 목표 사용자 변화에 대해 추천 성능의 편차가 발생하는 비일관성의 특성이 있음이 확인되었고, 본 연구에서는 CF알고리즘의 MAE와 추천편차를 포괄하는 MPRd 성능평가모델을 제시하였다. 성능평가결과, 복합 CF 알고리즘이 단일 CF 알고리즘에 비하여 전반적인 추천 성능과 안정성이 높은 것으로 확인되었다. 제안된 MPRd모델은 MAE 지표와 달리 수치의 직관성이 떨어지는 단점이 있으며, 개선된 평가모델을 향후 후속 연구주제로 제안하고자 한다.
사전 실험으로 MovieLens 데이터셋에서 활동성이 높은 상위 100명의 사용자를 추출하여 순수 협업필터링(CF)과 사용자 클러스터링 CF(UC)와 아이템 클러스터링 CF(IC)을 적용하여 평균예측오차인 MAE(Mean Absolute Error)를 측정하였다. 실험결과에 다수 사용자에 대한 평균적인 MAE는 IC가 가장 우수하였으나 사용자별 최적의 알고리즘은 각각 달랐다. 그림 1의 그래프는 각 알고리즘별로 최소 MAE를 기록한 사용자의 비율을 표시한 것이다.
후속연구
성능평가결과, 복합 CF 알고리즘이 단일 CF 알고리즘에 비하여 전반적인 추천 성능과 안정성이 높은 것으로 확인되었다. 제안된 MPRd모델은 MAE 지표와 달리 수치의 직관성이 떨어지는 단점이 있으며, 개선된 평가모델을 향후 후속 연구주제로 제안하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
협업필터링의 평가 방법으로는 어떤 것들이 있는가?
협업필터링의 평가 방법에는 추천 정확도 측정 방법과 유용성 평가 방법이 있다. MAE, Precision, Recall등의 정확도 측정방법이 개발되었으나 이들을 포괄적으로 평가할 수 있는 연구는 상대적으로 부족하였다.
개인화된 추천 방법에는 어떤 것들이 있는가?
com과 같이 음악, 영화, 책 등 상품의 수가 지속적으로 증가하는 대규모 전자상거래 사이트에서는 필수적이다. 개인화된 추천 방법에는 고객 프로필에 근거하는 내용기반 추천(content-based recommendation)과 많이 구매되는 상품을 추천하는 통계적 방법(statistical recommendation), 그리고 협업필터링(collaborative filtering)이 있다[1-5]. 내용기반 추천은 사용자 프로필에 추천에 필요한 충분한 자료가 포함되어 있어야 하는 특성이 있고 상품과 사용자의 수가 증가할수록 확장성의 문제가 발생한다[6].
내용기반 추천 알고리즘에서 사용자와 아이템의 수가 증가할수록 무엇이 감소하는가?
이 방법은 포트폴리오 효과(portfolio effect)를 유발하기 쉬운데, 즉 사용자가 이미 알고 있거나, 알고 있는 것과 유사한 아이템만을 주로 추천해 주는 것을 말한다 [11]. 또한 이 방법은 프로필 내용이 희박할 경우 추천의 질이 떨어질 수 있으며, 사용자와 아이템의 수가 증가할수록 알고리즘의 확장성이 떨어지게 된다[13].
참고문헌 (20)
J. Konstan, D. B. Miller, D. Maltz, J. Herlocker, L. Gordon, and J. Riedl, "GroupLens: Applying collaborative filtering to Usenet news," Communications of ACM, Vol. 40, No. 3, pp. 77-87, 1997.
M. Pazzani, "A Framework for Collaborative, Content-Based, and Demographic Filtering," Artificial Intelligence Review, pp. 393-408, Dec 1999.
B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, "Item-based collaborative filtering recommendation algorithm," Proc. of the 10th international conference on World Wide Web, pp. 285-295, 2001.
A. Ferman, J. Errico, P. Beek, and M. Sezan, "Content-based Filtering and Personalization Using Structural Metadata," Proc. of the 2nd ACM/IEEE-CS Joint Conference on Digital libraries, NY, USA, pp. 393-393, 2002.
H. Kwak,C. Lee,H. Park, and S. Moon, "What is Twitter, a Social Network or a News Media?," Proc. the 19th International World Wide Web Conference, April 26-30, Raleigh NC USA, pp. 591-600, 2010.
H. Liu and P. Maes, "InterestMap: Harvesting Social Network Profiles for Recommendations," Proc. of the Beyond Personalization Workshop, San Diego, California, pp. 54-49, 2005.
M. O. Connor and J. Herlocker, "Clustering Items for Collaborative Filtering," Proc. of the ACM SIGIR Workshop on Recommender Systems, Berkeley, CA, 1999.
C. Ding and X. He, "K-Means Clustering via Principal Component Analysis," Proc. of the 21th Int. Conf. on Machine Learning, pp. 225-232, 2004.
P. Melville, R. J. Mooney, and R. Nagarajan, "Content-Boosted Collaborative Filtering for Improved Recommendations," Proc. of the Eighteenth National Conference on Artificial Intelligence, Edmonton, Canada, pp. 187-192, July 2002.
J. L. Herlocker, J. A. Konstan, A. Borchers, and J. Riedl, "An Algorithmic Framework for Performing Collaborative Filtering," Proc. of 22nd Annual International ACM SIGIR Conference, Research and Development in Information Retrieval, 1999.
G. Groh and C. Ehmig, "Recommendations in Taste Related Domains: Collaborative filtering vs. Social filtering," Proc. of GROUP'07, pp. 127-136, 2007.
M. Balabanovic and Y. Shoham, "Fab: Content-Based, Collaborative Recommendation," Communications of the ACM, Vol. 40, No. 3, pp. 66-72, 1997.
J. L. Herlocker, J. A. Konstan, and J. T. Riedl, "An Empirical Analysis of Design Choices in Neighborhood-based Collaborative Filtering Systems," Information Retrieval, Vol. 5, pp. 287-310, 2002.
Z. Huang, H. Chen, and D. Zeng, "Applying Associative Retrieval Techniques to Alleviate the Sparsity Problem in Collaborative Filtering," ACM Trans. Information Systems, Vol. 22, No. 1, pp. 116- 142, 2004.
S. Brin, "Near Neighbor Search in Large Metric Spaces," Proc. of the 21th International Conference on Very Large DataBases, pp. 574-584, 1995.
F. Zhang, H. Liu, and J. Chao, "A Two-stage Recommendation Algorithm Based on K-means Clustering In Mobile E-commerce," Journal of Computational Information Systems, Vol. 6, No. 10, pp. 3327-3334, 2010.
S. Gong, "A Collaborative Filtering Recommendation Algorithm Based on User Clustering and Item Clustering," Journal of Software, Vol. 5, No. 7, July 2010.
J. Herlocker, J. Konstan, L. Terveen, and J. Riedl, "Evaluating Collaborative Filtering Recommender Systems," ACM Transactions on Information Systems, Vol. 22, No. 1, pp. 5-53, January 200.
T. Kim, S. Park, and S. Yang, "Improving Prediction Quality in Collaborative Filtering based on Clustering," Proc. of 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, pp. 704-710, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.