[논문]무비렌즈 데이터를 이용한 하이브리드 추천 시스템에 대한 실증 연구

김동욱; 김성근; 강주영

[국내논문] 무비렌즈 데이터를 이용한 하이브리드 추천 시스템에 대한 실증 연구
An Empirical Study on Hybrid Recommendation System Using Movie Lens Data 원문보기

The journal of Bigdata = 한국빅데이터학회지, v.2 no.1, 2017년, pp.41 - 48

김동욱 (아주대학교 경영대학 e-비즈니스학과) , 김성근 (아주대학교 경영대학 경영정보학과) , 강주영 (아주대학교 경영대학 e-비즈니스학과)

초록
AI-Helper

최근 추천 시스템의 인기와 함께 추천 시스템의 알고리즘의 성능에 대한 평가가 중요해 졌다. 본 연구는 영화 데이터에서 다양한 알고리즘 중 어떤 알고리즘의 효과적인지 판단하기 위하여 모델링과 RMSE를 통한 모델 검증을 하였다. 본 연구의 데이터는 무비렌즈의 평가 데이터 10만건을 활용하여 피어슨 상관계수를 활용한 사용자 기반 협업 필터링, 코사인 상관계수를 활용한 아이템 기반 협업 필터링 그리고 특이 값분해를 활용한 아이템 기반 협업 필터링 모델을 만들었다. 세가지 추천 모델로 평점을 예측한 결과 사용자 기반 협업 필터링보다 아이템 기반 협업 필터링의 정확도가 월등히 높은 것을 확인했고, 행렬 분해를 사용했을 때 더 정확한 추천을 할 수 있었다.

Abstract ▼ AI-Helper

Recently, the popularity of the recommendation system and the evaluation of the performance of the algorithm of the recommendation system have become important. In this study, we used modeling and RMSE to verify the effectiveness of various algorithms in movie data. The data of this study is based on user-based collaborative filtering using Pearson correlation coefficient, item-based collaborative filtering using cosine correlation coefficient, and item-based collaborative filtering model using singular value decomposition. As a result of evaluating the scores with three recommendation models, we found that item-based collaborative filtering accuracy is much higher than user-based collaborative filtering, and it is found that matrix recommendation is better when using matrix decomposition.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 추천 시스템에서 중요한 특징을 알아보기 위해 다양한 알고리즘에 기반하여 추천시스템을 만들고 모델의 RMSE 값을 통해 정확도와 관련된 요소를 살펴보고자 한다. 연구 모델은 다음과 같다.
미국의 비디오 대여 업체 넷플릭스(Netflix)는 2006년 10월 넷플릭스 프라이즈(Netflix Prize)라는 알고리즘 대회를 개최했다[4]. 이 대회의 목적은 기존 넷플릭스 알고리즘인 cinematch의 RMSE(평균 제곱근 오차, Root Mean Square Error)값을 10%를 개선시키는 것이었다. 이 대회를 위해 넷플릭스는 1995년부터 2005년 동안의 비디오 대여 평점 데이터를 제공했다.
앞서 살펴본 다양한 알고리즘은 각각의 장점과 단점이 존재한다. 이러한 한계를 하이브리드 추천 시스템을 통해 극복하고자 했다. 넷플릭스 프라이즈의 우승 팀의 경우 약 100여 개의 알고리즘을 앙상블 했다고 한다.
이에 본 연구는 지금까지 개발된 다양한 추천 알고리즘에 대해서 설명하고, 이를 활용한 모델링 및 평가, 비교를 통해 효과적인 추천 알고리즘을 만드는 방법에 대해서 제언하고자 한다.

제안 방법

특이 값 분해의 경우 오픈소스 R을 활용하여 계산하였다. R의 recommenderlab을 활용하여 특이 값 분해를 하였고 이를 통한 예측 행렬을 구하였다.
이 방법은 현재 사용자와 유사한 제품을 구매하거나 유사한 평가를 매긴 사용자의 선호나 취향이 유사할 것이라는 가정을 하고 추천을 한다. 그러므로 사용자 간의 유사도를 계산하고 이를 바탕으로 현재 사용자의 평점을 예측한다. 일반적으로 사용자 기반 협업 필터링에서 피어슨 상관계수(Pearson correlation)를 통한 유사도가 가장 효과적이다[5].
우선 제Ⅱ장에서 다양한 추천 시스템에 대해서 설명하고 추천 시스템의 연구 동향을 설명한 뒤 제Ⅲ장에서는 본 연구에서 모델링할 모델 방법들에 대해서 설명할 것이다. 그리고 제Ⅳ장에서 실제 무비렌즈(Movielense)의 영화 리뷰 데이터를 활용하여 세 가지 모델을 만들어 본 뒤 RMSE 값을 통해 모델을 비교하고 추천 시스템을 만들 때 고려해야 될 요소에 대해서 논할 계획이다. 마지막으로 5장에서 결론 및 토의를 통해 연구의 의미와 한계에 대해서 생각해볼 것이다.
마지막으로 특이 값 분해를 활용한 아이템 기반 협업 필터링 모델을 만들었다. 특이 값 분해의 경우 오픈소스 R을 활용하여 계산하였다.
무비렌즈의 평가 데이터 10만 건을 활용하여 피어슨 상관계수를 활용한 사용자 기반 협업 필터링, 코사인 상관계수를 활용한 아이템 기반 협업 필터링 그리고 특이 값 분해를 활용한 아이템기반 협업 필터링 모델을 만들 것이다. 만들어진 모델은 RMSE 값의 비교를 통해 평가를 하고 어떤 점이 이러한 차이를 만들었는지 논할 것이다.
우선 피어슨 상관계수를 활용한 사용자 기반 협업 필터링을 위해 평가행렬을 활용하여 상관계수 행렬을 만들었다. 모든 값에 대한 적절한 예측을 위해 상관계수를 구할 수 없는 쌍은 상관계수 행렬의 전체 평균으로 대체시켰다.
다음은 코사인 상관계수를 활용한 아이템 기반 협업 필터링이다. 이를 위해 영화와 관련된 행렬을 활용하여 코사인 유사도를 통해 다음과 같은 코사인 유사도 행렬을 만들었다.

대상 데이터

데이터는 movielense에서 제공하는 데이터를 활용하였다. 데이터는 평가 정보, 영화의 장르와 관련된 정보, 서비스 이용자의 인구통계학적인 정보가 있다.
평가 정보의 경우 서비스 이용자 943명이 시청한 1682개의 영화에 대한 평점 정보와 로그 데이터가 있다. 데이터의 크기는 10만 건이다. 영화 정보의 경우 1682개의 영화가 어떤 장르에 속하는지 장르가 태깅(Tagging)되어있다.
데이터의 크기는 10만 건이다. 영화 정보의 경우 1682개의 영화가 어떤 장르에 속하는지 장르가 태깅(Tagging)되어있다. 마지막으로 사용자 정보는 943명에 대하여 나이, 성별, 직업, 사는 지역과 관련된 정보가 있다.
이 대회의 목적은 기존 넷플릭스 알고리즘인 cinematch의 RMSE(평균 제곱근 오차, Root Mean Square Error)값을 10%를 개선시키는 것이었다. 이 대회를 위해 넷플릭스는 1995년부터 2005년 동안의 비디오 대여 평점 데이터를 제공했다. 이 대회의 상금은 약 10억 원 정도로 당시의 많은 통계학자, 물리학자들이 도전했다.
데이터는 평가 정보, 영화의 장르와 관련된 정보, 서비스 이용자의 인구통계학적인 정보가 있다. 평가 정보의 경우 서비스 이용자 943명이 시청한 1682개의 영화에 대한 평점 정보와 로그 데이터가 있다. 데이터의 크기는 10만 건이다.

데이터처리

우선 피어슨 상관계수를 활용한 사용자 기반 협업 필터링을 위해 평가행렬을 활용하여 상관계수 행렬을 만들었다. 모든 값에 대한 적절한 예측을 위해 상관계수를 구할 수 없는 쌍은 상관계수 행렬의 전체 평균으로 대체시켰다.
이를 활용해 UBCF-Pearson correlation Model 을 활용하여 예측 행렬 P를 얻을 수 있었다.

이론/모형

마지막으로 특이 값 분해를 활용한 아이템 기반 협업 필터링 모델을 만들었다. 특이 값 분해의 경우 오픈소스 R을 활용하여 계산하였다. R의 recommenderlab을 활용하여 특이 값 분해를 하였고 이를 통한 예측 행렬을 구하였다.

성능/효과

따라서 서비스의 초기에는 아이템기반 추천 시스템을 통해 추천하되 이후 사용자 데이터를 수집하여 하이브리드 방식을 구현할 수 있는 토대를 만든다면 보다 나은 추천 시스템을 단계적으로 만들 수 있을 것이라 생각된다. 또한 본 연
구는 추천 시스템을 구현할 때, 특이 값 분해를 활용하는 것이 추천 시스템의 성능개선에 유효하게 작동한다는 것을 확인했다는 데에 의의를 갖는다.
본 연구는 영화 추천 시스템에서 어떤 알고리즘이 더 효과적인지 실증적으로 살펴보았다는 점에서 의의가 있다. 본 연구의 데이터에서는 세 가지 모델 중 IBCF-SVD 모델의 성능이 가장 우수하였다. UBCF의 경우 방대한 사용자 정보를 필요로 하기 때문에 서비스 초기에는 구현하기 어렵다는 단점이 있지만 IBCF의 경우 상대적으로 적은 데이터를 활용해 추천 시스템을 구현할 수 있다는 장점이 있다.
위의 예측 행렬의 평가를 위해 RMSE를 계산한 결과 0.9447755를 얻었다.
UBCFPearson correlation Model의 RMSE값이 가장 큰 것을 확인할 수 있다. 즉, 본 연구의 데이터에서는 사용자 기반 협업 필터링 방식의 추천보다 아이템 기반 추천방식의 성능이 더 높은 것을 확인 할 수 있다. 특히 Neighborhood Method인 코사인보다 Matrix factorization의 일종인 특이 값 분해를 적용한 모델의 RMSE가 낮은 것을 확

후속연구

이는 지엽적인 구조보다 전체적인 구조를 통해 예측할 경우 예측의 정확도가 월등히 높아짐을 나타낸다. 나아가 하이브리드 추천 시스템을 활용하여 지금 살펴본 알고리즘을 앙상블하면 더 개선된 RMSE 값을 얻을 수 있을 것으로 기대된다.
기업들은 추천 시스템을 개선하기 위해 아이템 정보와 사용자정보를 모두 활용하는 하이브리드 방식을 도입하고 있지만, 대다수의 기업이 방대한 정보를 갖고 서비스를 시작하기는 어렵다. 따라서 서비스의 초기에는 아이템기반 추천 시스템을 통해 추천하되 이후 사용자 데이터를 수집하여 하이브리드 방식을 구현할 수 있는 토대를 만든다면 보다 나은 추천 시스템을 단계적으로 만들 수 있을 것이라 생각된다. 또한 본 연
본 연구는 UBCF와 IBCF 모델을 만들 것이기 때문에 사용자의 평점 정보와 영화 콘텐츠와 관련된 데이터를 기반으로 모델링 할 것이다.
특히, 마케팅활동에 대한 인식이 가치 기반 마케팅 에서 알고리즘 기반의 마케팅 활동으로 혁명적으로 변화했다. 이러한 추세는 최근 4차 산업혁명의 중심인 알고리즘 기반 AI와 맞물려 더욱 발전할 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	넷플릭스에서 넷플릭스 프라이즈 대회를 위해 어떠한 자료를 제공하였는가?	이 대회의 목적은 기존 넷플릭스 알고리즘인 cinematch의 RMSE(평균 제곱근 오차, Root Mean Square Error)값을 10%를 개선시키는 것이었다. 이 대회를 위해 넷플릭스는 1995년부터 2005년 동안의 비디오 대여 평점 데이터를 제공했다. 이 대회의 상금은 약 10억 원 정도로 당시의 많은 통계학자, 물리학자들이 도전했다.
	아마존은 어떠한 추천 시스템을 가지고 있는가?	이미 해외의 다양한 기업들은 추천 시스템을 적극적으로 활용하고 있다. 미국 최대의 온라인서점인 아마존(Amazon)의 경우, A9라는 고유의 추천 시스템을 갖고 있다. 아마존의 약 35%의매출이 추천 상품에서 발생할 정도로 추천 시스템을 통해 많은 매출을 올리고 있다[10].
	넷플릭스 프라이즈 대회의 목적은?	미국의 비디오 대여 업체 넷플릭스(Netflix)는 2006년 10월 넷플릭스 프라이즈(Netflix Prize)라는 알고리즘 대회를 개최했다[4]. 이 대회의 목적은 기존 넷플릭스 알고리즘인 cinematch의 RMSE(평균 제곱근 오차, Root Mean Square Error)값을 10%를 개선시키는 것이었다. 이 대회를 위해 넷플릭스는 1995년부터 2005년 동안의 비디오 대여 평점 데이터를 제공했다.

참고문헌 (17)

안현철, 한인구, 김경재, "연관규칙기법과 분류모형을 결합한 상품 추천 시스템: G 인터넷 쇼핑몰의 사례", Information Systems Review, 제8권, 제1호, pp.181-201, 2006.

원문보기 상세보기
이재식, 박석두, "장르별 협업 필터링을 이용한 영화추천 시스템의 성능 향상", 한국지능정보시스템학회논문지, 제13권, 제4호, pp.65-78, 2007.
Bell, R.M., Y. Koren, and C. Volinsky, The BellKor solution to the Netflix prize, 2007.
Bennett, J. and L. Stan, "The netflix prize", Proceedings of KDD cup and workshop. 2007.
Breese, J.S., D. Heckerman, and C. Kadie, "Empirical analysis of predictive algorithms for collaborative filtering", In Proceedings of the Fourteenth conference on Uncertainty in artificial intelligence (pp.43-52). Morgan Kaufmann Publishers Inc., 1998.
Cho, Y.S. and R.K. Ho, "Personalized Recommendation System using FP-tree Mining based on RFM", Journal of the Korea Society of Computer and Information, Vol.17, No.2, pp.197-206, 2012.
Davidson, J., B. Liebald, J. Liu, P. Nandy, T. Van Vleet, U. Gargi, and D. Sampath, "The YouTube video recommendation system", In Proceedings of the fourth ACM Conference on Recommender Systems (pp.293-296), ACM, 2010.
Ekstrand, M.D., J.T. Riedl, and J.A. Konstan, "Collaborative filtering recommender systems", Foundations and Trends in Human-Computer Interaction, Vol.4, No.2, pp.81-173, 2011.

상세보기
Koren, Y., R. Bell, and C. Volinsky, "Matrix factorization techniques for recommender systems", Computer, Vol.42, No.8, pp.30-37, 2009.

상세보기
Linden, G., B. Smith, and J. York, "Amazon. com recommendations: Item-to-item collaborative filtering", IEEE Internet Computing, Vol.7, No.1, pp.76-80, 2003.

상세보기
Resnick et al., "GroupLens: an open architecture for collaborative filtering of netnews", Proceedings of the 1994 ACM conference on Computer supported cooperative work, ACM, 1994.
Funk, S., "Netflix update: Try this at home", http://sifter.org/-simon/journal/20061211.html, Archived by WebCite at http://www.webcitation.org/5pVQphxrD, December 2006.
Sarwar, B., G. Karypis, J. Konstan, and J. Riedl, "Item-based collaborative filtering recommendation algorithms", In Proceedings of the 10th international conference on World Wide Web (pp.285-295). ACM, 2001.
Schafer, J.B., D. Frankowski, J. Herlocker, and S. Sen, "Collaborative filtering recommender systems", In The adaptive web (pp.291-324). Springer Berlin Heidelberg, 2007.
Sill, J., G. Takacs, L. Mackey, and D. Lin, Featureweighted linear stacking. arXiv preprint arXiv:0911.0460, 2009.
Shardanand, U. and P. Maes, "Social information filtering: Algorithms for automating "word of mouth", in ACM CHI '95, pp.210-217, ACM Press/Addison-Wesley Publishing Co., 1995.
Hill, W., L. Stead, M. Rosenstein, and G. Furnas, "Recommending and evaluating choices in a virtual community of use", in ACM CHI '95, pp.194-201, ACM Press/Addison-Wesley Publishing Co., 1995.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증