추천시스템에 활용되는 Matrix Factorization 중 FM과 HOFM의 비교 Compare to Factorization Machines Learning and High-order Factorization Machines Learning for Recommend system원문보기
추천 시스템은 컨텐츠, 온라인 커머스, 소셜 네트워크, 광고 시스템 등 많은 분야에서 사용자가 관심 있을 만한 정보를 선별 제안함을 목적으로 활발하게 연구되고 있다. 그러나 과거 선호도 데이터를 기반으로 제안하는 추천시스템이 많고 과거 데이터가 적거나 없는 사용자를 대상으로는 제공하기 어려우므로 낮은 성능을 보인다는 부문에서 문제점이 있다. 따라서 더욱 고차원적인 데이터 분석에 관한 관심이 증가하고 있고 Matrix Factorization이 주목받고 있다. 이 논문은 그 중 추천시스템에서 주목받는 Factorization Machines Learning(FM)모델과 고차원 데이터 분석인 High-order Factorization Machines Learning(HOFM)의 비교와 재연을 연구하고 제안 한다.
추천 시스템은 컨텐츠, 온라인 커머스, 소셜 네트워크, 광고 시스템 등 많은 분야에서 사용자가 관심 있을 만한 정보를 선별 제안함을 목적으로 활발하게 연구되고 있다. 그러나 과거 선호도 데이터를 기반으로 제안하는 추천시스템이 많고 과거 데이터가 적거나 없는 사용자를 대상으로는 제공하기 어려우므로 낮은 성능을 보인다는 부문에서 문제점이 있다. 따라서 더욱 고차원적인 데이터 분석에 관한 관심이 증가하고 있고 Matrix Factorization이 주목받고 있다. 이 논문은 그 중 추천시스템에서 주목받는 Factorization Machines Learning(FM)모델과 고차원 데이터 분석인 High-order Factorization Machines Learning(HOFM)의 비교와 재연을 연구하고 제안 한다.
The recommendation system is actively researched for the purpose of suggesting information that users may be interested in in many fields such as contents, online commerce, social network, advertisement system, and the like. However, there are many recommendation systems that propose based on past p...
The recommendation system is actively researched for the purpose of suggesting information that users may be interested in in many fields such as contents, online commerce, social network, advertisement system, and the like. However, there are many recommendation systems that propose based on past preference data, and it is difficult to provide users with little or no data in the past. Therefore, interest in higher-order data analysis is increasing and Matrix Factorization is attracting attention. In this paper, we study and propose a comparison and replay of the Factorization Machines Leaning(FM) model which is attracting attention in the recommendation system and High-Order Factorization Machines Learning(HOFM) which is a high - dimensional data analysis.
The recommendation system is actively researched for the purpose of suggesting information that users may be interested in in many fields such as contents, online commerce, social network, advertisement system, and the like. However, there are many recommendation systems that propose based on past preference data, and it is difficult to provide users with little or no data in the past. Therefore, interest in higher-order data analysis is increasing and Matrix Factorization is attracting attention. In this paper, we study and propose a comparison and replay of the Factorization Machines Leaning(FM) model which is attracting attention in the recommendation system and High-Order Factorization Machines Learning(HOFM) which is a high - dimensional data analysis.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이런 이유로 HoFM은 우리가 알고 있는 어떤 문제에도 적용되지 않았다. 2차 행렬 분해의 FM을 n차 행렬분해로 더 큰 차원의 행렬 분해를 통해서 최적화를 하고 더 빠르고 정확한 모델 평가를 해보고자 한다.
기계학습 방법 Factorization Machines Learning은 기존의 알고리즘과 달리 상품과 사용자의 상호작용(pairwise)에 중점을 두어 고차원 추천시스템 부분을 향상 시켰다. FM에 대한 관심이 증가함에도 아직 High-order Factorization Machines Learning에 대한 효과적인 연구는 없기 때문에 이 두 부분을 비교하고 변수, 가중치, 데이터의 속성에 따라 어떻게 다른지를 분석 제안하고자 한다.
본 논문은 영화 콘텐츠 관련 데이터를 이용해서 FM과 HoFM알고리즘을 비교하였다. 그리고 기존의 연구보다 변수를 더 추가하여 고차원 분석을 실험하였고, 알고리즘의 최적화에 영향을 미치는 hyper parameter인 iter 값과 regular 값을 변화시킴으로써 RMSE값이 최소화 될 수 있도록 연구를 진행하였다.
이를 해결하기 위한 방법으로 본 연구는 요소 간의 상관관계를 분석함으로써 사용자 user가 영화 item에 대하여 어떤 평점 값을 발생시킬지 행렬분석을 통하여 문제를 해결하고자 한다.
추천 시스템은 사용자가 관심 있을 만한 정보를 선별 제안함을 목적으로 한다. Netflix, Google, Facebook, Instargram, Amazon, eBay, Naver, Kakao 등에서 사용자 경험 향상과 기업의 수익모델 발전을 위해서 활발하게 연구되고 있다.
제안 방법
자료 집단이 3개 이상일 때 하는 ANOVA분석(분산분석)을 사용 FM과 ANOVA 커널 사이의 링크에 의존한다. ANOVA 커널 만족도를 평가하고 그 기울기를 계산하기위한 동적 프로그래밍 알고리즘을 바탕으로 임의의 차수 HoFM에 대한 확률적 알고리즘을 제안한다. 매개 변수 수와 예측 시간을 줄이기 위해 파생된 커널을 사용하여 고차원 매트릭스 행렬을 통해 학습하는 그림3.
본 논문은 영화 콘텐츠 관련 데이터를 이용해서 FM과 HoFM알고리즘을 비교하였다. 그리고 기존의 연구보다 변수를 더 추가하여 고차원 분석을 실험하였고, 알고리즘의 최적화에 영향을 미치는 hyper parameter인 iter 값과 regular 값을 변화시킴으로써 RMSE값이 최소화 될 수 있도록 연구를 진행하였다.
본 논문은 고차원 추천시스템 알고리즘의 비교와 성능향상에 목적이 있으므로 관련 연구 방법 설명은 대표적인 협업필터링을 설명하고 고차원분석에 관한 FM과 HoFM을 위주로 그 방법과 차이를 설명한다.
분석에 필요한 Web Data를 수집하여 DB로 이관 작업을 진행하였으며, 정제된 데이터 구조는 다음 표1의 테이블정의서의 내용과 같다.
반복회수를 나타내는 iter의 수에 따라 성능이 달라진다. 실험에서 반복회수 값은 1부터 10000까지 수치를 변화하여 측정하였다. 실험의 반복회수에 따른 실험결과의 경우 iter=217까지는 RMSE가 점차 감소하지만 그 이상 반복되면 RMSE가 증가하는 오버피팅(over-fitting)문제가 발생되었다.
고객ID,영화ID, 평점, 등록일, 나이,성별 등 총 6가지 변수가 사용되었다. 영화를 본 평점 데이터와 평점을 기록한 시간에 대한 Web Data를 활용하여 추천 시스템을 구현하였다.
해당 실험을 통해 다차원 변수간의 상관관계의 중요성을 확인하였으며 Factorization Machines와 High Order Factorization Machines 알고리즘 분석을 통하여 기존 추천시스템의 활용 및 적용 가이드라인을 제시하였다.
대상 데이터
평가점수는 1부터 5까지 사이의 정수로 표현된다. 고객ID,영화ID, 평점, 등록일, 나이,성별 등 총 6가지 변수가 사용되었다. 영화를 본 평점 데이터와 평점을 기록한 시간에 대한 Web Data를 활용하여 추천 시스템을 구현하였다.
본 실험에 사용된 데이터는 MovieLens Web Data 10만 건, 100만건 두타입을 활용하였다.
데이터처리
데이터를 수집하기에 앞서 선별된 데이터에 대한 검증을 위하여 회귀분석을 진행한다. 회귀분석이란 관찰된 연속된 변수에 대하여 변수 사이의 모형을 구한 뒤 변수 간의 적합도를 구하는 분석방식이다.
하나의 종속변수와 하나의 독립변수 사이의 관계를 분석할 경우 단순회귀분석, 하나의 종속변수와 여러 독립변수 사이의 관계를 규명하고자 할 경우 다중회귀분석이라 부른다. 본 연구는 다중공선성(Multicollinearity)을 이용한 회귀분석 모형을 1차로 검증한 뒤 CustomerId, MovieId, Rating,RegisterDate, Age, Gender 총 6개의 데이터 중 Rating 종속 변수와 CustomerId, MovieId, RegisterDate, Age, Gender라는 5개의 독립변수 간의 관계를 파악하는 다중회귀분석을 진행한다.
추천시스템에서 찾고자 하는 종속변수는 대표적으로 제품을 사용자가 평가하는 평점으로 범주형이다. 자료 집단이 3개 이상일 때 하는 ANOVA분석(분산분석)을 사용 FM과 ANOVA 커널 사이의 링크에 의존한다. ANOVA 커널 만족도를 평가하고 그 기울기를 계산하기위한 동적 프로그래밍 알고리즘을 바탕으로 임의의 차수 HoFM에 대한 확률적 알고리즘을 제안한다.
성능/효과
첫 번째로 학습대상 데이터의 양이 차이가 있는 10만건과 100만건에서 FM이 HoFM보다 성능 향상이 있었다는 것을 확인하였다. FM MCMC 방법 보다는 HoFM이 성능이 좋았지만 연구 데이터 100만건에서 FM 성능이 HoFM C(1,3,1), HoFM C(1,3,10) 보다 좋았다. 이는 고차원분석에서 데이터의 양이 성능에 근소한 차이로 영향을 미치고 있음을 알 수 있다.
다른 알고리즘과 비교를 위해 반복회수 값과 R정규화 계수을 최적화한 HoFM의 RMSE 값은 SVM에 비해 2.70% 성능향상, FM에 비해 0.33%성능향상을 보였다.
두 번째로 데이터의 양이 같은 상황에서 가중치의 변화로 인한 최소화 연구에서는 HoFM이 FM보다 성능 향상이 있었다.
실험에서 반복회수 값은 1부터 10000까지 수치를 변화하여 측정하였다. 실험의 반복회수에 따른 실험결과의 경우 iter=217까지는 RMSE가 점차 감소하지만 그 이상 반복되면 RMSE가 증가하는 오버피팅(over-fitting)문제가 발생되었다.
첫 번째로 학습대상 데이터의 양이 차이가 있는 10만건과 100만건에서 FM이 HoFM보다 성능 향상이 있었다는 것을 확인하였다. FM MCMC 방법 보다는 HoFM이 성능이 좋았지만 연구 데이터 100만건에서 FM 성능이 HoFM C(1,3,1), HoFM C(1,3,10) 보다 좋았다.
질의응답
핵심어
질문
논문에서 추출한 답변
Collaborative filtering 협업 필터링기반은 어떠한 기술인가?
Collaborative filtering 협업 필터링기반은 사용 고객의 행동을 분석하고 서로 비슷한 사용자들이 관심 있는 정보를 추천하는 기술이다. 가장 직관적인 추천 방법은 어떤 사용자의 A라는 상품 구매 평점을 예측하기 위해서 A상품을 구매한 다른 사용자의 과거 데이터를 이용한다.
Collaborative Filtering의 안정적인 품질을 위해서 필요한 것은?
협업필터링은 고객의 선호도는 과거의 행동이 미래에도 변함없이 유지된다는 가정에 있다. 이 시스템은 사용자 프로필에 관한 정보가 많이 필요하지 않고도 양질의 추천결과를 제공할 수 있다는 장점이 있지만 안정적인 품질을 위해서는 많은 수의 사용자가 필요하다. 관심사가 같은 사용자들 간에 일관성이 있다면 이를 기반으로 선호도를 예측할 수 있다.
데이터 분석 추천 기술로 무엇들이 있는가?
비즈니스 분야는 서로 다르더라도 사용자의 과거 선호도, 페이지 방문기록, 클릭 정보를 이용하여 추천하는 것은 유사하다. 데이터 분석 추천 기술은 내용기반 추천(Contents-based Filtering), 협업 필터링(Collaborative filtering), 그리고 혼합추천(Hybrid)이 있다.
참고문헌 (7)
S. Rendle, L. B. Marinho, A. Nanopoulos, and L. Schmidt-Thieme, "Learning optimal ranking with tensor factorization for tag recommendation," in Proceeding of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 727-736, 2009.
S. Rendle and L. Schmidt-Thieme, "Pairwise interaction tensor factorization for personalized tag recommendation," in Proceedings of the ACM International Conference on Web Search and Data Mining, pp. 81-90, 2010,
S. Rendle, "Factorization machines," in Proceedings of theInternational Conference on Data Mining, pp. 995-1000, 2010.
T. Hastie, S. Rosset, R.Tibshirani, and J. Zhu. "The entire regularization path for the support vector machine," Journal of Machine Learning Research. vol. 5, pp. 1391-1415, 2004.
S. Rendle, Z. Gantner, C. Freudenthaler, and L. Schmidt-Thieme. Fast context-aware recommendations with factorization machines. In SIGIR, pages 635-644, 2011.
Journal of Digital Contents Society. Seung-Yoon Jeong.Hyoung Joong Kim "A Recommender System Using Factorization Machine" Vol. 18, No. 4, pp. 707-712
Xiangnan He, Tat-seng Chua, Shinjuku, Tokyo, Japan "Neural factorization machines for sparse predictive analytics" SIGIR'17, Pages 355-364 August 7-11,2017.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.