협력적 여과 시스템에서 대부분의 사용자들은 모든 아이템에 대하여 선호도를 평가하지 않으므로 인하여 사용자~아이템 행렬은 희박성을 나타내며, 또한 사용자가 평가하지 않은 아이템으로부터 결측치가 발생한다. 일반적인 결측치 예측 방법은 특정 대상의 사용자가 평가하지 않은 결측치를 이 사용자와 비슷한 흥미를 갖는 사용자들의 평가값을 기반으로 예측하나, 기본 평가값 예측 방법은 사용자-아이템 렬의 결측치를 특정 사용자가 아닌 전체 사용자에 대하여 예측한다. 기본 평가값 예측 방법 중 가장 많이 사용되는 방법은 아이템 평균이나 사용자 평균을 이용한 방법이다. 그러나 이 방법은 아이템이나 사용자의 특성, 또한 데이타 집합의 분포 특성을 전혀 고려하지 않는다는 문제점을 갖는다. 본 논문에서는 이러한 문제점을 해결하기 위하여 데이타 집합에 나타난 사용자의 변동 계수를 이용하는 기본 평가값 예측방법을 제안한다. 제안한 방법에서는 수식을 이용하여 자동적으로 사용자 변동 계수의 임계값을 선택하고, 그 임계값에 따라 사용자 평균에서 아이템 평균으로 전환하여 사용자들의 결측치에 대한 기본 평가값을 결정한다. 그러나 사용자 변동 계수들의 분포 정보로 인하여 사용자 변동 계수와 임계갈이 항상 일정한 관계를 유지하는 것이 아니므로, 제안된 방법에서는 임계값을 선택하기 위하여 사용자 변동 계수의 평균과 변동 계수의 분포 정보를 병합한다. 제안된 방법은 사용자가 영화에 대하여 평가한 MovieLens 데이타 집합을 대상으로 평가되었으며, 기존의 기본 평가값 예측 방법보다 그 성능이 우수함을 보인다.
협력적 여과 시스템에서 대부분의 사용자들은 모든 아이템에 대하여 선호도를 평가하지 않으므로 인하여 사용자~아이템 행렬은 희박성을 나타내며, 또한 사용자가 평가하지 않은 아이템으로부터 결측치가 발생한다. 일반적인 결측치 예측 방법은 특정 대상의 사용자가 평가하지 않은 결측치를 이 사용자와 비슷한 흥미를 갖는 사용자들의 평가값을 기반으로 예측하나, 기본 평가값 예측 방법은 사용자-아이템 렬의 결측치를 특정 사용자가 아닌 전체 사용자에 대하여 예측한다. 기본 평가값 예측 방법 중 가장 많이 사용되는 방법은 아이템 평균이나 사용자 평균을 이용한 방법이다. 그러나 이 방법은 아이템이나 사용자의 특성, 또한 데이타 집합의 분포 특성을 전혀 고려하지 않는다는 문제점을 갖는다. 본 논문에서는 이러한 문제점을 해결하기 위하여 데이타 집합에 나타난 사용자의 변동 계수를 이용하는 기본 평가값 예측방법을 제안한다. 제안한 방법에서는 수식을 이용하여 자동적으로 사용자 변동 계수의 임계값을 선택하고, 그 임계값에 따라 사용자 평균에서 아이템 평균으로 전환하여 사용자들의 결측치에 대한 기본 평가값을 결정한다. 그러나 사용자 변동 계수들의 분포 정보로 인하여 사용자 변동 계수와 임계갈이 항상 일정한 관계를 유지하는 것이 아니므로, 제안된 방법에서는 임계값을 선택하기 위하여 사용자 변동 계수의 평균과 변동 계수의 분포 정보를 병합한다. 제안된 방법은 사용자가 영화에 대하여 평가한 MovieLens 데이타 집합을 대상으로 평가되었으며, 기존의 기본 평가값 예측 방법보다 그 성능이 우수함을 보인다.
In collaborative filtering systems most users do not rate preferences; so User-Item matrix shows great sparsity because it has missing values for items not rated by users. Generally, the systems predict the preferences of an active user based on the preferences of a group of users. However, default ...
In collaborative filtering systems most users do not rate preferences; so User-Item matrix shows great sparsity because it has missing values for items not rated by users. Generally, the systems predict the preferences of an active user based on the preferences of a group of users. However, default voting methods predict all missing values for all users in User-Item matrix. One of the most common methods predicting default voting values tried two different approaches using the average rating for a user or using the average rating for an item. However, there is a problem that they did not consider the characteristics of items, users, and the distribution of data set. We replace the missing values in the User-Item matrix by the default noting method using user coefficient of variance. We select the threshold of user coefficient of variance by using equations automatically and determine when to shift between the user averages and item averages according to the threshold. However, there are not always regular relations between the averages and the thresholds of user coefficient of variances in datasets. It is caused that the distribution information of user coefficient of variances in datasets affects the threshold of user coefficient of variance as well as their average. We decide the threshold of user coefficient of valiance by combining them. We evaluate our method on MovieLens dataset of user ratings for movies and show that it outperforms previously default voting methods.
In collaborative filtering systems most users do not rate preferences; so User-Item matrix shows great sparsity because it has missing values for items not rated by users. Generally, the systems predict the preferences of an active user based on the preferences of a group of users. However, default voting methods predict all missing values for all users in User-Item matrix. One of the most common methods predicting default voting values tried two different approaches using the average rating for a user or using the average rating for an item. However, there is a problem that they did not consider the characteristics of items, users, and the distribution of data set. We replace the missing values in the User-Item matrix by the default noting method using user coefficient of variance. We select the threshold of user coefficient of variance by using equations automatically and determine when to shift between the user averages and item averages according to the threshold. However, there are not always regular relations between the averages and the thresholds of user coefficient of variances in datasets. It is caused that the distribution information of user coefficient of variances in datasets affects the threshold of user coefficient of variance as well as their average. We decide the threshold of user coefficient of valiance by combining them. We evaluate our method on MovieLens dataset of user ratings for movies and show that it outperforms previously default voting methods.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 임계 값을 결정하기 위해서는 변동 계수의 평균과 변동 계수의 분포 정보를 병합하는 과정이 필요하다. 본 논문에서는 사용자 평균에서 아이템 평균으로 전환하는 임 계값을 수식을 이용하여 자동으로 결정하는 알고리즘을 제시한다.
또한 새로운 사용자에게 보다 정확한 아이템의 추천이 가 능하다는 장점을 갖는다. 본 논문에서는 기존의 기본 평 가값 예측 방법 중 사용자 평균이나 아이템 평균만을 이용하는 방법의 문제점을 해결하기 위해 사용자 변동 계수를 이용한 기본 평가 값 예측 방법을 제안하였다. 사 용자들이 아이템에 대하여 평가한 정보를 나타내는 사용자의 변동 계수를 계산하고, 정의된 수식에 의하여 임 계값을 결정한 후, 이를 기반으로 기본 평가 값을 사용자 평균에서 아이템 평균으로 전환하여 사용자들의 결측치를 채운다.
가설 설정
본 논문에서 제안한 방법의 성능을 평가하기 위하여 기존에 제안되었던 기본 평가 값 예측 방법들과 비교하였다. 또한, 제안한 방법이 결측치와 희박성의 문제점을 효과적으로 보완할 수 있다고 가정하고, 그들의 매개 변 수에 대한 사용의 민감성을 실험하였다. 사용자 변동 계수를 사용한 기본 평가 값 예측 방법의 성능을 평가하기 위해 평균 절대 오차(MAE)[12, 13]를 사용하였다.
제안 방법
[5] 는 50개의 아이템보다 적은 수의 아이템을 평가한 사용자들에 대하여 이들을 공통집합으로 구분한 뒤, 그들의 가중치를 감소시키고 그가 중치의 의해 기본 평가 값을 계산하였다. ⑹은 사용자들이 마우스로 클릭한 아이템 평가 값의 평균을 기반으로 평가 히스토리를 확장하여 이를 기본 평가 값을 결정하였다. [5, 6]의 방법은 단지 적은 수의 사용자들을 대상으로 하여 '사용자-아이템 행렬의 희박성을 제거하는 경우에만 적합하다는 단점을 갖는다.
본 논문에서 제안한 방법은 사용자 변동 계수(coefficient of variance)와 변동 계수의 분포 정보를 기반으로 사용자 평균이나 아이템 평균을 사용하는 기본 평가 값 예측 방법이다. 이 방법은 모든 결측치를 채우기 위해 사용자 평균이나 아이템 평균을 획일적으로 사용하는 기존 방법의 문제점을 해결한다.
반면, 사용자의 변동 계수가 높을 경우 그 사용자는 다양한 값으로 아이템에 대해 평가할 확률이 높으므로, 기본 평 가값으로 아이템 평균을 사용하는 것이 바람직하다. 제안된 방법은 기본 평가 값 예측을 위해 변동 계수의 임 계값을 기준으로 사용자 평균에서 아이템 평균으로 전환한다. 그러나 데이타 집합에 있는 사용자 변동 계수의 평균과 그 임계 값이 항상 일정한 관계를 갖는 것은 아니다.
또한 각 아이템을 중심으로 그 아이템 평가에 대한 평균을 계산한다. 사용자 평균이나 아이템 평균 중 어느 값을 기본 평가 값으로 사용할 것인가를 결정하기 위해 MovieLens 데이타 집 합〔9]에서 100명의 사용자씩을 임의로 선택하여 5개의 모집단을 만들었다. 이들 데이타 집합의 실제 데이타를 결측치로 가정한 후에, 이에 대한 기본 평가 값으로 사용자 평균과 아이템 평균을 각각 사용하였다.
그 결과, 2개의 집단에서는 사용자 평균을 사용하였을 경우 결측치 오차가 낮아지는 결과를 보였으며, 나머지 집단에서 는 아이템 평균을 사용하였을 경우 결측치 오차가 낮아지는 결과를 보였다. 이와 같은 결과는 사용자들이 아이 템에 대하여 평가한 경향에 따라 두 가지 값 중 하나의 값을 기본 평가 값으로 결정해야 한다는 결론을 내릴 수 있다, 본 논문에서 제안한 방법에서는 사용자들이 아이 템에 대하여 평가한 경향을 판단하는 기준으로 데이타 점들의 변동의 정도를 나타내는 변동 계수를 사용한다.
마지막 단계에서는 변동 계수의 임계 값을 기준으로 사용자가 평가하지 않은 결측치를 기본 평가 값으로 채 운다. 이를 위하여 각 사용자의 변동 계수가 임계 값보다 작다면 사용자 평균을, 아닐 경우 아이템 평균을 사용한다.
본 장에서는 사용자가 아이템에 대하여 평가한 값을 기반으로 사용자의 변동 계수를 계산하고, 변동 계수의 평균과 변동 계수들의 분포를 나타내는 왜 도를 병합하여 변동 계수의 임계 값을 계산하는 과정을 기술한다.
이와 같은 이론을 적용하기 위하여 변동 계수의 임계 값을 사용한다. 즉, 사용자 변동 계수가 임계 값 이상이면 아이템 평균을 사용하고, 임계 값 이하이면 사용자 평균을 사용한다.
이와 같은 결과는 사용자 변동 계수의 분포가 데이타 집합마다 다르므로 변동 계수의 전체 평균만을 이용하여 임계 값을 결정하기 어렵기 때문이다. 따라서 사용자들의 평균 변동 계수에 그 변동 계수의 분포 정보를 추가하여 변동 계수의 임계 값을 계산한다.
따라서, 그 데이타 집합을 나눔에 의해 데이타 집합 각각의 분포 정보를 고려하였다. 각 데이타 집합은 훈련 데이타 집합과 테스트 데이타 집합으로 구분하였다. 훈련 데이타 집합은 사용자-아이템 행렬로부터의 실제 데이타 집합이고, 테스트 데이타 집합은 기본 평가 값 예측 방법의 정확도를 평가하기 위하여 사용되었다.
그 중립값은 사용자 아이템 행렬에 속한 모든 선호도 평가 값들의 평균이다. 부가적으로 본 논문에서는 사용자 변동 계수의 임계 값을 0.1로부터 0.9까지 0.1의 간격으로 변동 시 킴에 의해 기본 평가 값 예측 방법의 성능에 대한 민감성을 평가하였다. 표 2는 10개의 테스트 데이타 집합에서 사용자 변동 계수의 임계 값을 0.
대상 데이터
MovieLens 데이타 집합은 6040의 사용자들 이 3960의 영화에 대해, 총 1000000의 평가를 하였다. 기존의 협력적 여과 연구는 다양한 사용자 집합을 대상으로 실험을 하였다. 예를 들어 [1기의 연구에서는 943명을 대상으로, ⑹는 1400명을 대상으로, [4] 에서는 5000명을 대상으로 실험을 하였다.
예를 들어 [1기의 연구에서는 943명을 대상으로, ⑹는 1400명을 대상으로, [4] 에서는 5000명을 대상으로 실험을 하였다. 본 논문에서는 1000명의 사용자를 데이타 집합으로부터 무작위로 선택하였으며, 그 사용자들은 0에서 1까지 0.2의 간격으로 30개의 영화보다 더 많은 영화에 대하여 평가하였다.
데이터처리
그림 1의 사용자 변동 계수를 구하는 단계에서는 사 용자-아이템 행렬에서 각 사용자를 중심으로 아이템에 대하여 평가한 값의 평균을 계산하고, 이를 이용하여 각 사용자의 변동 계수를 계산한다. 또한 각 아이템을 중심으로 그 아이템 평가에 대한 평균을 계산한다. 사용자 평균이나 아이템 평균 중 어느 값을 기본 평가 값으로 사용할 것인가를 결정하기 위해 MovieLens 데이타 집 합〔9]에서 100명의 사용자씩을 임의로 선택하여 5개의 모집단을 만들었다.
사용자 평균이나 아이템 평균 중 어느 값을 기본 평가 값으로 사용할 것인가를 결정하기 위해 MovieLens 데이타 집 합〔9]에서 100명의 사용자씩을 임의로 선택하여 5개의 모집단을 만들었다. 이들 데이타 집합의 실제 데이타를 결측치로 가정한 후에, 이에 대한 기본 평가 값으로 사용자 평균과 아이템 평균을 각각 사용하였다. 그 결과, 2개의 집단에서는 사용자 평균을 사용하였을 경우 결측치 오차가 낮아지는 결과를 보였으며, 나머지 집단에서 는 아이템 평균을 사용하였을 경우 결측치 오차가 낮아지는 결과를 보였다.
본 논문에서 제안한 방법의 성능을 평가하기 위하여 기존에 제안되었던 기본 평가 값 예측 방법들과 비교하였다. 또한, 제안한 방법이 결측치와 희박성의 문제점을 효과적으로 보완할 수 있다고 가정하고, 그들의 매개 변 수에 대한 사용의 민감성을 실험하였다.
또한, 제안한 방법이 결측치와 희박성의 문제점을 효과적으로 보완할 수 있다고 가정하고, 그들의 매개 변 수에 대한 사용의 민감성을 실험하였다. 사용자 변동 계수를 사용한 기본 평가 값 예측 방법의 성능을 평가하기 위해 평균 절대 오차(MAE)[12, 13]를 사용하였다. 성능 평가 결과의 분석은 대응 일치 t~ 검증(paired t-test) [3, 14]과 95%의 신뢰도 수준에서 본페로니 절차(Bon- ferroni procedure for multiple comparison statistics) 의 에이 노바(ANOVA) 분석 [15, 16]을 사용한다.
사용자 변동 계수를 사용한 기본 평가 값 예측 방법의 성능을 평가하기 위해 평균 절대 오차(MAE)[12, 13]를 사용하였다. 성능 평가 결과의 분석은 대응 일치 t~ 검증(paired t-test) [3, 14]과 95%의 신뢰도 수준에서 본페로니 절차(Bon- ferroni procedure for multiple comparison statistics) 의 에이 노바(ANOVA) 분석 [15, 16]을 사용한다. MAE는 사용자-아이템 행렬에서 실제 평가 값과 예측값 사이의 차이를 기반으로 그 정확도를 측정한다.
사용자 변동 계수를 이용한 기본 평가 값 예측 방법의 성능을 평가하기 위해 GroupLens Research Center의 MovieLens 평가 데이타를 사용하였다. DEC Systems Research Center는 협력적 여과 알고리즘의 실험을 위해 영화에 대해 18개월 동안 추천 서비스를 실시하였다.
훈련 데이타 집합은 사용자-아이템 행렬로부터의 실제 데이타 집합이고, 테스트 데이타 집합은 기본 평가 값 예측 방법의 정확도를 평가하기 위하여 사용되었다. 사용자 변동 계수를 이용한 기본 평가 값 예측 방법(Using_CV)은 사용자 평균을 사용하는 기본 평 가값 예측 방법(USER_A), 아이템 평균을 사용하는 기본 평가 값 예측 방법(ITEM_A), 선호도 평가 값의 중립 값을 이용하는 방법(Neutral)과 비교하였다. 그 중립값은 사용자 아이템 행렬에 속한 모든 선호도 평가 값들의 평균이다.
이러한 결과는 사용자 변동 계수의 임계 값이 식 (3) 와 식 (4) 만으로 결정이 가능함을 보인다. 이와 같이 거의 오차가 없다는 것을 보이기 위하여 표 4와 같이 대응 일치 t-검증과 95%의 신뢰도 수준에서의 다중 비교의 본페로니 절차의 에이 노바 분석을 사용하여 통계적인 신뢰도를 분석하였다. 표 4의 오른쪽 상단부는 대응 일치 t-검증을 이용한 각각의 방법의 신뢰도를 나타내고, 왼쪽 하단부는 에이 노바 분석을 통해 각 방법들이 신뢰성이 있는가의 유무를 보인다.
성능/효과
또 다른 방법으로, [1]은 아이템에 대한 평균과 사용자에 대한 평균을 사용하는 접근 방식을 사용하였다. 이 방법은 사용자-아이템 행렬에 사용자 평균이나 아이템 평균 중 하나의 값을 사용하여 행렬의 희박성을 해결하는 가장 대중화된 방법 중 하나이며, 또한 아이템 평균을 사용하는 것이 보다 좋은 결과를 보였음을 기술하였다. 그러나 기본 평가 값으로 획일적인 아이템 평균값을 사용하는 방법은 아이템이나 사용자의 특성, 또한 데이타 집합의 분포 특성을 전혀 고려하지 않은 방법이므로, 이에 대한 보완이 필요하다.
이들 데이타 집합의 실제 데이타를 결측치로 가정한 후에, 이에 대한 기본 평가 값으로 사용자 평균과 아이템 평균을 각각 사용하였다. 그 결과, 2개의 집단에서는 사용자 평균을 사용하였을 경우 결측치 오차가 낮아지는 결과를 보였으며, 나머지 집단에서 는 아이템 평균을 사용하였을 경우 결측치 오차가 낮아지는 결과를 보였다. 이와 같은 결과는 사용자들이 아이 템에 대하여 평가한 경향에 따라 두 가지 값 중 하나의 값을 기본 평가 값으로 결정해야 한다는 결론을 내릴 수 있다, 본 논문에서 제안한 방법에서는 사용자들이 아이 템에 대하여 평가한 경향을 판단하는 기준으로 데이타 점들의 변동의 정도를 나타내는 변동 계수를 사용한다.
사용자 변동 계수들이 정상분포 상태에 있을 경우 왜 도는 0이며, 대칭적인 데이타는 0에 가까운 왜 도를 갖는다. 500명의 사용자를 대상으로 실험한 결과, 사용자의 변동 계수 분포에 대한 왜도는 0보다 크고 3보다 작은 값을 나타내었다. 양의 값을 갖는 왜도는 그래프의 모양 이 오른쪽으로 기울어졌다는 것을 나타내며, 오른쪽으로 기울어졌다는 것은 오른쪽 꼬리 부분이 왼쪽 꼬리 부분보다 더 무겁다는 것을 의미한다.
그러나 실제 데이타는 항상 유동적이기 때문에 오차가 발생한다. 따라서 10개의 데이타 집합에서 실제 실험 결과와 본 논문에서 정의한 수식을 적용한 결과는 다소의 차이를 보인다. 특히 표 3에서 10개의 집합을 대상으로 하였을 때 그 차의 평균이 0.
표 4에서 Using_CV와 R_V(threshold)는 MAE의 값에 있어서 큰 차이를 나타내지 못하므로, 두 방법이 차이가 있는가에 대한 신뢰도 분석에 있어서 그 차이는 큰 의미가 없다는 결과를 보인다. 따라서, 본 논문에서 정의한 식을 사용한 방법과 실제로 변화시킴에 의해 결정된 가장 높은 정확도를 나타낸 임계 값을 사용한 방법과의 차이는 거의 없다는 결과를 얻었으므로 정의된 수식이 오류가 없음을 보인다.
반면, 본 논문에서 제안한 방법은 대부분의 협력적 여과 시스템에 사용된 방법과 같이 사용자-아이템 행렬에 나타난 희박성의 정도에 따라 성능에 있어 차이를 보인다. 특히, 희박성이 높을수록 기본 평가 값을 계산하는 시간에 있어서 다른 방법들에 비하여 비경제적이다.
사 용자들이 아이템에 대하여 평가한 정보를 나타내는 사용자의 변동 계수를 계산하고, 정의된 수식에 의하여 임 계값을 결정한 후, 이를 기반으로 기본 평가 값을 사용자 평균에서 아이템 평균으로 전환하여 사용자들의 결측치를 채운다. 제안된 방법은 MovieLens 데이타 집합을 이용하여 평가되었으며, 평가 결과 t-검정과 다변 비교 통계에 대한 본페로니 절차의 에이 노바 테스트를 통하여 제안된 알고리즘이 기존의 방법보다 우세한 성능을 가짐을 보였다.
후속연구
향후, 기본평가 방법이 모델 기반의 협력적 여과시스템에 사용되어진다면 추천의 성능이 향상될 것으로 기대한다.
참고문헌 (17)
B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, 'Application of Dimensionality Reduction in Recommender System A Case Study,' Proceddings of ACM WebKDD, 2000
B. Sarwar, J. Konstan, Al Borchers, J. Herlocker, B. Miller, and J. Riedl, 'Using Filtering Agents to Improve Prediction Quality in the GroupLens Research Collaborative Filtering System,' Proceedings of the 1998 Conference on Computer Supported Cooperative Work, 1998
David Pennock, Eric Horvitz, Steve Lawrence, and C Lee Giles, 'Collaborative Filtering by Personality Diagnosis: A Hybrid Memory- and Model-Based Approach,' Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence, UAI 2000
John. S. Breese, D. Heckerman, and C. Kadie, 'Empirical Analysis of Predictive Algorithms for Collaborative Filtering,' Proceedings of the Conference on Uncertainty in Artificial Intelligence, Madison, WI, 1998
Jonathan L. Herlocker, Joseph A. Konstan, Al Borchers, and John Riedl, 'An algorithmic framework for performing collaborative filtering,' Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval, 1999
Sonny Han Seng Chee , Jiawei Han, Ke Wang, 'RecTree: An Efficient Collaborative Filtering Method,' Proceedings of the Third International Conference on Data Warehousing and Knowledge Discovery, September, 2001
조선호, 김진수, 이정현, '엔트로피와 Default Voting을 이용한 협력적 필터링에서의 사용자 유사도 측정', 한국정보과학회 추계 학술발표논문집(II), 2001
Toshihiro Kamishima, 'Nantonac collaborative filtering: recommendation based on order responses,' Proceedings of the Ninth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2003
MovieLens collaborative filtering data set, Http://www.cs.umn.edu/Research/GroupLens/index.html, GROUPLENS RESEARCH PROJECT, 2000
V. Barnett and T. Lewis, Outliers in Statistical Data. John Wiley and Sons, 1994
L. Grossi, G. Gozzi, and P. Ganugi, 'Distribution Analysis of Items and Ratios in Companies? Accounts using a new iterative procedure,' Proceedings of compstat2002, 2002
Jonathan L. Herlocker, Joseph A. Konstan, Loren G. Terveen, and John T. Riedl, 'Evaluating collaborative filtering recommender systems,' ACM Transactions on Information Systems (TOIS) archive, Vol. 22, No. 1, 2004
J. Delgado and N. Ishii, 'Formal Models for Learning of User Preferences, a Preliminary Report,' In Proceedings of International Joint Conference on Artificial Intelligence (IJCAI-99), Stockholm, Sweden, July, 1999
Paul R. Cohen. Empirical methods for artificial intelligence. The MIT Press, 1995
Giuseppe Carenini, Rita Sharma, 'Exploring More Realistic Evaluation Measures for Collaborative Filtering,' AAAI 2004, 2004
Rita Sharma and David Poole, 'Symmetric Collaborative Filtering Using the Noisy Sensor Model,' Proceedings of the 17th Conference in Uncertainty in Artificial Intelligence, 2001
B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, 'Analysis of recommendation algorithms for e-commerce,' Proceedings of the 2nd ACM conference on Electronic commerce, 2000
※ AI-Helper는 부적절한 답변을 할 수 있습니다.