선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 소셜 네트워크 분석(Social Network Analysis: SNA) 기법을 활용하여 협업필터링 (Collaborative Filtering: CF) 추천시스템의 성능을 향상시키고자 데이터 튜닝을 통한 특이한 취향의 고객들을 분리하는 방법을 개발하였고 시뮬레이션을 통해 이를 검증하였다. 검증 결과, 가중평균을 적용한 개발모델이 일반적인 협업필터링의 모델보다 평균 10%의 성능향상을 보였다.
제안 방법
- 본 연구에서는 고객의 거래데이터에 협업필터링 알고리즘을 적용하기 이전에, 독특한 취향의 고객들(gray sheep)을 분리하기 위하여 소셜 네트워크 분석의 연결 정도 중앙성(degree centrality) 지표를 이용하였다. 노드들을 연결 정도 중앙성의 값 순으로 정리하고, 시뮬레이션을 통하여 결정된 기준 값을 기준으로 연결 정도 중앙성이 낮은 데이터셋과 그렇지 않은 나머지 데이터셋으로 분리하였다. 이 각각의 데이터셋에 대하여 최고의 성과를 내는 다른 유사도 기법(Similarity Measure)기법과 다른 트레이닝셋(training set)을 적용한다.
- [Table 3]은 연결 정도 중앙성이 1600이하인 41개 노드들로 구성된 데이터셋에 대한 결과이다. 독특한 취향의 사용자들(gray sheep)이 몰려 있는 이 데이터셋에서는 코사인 유사도 기법으로는 추천생성이 불가능하므로, 베스트셀러 추천기법으로 시뮬레이션을 진행하였다. 정확한 추천성능 비교를 위하여 트레이닝셋을 노드를 분리하기 전의 943개 노드가 모두 포함된 전체 데이터셋으로 지정하고, 테스트셋을 지표로 분리한, 41개 노드가 들어있는 데이터셋으로 하였다.
- 본 논문에서 사용한 소셜 네트워크 분석(SNA) 기법을 활용한 협업필터링 추천시스템의 경우, 연결 정도 중앙성 값에 의해 분리된 2가지 데이터 셋의 추천성과가 각각 다르다. 따라서 공정한 비교를 위하여 노드들의 숫자비율에 따라 이 2가지 데이터 셋의 추천성능의 가중평균을 구하고, 이를 일반적인 협업필터링 추천시스템의 성능과 비교하였다.
- Step 4: 분리된 하위 노드들의 데이터셋에서는 독특한 취향의 고객들이 몰려있기 때문에 위에서 구한 동일한 유사도 기법을 적용 하면 추천아이템이 생성되지 않거나 생성되더라도 정확도가 낮을 가능성이 많다. 따라서 이 노드들에 대해서는 노드를 분리하기 전의 모든 고객들이 포함된 전체 데이터를 트레이닝셋(training set)으로 지정하고, 독특한 고객들을 의미하는 하위 노드들을 테스트셋(test set)으로 하여 인기 항목 추천(popular items) 방법으로 추천을 실시한다.
- 본 연구는 소셜 네트워크 분석(Social Network Analysis: SNA) 기법을 활용하여 데이터셋을 튜닝하는 협업필터링 (Collaborative Filtering: CF) 추천시스템을 개발하고 시뮬레이션을 통해 이를 검증하였다. 보다 상세하게는 고객들의 거래데이터에서 독특한 취향의 고객들(isolate nodes)을 소셜 네트워크 분석 지표를 활용하여 분리해 내고, 이를 통한 거래 데이터셋 자체의 튜닝으로 추천 시스템의 성능을 향상시키는 방법에 관한 것이다.
- [Table 2]는 남겨진 902개의 노드로 이루어진 데이터셋에서 코사인 유사도 기법으로 이웃의 숫자가 70명일 때 최적의 추천성과를 내는 것을 보여주고 있다. 시뮬레이션을 위하여 랜덤샘플링 방식으로, 902개 노드 데이터셋 전체를 트레이닝셋 80%, 테스트셋 20% 비율로 나누어 실시하였다.
- 실험을 위하여 R의 tnet과 Recommanderlab 패키지를 사용하여 추천시스템을 구축하고 시뮬레이션을 진행하였다. 추천알고리즘의 적용 단계에서는 일반적으로 많이 사용하는 사용자기반 협업필터링 알고리즘과 유사도 기법으로 코사인 유사도(Cosine similarity)와 베스트셀러 추천 (popular similarity)을 사용하였다.
- 전체 943개의 노드들이 있는 데이터셋에서 연결 정도 중앙성이 1600이하인 노드 41개를 분리하고 902개 노드들의 데이터셋에 대하여 일반 협업필터링 알고리즘으로 시뮬레이션 하였다. 이때 1600이라는 숫자는 시뮬레이션을 통해서 추천시스템의 정확도가 최대가 되는 숫자를 구한 결과이다.
대상 데이터
- 본 실험에서는 미네소타대학(University of Minnesota)의 GroupLens Research Project팀에 의해 수집된 MovieLens 데이터를 사용하였다. 데이터는 MovieLens 웹사이트(http://movielens.org) 를 통해 1997년 9월 19일부터 1998년 4월 22일까지 7개월 간 수집되었다. 총 1,682개의 영화에 대해 943명의 고객들이 리커트 5점 척도로 매긴 100,000 건의 평가 데이터이다.
- 본 실험에서는 미네소타대학(University of Minnesota)의 GroupLens Research Project팀에 의해 수집된 MovieLens 데이터를 사용하였다. 데이터는 MovieLens 웹사이트(http://movielens.
- 독특한 취향의 사용자들(gray sheep)이 몰려 있는 이 데이터셋에서는 코사인 유사도 기법으로는 추천생성이 불가능하므로, 베스트셀러 추천기법으로 시뮬레이션을 진행하였다. 정확한 추천성능 비교를 위하여 트레이닝셋을 노드를 분리하기 전의 943개 노드가 모두 포함된 전체 데이터셋으로 지정하고, 테스트셋을 지표로 분리한, 41개 노드가 들어있는 데이터셋으로 하였다.
- org) 를 통해 1997년 9월 19일부터 1998년 4월 22일까지 7개월 간 수집되었다. 총 1,682개의 영화에 대해 943명의 고객들이 리커트 5점 척도로 매긴 100,000 건의 평가 데이터이다.
데이터처리
- 마지막으로 성능비교에 더욱 공정성을 기하기 위하여, [Table 4] 에서 보여지는 바와 같이 코사인 유사도를 적용하여 최적의 성과를 구한 902개 데이터셋과 베스트셀러 유사도를 적용하여 추천성능을 구한 41개 노드 데이터셋에 대하여 노드수들의 비율로 가중평균을 구하였다.
- 0475로 최고의 성과가 나타났다. 이 값을 뒤의 SNA를 적용한 협업필터링 추천시스템의 성과와 비교하였다.
- 제시된 방법의 성과를 측정하기 위하여 본 기법을 적용하지 않은 추천시스템과 본 기법을 적용한 추천시스템을 각각 최고의 성능을 내도록 시뮬레이션하여 성능을 비교하였다.
이론/모형
- 데이터 튜닝을 하지 않은 원본 데이터셋을 일반 협업필터링 추천알고리즘을 사용하여 시뮬레이션 하였다. 시뮬레이션을 위한 프로그램은 R을 사용하였다.
- 본 연구에서는 고객의 거래데이터에 협업필터링 알고리즘을 적용하기 이전에, 독특한 취향의 고객들(gray sheep)을 분리하기 위하여 소셜 네트워크 분석의 연결 정도 중앙성(degree centrality) 지표를 이용하였다. 노드들을 연결 정도 중앙성의 값 순으로 정리하고, 시뮬레이션을 통하여 결정된 기준 값을 기준으로 연결 정도 중앙성이 낮은 데이터셋과 그렇지 않은 나머지 데이터셋으로 분리하였다.
- 중앙성(centrality)은 소셜 네트워크 분석에서 쓰이는 대표적인 지표 중 하나로 연결 정도 중앙성(degree centrality), 인접 중앙성(closeness centrality), 사이 중앙성(betweenness centrality)이 있으며 이 세 가지는 각기 다른 ‘중심’을 측정한다(Kim, 2013; Sohn, 2008). 본 연구에서는 사용자와 선호하는 영화간의 네트워크에서 특이한 취향의 사용자(gray sheep), 즉 다른 노드와의 연결이 되지 않았거나 링크(link) 수가 작은 노드를 분류해내기 위하여 다른 노드와의 연결된 정도를 의미하는 연결 정도 중앙성 지표를 사용한다 (Sohn, 2008). 연결 정도 중앙성은 한 노드에 직접 연결되어 있는 노드들의 합으로 간단히 측정이 가능하며 구하는 식은 아래와 같다.
- 노드들을 연결 정도 중앙성의 값 순으로 정리하고, 시뮬레이션을 통하여 결정된 기준 값을 기준으로 연결 정도 중앙성이 낮은 데이터셋과 그렇지 않은 나머지 데이터셋으로 분리하였다. 이 각각의 데이터셋에 대하여 최고의 성과를 내는 다른 유사도 기법(Similarity Measure)기법과 다른 트레이닝셋(training set)을 적용한다.
- 실험을 위하여 R의 tnet과 Recommanderlab 패키지를 사용하여 추천시스템을 구축하고 시뮬레이션을 진행하였다. 추천알고리즘의 적용 단계에서는 일반적으로 많이 사용하는 사용자기반 협업필터링 알고리즘과 유사도 기법으로 코사인 유사도(Cosine similarity)와 베스트셀러 추천 (popular similarity)을 사용하였다.
- 정확도는 무비렌즈 전체 데이터셋에서 고객별로 추천한 영화들 중에 실제 고객이 좋다고 선호도를 표시한 영화의 비율을 나타내고, 회상은 고객별 선호도를 표시한 영화들 중에 추천시스템이 실제 추천한 영화의 비율을 나타낸다. 하지만 이 둘은 서로 trade-off 관계에 있으므로 최근에는 F 값을 많이 활용하고 있으며, 본 실험에서도 이 F 값을 최종 측정지표로 사용하였다 (Sarwar et al., 2000).
성능/효과
- 본 연구에서는 소셜 네트워크 분석(Social Network Analysis: SNA) 기법을 활용하여 협업필터링 (Collaborative Filtering: CF) 추천시스템의 성능을 향상시키고자 데이터 튜닝을 통한 특이한 취향의 고객들을 분리하는 방법을 개발하였고 시뮬레이션을 통해 이를 검증하였다. 검증 결과, 가중평균을 적용한 개발모델이 일반적인 협업필터링의 모델보다 평균 10%의 성능향상을 보였다.
- 시뮬레이션 결과, [Table 5]와 같이 소셜 네트워크분석(SNA) 기법을 적용하지 않은 원래의 협업필터링(CF) 추천시스템 알고리즘으로는 F값이 0.0475였고, 소셜 네트워크분석(SNA) 기법을 적용한 협업필터링(CF) 추천시스템의 F값은 0.052로 추천성능이 평균 9.5% 향상되었음을 검증하였다. [Figure 1] 의 그래프를 통하여 본 연구에서 개발한 알고리즘에 의해 회상(Recall) 값이 크게 개선되는 것을 볼 수 있다.
- 추천갯수가 1, 3, 5 개 일 때, 각각의 F값을 구하여 비교하면 추천갯수가 1(n=1)일 경우에는 최대 11%까지 성능이 향상되었다.
후속연구
- 그러나 무비렌즈 데이터 한 종류로 모형을 검증을 하였기 때문에 향후 좀 더 다양한 도메인의 데이터에서 검증이 필요하다. 또한 본 연구에서 제안하는 모형의 절대적인 성과가 낮다는 한계점이 존재한다.
- 그럼에도 불구하고 본 연구는 이론적인 측면에서 SNA 방법을 적용해서 CF의 정확도 향상의 여지를 보여줬으며 앞으로 다른 측면에서의 정확도 향상의 밑거름이 될 수 있을 것으로 기대된다. 실무적으로는 이 연구의 성과는 추후 전자상거래 기업들이 추천 시스템을 구축하고 고객들에게 맞춤형 개인화 서비스를 실시함에 있어, 비교적 간단하게 적용하여 추천성능을 향상시킬 수 있는 알고리즘이 될 것으로 기대된다.
- 그러나 무비렌즈 데이터 한 종류로 모형을 검증을 하였기 때문에 향후 좀 더 다양한 도메인의 데이터에서 검증이 필요하다. 또한 본 연구에서 제안하는 모형의 절대적인 성과가 낮다는 한계점이 존재한다. 추후 추천 성능을 개선하기 위하여 추가적인 알고리즘과 데이터 셋팅의 결합에 대한 연구가 이루어져야 할 필요가 있다.
- 그럼에도 불구하고 본 연구는 이론적인 측면에서 SNA 방법을 적용해서 CF의 정확도 향상의 여지를 보여줬으며 앞으로 다른 측면에서의 정확도 향상의 밑거름이 될 수 있을 것으로 기대된다. 실무적으로는 이 연구의 성과는 추후 전자상거래 기업들이 추천 시스템을 구축하고 고객들에게 맞춤형 개인화 서비스를 실시함에 있어, 비교적 간단하게 적용하여 추천성능을 향상시킬 수 있는 알고리즘이 될 것으로 기대된다.
- 또한 본 연구에서 제안하는 모형의 절대적인 성과가 낮다는 한계점이 존재한다. 추후 추천 성능을 개선하기 위하여 추가적인 알고리즘과 데이터 셋팅의 결합에 대한 연구가 이루어져야 할 필요가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.