기존의 협업필터링 추천시스템 연구는 상품에 대한 고객의 평점(rating)이나 구매 여부 데이터로부터 하나의 프로파일을 생성하고 이를 기반으로 추천 성능을 향상시킬 수 있는 새로운 알고리즘을 개발하는 위주로 진행되어 왔다. 그러나 빅데이터 환경이 도래하면서 기업이 수집할 수 있는 고객 데이터가 풍부해지고 다양해짐에 따라, 보다 정확하게 고객의 선호도나 행태를 파악하는 것이 가능하게 되었고 이러한 데이터, 즉 퍼스널 빅데이터(personal big data)를 추천시스템에 활용하는 연구의 필요성이 대두되고 있다. 본 연구에서는 마케팅의 시장세분화 이론에 근거하여 퍼스널 빅데이터로부터 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있는 5종의 다중 프로파일(multimodal profile)을 개발하고, 이를 활용하여 협업필터링 추천시스템의 성능을 개선하고자 한다. 제안하는 5종의 다중 프로파일은 프로파일 통합 유사도, 개별 프로파일 유사도 평균, 개별 프로파일 유사도 가중 평균이라는 세 가지 앙상블 기법을 통해 협업필터링의 이웃(neighborhood) 탐색과정에 적용된다. 실제 퍼스널 빅데이터에 본 연구에서 제안하는 방법론을 적용한 결과, 단일 프로파일을 사용하는 협업필터링 알고리즘보다 추천 성능이 상당히 개선되었으며 앙상블 방법 중에서는 개별 프로파일 유사도 가중 평균 기법이 가장 높은 추천 성능을 보여주었다. 본 연구는 빅데이터 환경에서 추천시스템을 개발하고자 할 때, 어떠한 성격의 데이터로부터 고객의 특성을 규명하는 프로파일을 만들고 이를 어떻게 결합하여 사용하는 것이 효과적인 지 처음으로 제안하였다는 점에서 그 의의가 있다.
기존의 협업필터링 추천시스템 연구는 상품에 대한 고객의 평점(rating)이나 구매 여부 데이터로부터 하나의 프로파일을 생성하고 이를 기반으로 추천 성능을 향상시킬 수 있는 새로운 알고리즘을 개발하는 위주로 진행되어 왔다. 그러나 빅데이터 환경이 도래하면서 기업이 수집할 수 있는 고객 데이터가 풍부해지고 다양해짐에 따라, 보다 정확하게 고객의 선호도나 행태를 파악하는 것이 가능하게 되었고 이러한 데이터, 즉 퍼스널 빅데이터(personal big data)를 추천시스템에 활용하는 연구의 필요성이 대두되고 있다. 본 연구에서는 마케팅의 시장세분화 이론에 근거하여 퍼스널 빅데이터로부터 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있는 5종의 다중 프로파일(multimodal profile)을 개발하고, 이를 활용하여 협업필터링 추천시스템의 성능을 개선하고자 한다. 제안하는 5종의 다중 프로파일은 프로파일 통합 유사도, 개별 프로파일 유사도 평균, 개별 프로파일 유사도 가중 평균이라는 세 가지 앙상블 기법을 통해 협업필터링의 이웃(neighborhood) 탐색과정에 적용된다. 실제 퍼스널 빅데이터에 본 연구에서 제안하는 방법론을 적용한 결과, 단일 프로파일을 사용하는 협업필터링 알고리즘보다 추천 성능이 상당히 개선되었으며 앙상블 방법 중에서는 개별 프로파일 유사도 가중 평균 기법이 가장 높은 추천 성능을 보여주었다. 본 연구는 빅데이터 환경에서 추천시스템을 개발하고자 할 때, 어떠한 성격의 데이터로부터 고객의 특성을 규명하는 프로파일을 만들고 이를 어떻게 결합하여 사용하는 것이 효과적인 지 처음으로 제안하였다는 점에서 그 의의가 있다.
The recommender system is a system which recommends products to the customers who are likely to be interested in. Based on automated information filtering technology, various recommender systems have been developed. Collaborative filtering (CF), one of the most successful recommendation algorithms, ...
The recommender system is a system which recommends products to the customers who are likely to be interested in. Based on automated information filtering technology, various recommender systems have been developed. Collaborative filtering (CF), one of the most successful recommendation algorithms, has been applied in a number of different domains such as recommending Web pages, books, movies, music and products. But, it has been known that CF has a critical shortcoming. CF finds neighbors whose preferences are like those of the target customer and recommends products those customers have most liked. Thus, CF works properly only when there's a sufficient number of ratings on common product from customers. When there's a shortage of customer ratings, CF makes the formation of a neighborhood inaccurate, thereby resulting in poor recommendations. To improve the performance of CF based recommender systems, most of the related studies have been focused on the development of novel algorithms under the assumption of using a single profile, which is created from user's rating information for items, purchase transactions, or Web access logs. With the advent of big data, companies got to collect more data and to use a variety of information with big size. So, many companies recognize it very importantly to utilize big data because it makes companies to improve their competitiveness and to create new value. In particular, on the rise is the issue of utilizing personal big data in the recommender system. It is why personal big data facilitate more accurate identification of the preferences or behaviors of users. The proposed recommendation methodology is as follows: First, multimodal user profiles are created from personal big data in order to grasp the preferences and behavior of users from various viewpoints. We derive five user profiles based on the personal information such as rating, site preference, demographic, Internet usage, and topic in text. Next, the similarity between users is calculated based on the profiles and then neighbors of users are found from the results. One of three ensemble approaches is applied to calculate the similarity. Each ensemble approach uses the similarity of combined profile, the average similarity of each profile, and the weighted average similarity of each profile, respectively. Finally, the products that people among the neighborhood prefer most to are recommended to the target users. For the experiments, we used the demographic data and a very large volume of Web log transaction for 5,000 panel users of a company that is specialized to analyzing ranks of Web sites. R and SAS E-miner was used to implement the proposed recommender system and to conduct the topic analysis using the keyword search, respectively. To evaluate the recommendation performance, we used 60% of data for training and 40% of data for test. The 5-fold cross validation was also conducted to enhance the reliability of our experiments. A widely used combination metric called F1 metric that gives equal weight to both recall and precision was employed for our evaluation. As the results of evaluation, the proposed methodology achieved the significant improvement over the single profile based CF algorithm. In particular, the ensemble approach using weighted average similarity shows the highest performance. That is, the rate of improvement in F1 is 16.9 percent for the ensemble approach using weighted average similarity and 8.1 percent for the ensemble approach using average similarity of each profile. From these results, we conclude that the multimodal profile ensemble approach is a viable solution to the problems encountered when there's a shortage of customer ratings. This study has significance in suggesting what kind of information could we use to create profile in the environment of big data and how could we combine and utilize them effectively. However, our methodology should be further studied to consider for its real-world applic
The recommender system is a system which recommends products to the customers who are likely to be interested in. Based on automated information filtering technology, various recommender systems have been developed. Collaborative filtering (CF), one of the most successful recommendation algorithms, has been applied in a number of different domains such as recommending Web pages, books, movies, music and products. But, it has been known that CF has a critical shortcoming. CF finds neighbors whose preferences are like those of the target customer and recommends products those customers have most liked. Thus, CF works properly only when there's a sufficient number of ratings on common product from customers. When there's a shortage of customer ratings, CF makes the formation of a neighborhood inaccurate, thereby resulting in poor recommendations. To improve the performance of CF based recommender systems, most of the related studies have been focused on the development of novel algorithms under the assumption of using a single profile, which is created from user's rating information for items, purchase transactions, or Web access logs. With the advent of big data, companies got to collect more data and to use a variety of information with big size. So, many companies recognize it very importantly to utilize big data because it makes companies to improve their competitiveness and to create new value. In particular, on the rise is the issue of utilizing personal big data in the recommender system. It is why personal big data facilitate more accurate identification of the preferences or behaviors of users. The proposed recommendation methodology is as follows: First, multimodal user profiles are created from personal big data in order to grasp the preferences and behavior of users from various viewpoints. We derive five user profiles based on the personal information such as rating, site preference, demographic, Internet usage, and topic in text. Next, the similarity between users is calculated based on the profiles and then neighbors of users are found from the results. One of three ensemble approaches is applied to calculate the similarity. Each ensemble approach uses the similarity of combined profile, the average similarity of each profile, and the weighted average similarity of each profile, respectively. Finally, the products that people among the neighborhood prefer most to are recommended to the target users. For the experiments, we used the demographic data and a very large volume of Web log transaction for 5,000 panel users of a company that is specialized to analyzing ranks of Web sites. R and SAS E-miner was used to implement the proposed recommender system and to conduct the topic analysis using the keyword search, respectively. To evaluate the recommendation performance, we used 60% of data for training and 40% of data for test. The 5-fold cross validation was also conducted to enhance the reliability of our experiments. A widely used combination metric called F1 metric that gives equal weight to both recall and precision was employed for our evaluation. As the results of evaluation, the proposed methodology achieved the significant improvement over the single profile based CF algorithm. In particular, the ensemble approach using weighted average similarity shows the highest performance. That is, the rate of improvement in F1 is 16.9 percent for the ensemble approach using weighted average similarity and 8.1 percent for the ensemble approach using average similarity of each profile. From these results, we conclude that the multimodal profile ensemble approach is a viable solution to the problems encountered when there's a shortage of customer ratings. This study has significance in suggesting what kind of information could we use to create profile in the environment of big data and how could we combine and utilize them effectively. However, our methodology should be further studied to consider for its real-world applic
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
개성이나 욕구 등의 심리적 기준 변수는 설문이나 인터뷰를 통해 얻을 수 있는 사용자 정보이기 때문에, 본 연구에서는 측정 불가능하다고 판단하였다. 따라서, 사용자들의 기본 정보를 기반으로 한 인구통계학적 프로파일과 웹 상에서의 행동 정보를 토대로 한 고객 행동 프로파일을 규명하고자 한다. Kim and Oh(2009)의 연구에서도 고객리뷰에 대한 텍스트 마이닝 분석을 하기 전에 시장세 분화 이론을 도입하여 비슷한 유형의 고객 그룹을 발굴하여 정확도를 높인 사례가 있다.
본 연구에서는 실제 퍼스널 빅데이터로부터 마케팅의 시장세분화 이론에 근거한 5종의 다중 프로파일을 개발하고, 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있도록 하였다. 또한, 이를 기반으로 협업필터링의 이웃(neighborhood) 탐색과정에 적용할 수 있는 3가지의 앙상블 기법을 제안하고 추천 성능을 개선하고자 한다.
본 연구에서는 실제 퍼스널 빅데이터로부터 마케팅의 시장세분화 이론에 근거한 5종의 다중 프로파일을 개발하고, 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있도록 하였다. 또한, 이를 기반으로 협업필터링의 이웃(neighborhood) 탐색과정에 적용할 수 있는 3가지의 앙상블 기법을 제안하고 추천 성능을 개선하고자 한다.
먼저, [Figure 1]은 단일 프로파일을 이용한 추천시스템 연구에서 주로 이용된 구매 여부나 평점(rating) 프로파일인 사용자-상품 매트릭스이다. 본 연구에서는 특정 상품에 대한 페이지를 클릭하는 행동이 그 상품에 대한 구매 관심이라고 판단하였다. 따라서 이진형(binary)의 매트릭스로서, 상품의 중분류 카테고리 145개에 대해 해당 상품 페이지를 한 번이라도 클릭한 적이 있으면 1, 없으면 0으로 표시하였다.
본 연구에서는 패널들이 클릭한 온라인 쇼핑몰의 상품 정보를 추가적으로 얻기 위해, 웹로그 정보 중 국내 인터넷 쇼핑몰 ‘A사’ 사이트의 URL을 추출하였다.
이를 통해 사용자 특성별로 개인화된 서비스를 제공할 수 있는 기반이 된다고 하였다. 본 연구에서도 시장 세분화 이론 중 지리적 기준을 포함시킨 인구통계학적 기준과 행동적 기준에 초점을 맞추어 사용자의 특성을 파악할수 있는 프로파일을 규명하고자 한다. 개성이나 욕구 등의 심리적 기준 변수는 설문이나 인터뷰를 통해 얻을 수 있는 사용자 정보이기 때문에, 본 연구에서는 측정 불가능하다고 판단하였다.
본 절에서는 3가지의 제안 앙상블 방법론에 대해 설명하고 프로세스를 정의하고자 한다. 먼저, 프로파일 통합 유사도 기법은 퍼스널 빅데이터를 정제하여 개발한 다중 프로파일을 하나의 전체 프로파일로 결합하여, 결합한 프로파일로부터 하나의 유사도를 계산하는 방법이다.
제안 방법
본 연구에서 웹 사용자의 속성을 규명하기 위한 프로파일은 마케팅에서 일반적으로 사용하는 소비시장에서의 시장세분화 이론에 근거하였다. 그 중에서 웹 사용자에 적합한 변수를 채택하였고, 해당 변수를 기준으로 rating, 선호사이트, 인구통계학, 인터넷 사용행태, 검색 키워드 프로파일과 같이 5종의 다중 프로파일을 생성하였다. 시장 세분화 이론의 기준에 따른 프로파일 생성 목록은 [Table 2]와 같다.
소비자 시장에서의 세분화 기준은 [Table 1] 과 같다(Claycamp and Massy, 1968). 그 중에서웹 상에서 적절하다고 판단되는 인구통계학적 기준, 지리적 기준, 행동적 기준에 따른 변수들을 채택하여 프로파일로 생성하였다. 특히 본 연구에서 초점을 맞추어 도입할 행동적 기준의 하위 개념에 대해 세부적으로 설명하자면, 먼저 구매 또는 사용상황에 따른 변수, 사용자가 추구하는 편익이나 혜택에 따른 변수, 사용량 또는 사용률에 따른 변수 등으로 나눌 수 있다(Claycamp and Massy, 1968; Kim, 2012).
본 연구에서는 패널들이 클릭한 온라인 쇼핑몰의 상품 정보를 추가적으로 얻기 위해, 웹로그 정보 중 국내 인터넷 쇼핑몰 ‘A사’ 사이트의 URL을 추출하였다. 그 후 크롤링을 통해 각 UFL에 해당하는 상품의 이름, 가격, 상품 카테고리 등의 정보를 수집하였다.
또한 빅데이터 환경에서 추천시스템을 개발하고자 할 때 어떠한 정보를 이용하여 고객의 특성을 규명하는 프로파일을 만드는 것이 효과적인 지 제안하였다는 점에서 가치가 있다고 할 수 있다. 둘째, 프로파일 및 유사도를 앙상블하여 협업필터링의 이웃 선정 과정에 적용할 수 있는 방법론을 제안하였다. 이를 통해 다중 프로파일을 어떻게 결합하여 사용하는 것이 효과적인지를 제시하였다는 점에서 의의가 있다.
실험을 위해 우선 인터넷 쇼핑몰 사이트 ‘A사’에 대한 방문 데이터를 트랜잭션 기준으로 5-fold 로 분할하였으며, 훈련용 데이터셋(train set)과 평가용 데이터셋(test set)은 각각 60%와 40%로 설정하여 분석하였다. 따라서, 신뢰도 높은 결과를 산출하기 위해 반복 분석을 실시하였고 그 결과를 평균한 값을 추천 성능 지표로 활용하였다. 본 실험에서는 제 3장에서 제안한 방법론을 훈련용 데이터셋(train set)에 적용하여 이웃을 선정하고, 예측한 추천 목록 중 N개의 최상위 상품을 추천하는 Top-N List 방식을 이용하였다.
본 실험에서는 위와 같이 각 프로파일에 맞는 유사도 계산 방법을 이용하여, 이진형(binary) 프로파일은 jaccard 유사도, 연속형(continuous) 프로파일은 cosine 유사도, 혼합형(mixed) 프로파일은 gower 유사도를 이용하여 사용자 간 유사도를 계산하였다.
따라서, 신뢰도 높은 결과를 산출하기 위해 반복 분석을 실시하였고 그 결과를 평균한 값을 추천 성능 지표로 활용하였다. 본 실험에서는 제 3장에서 제안한 방법론을 훈련용 데이터셋(train set)에 적용하여 이웃을 선정하고, 예측한 추천 목록 중 N개의 최상위 상품을 추천하는 Top-N List 방식을 이용하였다. 이러한 추천 결과를 평가용 데이터셋(test set)의 실제 데이터와 비교하여 추천 성능을 측정하였다.
본 연구에서는 다양한 추천시스템 알고리즘 중에서 사용자 기반 협업필터링 알고리즘에만 제시한 방법론을 적용하여 평가하였다. 따라서 다양한 추천 알고리즘에 적용할 경우에도 추천 성능이 향상되는지 분석하여, 어떠한 알고리즘 또는 어떻게 앙상블된 알고리즘에 적용하는 것이 최적인지를 찾기 위한 추가연구가 필요하다.
시장 세분화는 사전 세분화에서 사후 세분화 방법으로 이동해왔다고 볼 수 있는데 (Mazanec, 2000), 사후 세분화 방법이 하나의 변수가 아닌 다양한 소비자 정보를 바탕으로 여러 관점에서 세그먼트를 도출할 수 있기 때문이다. 본 연구에서는 사후 세분화 방법을 이용하여 사용자 행동에 관한 유형을 분류하고자 한다.
, 2012). 본 연구에서는 이진형(binary), 연속형 (continuous), 혼합형(mixed) 프로파일에 적합한 유사도를 사용하여 사용자 간 유사성을 계산하였다.
특히 본 연구에서 초점을 맞추어 도입할 행동적 기준의 하위 개념에 대해 세부적으로 설명하자면, 먼저 구매 또는 사용상황에 따른 변수, 사용자가 추구하는 편익이나 혜택에 따른 변수, 사용량 또는 사용률에 따른 변수 등으로 나눌 수 있다(Claycamp and Massy, 1968; Kim, 2012). 본 연구에서는 퍼스널 빅데이터로부터 웹 사용자의 속성을 규명 하기 위해 인구통계학적 기준과 지리적 기준을 기반으로 한 인구통계학적 프로파일과, 행동적 기준을 기반으로 한 rating, 선호 사이트, 인터넷 사용행태, 검색 키워드 토픽 프로파일을 생성하였으며, 이에 대한 내용은 3.1절에서 자세히 다룬다.
본 연구의 인구통계학적 프로파일을 예로 들면, 연속형 변수인 ‘나이’와 범주형 속성인 ‘직업’ 등 서로 다른 유형의 변수들 각각에 대한 기여도 및 유효성을 바탕으로 사용자 간의 유사 정도를 계산하는 것이다.
수행 프로세스로는 먼저 검색 키워드를 사용자별로 하나의 문서로 나타낸다. 사용자별 검색 키워드 문서를 바탕으로 토픽 분석을 수행하여 각각 다른 주제의 토픽 50개를 도출한다. 그 후 각 사용자별 검색 키워드 문서를 통해 50개의 토픽에 얼마나 관여되었는지에 대한 값을 나타낸 것이 [Figure 5]이다.
실험을 위해 우선 인터넷 쇼핑몰 사이트 ‘A사’에 대한 방문 데이터를 트랜잭션 기준으로 5-fold 로 분할하였으며, 훈련용 데이터셋(train set)과 평가용 데이터셋(test set)은 각각 60%와 40%로 설정하여 분석하였다.
추천 시스템의 성능은 이웃의 수와 추천 상품의 수에 따라 민감하게 달라진다. 이 두 가지 변수의 효과를 살펴보기 위해 이웃의 수는 10, 20, 30, 40, 50명으로 변화시키고, 추천 상품의 수는 1, 5, 10, 20개로 증가시키면서 성능을 측정하였다. 먼저 이웃의 수 변화에 따른 성능 비교를 알아보기 위해 각 이웃의 수에 대해 1, 5, 10, 20개 상품을 추천했을 때의 F1값을 나타냈으며, 그 결과는 [Figure 12]과 같다.
이는 식 (1)에서와 같이, 값이 1이면 사용자 i가상품 j에 대해 관심이 있음을 의미하고 0이면 관심이 없거나 해당 상품을 모른다는 것을 의미한다. 이러한 값을 바탕으로 rating 프로파일을 구성하였다.
본 실험에서는 제 3장에서 제안한 방법론을 훈련용 데이터셋(train set)에 적용하여 이웃을 선정하고, 예측한 추천 목록 중 N개의 최상위 상품을 추천하는 Top-N List 방식을 이용하였다. 이러한 추천 결과를 평가용 데이터셋(test set)의 실제 데이터와 비교하여 추천 성능을 측정하였다. 검색 키워드 토픽 프로파일을 생성하기 위한 토픽 분석은 SAS E-miner를 활용하였고, 데이터 전처리 및 추천시스템 구현에는 오픈 소스 분석 툴인 R을 사용하였다.
시장 세분화 이론의 기준에 따른 프로파일 생성 목록은 [Table 2]와 같다. 인구통계학적 기준에 따라 인구통계학적 프로파일을 생성하였으며, 행동적 기준의 하위 개념에 기초하여 rating 프로파일(상품에 대한 관심 정보), 선호 사이트 프로파일과(인터넷 사용패턴에 대한 정보), 인터넷 사용행태 프로파일(인터넷 사용량 또는 사용률에 대한 정보), 그리고 검색 키워드 토픽 프로파일(사용자가 추구하는 편익 및 관심사에 대한 정보)을 개발하였다.
가중치는 각 프로파일별로 부여하는데, 각 단일 프로파일의 추천 성능을 나타내는 F1 값을 사용한다. 즉, 단일 프로파일의 F값과 해당 프로파일의 유사도를 각각 곱한 후, 이를 평균하여 가중 평균 유사도를 구한다. 개별 프로파일에 대한 가중 평균 유사도를 기반으로 이웃을 탐색하고 상품을 추천하는 방법이다.
본 연구는 두 가지 측면에서 의의가 있다. 첫째, 마케팅의 시장세분화 이론을 이용하여 실제 퍼스널 빅데이터로부터 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있는 5종의 프로파일을 개발하였다. 이는 기존의 다중 프로파일 기반 연구와 비교하여, 단순히 인구통계학적 정보나 상품 정보와 같이 고객의 선호도나 특성에만 제한되는 것이 아니라 실제 고객의 행태를 마케팅적 시각에서 보다 구체적으로 규명하였다는 점에서 의의가 있다.
대상 데이터
본 실험에 사용된 데이터는 국내 한 인터넷 사이트 순위 분석 전문 업체의 패널 1000명에 대해 수집한 1년(2012년 7월 1일 ~ 2013년 6월 30일) 동안의 웹로그 트랜잭션 데이터 및 사용자 정보 자료이다. 웹로그 트랜잭션 데이터의 경우, 해당 사용자가 웹에 접속한 시간과 접속한 사이트, 그리고 해당 사이트에서의 체류시간, 검색 키워드 등이 건수별로 저장되어 있는 기록이며, 사용자 정보 자료는 1000명의 사용자에 대한 기본 인구통계학적 정보가 담겨있는 자료이다.
이 프로파일은 접속 지역과 같은 지리적 변수를 포함하여 사용자의 성별, 나이, 직업, 결혼여부, 최종학력 정보를 나타낸다. 본 연구에서 사용한 실험데이터는 성별 (Gender)은 남자와 여자, 나이(Age)는 10세부터 91세까지 분포되어 있고 결혼여부(Marrige) 변수는 미혼과 기혼으로 나뉜다. 또한 직업군 (Occupation)은 20개, 지역(Location)은 13개, 최종 학력(School)은 6개로 분류되어 있다.
데이터처리
이러한 추천 결과를 평가용 데이터셋(test set)의 실제 데이터와 비교하여 추천 성능을 측정하였다. 검색 키워드 토픽 프로파일을 생성하기 위한 토픽 분석은 SAS E-miner를 활용하였고, 데이터 전처리 및 추천시스템 구현에는 오픈 소스 분석 툴인 R을 사용하였다.
앞 절에서 설명한 F1 지표를 활용하여, 본 연구에서 제안한 프로파일 통합 유사도, 개별 프로 파일 유사도 평균 개별 프로파일 유사도 가중 평균 앙상블 방법론을 적용한 추천시스템 성능 평가를 실시하였다. 추천 시스템의 성능은 이웃의 수와 추천 상품의 수에 따라 민감하게 달라진다.
이론/모형
(2015) 연구에서 제안한 방법론 중 하나인 ‘포털사이트 검색 키워드 기반의 고객 클러스터링 (Module 3)’ 방법과 같이 수행하였다.
본 연구에서 웹 사용자의 속성을 규명하기 위한 프로파일은 마케팅에서 일반적으로 사용하는 소비시장에서의 시장세분화 이론에 근거하였다. 그 중에서 웹 사용자에 적합한 변수를 채택하였고, 해당 변수를 기준으로 rating, 선호사이트, 인구통계학, 인터넷 사용행태, 검색 키워드 프로파일과 같이 5종의 다중 프로파일을 생성하였다.
본 연구에서 추천 시스템 성능은 다수의 선행 연구(Herlocker et al., 2004; Billsus and Pazzani, 1998)에서 사용한 F1 지표를 이용하여 평가하였다. 식 (4)에서 Precision은 추천한 전체 아이템 개수 중 실제 구매한 아이템의 개수를 나눈 비율이고, Recall은 실제 구매한 전체 아이템 개수 중에서 추천된 아이템 개수를 나눈 비율이다.
성능/효과
163로 단일 프로파일보다 높은 성능을 나타냈으며, 특히 개별 프로파일 유사도 가중 평균 기법이 가장 높은 성능을 보였다. rating profile의 성능과 비교했을 때, 개별 프로파일 유사도 가중 평균 기법은 16.85%, 개별 프로 파일 유사도 평균 기법은 8.1%의 성능 개선이 이루어지는 것으로 나타났다.
두 번째로, 개별 프로파일 유사도 평균 기법은 앞서 언급했듯이, 프로파일 결합이 아닌 유사도 결합이라는 점에서 프로파일 통합 유사도 기법과 큰 차이가 있다. 프로세스는 [Figure 8]과 같다.
이는 기존의 다중 프로파일 기반 연구와 비교하여, 단순히 인구통계학적 정보나 상품 정보와 같이 고객의 선호도나 특성에만 제한되는 것이 아니라 실제 고객의 행태를 마케팅적 시각에서 보다 구체적으로 규명하였다는 점에서 의의가 있다. 또한 빅데이터 환경에서 추천시스템을 개발하고자 할 때 어떠한 정보를 이용하여 고객의 특성을 규명하는 프로파일을 만드는 것이 효과적인 지 제안하였다는 점에서 가치가 있다고 할 수 있다. 둘째, 프로파일 및 유사도를 앙상블하여 협업필터링의 이웃 선정 과정에 적용할 수 있는 방법론을 제안하였다.
마지막으로 개별 프로파일 유사도 가중 평균 기법은 개별 프로파일 유사도 평균 기법과 유사 하지만, 유사도를 결합할 때 단순 평균이 아닌 프로파일별 가중치를 주어 앙상블한다는 점에서 차이점이 있다. 가중치는 각 프로파일별로 부여하는데, 각 단일 프로파일의 추천 성능을 나타내는 F1 값을 사용한다.
125). 반면, 개별 프로파일 유사도 평균과 가중 평균 방법은 각각 0.150와 0.163로 단일 프로파일보다 높은 성능을 나타냈으며, 특히 개별 프로파일 유사도 가중 평균 기법이 가장 높은 성능을 보였다. rating profile의 성능과 비교했을 때, 개별 프로파일 유사도 가중 평균 기법은 16.
139로 가장 우수한 성능을 보였다. 본 연구에서 제안한 앙상블 방법에 대한 성능을 살펴보면, 먼저 프로파일 통합 유사도 기법의 경우 5종의 단일 프로파일 성능의 평균치 수준으로, rating profile보다는 낮은 성능을 보였다(0.125). 반면, 개별 프로파일 유사도 평균과 가중 평균 방법은 각각 0.
왼쪽의 5개 막대 그래프(rating, site, demo, usage, topic0는 5종의 단일 프로파일에 대한 성능이며, 나머지 3개막대 그래프(ensemble 1,2,3)는 앙상블 방법론 3가지를 적용한 것에 대한 성능을 의미한다. 실험 결과, 단일 프로파일 중에서는 rating profile이 0.139로 가장 우수한 성능을 보였다. 본 연구에서 제안한 앙상블 방법에 대한 성능을 살펴보면, 먼저 프로파일 통합 유사도 기법의 경우 5종의 단일 프로파일 성능의 평균치 수준으로, rating profile보다는 낮은 성능을 보였다(0.
대표적으로 Pazzani(1999)의 연구를 꼽을 수 있다. 이 연구에 따르면, 레스토랑에 대한 고객의 선호 정보와 해당 고객에 대한 인구통계학적 정보, 그리고 레스토랑의 음식(상품) 정보 등 서로 유형이 다른 프로파일들에 대해 협업필터링 기법과 내용기반 필터링 기법 등을 각각 사용하여 앙상블하였고 기존 추천시스템 성능보다 우수하다는 것을 입증하였다. 이와 유사 하게 건강식품에 대한 구매 정보와 인구통계학적 정보, 해당 상품을 검색한 질의어 정보를 각각 협업필터링 기법과 내용기반 필터링 기법으로 앙상블하여 추천 성능을 개선한 사례도 있다 (Kim et al.
후속연구
본 연구에서는 다양한 추천시스템 알고리즘 중에서 사용자 기반 협업필터링 알고리즘에만 제시한 방법론을 적용하여 평가하였다. 따라서 다양한 추천 알고리즘에 적용할 경우에도 추천 성능이 향상되는지 분석하여, 어떠한 알고리즘 또는 어떻게 앙상블된 알고리즘에 적용하는 것이 최적인지를 찾기 위한 추가연구가 필요하다.
반면, 본 연구에서는 퍼스널 빅데이터를 웹로그 데이터로 한정지어 실험하였고 인터넷 행태를 기반으로 사용자의 속성을 규명했다는 점에서 한계가 있다. 따라서 향후 연구에서는 소셜데이터, 위치 데이터 등 다양한 유형의 퍼스널 빅데이터를 정의하고 동일한 방법론으로 실험하여 추천 성능을 검증해 볼 필요가 있다.
이를 통해 다중 프로파일을 어떻게 결합하여 사용하는 것이 효과적인지를 제시하였다는 점에서 의의가 있다. 또한, 본 연구는 새로운 데이터를 기반으로 기존 알고리즘을 적용한 앙상블 연구이므로, 향후 알고리즘 개선 연구에 본 방법론을 결합하여 추가적인 추천 성능 향상을 기대할 수 있다.
반면, 본 연구에서는 퍼스널 빅데이터를 웹로그 데이터로 한정지어 실험하였고 인터넷 행태를 기반으로 사용자의 속성을 규명했다는 점에서 한계가 있다. 따라서 향후 연구에서는 소셜데이터, 위치 데이터 등 다양한 유형의 퍼스널 빅데이터를 정의하고 동일한 방법론으로 실험하여 추천 성능을 검증해 볼 필요가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
협업필터링은 무엇인가?
협업필터링(Collaborative Filtering)은 사용자와 상품에 대한 정보를 기반으로 프로파일을 생성하고, 이를 바탕으로 목표고객과 유사한 구매 선호도를 가진 다른 사용자가 구매하거나 선호하는 항목을 추천하는 방법이다(Kim et al., 2012; Cabral et al.
알고리즘 개선 측면에서 앙상블 기법을 적용한 연구 중 대표적인 것은 무엇인가?
이러한 알고리즘 개선 측면에서 앙상블 기법을 적용한 연구 중 대표적인 것이 Netflix의 영화 추천시스템 성능 개선 사례이다. Bell et al.
빅데이터의 속성 3V는 무엇인가?
빅데이터란 기존 데이터베이스의 관리 역량을 넘어서는 데이터 집합으로서, 데이터의 양 (Volume), 다양성(Variety), 이용 속도(Velocity) 측면에서 특징을 가지고 있다(Bok and Yoo, 2014; Ward and Barker, 2013). 특히 웹 로그 데이터, 센서 데이터, 위치 데이터, 소셜 데이터 등 새로운 데이터가 생성되면서 이러한 데이터를 활용할 수 있는 역량과 방법 등이 중요하게 인식되고 있다.
참고문헌 (26)
Bar, A., G. Rokach, G. Shani, B. Shapira, and A. Schclar, "Improving simple collaborative filtering models using ensemble methods," Multiple Classifier Systems, Springer, (2013), 1-12.
Billsus, D. and M. J. Pazzani, "Learning Collaborative Information Filters," ICML, Vol.98, (1998), 46-54.
Bok, K. S. and J. S. Yoo, "Activation Policy and Case Study of Big Data," The Journal of Korean Institute of Communication Sciences, Vol.31, No.11(2014), 3-13.
Cabral, B., R. D. Beltro, and M. G., Manzato, "Combining Multiple Metadata Types in Movies Recommendation Using Ensemble Algorithms," Proceedings of the 20th Brazilian Symposium on Multimedia and the Web, (2014), 231-238.
Claycamp, H. J. and W. F. Massy, "A Theory of Market Segmentation," Journal of Marketing Research, Vol.5, No.4(1968), 388-394.
Goldberg, D., D. Nichols, B. M. Oki, and D. Terry, "Using Collaborative filtering to weave an information Tapestry," Communications of the ACM, Vol.35, No.12(1992), 61-70.
Gower, J. C., "A General Coefficient of Similarity and Some of Its Properties," Biometrics, Vol.27, No.4(1971), 857-871.
Gurrin, C., A. F. Smeaton, and A. R. Doherty, "LifeLogging: Personal Big Data," Foundations and Trends in Information Retrieval, Vol.8, No.1(2014), 1-107.
Herlocker, J. L., J. A. Konstan, and J. Riedl, "An algorithmic framework for performing collaborative filtering," Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval, (1999), 230-237.
Hyun, Y., N. Kim, and Y. Cho, "Interest-based Customer Segmentation Methodology Using Topic Modeling," Journal of Information Technology Applications & Management, Vol.22, No.1(2015), 77-93.
Herlocker, J. L., J. A. Konstan, L. G., Terveen, and J. Riedl, "Evaluating Collaborative Filtering Recommender Systems," ACM Transactions on Information Systems, Vol.22, No.1(2004), 5-53.
Kim, N.-H., "A Study on the Improvement of Web-log Analysis in Internet shopping-Mall," Proceedings of Korea Intelligent Information System Society, (2002), 134-139.
Kim, J.-H., B.-H. Ahn, and D. Jeong, "A Recommender System using Mixed Filtering for Health Products," The Journal of Internet Electronic Commerce Research, Vol.12, No.2(2012), 109-124.
Kim, K. H. and S. R., Oh, "Methodology for Applying Text Mining Techniques to Analyzing Online Customer Reviews for Market Segmentation," Journal of the Korea Contents Association, Vol.9, No.8(2009), 272-284.
Kim, Y., J. Moon, H. J. Lee, and C. S., Bae, "Knowledge Digest Engine for Personal Bigdata Analysis," Human Centric Technology and Service in Smart Space, Springer Netherlands, 2012.
Lee, J. S. and S. D. Park, "Performance Improvement of a Movie Recommendation System using Genre-wise Collaborative Filtering," Journal of Intelligence and Information Systems, Vol.13, No.4(2007), 65-78.
Lee, Y. and K.-j. Kim, "Product Recommender Systems using Multi-Model Ensemble Techniques," Journal of Intelligence and Information Systems, Vol.19, No.2(2013), 39-54.
Linden, G., B. Simth, and J. York, "Amazon.com recommendations: Item-to-item collaborative filtering," IEEE Internet Computing, Vol.7, No.1(2003), 76-80.
Mazanec, J. A. "Market Segmentation," J. Jafari(Ed), Encyclopedia of Tourism, London:Routledge, 2000.
Middleton, S. E., Shadbolt, N. R., and De Roure, D. C., "Ontological User Profiling in Recommneder Systems," ACM Transactions on Information Systems, Vol.22, No.1(2004), 54-88.
Niwattanakul,S., J. Singthongchai, E. Naenudorn, and S, Wanapu, "Using Jaccard Coefficient for Keywords Similarity," Proceedings of the International MultiConference of Engineers and Computer Scientists, Vol.1(2013).
Park, Y.-J., E.-J. Jung, and K.-N. Chang, "Customer Behavior Based Customer Profiling Technique for Personalized Products Recommendation," Korean Management Science Review, Vol.23, No.3(2006), 183-194.
Pazzani, M., "A Framework for Collaborative, Content-Based, and Demographic Filtering," Artificial Intelligence Review, Vol.13, No.5-6(1999), 393-408.
Piotte, M. and M. Chabbert, "The Pramatic theory solution to the Netflix grand prize," Netflix prize documentation, 2009.
Ward, J. S. and A. Barker, "Undefined By Data: A Survey of Big Data Definitions," The Computing Research Repository, 2013.
Weng, S. S. and M. J. Liu, "Feature-based recommendations for one-to-one marketing," Expert Systems with Applications, Vol.26, No.4(2004), 493-508.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.