사용자의 정보 과부하 문제의 해결을 목표로 하는 추천 시스템은 개인의 선호를 추론하여 이에 부합하는 아이템을 필터링하여 제공한다. 추천 시스템 관련 기법 중 가장 성공적으로 알려져 있는 협업 필터링은 최근까지 다양한 성능 개선 시도가 이루어지고 있으며 여러 분야에 적용되고 있다. 본 연구에서는 이와 같은 협업 필터링의 성공에 기반하여 소비자의 구매 의사결정에 영향을 미칠 수 있는 시각 정보를 추천 시스템에 반영할 수 있는 VizNCS를 제안한다. 이를 위하여 먼저, 비정형 데이터인 시각 정보에서 특징을 추출하기 위해 합성곱 신경망을 사용하였다. 다음으로, 합성곱 신경망으로 부터 도출된 이미지 특성 정보를 추천 시스템에 반영하기 위하여 기존의 딥러닝 기반의 추천 시스템 중 다른 정보로 확장이 용이한 NCF 기법을 응용하였다. 본 연구에서 제안한 VizNCS의 성능 비교 실험 결과 기본 NCF보다 더 높은 성능을 보였으며 카테고리별 성능 비교 실험을 통해 시각 정보에 영향을 받는 카테고리와 그렇지 않은 카테고리를 발견하였다. 결론적으로 본 연구에서 제안한 VizNCS는 시각정보를 개인화된 추천에 직접 활용함에 따라 시각 정보에 영향을 받는 소비자들의 구매의사결정 행태를 반영할 수 있어 추천 시스템 성능 향상에 기여하였다. 또한, 지금까지 활용이 미미했던 이미지 데이터로 추천 시스템의 원천 데이터 영역을 확장함에 따라 다양한 원천 데이터의 활용 방안을 제시하였다.
사용자의 정보 과부하 문제의 해결을 목표로 하는 추천 시스템은 개인의 선호를 추론하여 이에 부합하는 아이템을 필터링하여 제공한다. 추천 시스템 관련 기법 중 가장 성공적으로 알려져 있는 협업 필터링은 최근까지 다양한 성능 개선 시도가 이루어지고 있으며 여러 분야에 적용되고 있다. 본 연구에서는 이와 같은 협업 필터링의 성공에 기반하여 소비자의 구매 의사결정에 영향을 미칠 수 있는 시각 정보를 추천 시스템에 반영할 수 있는 VizNCS를 제안한다. 이를 위하여 먼저, 비정형 데이터인 시각 정보에서 특징을 추출하기 위해 합성곱 신경망을 사용하였다. 다음으로, 합성곱 신경망으로 부터 도출된 이미지 특성 정보를 추천 시스템에 반영하기 위하여 기존의 딥러닝 기반의 추천 시스템 중 다른 정보로 확장이 용이한 NCF 기법을 응용하였다. 본 연구에서 제안한 VizNCS의 성능 비교 실험 결과 기본 NCF보다 더 높은 성능을 보였으며 카테고리별 성능 비교 실험을 통해 시각 정보에 영향을 받는 카테고리와 그렇지 않은 카테고리를 발견하였다. 결론적으로 본 연구에서 제안한 VizNCS는 시각정보를 개인화된 추천에 직접 활용함에 따라 시각 정보에 영향을 받는 소비자들의 구매의사결정 행태를 반영할 수 있어 추천 시스템 성능 향상에 기여하였다. 또한, 지금까지 활용이 미미했던 이미지 데이터로 추천 시스템의 원천 데이터 영역을 확장함에 따라 다양한 원천 데이터의 활용 방안을 제시하였다.
In order to solve the user's information overload problem, recommender systems infer users' preferences and suggest items that match them. The collaborative filtering (CF), the most successful recommendation algorithm, has been improving performance until recently and applied to various business dom...
In order to solve the user's information overload problem, recommender systems infer users' preferences and suggest items that match them. The collaborative filtering (CF), the most successful recommendation algorithm, has been improving performance until recently and applied to various business domains. Visual information, such as book covers, could influence consumers' purchase decision making. However, CF-based recommender systems have rarely considered for visual information. In this study, we propose VizNCS, a CF-based deep learning model that uses visual information as additional information. VizNCS consists of two phases. In the first phase, we build convolutional neural networks (CNN) to extract visual features from image data. In the second phase, we supply the visual features to the NCF model that is known to easy to extend to other information among the deep learning-based recommendation systems. As the results of the performance comparison experiments, VizNCS showed higher performance than the vanilla NCF. We also conducted an additional experiment to see if the visual information affects differently depending on the product category. The result enables us to identify which categories were affected and which were not. We expect VizNCS to improve the recommender system performance and expand the recommender system's data source to visual information.
In order to solve the user's information overload problem, recommender systems infer users' preferences and suggest items that match them. The collaborative filtering (CF), the most successful recommendation algorithm, has been improving performance until recently and applied to various business domains. Visual information, such as book covers, could influence consumers' purchase decision making. However, CF-based recommender systems have rarely considered for visual information. In this study, we propose VizNCS, a CF-based deep learning model that uses visual information as additional information. VizNCS consists of two phases. In the first phase, we build convolutional neural networks (CNN) to extract visual features from image data. In the second phase, we supply the visual features to the NCF model that is known to easy to extend to other information among the deep learning-based recommendation systems. As the results of the performance comparison experiments, VizNCS showed higher performance than the vanilla NCF. We also conducted an additional experiment to see if the visual information affects differently depending on the product category. The result enables us to identify which categories were affected and which were not. We expect VizNCS to improve the recommender system performance and expand the recommender system's data source to visual information.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
특히, 대표적인 시각 정보인 상품의 이미지는 소 비자의 구매 의사결정에 큰 영향을 미친다. 따라서, 본 연구에서는 기존의 추천 시스템에서 높은 성능을 나타내고 있는 협업 필터링 기법을 기반하여 시각 정 보를 반영할 수 있는 VizNCS를 제안하였다. 이를 통 해 추천 시스템의 성능을 개선하였을 뿐만 아니라 추 천 시스템에 활용되는 데이터의 영역을 넓혔다는 데 그 의의가 있다.
따라서, 다른 벡터들에 비해 큰 차원을 가지게 되는 이미지 벡터가 모델 학습을 방 해하게 되어 성능을 저하시키게 되는 것이다. 따라서, 본 연구에서는 이미지 원천 데이터를 NCF에 적용하 기 위한 이미지 벡터화 과정을 와 같이 제안 한다.
따라서, 본 연구에서는 최근 비정형 데이터 활용의 중요성에 맞추어 소비자의 구매 의사결정에 영향을 미칠 수 있는 시각 정보를 추천 시스템에 반영할 수 있는 새로운 추천 시스템인 VizNCS를 제안하고자 한다. 예를 들어, 고건과 김보연(2015) 연구에 따르면 온라인 서점에서 소비자의 구매 의사결정에 표지 디자인이라는 시각 정보가 중요한 역할을 담당하고 있다.
결론적으로, NCF는 구조의 유연성으로 기본 모델에 다양한 추가 정보의 결합 방식을 수용할 수 있다. 따라서, 본 연구에서는 행렬 분해법을 인공 신경망으로 구현하여 성능에서 장점을 보이는 NCF모델의 또 다른 장점인 높은 유연 성에 주목하여 이미지 처리 결과를 반영할 수 있는 NCF의 확장 모델을 제안하고자 한다.
이를 위하여 본 연구에서는 추천 시스템 분야에서 성공적으로 활용되고 있는 딥러닝 기반의 협업 필터링을 활용함과 동시에 시각 정보를 반영하여 모델을 개선할 수 있는 방법을 다각화하여 시각 정보를 효과적 으로 활용할 수 있는 추천 시스템을 제안하고자 한다.
다음으로, 추천 시스템 연구에서 가장 성공적으로 알려진 협업 필터링을 기반으로 방법을 구성한다. 특히, 본 연구에서는 합성곱 신경망으로부터 도출된 이미지 특성 정보를 추천 시스템에 반영하여 시각 정보의 활용이 가능한 추천 시스템을 제안하기 위하여 기존의 딥러닝 기반의 추천 시스템 중 다른 정보로 확장이 용이한(Gao et al. 2018; He et al. 2017) Neural Collaborative Filtering(이하 NCF) 기반의 추천 시스템을 제안한다. 본 연구에서 제안하는 추천 시스템인 VizNCS는 표지 이미지 등의 시각 정보를 개인화된 추천에 직접 활용함에 따라 시각 정보에 영향을 받는 소비자들의 구매 의사결정 행태를 반영할 수 있어 추천 시스템 성능 향상에 기여할 수 있으리라 기대된다.
제안 방법
또한, NCF와의 결합을 고려 이미지 원천 데이터의 벡터화 구조 문현실, 임진혁, 김도연, 조윤호 34 지식경영연구 제21권 제3호 MLP-Concat 방식 GMF-Product 방식 NeuMF-Concat 방식 시각 정보를 활용한 딥러닝 기반 추천 시스템 Knowledge Management Research. Sep. 2020 35 하여 결합하는 층에서의 다른 벡터들과 유사한 차원 을 가질 수 있도록 마지막에 완전연결층(Dense)을 배 치하여 이미지 벡터의 최종 크기를 조절할 수 있도록 하였다.
이는 전체 도서 아이템에 대한 실험 결과로 다수의 연구에 따르면 도서 소비자는 도서 장르 즉, 카테고리에 따라 표지 디자인에 반응하는 정도가 다 르다(고건･김보연 2015; 남미현･백진경 2004). 그에 따라 본 연구에서 제안한 VizNCS의 성능이 카테고리 별로 다르게 나타나는지를 실험하였다. 이를 위해 총 25개의 카테고리 중에서 기본 NCF 기법이 가장 많이 추천을 한 장르인 국내문학, 해외문학, 유아, 자기계 발, 인문, 중고등학습서 등 6개 카테고리에 대해 와 같이 본 연구에서 제안하는 최종 모델의 성능 을 측정하여 비교하는 실험을 진행하였으며 그 결과 는 <그림 10> 과 같다.
따라서, 향 후 연구에서는 도서 도메인에서 확장하여 다양한 상 품군에 대한 실험을 진행할 예정이다. 다음으로, 본 연구에서 제안한 VizNCS는 시각 정보로의 확장을 고 려하여 확장성이 높은 NCF에 기반하였다. 최근 딥러 닝을 추천 시스템에 적용하려는 연구가 활발히 진행 되고 있는 상황에서 VizNCS의 성능을 높이기 위해 향 후 연구에서는 다른 딥러닝 기반의 추천 시스템의 확장을 고려할 예정이다.
다음으로, 이와 같이 벡터화된 이미지 원천 데이터 를 NCF에 적용하여 이미지 정보를 반영한 도서 추천 시스템으로 확장하기 위해 과 같은 세가 지 방식을 제안한다.
2019). 다음으로, 추천 시스템 연구에서 가장 성공적으로 알려진 협업 필터링을 기반으로 방법을 구성한다. 특히, 본 연구에서는 합성곱 신경망으로부터 도출된 이미지 특성 정보를 추천 시스템에 반영하여 시각 정보의 활용이 가능한 추천 시스템을 제안하기 위하여 기존의 딥러닝 기반의 추천 시스템 중 다른 정보로 확장이 용이한(Gao et al.
또한, 일반적으로 구매 아 이템(Positive)이 구매하지 않은 아이템(Negative)보다 훨씬 많기 때문에 구매하지 않은 아이템을 모두 학습 할 경우 편향된 모델 학습이 이루어질 수 밖에 없다. 따라서, 본 연구에서는 이러한 편향을 제거하기 위해 각 사용자가 구매한 아이템 개수만큼 구매하지 않은 아이템을 무작위 샘플링하여 네거티브 샘플(Negative Sample)을 생성하여 실험에 사용하였다. 또한, 기본 NCF의 성능을 측정한 He et al.
즉, 소비자의 구매 의사결정 과정에 대한 이해를 통해 이에 영향을 미치는 정보를 추천 시스템 에 반영하는 것이 추천 시스템 성능 향상에 도움이 된 다는 것을 밝혀낸 것이다. 또한, 상품 카테고리별로 시각 정보의 반영 효과를 살펴보기 위해 각 카테고리 별로 VizNCS의 성능을 측정하였다. 실험 결과 일부 카테고리에서는 VizNCS의 성능이 NCF보다 높았지만 일부 카테고리에서는 비슷하거나 약간 낮은 성능을 보였다.
실험을 위한 원천 데이터는 온라인 서점의 고객 구매 트랜잭션 데이터 11,0533건으로 실 험의 신뢰도와 정확도를 높이기 위하여 먼저 구매 횟 수가 다른 카테고리에 비해 지극히 적은 잡지 등의 카 테고리를 제외하였다. 또한, 신규 사용자 또는 신규 아이템에 대한 추천을 배제하기 위해 최소 2번 이상 구매한 사용자, 2번 이상 판매된 아이템만을 대상으로 실험을 진행하였다. 그에 따라 최종적으로 19,210명의 사용자와 12,036개의 아이템이 실험에 사용되었다.
본 연구에서 제안하는 추천 시스템인 VizNCS는 기 존의 NCF를 확장하여 시각 정보를 반영할 수 있도록 한 것이다. 이를 위하여 먼저, 이미지 원천 데이터를 NCF에 적용하기 위한 벡터화 과정을 거쳤다.
본 연구에서는 너무 큰 차원의 이미지 벡터로 발생 되는 문제를 방지함과 동시에 원천 이미지로부터 충 분한 특성 추출이 이루어질 수 있도록 와 같 이 2×2 크기의 작은 필터연산을 수행하는 합성곱 층 을 다층으로 구성하였다.
신뢰도 있는 실험을 위해 모델 학습을 위한 훈련용 데이터와 성과 측정을 위한 테스트 데이터로 나누어 실험을 진행하였다. 테스트 데이터를 위하여 사용자 중 30%인 5,763명을 무작위로 선정하여 각 사용자별 로 모든 아이템에 대해 선호도에 대한 예측을 진행하여 예측 값이 가장 높은 K개를 추천하여 성능을 측정 하였다.
본 연구에서 제안하는 추천 시스템인 VizNCS는 기 존의 NCF를 확장하여 시각 정보를 반영할 수 있도록 한 것이다. 이를 위하여 먼저, 이미지 원천 데이터를 NCF에 적용하기 위한 벡터화 과정을 거쳤다. 비정형 데이터를 추천 시스템을 비롯한 머신 러닝 문제에 활 용하기 위해서는 벡터화 과정이 필수적이다.
이를 위해 총 25개의 카테고리 중에서 기본 NCF 기법이 가장 많이 추천을 한 장르인 국내문학, 해외문학, 유아, 자기계 발, 인문, 중고등학습서 등 6개 카테고리에 대해 와 같이 본 연구에서 제안하는 최종 모델의 성능 을 측정하여 비교하는 실험을 진행하였으며 그 결과 는 과 같다.
신뢰도 있는 실험을 위해 모델 학습을 위한 훈련용 데이터와 성과 측정을 위한 테스트 데이터로 나누어 실험을 진행하였다. 테스트 데이터를 위하여 사용자 중 30%인 5,763명을 무작위로 선정하여 각 사용자별 로 모든 아이템에 대해 선호도에 대한 예측을 진행하여 예측 값이 가장 높은 K개를 추천하여 성능을 측정 하였다. 성능 확인을 위한 지표는 F-1 Measure를 사용 하였다 (Herlocker et al.
대상 데이터
또한, 신규 사용자 또는 신규 아이템에 대한 추천을 배제하기 위해 최소 2번 이상 구매한 사용자, 2번 이상 판매된 아이템만을 대상으로 실험을 진행하였다. 그에 따라 최종적으로 19,210명의 사용자와 12,036개의 아이템이 실험에 사용되었다. 이 미지 데이터는 최종적으로 실험에 사용된 아이템에 대한 표지 이미지를 사용하였으며 일괄적으로 일정한 크기로 조정하여 128×128 크기의 컬러 이미지(RGB 3 개 채널)를 사용하였다.
(2017)의 연구에서 네 거티브 샘플(구매하지 않은 아이템)과 포지티브 샘플(구매 아이템) 간의 비율을 3대 1로 하였을 때 가장 높 은 성능이 나타났다. 그에 따라, 본 연구에서도 구매 한 아이템의 개수의 3배로 네거티브 샘플을 추출하여 실험에 사용하였다.
하지만 본 연구는 다음과 같은 한 계를 지닌다. 먼저, 본 연구에서는 VizNCS의 성능을 측정하기 위하여 도서 도메인을 대상으로 실험을 진 행하였다. 시각 정보는 도서 뿐만 아니라 일반적인 상 품의 의사결정에도 큰 영향을 줄 수 있다.
본 연구에서 제안한 시각 정보를 반영한 추천 시스 템인 VizNCS의 성능을 측정하기 위한 실험은 다음과 같이 진행되었다. 실험을 위한 원천 데이터는 온라인 서점의 고객 구매 트랜잭션 데이터 11,0533건으로 실 험의 신뢰도와 정확도를 높이기 위하여 먼저 구매 횟 수가 다른 카테고리에 비해 지극히 적은 잡지 등의 카 테고리를 제외하였다. 또한, 신규 사용자 또는 신규 아이템에 대한 추천을 배제하기 위해 최소 2번 이상 구매한 사용자, 2번 이상 판매된 아이템만을 대상으로 실험을 진행하였다.
이 미지 데이터는 최종적으로 실험에 사용된 아이템에 대한 표지 이미지를 사용하였으며 일괄적으로 일정한 크기로 조정하여 128×128 크기의 컬러 이미지(RGB 3 개 채널)를 사용하였다.
이론/모형
먼저, 옵티마이저는 사전 실험을 통 해 결정하였으며 모든 모델에서 RMSProp(Mukkamala and Hein 2017)이 가장 높은 성능을 나타내었다. 다음으 로, 본 실험의 목표 변수가 구매 여부로 나타남에 따라 이진 범주로 표현되어 손실 함수는 binary cross-entropy 를 사용하다. 학습 횟수(epochs)는 각 모델별 실험에서 테스트 데이터에 대한 성능이 가장 높게 나온 횟수로 지정되었으며, 배치 크기는 256개로 설정하였다.
소비자의 구매 의사결정에 중요한 영향을 미치는 시각 정보를 추천 시스템에 반영하기 위하여 본 연구에서는 다음과 같은 방법을 제안한다. 먼저, 비정형 데이터인 이미지 정보를 추천 시스템에 효과적으로 반영하기 위해 기존의 이미지 처리 분야에서 성공적으로 적용되고 있는 합성곱 신경망(Convolution Neural Network; CNN)을 사용한다 (Zhang et al. 2019). 다음으로, 추천 시스템 연구에서 가장 성공적으로 알려진 협업 필터링을 기반으로 방법을 구성한다.
테스트 데이터를 위하여 사용자 중 30%인 5,763명을 무작위로 선정하여 각 사용자별 로 모든 아이템에 대해 선호도에 대한 예측을 진행하여 예측 값이 가장 높은 K개를 추천하여 성능을 측정 하였다. 성능 확인을 위한 지표는 F-1 Measure를 사용 하였다 (Herlocker et al. 2004; Sarwar et al. 2001). F-1 지표는 가장 잘 알려진 의사결정 기반 평가 지표인 Precision과 Recall의 결과를 모두 반영하여 동시에 하 나의 값으로 나타낸 지표로써 두 지표의 조화평균으로 나타낸다.
성능/효과
결론적으로 본 연구에서 제안한 VizNCS는 시각정 보의 반영을 통해 기존의 추천 시스템의 성능을 개선 하였을 뿐만 아니라 비정형 데이터의 활용 영역을 이 미지로 확장하였다. 또한, 구매 의사결정에 시각 정보가 미치는 영향을 상품 분류 즉, 카테고리에 따라 확 인하여 향후 추천 시스템 설계에 있어 소비자의 의사 결정 프로세스에 대한 이해를 바탕으로 한 반영이 필요함을 시사하였다.
마찬가지로 GMF의 요소별 곱셈 결과에 추가적인 특성을 추가한 결합도 가능하다. 결론적으로, NCF는 구조의 유연성으로 기본 모델에 다양한 추가 정보의 결합 방식을 수용할 수 있다. 따라서, 본 연구에서는 행렬 분해법을 인공 신경망으로 구현하여 성능에서 장점을 보이는 NCF모델의 또 다른 장점인 높은 유연 성에 주목하여 이미지 처리 결과를 반영할 수 있는 NCF의 확장 모델을 제안하고자 한다.
2020 39 시각 정보에 영향을 받는다고 할 수 있다. 다음으로, 인문(0.0729), 해외문학(0.0119) 카테고리의 경우 기본 NCF와 본 연구에서 제안한 VizNCS가 동일한 추천 목 록을 제공하여 동일한 성능이 나타났다. 이는 해당 카 테고리의 경우 NCF의 MLP와 GMF의 앙상블만으로 추천이 이루어짐을 의미한다.
이는 해당 카 테고리의 경우 NCF의 MLP와 GMF의 앙상블만으로 추천이 이루어짐을 의미한다. 따라서, 해당 카테고리 의 소비자는 시각 정보보다는 기존의 협업 필터링 모 델이 가지는 장점인 유사한 사용자 또는 아이템의 추 천만으로도 충분한 성능을 나타낼 수 있음을 의미한 다. 또한, 이는 앞서 언급한 연구 결과와 유사한 결과 로 표지 이미지가 도서 구매의사결정에 영향을 미치 는 카테고리가 별도로 존재한다는 것을 의미한다.
딥러닝 모델의 학습을 위한 하이퍼파라미터는 다음 과 같이 설정하였다. 먼저, 옵티마이저는 사전 실험을 통 해 결정하였으며 모든 모델에서 RMSProp(Mukkamala and Hein 2017)이 가장 높은 성능을 나타내었다. 다음으 로, 본 실험의 목표 변수가 구매 여부로 나타남에 따라 이진 범주로 표현되어 손실 함수는 binary cross-entropy 를 사용하다.
0188) 카테고리에서는 기본 NCF 보다 시각 정보를 반영한 모델이 더 높은 성능을 보여 해당 카테고리에서는 시각 정보의 반영이 추천 시스 템 성능 향상에 영향을 미쳤다. 성능 차이의 유의성 검증을 위한 t-검정 결과 p-value값이 자기계발 0.083, 국내문학 0.098, 유아 0.168로 유의수준 10%에서 자기 계발과 국내문학 카테고리의 성능차이가 유의미한 것 으로 판단되었다. 따라서, 해당 카테고리의 소비자는 카테고리별 비교 결과 시각 정보를 활용한 딥러닝 기반 추천 시스템 Knowledge Management Research.
실험 결과 F-1@10 측정지표 관점에서 시각 정보를 반영하지 않은 기본 NCF(0.03182)에 비해 시각 정보 를 반영한 MLP-Concat, NeuMF-Concat 방식이 높은 성 능을 보였다. 즉, 도서 도메인의 시각 정보인 표지 이 미지로 추출된 이미지 벡터가 추천 시스템의 성능을 향상시키는 데 유의미한 기여를 했음을 알 수 있다.
또한, 상품 카테고리별로 시각 정보의 반영 효과를 살펴보기 위해 각 카테고리 별로 VizNCS의 성능을 측정하였다. 실험 결과 일부 카테고리에서는 VizNCS의 성능이 NCF보다 높았지만 일부 카테고리에서는 비슷하거나 약간 낮은 성능을 보였다. 이러한 결과는 구매 의사결정에 있어 시각 정 보가 영향을 주는 카테고리와 그렇지 않은 카테고리 를 발견한 것이라 할 수 있다.
실험을 통해 본 연구에서 제안한 VizNCS는 기반 기 법인 NCF보다 높은 성능을 보여 시각 정보의 반영이 추천 시스템 성능 향상에 유의미한 영향이 있음을 확인하였다. 즉, 소비자의 구매 의사결정 과정에 대한 이해를 통해 이에 영향을 미치는 정보를 추천 시스템 에 반영하는 것이 추천 시스템 성능 향상에 도움이 된 다는 것을 밝혀낸 것이다.
앞선 실험 결과를 통해 추천 시스템에서 시각 정보 의 반영은 성능 향상에 유의미한 영향이 있음을 확인 하였다. 이는 전체 도서 아이템에 대한 실험 결과로 다수의 연구에 따르면 도서 소비자는 도서 장르 즉, 카테고리에 따라 표지 디자인에 반응하는 정도가 다 르다(고건･김보연 2015; 남미현･백진경 2004).
이러한 결과는 구매 의사결정에 있어 시각 정 보가 영향을 주는 카테고리와 그렇지 않은 카테고리 를 발견한 것이라 할 수 있다. 즉, VizNCS의 적용을 통해 소비자의 구매 의사결정에 시각 정보의 영향 정 도를 발견할 수 있었다.
NeuMF-Concat 방식의 경우 이미지 벡터를 NCF의 행렬 분해를 담당하고 있는 층에 직접 반영하는 것이 아니라 사용자와 아이템의 상관 관계 의 모델링이 완료된 GMF와 MLP의 앙상블에 반영하 는 것이다. 즉, 기본 NCF의 구조와 학습은 그대로 두 면서 최종 앙상블 단계에서 활용하는 방식이 가장 높 은 성능을 보인 것이다. 따라서, NCF에 추가적인 정보 의 반영을 고려할 때에는 NCF 구조 및 학습 방식을 해치지 않으면서 반영할 수 있는 적절한 방식의 탐색 이 필요하다.
03182)에 비해 시각 정보 를 반영한 MLP-Concat, NeuMF-Concat 방식이 높은 성 능을 보였다. 즉, 도서 도메인의 시각 정보인 표지 이 미지로 추출된 이미지 벡터가 추천 시스템의 성능을 향상시키는 데 유의미한 기여를 했음을 알 수 있다. 다음으로, 이미지 벡터를 결합하는 방식에 있어서 GMF-Product(0.
카테고리별 비교 실험 결과 자기계발(0.0312), 유아(0.0279), 국내문학(0.0188) 카테고리에서는 기본 NCF 보다 시각 정보를 반영한 모델이 더 높은 성능을 보여 해당 카테고리에서는 시각 정보의 반영이 추천 시스 템 성능 향상에 영향을 미쳤다. 성능 차이의 유의성 검증을 위한 t-검정 결과 p-value값이 자기계발 0.
후속연구
시각 정보는 도서 뿐만 아니라 일반적인 상 품의 의사결정에도 큰 영향을 줄 수 있다. 따라서, 향 후 연구에서는 도서 도메인에서 확장하여 다양한 상 품군에 대한 실험을 진행할 예정이다. 다음으로, 본 연구에서 제안한 VizNCS는 시각 정보로의 확장을 고 려하여 확장성이 높은 NCF에 기반하였다.
본 연구에서 제안하는 추천 시스템인 VizNCS는 표지 이미지 등의 시각 정보를 개인화된 추천에 직접 활용함에 따라 시각 정보에 영향을 받는 소비자들의 구매 의사결정 행태를 반영할 수 있어 추천 시스템 성능 향상에 기여할 수 있으리라 기대된다. 또한, 지금까지 활용이 미미했던 비정형 데이터인 이미지 데이터로 추천 시스템의 원천 데이터 영역을 확장함에 따라 다양한 원천 데이터의 활용 방안을 제시할 수 있으리라 기대된다.
2017) Neural Collaborative Filtering(이하 NCF) 기반의 추천 시스템을 제안한다. 본 연구에서 제안하는 추천 시스템인 VizNCS는 표지 이미지 등의 시각 정보를 개인화된 추천에 직접 활용함에 따라 시각 정보에 영향을 받는 소비자들의 구매 의사결정 행태를 반영할 수 있어 추천 시스템 성능 향상에 기여할 수 있으리라 기대된다. 또한, 지금까지 활용이 미미했던 비정형 데이터인 이미지 데이터로 추천 시스템의 원천 데이터 영역을 확장함에 따라 다양한 원천 데이터의 활용 방안을 제시할 수 있으리라 기대된다.
이는 중고등 학습서의 구매의 경우 도서 자체가 가지는 컨텐츠가 중요하고 구매 습관 등의 다른 요인이 구매 의사결정 에 더 많은 영향을 끼친다는 것을 의미한다. 즉, 시각 정보를 반영한 모델의 낮은 성능은 시각 정보 외의 다 른 요인에 대한 반영을 통한 성능 향상이 필요함을 의 미하며 그에 따라 도서 시장의 소비자 구매 의사결정 요인에 대한 논의를 통해 추천 시스템의 구조를 개선 하는 추가적인 연구가 필요하다는 것을 시사한다.
다음으로, 본 연구에서 제안한 VizNCS는 시각 정보로의 확장을 고 려하여 확장성이 높은 NCF에 기반하였다. 최근 딥러 닝을 추천 시스템에 적용하려는 연구가 활발히 진행 되고 있는 상황에서 VizNCS의 성능을 높이기 위해 향 후 연구에서는 다른 딥러닝 기반의 추천 시스템의 확장을 고려할 예정이다.
또 한, Rawat and Kankanhalli(2016)은 CNN을 기반으로 추출한 이미지 특성을 인공신경망과 결합하는 모델을 제안하여 태그(tag) 추천에 사용하였다. 하지만 현재 까지 제안된 모델들은 시각 정보인 이미지를 추천에 있어 추가적인 정보 원천으로만 활용하여 CNN을 통 해 추출한 특성 정보를 단순히 기존의 추천 시스템의 입력데이터로만 사용하고 있다는 한계가 있다. 즉, 기존 모델의 개선보다는 잘 알려진 모델에 추가적인 데이터로 시각 정보를 사용하고 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
추천 시스템이란 무엇인가?
추천 시스템은 이러한 문제의 해결을 목표로 하는 정보 필터링 알고리즘으로 추천의 형태로 사용자의 선호에 부합하는 아이템을 반환함으로써 손쉽고 빠르게 적절한 아이템에 접근할 수 있게 하는 시스템이다(김민정･조윤호 2015; 손지은 등 2015; 심재문 등 2010; Lathia et al. 2010).
NCF란?
NCF는 행렬 분해법이 협업 필터링 기반의 추천 시스템에서 갖는 강점을 인공신경망 형태로 구현한 대표적인 모델이다 (Gao et al. 2018; He et al.
온라인 쇼핑 시장의 규모와 정보량이 매우 빠르게 성장하는 예시는?
인터넷의 발달과 대중화로 인해 온라인 쇼핑 시장의 규모와 정보량은 매우 빠르게 성장하고 있으며 그에 따라 거래되는 상품 및 아이템(item)의 종류가 매우 다양해지고 있다. 예를 들어, 도서 시장의 경우 2019년 주요 온라인 전문 서점 3사의 매출(1,057,613백만원)이 오프라인, 온라인을 병행하는 3사의 매출(824,134백만원)을 넘어설 정도로 온라인 시장이 매우 활성화 되어 있어 큰 규모를 형성하고 있을 뿐만 아니라 거래되는 도서의 종류도 방대하다 (대한출판문화협회 2020). 이로 인해 소비자들의 접근성과 편의성은 높아졌지만 반대로 구매 의사 결정에 필요한 정보 탐색의 비용이 증가하는 또 다른 문제를 발생시키고 있다.
Caselles-Dupre, H., Lesaint, F., & Royo-Letelier, J. (2018). Word2vec applied to recommendation: Hyperparameters matter. In Proceedings of the 12th ACM Conference on Recommender Systems, 352-356.
Cheng, H. T., Koc, L., Harmsen, J., Shaked, T., Chandra, T., Aradhye, H., Anderson, G., Corrado, G., Chai, W., Ispir, M., Anil, R., Haque, Z., Hong, L., Jain, V., Liu, X., & Shah, H. (2016). Wide & deep learning for recommender systems. In Proceedings of the 1st Workshop on Deep Learning for Recommender Systems, 7-10.
Chen, K., Wang, J., Chen, L. C., Gao, H., Xu, W., & Nevatia, R. (2015). Abc-cnn: An attention based convolutional neural network for visual question answering. arXiv preprint arXiv: 1511.05960.
Gao, C., He, X., Gan, D., Chen, X., Feng, F., Li, Y., Chua, T. S., Yao, L., Song, Y., & Jin, D. (2018). Learning recommender systems from multi-behavior data. arXiv preprint arXiv:1809.08161.
Haucap, J., & Heimeshoff, U. (2014). Google, Facebook, Amazon, eBay: Is the Internet driving competition or market monopolization? International Economics and Economic Policy, 11(1), 49-61.
Herlocker, J. L., Konstan, J. A., Terveen, L. G., & Riedl, J. T. (2004). Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems, 22(1), 5-53.
He, R., & McAuley, J. (2016). VBPR: Visual bayesian personalized ranking from implicit feedback. In Thirtieth AAAI Conference on Artificial Intelligence, 144-150.
He, X., Du, X., Wang, X., Tian, F., Tang, J., & Chua, T. S. (2018). Outer product-based neural collaborative filtering. arXiv preprint arXiv:1808.03912.
He, X., Liao, L., Zhang, H., Nie, L., Hu, X., & Chua, T. S. (2017). Neural collaborative filtering. Neural collaborative filtering. In Proceedings of the 26th International Conference on World Wide Web, 173-182.
Hidasi, B., Karatzoglou, A., Baltrunas, L., & Tikk, D. (2015). Session-based recommendations with recurrent neural networks. arXiv preprint arXiv:1511.06939.
Koren, Y., Bell, R., & Volinsky, C. (2009). Matrix factorization techniques for recommender systems. Computer, 42(8), 30-37.
Kurt, Z., & Ozkan, K. (2017). An image-based recommender system based on feature extraction techniques. In 2017 International Conference on Computer Science and Engineering (UBMK), 769-774.
Lathia, N., Hailes, S., Capra, L., & Amatriain, X. (2010). Temporal diversity in recommender systems. In Proceedings of the 33rd International Acm Sigir Conference on Research and Development in Information Retrieval, 210-217.
Lei, C., Liu, D., Li, W., Zha, Z. J., & Li, H. (2016). Comparative deep learning of hybrid representations for image recommendations. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2545-2553.
Low, Y. H., Yap, W. S., & Tee, Y. K. (2018). Convolutional neural network-based collaborative filtering for recommendation systems. In International Conference on Robot Intelligence Technology and Applications, 117-131.
Ouyang, Y., Liu, W., Rong, W., & Xiong, Z. (2014). Autoencoder-based collaborative filtering. In International Conference on Neural Information Processing, 284-291.
Rawat, Y. S., & Kankanhalli, M. S. (2016). ConTagNet: Exploiting user context for image tag recommendation. In Proceedings of the 24th ACM International Conference on Multimedia, 1102-1106.
Persson, P. (2018). Attention manipulation & information overload. Behavioural Public Policy, 2(1), 78-106.
Resnick, P., Iacovou, N., Suchak, M., Bergstrom, P., & Riedl, J. (1994). GroupLens: An open architecture for collaborative filtering of netnews. In Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work, 175-186.
Salakhutdinov, R., Mnih, A., & Hinton, G. (2007). Restricted Boltzmann machines for collaborative filtering. In Proceedings of the 24th International Conference on Machine Learning, 791-798.
Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001). Item-based collaborative filtering recommendation algorithms. In Proceedings of the 10th International Conference on World Wide Web, 285-295.
Sase, A., Varun, K., Rathod, S., & Patil, D. (2015). A proposed book recommender system. International Journal of Advanced Research in Computer and Communication Engineering, 4(2), 481-483.
Schafer, J. B., Frankowski, D., Herlocker, J., & Sen, S. (2007). Collaborative filtering recommender systems. In The adaptive web (pp. 291-324). Berlin: Springer.
Sedhain, S., Menon, A. K., Sanner, S., & Xie, L. (2015). Autorec: Autoencoders meet collaborative filtering. In Proceedings of the 24th International Conference on World Wide Web, 111-112.
Wang, S., Wang, Y., Tang, J., Shu, K., Ranganath, S., & Liu, H. (2017). What your images reveal: Exploiting visual contents for point-of-interest recommendation. In Proceedings of the 26th International Conference on World Wide Web, 391-400.
Xu, Z., Chen, C., Lukasiewicz, T., Miao, Y., & Meng, X. (2016). Tag-aware personalized recommendation using a deep-semantic similarity model with negative sampling. In Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, 1921-1924.
Zhang, S., Yao, L., Sun, A., & Tay, Y. (2019). Deep learning based recommender system: A survey and new perspectives. ACM Computing Surveys (CSUR), 52(1), 1-38.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.