[논문]협업필터링과 스태킹 모형을 이용한 상품추천시스템 개발

박성종; 김영민; 안재준

doi:10.22156/cs4smb.2019.9.6.083

협업필터링과 스태킹 모형을 이용한 상품추천시스템 개발
Development of Product Recommender System using Collaborative Filtering and Stacking Model 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.9 no.6, 2019년, pp.83 - 90

박성종 (연세대학교 정보통계학과) , 김영민 (순천향대학교 빅데이터공학과) , 안재준 (연세대학교 정보통계학과)

초록
AI-Helper

사람들은 자신의 더 나은 선택을 위하여 끊임없이 노력한다. 이러한 이유로 추천시스템이 개발되었으며, 1990년대 초반부터 계속해서 발전하고 있다. 그 중, 협업필터링 기법은 추천시스템 분야에서 우수한 성능을 보였으며, 기계학습이 등장하면서 기계학습을 이용한 추천시스템에 관한 연구가 활발히 진행되었다. 본 연구는 앙상블 방법 중에서 스태킹 모형을 사용하여 추천시스템을 구축하며, 실제 고객의 상품 구매 데이터를 활용하여 협업필터링과 기계학습 기반 스태킹 모형으로 추천시스템을 개발하였다. 제시한 모형의 추천 성능은 기존의 협업필터링과 기계학습 기반 추천시스템과 비교하여 모형의 우수성을 확인하며, 연구결과는 스태킹 모형을 이용한 추천시스템 모형의 추천 성능이 개선됨을 확인하였다. 향후 본 연구에서 제안한 모형은 개인이나 기업이 더 나은 선택을 하여 상품을 추천할 때 도움을 줄 것으로 기대한다.

Abstract ▼ AI-Helper

People constantly strive for better choices. For this reason, recommender system has been developed since the early 1990s. In particular, collaborative filtering technique has shown excellent performance in the field of recommender systems, and research of recommender system using machine learning has been actively conducted. This study constructs recommender system using collaborative filtering and machine learning based on stacking model which is one of ensemble methods. The results of this study confirm that the recommender system with the stacking model is useful in aspects of recommender performance. In the future, the model proposed in this study is expected to help individuals or firms to make better choices.

주제어

표/그림 (9)

표 Table 1. Example of confusion matrix
그림 Fig. 1. Example of new data set generated by stacking
그림 Fig. 2. Diagram of general stacking process
그림 Fig. 3. Flowchart of proposed stacking architecture
그림 Fig. 4. Misclassification rate(%) according to the number of neighbors in each window
표 Table 2. Training period and test period assigned to each window
표 Table 3. Misclassification rate(%) of collaborative filtering when K value is under 20
표 Table 4. Misclassification rates(%) of proposed stacking model
표 Table 5. Misclassification rates(%) of machine learning classifiers without applying stacking model

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Lee[6]는 Movielens 데이터 셋을 이용하여 사용자 기반 협업 필터링으로 추천시스템을 구축하여, 기존에 소개되었던 사용자 기반의 알고리즘보다 좋은 성능이 나타남을 보였으며, Marlin[7]은 user rating profile 모델이라 불리는 평점 기반 협업필터링을 제안하였다. 또한, 아마존에서는 아이템 기반 협업필터링으로 추천시스템을 개발하여 높은 성능을 보이는 모델을 소개하였다. 하지만 협업필터링 알고리즘은 모든 품목 간의 유사도를 계산하여 유사도 행렬을 구축하는데 많은 처리 시간과 용량이 필요하기에 비효율적이라는 한계점이 있다[8].
본 연구는 ‘L’사 고객의 대규모 구매이력 정보인 구매 이력 데이터를 활용하여 스태킹 모형을 적용한 추천시스템을 구축하는 방법을 제안하고자 하였다.
실험 결과는 제안 모형이 단순히 협업필터링만을 이용한 추천시스템과 스태킹 모형의 적용 없이 기계학습 모델로 구축한 추천시스템에 비해 추천 성능이 향상됨을 보였다. 본 연구의 의의는 추천시스템의 추천 성능 향상을 위해 모델 구축의 복잡성을 해결하고 데이터 속에 함축된 정보를 최대한 반영했다는 것이다. 또한, 본 연구에서 제안하는 모형은 슬라이딩 윈도우 방법을 적용하여 최근 구매이력 정보의 중요도를 반영하고 있다.
이는 기존의 많은 연구에서 추천모형의 성과평가 방법에 따른 것이다 [21,22]. 제안 모형의 성능은 협업필터링과 기계학습을 단일로 사용하여 구축한 상품 추천시스템의 결과를 제안한 모형과 비교하여 스태킹 모형의 우수성을 검증하고자 한다.
이러한 기계학습 기반의 추천시스템을 위한 기존 연구들은 추천모형을 구축할 때 단일 데이터 셋 하에서 여러 가지 파라미터에 의해 나온 추천정확도들을 비교하여 최적의 파라미터 선정에 집중하는데 그치고 있다. 하지만 본 연구에서는 여러 가지 파라미터들에 의해 생성된 서로 독립인 모델들의 결과를 모두 합쳐 하나의 데이터 셋으로 생성하는 스태킹 모형을 적용하여 추천시스템의 성능을 향상시키고자 한다. 앙상블 방법 중 하나인 스태킹 모형은 새로운 데이터 셋을 생성함으로써 모델 구축의 복잡성을 해결하고 데이터 속에 함축된 복잡하고 다양한 정보들을 반영할 수 있다는 장점이 있다[15].

제안 방법

각각의 윈도우에서 협업필터링 알고리즘을 통하여 고객의 예상 선호도가 생성되는데, 이때 유사 이웃의 수에 따라 추천되는 상품이 바뀌게 되면서 최종 상품 추천 성공률이 달라지게된다. 따라서, 본 연구에서는 이웃의 수를 3명부터 40명까지 바꿔가며 상품 추천 오분류율을 확인하여 이웃의 수를 결정하였다.
본 연구에서는 상품에 대한 정보의 손실을 최소화하기 위해 소분류로 구분된 상품정보를 사용하였다. 또한, 고객들의 최근 구매 이력의 중요도를 반영하기 위해 슬라이딩 윈도우 방법을 적용하였으며 학습 기간은 1년, 검증 기간은 1개월로 설정하였다[29]. 실증 분석은 통계분석 도구 SAS 9.
본 연구의 의의는 추천시스템의 추천 성능 향상을 위해 모델 구축의 복잡성을 해결하고 데이터 속에 함축된 정보를 최대한 반영했다는 것이다. 또한, 본 연구에서 제안하는 모형은 슬라이딩 윈도우 방법을 적용하여 최근 구매이력 정보의 중요도를 반영하고 있다. 그리고 스태킹 모형으로부터 생성된 새로운 데이터 셋은 여러 시점의 모든 상품에 대한 구매 정보를 가지게 되므로 기계학습 모형이 다양한 정보를 학습할 수 있게 한다.
설정한 학습 기간의 입력변수와 출력 변수는 2014년 1월부터 2015년 10월의 구매 이력 그리고 2015년 11월의 구매 여부로 설정하였으며, 검증 기간은 2015년 12월의 구매 여부로 설정하였다. 본 연구에서 사용된 의사결정나무와 신경망 모형은 다양한 탐색을 통해 최적 파라미터들이 결정되었다. 의사결정나무 모형의 경우 분리 기준으로 카이제곱 통계량을 사용하였으며, 최대가지는 2, 최대 깊이는 6으로 설정하였다.
본 연구에서 제안하고자 하는 방법론은 스태킹 기반 추천시스템이며, 크게 두 단계로 이루어져 있다. 1단계는 사용자 기반 협업필터링 알고리즘을 통하여 고객의 상품에 대한 예상 구매 평점을 구하는 것이며, 2단계는 이전 단계에서 구해진 구매확률을 기계학습 분류모형에 학습시키는 것이다.
2단계 – 이전 단계에서 얻어진 상품의 예상평점을 입력 변수로 하고, 고객별 상품의 실제 구매여부를 출력변수로 하는 새로운 훈련 데이터 셋을 생성하여 기계학습 분류모형에 학습시킨다. 본 연구에서는 분류 문제에서 높은 성능을 보인다고 알려진 의사결정나무 모형과 신경망 모형 그리고 두 모형의 결과를 결합한 앙상블 모형을 추천시스템을 위한 분류모형으로 고려하였다. 각 모형은 각 상품의 구매에 대한 사후확률을 도출하며, 도출된 사후확률을 바탕으로 상품별 순위를 매겨 상위 3개의 상품을 추천하였다.
구매 상품들은 대, 중, 소분류로 구분되어 있는데 대분류는 593개, 중분류는 807개, 그리고 소분류는 4,386개이다. 본 연구에서는 상품에 대한 정보의 손실을 최소화하기 위해 소분류로 구분된 상품정보를 사용하였다. 또한, 고객들의 최근 구매 이력의 중요도를 반영하기 위해 슬라이딩 윈도우 방법을 적용하였으며 학습 기간은 1년, 검증 기간은 1개월로 설정하였다[29].
4는 이웃의 수에 따른 협업필터링 기반의 추천시스템 오분류율을 보여주고 있다. 오분류율은 이웃 수(K) 20 값을 기준으로 커질수록 큰 변동이 없기에 20보다 작은 이웃의 수를 새로운 데이터셋 생성을 위한 사후확률 도출에 사용하기로 하였다.
본 연구에서 제안하는 추천시스템은 크게 두 단계로 구성되어 있다. 첫 번째 단계는 기존의 협업필터링 알고리즘을 이용하여 여러 가지 파라미터에 의한 서로 독립적인 협업필터링 결과를 생성한 후, 모든 결과의 품목에 대한 사후 확률값을 합쳐 하나의 새로운 데이터 셋을 생성하는 것이다. 두 번째 단계는 생성된 데이터 셋으로 기계학습 모형을 이용한 추천시스템을 구축하는 것이다.

대상 데이터

본 연구의 실증분석을 위해 사용된 데이터는 2014년 1 월부터 2015년 12월까지 ‘L’사 19,383명 고객의 일별 구매 이력 정보와 이 기간 동안 구매된 4,386개의 상품 정보를 포함하고 있다. 또한, 분석을 위한 최종 데이터 셋은 19,383 명의 고객이 각자 구매한 상품들을 고려하여 구성하였으며 총 약 2,850만개의 샘플로 구성되어 있다. 구매 고객들의 특성을 살펴보면 여성 고객이 80%로 높은 비율을 차지하고 있으며, 40대 고객이 43%로 가장 높았다.
본 연구의 실증분석을 위해 사용된 데이터는 2014년 1 월부터 2015년 12월까지 ‘L’사 19,383명 고객의 일별 구매 이력 정보와 이 기간 동안 구매된 4,386개의 상품 정보를 포함하고 있다.
스태킹 모형은 초기 단계에 참여한 모델 들이 얼마나 잘 학습이 되었는지에 관계없이 각 모델이 동일한 양을 기여한다는 단점[30]이 존재하지만 새로운 데이터 셋을 생성함으로써 모델 구축의 복잡성을 해결하고 데이터 속에 함축된 복잡하고 다양한 정보들을 반영할 수 있다는 장점이 있다. 스태킹 모형의 유용성을 검증하기 위해 새롭게 생성된 데이터 셋은 기계학습 분류모형인 의사결정나무 모형, 신경망 모형 그리고 앙상블 모형을 사용하여 훈련 되었다. 실험 결과는 제안 모형이 단순히 협업필터링만을 이용한 추천시스템과 스태킹 모형의 적용 없이 기계학습 모델로 구축한 추천시스템에 비해 추천 성능이 향상됨을 보였다.

데이터처리

또한, 고객들의 최근 구매 이력의 중요도를 반영하기 위해 슬라이딩 윈도우 방법을 적용하였으며 학습 기간은 1년, 검증 기간은 1개월로 설정하였다[29]. 실증 분석은 통계분석 도구 SAS 9.4와 SAS Enterprise Miner Workstation 14.1을 사용하여 진행하였다.
본 연구에서 사용된 의사결정나무와 신경망 모형은 다양한 탐색을 통해 최적 파라미터들이 결정되었다. 의사결정나무 모형의 경우 분리 기준으로 카이제곱 통계량을 사용하였으며, 최대가지는 2, 최대 깊이는 6으로 설정하였다. 신경망 모형의 경우 은닉층의 수는 1개, 은닉마디의 수는 3개, 그리고 활성함수는 sigmoid 함수로 설정하였다.

이론/모형

사용자 간의 유사도를 측정하는 대표 적인 방법은 상관관계 유사도 측정방법, 코사인 유사도 측정방법, 고어 유사도 측정방법, 그리고 자카드 유사도 측정 방법 등이며, 이외에도 여러 가지 방법이 존재한다. 본 연구 에서는 추천시스템 구축 시 가장 널리 사용되는 코사인 유사도 측정방법을 사용하였다[9].
다음으로 고객 간의 유사도는 앞서 구한 평점 행렬을 이용하여 구할 수 있다. 본 연구에서는 코사인 유사도 측정방법을 이용하며 이를 통해 유사 고객 순위가 결정된다. 고객간 유사도는 이웃 고객들의 품목에 대한 평점과 함께 고객별 상품의 선호도 예측에 사용된다.

성능/효과

또한, 분석을 위한 최종 데이터 셋은 19,383 명의 고객이 각자 구매한 상품들을 고려하여 구성하였으며 총 약 2,850만개의 샘플로 구성되어 있다. 구매 고객들의 특성을 살펴보면 여성 고객이 80%로 높은 비율을 차지하고 있으며, 40대 고객이 43%로 가장 높았다. 구매 상품들은 대, 중, 소분류로 구분되어 있는데 대분류는 593개, 중분류는 807개, 그리고 소분류는 4,386개이다.
Table 4는 본 연구에서 제안한 스태킹 모델을 적용한 추천시스템의 추천 오분류율 결과이다. 기계학습 분류모형 중에서는 신경망이 가장 좋은 성능을 보였으며 세 가지 분류모형 모두 협업필터링을 단독으로 사용한 결과보다 높은 추천 성능을 보였다. 이는 제안 모형이 단순히 구매 이력만을 이용하여 도출한 사후 구매확률보다 이 확률 값들을 기계 학습방식으로 구축하는 모형이 더 높은 추천 성능을 가질 수 있다는 것을 보여준다.
스태킹 모형의 적용 없이 기계학습 분류모형만으로 추천 시스템을 구축한 경우 협업필터링 모형의 결과보다는 높은 추천 성공률을 보였지만 스태킹 모형을 적용한 경우보다는 다소 떨어지는 추천 성공률을 나타냈다. 이는 제안 모형이 단순히 구매 이력만을 학습하여 추천하는 알고리즘보다 더많은 정보를 담고 있는 훈련 데이터를 학습하기 때문이라고 판단된다.
스태킹 모형의 유용성을 검증하기 위해 새롭게 생성된 데이터 셋은 기계학습 분류모형인 의사결정나무 모형, 신경망 모형 그리고 앙상블 모형을 사용하여 훈련 되었다. 실험 결과는 제안 모형이 단순히 협업필터링만을 이용한 추천시스템과 스태킹 모형의 적용 없이 기계학습 모델로 구축한 추천시스템에 비해 추천 성능이 향상됨을 보였다. 본 연구의 의의는 추천시스템의 추천 성능 향상을 위해 모델 구축의 복잡성을 해결하고 데이터 속에 함축된 정보를 최대한 반영했다는 것이다.
기계학습 분류모형 중에서는 신경망이 가장 좋은 성능을 보였으며 세 가지 분류모형 모두 협업필터링을 단독으로 사용한 결과보다 높은 추천 성능을 보였다. 이는 제안 모형이 단순히 구매 이력만을 이용하여 도출한 사후 구매확률보다 이 확률 값들을 기계 학습방식으로 구축하는 모형이 더 높은 추천 성능을 가질 수 있다는 것을 보여준다.
각 윈도우와 각 이웃의 수마다 다른 오분류율 값을 보이지만, 이웃의 수를 기준으로 오분류율의 평균을 보면 비슷한 값을 보인다. 이를 통해, 협업필터링 단독으로 추천시스템을 구축하였을 경우에도 낮은 오분류율을 도출할 수 있다는 것을 알 수 있다. 이러한 과정을 통해 도출된 50개의 상품구매의 사후확률 값들은 새로운 데이터 셋 생성을 위해 입력변수로 사용되게 된다.
두 번째 단계는 생성된 데이터 셋으로 기계학습 모형을 이용한 추천시스템을 구축하는 것이다. 제안 모형의 추천 성능은 3개의 상품을 추천하였을 때, 추천대상 고객이 적어도 하나의 상품을 구매하였다면 추천을 성공한 것으로 평가하였다. 이는 기존의 많은 연구에서 추천모형의 성과평가 방법에 따른 것이다 [21,22].

후속연구

그럼에도 불구하고 본 연구는 고객의 구매 이력 데이터 이외에 고객의 인구통계학적 데이터와 같은 상품 추천에 영향을 줄 수 있는 추가적인 데이터를 활용하지 못했다는 한계점을 가지고 있다. 협업필터링 알고리즘을 적용함에 있어서 구매 이력 데이터 이외에 고객의 인구 통계학적인 데이터를 추가적으로 사용한다면 추천 성능이 더욱 좋은 추천시스템을 구축할 수 있을 것으로 기대된다.
그리고 스태킹 모형으로부터 생성된 새로운 데이터 셋은 여러 시점의 모든 상품에 대한 구매 정보를 가지게 되므로 기계학습 모형이 다양한 정보를 학습할 수 있게 한다. 따라서 기업에서 본 연구에서 제안한 추천시스템을 이용한 고객 맞춤형 서비스를 제공한다면 새로운 이익을 창출할 수 있는 기회를 만들 수 있을 것이다.
또한, 대용량 고객 데이터라는 특성에 기인하여 협업필터링은 많은 연산시간을 필요로 한다. 본 연구에서는 협업필터링 방법을 적용하여 스태킹을 통한 새로운 입력 데이터 셋을 생성하였는데, 이 과정에서도 협업필터링이 아닌 기계학습 모형을 적용한 다면 이러한 문제점을 어느 정도 해결할 수 있을 것으로 기대한다.
그럼에도 불구하고 본 연구는 고객의 구매 이력 데이터 이외에 고객의 인구통계학적 데이터와 같은 상품 추천에 영향을 줄 수 있는 추가적인 데이터를 활용하지 못했다는 한계점을 가지고 있다. 협업필터링 알고리즘을 적용함에 있어서 구매 이력 데이터 이외에 고객의 인구 통계학적인 데이터를 추가적으로 사용한다면 추천 성능이 더욱 좋은 추천시스템을 구축할 수 있을 것으로 기대된다. 또한, 대용량 고객 데이터라는 특성에 기인하여 협업필터링은 많은 연산시간을 필요로 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	스태킹 모형의 장점은 무엇인가?	하지만 본 연구에 서는 여러 가지 파라미터들에 의해 생성된 서로 독립인 모델들의 결과를 모두 합쳐 하나의 데이터 셋으로 생성하는 스태킹 모형을 적용하여 추천시스템의 성능을 향상시키고자 한다. 앙상블 방법 중 하나인 스태킹 모형은 새로운 데이터 셋을 생성함으로써 모델 구축의 복잡성을 해결하고 데이터 속에 함축된 복잡하고 다양한 정보들을 반영할 수 있다는 장점이 있다[15]. 이러한 장점 때문에 스태킹 모형은 최근 다양한 분야의 연구에서 사용되고 있다.
	협업필터링은 무엇인가	협업필터링은 상품추천시스템에서 널리 사용되는 추천 알고리즘으로써, 추천대상 사용자의 행동을 다른 사용자의 행동과 비교하고 가장 가까운 이웃을 선정하여 이웃의 선호도를 기반으로 추천대상 사용자의 관심 또는 선호도를 예측 한다[1]. 특정 고객에게 구매확률이 높을 것으로 기대되는 상품을 추천하기 위한 협업필터링 알고리즘은 크게 3단계로 구성하였다.
	본 연구에서 제안한 추천시스템의 한계점은 무엇인가?	그럼에도 불구하고 본 연구는 고객의 구매 이력 데이터 이외에 고객의 인구통계학적 데이터와 같은 상품 추천에 영향을 줄 수 있는 추가적인 데이터를 활용하지 못했다는 한계점을 가지고 있다. 협업필터링 알고리즘을 적용함에 있어서 구매 이력 데이터 이외에 고객의 인구 통계학적인 데이 터를 추가적으로 사용한다면 추천 성능이 더욱 좋은 추천시 스템을 구축할 수 있을 것으로 기대된다.

참고문헌 (30)

P. Resnick & H. R. Varian. (1997). Recommender systems. Communications of the ACM, 40, 56-58.
J. Bennett & S. Lanning. (2007). The netflix prize. Proceedings of KDD cup and workshop, 35.
D. Goldberg, D. Nichols, B. M. Oki & D. Terry. (1992). Using collaborative filtering to weave an information tapestry. Communications of the ACM, 35, 61-70.
B. S. Kang. (2019). A Study on the Accuracy Improvement of Movie Recommender System Using Word2Vec and Ensemble Convolutional Neural Networks. Journal of Digital Convergence, 17(1), 123-130.
Z. D. Zhao & M. S. Shang. (2010). User-based collaborative-filtering recommendation algorithms on hadoop. IEEE, 2010 Third International Conference on Knowledge Discovery and Data Mining, 478-481.
H. C. Lee. (2006). Improved algorithm for user based recommender system. Journal of the Korean Data & Information Science Society, 17, 717-726.

원문보기 상세보기
B. M. Marlin. (2003). Modeling user rating profiles for collaborative filtering. Advances in neural information processing systems, 16, 627-634.

상세보기
G. Linden, B. Smith & J. York. (2003). Amazon. com recommendations: Item-to-item collaborative filtering. IEEE Internet computing, 7, 76-80.

상세보기
S. Lee. (2014). A New Collaborative Filtering Method for Movie Recommendation Using Genre Interest. Journal of Digital Convergence, 12(8), 329-335.

원문보기 상세보기
J. T. Oh & S. Y. Lee. (2017). A Movie Recommendation System based on Fuzzy-AHP with User Preference and Partition Algorithm. Journal of Digital Convergence, 15(11), 425-432.
N. K. Kim & S. Y. Lee. (2013). Bayesian network based Music Recommendation System considering Multi-Criteria Decision Making. Journal of Digital Convergence, 11(3), 345-352.

원문보기 상세보기
K. Tsuji, F. Yoshikane, S. Sato & H. Itsumura. (2014). Book Recommendation Using Machine Learning Methods Based on Library Loan Records and Bibliographic Information. IEEE, 2014 IIAI 3rd International Conference on Advanced Applied Informatics. (pp. 76-79).
M. Piotte & M. Chabbert. (2009). The pragmatic theory solution to the netflix grand prize. Netflix prize documentation, Canada
I. Portugal, P. Alencar & D. Cowan. (2017). The use of machine learning algorithms in recommender systems: A systematic review. Expert Systems with Applications, 97, 205-227.
R. Polikar. (2006). Ensemble based systems in decision making. IEEE Circuits and systems magazine, 6, 21-45.

상세보기
A. Ekbal & S. Saha. (2013). Stacked ensemble coupled with feature selection for biomedical entity extraction. Knowledge-Based Systems, 46, 22-32.

상세보기
J. Thorne, M. Chen, G. Myrianthous, J. Pu, X. Wang & A. Vlachos. (2017). Fake news stance detection using stacked ensemble of classifiers. In Proceedings of the 2017 EMNLP Workshop: Natural Language Processing meets Journalism. (pp. 80-83).
C. F. Tsai. (2005). Training support vector machines based on stacked generalization for image classification. Neurocomputing, 64, 497-503.

상세보기
Y. Huang, G. Zhang, & X. Xu. (2009, November). Speech emotion recognition research based on the stacked generalization ensemble neural network for robot pet. In 2009 Chinese Conference on Pattern Recognition (pp. 1-5). IEEE.
Z. Cao, X. Pan, Y. Yang, Y. Huang & H. B. Shen. (2018). The lncLocator: a subcellular localization predictor for long non-coding RNAs based on a stacked ensemble classifier. Bioinformatics, 34(13), 2185-2194.

상세보기
J. L. Herlocker, J. A. Konstan, L. G. Terveen & J. T. Riedl. (2004). Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems (TOIS), 22(1), 5-53.

상세보기
H. Kim, G. Yang, H. Jung, S. H. Lee & J. J. Ahn. (2019). An intelligent product recommendation model to reflect the recent purchasing patterns of customers. Mobile Networks and Applications, 24(1), 163-170.

상세보기
S. J. Lee. (2009). A study on neighbor selection methods in k-NN collaborative filtering recommender system. Journal of the Korean Data & Information Science Society, 20, 809-818.
J. Herlocker, J. A. Konstan & J. Riedl. (2002). An empirical analysis of design choices in neighborhood-based collaborative filtering algorithms. Information retrieval, 5(4), 287-310.

상세보기
L. Rokach. (2010). Ensemble-based classifiers. Artificial Intelligence Review, 33, 1-39.

상세보기
K. S. Eo & K. C. Lee. (2019). Investigating Opinion Mining Performance by Combining Feature Selection Methods with Word Embedding and BOW (Bag-of-Words). Journal of Digital Convergence, 17(2), 163-170.
J. Yan & S. Han. (2018). Classifying Imbalanced Data Sets by a Novel RE-Sample and Cost-Sensitive Stacked Generalization Method. Mathematical Problems in Engineering, 2018.
F. Gunes, R. Wolfinger & P. Y. Tan. (2017). Stacked Ensemble Models for Improved Prediction Accuracy. SAS Global Forum 2017, SAS0437-2017.
C. Kim, T. Y. Kim, I. Park & J. J. Ahn. (2015). A study on the improvement of the economic sentiment index for the Korean economy. Journal of the Korean Data & Information Science Society, 26, 1335-1351.

원문보기 상세보기
D. H. Wolpert. (1992). Stacked Generalization. Neural networks, 5(2), 241-259.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증