Recently, most of the users can easily get access to a variety of information sources about companies, products, and services through online channels. Therefore, the online user evaluations are becoming the most powerful tool to generate word of mouth. The user's evaluation is provided in two forms,...
Recently, most of the users can easily get access to a variety of information sources about companies, products, and services through online channels. Therefore, the online user evaluations are becoming the most powerful tool to generate word of mouth. The user's evaluation is provided in two forms, quantitative rating and review text. The rating is then divided into an overall rating and a detailed rating according to various evaluation criteria. However, since it is a burden for the reviewer to complete all required ratings for each evaluation criteria, so most of the sites requested only mandatory inputs for overall rating and optional inputs for other evaluation criteria. In fact, many users input only the ratings for some of the evaluation criteria and the percentage of missed ratings for each criteria is about 40%. As these missed ratings are the missing values in each criteria, the simple average calculation by ignoring the average 40% of the missed ratings can sufficiently distort the actual phenomenon. Therefore, in this study, we propose a methodology to predict the rating for the missed values of each criteria by analyzing user's evaluation information included the overall rating and text review for each criteria. The experiments were conducted on 207,968 evaluations collected from the actual hotel evaluation site. As a result, it was confirmed that the prediction accuracy of the detailed criteria ratings by the proposed methodology was much higher than the existing average-based method.
Recently, most of the users can easily get access to a variety of information sources about companies, products, and services through online channels. Therefore, the online user evaluations are becoming the most powerful tool to generate word of mouth. The user's evaluation is provided in two forms, quantitative rating and review text. The rating is then divided into an overall rating and a detailed rating according to various evaluation criteria. However, since it is a burden for the reviewer to complete all required ratings for each evaluation criteria, so most of the sites requested only mandatory inputs for overall rating and optional inputs for other evaluation criteria. In fact, many users input only the ratings for some of the evaluation criteria and the percentage of missed ratings for each criteria is about 40%. As these missed ratings are the missing values in each criteria, the simple average calculation by ignoring the average 40% of the missed ratings can sufficiently distort the actual phenomenon. Therefore, in this study, we propose a methodology to predict the rating for the missed values of each criteria by analyzing user's evaluation information included the overall rating and text review for each criteria. The experiments were conducted on 207,968 evaluations collected from the actual hotel evaluation site. As a result, it was confirmed that the prediction accuracy of the detailed criteria ratings by the proposed methodology was much higher than the existing average-based method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 연구에서는 사용자가 의도적으로, 또는 사이트 정책에 의해 미기입한 세부 항목별 평점을 예측하여 기입함으로써, 높은 비율의 결측값을 무시한 채 단순 평균을 제시하는 현재 서비스 방식의 한계를 극복할 수 있는 방안을 제시하고자 한다. 구체적으로 본 연구에서는 사용자가 입력한 텍스트 리뷰를 분석하여, 그 내용에 따라 누락된 세부 항목의 평점을 예측하고자 한다. 예를 들어 [Figure 2]는 사용자가 텍스트 리뷰에서 ‘침대’와 ‘청결도’에 대해 많은 내용을 언급하고 있음에도 불구하고, ‘가격’, ‘객실’, ‘서비스’의 기준에 대해서만 평점을 부여하고 ‘침대’, ‘장소’, ‘청결도’에 대해서는 평점을 기입하지 않은 경우를 보이고 있다.
따라서 본 연구에서는 사용자가 의도적으로, 또는 사이트 정책에 의해 미기입한 세부 항목별 평점을 예측하여 기입함으로써, 높은 비율의 결측값을 무시한 채 단순 평균을 제시하는 현재 서비스 방식의 한계를 극복할 수 있는 방안을 제시하고자 한다. 구체적으로 본 연구에서는 사용자가 입력한 텍스트 리뷰를 분석하여, 그 내용에 따라 누락된 세부 항목의 평점을 예측하고자 한다.
7로 각 세부 항목별 평점이 크게 차이나는 경우도 비일비재하다. 따라서 본 연구에서는 전체 평점뿐 아니라 텍스트 리뷰로부터 추출한 세부 항목에 대한 사용자의 평가 정보를 함께 활용하여 미기입된 세부 항목의 평점을 예측하는 방법론을 제안하고자 한다.
본 연구에서는 리뷰에 대한 토픽 모델링을 통해 리뷰의 내용을 구조화하고, 구조화된 리뷰와 전체 평점에 기반을 두어 누락된 세부 항목 평점을 예측하는 방법론을 제안하고자 한다([Figure 3] 참조).
본 절에서는 리뷰 분석을 통한 누락 평점 예측 모델 생성의 실험 과정 및 결과를 소개한다. 비정형 데이터인 사용자 리뷰의 토픽 대응도를 도출하기 위하여 [Table 8(b)]의 리뷰 207,968건을 대상으로 총 25개의 토픽의 대응도를 도출하였다.
본 절에서는 세부 항목별로 평점이 누락된 평가를 제외하여 유효 평가만을 추출하는 과정을 소개 한다. [Table 2]는 이 과정의 설명을 위한 결측값을 다수 포함한 평가 10건의 예이다.
본 절에서는 수집된 호텔 평가 정보로부터 각 세부 항목별 유효 평가만을 추출하는 실험 과정 및 결과를 소개한다.
본 절에서는 전체 사용자 평가로부터 각 세부 항목별 유효 평가만을 추출하는 과정을 소개한다. 호텔 평가 데이터는 호텔 ID, 평가 ID, 전체 평점, 세부 평점, 그리고 리뷰로 구성되어 있으며, 리뷰를 제외한 모든 구성 요소는 정형 데이터로 분류 된다.
본 절에서는 제안한 방법론을 실제 데이터 분석에 적용하기 위한 실험 개요를 소개한다. 데이터 수집 및 분석을 위해 [Table 6]과 같은 시스템 환경을 구성하였다.
본 절에서는 토픽 모델링을 통해 사용자 리뷰를 정형 데이터로 구조화하고, 이를 활용하여 누락된 세부 항목의 평점을 예측하는 모델을 생성하는 과정을 소개한다. 우선 사용자의 리뷰를 구조화하기 위해 전체 리뷰에 대한 토픽 모델링을 수행한다.
본 연구는 학술적/실무적으로 다음과 같은 의의를 갖는다. 우선 학술적으로 본 연구는 정형 데이터와 비정형 데이터를 통합하여 예측 모델을 생성하는 방법론을 제안하였다. 최근 텍스트 분석에 대한 수요가 증가함과 동시에 텍스트 분석의 유용성 및 정확성에 대한 의구심도 커지고 있는 상황에서, 구조화된 텍스트와 기존의 정형 데이터를 동시에 활용하는 방식으로 다양한 분야에서 많은 후속 연구가 수행될 수 있을 것이다.
제안 방법
[Table 13]은 [Table 9]의 세부 항목 ‘입지’의 유효 평가 추출 결과와 [Table 11]의 내용을 통합한 것으로, 향후 누락된 세부 항목 평점을 예측하는 모델의 학습 및 평가 데이터로 사용된다. 구체적으로 각 세부 항목별로 Training Set, Validation Set, Test Set을 각각 구성하였으며, 각 set에 포함된 평가는 호텔과 기간의 편중(Bias)없이 고르게 분포되어 있다. 예측 모델은 구간형(Interval) 변수 예측에 널리 사용되는 인공신경망(Artificial Neural Network)을 통해 생성하였으며, 이에 대한 성능은 다음 절에서 분석한다.
[Table 8(a)]에서 세부 항목별 평점은 미기입 된 결측값을 다수 포함하고 있다. 따라서 각 세부 항목별 예측 모델 생성을 위해 세부 항목별로 결측값을 제거하여 유효 평가 집합을 생성한다. 예를 들어 [Table 9] 는 세부 평가 항목 중 하나인 ‘입지’의 유효 평가 집합을 나타낸다.
이는 곧 해당 항목의 미기입 값을 해당 항목의 전체 평균으로 대체한 것과 동일한 효과를 나타내므로, 기존 사이트는 전체 평균으로 해당 항목의 결측값을 대체하는 방식을 택한 것으로 이해할 수 있다. 따라서 본 연구에서는 기존 방식의 경우 Training Set과 Validation Set 으로부터 각 호텔의 세부 평가 항목별 평균을 산출하고, 이 값을 Test Set에서 해당 호텔의 세부 항목 평점의 예측값으로 사용하였다. 또한 제안 방법론의 성능 평가와 마찬가지로, Test Set에서 나타난 MSE 값을 기존 방법론의 예측 오차로 측정하였다.
본 연구에서 다루고 있는 주제인 세부 항목 평점의 누락값 예측은 기존 연구에서 거의 다루어지지 않았다. 따라서 제안 방법론의 성능을 상대 비교할 수 있는 적합한 기존 방법론이 존재하지 않으므로, 본 절에서는 평가 사이트에서 일반적으로 사용하는 방식인 평균 기반 결측값 대체 방식과 제안 방법론의 성능을 비교한다. TripAdvisor 등 대부분의 평가 사이트는 세부 항목의 평점이 누락된 경우 해당 평점을 각 평가별로 명시적으로 대체하여 제시하지는 않는다.
따라서 본 연구에서는 기존 방식의 경우 Training Set과 Validation Set 으로부터 각 호텔의 세부 평가 항목별 평균을 산출하고, 이 값을 Test Set에서 해당 호텔의 세부 항목 평점의 예측값으로 사용하였다. 또한 제안 방법론의 성능 평가와 마찬가지로, Test Set에서 나타난 MSE 값을 기존 방법론의 예측 오차로 측정하였다. 총 6개의 세부 항목에 대해 예측 모델의 성능을 기존 기법과 비교한 결과가 [Figure 5]에 제시되어 있다.
본 장에서는 전체 평점과 사용자 리뷰를 활용하여 세부 항목별 점수를 예측하는 방법론을 간단한 가상 예를 통해 소개하였다. 다음 장인 제 4장에서는 실제 데이터에 대한 실험을 통해 제안 방법론의 실제 적용 가능성 및 성능을 평가한다.
본 절에서는 제안 방법론의 성능을 분석한다. 제안 방법론에 의한 세부 항목의 예측값과 해당 항목의 실제 값과의 차이에 대한 평균 제곱 오차(MSE : Mean-Squared Error)를 예측 정확도의 평가 척도로 사용하였다.
본 절에서는 토픽 모델링을 통해 사용자 리뷰를 정형 데이터로 구조화하고, 이를 활용하여 누락된 세부 항목의 평점을 예측하는 모델을 생성하는 과정을 소개한다. 우선 사용자의 리뷰를 구조화하기 위해 전체 리뷰에 대한 토픽 모델링을 수행한다. 토픽 모델링의 개념과 원리는 이미 많은 연구에서 자세히 소개되고 있으므로, 본 논문에서는 주요 입력 및 산출물에 대한 예를 제시하여 해당 과정을 간략히 설명한다.
제안 방법론에서는 세부 항목별로 예측 모델을 수립하며, 이를 위해 세부 항목별로 학습 집합을 구축한다. 이 때 평점이 누락된 평가의 경우, 해당 세부 항목의 학습 집합에서 제외한다.
제안 방법론에 의한 세부 항목의 예측값과 해당 항목의 실제 값과의 차이에 대한 평균 제곱 오차(MSE : Mean-Squared Error)를 예측 정확도의 평가 척도로 사용하였다. 즉 Training Set과 Validation Set으로부터 예측 모델을 생성하고 이를 Test Set에 적용하여, Test Set에서 나타난 MSE 값을 제안 방법론의 예측 오차로 측정하였다.
즉, 단계 (2)의 구조화된 리뷰와 단계 (1)의 전체 평점을 입력(Input) 변수로 사용하고 단계 (1)의 세부 항목의 평점을 목표(Target) 변수로 사용하여 모델을 학습한다. 단계 (2)와 단계 (3)의 과정은 제 3.
대상 데이터
[Table 6]의 시스템을 통해 뉴욕시에 존재하는 130개의 호텔을 무작위로 선정하여 해당 호텔의 리뷰 전체를 수집하였으며, 그 결과 총 258,593건의 평가 데이터를 수집 하였다([Table 7] 참조).
이러한 기여에도 불구하고 본 연구는 향후 다음의 측면에서 보완이 필요하다. 무엇보다 본 연구는 호텔이라는 특정 도메인의 한 사이트에서 수집한 데이터를 대상으로 실험을 수행하였다. 향후 더욱 다양한 도메인의 다수 사이트에 대한 실험을 통해, 제안 방법론의 성능을 보다 엄밀하게 검증할 필요가 있다.
본 실험에서는 수집된 평가 중 영문으로 리뷰를 작성한 평가만을 실험 대상으로 선정하였으며, 이에 따라 최종적으로 207,968건의 평가를 실험에 사용하였다.
본 절에서는 리뷰 분석을 통한 누락 평점 예측 모델 생성의 실험 과정 및 결과를 소개한다. 비정형 데이터인 사용자 리뷰의 토픽 대응도를 도출하기 위하여 [Table 8(b)]의 리뷰 207,968건을 대상으로 총 25개의 토픽의 대응도를 도출하였다. [Table 11]은 토픽 모델링을 통해 도출된 사용자 리뷰의 토픽 대응도 결과 중 일부를 나타낸다.
데이터 수집 및 분석을 위해 [Table 6]과 같은 시스템 환경을 구성하였다. 시스템 환경은 20대의 수집기 서버와 1대의 분석 및 데이터베이스 서버로 총 21대의 서버를 구성하였으며 실험에 사용된 SW로는 호텔별 사용자 평가 정보 수집을 위해 자체적으로 개발한 Java 기반의 TripAdvisor Crawler가 사용 되었고 데이터 저장을 위해 MySQL을 사용하였다. 텍스트 분석을 수행하기 위해서는 상용 프로그램인 SAS Enterprise Miner를 사용하였으며 이 외, 각 SW와 HW의 자세한 사양은 [Table 6]에 자세히 제시되어 있다.
데이터처리
본 절에서는 제안 방법론의 성능을 분석한다. 제안 방법론에 의한 세부 항목의 예측값과 해당 항목의 실제 값과의 차이에 대한 평균 제곱 오차(MSE : Mean-Squared Error)를 예측 정확도의 평가 척도로 사용하였다. 즉 Training Set과 Validation Set으로부터 예측 모델을 생성하고 이를 Test Set에 적용하여, Test Set에서 나타난 MSE 값을 제안 방법론의 예측 오차로 측정하였다.
시스템 환경은 20대의 수집기 서버와 1대의 분석 및 데이터베이스 서버로 총 21대의 서버를 구성하였으며 실험에 사용된 SW로는 호텔별 사용자 평가 정보 수집을 위해 자체적으로 개발한 Java 기반의 TripAdvisor Crawler가 사용 되었고 데이터 저장을 위해 MySQL을 사용하였다. 텍스트 분석을 수행하기 위해서는 상용 프로그램인 SAS Enterprise Miner를 사용하였으며 이 외, 각 SW와 HW의 자세한 사양은 [Table 6]에 자세히 제시되어 있다.
성능/효과
각 대상에 대한 세부 항목별 평균은 이러한 결측값을 제외한 상태에서 집계되므로, 약 40%에 달하는 결측값을 고려하지 않은 단순 평균은 실제 현상을 충분히 왜곡할 수 있다는 한계를 갖는다. 따라서본 연구에서는 전체 평점과 함께 텍스트 리뷰로부터 추출한 세부 항목에 대한 사용자의 평가 정보를 함께 분석하여 이를 통해 미기입 된 세부 항목의 평점을 예측하는 방법론을 제안하였으며, 그 결과 제안 모델이 기존 평균 기반 결측값 대체 방식에 비해 약 53%의 성능 개선 효과를 보임을 확인하였다.
[Figure 5]에서 제안 방법론에 의해 예측한 세부 항목 평점의 MSE가 평균 기반 대체에 비해 모든 항목에서 낮게 나타남을 확인할 수 있다. 또한 오차 개선의 정도도 매우 커서 항목별로 최소 0.07에서 최대 0.57까지 MSE가 감소한 것을 알 수 있으며, 전체적으로 약 53%((0.79-0.37)/0.79)의 개선률을 보이는 것으로 나타났다. 이렇듯 본 연구에서 제안한 예측 모델의 성능은 기존의 평균 기반 세부 평가 항목 결측값 대체 방식에 비해 매우 우수한 것으로 평가할 수 있다.
최근 텍스트 분석에 대한 수요가 증가함과 동시에 텍스트 분석의 유용성 및 정확성에 대한 의구심도 커지고 있는 상황에서, 구조화된 텍스트와 기존의 정형 데이터를 동시에 활용하는 방식으로 다양한 분야에서 많은 후속 연구가 수행될 수 있을 것이다. 또한 제안 방법론을 통해 미기입 된 세부 항목 평점을 예측하여 각 평가별로 제시함으로써 해당 사이트의 서비스 만족도를 향상시킬 수 있으며, 이는 본 연구의 실무적 기여로 인정받을 수 있다.
79)의 개선률을 보이는 것으로 나타났다. 이렇듯 본 연구에서 제안한 예측 모델의 성능은 기존의 평균 기반 세부 평가 항목 결측값 대체 방식에 비해 매우 우수한 것으로 평가할 수 있다.
TripAdvisor는 가격, 서비스, 입지, 객실, 침대, 청결도 등 총 6개의 세부 항목에 대한 평점을 관리하며, 이들 세부 항목은 평점이 미기입 된 결측값을 다수 포함한다. 전체 영문 평가 중 6개 세부 항목 모두에 대한 평점이 기입된 평가는 37.5%에 불과하며, 단 하나의 세부 항목에도 점수를 기입하지 않은 평가도 20.3%에 달하는 것으로 나타났다. 세부 항목기재 건수별 평가의 비율은 [Table 7]에 자세히 제시되어 있다.
후속연구
향후 더욱 다양한 도메인의 다수 사이트에 대한 실험을 통해, 제안 방법론의 성능을 보다 엄밀하게 검증할 필요가 있다. 또한 본 실험에서는 성능의 비교가 각 평가별로 이루어졌는데, 향후 각 호텔에 대한 다수의 평가 결과를 종합한 결과, 즉 호텔 단위의 평점 예측에 대한 성능의 비교도 반드시 수행되어야 한다.
우선 학술적으로 본 연구는 정형 데이터와 비정형 데이터를 통합하여 예측 모델을 생성하는 방법론을 제안하였다. 최근 텍스트 분석에 대한 수요가 증가함과 동시에 텍스트 분석의 유용성 및 정확성에 대한 의구심도 커지고 있는 상황에서, 구조화된 텍스트와 기존의 정형 데이터를 동시에 활용하는 방식으로 다양한 분야에서 많은 후속 연구가 수행될 수 있을 것이다. 또한 제안 방법론을 통해 미기입 된 세부 항목 평점을 예측하여 각 평가별로 제시함으로써 해당 사이트의 서비스 만족도를 향상시킬 수 있으며, 이는 본 연구의 실무적 기여로 인정받을 수 있다.
무엇보다 본 연구는 호텔이라는 특정 도메인의 한 사이트에서 수집한 데이터를 대상으로 실험을 수행하였다. 향후 더욱 다양한 도메인의 다수 사이트에 대한 실험을 통해, 제안 방법론의 성능을 보다 엄밀하게 검증할 필요가 있다. 또한 본 실험에서는 성능의 비교가 각 평가별로 이루어졌는데, 향후 각 호텔에 대한 다수의 평가 결과를 종합한 결과, 즉 호텔 단위의 평점 예측에 대한 성능의 비교도 반드시 수행되어야 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
정량적인 평점은 해당 상품에 대한 전체 평점뿐 아니라, 다양한 평가 기준에 따른 세부 평점으로 구성되는데 그 예시에는 어떤 것이 있는가?
또한 정량적인 평점은 해당 상품에 대한 전체 평점뿐 아니라, 다양한 평가 기준에 따른 세부 평점으로 구성된다. 예를 들어 가장 대표적인 호텔 평가 사이트인 TripAdvisor의 경우 각 호텔에 대해 사용자가 평가한 텍스트 리뷰와 전체 평점(Overall Rating) 뿐 아니라, ‘가격’, ‘서비스’, ‘청결도’, ‘객실’, ‘침대의 퀄리티’, ‘입지’의 6개 세부 항목에 각각에 대한 평점 정보를 제공한다.
대부분의 사이트에서 사용자의 평가는 어떤 형태로 제공되는가?
대부분의 사이트에서 사용자의 평가는 정량적인 평점과 리뷰 텍스트의 두 가지 형태로 제공된다. 또한 정량적인 평점은 해당 상품에 대한 전체 평점뿐 아니라, 다양한 평가 기준에 따른 세부 평점으로 구성된다.
정량적인 평점은 어떻게 구성되는가?
대부분의 사이트에서 사용자의 평가는 정량적인 평점과 리뷰 텍스트의 두 가지 형태로 제공된다. 또한 정량적인 평점은 해당 상품에 대한 전체 평점뿐 아니라, 다양한 평가 기준에 따른 세부 평점으로 구성된다. 예를 들어 가장 대표적인 호텔 평가 사이트인 TripAdvisor의 경우 각 호텔에 대해 사용자가 평가한 텍스트 리뷰와 전체 평점(Overall Rating) 뿐 아니라, ‘가격’, ‘서비스’, ‘청결도’, ‘객실’, ‘침대의 퀄리티’, ‘입지’의 6개 세부 항목에 각각에 대한 평점 정보를 제공한다.
참고문헌 (42)
Augustine, A. and M. Pathak, "User Rating Prediction for Movies", University of Texas at Austin, 2007.
Aurelio G.M. and R. Minazzi, "Web Reviews Influence on Expectations and Purchasing Intentions of Hotel Potential Customers", International Journal of Hospitality Management, Vol.34, 2013, 99-107. doi : http://dx.doi.org/10.1016/j.ijhm.2013.02.012 (Downloaded August 30, 2017).
Bao, Z. and H. Xia, "Movie Rating Estimation and Recommendation", CS229 2012 Project, Stanford University, 2012.
Blei, D.M., "Probabilistic Topic Models", Communications of the ACM, Vol.55, No.4, 2012, 77-84. doi : 10.1145/2133806.2133826 (Downloaded August 30, 2017).
Blei, D.M. and J.D. Lafferty, "Dynamic Topic Models", ICML '06 Proceedings of the 23rd International Conference on Machine Learning, 2006, 113-120.
Blei, D.M., A.Y. Ng, and M.I. Jordan, "Latent Dirichlet Allocation", Journal of Machine Learning Research, Vol.3, 2003, 993-1022.
Casalo, L.V., C. Flavian, M. Guinaliu, and Y. Ekinci, "Do Online Hotel Rating Schemes Influence Booking Behaviors?", International Journal of Hospitality Management, Vol. 49, 2015, 28-36.
Cui, G., H.K. Lui, and X.N. Guo, "The Effect of Online Consumer Reviews on New Product Sales", International Journal of Electronic Commerce, Vol.17, No.1, 2012, 39-58.
Davis, A. and D. Khazanchi, "The Influence of Online Word of Mouth on Product Sales in Retail E-commerce : An Empirical Investigation", Proceedings of the 13th Annual Americas Conference on Information Systems, Vol.13, No.3, 2007, 2149-2157.
Duan, W.J., G. Gu, and A.B. Whinston, "Do Online Reviews Matter?-An Empirical Investigation of Panel Data", Decision Support Systems, Vol.45, No.4, 2008, 1007-1016.
Gauri, D.K., A. Bhatnagar, and R. Rao, "Role of Word of Mouth in Online Store Loyalty", Magazine Communications of the ACM, Vol. 51, No.3, 2008, 89-91.
Gayatree, G., N. Elhadad, and A. Marian, "Beyond the Stars : Improving Rating Predictions Using Review Text Content", Twelfth International Workshop on the Web and Databases, 2009.
Ghose, A. and G.I. Panagiotis, "Designing Ranking Systems for Consumer Reviews : The Impact of Review Subjectivity on Product Sales and Review Quality", Proceedings of the International Conference on Decision Support Systems, 2006.
Ghose, A. and G.I. Panagiotis, "Designing Novel Review Ranking Systems : Predicting the Usefulness and Impact of Reviews", Proceedings of the Ninth International Conference on Electronic Commerce, 2007, 303-310.
Gupta, N., G.D. Fabbrizio, and P. Haffner, "Capturing the Stars : Predicting Ratings for Service and Product Reviews", Proceedings of the NAACL HLT 2010 Workshop on Semantic Search, Los Angeles, California, 2010, 36-43.
Ha, H.S., H.J. Kim, S.W. Choi, and S.R. Yoon, "Comparing and Predicting Movie Rating Using Social Network Service", Proceedings of Korean Institute of Information Scientists and Engineers, 2014, 276-278. (하헌석, 김한주, 최성운, 윤성로, "소셜 네트워크 서비스를 활용한 영화 평점 비교 및 예측", 한국정보과학회 학술발표논문집, 2014, 276-278.)
Hofmann, T., "Probabilistic Latent Semantic Indexing", Proceedings of the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, Berkeley, California, 1999, 50-57. doi : 10.1145/312624.312649 (Downloaded August 30, 2017).
Hu, N., N.S. Koh, and S.K. Reddy, "Ratings Lead You to the Product Reviews Help You Clinch It? The Mediating Role of Online Review Sentiments on Product Sales", Decision Support Systems, Vol.57, 2014, 42-53.
Kim, G.M., M.H. Ahn, and Y.H. Lee, "Prediction of Movies based on Naver DB Information and Filtering Malicious Rating Markers", Proceedings of Korean Institute of Industrial Engineers, 2013, 1651-1662. (김경민, 안무혁, 이윤호, "네이버 DB정보 기반 영화 평점 예측 및 악의적 평점 기록자 Filtering", 대한산업공학회 춘계공동학술대회논문집, 2013, 1651-1662.)
Landauer, T.K., P.W. Foltz, and D. Laham, "An Introduction to Latent Semantic Analysis", Discourse Processes, Vol.25, No.2-3, 1998, 259-284. doi : http://dx.doi.org/10.1080/01638539809545028 (Downloaded August 30, 2017).
Lee, J., D.H. Park, and I. Han, "The Effect of Online Negative Online Consumer Reviews on Product Attitude : An Information Processing View", Electronic Commerce Research, and Applications, Vol.7, No.3, 2008, 341-352.
Lee, S., T.R. Jeon, G.D. Baek, and S.S. Kim, "A Movie Rating Prediction System of User Propensity Analysis based on Collaborative Filtering, and Fuzzy System", Journal of Korean Institute of Intelligent Systems, Vol.19, No.2, 2009, 242-247. (이수진, 전태룡, 백경동, 김성신, "협업적 필터링 및 퍼지시스템 기반 사용자 성향분석에 의한 영화 평가 예측 시스템", 한국지능시스템학회논문지, 제19권, 제2호, 2009, 242-247.)
Li, F., N. Liu, H. Jin, K. Zhao, Q. Yang, and X. Zhu, "Incorporating Reviewer, and Product Information for Review Rating Prediction", 22nd International Joint Conferences on Artificial Intelligence, Vol.3, 2011, 1820-1825.
Liu, C. and N. Kim "Methodology for Improving the Reliability of the Rating System for Leisure Activity Information Sites : Focusing on a Movie Information Site", Journal of Tourism & Leisure Research, Vol.27, No.7, 2015, 187-200. (류 신, 김남규, "여가활동 정보 사이트의 평점 시스템 신뢰성 향상 방안", 관광레저연구, 제27권, 제7호, 2015, 187-200.)
Liu, C.L., W.H. Hsaio, C.H. Lee, G.C. Lu, and E. Jou, "Movie Rating and Review Summarization in Mobile Environment", IEEE Transactions on Systems, Man, and Cybernetics-Part C : Applications and Reviews, Vol.42 No.3, 2012, 397-407.
Marovic, M., M. Mihokovic, M. Miksa, S. Pribil, and A. Tus, "Automatic Movie Ratings Prediction Using Machine Learning", Proceedings of the 34th International Convention, 2011, 1640-1645.
Moghaddam, S. and E. Martin, "ILDA : Interdependent LDA Model for Learning Latent Aspects and Their Ratings from Online Product Reviews", Proceedings of the 34th International ACM SIGIR Conference on Research and Development in Information Retrieval, 2011, 665-674.
Mudambi, S.M. and D. Schuff, "What Makes a Helpful Online Review? A Study of Customer Reviews on Amazon.com", Journal MIS Quarterly Archive, Vol.34, No.1, 2010, 185-200.
Oh, B.H., J.H. Yang, and H.J. Lee, "A Hybrid Recommender System based on Collaborative Filtering with Selective Utilization of Content-based Predicted Ratings", Journal of KISS : Software and Applications, Vol.41, No.4, 2014, 289-294. (오병화, 양지훈, 이현진, "콘텐츠 기반 예측 평점을 선택적으로 활용하는 협력적 필터링 기반 복합추천 시스템", 정보과학회논문지 : 소프트웨어 및 응용, 제41권, 제4호, 2014, 289-294.)
Park, D.H., J. Lee, and I. Han, "The Effect of Online Consumer Reviews on Consumer Purchasing Intention : The Moderating Role of Involvement", International Journal of Electronic Commerce, Vol.11, No.4, 2007, 125-148.
Patrali, C., "Online Reviews: Do Consumers Use Them?", Advances in Consumer Research, Vol.28, No.1, 2001, 129-133.
Persson, K., "Predicting Movie Ratings : a Comparative Study on Random Forests and Support Vector Machines", Dissertation, 2015.
Seo, S.Y., J. Huangy, H. Yangy, and Y. Liu, "Representation Learning of Users, and Items for Review Rating Prediction Using Attention- based Convolutional Neural Network", 3rd International Workshop on Machine Learning Methods for Recommender Systems, Houston, Texas, 2017.
Sharma, R.D., S. Tripathi, S.K. Sahu, S. Mittal, and A. Anand, "Predicting Online Doctor Ratings from User Reviews Using Convolutional Neural Networks", International Journal of Machine Learning, and Computing, Vol.6, No.2, 2016, 149-154. doi : 10.18178/ijmlc.2016.6.2.590 (Downloaded August 30, 2017).
Son, S.B. and J.H. Chun, "Product Feature Extraction and Rating Distribution Using User Reviews", Journal of Society for e-Business Studies, Vol.22, No.1, 2017, 65-87. (손수빈, 전종훈, "사용자 리뷰를 이용한 상품 특징 추출 및 평점 분배", 한국전자거래학회지, 제22권, 제1호, 2017, 65-87.)
Song, C.H., B.C. Kim, and K.D. Park, "Impact of Consumer Rating on Mobile Application Sales : A Comparison between Korean, and American Consumers", Korean Management Review, Vol.43, No.5, 2014, 1493-1518. (송치훈, 김병조, 박경도, "소비자 평점이 모바일 애플리케이션 구매에 미치는 영향-한국과 미국 소비자와의 비교를 중심으로", 경영학연구, 제43권, 제5호, 2014, 1493-1518.)
Tang, D., B. Qiny, T. Liuy, and Y. Yang, "User Modeling with Neural Network for Review Rating Prediction", Proceedings of the Twenty-Fourth International Joint Conference on Artificial Intelligence, 2015.
Wang, B., Y. Huang, and X. Li, "Combining Review Text Content, and Reviewer-Item Rating Matrix to Predict Review Rating", Computational Intelligence, and Neuroscience, 2016. doi : 10.1155/2016/5968705 (Downloaded August 29, 2017).
Wang, H., Y. Lu, and C.X. Zhai, "Latent Aspect Rating Analysis without Aspect Keyword Supervision", Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery, and Data Mining (KDD'11), 2011, 618-626.
Ye, Q., R. Law, and B. Gu, "The Impact of Online User Reviews on Hotel Room Sales", International Journal of Hospitality Management, Vol.28, No.1, 2009, 180-182. doi : http://dx.doi.org/10.1016/j.ijhm.2015.05.005 (Downloaded August 30, 2017).
Yew, J.L. and W.T. Yee, "Variational Bayesian Approach to Movie Rating Prediction", Association for Computing Machinery, 2007.
Yoon, D.M. and K.J. Kim, "Prediction of Rating Score from Short Comments on Movies Using Word-Rating Correlation Analysis", Proceedings of the HCI KOREA, 2011, 484-486. (윤두밈, 김경중, "단어-평점 상관관계 분석을 통한 단문 영화평 평점 예측", 한국HCI학회 학술대회, 2011, 484-486.)
※ AI-Helper는 부적절한 답변을 할 수 있습니다.