누구나 본인이 사용한 제품이나, 이용한 서비스에 대한 후기를 자유롭게 인터넷에 작성할 수 있고, 이러한 데이터의 양은 점점 더 많아지고 있다. 감성분석은 사용자가 생성한 온라인 텍스트 속에 내포된 감성 및 감정을 식별하기 위해 사용된다. 본 연구는 다양한 데이터 도메인 중 영화 리뷰를 분석 대상으로 한다. 영화 리뷰를 이용한 기존 연구에서는 종종 리뷰 평점을 관객의 감성으로 동일시하여 감성분석에 이용한다. 그러나 리뷰 내용과 평점의 실제적 극성 정도가 항상 일치하는 것은 아니기 때문에 연구의 정확성에 한계가 발생할 수 있다. 이에 본 연구에서는 기계학습 기반의 감성 분류기를 구축하고, 이를 통해 리뷰의 감성점수를 산출하여 리뷰에서 나타나는 감성의 수치화를 목표로 한다. 나아가 산출된 감성점수를 이용하여 리뷰와 영화 흥행 간의 연관성을 살펴보았다. 감성분석 모델은 지지벡터 분류기와 신경망을 이용해 구축되었고, 총 1만 건의 영화 리뷰를 학습용 데이터로 하였다. 감성분석은 총 175편의 영화에 대한 1,258,538개의 리뷰에 적용하였다. 리뷰의 평점과 흥행, 그리고 감성점수와 흥행과의 연관성은 상관분석을 통해 살펴보았고, t-검정으로 두 지표의 평균차를 비교하여 감성점수의 활용성을 검증하였다. 연구 결과, 본 연구에서 제시하는 모델 구축 방법은 나이브 베이즈 분류기로 구축한 모델보다 높은 정확성을 보였다. 상관분석 결과로는, 영화의 주간 평균 평점과 관객 수 간의 유의미한 양의 상관관계가 나타났고, 감성점수와 관객 수 간의 상관분석에서도 유사한 결과가 도출되었다. 이에 두 지표간의 평균을 이용한 t-검정을 수행하고, 이를 바탕으로 산출한 감성점수를 리뷰 평점의 역할을 할 수 있는 지표로써 활용 가능함을 검증하였다. 나아가 검증된 결론을 근거로, 트위터에서 영화를 언급한 트윗을 수집하여 감성분석을 적용한 결과를 살펴봄으로써 감성분석 모델의 활용 방안을 모색하였다. 전체적 실험 및 검증의 과정을 통해 본 연구는 감성분석 연구에 있어 개선된 감성 분류 방법을 제시할 수 있음을 보였고, 이러한 점에서 연구의 의의가 있다.
누구나 본인이 사용한 제품이나, 이용한 서비스에 대한 후기를 자유롭게 인터넷에 작성할 수 있고, 이러한 데이터의 양은 점점 더 많아지고 있다. 감성분석은 사용자가 생성한 온라인 텍스트 속에 내포된 감성 및 감정을 식별하기 위해 사용된다. 본 연구는 다양한 데이터 도메인 중 영화 리뷰를 분석 대상으로 한다. 영화 리뷰를 이용한 기존 연구에서는 종종 리뷰 평점을 관객의 감성으로 동일시하여 감성분석에 이용한다. 그러나 리뷰 내용과 평점의 실제적 극성 정도가 항상 일치하는 것은 아니기 때문에 연구의 정확성에 한계가 발생할 수 있다. 이에 본 연구에서는 기계학습 기반의 감성 분류기를 구축하고, 이를 통해 리뷰의 감성점수를 산출하여 리뷰에서 나타나는 감성의 수치화를 목표로 한다. 나아가 산출된 감성점수를 이용하여 리뷰와 영화 흥행 간의 연관성을 살펴보았다. 감성분석 모델은 지지벡터 분류기와 신경망을 이용해 구축되었고, 총 1만 건의 영화 리뷰를 학습용 데이터로 하였다. 감성분석은 총 175편의 영화에 대한 1,258,538개의 리뷰에 적용하였다. 리뷰의 평점과 흥행, 그리고 감성점수와 흥행과의 연관성은 상관분석을 통해 살펴보았고, t-검정으로 두 지표의 평균차를 비교하여 감성점수의 활용성을 검증하였다. 연구 결과, 본 연구에서 제시하는 모델 구축 방법은 나이브 베이즈 분류기로 구축한 모델보다 높은 정확성을 보였다. 상관분석 결과로는, 영화의 주간 평균 평점과 관객 수 간의 유의미한 양의 상관관계가 나타났고, 감성점수와 관객 수 간의 상관분석에서도 유사한 결과가 도출되었다. 이에 두 지표간의 평균을 이용한 t-검정을 수행하고, 이를 바탕으로 산출한 감성점수를 리뷰 평점의 역할을 할 수 있는 지표로써 활용 가능함을 검증하였다. 나아가 검증된 결론을 근거로, 트위터에서 영화를 언급한 트윗을 수집하여 감성분석을 적용한 결과를 살펴봄으로써 감성분석 모델의 활용 방안을 모색하였다. 전체적 실험 및 검증의 과정을 통해 본 연구는 감성분석 연구에 있어 개선된 감성 분류 방법을 제시할 수 있음을 보였고, 이러한 점에서 연구의 의의가 있다.
Sentiment analysis is used for identifying emotions or sentiments embedded in the user generated data such as customer reviews from blogs, social network services, and so on. Various research fields such as computer science and business management can take advantage of this feature to analyze custom...
Sentiment analysis is used for identifying emotions or sentiments embedded in the user generated data such as customer reviews from blogs, social network services, and so on. Various research fields such as computer science and business management can take advantage of this feature to analyze customer-generated opinions. In previous studies, the star rating of a review is regarded as the same as sentiment embedded in the text. However, it does not always correspond to the sentiment polarity. Due to this supposition, previous studies have some limitations in their accuracy. To solve this issue, the present study uses a supervised sentiment classification model to measure a more accurate sentiment polarity. This study aims to propose an advanced sentiment classifier and to discover the correlation between movie reviews and box-office success. The advanced sentiment classifier is based on two supervised machine learning techniques, the Support Vector Machines (SVM) and Feedforward Neural Network (FNN). The sentiment scores of the movie reviews are measured by the sentiment classifier and are analyzed by statistical correlations between movie reviews and box-office success. Movie reviews are collected along with a star-rate. The dataset used in this study consists of 1,258,538 reviews from 175 films gathered from Naver Movie website (movie.naver.com). The results show that the proposed sentiment classifier outperforms Naive Bayes (NB) classifier as its accuracy is about 6% higher than NB. Furthermore, the results indicate that there are positive correlations between the star-rate and the number of audiences, which can be regarded as the box-office success of a movie. The study also shows that there is the mild, positive correlation between the sentiment scores estimated by the classifier and the number of audiences. To verify the applicability of the sentiment scores, an independent sample t-test was conducted. For this, the movies were divided into two groups using the average of sentiment scores. The two groups are significantly different in terms of the star-rated scores.
Sentiment analysis is used for identifying emotions or sentiments embedded in the user generated data such as customer reviews from blogs, social network services, and so on. Various research fields such as computer science and business management can take advantage of this feature to analyze customer-generated opinions. In previous studies, the star rating of a review is regarded as the same as sentiment embedded in the text. However, it does not always correspond to the sentiment polarity. Due to this supposition, previous studies have some limitations in their accuracy. To solve this issue, the present study uses a supervised sentiment classification model to measure a more accurate sentiment polarity. This study aims to propose an advanced sentiment classifier and to discover the correlation between movie reviews and box-office success. The advanced sentiment classifier is based on two supervised machine learning techniques, the Support Vector Machines (SVM) and Feedforward Neural Network (FNN). The sentiment scores of the movie reviews are measured by the sentiment classifier and are analyzed by statistical correlations between movie reviews and box-office success. Movie reviews are collected along with a star-rate. The dataset used in this study consists of 1,258,538 reviews from 175 films gathered from Naver Movie website (movie.naver.com). The results show that the proposed sentiment classifier outperforms Naive Bayes (NB) classifier as its accuracy is about 6% higher than NB. Furthermore, the results indicate that there are positive correlations between the star-rate and the number of audiences, which can be regarded as the box-office success of a movie. The study also shows that there is the mild, positive correlation between the sentiment scores estimated by the classifier and the number of audiences. To verify the applicability of the sentiment scores, an independent sample t-test was conducted. For this, the movies were divided into two groups using the average of sentiment scores. The two groups are significantly different in terms of the star-rated scores.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이때 감성은 하나의 리뷰가 내포하는 긍정 또는 부정적 성향을 감성점수(sentiment score)로써 표현한다. 그리고 감성분석의 결과로 도출된 감성점수와 관객의 직접적 평가인 리뷰 평점이 모두 영화의 흥행으로 대변되는 관객 수와 연관성을 보이는지에 대한 통계적분석을 수행함으로써 영화의 흥행과 리뷰에서 나타나는 감성에 대한 상관관계를 보고자 한다. 마지막으로, 이를 바탕으로 향후 영화 리뷰 감성분석의 활용을 모색해 보았다.
1만 건의 리뷰를 이용함으로써 평점만을 관객의 감성으로 판단하여 사용했을 때 발생하는 선행연구들이 가지는 한계를 극복하고자 하였고, 리뷰의 평점과 모델을 이용하여 산출된 감성점수가 각각 영화의 흥행과 어떠한 관계가 있는지를 상관분석으로 살펴보았다. 나아가, 리뷰 평점과 감성점수의 평균 차이 비교를 통해 다른 텍스트 데이터로의 감성분석 방법 적용 가능성에 대해 살펴보았다.
, 2011; 김상호, 한진만, 2014)을 바탕으로 영화 리뷰의 평점과 흥행의 상관관계에 대한 재검증을 하고자 한다. 또한, 지도학습 기반의 영화 리뷰 감성분석으로 영화 리뷰에서 드러나는 감성과 흥행의 연관성에 대해 알아보려한다.
그리고 감성분석의 결과로 도출된 감성점수와 관객의 직접적 평가인 리뷰 평점이 모두 영화의 흥행으로 대변되는 관객 수와 연관성을 보이는지에 대한 통계적분석을 수행함으로써 영화의 흥행과 리뷰에서 나타나는 감성에 대한 상관관계를 보고자 한다. 마지막으로, 이를 바탕으로 향후 영화 리뷰 감성분석의 활용을 모색해 보았다. 이러한 전체적인 연구 과정을 통해 지도학습을 기반으로 하는 문헌 분류기를 복합적으로 이용하여 감성분석의 성능을 향상 시킬 수 있는 방법론을 제안하고, 활용성을 밝히는 것이 본 연구의 목표이다.
본 연구는 이와 같이 온라인 영화 리뷰를 이용한 감성분석 연구가 부족하고, 평점의 흥행에 대한 영향력 역시 지속적 검증이 필요하다는 점(박승현 외., 2011; 김상호, 한진만, 2014)을 바탕으로 영화 리뷰의 평점과 흥행의 상관관계에 대한 재검증을 하고자 한다. 또한, 지도학습 기반의 영화 리뷰 감성분석으로 영화 리뷰에서 드러나는 감성과 흥행의 연관성에 대해 알아보려한다.
본 연구는 텍스트 마이닝 기반의 감성분석 모델을 구축하고, 이를 이용한 리뷰 내용의 감성분석을 목표로 하였다. 1만 건의 리뷰를 이용함으로써 평점만을 관객의 감성으로 판단하여 사용했을 때 발생하는 선행연구들이 가지는 한계를 극복하고자 하였고, 리뷰의 평점과 모델을 이용하여 산출된 감성점수가 각각 영화의 흥행과 어떠한 관계가 있는지를 상관분석으로 살펴보았다.
그러나 지금은 감성분석 연구에서 활용되는 데이터의 특성상 경영 관리 분야에서도 주목하는 연구 분야이다. 본 절에서는 이러한 점을 고려하여, 감성분석 연구에서 영화 리뷰 데이터를 이용할 때 두 학문적 분야에서는 주로 어떠한 연구를 하는가에 대해 살펴보았다.
컴퓨터 과학 분야에서 감성분석 모델 개발 및 평점 추론 등을 중점적으로 연구한다면, 경영 분야에서는 리뷰의 감성을 이용하는 어플리케이션 측면으로 연구가 확장된다. 영화의 상업적 측면에서 이러한 영화 리뷰의 감성 분석을 수익 예측에 활용하는 것이다. Dellarocas et al.
마지막으로, 이를 바탕으로 향후 영화 리뷰 감성분석의 활용을 모색해 보았다. 이러한 전체적인 연구 과정을 통해 지도학습을 기반으로 하는 문헌 분류기를 복합적으로 이용하여 감성분석의 성능을 향상 시킬 수 있는 방법론을 제안하고, 활용성을 밝히는 것이 본 연구의 목표이다. 이를 통해 향후 제품 또는 서비스 리뷰와 같은 다른 도메인의 데이터에도 이와 같은 방법론을 적용하여 감성분석을 시도할 수 있다는 점에서 본 연구의 의의가 있다.
이러한 전체적인 연구 과정을 통해 지도학습을 기반으로 하는 문헌 분류기를 복합적으로 이용하여 감성분석의 성능을 향상 시킬 수 있는 방법론을 제안하고, 활용성을 밝히는 것이 본 연구의 목표이다. 이를 통해 향후 제품 또는 서비스 리뷰와 같은 다른 도메인의 데이터에도 이와 같은 방법론을 적용하여 감성분석을 시도할 수 있다는 점에서 본 연구의 의의가 있다.
이에 본 연구는 영화 리뷰를 대상으로 텍스트 마이닝을 이용한 감성분석을 시도하였다. 특히, 기계학습의 한 방법인 지도학습(supervised learning)을 이용한 감성 분류기를 구축하여 리뷰의 감성을 파악하였다.
오피니언 마이닝 혹은 감성분석은 텍스트 마이닝 기법중 하나로, 어떠한 사용자가 생성한 온라인 텍스트 속에 담긴 감성(sentiment), 정서(affect), 주관(subjectivity), 또는 감정(emotion)을 식별하기 위해 사용된다(Chen and Zimbra, 2010). 즉, 감성분석을 통해 이용자가 제품 또는 서비스로부터 어떠한 느낌을 받았는지 파악하기 위한 것이다. 감성분석 연구의 관련 기법은 2000년대 이후로 활발히 연구되고 있는데, 특히 이러한 감성분석 연구가 급증한 주된 이유는 소셜 미디어의 확산에 있다(Liu 2012; Appel et al.
제안 방법
본 연구는 텍스트 마이닝 기반의 감성분석 모델을 구축하고, 이를 이용한 리뷰 내용의 감성분석을 목표로 하였다. 1만 건의 리뷰를 이용함으로써 평점만을 관객의 감성으로 판단하여 사용했을 때 발생하는 선행연구들이 가지는 한계를 극복하고자 하였고, 리뷰의 평점과 모델을 이용하여 산출된 감성점수가 각각 영화의 흥행과 어떠한 관계가 있는지를 상관분석으로 살펴보았다. 나아가, 리뷰 평점과 감성점수의 평균 차이 비교를 통해 다른 텍스트 데이터로의 감성분석 방법 적용 가능성에 대해 살펴보았다.
31편의 비흥행 영화들의 3주간 총 관객 수의 평균은 805,749로 나타났다. 나머지 144편의 영화들은 흥행 기준점에 의하면 흥행에는 성공한 영화이나, 3주간 총 관객 수가 가장 많은 영화는 1,500만 명 이상의 관객 수를 동원했다는 점으로 미루어 볼 때, 흥행 영화들 간에도 차이가 크다는 점을 감안하여 관객 수 기준 상위 30위까지의 영화만을 흥행 영화로 분류하여 분석하도록 하였다. 이렇게 선정된 흥행 영화 30편의 3주간 총 관객 수의 평균은 6,674,359으로, 평균적으로 500만 명 이상의 관객 수를 기록하고 있다.
다음은 모델의 성능평가로, 본 연구에서는 학습에서 사용된 리뷰와 중복되지 않는 1,000개의 리뷰를 이용하여 성능을 평가하였다.
우선, 영화의 리뷰 평점과 흥행으로 대변되는 관객 수와의 상관관계를 보았다. 데이터의 기간이 개봉일 포함 총 21일임을 고려하여, 주간으로 나누어 각 주간의 평점과 관객 수간의 관계를 분석하도록 하였다.
(2002)의 연구는 지도학습 방법을 기반으로 한 감성분석의 대표적 연구로, 영화 리뷰 데이터를 학습 데이터로 이용한 연구이다. 리뷰 평점이 5점 만점의 4 또는 5점일 때를 긍정으로, 1~3점까지를 부정으로 나누어 학습하는데, 이때 학습 분류기를 나이브 베이즈, 최대 엔트로피, 지지벡터기 세 가지를 이용하여 결과를 비교하였다. 이 실험을 바탕으로 가장 성능이 높은 것은 지지벡터 분류기임을 발견하였다.
이 점을 바탕으로 하여 감성점수가 리뷰 평점의 역할을 수행할 수 있을 것으로 판단하였고, 이러한 결론을 뒷받침하기 위해 t-검정을 수행하여 유의미한 결과를 도출하였다. 마지막으로, 본 연구에서 제안하는 감성분석 모델을 텍스트 내 감성은 드러나지만 감성 판별이 되지 않은 텍스트 데이터인 트윗에 실험적으로 적용하여 영화별로 도출되는 결과가 어떠한 차이를 보이는지 확인하였다.
기계학습의 3개 단계 분류는 Amplayo와 Occidental(2015)의 연구에서 활용한 방법론인 Multi-level Classifier를 응용하였다. 본 연구에서의 전체 구축 과정은 짧은 텍스트에 적합하도록 알고리즘을 작성하였다.
연구의 순서는 [Figure 2]와 같다. 앞서 언급한 바와 같은 데이터 수집 단계를 마치고, 수집된 데이터 중 모델 구축을 위한 10,000개의 데이터를 이용하여 감성분석 모델을 구축하였다. 감성분석 모델은 기계학습 기반으로 이루어진다.
우선, 사전 구축 과정에서 글자(character) 기반의 n-gram 사전을 구축할 때에는 n을 4∼8로 설정하고, 단어 기반의 n-gram 사전 구축 과정에서는 n을 1~3으로 설정하여 이에 해당하는 글자 및 단어가 사전의 단어로 포함될 수 있도록 하였다.
다음은 모델의 성능평가로, 본 연구에서는 학습에서 사용된 리뷰와 중복되지 않는 1,000개의 리뷰를 이용하여 성능을 평가하였다. 이 1,000개의 리뷰에 있는 평점이 6~10점 사이이면 1(긍정), 1~5점 사이이면 0(부정)으로 분류하고, 감성분석 모델을 통해 얻어진 감성점수가 1(긍정) 또는 0(부정)으로 표현될 때 평점의 분류와 일치하는 정도를 통해 어느 정도 정확하게 감성을 판별하는지 평가하였다.
그런데 3주간의 집계된 관객 수를 비교해보았을 때 175편의 전체 영화에서 관객 수의 편차가 2,218,187로, 그 편차가 상당히 크게 나타난다. 이에 관객 수를 기준으로 흥행한 작품과 흥행에 실패한 비흥행 작품으로 나누어 각 분류에 해당하는 상관분석을 추가적으로 수행하였다. 흥행작과 비흥행작의 구분 기준은 선행 연구를 참고하여 100만 명 이상 관객 수를 흥행 성공의 최소 기준점으로 삼았다(이경재, 장우진, 2006; 김미현 외, 2010; 김연형, 홍정한, 2011).
전처리 후의 리뷰는 구축된 감성분석 모델을 통해 감성점수를 산출(sentiment score calculation)하였다. 다음으로 이렇게 구해진 리뷰의 감성점수와 관객의 평점이 각각 흥행으로 대변되는 관객 수와 어떠한 상관관계를 보이는지 통계적으로 분석(statistical analysis)하였다.
이 과정에서 구축되는 사전은 말뭉치(bag of words)와 같이 단어가 단순히 나열된 것이고, 단어 리스트는 단어의 출현 횟수를 기반으로 내림차순으로 정렬되어있는 것을 의미한다. 전처리를 통해 품사 태깅을 거친 텍스트는 긍정 형용사(positive adj.), 긍정 부사(positive adv.), 부정 형용사(negative adj.), 부정 부사(negative adv.)의 단어 리스트를 각각 구축하도록 하였고, 명사(noun)와 동사(verb)의 단어 리스트 역시 구축하였다. 긍정과 부정을 나눌 때에는 리뷰 데이터의 평점 정보를 활용하여, 긍정으로 분류될 수 있는 점수와 부정으로 분류될 수 있는 점수를 정해주었다.
긍정과 부정을 나눌 때에는 리뷰 데이터의 평점 정보를 활용하여, 긍정으로 분류될 수 있는 점수와 부정으로 분류될 수 있는 점수를 정해주었다. 토큰화를 거친 텍스트는 이 과정에서 단어 기반의 n-gram 사전을 구축하도록 하였다. 사전 구축 과정에서는 출현 빈도가 일정 수치 이하인 단어를 제거하도록 한다.
이에 본 연구는 영화 리뷰를 대상으로 텍스트 마이닝을 이용한 감성분석을 시도하였다. 특히, 기계학습의 한 방법인 지도학습(supervised learning)을 이용한 감성 분류기를 구축하여 리뷰의 감성을 파악하였다. 이때 감성은 하나의 리뷰가 내포하는 긍정 또는 부정적 성향을 감성점수(sentiment score)로써 표현한다.
대상 데이터
감성분석 모델은 기계학습 기반으로 이루어진다. 10,000개의 데이터에서 9,000개는 학습용 데이터로, 나머지 1,000개의 데이터는 모델 성능평가용으로 이용하였다.
<잭 더 자이언트 킬러>는 2013년 2월 28일에 개봉하여, 3주 동안 100만 명 이하의 관객을 동원해 비흥행 영화로 분류되었다. 그리고 두 영화에 대해 각각 23,479개, 634개의 한글로 작성된 트윗이 수집되었다.
그 중에서도 활발히 사용되는 데이터 도메인은 제품, 서비스, 영화 등에 대한 리뷰이다. 본 연구에서는 이러한 주요 분석 도메인 중 하나인 영화 리뷰를 감성분석의 대상으로 활용하였다.
기간을 3주간으로 한정한 것은 박승철과 송현주(2012)의 연구에서 영화 리뷰가 가장 활발하게 나타나는 기간이 개봉 후 2 ~ 3주 동안이라고 밝힌 것에 기인한다. 영화는 한국영화진흥위원회에서 발표한 2013~2015년의 박스오피스 자료를 기준으로 각 해의 상업영화 중 국내영화 1위부터 30위, 해외영화 1위부터 30위까지에 랭크된 영화를 대상으로 중복된 영화를 제외한 총 175편으로 선정하였다.
이렇게 선정된 영화의 리뷰로 총 1,258,538개가 수집되었다. 이 리뷰를 실험용 데이터와 모델구축을 위한 데이터로 사용하였다.
이렇게 선정된 영화의 리뷰로 총 1,258,538개가 수집되었다. 이 리뷰를 실험용 데이터와 모델구축을 위한 데이터로 사용하였다.
이에 국내 최대 포털 네이버에서 운영 중인 사이트 ‘네이버 영화(movie.naver.com)’에서 데이터를 수집하였다.
자바(Java) 기반의 크롤러를 이용하여 수집한 데이터는 총 175편의 영화에 대한 영화 리뷰와 평점이며, 이때 각 영화의 개봉 후 3주간의 데이터만을 수집 대상으로 하였다. 기간을 3주간으로 한정한 것은 박승철과 송현주(2012)의 연구에서 영화 리뷰가 가장 활발하게 나타나는 기간이 개봉 후 2 ~ 3주 동안이라고 밝힌 것에 기인한다.
데이터처리
구체적으로, 통계적 방법 중 상관분석을 수행하며, 유의 수준은 p = .05를 기준으로 하여 이보다 작은 p-value에 대해서는 유의한 것으로 판단하였다. 두 지표의 평균 차 비교를 위해 독립표본 t-검정도 수행하였다.
전처리 후의 리뷰는 구축된 감성분석 모델을 통해 감성점수를 산출(sentiment score calculation)하였다. 다음으로 이렇게 구해진 리뷰의 감성점수와 관객의 평점이 각각 흥행으로 대변되는 관객 수와 어떠한 상관관계를 보이는지 통계적으로 분석(statistical analysis)하였다.
05를 기준으로 하여 이보다 작은 p-value에 대해서는 유의한 것으로 판단하였다. 두 지표의 평균 차 비교를 위해 독립표본 t-검정도 수행하였다.
다음으로, 감성분석 모델을 통해 산출한 감성점수로 관객 수 간의 상관분석을 한 결과는 평점과 관객 수의 상관분석 결과와 비슷했다. 이 점을 바탕으로 하여 감성점수가 리뷰 평점의 역할을 수행할 수 있을 것으로 판단하였고, 이러한 결론을 뒷받침하기 위해 t-검정을 수행하여 유의미한 결과를 도출하였다. 마지막으로, 본 연구에서 제안하는 감성분석 모델을 텍스트 내 감성은 드러나지만 감성 판별이 되지 않은 텍스트 데이터인 트윗에 실험적으로 적용하여 영화별로 도출되는 결과가 어떠한 차이를 보이는지 확인하였다.
이는 비록 감성점수가 평점만큼 관객 수와의 강한 상관을 보이는 것은 아니지만, 평점의 역할을 대신할 수 있는 가능성을 보인다는 것으로 해석 가능하다. 이와 같은 해석이 가능함을 뒷받침하기 위해 두 지표 간의 t-검정을 수행하여 통계적으로 살펴본 결과를 다음의 [Table 9]로 정리하였다.
이론/모형
딥 러닝에서 사용하는 모델로는 Hu et al.(2015)의 연구에서 적용한 계층적 딥 뉴럴 네트워크 모델(hierarchical deep neural network), Yanagimoto et al.(2013)의 연구에서 적용한 제한된 볼츠만 기계(restricted boltzmann machine, RBM) 등이 있다.
감성분석 모델은 전처리, 사전 및 어휘 리스트 구축, 자질 추출, 그리고 3개 단계의 기계학습을 이용한 분류 과정을 거쳐서 최종적으로 구축된다. 기계학습의 3개 단계 분류는 Amplayo와 Occidental(2015)의 연구에서 활용한 방법론인 Multi-level Classifier를 응용하였다. 본 연구에서의 전체 구축 과정은 짧은 텍스트에 적합하도록 알고리즘을 작성하였다.
이렇게 두 레벨에서 총 8개의 입력 파일이 신경망 분류기(neural network)를 이용한 분류 과정에서 사용된다. 이 과정은 3rd Level 부분으로, 본연구에서는 인공 신경망(artificial neural network) 중 하나인 피드포워드 신경망(feedforward neural network, FNN)을 이용하며, 이를 학습시키기 위해 역전파(backpropagation) 알고리즘을 이용하였다. 역전파 알고리즘은 학습 데이터의 가중치를 각 노드(node)에 입력하고 분류 시 발생하는 오류를 이용하여 노드 간의 엣지(edge)의 가중치를 조정하는 것이다(정영미, 2012).
t-검정까지의 결과를 통해 감성 점수가 평점의 역할을 할 수 있고, 이러한 비교들이 유의미했음을 알 수 있다. 이에, 구축한 감성분석 모델을 평점이 부여되지 않은 데이터인 트윗(tweet)에 적용하여 감성점수를 활용해 분석하였다.
모델 생성의 첫 번째 과정은 전처리이다. 텍스트 전처리 단계는 토큰화와 품사 태깅으로 나뉘며, 이 두 과정에서 한글 형태소 분석기가 필요하여 소셜 미디어에서 생성되는 짧은 텍스트 처리에 적합한 한글 형태소 분석기인 Twitter- Korean-text (http://github.com/twitter/twitter- korean-text)를 이용하였다.
성능/효과
[Table 7]과 [Table 8]에서 나타나는 바와 같이 흥행 영화에서는 3주차의 감성점수와 관객 수는 유의적인 양의 상관관계가 있었고(r = 373, p < .05), 비흥행 영화에서는 1주차의 감성점수와 관객 수에서만 유의적인 음의 상관관계가 있는 것으로 나타났다(r = -.438, p < .05).
연구 결과, 첫째로 평점과 관객 수의 상관관계를 3주간으로 각각 나누어 보았을 때, 시간이 지남에 따라 상관계수가 커지면서 뚜렷하게 상관관계를 보였다. 관객 수를 기준으로 하여 영화를 흥행 영화와 비흥행 영화 두 집단으로 나누어 추가적으로 상관분석을 한 결과, 흥행 영화에서는 2, 3주차의 평점과 3주차의 관객 수 간의 양의 상관관계가 나타난 반면, 비흥행 영화에서는 1주차의 평점과 관객 수 간의 음의 상관관계가 나타났다. 다음으로, 감성분석 모델을 통해 산출한 감성점수로 관객 수 간의 상관분석을 한 결과는 평점과 관객 수의 상관분석 결과와 비슷했다.
5080으로 나타났다. 두 그룹에 각각 해당하는 영화들의 평점을 이용하여 t-검정을 한 결과, t(175) = -7.872, p [ .001로99.9% 유의수준에서 유의한 것으로 나타났다. 즉, 이러한 결과는 감성 점수의 평균을 기준으로 하여 영화들의 평점 간 평균을 비교하는 것이 유의미함을 의미한다.
이 연구에서 자질을 개별 어휘 뭉치(bag of individual words)인 유니그램(uni-gram)으로 했다면, Mullen과 Collier(2004)는 유니그램을 원형복원(lemmatization)한 것을 추가적인 자질로 사용하였다. 분류 모델은 지지벡터기를 사용하였는데, 결과적으로 유니그램의 원형복원 자질을 추가했을 때 성능이 향상되었음을 알 수 있다.
분석 결과 첫 주에는 평점과 관객 수 간의 유의한 상관관계가 나타나지 않았으나, 첫 주의 평점과 둘째 주의 관객 수(r = .262, p < .001), 둘째 주의 평점과 둘째 주의 관객 수(r = .304, p < .001), 그리고 셋째 주의 평점과 셋째 주의 관객 수(r = .413, p < .001) 간의 유의적인 양의 상관관계가 나타났다.
연구 결과, 첫째로 평점과 관객 수의 상관관계를 3주간으로 각각 나누어 보았을 때, 시간이 지남에 따라 상관계수가 커지면서 뚜렷하게 상관관계를 보였다. 관객 수를 기준으로 하여 영화를 흥행 영화와 비흥행 영화 두 집단으로 나누어 추가적으로 상관분석을 한 결과, 흥행 영화에서는 2, 3주차의 평점과 3주차의 관객 수 간의 양의 상관관계가 나타난 반면, 비흥행 영화에서는 1주차의 평점과 관객 수 간의 음의 상관관계가 나타났다.
영화 이 가장 많은 73,815개의 리뷰를 보유하고 있는 것으로 나타났고, 영화 가 279개로 가장 적은 리뷰 수를 보였다.
우선, 전체 영화의 주간 감성점수와 관객 수의 상관분석에서는 셋째 주의 감성점수와 둘째, 셋째 주의 관객 수 간의 유의적인 양의 상관관계가 나타났다(r = .224, p < .01).
(2013)의 연구에서 적용한 제한된 볼츠만 기계(restricted boltzmann machine, RBM) 등이 있다. 이 두 연구에서는 모두 딥 러닝을 이용한 감성분석을 통해 기존에 사용되던 학습 분류기보다 더 나은 성능을 보였다.
리뷰 평점이 5점 만점의 4 또는 5점일 때를 긍정으로, 1~3점까지를 부정으로 나누어 학습하는데, 이때 학습 분류기를 나이브 베이즈, 최대 엔트로피, 지지벡터기 세 가지를 이용하여 결과를 비교하였다. 이 실험을 바탕으로 가장 성능이 높은 것은 지지벡터 분류기임을 발견하였다. 이 연구에서 자질을 개별 어휘 뭉치(bag of individual words)인 유니그램(uni-gram)으로 했다면, Mullen과 Collier(2004)는 유니그램을 원형복원(lemmatization)한 것을 추가적인 자질로 사용하였다.
(2009)은 지지벡터기보다 다항 나이브 베이즈 분류기(Multinomial Naive Bayes)가 더 좋은 성능을 보였다는 점을 밝히며 금융 관련 블로그 글의 감성 분석을 시도하였다. 이 연구에서는 감성의 분류를 긍・부정의 이진(binary) 뿐만 아니라 긍・부정, 중립의 삼진(ternary)으로도 실험하였는데, 결과적으로는 긍정과 부정으로 감성분석을 할 때가 더 정확도가 높았다. Pak과 Paroubek(2010)의 연구에서도 지지벡터기보다 다항 나이브 베이즈의 성능이 더 높았기 때문에 이 분류기를 사용했다.
이러한 연구과정을 통해 얻어진 실험 결과를 종합해보면, 본 연구에서는 지도학습을 이용한 문헌 분류 방법 중 나이브 베이즈 분류기나 지지벡터기만을 단순히 감성 분류에 적용한 것이 아닌, 3단계로 구성되는 기계학습 방법을 적용했고, 그 결과 나이브 베이즈 분류기로 구축한 모델 성능에 비해 약 6% 정도의 문헌 분류 정확성 향상을 보였다. 이를 통해 텍스트 마이닝 기법 중 하나인 감성분석에 개선된 문헌 분류 방법을 이용하는 것을 제안할 수 있다는 점에서 의의가 있다.
이에 비해, 비흥행 영화에서는 1주차의 평점과 관객 수에서 유의적인 음의 상관관계가 강하게 나타났다(r = -.571, p < .01).
001) 간의 유의적인 양의 상관관계가 나타났다. 즉, 전체 175편의 영화로 볼 때, 평점과 관객 수 사이에는 시간이 지남에 따라 상관계수가 커지면서 점차 뚜렷한 상관관계가 나타남을 알 수 있다.
Pak과 Paroubek(2010)의 연구에서도 지지벡터기보다 다항 나이브 베이즈의 성능이 더 높았기 때문에 이 분류기를 사용했다. 학습 데이터로써 직접 사람이 감성을 분류한 트윗 데이터를 사용하였고, 확률 언어 모델인 n-gram과 품사 태깅(part-of-speech tagging, POS tagging)을 자질로서 이용했을 때 좋은 결과가 나왔음을 밝혔다.
모델의 성능은 [Table 2]에서 나타나는 바와 같다. 학습 분류기 중 하나인 나이브 베이즈 분류기로 구축한 모델은 정확성이 79.9%를 나타낸 반면, 본 연구에서 제안하는 분류 모델은 86%의 정확성을 보여 비교적 좋은 성능을 보임을 알 수 있다.
후속연구
그리고 실제로 영화의 관객 수, 즉 흥행은 영화를 본 관객의 리뷰뿐만 아니라 스크린 수, 개봉 시점, 배우 및 감독 등의 다양한 변수의 영향을 받는다. 다만, 본 연구에서는 텍스트 마이닝 기반 감성분석 연구에 초점을 맞춤으로써 이와 같은 다양한 변수를 고려한 연구가 이루어지지 못하였다. 따라서 평점과 감성점수가 흥행과 연관이 있음을 밝히는 것을 넘어, 다양한 변수들과 함께 고려했을 때 실제로 흥행에 영향을 미치는 관계로 나타나는지에 대한 추후 연구가 이루어진다면 본 연구의 한계점을 보완하며 더욱 완성도 높은 영화 흥행 관련 연구로 이어질 수 있을 것이다.
다만, 본 연구에서는 텍스트 마이닝 기반 감성분석 연구에 초점을 맞춤으로써 이와 같은 다양한 변수를 고려한 연구가 이루어지지 못하였다. 따라서 평점과 감성점수가 흥행과 연관이 있음을 밝히는 것을 넘어, 다양한 변수들과 함께 고려했을 때 실제로 흥행에 영향을 미치는 관계로 나타나는지에 대한 추후 연구가 이루어진다면 본 연구의 한계점을 보완하며 더욱 완성도 높은 영화 흥행 관련 연구로 이어질 수 있을 것이다.
이러한 연구의 의의가 있음에도 불구하고, 본 연구에서는 영화의 평점과 관객 수, 그리고 감성점수와 관객 수의 상관관계만을 비교 분석해 보았다는 점에서 한계가 있다. 이미 기존의 영화의 흥행과 관련된 연구에서는 스크린 수 등의 특정적인 몇 가지 변수가 영화의 흥행에 상당한 영향을 미친다는 점을 밝힌 바가 있다(박승현 외.
질의응답
핵심어
질문
논문에서 추출한 답변
단어 리스트란 무엇을 의미하는가?
다음 과정은 사전과 어휘 리스트 구축이다. 이 과정에서 구축되는 사전은 말뭉치(bag of words)와 같이 단어가 단순히 나열된 것이고, 단어 리스트는 단어의 출현 횟수를 기반으로 내림차순으로 정렬되어있는 것을 의미한다. 전처리를 통해 품사 태깅을 거친 텍스트는 긍정 형용사(positive adj.
영화 리뷰가 의견 분석이 가능한 데이터인 이유는 무엇인가?
영화 리뷰는 감성분석 연구에서 자주 활용되는, 특정 대상(각 영화)에 대한 의견 분석이 가능한 데이터이다. 왜냐하면 리뷰는 영화를 먼저 본 사람들의 평가로써 아직 영화를 보지 않은 사람들에게 큰 영향을 미칠 수 있기 때문이다(Neelamegham and Chintagunta, 1999). 또한 영화 리뷰 데이터는 이용자가 직접 리뷰와 함께 평점(star rating)을 남길 수 있다는 특징이 있다.
오피니언 마이닝 혹은 감성분석은 무엇을 위해 사용되는가?
누구나 제품 및 서비스를 이용하고 그 평가를 인터넷에 자유롭게 남길 수 있으며, 회사 및 조직은 이러한 고객의 리뷰, 즉 피드백을 이용하여 이익을 창출하기 위해 리뷰 데이터를 다방면으로 분석하는 시대이다. 오피니언 마이닝 혹은 감성분석은 텍스트 마이닝 기법중 하나로, 어떠한 사용자가 생성한 온라인 텍스트 속에 담긴 감성(sentiment), 정서(affect), 주관(subjectivity), 또는 감정(emotion)을 식별하기 위해 사용된다(Chen and Zimbra, 2010). 즉, 감성분석을 통해 이용자가 제품 또는 서비스로부터 어떠한 느낌을 받았는지 파악하기 위한 것이다.
참고문헌 (42)
Airoldi, E., X. Bai and R. Padman, "Markov blankets and meta-heuristics search: sentiment extraction from unstructured texts," Proceedings of International Workshop on Knowledge Discovery on the Web, (2004), 167-187.
Amplayo, R. K. and J. Occidental, "Multi-level classifier for the detection of insults in social media," Proceedings of 15th Philippine Computing Science Congress, (2015).
Annett, M. and G. Kondrak, "A comparison of sentiment analysis techniques: Polarizing movie blogs," Advances in Artificial Intelligence, (2008), 25-35.
Appel, O., F. Chiclana and J. Carter, "Main concepts, state of the art and future research questions in sentiment analysis," Acta Polytechnica Hungarica, Vol.12, No.3(2015), 87-108.
Asur, S. and B. A. Huberman, "Predicting the future with social media. In Web Intelligence and Intelligent Agent Technology (WI-IAT)," Proceedings of 2010 IEEE/WIC/ACM International Conference, (2010), 492-299.
Chen, Y. and J. Xie, 'Online consumer review: Word-of-mouth as a new element of marketing communication mix," Management Science, Vol.54, No.3(2008), 477-491.
Chevalier, J. A. and D. Mayzlin, "The effect of word of mouth on sales: Online book reviews," Journal of Marketing Research, Vol.43, No.3(2006), 345-354.
Cui, G., H. K. Lui and X. Guo, "The effect of online consumer reviews on new product sales," International Journal of Electronic Commerce, Vol.17, No.1(2012), 39-58.
Dellarocas, C., N. Awad and M. Zhang, "Using online ratings as a proxy of word-of-mouth in motion picture revenue forecasting," Smith School of Business, University of Maryland, 2005.
Duan, W. and A. B. Whinston, "The dynamics of online word-of-mouth and product sales-An empirical investigation of the movie industry," Journal of Retailing, Vol.84, No.2(2008), 233-242.
Ferguson, P., N. O'Hare, M. Davy, A. Bermingham, P. Sheridan, C. Gurrin and A. F. Smeaton, "Exploring the use of paragraph-level annotations for sentiment analysis of financial blogs," Proceedings of WOMAS 2009-Workshop on Opinion Mining and Sentiment Analysis, (2009).
Ghose, Al, and P. G. Ipeirotis, "Estimating the helpfulness and economic impact of product reviews: Mining text and reviewer characteristics," Knowledge and Data Engineering, IEEE Transactions on, Vol.23, No.10(2011), 1498-1512.
Glorot, X., A. Bordes and Y. Bengio, "Domain adaptation for large-scale sentiment classification: A deep learning approach," Proceedings of the 28th International Conference on Machine Learning, (2011), 513-520.
Heo, M. H., P. S. Kang and S. Cho, "Predicting Box-office with Opinion mining reviews," Proceedings of the Korean Operations and Management Science Society Conference, (2013), 487-500.
Hu, Z., W. Ding and X. Zheng, "Review sentiment analysis based on deep learning," Proceedings of e-Business Engineering (ICEBE) 2015 IEEE 12th International Conference, (2015), 87-94.
Jakob, N., S. H. Weber, M. C. Muller and I. Gurevych, "Beyond the stars: exploiting free-text user reviews to improve the accuracy of movie recommendations," Proceedings of the 1st international CIKM workshop on Topic-sentiment analysis for mass opinion, (2009), 57-64.
Jo, S. Y., H.-K. Kim, B. Kim and H.-W. Kim, "Predicting Movie Revenue by Online Review Mining : Using the Opening Week Online Review," Information Systems Review, Vol.16, No.3(2014), 113-134.
Jung, Y., Research in Information Retrieval, revised edition, Yonsei University Press, 2012.
Kennedy, A. and D. Inkpen, "Sentiment classification of movie reviews using contextual valence shifters," Computational intelligence, Vol.22, No.2(2006), 110-125.
Kim, M. H., S. E. Kim and Y. J. Choi, "The Determinants of Box-office Performance of Korean Films and Implications for Policies," Film Studies, No.46(2010), 31-56.
Kim, Y. H. and J. H. Hong, "A Study for the Development of Motion Picture Box-office Prediction Model," Communications for Statistical Applications and Methods, Vol.18, No.6(2011), 859-869.
Kim, S. H. and J. M. Han, "An Analysis of Motion Picture Box Office Performance : Focusing on Korean Movies Released in 2012," Social Science Studies, Vol.53, No.1 (2014), 191-214.
Konig, A. C. and E. Brill, "Reducing the human overhead in text categorization," Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, (2006), 598-603.
Krauss, J., S. Nann, D. Simon, P. A. Gloor and K. Fischbach, "Predicting Movie Success and Academy Awards through Sentiment and Social Network Analysis," In ECIS, (2008), 2026-2037.
Lee, K. J. and W. J. Jang, "Predicting Financial Success of a Movie Using Bayesian Choice Model," Proceedings of the Korean Operations and Management Science Society Conference, (2006), 1428-1433.
Liu, B., "Sentiment analysis and opinion mining," Synthesis Lectures on Human Language Technologies, Vol.5, No.1(2012), 1-167.
Melville, P., W. Gryc and R. D. Lawrence, "Sentiment analysis of blogs by combining lexical knowledge with text classification," Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, (2009), 1275-1284.
Mullen, T. and N. Collier, "Sentiment analysis using support vector machines with diverse information sources," Proceedings of Empirical Methods in Natural Language Processing, (2004), 412-418.
Neelamegham, R. and P. Chintagunta, "A Bayesian model to forecast new product performance in domestic and international markets," Marketing Science, Vol.18, No.2(1999), 115-136.
Oh, Y.-J. and S.-H. Chae, "Movie Rating Inference by Construction of Movie Sentiment Sentence using Movie comments and ratings," Journal of Internet Computing and Services, Vol.16, No.2(2015), 41-28.
Pagano, D. and W. Maalej, "User feedback in the appstore: An empirical study," Proceedings of Requirements Engineering Conference, 2013 21st IEEE International, (2013), 125-134.
Pak, A. and P. Paroubek, "Twitter as a corpus for sentiment analysis and opinion mining," Proceedings of the Seventh International Conference on Language Resources and Evaluation, (2010), 1320-1326.
Pang, B., L. Lee and S. Vaithyanathan, "Thumbs up?: sentiment classification using machine learning techniques," Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing, (2002), 79-86.
Pang, B. and L. Lee, "Opinion mining and sentiment analysis," Foundations and Trends in Information Retrieval, Vol.2, No.1-2 (2008), 1-135.
Park, S. H. and H.-J. Song, "Word of Mouth and Box Office Performance: WOM's Impact on Weekly Box Office Revenues," Korean Journal of Journalism and Communication Studies, Vol.56, No.4(2012), 210-235.
Park, S. H., H.-J. Song and W.-K. Jung, "The Determinants of Motion Picture Box Office Performance : Evidence from Korean Movies Released in 2009-2010," Journal of Communication Science, Vol.11, No.4(2011), 231-258.
Sarvabhotla, K., P. Pingali and V. Varma, "Supervised learning approaches for rating customer reviews," Journal of Intelligent Systems, Vol.19, No.1(2010), 79-94.
Seroussi, Y., F. Bohnert and I. Zukerman, "Personalised rating prediction for new users using latent factor models," Proceedings of the 22nd ACM conference on Hypertext and hypermedia, (2011), 47-56.
Shin, J. and H. Kim, "A Robust Pattern-based Feature Extraction Method for Sentiment Categorization of Korean Customer Reviews," Journal of KIISE : Software and Applications, Vol.37, No.12(2010), 946-950.
Wyatt, J., "High concept, product differentiation, and the contemporary US film industry," Current Research in Film: Audiences, Economics and Law, Vol.5(1991), 86-105.
Yanagimoto, H., M. Shimada and A. Yoshimura, "Document similarity estimation for sentiment analysis using neural network". Proceedings of Computer and Information Science (ICIS), 2013 IEEE/ACIS 12th International Conference, (2013), 105-110.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.