선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 평점이 있는 온라인 리뷰에서 리뷰 텍스트에 기반한 평점의 다범주 분류문제를 고려한다. 관련된 선행 연구로는 다음과 같은 것들이 있다.
제안 방법
- 본 연구에서는 온라인 리뷰 텍스트에서 평점을 잘 예측하는 단어들을 추출하기 위해 Lee와 Hong (2015)처럼 카이제곱 통계량을 활용하여 평점과 연관성이 높은 단어들을 추출한다. 또한 추출된 단어들을 입력변수로 이용하여 지지벡터기계 (support vector machine)와 비례오즈 모형 (proportional odds model) 등 여러 가지 다범주 분류 알고리즘을 이용하여 평점에 대한 예측력을 비교한다.
- 본 논문에서는 다범주 지지벡터기계 알고리즘으로 OVR (one versus rest), OVO (one versus one), OVN (one versus the next), OVNF (OVN + forward)을 고려한다. 이들중 OVN과 OVNF는 평점의 순서성을 고려하는 방법이고 OVR과 OVO는 평점의 순서성을 고려하지 않는 방법으로 볼 수 있다.
- 본 논문에서는 카이제곱 통계량을 이용하여 온라인 리뷰 데이터에서 평점과 연관성이 높은 단어들을 추출한 후 각 리뷰에서 추출된 단어들의 출현빈도를 이용하여 평점을 예측하는 다범주 분류문제를 고려하였다. 우선 분석에 사용된 데이터의 특징을 살펴보면, 긍정과 부정으로 이루어진 이진 분류 보다는 범주의 갯수가 3개 정도의 다범주 분류가 적합한 것으로 보이며, 특정 단어들이 나오는지 여부가 클래스와 연관성이 매우 큰 것으로 보인다.
- 이 절에서는 모의실험과 실제 온라인 리뷰 데이터에 대하여 2절에서 논의한 다범주 분류방법들의 예측 성능을 비교한다. 모든 데이터 분석은 R을 이용하였다.
- 우선 분석에 사용된 데이터의 특징을 살펴보면, 긍정과 부정으로 이루어진 이진 분류 보다는 범주의 갯수가 3개 정도의 다범주 분류가 적합한 것으로 보이며, 특정 단어들이 나오는지 여부가 클래스와 연관성이 매우 큰 것으로 보인다. 이범주 지지벡터기계에 기반한 여러 가지 다범주 지지벡터기계와 비례오즈 모형의 성능을 모의실험 및 실제 영화와 게임 리뷰 데이터 분석을 통하여 비교하였다. 모의실험에서는 OVN과 OVR의 성능이 전반적으로 높게 나오는 반면 실제 데이터에서는 비례오즈 모형의 성능이 높게 나온 것으로 보아 예측성능이 데이터의 특성에 따라 달라짐을 알 수 있다.
- 지지벡터에 대한 자세한 소개는 Vapnik (1995)을 참고할 수 있다. 지지벡터기계를 클래스의 갯수가 세개 이상인 다범주 분류로 확장하는 방법은 여러가지가 있는데, 본 연구에서는 이진 분류의 지지벡터기계를 반복적으로 적용하는 방법만을 고려하기로 한다. 우선 몇 가지 기호를 도입하면 다음과 같다.
- 본 연구에서의 Lee와 Hong (2015)에서 설명한 방식대로 전처리를 하였다. 첫째, 텍스트 데이터들에 있는 불용어들을 제거하고 남는 단어들에 대하여 형용사, 부사, 동사, 명사의 4품사에 대한 정보를 갖는 범주형 변수를 생성하였다. 둘째, 평점 (= 1, .
- 이 웹사이트에서 2015년 1월부터 2015년 6월까지 개봉된 영화에 대한 리뷰들을 수집하였다. 평점이 1점에서 3점인 경우를 클래스 1, 4점에서 7점인 경우를 클래스 2, 8점에서 10점을 클래스 3으로 하였고, 각 클래스의 주변확률에 비례하여 총 7,000개의 리뷰들을 가져와 전처리 하였다.
- 현재 운영되고 있는 웹 사이트로부터 영화, 앱게임 등에 관한 리뷰와 평점을 웹 스크랩 (web scraping) 기법으로 가져와서 2절에 설명된 텍스트에 대한 전처리를 하였다. R을 이용하여 웹 데이터를 스크랩하는 기법은 Munzert 등 (2015)을 참고하기 바란다.
- 매 분할에서는 전체 리뷰 데이터를 훈련과 시험데이터로 1:1로 랜덤하게 분할하였다. 훈련데이터를 이용하여 카이제곱 검정의 p-값 0.001이하인 단어들을 추출하고, 추출된 단어들이 리뷰에 나오는 횟수와 평점을 각각 입력 및 출력변수로 놓고 다범주 분류방법들을 적용하였다. 시험데이터에서는 각 분류방법에 대하여 M-AUC값을 구하였다.
대상 데이터
- 모의실험은 각 시나리오별로 다음과 같이 실시하였다. 앞에서 설명한 데이터 생성 방법에 따라 5,000개의 데이터를 생성하여 1,000개는 훈련데이터로 사용하고 나머지는 시험데이터로 사용하였다. 각 방법들의 객관적인 비교를 위하여 데이터 생성 및 분할, 모형 적합 및 예측의 전 과정을 100회 반복하여 M-AUC의 평균과 표준오차를 구하였다.
- com에서는 이용자들로부터 얻은 영화들에 대한 10점 척도의 평점과 리뷰를 제공한다. 이 웹사이트에서 2015년 1월부터 2015년 6월까지 개봉된 영화에 대한 리뷰들을 수집하였다. 평점이 1점에서 3점인 경우를 클래스 1, 4점에서 7점인 경우를 클래스 2, 8점에서 10점을 클래스 3으로 하였고, 각 클래스의 주변확률에 비례하여 총 7,000개의 리뷰들을 가져와 전처리 하였다.
- com)에서는 이용자들이 구매한 앱게임에 대한 5점 척도의 평점 및 리뷰를 제공한다. 적절성 (relevance), 최신순 (new release)의 정렬 기준에 따라 나오는 143개의 앱게임에서 상위 10개의 리뷰를 각 평점별로 스크랩하여 총 7,150개의 리뷰 데이터를 얻었다.
데이터처리
- 앞에서 설명한 데이터 생성 방법에 따라 5,000개의 데이터를 생성하여 1,000개는 훈련데이터로 사용하고 나머지는 시험데이터로 사용하였다. 각 방법들의 객관적인 비교를 위하여 데이터 생성 및 분할, 모형 적합 및 예측의 전 과정을 100회 반복하여 M-AUC의 평균과 표준오차를 구하였다. Table 3.
- 둘째, 평점 (= 1, . . . , J)과 연관성이 높은 단어들을 추출하기 위하여 Table 2.1과 같이 각 단어를 포함하는 리뷰와 포함하지 않는 리뷰에 대하여 2 × J 분할표를 작성하고, 카이제곱 통계량을 활용하여 단어의 출현 유무에 따른 분포의 동일성 검정을 수행하여 특정 단어와 리뷰의 평점간의 연관성을 계량화하였다.
- 001이하인 단어들을 추출하고, 추출된 단어들이 리뷰에 나오는 횟수와 평점을 각각 입력 및 출력변수로 놓고 다범주 분류방법들을 적용하였다. 시험데이터에서는 각 분류방법에 대하여 M-AUC값을 구하였다. 이러한 전 과정을 100회 반복하여 Table 3.
- 시험데이터에서는 각 분류방법에 대하여 M-AUC값을 구하였다. 이러한 전 과정을 100회 반복하여 Table 3.5과 Table 3.6와 같이 M-AUC의 평균과 표준오차를 구하였다.
- 이제 데이터에 대한 랜덤분할을 통하여 여러 가지 지지벡터기계와 비례오즈 모형의 성능을 비교하기로 한다. 매 분할에서는 전체 리뷰 데이터를 훈련과 시험데이터로 1:1로 랜덤하게 분할하였다.
이론/모형
- 본 연구에서는 다범주 분류문제에서 정분류율보다 더 나은 예측력 평가측도로 알려진 Hand와 Till (2001)의 M-AUC (multi-class area under the curve)를 평가기준으로 사용한다. M-AUC를 정의하기 위해 몇 가지 기호를 도입하면 다음과 같다.
- 본 연구에서는 온라인 리뷰 텍스트에서 평점을 잘 예측하는 단어들을 추출하기 위해 Lee와 Hong (2015)처럼 카이제곱 통계량을 활용하여 평점과 연관성이 높은 단어들을 추출한다. 또한 추출된 단어들을 입력변수로 이용하여 지지벡터기계 (support vector machine)와 비례오즈 모형 (proportional odds model) 등 여러 가지 다범주 분류 알고리즘을 이용하여 평점에 대한 예측력을 비교한다.
- 본 연구에서의 Lee와 Hong (2015)에서 설명한 방식대로 전처리를 하였다. 첫째, 텍스트 데이터들에 있는 불용어들을 제거하고 남는 단어들에 대하여 형용사, 부사, 동사, 명사의 4품사에 대한 정보를 갖는 범주형 변수를 생성하였다.
성능/효과
- 2로부터 모의실험 결과를 해석해 보면 다음과 같다. d값이 커질수록 각 방법간의 예측력 차이가 뚜렷해지며, 클래스간의 비율에서 불균형 (imbalance)이 심해질수록 방법들은 성능이 전반적으로 떨어지는 패턴을 보인다. d값이 작은 경우 (시나리오 A)의 경우에는 클래스 비율이 1:1:1 혹은 1:2:2일 때 비례오즈 모형은 다른 방법에 비하여 성능이 상대적으로 좋게 나타났다.
- 앱게임 리뷰의 경우 M-AUC는 비례오즈 모형, OVN, OVO, OVR, OVNF 순으로 나타났다. 두 데이터 모두에서 비례오즈 모형의 성능이 제일 좋은 것으로 볼 때, 클래스 간의 분류경계가 절편차이로 평행한 직선으로 비교적 잘 표현된다고 볼 수 있다. 또한 모의실험과 유사 하게 OVO도 비교적 안정적인 성능을 보인다.
- 1 (b)와 (c)는 각각 적절성, 최신순으로 선택된 리뷰에 대한 워드클라우드를 보여준다. 두 워드클라우드를 비교해 보면 최신순으로 선택된 게임 리뷰에서 추출된 단어들의 갯수가 상대적으로 적다는 것을 확인할 수 있다. 이는 최신 앱게임에 대한 리뷰 문서의 분량이 적절성순으로 정렬한 리뷰들에 비해서 상대적으로 적음을 의미한다.
- 평점과 내용을 같이 작성하는 리뷰 데이터에서는 텍스트 뿐 만 아니라 선호도를 나타내는 정량적인 평점이 같이 관측된다. 따라서 단어의 출현빈도와 평점과의 연관성을 반영하여 분석에 사용할 적절한 갯수의 단어들을 추출하여 분석하는 것이 효율적이다.
- 이범주 지지벡터기계에 기반한 여러 가지 다범주 지지벡터기계와 비례오즈 모형의 성능을 모의실험 및 실제 영화와 게임 리뷰 데이터 분석을 통하여 비교하였다. 모의실험에서는 OVN과 OVR의 성능이 전반적으로 높게 나오는 반면 실제 데이터에서는 비례오즈 모형의 성능이 높게 나온 것으로 보아 예측성능이 데이터의 특성에 따라 달라짐을 알 수 있다. 추가적인 모의실험과 실제 데이터의 분석을 통하여 더 연구해 볼 필요가 있을 것으로 생각된다.
- 본 논문에서는 카이제곱 통계량을 이용하여 온라인 리뷰 데이터에서 평점과 연관성이 높은 단어들을 추출한 후 각 리뷰에서 추출된 단어들의 출현빈도를 이용하여 평점을 예측하는 다범주 분류문제를 고려하였다. 우선 분석에 사용된 데이터의 특징을 살펴보면, 긍정과 부정으로 이루어진 이진 분류 보다는 범주의 갯수가 3개 정도의 다범주 분류가 적합한 것으로 보이며, 특정 단어들이 나오는지 여부가 클래스와 연관성이 매우 큰 것으로 보인다. 이범주 지지벡터기계에 기반한 여러 가지 다범주 지지벡터기계와 비례오즈 모형의 성능을 모의실험 및 실제 영화와 게임 리뷰 데이터 분석을 통하여 비교하였다.
- 본 연구에 대한 후속 연구 방향으로는 다음과 같은 것들을 생각해 볼 수 있다. 첫째, 비례오즈 모형에 대하여 스플라인 기저 등을 이용한 일반화 가법모형 (generalized additive model)을 고려할 수 있다. 순서성을 반영해야 하므로 추정된 분류경계들간에 엇갈림이 없는 조건 (non-crossing constraint)하에서 추정해야 할 것이다.
후속연구
- 비선형 비례오즈 모형은 더 다양한 분류경계를 모형화 할 수 있기 때문에 예측력을 더욱 높여줄 수 있을 것으로 기대된다. 둘째, 의사결정 보류 옵션 (reject option)을 가지는 지지 벡터기계나 순위 모형 (ranking model)에 기반한 방법 등도 고려해 볼 수 있을 것이다.
- 순서성을 반영해야 하므로 추정된 분류경계들간에 엇갈림이 없는 조건 (non-crossing constraint)하에서 추정해야 할 것이다. 비선형 비례오즈 모형은 더 다양한 분류경계를 모형화 할 수 있기 때문에 예측력을 더욱 높여줄 수 있을 것으로 기대된다. 둘째, 의사결정 보류 옵션 (reject option)을 가지는 지지 벡터기계나 순위 모형 (ranking model)에 기반한 방법 등도 고려해 볼 수 있을 것이다.
- 첫째, 비례오즈 모형에 대하여 스플라인 기저 등을 이용한 일반화 가법모형 (generalized additive model)을 고려할 수 있다. 순서성을 반영해야 하므로 추정된 분류경계들간에 엇갈림이 없는 조건 (non-crossing constraint)하에서 추정해야 할 것이다. 비선형 비례오즈 모형은 더 다양한 분류경계를 모형화 할 수 있기 때문에 예측력을 더욱 높여줄 수 있을 것으로 기대된다.
- 모의실험에서는 OVN과 OVR의 성능이 전반적으로 높게 나오는 반면 실제 데이터에서는 비례오즈 모형의 성능이 높게 나온 것으로 보아 예측성능이 데이터의 특성에 따라 달라짐을 알 수 있다. 추가적인 모의실험과 실제 데이터의 분석을 통하여 더 연구해 볼 필요가 있을 것으로 생각된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.