문서를 대상으로 한 다양한 감정 분류 연구가 진행되어 왔으며, 최근에는 트윗 감정 분류에 그대로 적용되고 있다. 그러나 이러한 연구들은 트윗의 구조, 이모티콘, 철자 오류 그리고 신조어와 같은 트윗의 특징을 고려하지 않아 좋은 성능을 보이지 못하고 있다. 본 논문에서는 기계학습을 기반으로 다양한 자질을(이모티콘 극성, 리트윗 극성, 사용자 극성, 대체 어휘)사용하여 실험하여 트윗 감정 분류 성능의 영향을 확인하였다. 기계 학습기 SVM(Support Vector Machine) 기반의 감정 분류 실험으로 이모티콘 극성 자질과 사용자 극성 자질이 트윗 감정 분류 모델의 성능 향상에 기여를 하는 것을 알 수 있었다. 이와 비교하여 리트윗 극성과 대체 어휘 자질은 트윗 감정 분류 모델에 큰 영향이 없는 것을 알 수 있었다.
문서를 대상으로 한 다양한 감정 분류 연구가 진행되어 왔으며, 최근에는 트윗 감정 분류에 그대로 적용되고 있다. 그러나 이러한 연구들은 트윗의 구조, 이모티콘, 철자 오류 그리고 신조어와 같은 트윗의 특징을 고려하지 않아 좋은 성능을 보이지 못하고 있다. 본 논문에서는 기계학습을 기반으로 다양한 자질을(이모티콘 극성, 리트윗 극성, 사용자 극성, 대체 어휘)사용하여 실험하여 트윗 감정 분류 성능의 영향을 확인하였다. 기계 학습기 SVM(Support Vector Machine) 기반의 감정 분류 실험으로 이모티콘 극성 자질과 사용자 극성 자질이 트윗 감정 분류 모델의 성능 향상에 기여를 하는 것을 알 수 있었다. 이와 비교하여 리트윗 극성과 대체 어휘 자질은 트윗 감정 분류 모델에 큰 영향이 없는 것을 알 수 있었다.
Various studies on sentiment classification of documents have been performed. Recently, they have been applied to twitter sentiment classification. However, they did not show good performances because they did not consider the characteristics of tweets such as tweet structure, emoticons, spelling er...
Various studies on sentiment classification of documents have been performed. Recently, they have been applied to twitter sentiment classification. However, they did not show good performances because they did not consider the characteristics of tweets such as tweet structure, emoticons, spelling errors, and newly-coined words. In this paper, we perform experiments on various input features (emoticon polarity, retweet polarity, author polarity, and replacement words) which affect twitter sentiment classification model based on machine-learning techniques. In the experiments with a sentiment classification model based on a support vector machine, we found that the emoticon polarity features and the author polarity features can contribute to improve the performance of a twitter sentiment classification model. Then, we found that the retweet polarity features and the replacement words features do not affect the performance of a twitter sentiment classification model contrary to our expectations.
Various studies on sentiment classification of documents have been performed. Recently, they have been applied to twitter sentiment classification. However, they did not show good performances because they did not consider the characteristics of tweets such as tweet structure, emoticons, spelling errors, and newly-coined words. In this paper, we perform experiments on various input features (emoticon polarity, retweet polarity, author polarity, and replacement words) which affect twitter sentiment classification model based on machine-learning techniques. In the experiments with a sentiment classification model based on a support vector machine, we found that the emoticon polarity features and the author polarity features can contribute to improve the performance of a twitter sentiment classification model. Then, we found that the retweet polarity features and the replacement words features do not affect the performance of a twitter sentiment classification model contrary to our expectations.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
다음 사용자 극성 자질은 특정 현상에 대해서 각 사용자가 작성한 트윗 전체에 대하여 감정을 판별하고 자질로 사용함으로써 감정 분류 시스템 성능 향상이 있었으나, 학습 데이터에 입력된 사용자 극성이 없는 경우는 사용자 극성 자질 적용이 어렵기 때문에 이를 보완하기 위한 연구가 필요하다. 마지막으로 대체 어휘 자질에 대한 감정 분류 실험은 자의적인 문법 오류 때문에 많은 미등록어가 발생되어 추출 할 수 있는 자질이 부족하게 되는 문제를 보완하기 위한 목적이었다. 그러나 문자 사이의 유사도만을 사용하여 선택된 대체 어휘 자질은 감정 분류 성능에 큰 영향이 없었다.
트윗 데이터의 감정 분류 연구는 높은 필요성에도 불구하고 트윗 데이터의 특징 때문에 높은 성능의 감정 분류 시스템 구현이 어렵다. 본 논문에서는 이와 같은 문제를 위하여 트윗 데이터의 특징을 활용하여 다양한 내부 자질 적용하고 감정 분류 모델 구현하였다. 그리고 각 모델 성능 비교 실험으로 적용된 자질이 감정 분류 모델에 끼치는 영향을 확인하였다.
본 논문에서는 트위터 데이터의 다양한 내부자원을 활용하여 감정 분류 시스템 구현하고, 성능 비교 실험으로 트위터 데이터 감정 분류를 위한 적합한 내부 자질 활용을 소개 한다.
따라서 형태소 오분석을 보완하는 연구나 형태소 분석기를 사용하지 않고 자질을 추출하여 사용하는 연구가 필요하다. 본 논문에서는 형태소 분석기의 오분석을 보완할 수 있는 자질 적용 방법을 소개한다.
본 논문의 목적은 기계학습 모델의 구현이 아니라 트윗 감정 분류에 영향을 미치는 여러 자질들을 비교 평가하는 것이기 때문에 문서 분류에 좋은 성능을 보이는 SVM(Support Vector Machine)을 기준 모델로 선택하여 트윗 감정분류 시스템을 구축하였다[16]. 실험 결과를 평가가기 위해서는 10배 교차 검증(10-fold cross validation)으로 진행하였으며, 재현률(recall), 정확률(precision), 정밀도(accuracy), F1-척도(F1-measure)를 이용하여 성능을 비교하였다.
그러나 이모티콘은 특별한 형식이 없이 다양한 형태로 나타나기 때문에 감정 분류 시스템의 자질로 사용하는데 어려움이 많다. 이러한 문제를 해결하기 위해서 본 논문에서는 이모티콘에 많이 사용되는 몇 가지의 문자와 영어권에서 많이 사용되는 이모티콘을 대상으로 긍정과 부정으로 나누어 극성을 부여한다[7]. [표 2]는 이모티콘의 감정 극성을 판별하기 위한 긍정 문자와 부정 문자를 나타낸다.
가설 설정
두 번째 실험 자질은 리트윗 극성이다. 리트윗 극성 자질은 트윗 사용자가 다른 사용자의 글을 리트윗 할 때 리트윗 된 트윗의 감정과 리트윗한 사용자의 감정이 연관성을 가진다는 가정 하에 추가한 자질이다. 우선 사용자에 의하여 처음으로 작성된 트윗을 Seed 트윗으로 정의하고, 기본 어휘 자질을 추출한 Seed 트윗과 감정 태그를 쌍으로 Seed 코퍼스를 작성한다.
제안 방법
본 논문에서는 이와 같은 문제를 위하여 트윗 데이터의 특징을 활용하여 다양한 내부 자질 적용하고 감정 분류 모델 구현하였다. 그리고 각 모델 성능 비교 실험으로 적용된 자질이 감정 분류 모델에 끼치는 영향을 확인하였다. 우선 이모티콘 감정 극성 자질의 적용으로 특수 문자열에 의한 노이즈 발생을 최소화 할 뿐만 아니라 감정 분류 시스템 성능향상을 볼 수 있었다.
그리고 기본 자질에 트윗 컨텐츠(tweet contents)로부터 추출할 수 있는 4가지 자질을 추가하면서 감정 분류 시스템의 성능을 비교 실험한다.
그리고 단계 3에서 유사도가 가장 큰 자질인 “좋아요”를 대체 어휘 자질로 선택하여 “좋아용” 대신에 “좋아요”를 자질로 추출한다.
본 논문에서는 95% 정도의 형태소 단위 정확률을 보이는 형태소 분석기를 이용하여 추출한 어휘 자질을 기본 자질로 사용한다[13][14]. 기본 어휘 자질은 “명사”, “동사”, “형용사”, “부사”, “보조용언”, “미등록어”, “외국어”로 총 8가지의 품사를 사용하였다.
본 논문에서는 앞서 설명한 4가지의 자질에 적용에 따라 총 10가지의 실험을 진행 하였다. [표 6]은 실험 데이터 평균과 각 자질의 비율을 나타낸다.
이러한 정보량 분산 문제를 줄이기 위해서 본 논문에서는 아이디를 “USERID”로, 링크를 “URL”로, 이메일 주소를 “EMAIL”과 같은 형태로 변환하는 정제 과정을 거친다.
트윗의 경우에 형태소 분석기에 등록되지 않은 미등록어가 많이 발생하기 때문에 학습 자질에 없는 어휘가 입력 자질로 추출되는 경우가 빈번하다. 이를 보완하기 위해서 본 논문에서는 입력된 어휘 자질이 학습 자질에 포함되지 않는 경우에 문자간 유사도를 계산하여 가장 큰 학습 자질을 대체 어휘로 사용한다. 어휘 간 문자 유사도는 수식 (1)에서 보는 것과 같이 편집거리(edit distance)와 최장 공통 부분수열(LCS; longest common subsequence)을 사용하여 계산한다[15].
입력 어휘 자질과 학습 어휘 자질에 대하여 유사도를 계산하고 가장 큰 값을 기준으로 정규화를 수행한 후, 임계값(실험치 0.4) 이상의 최대값을 갖는 학습 어휘 자질을 대체 어휘로 선택한다.
대상 데이터
기본 어휘 자질은 “명사”, “동사”, “형용사”, “부사”, “보조용언”, “미등록어”, “외국어”로 총 8가지의 품사를 사용하였다.
두 번째 실험 자질은 리트윗 극성이다. 리트윗 극성 자질은 트윗 사용자가 다른 사용자의 글을 리트윗 할 때 리트윗 된 트윗의 감정과 리트윗한 사용자의 감정이 연관성을 가진다는 가정 하에 추가한 자질이다.
본 논문에서 사용된 트윗 데이터는 “KT 무선 네트워크 3G 품질”을 주제로 수집한 것으로 1명의 자연어 처리 전공 석사과정 학생이 긍정과 부정에 해당하는 감정태그를 부착하였다.
첫 번째 실험 자질은 이모티콘(emoticon)의 극성(polarity)이다. 트윗 사용자들은 자신의 감정을 축약하여 표현하기 위해서 이모티콘을 자주 사용한다.
데이터처리
24% 낮아지는 것을 볼 수 있으며, 이를 근거로 이모티콘 극성 자질이 감정 분류 시스템 성능향상에 가장 큰 영향을 주는 것을 알 수 있었다. 또한 이모티콘 극성 자질의 성능 영향을 검증하기 위하여 실험 A와 B 사이의 T-검정을 사용하였다. 그 결과 신뢰수준 95%에서 실험 A와 실험 B 간에 유의한 차이가 있는 것을 확인하였다(p-value=0.
본 논문의 목적은 기계학습 모델의 구현이 아니라 트윗 감정 분류에 영향을 미치는 여러 자질들을 비교 평가하는 것이기 때문에 문서 분류에 좋은 성능을 보이는 SVM(Support Vector Machine)을 기준 모델로 선택하여 트윗 감정분류 시스템을 구축하였다[16]. 실험 결과를 평가가기 위해서는 10배 교차 검증(10-fold cross validation)으로 진행하였으며, 재현률(recall), 정확률(precision), 정밀도(accuracy), F1-척도(F1-measure)를 이용하여 성능을 비교하였다.
성능/효과
B, C, D ,E는 A를 기준으로 각각 이모티콘 극성 자질, 리트윗 극성 자질, 사용자 극성 자질, 대체 어휘 자질을 적용했을 때의 시스템 성능을 나타낸다. A와 비교하여 이모티콘 극성 자질을 적용한 B는 F1-척도 84.96%로 약 1.7%의 성능 향상을 볼 수 있었다. 리트윗 극성 자질을 사용한 C와, 사용자 극성 자질을 사용한 D는 A와 비교하여 F1-척도 결과가 83.
또한 이모티콘 극성 자질의 성능 영향을 검증하기 위하여 실험 A와 B 사이의 T-검정을 사용하였다. 그 결과 신뢰수준 95%에서 실험 A와 실험 B 간에 유의한 차이가 있는 것을 확인하였다(p-value=0.00004).
B, C, D, E의 실험으로 이모티콘 극성 자질은 사용자의 감정을 담고 있어서 감정 분류 시스템의 성능에 영향을 주는 것을 알 수 있다. 그러나 리트윗 극성 자질, 사용자 극성 자질, 대체 어휘 자질은 감정 분류 시스템에 영향력이 적다는 것을 알 수 있다. 이에 원인으로 리트윗 극성 자질의 경우 리트윗 내용이 매우 짧아서 추출 가능한 자질이 적어지기 때문에 리트윗 대상 트윗과 다른 감정을 표현하는 경우 정확한 감정 판별이 어렵게 되는 것을 뽑을 수 있다.
51%로 약간의 성능 향상을 보였다. 그러나 실험 F와 비교하여 실험 G는 F1-척도 결과가 81.58%로 약 3.24% 낮아지는 것을 볼 수 있으며, 이를 근거로 이모티콘 극성 자질이 감정 분류 시스템 성능향상에 가장 큰 영향을 주는 것을 알 수 있었다. 또한 이모티콘 극성 자질의 성능 영향을 검증하기 위하여 실험 A와 B 사이의 T-검정을 사용하였다.
03%로 큰 성능 향상을 얻을 수 없었다. 대체 어휘를 적용한 E는 A와 비교하여 F1-척도 결과가 83.21%로 약 0.05% 낮은 성능결과를 보였다. B, C, D, E의 실험으로 이모티콘 극성 자질은 사용자의 감정을 담고 있어서 감정 분류 시스템의 성능에 영향을 주는 것을 알 수 있다.
7%의 성능 향상을 볼 수 있었다. 리트윗 극성 자질을 사용한 C와, 사용자 극성 자질을 사용한 D는 A와 비교하여 F1-척도 결과가 83.27%, 83.29%로 각 각 0.01%, 0.03%로 큰 성능 향상을 얻을 수 없었다. 대체 어휘를 적용한 E는 A와 비교하여 F1-척도 결과가 83.
사용자 극성이 있는 경우는 84.20%로 사용자 극성이 없는 경우와 비교하여 약 1.31% 성능이 높은 것을 볼 수 있으며, 실험 A와 정밀도 결과를 비교하여 0.72% 성능이 높은 것을 볼 수 있다.
그리고 G, H, I, J는 F를 기준으로 각 각 이모티콘 극성 자질, 리트윗 극성 자질, 사용자 극성 자질, 대체 어휘 자질을 제외한 감정 분류 시스템 결과이다. 실험 H, I, J는 실험 A와 비교하여 F1-척도가 각각 1.56% ,0.66%, 1.51%로 약간의 성능 향상을 보였다. 그러나 실험 F와 비교하여 실험 G는 F1-척도 결과가 81.
그리고 각 모델 성능 비교 실험으로 적용된 자질이 감정 분류 모델에 끼치는 영향을 확인하였다. 우선 이모티콘 감정 극성 자질의 적용으로 특수 문자열에 의한 노이즈 발생을 최소화 할 뿐만 아니라 감정 분류 시스템 성능향상을 볼 수 있었다. 다음으로 리트윗 극성 자질은 사용자와 다른 사용자를 연결하는 감정 네트워크를 형성하기 때문에 감정 분류 시스템에 적합한 자질로 예상되었지만, 리트윗 내용이 매우 짧아서 추출 가능한 자질이 적고, 리트윗 된 트윗과 다른 감정을 표현하는 경우가 많아 큰 성능 향상을 볼 수 없었다.
후속연구
다음으로 리트윗 극성 자질은 사용자와 다른 사용자를 연결하는 감정 네트워크를 형성하기 때문에 감정 분류 시스템에 적합한 자질로 예상되었지만, 리트윗 내용이 매우 짧아서 추출 가능한 자질이 적고, 리트윗 된 트윗과 다른 감정을 표현하는 경우가 많아 큰 성능 향상을 볼 수 없었다. 그러나 리트윗은 사용자 사이의 관계에 대한 정보가 있기 때문에 향후 사용자들 사이에 관계 추출 연구에 중요한 역할을 할 수 있을 것으로 기대된다. 다음 사용자 극성 자질은 특정 현상에 대해서 각 사용자가 작성한 트윗 전체에 대하여 감정을 판별하고 자질로 사용함으로써 감정 분류 시스템 성능 향상이 있었으나, 학습 데이터에 입력된 사용자 극성이 없는 경우는 사용자 극성 자질 적용이 어렵기 때문에 이를 보완하기 위한 연구가 필요하다.
그러나 리트윗은 사용자 사이의 관계에 대한 정보가 있기 때문에 향후 사용자들 사이에 관계 추출 연구에 중요한 역할을 할 수 있을 것으로 기대된다. 다음 사용자 극성 자질은 특정 현상에 대해서 각 사용자가 작성한 트윗 전체에 대하여 감정을 판별하고 자질로 사용함으로써 감정 분류 시스템 성능 향상이 있었으나, 학습 데이터에 입력된 사용자 극성이 없는 경우는 사용자 극성 자질 적용이 어렵기 때문에 이를 보완하기 위한 연구가 필요하다. 마지막으로 대체 어휘 자질에 대한 감정 분류 실험은 자의적인 문법 오류 때문에 많은 미등록어가 발생되어 추출 할 수 있는 자질이 부족하게 되는 문제를 보완하기 위한 목적이었다.
그러나 문자 사이의 유사도만을 사용하여 선택된 대체 어휘 자질은 감정 분류 성능에 큰 영향이 없었다. 따라서 대체 어휘 자질을 선택하기 위한 다양한 방법을 고안하여 적합한 대체 어휘 추출한다면 감정 분류 시스템 성능 향상을 기대 할 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
감정 분류를 위한 연구는 어떻게 구분할 수 있는가?
감정 분류를 위한 연구는 외부 자원을 활용한 방법과, 내부 자원을 활용한 방법으로 구분 할 수 있다. 먼저 감정 사전이나 정보검색 스니핏(snippet) 같은 외부 자원을 이용하는 방법이 있다.
트위터란 무엇인가?
트위터(twitter)는 소셜 네트워크(social network)와 메시지가 결합된 형태의 커뮤니케이션 플랫폼이다. 트위터 사용자들은 트윗(tweet)이라는 짧은 문구를 통하여 자신의 소식을 업데이트한다.
감정 분류를 위한 연구에서, 내부 자원을 활용한 방법이 외부 자원 활용방법에 비해 가지는 단점은 무엇인가?
내부 자원을 활용한 방법은 음절 n-그램(n-gram)이나 슬라이딩 윈도우를 기반으로 하는 것이 있다. 이 방법들은 외부 자원 활용방법보다 비용이 적게 들지만 말뭉치에 의존적이라는 단점이 있다[6].
참고문헌 (16)
L. Barbosa and J. Feng, "Robust sentiment detection on Twitter from biased and noisy data," In Proceedings of the 23rd International Confere-nce on Computational Linguistics, pp.36-44, 2010.
http://www.bloter.net/archives/74190
홍초희, 김학수, "트윗 분류를 위한 효과적인 자질 추출", 한국정보과학회 학술발표논문집, 제38권, 제1호, pp.229-232, 2011.
신준수, 김학수, "강건한 한국어 상품평의 감정 분류를 위한 패턴 기반 자질 추출 방법", 정보과학회논문지 소프트웨어 및 응용, 제37권, 제12호, pp.946-950, 2010.
H. Cui, V. Mittal, and M. Datar, "Comparative Expe- riments on Sentiment Classification for Online Product Reviews," In Proceedings of the 21st National Conference on Artificial Intelligence, Vol.2, pp.1265-1270, 2006.
L. Jiang, M. Yu, M. Zhou, X. Liu, T. Zhao, "Target-dependent Twitter Sentiment Classification," In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp.151-160, 2011.
W. Wu, B. Zhang, M. Ostendorf, "Automatic Generation of Personalized Annotation Tags for Twitter Users," In Proceedings of Human Language Technologies 2010, pp.689-692, 2010.
A. Go, R. Bhayani, L. Huang, Twitter Sentiment Classification using Distant Supervision, CS224N Project Report Stanford, 2011.
Z. Xue, D. Yin, and B. D. Davison, "Mormalizaing MicroText," In Proceedings of AAAI-11 workshop on Analyzing Microtext, pp.74-79, 2011.
B. Pang, L. Lee, and S. Vaithyanathan, "Thumbs up? Sentiment Classification Using Machine Learning Techniques," In Proceedings of the EMNLP, pp.79-86, 2002.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.