[논문]게임 도메인 웹 코퍼스를 이용한 감성사전 구축 및 평가

정우영; 배병철; 조성현; 강신진

doi:10.7583/jkgs.2018.18.5.113

게임 도메인 웹 코퍼스를 이용한 감성사전 구축 및 평가
Construction and Evaluation of a Sentiment Dictionary Using a Web Corpus Collected from Game Domain 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.18 no.5, 2018년, pp.113 - 122

정우영 (홍익대학교 대학원 게임학과(공학)) , 배병철 (홍익대학교 대학원 게임학과(공학)) , 조성현 (홍익대학교 대학원 게임학과(공학)) , 강신진 (홍익대학교 대학원 게임학과(공학))

초록
AI-Helper

본 논문은 게임 도메인에서 웹 코퍼스를 이용하여 감성사전을 구축하는 방법과 구축한 감성사전의 평가 결과를 기술한다. 감성사전 구축을 위해 먼저 트위터 형태소 분석기를 이용해 국내 한 포털 사이트의 게임 관련 웹 문서를 기반으로 어휘를 수집하여 감성 사전 어휘 목록을 만들었고, 목록에 있는 단어들 중 동사와 형용사 품사의 단어들에 대해 감성 사전을 구축하였다. 구축된 감성 사전의 평가를 위해 영어 기반의 Senti-word Net(SWN)을 한글로 번역한 한국어 SWN을 이용하여 정밀도와 재현율 값을 계산하였다. 평가 결과 긍정과 부정 감성의 F-1 값에 대한 평균이 형용사의 경우 0.85, 동사에 대해 0.77을 각각 보여 주었다.

Abstract ▼ AI-Helper

This paper describes an approach to building and evaluating a sentiment dictionary using a Web corpus in the game domain. To build a sentiment dictionary, we collected vocabulary based on game-related web documents from a domestic portal site, using the Twitter Korean Processor. From the collected vocabulary, we selected the words whose POS are tagged as either verbs or adjectives, and assigned sentiment score for each selected word. To evaluate the constructed sentiment dictionary, we calculated F1 score with precision and recall, using Korean-SWN that is based on English Senti-word Net(SWN). The evaluation results show that average F1 scores are 0.85 for adjectives and 0.77 for verbs, respectively.

주제어

표/그림 (10)

그림 [Fig.1] Sentiment Score Examples of Selected Sentiment Words
그림 [Fig.2] Top 20 Words with Positive Sentiment
그림 [Fig.3] Top 20 Words with Negative Sentiment
표 [Table 1] Statistics of Sentiment Words with Polarity Value > 0.5.
그림 [Fig.4] Top 20 Sentiment Words with Highest Variance Values
그림 [Fig.5] Top 20 Sentiment Words with Lowest Variance Values
표 [Table 2] Vocabulary Representation rate
표 [Table 3] Confusion Matrix
표 [Table 4] Precision & Recall, F-1 Measure
표 [Table 5] Representation rate and Average of F-1 Measure

AI 본문요약
AI-Helper

문제 정의

본 논문은 게임 도메인의 비정형 코퍼스인 웹 블로그의 문장들을 이용하여 감성 사전을 만들고, 한국어로 번역한 한국어 SWN을 이용하여 평가하였다. 평가 결과, 형용사는 84.

제안 방법

” 라고 정의한다[2]. 이를 근간으로 본 논문에서는 긍정, 부정, 중립으로 구분한 극성과 그 극성의 크기를 포함한 의미로 감성을 다룬다. 자연어의 특성상 도메인에 따른 감성이 다르며[3], 영어를 위한 자연어 감성 분석을 위한 정형화된 사전이 공개되어 있지만 한글을 위한 정형화된 공개 감성사전은 알려져있지 않다.
수집한 어휘는 총 2,841개였으며, 본 논문에 참여하지 않은 대학원생 3명에게 별도로 의뢰해 3명 모두 감성이 포함되지 않는다고 판단한 어휘는 제외하였다 (총 392개 제외). 이를 통해 최종적으로 선정된 2449개의 감성 어휘를 자발적으로 수집한 대학생 20명에게 –2부터 2까지 5단계의 양극성 리커트 척도를 이용해 감성 점수로 작성하게 한 후, 그 평균으로 감성 사전을 생성하였다.

대상 데이터

먼저, 2017년 1월부터 2월까지 2개월 동안 검색어 ‘게임’에 대한 블로그 문서들을 수집한 후, python의 한국어 형태소 분석 모듈인 konlpy의 Twitter 형태소 분석기를 통해 형용사, 동사의 목록을 생성하였다.
수집한 어휘는 총 2,841개였으며, 본 논문에 참여하지 않은 대학원생 3명에게 별도로 의뢰해 3명 모두 감성이 포함되지 않는다고 판단한 어휘는 제외하였다 (총 392개 제외). 이를 통해 최종적으로 선정된 2449개의 감성 어휘를 자발적으로 수집한 대학생 20명에게 –2부터 2까지 5단계의 양극성 리커트 척도를 이용해 감성 점수로 작성하게 한 후, 그 평균으로 감성 사전을 생성하였다.

데이터처리

구축한 감성 사전 평가를 위해, 본 논문에서는 영어권에서 감성사전으로 많이 활용하는 Senti-Word Net(이하 SWN)을 이용하여 신뢰도를 평가하였다. SWN의 단어들을 영-한 구글 번역기를 이용하여 번역한 한국어 SWN(Korean-SWN) 감성 단어들과 본 논문에서 구축한 감성 사전의 단어들을 비교하여 같은 단어에 대한 감성 사전 점수의 극성을 비교하였다.

성능/효과

본 논문은 게임 도메인의 비정형 코퍼스인 웹 블로그의 문장들을 이용하여 감성 사전을 만들고, 한국어로 번역한 한국어 SWN을 이용하여 평가하였다. 평가 결과, 형용사는 84.9%, 동사는 76.8%의 F-1 값을 갖는 감성 사전을 구축하였다.

후속연구

자연어의 특성상 감성 단어만으로 판단한 감성 뿐 아니라, 문장 단위 혹은 문단 단위에 따라 그 감성이 달라질 수 있기 때문에 단어 단위의 감성 사전만으로는 감성 분석이 완전하지 않을 수 있다. 향후 연구로서 본 감성사전을 기반으로 지도학습 등의 학습 방법을 이용하여 문장 단위 및 문단 단위 감성 분석을 진행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	자연어 처리는 무슨 기술인가?	인공지능 기술의 발전은 사회 전반에 새로운 가능성을 보여주면서 다양한 분야로 그 영역을 넓혀가고 있다. 인공지능 기술 중에서 사람의 언어를 이해하고 분석하여 컴퓨터가 처리할 수 있도록 하는 자연어 처리(Natural Language Processing, NLP)는 컴퓨터과학, 언어학 등에서 오랫동안 연구되고 있는 기술이다. 최근 인공지능의 활용성이 높을 것으로 예상되는 분야에서도 자연어 처리를 이용하여 웹에 산재해 있는 비정형 데이터를 활용하고자 하는 연구가 지속적으로 진행되어 왔다[1].
	감성 사전에 수록된 형용사 극성 점수의 특징은 무엇인가?	5 이상의 값을 가진 형용사 단어가 모두 22개로 확인되었다. 형용사 전체 극성 단어 중 긍정 단어가 253개이고, 부정 단어가 247개로 거의 같은 비율임에도 불구하고, 높은 긍정 점수의 단어 빈도수가 높은 부정 점수의 단어 빈도수보다 많이 관찰된 점이 특징이다.
	감성 분석의 정의는 무엇인가?	감성 분석에 대한 정의는 여러 방면에서 인용되고 사용되어지고 있는데 본 논문에서는 자연어로 이루어진 단어, 문장, 문단, 문서 등의 감성을 파악하는 기법으로 정의한다[5].

참고문헌 (23)

성동형, 이병기, "Research Trends in Clinical Natural Language Processing", Communications of the Korean Institute of Information Scientists and Engineers, Vol.35, No.5, pp.20-26, 2017.5
조은경, "Extracting Lexical functional words and Aboutness in Sentiment Analysis", 한국어의미학회, Vol.47, No.0, pp.1-26, 2015.3

상세보기
Sukjae Choi, Ohbyung Kwon, "The Study of Developing Korean SentiWordNet for Big Data Analytics : Focusing on Anger Emotion", The Journal of Society for e-Business Studies, Vol.19, No.4, pp.1-19, 2014.12
장문수, "Problems of Natural Language Processing for Spoken Language and an Approach of Systemic Functional Grammatical Solution", Korean Linguistics Vol.46, pp.123-143, 2010.2
Bo Pang, Lillian Lee."Thumbs up?: sentiment classification using machine learning techniques", Proceedings of the Conference on Empirical Methods in Natural Language Processing, Vol. 10, pp.79-86, 2002.7
Peter D. Turney, "Thumbs up or thumbs down?: semantic orientation applied to unsupervised classification of reviews", Proceedings of the 40th annual meeting on association for computational linguistics, pp.417-424, 2002.7
Stefano Baccianella, Andrea Esuli, Fabrizio Sebastiani, "SentiWordNet 3.0: An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining", LREC, Vol. 10, pp. 2200-2204, 2010.1
Jungkook An, Hee-Woong Kim, "Building a Korean Sentiment Lexicon Using Collective Intelligence", Journal of Intelligence and Information Systems, pp. 49-67, 2015.6
Claudiu-Cristian Musat, Alireza Ghasemi, Boi Faltings, "Sentiment analysis using a novel human computation game", Proceedings of the 3rd Workshop on the People's Web Meets NLP: Collaboratively Constructed Semantic Resources and their Applications to NLP, pp. 1-9, 2012.7
Marco Furini, Manuela Montangero, "TSentiment: on gamifying Twitter sentiment analysis", Computers and Communication (ISCC), IEEE Symposium on, pp. 91-96, 2016.6
Yoonsung Hong, Haewoon Kwak, Youngmin Baek, Sue Moon, "Tower of Babel: A crowdsourcing game building sentiment lexicons for resource-scarce languages", Korea Game Society, pp. 135-144, 2017.5
Jun-Gi Kim, Shin-Jin Kang, Byung-Chull Bae "A Crowdsourcing-based Emotional Words Tagging Game for Building a Polarity Lexicon in Korean", Graduate School of Culture, Information, and Public Policy, Vol. 13, No. 2, pp.135-144, 2017.4
Jungkook An, Hee-Woong Kim, "Building a Korean Sentiment Lexicon Using Collective Intelligence", Korea Intelligent Information Systems Society, Vol.21, No.2, pp.49-67, 2015.6

원문보기 상세보기
Donghyok Shin, Sairom Kim, Donghee Cho, Minh Dieu Nguyen, Soongang Park, Keonjoo Eo, Jeesun Nam, "Performance and Limitations of a Korean Sentiment Lexicon Built on the English SentiWordNet", Korean Language Information Science Society, Vol.28, pp.189-194, 2016.7
이상훈, 최정, 김종우, "Sentiment analysis on movie review through building modified sentiment dictionary by movie genre", J Intell Inform Syst, Vol.22, No.2, pp.97-113, 2016.6
Jae-Young Chang, "A Sentiment Analysis Algorithm for Automatic Product Reviews Classification in On-Line Shopping Mall", The Journal of Society for e-Business Studies, Vol.14, No.4, pp.19-33, 2009.11
Woo Chul Lee, Hyun Ah Lee, Kong Joo Lee, "Product Evaluation Summarization Through Linguistic Analysis of Product Reviews", Korea Information Processing Society, Vol.17B, Issue 1, pp.93-98, 2010
Jae-Khun Chang, Seung-Taek Ryoo, Dong-In Jang, "Similar Image Extraction using Emotional Classification of Image Contents", Korea Game Society, Vol.25, No.2, pp.183-188, 2012.6
Heekyung Yang, Hyuksung Yang, Kyugha Min, "Enhancing Emotion of Visual Contents Based on Emotion Model For Elevating Absorption Degree of Games", Korea Game Society, Vol.25, No.2, pp.171-176, 2012.6
Minyoung Kim, Kyoung Shin Park, Dongkeun Kim, Yongjoo Cho, "Open Source Library based Emotional Game Engine and Emotion Sharing Game Contents", Korea Game Society, Vol.25, No.3, pp.15-24, 2012.9
Suk Jin Kim, Yong Sung Kim, "Game Application Tendency Analysis Based on Bigdata and Emotional color Adjective", Korea Game Society, Vol.29, No.4, pp.177-185, 2016.12
Vasileios Hatzivassiloglou, Kathleen R. McKeown., "Predicting the Semantic Orientation of Adjectives", In Proceedings of ACL-97, 35th Annual Meeting of the Association for Computational Linguistics, pp.174-181, 1997.7
Hyun Won Jung, Ken Nah, "A Study on the Meaning of Sensibility and Vocabulary System for Sensibility Evaluation", Journal of the Ergonomics Society of Korea, Vol.26, No.3 pp.17-25, 2007.8

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증