[논문]빅데이터 분석을 이용한 문단 내의 감정 예측

김진수

doi:10.14400/jdc.2016.14.11.267

빅데이터 분석을 이용한 문단 내의 감정 예측
Emotion Prediction of Paragraph using Big Data Analysis 원문보기

디지털융복합연구 = Journal of digital convergence, v.14 no.11, 2016년, pp.267 - 273

초록
AI-Helper

모바일의 확산과 더불어 정형화된 자료뿐만 아니라 다양한 형태의 비정형화된 자료로부터 정보가 생성되고 정보 전달 및 공유가 활발히 이루어지고 있다. 최근에는 다양한 SNS 매체들로부터 생산 및 배포되는 많은 자료들 중에서 유의미한 정보를 추출하는 기술로 빅데이터 기술을 많이 사용하며, 빅데이터 분석 기법 중 하나인 데이터 마이닝 기법을 사용한다. 특히, SNS로부터 수집된 방대하고 다양한 자료들을 이용하여 대중의 집단지성에 표출된 일반적인 감정을 분석하여 다양한 분야에 활용한다. 본 논문에서는 SNS를 통해 작성된 짧은 문단 내 함축된 키워드와 키워드들 간의 연관성을 이용하여 문단에 나타난 감정을 예측하고 사용자별 감정에 따른 적절한 답변이나 예측된 감정과 유사한 상품이나 영화 등 다양한 추천시스템에 사용될 수 있도록 형태소 분석과 변형된 n-gram방법을 혼합하여 효율적인 감정 예측 시스템을 제안한다. 제안된 시스템은 평균 82.25%의 재현율을 보여 기존의 시스템에 비해 더욱 향상된 성능을 보여 주었고, 형태소분석을 통해 의미 있는 키워드 추출에 도움이 될 것으로 기대한다.

Abstract ▼ AI-Helper

Creation and Sharing of information which is structured data as well as various unstructured data. makes progress actively through the spread of mobile. Recently, Big Data extracts the semantic information from SNS and data mining is one of the big data technique. Especially, the general emotion analysis that expresses the collective intelligence of the masses is utilized using large and a variety of materials. In this paper, we propose the emotion prediction system architecture which extracts the significant keywords from social network paragraphs using n-gram and Korean morphological analyzer, and predicts the emotion using SVM and these extracted emotion features. The proposed system showed 82.25% more improved recall rate in average than previous systems and it will help extract the semantic keyword using morphological analysis.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

학습 문단에 출현하는 모든 키워드를 대상으로 사전을 구축하면 감정 분류에 영향을 미치지 않는 키워드들의 정보도 유지되지만 시스템의 공간복잡도와 시간복잡도 측면에서 비효율적이고 잘못된 분류의 원인이 된다. 따라서 본 논문에서는 각각의 문서에 나타난 감정 클래스 특징을 반영하기 위한 클래스 변수와 단어들 간의 규칙을 가중치로 하는 키워드를 추출하고 사전을 구성한다.
본 논문에서는 개인들이 SNS를 이용하여 생산 및 배포되는 다양한 형태의 짧은 문단들에 함축된 키워드와 키워드들 간의 연관성을 이용하여 문장 내 감정 상태를 예측하고, 사용자의 감정에 따른 적절한 답변이나 추출한 감정과 유사한 상품, 음악, 영화 등을 추천하는데 사용될 수 있도록 형태소 분석과 n-gram 방식을 혼합한 효율적인 감정 예측 시스템을 제안한다.
또한, 생산성이 매우 우수한 파이썬을 통해 언어 처리를 할 수 있다. 본 논문에서는 의미있는 키워드를 추출하기 위해 감정 분석에 유용한 의미를 가지는 명사, 동사 등을 추출하였고, 조사, 한정사 등은 전체 시스템의 부하를 줄이기 위해 배제하였다.

제안 방법

이는 시스템 예측 성능 향상과 정확한 감정 예측 오류를 최소화하기 위함이다. 4가지 감정들로 구성된 문단들을 이용하여 각 집단별 감정 집합 키워드를 추출하여 감정 데이터베이스를 구축하고, 구축된 데이터베이스를 통해 SNS에 작성한 문서에 대한 감정 분석을 수행하고자 한다. 또한 인터넷 통신언어의 사용은 사용자들의 이해를 어렵게 할 뿐만 아니라, 빠르게 변화하는 신조어 등은 감정 단어 분류 시 무의미한 키워드로 간주되어 키워드 후보에서 탈락할 수 있기 때문에 전처리 과정을 통해 약어, 준말, 외계어 등을 변형전의 본래의 단어로 변환한 후 키워드들을 추출한다.
는 키워드 k가 출현한 문단의 빈도수이다. TFㆍIPF를 통해 추출한 키워드 후보들로부터 각 감정별 키워드를 내림차순 정렬하여 상위 N개의 대표 키워드 들의 집합을 생성하고, 감정 대표 키워드들 간의 연관 규칙과 순차 패턴의 데이터 마이닝 기법을 적용하기 위해 각 감정 키워드별 연관-순차 패턴 정보를 생성한다.
각 감정집합의 훈련 문단들로부터 추출한 각 키워드들을 이용하여 문단 내의 키워드들의 연관규칙, 순차패턴 규칙을 추출한 후 추출된 규칙으로 감정별 패턴 데이터베이스를 생성한다.
다양한 감정 문서들로부터 분류된 감정 집합들과 감정 대표 키워드들을 SVM에 훈련 문단으로 입력하기 위해 무작위로 수집한 SNS 글들 중에서 4가지 감정 집단인 Angry, Happy, Sad, Peaceful 감정 범주에 각각 실험 집합으로 100개씩 분류한 후, 각 감정 문서 중 무작위로 추출한 80개의 문단은 훈련 문단으로 나머지 20개의 문단은 테스트 집합으로 사용하였고, 이러한 방법으로 5회 반복하였다. 또한 훈련에 사용될 문단의 전처리과정에 사용되는 단어는 네이버 오픈사전[15]에 있는 오픈국어의 일반어(18,415), 유행어, 신조어(9,745), 사투리(72,201), 그리고 채팅어(2,058) 등 총 11,803개를 데이터베이스화하여 사용하였다.
본 논문에서 사용된 12가지의 감정들 중에서 Angry, Happy, Sad, Peaceful 등의 네 가지 감정만으로 표현하여 분류하였다. 이는 시스템 예측 성능 향상과 정확한 감정 예측 오류를 최소화하기 위함이다.
본 논문에서 제안한 시스템은 감정 문단으로부터 전처리과정을 거쳐 변환된 문단을 n-gram과 형태소 분석을 통해 대표 키워드들을 추출하였다. 전처리를 통해 줄임말, 신조어 등을 변환하여 사용자들의 문단 이해도를 높였고, n-gram방식의 간단한 구현과 형태소 분석을 통해 변칙 활용이 잦은 동사, 띄어쓰기 등의 까다로운 문단으로부터 키워드 추출을 확장할 수 있었다.
본 논문에서는 의미 있는 뜻을 담은 키워드를 추출하기 위해 형태소 분석 방법을 병행하여 사용한다. 현재의 감정이 들어있는 문장들은 데스크탑 환경에서 작성한 문장에 비해 모바일 기기 등에서 작성한 문장에 SNS의 특성상 짧은 글을 통해 자신의 감정을 빠르게 표현하기 위해 이모티콘, 신조어, 준말, 외계어 등을 많이 사용한다.
현재의 감정이 들어있는 문장들은 데스크탑 환경에서 작성한 문장에 비해 모바일 기기 등에서 작성한 문장에 SNS의 특성상 짧은 글을 통해 자신의 감정을 빠르게 표현하기 위해 이모티콘, 신조어, 준말, 외계어 등을 많이 사용한다. 이러한 이모티콘, 신조어, 준말 등은 형태소분석기를 이용하여 추출하기 어렵기 때문에 전처리 과정을 통해 본래 의미하는 문장으로 변환한 후 키워드를 추출하고자 한다. 전처리 과정을 통해 변환된 감정별 문장들로부터 형태소 분석기와 변형된 n-gram을 이용하여 키워드를 추출한다.
전처리 과정을 거치기 전의 이해도와 전처리 후의 문장의 이해도는 “이해됨”, “대충 이해됨”, “이해 안됨”의 3단계로 나누고, 수치화를 위해 각각 5점, 3점, 1점으로 대응시켰다.
이러한 이모티콘, 신조어, 준말 등은 형태소분석기를 이용하여 추출하기 어렵기 때문에 전처리 과정을 통해 본래 의미하는 문장으로 변환한 후 키워드를 추출하고자 한다. 전처리 과정을 통해 변환된 감정별 문장들로부터 형태소 분석기와 변형된 n-gram을 이용하여 키워드를 추출한다. [Fig.

대상 데이터

다양한 감정 문서들로부터 분류된 감정 집합들과 감정 대표 키워드들을 SVM에 훈련 문단으로 입력하기 위해 무작위로 수집한 SNS 글들 중에서 4가지 감정 집단인 Angry, Happy, Sad, Peaceful 감정 범주에 각각 실험 집합으로 100개씩 분류한 후, 각 감정 문서 중 무작위로 추출한 80개의 문단은 훈련 문단으로 나머지 20개의 문단은 테스트 집합으로 사용하였고, 이러한 방법으로 5회 반복하였다. 또한 훈련에 사용될 문단의 전처리과정에 사용되는 단어는 네이버 오픈사전[15]에 있는 오픈국어의 일반어(18,415), 유행어, 신조어(9,745), 사투리(72,201), 그리고 채팅어(2,058) 등 총 11,803개를 데이터베이스화하여 사용하였다.

데이터처리

정규화에 사용된 x값의 범위는 [-∞,+∞]로 감정 집합에 출현한 키워드들의 빈도수이고, 예측하려는 감정에 속하는 키워드들의 빈도수는 양수로 표현하고, 해당 감정 집합이 아닌 나머지 감정 집합에 나타난 빈도수는 음수로 변환하여 계산하였다.

이론/모형

개인이 작성한 영화평이나 트윗된 글과 같이 짧은 문단을 작성하는 사용자들은 자신의 생각을 표현하기 위해 연역적 혹은 귀납적 방법 등 다양한 방법으로 설명하기 때문에 키워드들 간의 순차적인 관계뿐만 아니라 위치에 관계없는 연관성을 찾기 위해 빅데이터 분석 중 데이터 마이닝 기법을 사용하였다. 문맥 속에 존재하는 연속적으로 출현하는 순차패턴과, 문단속에 동시에 출현하는 단어들 간의 연관규칙을 적용하였다.
개인이 작성한 영화평이나 트윗된 글과 같이 짧은 문단을 작성하는 사용자들은 자신의 생각을 표현하기 위해 연역적 혹은 귀납적 방법 등 다양한 방법으로 설명하기 때문에 키워드들 간의 순차적인 관계뿐만 아니라 위치에 관계없는 연관성을 찾기 위해 빅데이터 분석 중 데이터 마이닝 기법을 사용하였다. 문맥 속에 존재하는 연속적으로 출현하는 순차패턴과, 문단속에 동시에 출현하는 단어들 간의 연관규칙을 적용하였다.
최근에는 SNS(소셜 네트워크 서비스)를 통해 시공간 빅데이터 분석을 이용한 문단 내의 감정 예측의 제약이 없이 개인의 일상적인 일이나 주변에서 벌어지는 사건, 그에 따른 개인의 생각, 관념 등이 보다 쉽게 공유하여 빠르게 확산된다. 이러한 SNS 매체들에서 생산되는 비정형의 많은 데이터로부터 의미 있는 정보를 추출하기 위해 빅데이터 기술을 이용하며. 빅데이터 분석 기법 중 데이터 마이닝 기법을 많이 사용한다.

성능/효과

6]은 기존의 방법과 본 논문에서 제안한 감정 예측 시스템의 평균 재현율을 비교한 그래프이다. 가중치가 높은 단어만을 적용한 n-gram은 문맥의 의미와 상관없이 특정 단어가 출현하는 문서를 해당 감정으로 분류하며, 또한 부정적인 의미의 단어들과의 연관성 없이 사용 하게 되어 오류의 원인이 된 것으로 판단되며, 형태소 분석을 통해 추출하는 데는 많은 시간이 걸리는 단점이 있지만 명사위주의 단어 사용으로 키워드의 전체 개수를 줄일 수 있어 빅데이터 기법의 키워드 추출에 부하를 줄일 수 있었다.
전처리를 통해 줄임말, 신조어 등을 변환하여 사용자들의 문단 이해도를 높였고, n-gram방식의 간단한 구현과 형태소 분석을 통해 변칙 활용이 잦은 동사, 띄어쓰기 등의 까다로운 문단으로부터 키워드 추출을 확장할 수 있었다. 따라서 본 논문에서 제안한 대표 키워드의 가중치와 빅데이터 기법을 혼합하여 기존의 방법론에 비해 나은 성능을 보였다. 그러나 기존의 방법에 비해 형태소 분석하는데 공간 복잡도와 시간 복잡도를 증가시키는 결과를 초래하였다.
전처리 과정을 거치기 전의 이해도와 전처리 후의 문장의 이해도는 “이해됨”, “대충 이해됨”, “이해 안됨”의 3단계로 나누고, 수치화를 위해 각각 5점, 3점, 1점으로 대응시켰다. 실험 집합에 출현한 신조어, 외계어, 준말 등을 원래의 의미로 변환한 후 기존 이해도에 비해 약 27% 향상되었다.
본 논문에서 제안한 시스템은 감정 문단으로부터 전처리과정을 거쳐 변환된 문단을 n-gram과 형태소 분석을 통해 대표 키워드들을 추출하였다. 전처리를 통해 줄임말, 신조어 등을 변환하여 사용자들의 문단 이해도를 높였고, n-gram방식의 간단한 구현과 형태소 분석을 통해 변칙 활용이 잦은 동사, 띄어쓰기 등의 까다로운 문단으로부터 키워드 추출을 확장할 수 있었다. 따라서 본 논문에서 제안한 대표 키워드의 가중치와 빅데이터 기법을 혼합하여 기존의 방법론에 비해 나은 성능을 보였다.
[Table 2]는 제안한 예측 시스템과 ① 변형된 n-gram에 의해 추출된 가중치가 높은 키워드, ② 빅데이터 기법에 의해 추출된 키워드, ③ n-gram과 빅데이터 혼합 키워드와 감정 예측 평가 척도 중 재현율을 비교한 것이다. 전체적으로 제안한 예측시스템의 성능이 n-gram 방법, 빅데이터 기법, n-gram과 빅데이터 기법의 혼합 방법보다 대략, 20.2%, 10.9%, 그리고 2.5% 향상되었다. [Fig.

후속연구

그러나 기존의 방법에 비해 형태소 분석하는데 공간 복잡도와 시간 복잡도를 증가시키는 결과를 초래하였다. 향후 연구에서는 시공간 복잡도를 줄이는 효율적인 방법과 훈련된 감정 키워드들 사이의 규칙 외에 사용자 위치정보와 같은 상황정보 등 다양한 요인들까지 고려하여 감정을 예측하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	형태소 분석은 무엇인가?	형태소 분석은 형태소를 비롯하여, 어근, 접두사/접미사, 품사(POS, Part Of Speech) 등 다양한 언어적 속성의 구조를 파악하는 것이다. 1995년부터 한국어 정보처리를 위한 다양한 오픈 소스 형태소 분석기인 KTS, KoNLP, MeCab-ko, KoNLPy 등이 개발되었다.
	빅 데이터의 분석 처리 기술에는 어떤것이 있는가?	빅데이터(Big Data)는 기존 데이터베이스 관리 도구의 역량을 넘어서는 대량의 정형 또는 비정형의 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 기술이다[11,12]. 빅 데이터의 분석 처리 기술은 대부분 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계학습, 자연언어처리, 패턴 인식 등이 있다. 빅데이터 기법 중 데이터 마이닝은 연관규칙, 순차패턴, 분류, 클러스터링 등의 다양한 방법을 사용하여 많은 자료들 가운데 숨겨져 있는 유용한 상관관계를 발견하여, 미래에 실행 가능한 정보를 추출해 내고 의사 결정 등에 사용한다.
	빅데이터 분석이 SNS에 활용되는 대표 사례는?	특히, SNS로 수집된 방대하고 다양한 자료들을 이용하여 대중의 집단지성에 표출된 일반적인 감정분석에 활용된다[1,2]. 예를 들어, 불특정의 개인들이 작성한 상품평, 상품이용 후기나 영화평 등에 나타나는 감정을 부정 혹은 긍정으로 분류하여 상품 및 영화에 대한 대중의 선호도를 분석하고, 분석된 선호도를 이용하여 개인화된 정보와 결합하여 사용자 성향에 맞는 다양한 추천시스템 분야에서 사용된다[3,4,5].

참고문헌 (16)

Sung-hyun Yun, Keun-ho Lee, Heui-seok Lim, Dae-ryong Kim, Jung-hoon Kim, "The Method of Digital Copyright Authentication for Contents of Collective Intelligence", Journal of the Korea Convergence Society, Vol. 6, No. 6, pp. 185-193, 2015.

원문보기 상세보기
Jung-Hoon Kim, Jun-Young Go, Keun-Ho Lee, "A Scheme of Social Engineering Attacks and Countermeasures Using Big Data based Conversion Voice Phishing", Journal of the Korea Convergence Society, Vol. 6, No. 1, pp. 85-91, 2015.
Dong-Yup Choi, Jin-Kyu Park, Tae-Jung Kim, "An Emotion Extraction Method from SMS Text for the Emotion Expression Robot", Journal of Korea Intellectual Patent Society, Vol.18, No. 44, pp.5-8, 2016.
Young-Seok Yoo, Bang-Yong, Sohn, "Music Listening Behavior analysis of Twitter User and A Comparative Study of Domestic Music Ranking", Journal of Digital Convergence, Vol.14, No.5, pp.309-316, 2016.
Eun-Jin Jung, Joo-Chang Kim, Joo-Chang Kim, Kyungyong Chung, "Social Network based Sensibility Design Recommendation using {User - Associative Design} Matrix", Journal of Digital Convergence, Vol.14, No.8, pp.313-318, 2016.
Michael W Morris, Dacher Keltner. "How Emotions Work: the Social Functions of Emotional Expression in Negotiatios", Research in Organizational Behavior, 22, pp.1-50, 2000.

상세보기
Robert E. Thayer, "The Biopsychology of Mood and Arousal", Oxford University Press, 1989.
HeeSam Shin, The Society Of Korean Semantics, Korean Semantics 15, pp. 207-225, 2004.
http://konlpy.org/ko/v0.4.4/
Bernhard E Boser, Isabelle M Guyon, and Vladimir N Vapnik, "A Training Algorithm for Optimal Margin Classifiers", Proc. The Fifth Annual Workshop on Computational Learning Theory, pp.144-152, 1992..
John Gantz, David Reinsel, "Extracting Value from Chaos", IDC IVIEW June, p.6, 2011.
O'Reilly Radar Team, Planning for Big Data, O'Reilly, 2012.
http://en.wikipedia.org/wiki/N-gram
Jin-Su Kim, "Emotion Prediction of Document using Paragraph Analysis", Journal of Digital Convergence, Vol. 12, No. 12, pp.249-255, 2014.
http://kin.naver.com/openkr/list.nhn
Do,H. H., Melnik, S. & Rahm, E. 2002. Comparison of Schema Matching Evaluations. In Revised Papers from the NODe 2002 Web and Database-Related Workshops on Web, Web-Services, and Database Systems, Akmal B. Chaudhri, Mario Jeckle, Erhard Rahm, and Rainer Unland (Eds.). Springer-Verlag, London, UK, 221-237.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증