[논문]딥러닝 기반 감성분석 연구동향

서상현; 김준태

딥러닝 기반 감성분석 연구동향 원문보기

한국멀티미디어학회지, v.20 no.3, 2016년, pp.8 - 22

서상현 (동국대학교 컴퓨터공학과) , 김준태 (동국대학교 컴퓨터공학과)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

LSTM은 기존의 순환신경망 구조에서 은닉층의 노드에 해당하는 부분들에 변형을 준 모델이다. LSTM은 시점 간 오류역전파 기법 등을 통한 순환신경망의 학습과정에서 오랜 학습시간, 불필요한 연산, 오차의 사라짐 현상 등의 문제를 해결하고자 제안되었다. 기존의 순환신경망은 그 시점의 입력값과 이전 시점에서 전달받은 값을 입력값으로 하여 활성함수를 활성화시켜 노드의 상태를 결정한다.
본 논문에서는 딥러닝 기법을 기반으로 한 감성 분석의 연구동향에 대해 살펴보았다. 기존의 감성 분석은 어휘기반 자원을 통해 감성사전을 구축하거나, 기분류된 텍스트 데이터를 학습 데이터로 하여 기계학습에서 사용되는 다양한 분류기법들을 적용해 수행되었다.
최근에는 자연어처리 분야에 여러 가지 딥러닝 기법이 적용되어 기존의 성과들보다 뛰어난 기록들이 보고되면서, 앞서 언급한 바와 같이 감성분석 분야에도 이러한 기법들을 적용하는 다양한 시도가 이루어지고 있다. 이에 본 논문에서는 감성분석과 딥러닝의 개념에 대해 개괄하고, 딥러닝 기반의 감성분석에 대한 최근의 연구동향을 살펴보고자 한다.

제안 방법

딥러닝 기법을 감성분석에 적용하기 위해서는 텍스트 데이터를 숫자의 형태로 변환하는 과정이 필요하며, 그에 따른 다양한 워드임베딩 기법에 대해서 살펴보았다. 특히 고차원 벡터를 통해 단어를 표현하여 단어 사이의 관계를 보다 효율적으로 표현할 수 있는 Word2vec과 같은 언어모델이 딥러닝 기반의 감성분석에 활용되는 양상을 확인하였다.
이 과정에서 한 문장 속의 단어 들을 워드 임베딩 하면서 하나의 차원을 늘이는 방식을 사용한다. 입력 데이터가 준비되면 미리 준비한 필터(filter) 혹은 커널(kernel)을 통해 데이터를 읽어 내려가며 입력 데이터와 커널과의 합성곱(convolution)을 통해 특징지도(feature map)을 제작한다. 일반적으로 특징을 추출할 때에는 가장 강한 자극을 추출(max-pooling)한다.
재귀 신경망 또한 다양한 구조 변형을 통해 성능향상을 이루었다. 기존의 재귀신경망에 행렬연산을 추가해 파라미터 정보를 유지해 나가는 MV-RNN(matrix-vector recursive neural networks)이 제안되어 감성분석에서 향상된 성능을 보였으며[54], MV-RNN의 과도한 연산량의 문제를 해결하고 입력 벡터의 의미를 더욱 정확하게 합성할 수 있는 단일한 합성함수를 도입한 RNTN(recursive neural tensor network)이 제안 되었다[17].
딥러닝 기법을 감성분석에 적용하기 위해서는 텍스트 데이터를 숫자의 형태로 변환하는 과정이 필요하며, 그에 따른 다양한 워드임베딩 기법에 대해서 살펴보았다. 특히 고차원 벡터를 통해 단어를 표현하여 단어 사이의 관계를 보다 효율적으로 표현할 수 있는 Word2vec과 같은 언어모델이 딥러닝 기반의 감성분석에 활용되는 양상을 확인하였다.

성능/효과

[17]에서는 RNTN을 감성분석에 적용하여 다섯 개의 클래스 분류, 두 개의 극성분류 등의 감성분석에서 나이브 베이지안 분류기나 서포트 벡터 머신과 같은 기존의 기계학습 방법 뿐 아니라 처음에 제안된 재귀신경망의 기록까지도 뛰어넘는 성능을 보였다. 또한 긍정의 부정, 부정의 부정 (negated positive, negated negative) 형태로 되어있는 문장에 대한 감성분석을 수행했으며, 이러한 문장들에 대해 기존의 재귀신경망이 30~40% 의 정확도를 기록한 것과 대조적으로 RNTN은 70~80%의 정확도를 보이기도 하였다.
[19]는 길이가 짧은 텍스트 데이터를 감성분석 할 때, 그안의 문맥정보가 많지 않아 감성분석의 어려운 상황을 극복하고자 입력 데이터의 단위를 조금더 세분화한 모델을 제시하였다. 이 연구에서는 문자 단위를 기준으로 입력값을 필터링하는 합성 곱신경망을 제안하여 영화 리뷰와 트위터 문장을 대상으로 한 감성분석을 수행해 80%가 넘는 뛰어난 정확도를 보였다.
[15]는 문장 내에 존재하는 감성분석 대상 (target)을 파악하고 이들을 중심으로 감성분성을 수행하기 위해 대상 단어를 중심으로 전후 두 개의 LSTM을 연결하거나 대상 단어의 벡터를 모든 입력 데이터에 추가하는 기법 등을 제안하였다. 이러한 방법으로 트위터에서 추출한 데이터 셋을 감성분석하여 71.5%의 정확도를 기록하며 서포트 벡터 머신이나 재귀신경망 등의 기법에 비해 뛰어난 성능을 기록하였다.

후속연구

빅데이터의 성장과 더불어 블로그, 사회연결망 서비스, 상품구매 리뷰, 뉴스 댓글 등 사회 각 분야 에서 생산되는 텍스트 데이터의 분석에 대한 사회적 요구는 지속적으로 커질 것으로 예상된다. 이런 사회적 요구를 바탕으로 향후의 감성분석 연구는 계속 활발하게 진행될 것이며, 딥러닝 모델의 발전에 따라 기존의 딥러닝 기반의 감성분석 방법을 최적화시키거나 새로운 딥러닝 기법을 감성분석에 접목시키는 연구가 지속될 것으로 생각된다. 다른 한 편으로 감독학습 외에 비감독 학습, 혹은 반감독 학습의 방법론들을 감성분석에 적용하는 연구도 활발히 수행될 것으로 예상된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	딥러닝의 특징은 무엇인가?	최근 인공지능 분야에서 많은 주목을 받는 딥러닝(Deep Learning)은 깊은 구조로 이루어진 인공 신경망의 학습기법을 일컫는다[1-3]. 딥러닝은 인공신경망 학습에서 발생하던 기존의 제약사항 들을 부분적으로 해소함으로써 이미지, 음성, 자연어처리 등의 분야에서 뛰어난 성과를 거두며 지속적인 관심을 받고 있다.
	감성분석 기법 중 어휘기반 접근방식은 무엇인가?	감성분석은 수행되는 기법에 따라서 어휘기반, 기계학습, 혼합방식(hybrid) 등으로 분류할 수 있다[31]. 어휘기반 접근방식은 기보유한 어휘자원 (lexical resource)을 바탕으로 범주화 작업을 선행하여 감성사전(sentiment dictionary)을 구축한뒤, 감성사전을 바탕으로 분석하고자 하는 텍스트 데이터에 대한 감성점수를 계산하여 범주화하는 방식을 일컫는다[26]. 어휘기반의 감성분석은 감성사전 등의 어휘자원에 대한 의존도가 높기 때문에 성능향상을 위해서는 감성사전의 구축에 많은 노력이 필요하다.
	텍스트 마이닝의 주요 과업은 무엇이 있는가?	텍스트 마이닝은 텍스트 데이터에 숨겨진 정보를 찾아 유용하게 활용하는 일련의 과정을 일컫는다[29]. 넓은 의미에서 텍스트 마이닝의 주요 과업 (task)은 정보검색(information retrieval), 정보 추출(information extraction), 텍스트 범주화(text categorization), 텍스트 군집화(text clustering), 텍스트 요약(text summarization) 등으로 구분할 수 있다[30].

참고문헌 (56)

LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning.", Nature 521.7553, (2015): 436-444.

상세보기
Bengio, Yoshua, Aaron Courville, and Pascal Vincent. "Representation learning: A review and new perspectives.", IEEE transactions on pattern analysis and machine intelligence 35.8, (2013): 1798-1828.

상세보기
Schmidhuber, Jurgen. "Deep learning in neural networks: An overview.", Neural Networks 61, (2015): 85-117.

상세보기
Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search.", Nature 529.7587, (2016): 484-489.

상세보기
Taigman, Yaniv, et al. "Deepface: Closing the gap to human-level performance in face verification.", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, (2014).
Russakovsky, Olga, et al. "Imagenet large scale visual recognition challenge.", International Journal of Computer Vision 115.3, (2015): 211-252.

상세보기
Hinton, Geoffrey, et al. "Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups.", IEEE Signal Processing Magazine 29.6, (2012): 82-97.

상세보기
Graves, Alex, Abdel-rahman Mohamed, and Geoffrey Hinton. "Speech recognition with deep recurrent neural networks.", 2013 IEEE international conference on acoustics, speech and signal processing. IEEE, (2013).
Weston, Jason, et al. "Towards ai-complete question answering: A set of prerequisite toy tasks.", arXiv preprint arXiv:1502.05698, (2015).
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate.", arXiv preprint arXiv:1409.0473, (2014).
Cho, Kyunghyun, et al. "Learning phrase representations using RNN encoder-decoder for statistical machine translation.", arXiv preprint arXiv:1406.1078, (2014).
Tarasov, D. S. "Deep recurrent neural networks for multiple language aspect-based sentiment analysis of user reviews.", Proceedings of International Conference of Computational Linguistics and Intellectual Technologies Dialog-2015. Vol. 2, (2015).
Irsoy, Ozan, and Claire Cardie. "Opinion Mining with Deep Recurrent Neural Networks.", EMNLP, (2014).
Tai, Kai Sheng, Richard Socher, and Christopher D. Manning. "Improved semantic representations from tree-structured long short-term memory networks.", arXiv preprint arXiv:1503.00075, (2015).
Tang, Duyu, et al. "Target-Dependent Sentiment Classification with Long Short Term Memory.", arXiv preprint arXiv:1512.01100, (2015).
Tang, Duyu, Bing Qin, and Ting Liu. "Document modeling with gated recurrent neural network for sentiment classification.", Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, (2015).
Socher, Richard, et al. "Recursive deep models for semantic compositionality over a sentiment treebank.", Proceedings of the conference on empirical methods in natural language processing (EMNLP) . Vol. 1631, (2013).
Kim, Yoon. "Convolutional neural networks for sentence classification.", arXiv preprint arXiv:1408.5882, (2014).
dos Santos, Cicero Nogueira, and Maira Gatti. "Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts.", COLING, (2014).
Zhou, Shusen, Qingcai Chen, and Xiaolong Wang. "Active deep learning method for semi-supervised sentiment classification.", Neurocomputing 120, (2013): 536-546.

상세보기
Lai, Siwei, et al. "Recurrent Convolutional Neural Networks for Text Classification.", AAAI, (2015).
Liu, Bing. "Sentiment analysis and opinion mining.", Synthesis lectures on human language technologies 5.1, (2012): 1-167.

상세보기
Wang, Hao, et al. "A system for real-time twitter sentiment analysis of 2012 us presidential election cycle.", Proceedings of the ACL 2012 System Demonstrations. Association for Computational Linguistics, (2012).
Nakov, Preslav, et al. "SemEval-2016 task 4: Sentiment analysis in Twitter.", Proceedings of the 10th international workshop on semantic evaluation (SemEval 2016), San Diego, US (forthcoming), (2016).
Ding, Xiaowen, Bing Liu, and Philip S. Yu. "A holistic lexicon-based approach to opinion mining.", Proceedings of the 2008 international conference on web search and data mining. ACM, (2008).
Taboada, Maite, et al. "Lexicon-based methods for sentiment analysis.", Computational linguistics 37.2, (2011): 267-307.

상세보기
Tan, Songbo, et al. "Adapting naive bayes to domain adaptation for sentiment analysis.", European Conference on Information Retrieval. Springer Berlin Heidelberg, (2009).
Mullen, Tony, and Nigel Collier. "Sentiment Analysis using Support Vector Machines with Diverse Information Sources.", EMNLP. Vol. 4. (2004).
Dang, Shilpa, and Peerzada Hamid Ahmad. "Text Mining: Techniques and its Application.", International Journal of Engineering & Technology Innovations, ISSN (Online), (2014): 2348-0866.
Dang, Dr Shilpa, and Peerzada Hamid Ahmad. "A Review of Text Mining Techniques Associated with Various Application Areas.", International Journal of Science and Research (IJSR) 4.2, (2015): 2461-2466.
Medhat, Walaa, Ahmed Hassan, and Hoda Korashy. "Sentiment analysis algorithms and applications: A survey.", Ain Shams Engineering Journal 5.4, (2014): 1093-1113.

상세보기
Baccianella, Stefano, Andrea Esuli, and Fabrizio Sebastiani. "SentiWordNet 3.0: An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining.", LREC. Vol. 10, (2010).
An, Jungkook, and Hee-Woong Kim. "Building a Korean Sen.timent Lexicon Using Collective Intelligence.", Journal of Intelligence and Information Systems 21.2, (2015): 49-67.

원문보기 상세보기
Pang, Bo, Lillian Lee, and Shivakumar Vaithyanathan. "Thumbs up?: sentiment classification using machine learning techniques.", Proceedings of the ACL-02 conference on Empirical methods in natural language processing- Volume 10. Association for Computational Linguistics, (2002).
Blitzer, John, Mark Dredze, and Fernando Pereira. "Biographies, bollywood, boom-boxes and blenders: Domain adaptation for sentiment classification.", ACL. Vol. 7, (2007).
Glorot, Xavier, Antoine Bordes, and Yoshua Bengio. "Domain adaptation for large-scale sentiment classification: A deep learning approach.", Proceedings of the 28th International Conference on Machine Learning(ICML-11) , (2011).
Rumelhart, David E., Geoffrey E. Hinton, and Ronald J. Williams. "Learning internal representations by error propagation.", No. ICS-8506. CALIFORNIA UNIV SAN DIEGO LA JOLLA INST FOR COGNITIVE SCIENCE, (1985).
Hawkins, Douglas M. "The problem of overfitting.", Journal of chemical information and computer sciences 44.1, (2004): 1-12.

상세보기
LeCun, Yann, et al. "Gradient-based learning applied to document recognition.", Proceedings of the IEEE 86.11, (1998): 2278-2324.

상세보기
Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks.", Advances in neural information processing systems, (2012).
Hinton, Geoffrey E., Simon Osindero, and Yee-Whye Teh. "A fast learning algorithm for deep belief nets.", Neural computation 18.7, (2006): 1527-1554.

상세보기
Hinton, Geoffrey E. "A practical guide to training restricted boltzmann machines.", Neural Networks: Tricks of the Trade. Springer Berlin Heidelberg, (2012): 599-619.
Liu, Ping, et al. "Facial expression recognition via a boosted deep belief network.", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, (2014).
Deoras, Anoop, and Ruhi Sarikaya. "Deep belief network based semantic taggers for spoken language understanding.", INTERSPEECH, (2013).
Elman, Jeffrey L. "Finding structure in time.", Cognitive science 14.2, (1990): 179-211.

상세보기
Mikolov, Tomas, et al. "Recurrent neural network based language model.", Interspeech. Vol. 2, (2010).
Bengio, Yoshua, et al. "A neural probabilistic language model.", journal of machine learning research 3.Feb, (2003): 1137-1155.
Mikolov, T., and J. Dean. "Distributed repre-sentations of words and phrases and their compositionality.", Advances in neural information processing systems, (2013).
Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space.", arXiv preprint arXiv:1301.3781, (2013).
Werbos, Paul J. "Backpropagation through time: what it does and how to do it.", Proceedings of the IEEE 78.10, (1990): 1550-1560.

상세보기
Hochreiter, Sepp, and Jurgen Schmidhuber. "Long short-term memory.", Neural computation 9.8, (1997): 1735-1780.

상세보기
Graves, Alex. "Long Short-Term Memory.", Supervised Sequence Labelling with Recurrent Neural Networks. Springer Berlin Heidelberg, (2012): 37-45.
Greff, Klaus, et al. "LSTM: A search space odyssey.", arXiv preprint arXiv:1503.04069, (2015).
Socher, Richard, et al. "Semantic compositionality through recursive matrix-vector spaces.", Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Association for Computational Linguistics, (2012).
http://nlp.stanford.edu/sentiment/treebank.html
Collobert, Ronan, and Jason Weston. "A unified architecture for natural language processing: Deep neural networks with multitask learning.", Proceedings of the 25th international conference on Machine learning. ACM, (2008).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증