[논문]LDA 기반 사용자 감정분석을 위한 문서 토픽 추출 시스템에 대한 연구

안윤빈; 김학영; 문용현; 황승연; 김정준

doi:10.7236/jiibc.2021.21.2.195

[국내논문] LDA 기반 사용자 감정분석을 위한 문서 토픽 추출 시스템에 대한 연구
A Study on the Document Topic Extraction System for LDA-based User Sentiment Analysis 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.21 no.2, 2021년, pp.195 - 203

안윤빈 (한국산업기술대학교 컴퓨터공학과) , 김학영 (한국산업기술대학교 컴퓨터공학과) , 문용현 (한국산업기술대학교 컴퓨터공학과) , 황승연 (안양대학교 컴퓨터공학과) , 김정준 (안양대학교 ICT융합학부 소프트웨어전공)

초록
AI-Helper

최근 IT 분야의 주요 기술인 빅데이터는 다양한 산업 분야로 확장되고 있으며 활용 방안에 대한 연구가 활발하게 진행 중이다. 대부분의 인터넷 산업 분야에서 사용자 리뷰는 이용자가 상품 구매를 결정하는 데 많은 도움을 준다. 그러나 방대한 제품 리뷰에서 긍정, 부정적 의미와 도움이 되는 리뷰를 선별하는 과정은 제품 구매 결정에 있어 많은 시간을 요구한다. 따라서 본 논문에서는 빅데이터 분석 기술인 LDA를 이용해 키워드를 분석 및 종합하여 사용자에게 의미 있는 정보를 제공하는 시스템을 설계하고 구현한다. 문서 토픽 추출을 위해 본 연구에서는 국내 도서 산업을 도메인으로 데이터를 크롤링하고, 빅데이터 분석을 실시한다. 이를 통해 사용자 리뷰의 토픽 및 감정단어를 바탕으로 상품에 대한 종합적인 정보를 제공함으로써 구매자에게 도움을 주고 나아가 리뷰 현황 분석을 통해 상품의 전망 또한 파악할 수 있다.

Abstract ▼ AI-Helper

Recently, big data, a major technology in the IT field, has been expanding into various industrial sectors and research on how to utilize it is actively underway. In most Internet industries, user reviews help users make decisions about purchasing products. However, the process of screening positive, negative and helpful reviews from vast product reviews requires a lot of time in determining product purchases. Therefore, this paper designs and implements a system that analyzes and aggregates keywords using LDA, a big data analysis technology, to provide meaningful information to users. For the extraction of document topics, in this study, the domestic book industry is crawling data into domains, and big data analysis is conducted. This helps buyers by providing comprehensive information on products based on user review topics and appraisal words, and furthermore, the product's outlook can be identified through the review status analysis.

주제어

표/그림 (20)

그림 그림 1. 문서 토픽 추출 시스템 흐름도 Fig. 1. Document Topic Extraction System
그림 그림 2. 웹 크롤링 GUI Fig. 2. Web crawling GUI
그림 그림 3. 리뷰 데이터 저장 Fig. 3. Save review data
그림 그림 4. 리뷰 데이터 샘플 Fig. 4. Review data sample
그림 그림 5. 리뷰 데이터 삽입 Fig. 5. Insert review data
그림 그림 6. 책 내용 데이터 샘플 Fig. 6. Book content data sample
그림 그림 7. 리뷰 데이터 정제 Fig. 7. Review data purification
그림 그림 8. 자료구조 변환 Fig. 8. Data structure conversion
그림 그림 9. LDA 모델 생성 Fig. 9. Create an LDA Model
그림 그림 10. 통계 계산 및 변수 지정 Fig. 10. Statistical calculations and variable assignment
그림 그림 11. LDA 분석 Fig. 11. LDA analysis
그림 그림 12. 웹 시각화를 위한 데이터 저장 Fig. 12. Save data for web visualization
그림 그림 13. 감정 분석 사전 파일 불러오기 Fig. 13. Load sentiment analysis dictionary file
그림 그림 14. 감정 분석용 함수 생성 Fig. 14. Create function for sentiment analysis
그림 그림 15. 빈도수 확인 Fig. 15. Check frequency
그림 그림 16. 웹 시각화용 json 파일 생성 Fig. 16. Create json file for web visualization
그림 그림 17. '아몬드' 문서 토픽 추출 웹 시각화 Fig. 17. '아몬드' topic web visualization
그림 그림 18. '아몬드' 문서 토픽 추출 웹 시각화 결과 Fig. 18. '아몬드‘ topic extraction web visualization results
그림 그림 19. '아몬드' 감정 분석 웹 시각화 Fig. 19. '아몬드‘ sentiment analysis web visualization
그림 그림 20. '아몬드' 감정 분석 웹 시각화 결과 Fig. 20. 아몬드' sentiment analysis web visualization results

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

서평이란 문헌비평, 도서비평, 도서평론 등을 통틀어 부르는 말로 이용자리뷰를 포함한 비평에 관한 포괄적인 개념이다.^[7]본 연구에서는 대표적인 서평인 “이용자 리뷰”를 감정분석 하여 인터넷 도서 구매에 도움을 주고자 한다.
본 논문에서는 LDA 알고리즘과 감정분석을 이용하여 교보문고에 있는 책 리뷰의 키워드들을 분석해보았다. 분석한 토픽과 감정단어를 바탕으로 책의 내용 유추하여 책을 읽으려는 독자들에게 도움이 될 수 있을 것이라 예상된다.
유용하게 사용된다. 본 연구에서는 교보문고 웹 사이트에 있는 책의 리뷰와 책 이미지를 가져오는 웹 크롤링 시스템을 소개한다.

제안 방법

감정 분석 과정은 웹 크롤링 과정을 통해 저장된 텍스트 파일을 감정사전(긍정어, 부정어 사전) 과 대조하여 문서의 감정을 분석한다.
본 연구에서는 자연어 처리를 이용해 수집된 책 리뷰를 단어로 정제한 뒤, 감정사전에 있는 단어와 매칭 시켜 긍정, 부정, 중립으로 나누어 감정을 분석하여 시각화하였다.
분석, 웹 시각화 4가지 과정으로 구성된다. 웹 크롤링 프로세스는 Python 언어의 selenium을 이용해서 구현하였고, 분석 과정과 웹 시각화는 R 언어를 이용하였다.

이론/모형

^[3] 빅데이터는 많은 양의 정보 그 자체만을 의미하는 것이 아니라 그 정보를 의미 있는 값으로 활용하는 방법이 중요하다.^[4] 정보들을 활용하는 방법들에는 여러 가지가 있는데, 본 연구에서는 LDA 토픽모델링을 이용한다. LDA 토픽모델링을 포함한 데이터마이닝은 숫자 같은 구조화(structured database) 되거나, 문자, 문서같이 비구조화(unstructured database) 되어있는 데이터베이스를 분석하여 의미 있는 규칙이나 패턴을 도출하는 방법이다.
감정분석 할 리뷰를 모으는 방법으로 본 연구에서는 웹 크롤링을 사용한다. 웹 크롤링이란, 인터넷 웹 검색 엔진 (Web Searching Engine)에서 이미지 데이터를 포함하여 사용자가 원하는 데이터를 자동으로 수집하는 기법이다.
단어의 순서는 중요하지 않고 출현 빈도만으로 토픽을 추출하며 미리 알고 있는 토픽별 단어 수 분포를 바탕으로, 주어진 문서에서 발견된 단어 수 분포를 분석하여 해당 문서가 어떤 토픽들을 가지고 있을지를 예측하는 기법이다. 본 연구에서는 사용자 리뷰 분석을 위해 베이즈 추론을 이용한 깁스 샘플링 방법을 이용하여 토픽을 할당한다^[14].

성능/효과

각 리뷰를 긍정어, 부정어 사전과 대조하여 분석한 결과인 파이차트에서 전체 리뷰에서 긍정어가 많이 사용된 리뷰의 비율은 50%, 부정어가 많이 사용된 리뷰의 비율은 34.78%, 긍정어와 부정어 비율이 비슷한 중립적인 리뷰의 비율이 15.22%가 나왔다. 또한, LDA 토픽 추출 결과를 감정사전과 대조한 결과인 트리맵에서 감정, 생각, 이해, 공포, 사랑 등의 단어가 나온 것을 확인할 수 있다.
22%가 나왔다. 또한, LDA 토픽 추출 결과를 감정사전과 대조한 결과인 트리맵에서 감정, 생각, 이해, 공포, 사랑 등의 단어가 나온 것을 확인할 수 있다.
토픽 추출 결과에서 책의 등장인물인 윤재, 엄마, 할머니라는 단어와 책의 내용과 밀접한 관련이 있는 감정, 공감, 성장 등의 단어가 출현한 것을 확인할 수 있다.

후속연구

분석한 토픽과 감정단어를 바탕으로 책의 내용 유추하여 책을 읽으려는 독자들에게 도움이 될 수 있을 것이라 예상된다. 또한, 본 연구에서 쓰인 토픽 추출 시스템을 이용하여 리뷰 데이터 수집에 대한 편리성이 증가할 것이며, 기업은 책 리뷰 분석을 통해 책에 대한 독자들의 반응을 검토 가능하여 책의 전망을 파악할 수 있을 것이라 예상된다.
분석해보았다. 분석한 토픽과 감정단어를 바탕으로 책의 내용 유추하여 책을 읽으려는 독자들에게 도움이 될 수 있을 것이라 예상된다. 또한, 본 연구에서 쓰인 토픽 추출 시스템을 이용하여 리뷰 데이터 수집에 대한 편리성이 증가할 것이며, 기업은 책 리뷰 분석을 통해 책에 대한 독자들의 반응을 검토 가능하여 책의 전망을 파악할 수 있을 것이라 예상된다.

참고문헌 (15)

YoungHo Lee, "A Study on Analytical Machine Learning Method Applying Discretization and Hierarchical Clustering Algorithm", The Journal of KIIT, Vol. 19, No. 1, pp. 55-61, 2021. DOI : 10.14801/jkiit.2021.19.1.55

상세보기
So-Jin Lee, Chae-Eun Jin, Min-Ji Jeon, Jo-Eun Lee, Su-Jeong and Kim, Sang-Hyun Lee, "De-identification Policy Comparison and Activation Plan for Big Data Industry", The Journal of the Convergence Culture Technology, Vol. 2, No. 4, pp.71-76, 2016. DOI:http://dx.doi.org/10.17703/JCCT.2016.2.4.71

원문보기 상세보기
Chan-Ho Lee, Min-Seung Kim, Jeong-Hee Lee and Tae-Eung Sung, "A Study on the Comparison of Technology Development Trends using Topic Modelling-based LDA Method and Web Search Traffic Analysis", The Korean Institute of Information Scientists and Engineers, pp.1767-1769, 2019.
Sejong Oh, Sunghun and Ahn, Jungmin Byun, "A Big Data Study on Viewers' Response and Success Factors in the D2C Era Focused on tvN's Web-real Variety 'SinSeoYuGi' and Naver TV Cast Programming", International Journal of Advanced Culture Technology, Vol.4, No.2, pp.7-18, 2016. DOI:http://dx.doi.org/10.17703/IJACT.2016.4.2.7

원문보기 상세보기
Soon-Uk Yoon and Min-Chul Kim, "Topic Modeling on Fine Dust Issues Using LDA Analysis", Journal of Energy Engineering, Vol.29, No.2, pp.23-29, 2020. DOI:https://doi.org/10.5855/ENERGY.2020.29.2.023

원문보기 상세보기
Seung-hui Baek, Soo-yeon Son, Joo-young Lee, Ji-seon Lee, "A Study on the Influence of Purchasing of books on Internet Bookstore Review", Conf. of Korean Society for Information Society 2015 22th, pp.109-114., 2015.
Kwon, Hyejin, "Content analysis of readers' book reviews on the picture book Crow Boy from internet bookstores in Korea, USA, and Japan ", The Korean Society for Early Childhood Education and Care, Vol. 13 No. 2,, pp.29-50, 2018. DOI:https://doi.org/10.16978/ecec.2018.13.02.002

상세보기
Jinsu Kim, "Emotion Prediction of Document using Paragraph Analysis", Journal of Digital Convergence, Vol. 12, No.12, pp.249-255, 2014. DOI:https://doi.org/10.14400/JDC.2014.12.12.249

원문보기 상세보기
Pan-Seop Shin, "Emotional analysis system for social media using sentiment dictionary with newly-created words", Journal of The Korea Society of Computer and Information Vol. 25 No. 4, April 2020, pp. 133-140. DOI: https://doi.org/10.9708/jksci.2020.25.04.133

원문보기 상세보기
Raegeun Park, Hyeok-Jin Yun, Ui-Cheol Shin, Young-Jin Ahn, Seungdo Jeong, "Application of Advertisement Filtering Model and Method for its Performance Improvement," Journal of the Korea Academia-Industrial cooperation Society(JKAIS), Vol. 21, No. 11, pp. 1-8, 2020. DOI: http://dx.doi.org/10.5762/KAIS.2020.21.11.1

원문보기 상세보기
Jeong-Bin Hwang, Jin-Woo Kim,, Seok-Ho Chi and Joon-Oh Seo, "Automated Training Database Development through Image Web Crawling for Construction Site Monitoring", Journal of the Korean Society of Civil Engineers Vol. 39, No. 6, pp.887-892, 2019. DOI:https://doi.org/10.12652/Ksce.2019.39.6.0887

원문보기 상세보기
Kyung-Su Kang, Se-Min Park, "Keyword Analysis of KCI Journals on Business Administration using Web Crawling and Machine Learning", Korean Journal of Business Administration, Vol. 32, No. 4, pp.597-615, 2019. DOI: https://doi.org/10.18032/kaaba.2019.32.4.597

상세보기
Jae-Saeng Kim, "Big Data Analysis Technologies and Practical Examples", The Korea Contents Association Review, Vol. 12, No. 1, pp.14-20, 2014.

원문보기 상세보기
Blei, D., A. Ng, and M. Jordan, "Latent Dirichlet Allocation.", Journal of Machine Learning Research, Vol. 3,, pp. 993-102, 2003.
Yoon-Su Kang, Min-Su Kim, Chang-Hwan Hong, Seong-Baeg Kim and Sang-Cheol Kwon, "Visualizing Educational Material Using a Big Data Analytical Tool R Language", Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol.8, No.3, pp. 915-924, 2018. DOI: http://dx.doi.org/10.21742/AJMAHS.2018.03.45

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증