[논문]웹 애플리케이션 기반의 텍스트 데이터 분석 모델

진고환

doi:10.5392/jkca.2021.21.11.785

[국내논문] 웹 애플리케이션 기반의 텍스트 데이터 분석 모델
Text Data Analysis Model Based on Web Application 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.21 no.11, 2021년, pp.785 - 792

초록
AI-Helper

4차 산업혁명 이후 인공지능, 빅 데이터와 같은 기술들의 발전으로 사회 전반에 다양한 변화가 일어나고 있으며, 핵심적인 기술 적용 과정에서 수집할 수 있는 데이터의 양도 급속하게 증가하고 있는 추세이다. 특히 학계에서는 연구 동향을 파악하기 위하여 기존에 생성된 문헌 데이터에 대한 분석이 이루어지고 있으며, 이러한 문헌 분석은 연구의 흐름을 정리하고, 어떤 연구 방법론이나 주제, 또는 현재 학계에서 화두가 되고 있는 대상에 대한 파악을 통하여 향후 연구 방향 설정에 많은 기여를 하고 있는 상황이다. 그러나 문서 데이터의 분석을 위하여 데이터 수집이 필요하나, 일반적으로 프로그램에 대한 전문 지식이 없는 경우 접근하기 어렵다. 본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 제안 모델을 통하여 데이터 분석 기법에 대한 전문적인 지식이 부족하더라도, 연구 논문의 수집, 저장, 텍스트 분석과 같은 다양한 작업을 진행할 수 있으며, 연구자들이 선행 연구 분석과 연구 동향을 파악하기 위하여 데이터 분석에 투입되는 시간 및 노력을 단축시킬 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

Since the Fourth Industrial Revolution, various changes have occurred in society as a whole due to advance in technologies such as artificial intelligence and big data. The amount of data that can be collect in the process of applying important technologies tends to increase rapidly. Especially in academia, existing generated literature data is analyzed in order to grasp research trends, and analysis of these literature organizes the research flow and organizes some research methodologies and themes, or by grasping the subjects that are currently being talked about in academia, we are making a lot of contributions to setting the direction of future research. However, it is difficult to access whether data collection is necessary for the analysis of document data without the expertise of ordinary programs. In this paper, propose a text mining-based topic modeling Web application model. Even if you lack specialized knowledge about data analysis methods through the proposed model, you can perform various tasks such as collecting, storing, and text-analyzing research papers, and researchers can analyze previous research and research trends. It is expect that the time and effort required for data analysis can be reduce order to understand.

Keyword

AI 본문요약
AI-Helper

가설 설정

다음은 토픽 모델링의 대표적인 모델인 LDA를 기반으로 분석을 수행하였다. LDA는 분석하고자 하는 문서들이 혼합으로 토픽이 구성되어 있으며, 토픽들은 확률분포를 기반으로 단어들을 생성한다고 가정하고, 문서가 생성되는 과정을 역추적하면서 토픽을 생성한다. 다음의 [그림 8]은 IDM(Intertopic Distance Map) 기법을 적용하여 html 파일 형식으로 시각화한 것으로, 이를 통하여 하나의 토픽이 다른 토픽과 어느 정도의 연관이 있는 지를 파악할 수 있고, 토픽들 간의 유사도를 알 수 있다.

제안 방법

둘째, 데이터 저장 단계로서, 엑셀 파일이나 csv 형태의 파일로 저장한다. 셋째, 탐색적 데이터 분석 단계로서, 논문의 저자, 년도, 발행기관 및 시각화를 진행한다. 넷째, 데이터 분석 단계로서 토픽 모델링을 수행하며, 워드 클라우드를 진행한다.
셋째, 탐색적 데이터 분석 단계로서, 논문의 저자, 년도, 발행기관 및 시각화를 진행한다. 넷째, 데이터 분석 단계로서 토픽 모델링을 수행하며, 워드 클라우드를 진행한다.
학계의 연구자들은 관심을 가지고 있는 연구 주제에 대하여 수시로 연구 동향을 파악하는 일은 매우 중요하다고 할 수 있다. 따라서 제안 모델은 키워드만 입력하면 연구자들이 원하고자 하는 결과물들을 차례로 확인할 수 있는 구조로 설계하였다. 다음의 [표 1]은 제안모델의 구조를 나타낸 것이다.
이러한 변화는 학계의 연구자들 사이에서도 일어나고 있는 상황으로, 학계에서는 연구 동향을 파악하기 위하여 기존에 생성된 문헌에 대한 분석이 이루어지고 있으며, 이러한 문헌 분석은 연구의 흐름을 정리하고 어떤 연구 방법론이나 주제, 또는 현재 학계에서 화두가 되고 있는 대상에 대한 파악을 통하여 향후 연구 방향 설정에 많은 기여를 하고 있기에, 텍스트 데이터의 분석은 학술 연구에 매우 중요한 분야 중 하나라 할 수 있다. 본 논문에서는 학술 논문을 자동으로 수집하고, 이를 통하여 텍스트 데이터 분석이 가능한 LDA 기반의 웹 애플리케이션 모델을 제안한다. 제안 모델을 통하여 학계의 많은 연구자들이 연구 동향 파악과 선행 연구분석에 투입되는 시간과 노력을 단축시킬 수 있어 더 많은 학문적 연구를 할 수 있을 것이며, 애플리케이션의 상용화를 통하여 다양한 토픽모델링의 서비스가 가능할 것으로 판단된다.

대상 데이터

다음의 [그림 1]은 제안 모델의 전체적인 프로세스로서 크게 4단계로 이루어져 있다. 첫째, 데이터 수집 단계로서, 웹 크롤링을 통하여 해당 사이트에서 분석하고자 하는 데이터를 수집한다. 둘째, 데이터 저장 단계로서, 엑셀 파일이나 csv 형태의 파일로 저장한다.
다음의 [표 1]은 제안모델의 구조를 나타낸 것이다. 국내 논문과 해외 논문을 분석할 수 있으며, 크게 3가지의 메인 메뉴로 구성하였다. 첫째, 논문 정보를 수집하는 기능으로, 키워드와 수집하고자 하는 논문의 개수를 입력하고, 웹 크롤링을 통하여 결과를 확인할 수 있다.
해당 분야의 연구 논문들을 수집하기 위하여 국내 논문뿐만 아니라 해외 논문도 수집할 수 있도록 RISS와 pubmed(https://pubmed.ncbi.nlm.nih.gov/)를 선택할 수 있도록 구성하였으며, 사용자들이 키워드만 입력하면 자동으로 웹 크롤링이 시작되어, 그 결과를 데이터 분석 패키지인 pandas의 DataFrame 형식으로 나타낸다. 제안 모델인 웹 애플리케이션에서 사용자는 인터랙티브한 방식으로 서비스를 이용할 수 있으며, 수집할 논문의 키워드를 입력하고, 수집할 논문의 수도 최대 1, 000편까지 선택할 수 있다.
gov/)를 선택할 수 있도록 구성하였으며, 사용자들이 키워드만 입력하면 자동으로 웹 크롤링이 시작되어, 그 결과를 데이터 분석 패키지인 pandas의 DataFrame 형식으로 나타낸다. 제안 모델인 웹 애플리케이션에서 사용자는 인터랙티브한 방식으로 서비스를 이용할 수 있으며, 수집할 논문의 키워드를 입력하고, 수집할 논문의 수도 최대 1, 000편까지 선택할 수 있다.
제안 모델을 구현하기 위하여 윈도우10(64bit) 운영체제 하에서 크롬 94.0의 브라우저를 사용하였다. 개발언어는 Python 3.
제안 모델을 평가하기 위하여 학계 및 연구원의 연구자들과 일반 사용자 80명을 대상으로 30일간의 베타테스트를 진행하였으며, 진행 사항의 결과를 설문조사를 통하여 만족도 평가를 실시하였다. 베타 테스트 참가자들의 연령은 설문 대상자 연령은 40대에서 60대를 대상으로 진행하였으며, 설문조사 결과를 다음의 [표 2] 와 같이 정리하였다.
제안 모델을 평가하기 위하여 학계 및 연구원의 연구자들과 일반 사용자 80명을 대상으로 30일간의 베타테스트를 진행하였으며, 진행 사항의 결과를 설문조사를 통하여 만족도 평가를 실시하였다. 베타 테스트 참가자들의 연령은 설문 대상자 연령은 40대에서 60대를 대상으로 진행하였으며, 설문조사 결과를 다음의 [표 2] 와 같이 정리하였다.

데이터처리

데이터 분석을 위하여 수행한 정보는 발행 기관과 발행 연도이다. 크롤링하여 수집된 논문들 중에서 발행 기관과 발행 연도별로 논문의 빈도수를 분석하고 이를 시각화 하였다. 다음의 [그림 5]는 시각화한 결과를 나타낸 것이다.
다음은 토픽 모델링의 대표적인 모델인 LDA를 기반으로 분석을 수행하였다. LDA는 분석하고자 하는 문서들이 혼합으로 토픽이 구성되어 있으며, 토픽들은 확률분포를 기반으로 단어들을 생성한다고 가정하고, 문서가 생성되는 과정을 역추적하면서 토픽을 생성한다.

이론/모형

0의 브라우저를 사용하였다. 개발언어는 Python 3.8, 개발 방식은 BeatifulSoup, Streamlit Library 방식으로 구현하였으며, 개발 환경은 Anaconda/Jupyter Notebook를 기반으로 하였다.

성능/효과

시각화 결과를 살펴보면 인공지능이나 인공지능 교육과 관련된 논문들은 4차 산업혁명 이후인 2017년부터 2021년까지 전체 논문들 중에서 84%를 차지한 것으로 나타나고 있어, 인공지능에 대한 관심이 증대됨에 따라 많은 연구가 이루어지고 있음을 확인할 수 있다. 제안 모델은 사용자와의 인터랙티브한 방식으로 구현하였으며, 수집할 논문의 키워드 입력과 수집하고자 하는 논문의 수량까지 선택할 수 있고, 수집이 완료된 파일을 저장하기 위하여 엑셀 파일과, csv 형태의 파일로 저장할 지에 대한 선택이 가능하도록 하였으며, 로컬 PC에 저장된 파일을 업로드 할 수 있는 기능을 보유하고 있다. 저장된 파일을 통하여 워드 클라우드를 생성할 경우 랜덤 값을 사이드 바로 조정하면서 매번 다르게 생성되는 워드 클라우드를 확인하면서 선택할 수 있다.
제안 모델 사용 테스트를 실시한 평가 결과를 종합하면, ‘좋다’, ‘매우 좋다’라고 응답한 참가자들의 의견이 86.2%로 제안 모델에 대한 사용자 만족은 기대했던 것 이상으로 평가되었으며, 제안 모델을 처음 사용하는 경우 익숙하지 않은 관계로 접근 및 결과에 대한 해석이 쉽지 않았으나, 신속하게 접근하여 사용하였으며, 립모션을 처음 사용하는 경우 익숙하지 않아 접근이 쉽지 않았으나 빠르게 접근하였으며, 논문 분석에서 더욱 다양한 시각화 및 논문의 전체적인 텍스트 요약이 필요하다는 의견이 도출되었다.
제안 모델의 베타 테스트를 실시한 결과 시스템 사용자들의 만족도 및 시스템의 효과성, 효율성에서 ‘좋음’ 이상이 86.2%로 분석되어 기대치 이상으로 나타났으며, 신속하고 쉽게 크롤링 하고 그 결과를 시각적이고 인터랙티브하게 확인할 수 있다는 점에서 높은 관심을 보이고 있어 효용성 가치 또한 크다고 할 수 있다

후속연구

본 논문에서는 학술 논문을 자동으로 수집하고, 이를 통하여 텍스트 데이터 분석이 가능한 LDA 기반의 웹 애플리케이션 모델을 제안한다. 제안 모델을 통하여 학계의 많은 연구자들이 연구 동향 파악과 선행 연구분석에 투입되는 시간과 노력을 단축시킬 수 있어 더 많은 학문적 연구를 할 수 있을 것이며, 애플리케이션의 상용화를 통하여 다양한 토픽모델링의 서비스가 가능할 것으로 판단된다. 제안 모델의 베타 테스트를 실시한 결과 시스템 사용자들의 만족도 및 시스템의 효과성, 효율성에서 ‘좋음’ 이상이 86.
2%로 분석되어 기대치 이상으로 나타났으며, 신속하고 쉽게 크롤링 하고 그 결과를 시각적이고 인터랙티브하게 확인할 수 있다는 점에서 높은 관심을 보이고 있어 효용성 가치 또한 크다고 할 수 있다. 그러나 제안 모델은 한글 논문과 영문 논문의 크롤링 사이트를 1개씩만 지정하여, 연구한 것으로 더 많은 논문 사이트의 연결이 필요할 것으로 판단되며, 시스템의 확장성과 안정성을 위해 보다 안정적인 서버 구축과 사용자 편의성을 고려한 디자인 개선 또한 필요한 부분이라 할 수 있다. 향후 연구에서는 데이터 사이언스 교육 프로그램을 운영할 경우 애플리케이션 제작 과정을 교육과정으로 도입할 수 있는 커리큘럼에 대한 연구가 계속되어야 할 것이며, 또한 딥러닝기술, 특히 자연어처리(NLP) 분야의 발전 속도가 매우 빠르고 상용화 분야도 확장되고 있는 상황으로, 논문의 내용을 자동으로 요약해주는 ‘텍스트 요약’과 같은 메뉴를 지속적으로 추가하면 사용자들의 만족도가 향상될 것으로 기대된다.
그러나 제안 모델은 한글 논문과 영문 논문의 크롤링 사이트를 1개씩만 지정하여, 연구한 것으로 더 많은 논문 사이트의 연결이 필요할 것으로 판단되며, 시스템의 확장성과 안정성을 위해 보다 안정적인 서버 구축과 사용자 편의성을 고려한 디자인 개선 또한 필요한 부분이라 할 수 있다. 향후 연구에서는 데이터 사이언스 교육 프로그램을 운영할 경우 애플리케이션 제작 과정을 교육과정으로 도입할 수 있는 커리큘럼에 대한 연구가 계속되어야 할 것이며, 또한 딥러닝기술, 특히 자연어처리(NLP) 분야의 발전 속도가 매우 빠르고 상용화 분야도 확장되고 있는 상황으로, 논문의 내용을 자동으로 요약해주는 ‘텍스트 요약’과 같은 메뉴를 지속적으로 추가하면 사용자들의 만족도가 향상될 것으로 기대된다.

참고문헌 (23)

김상범, 김효관, "4차산업 혁명과 빅데이터 기반 기술," 대한전자공학회지, 제46권, 제11호, pp.17-25, 2019.
채호근, 이기현, 이주연, "토픽모델링 분석 기법을 활용한 국내외 금융보안 분야 연구동향 분석," 한국산업정보학회논문지, 제26권, 제1호, pp.83-95, 2021.

원문보기 상세보기
김민성, 정형록, 김미옥, 박진하, "한국 관리회계 사례 논문의 연구동향," 한국관리회계학회논문지, 제15권, 제1호, pp.71-112, 2015.
R. Alghamdi and K. Alfalqi, "A survey of topic modeling in text mining," International Journal of Advanced Computer Science and Applications (IJACSA), Vol.6, No.1, pp.147-153, 2015.
H. Zhang, B. Chen, Y. Cong, D. Guo, H. Liu, and M. Zhou, "Deep autoencoding topic model with scalable hybrid Bayesian inference," IEEE Transactions on Pattern Analysis and Machine Intelligence, pp.1-17, 2020.
S. Deerwester, S. T. Dumais, G. W. Furnas, T. K. Landauer, and R. Harshman, "Indexing by latent semantic analysis," Journal of the American society for information science, Vol.41, No.6, pp.391-407, 1990.

상세보기
D. M. Blei, A. Y. Ng, and M. I. Jordan, "Latent dirichlet allocation," The Journal of machine Learning research, Vol.3, pp.993-1022, 2003.
C. Wang, B. Chen, and M. Zhou, "Multimodal Poisson gamma belief network," In Proceedings of the AAAI Conference on Artificial Intelligence, Vol.32, No.1, pp.2492-2499, 2018.
J. Zhu, A. Ahmed, and E. P. Xing, "MedLDA: maximum margin supervised topic models," The Journal of machine Learning research, Vol.13, No.1, pp.2237-2278, 2012.

상세보기
C. Wang and D. M. Blei, "Collaborative topic modeling for recommending scientific articles," In Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining, pp.448-456, 2011.
D. M. Blei and J. D. Lafferty, "A correlated topic model of science," The annals of applied statistics, Vol.1, No.1, pp.17-35, 2007.

상세보기
권혜진, 전재균, "텍스트 마이닝 기법을 통한 숙박공유서비스 에어비앤비 (Airbnb)에 대한 탐색적 연구," 한국조리학회논문지, 제26권, 제8권, pp.143-153, 2020.
박영욱, 정규엽, "DMR (Dirichlet Multinomial Regression) 토픽모델링을 이용한 온라인 리뷰 빅데이터 기반 고객감성 분석에 관한 연구: 국내 5 성급 호텔의 외국인 이용객 리뷰를 중심으로," 호텔경영학연구논문지, 제30권, 제2호, pp.1-20, 2021.
김원식, 김두산, "LDA 토픽모델링을 활용한 호텔등급별 서비스품질 요인도출," 한국무역연구원논문지, 제16권, 제5호, pp.779-791, 2020.
윤지혜, 이종화, "토픽모델링을 활용한 CSR 키워드 트렌드 분석," 한국인터넷전자상거래학회논문지, 제21권, 제5호, pp.73-91, 2021.
최진욱, 신동원, 이한준, "IT 기업 직원의 만족 및 불만족 요인에 따른 이직률 예측: 토픽모델링과 머신러닝을 활용하여," 한국데이터정보과학회지, 제32권, 제5호, pp.1035-1047, 2021.
문성현, 정세환, 지석호, "Latent Dirichlet Allocation 기법을 활용한 해외건설시장 뉴스기사의 토픽 모델링(Topic Modeling)," 대한토목학회논문지, 제38권, 제4호, pp.595-599, 2018.
D. Newman, C. Chemudugunta, P. Smyth, and M. Steyvers, "Analyzing entities and topics in news articles using statistical topic models," International Conference on Intelligence and Security Informatics, Springer, Berlin, Heidelberg, pp.93-104, 2006.
H. Jelodar, Y. Wang, C. Yuan, X. Feng, X. Jiang, Y. Li, and L. Zhao, "Latent Dirichlet allocation (LDA) and topic modeling: models, applications, a survey," Multimedia Tools and Applications, Vol.78, No.11, pp.15169-15211, 2019.

상세보기
S. Sun, C. Luo, and J. Chen, "A review of natural language processing techniques for opinion mining systems," Information fusion, Vol.36, pp.10-25, 2017.

상세보기
D. M. Blei, "Probabilistic topic models," Communications of the ACM, Vol.55, No.4, pp.77-84, 2012.

상세보기
D. Mimno, H. Wallach, E. Talley, M. Leenders, and A. McCallum, "Optimizing semantic coherence in topic models," In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp.262-272, 2011.
Z. Chen, A. Mukherjee, and B. Liu, "Aspect extraction with automated prior knowledge learning," In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, Vol.1, pp.347-358, 2014.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증