SNS의 사용자와 데이터량이 폭발적으로 증가함에 따라, SNS 빅 데이터를 기반으로 한 연구들이 활발히 진행되고 있다. 특히 소셜 마이닝 분야에서는 비 분류된 대용량 SNS 텍스트 데이터로부터 각 텍스트 별 유사성을 파악하고, 그로부터 트렌드를 추출하기 위해 대표적인 토픽 모델 기법인 LDA를 사용한다. 그러나 LDA는 단문 데이터에 대하여 비 빈발 단어 출현으로 인한 의미 희박성(semantic sparsity)으로 인해 양질의 주제 추론이 어렵다는 한계를 가진다. BTM 연구는 이와 같은 LDA의 한계점을 두 단어의 조합을 통해 개선하였으나, BTM 또한 조합된 단어 중 높은 빈도수의 단어에 더 큰 영향을 받아 각 주제와의 연관성을 고려한 가중치 계산이 불가능하다는 한계점을 지닌다. 본 논문은 단어 간의 의미적 연관성을 반영함으로써 기존 연구 BTM의 정확도를 개선하는 방안을 모색한다.
SNS의 사용자와 데이터량이 폭발적으로 증가함에 따라, SNS 빅 데이터를 기반으로 한 연구들이 활발히 진행되고 있다. 특히 소셜 마이닝 분야에서는 비 분류된 대용량 SNS 텍스트 데이터로부터 각 텍스트 별 유사성을 파악하고, 그로부터 트렌드를 추출하기 위해 대표적인 토픽 모델 기법인 LDA를 사용한다. 그러나 LDA는 단문 데이터에 대하여 비 빈발 단어 출현으로 인한 의미 희박성(semantic sparsity)으로 인해 양질의 주제 추론이 어렵다는 한계를 가진다. BTM 연구는 이와 같은 LDA의 한계점을 두 단어의 조합을 통해 개선하였으나, BTM 또한 조합된 단어 중 높은 빈도수의 단어에 더 큰 영향을 받아 각 주제와의 연관성을 고려한 가중치 계산이 불가능하다는 한계점을 지닌다. 본 논문은 단어 간의 의미적 연관성을 반영함으로써 기존 연구 BTM의 정확도를 개선하는 방안을 모색한다.
As the amount of users and data of NS explosively increased, research based on SNS Big data became active. In social mining, Latent Dirichlet Allocation(LDA), which is a typical topic model technique, is used to identify the similarity of each text from non-classified large-volume SNS text big data ...
As the amount of users and data of NS explosively increased, research based on SNS Big data became active. In social mining, Latent Dirichlet Allocation(LDA), which is a typical topic model technique, is used to identify the similarity of each text from non-classified large-volume SNS text big data and to extract trends therefrom. However, LDA has the limitation that it is difficult to deduce a high-level topic due to the semantic sparsity of non-frequent word occurrence in the short sentence data. The BTM study improved the limitations of this LDA through a combination of two words. However, BTM also has a limitation that it is impossible to calculate the weight considering the relation with each subject because it is influenced more by the high frequency word among the combined words. In this paper, we propose a technique to improve the accuracy of existing BTM by reflecting semantic relation between words.
As the amount of users and data of NS explosively increased, research based on SNS Big data became active. In social mining, Latent Dirichlet Allocation(LDA), which is a typical topic model technique, is used to identify the similarity of each text from non-classified large-volume SNS text big data and to extract trends therefrom. However, LDA has the limitation that it is difficult to deduce a high-level topic due to the semantic sparsity of non-frequent word occurrence in the short sentence data. The BTM study improved the limitations of this LDA through a combination of two words. However, BTM also has a limitation that it is impossible to calculate the weight considering the relation with each subject because it is influenced more by the high frequency word among the combined words. In this paper, we propose a technique to improve the accuracy of existing BTM by reflecting semantic relation between words.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
고빈도 단어 외에는 단어의 등장 빈도수가 낮은 단문에서는 예시와 같은 현상이 빈발 하게 발생한다. 따라서 본 논문에서 제안하는 알고리즘은 이와 같은 한계점을 개선하기 위하여 워드 임베딩(Word Embedding) 기법인 Word2Vec [20]을 이용한 개선 방안을 제안한다.
본 논문에서는 BTM의 성능을 개선시킨 WV-BTM을 제안함으로써 단문의 주제 추론의 정확성을 보다 높인 토픽 모델 기법을 제안한다. 본 논문의 공헌은 다음과 같다.
본 논문에서는 단문 데이터를 대상으로 한 토픽 모델 알고리즘의 주제 추론 정확도를 향상 시킨 WV-BTM 알고리즘의 SNS 단문에서의 정확도에 대한 실험을 진행하였다. 본 실험은 모델의 수정을 통하여 SNS에 대한 추가 데이터를 사용하지 않고 입력 데이터만으로 정확도를 향상하였다.
본 절에서는 단문에서의 주제 추론 정확도를 개선한 WV-BTM 알고리즘에 대하여 서술하고자 한다.
본 절에서는 제안 알고리즘인 WV-BTM의 주제 추론 성능을 검증하는 실험용 수집 데이터에 대해 서술하고자 한다.
둘째, 토픽 모델 기법에 대하여 설명 후, 토픽 모델 기법 중에서 SNS텍스트 데이터에서부터 트렌드를 추출하기 위하여 주로 사용된 기존의 토픽 모델 연구들을 비교한다. 셋째, 분석을 통하여 발견한 기존 연구들의 한계성 및 제안 연구의 차별성에 대해 논의한다.
[19]의 연구가 있다. 해당 연구들은 SNS의 특성에 따라 트윗 작성자인 회원(User)의 정보 및 해시 태그(Hash tag), 회원 네트워크와 같은 데이터를 이용함으로써 데이터 희소성(Data Sparsity)을 극복하여 정확도를 개선하고자 하였다.
가설 설정
1) 각 문서는 여러 개의 주제로 이루어져있다고 가정: 즉각 문서는 주제 분포를 가지며, 문서를 구성하는 단어들은 주제 분포에 따라 주제를 배정 받는다.
2) 문서에 등장하는 각 단어는 주제로부터 생성한다고 가정: 즉 각 주제는 단어 분포를 가지며, 배정 받은 주제의 단어 분포에 따라 단어가 결정된다.
즉 토픽 모델은 문서 내의 단어 빈도수를 계산을 통해 문서의 주제를 추출함으로, 유사 문서의 군집을 파악할 수 있도록 하는 소프트 클러스터링(Soft Clustering) 알고리즘이다. 토픽 모델은 다음의 생성모델에 대한 가정을 기반으로 한다.
제안 방법
1) SNS의 단문에 적합한 토픽 모델 기법의 정확도 향상을 통하여 보다 정확한 트렌드 변화 추이를 확인할 수 있는 텍스트 마이닝 연구를 진행한다.
1) 정규표현식을 통해 한글 및 영문을 별도로 감지하여 추출한 후, 해당 언어별 전처리를 수행함 2) 한글의 경우, KoNLPy 한글 형태소분석 패키지[22] 중 Komoran 태거(Tagger)를 이용하여 명사 및 동사를 판단 후 선별하여 전처리를 수행함. 동사의 경우 “어근+VV”의 형태로 추출, 명사 어미의 형태를 지닌 동일 의미 단어들 간의 구별을 방지함.
WV-BTM은 Yan et al. [16]의 BTM을 기반으로, Word2Vec을 이용하여 BTM의 한계점을 개선함으로써 주제 추론의 정확도를 향상시킨다. 제안 방법은 다음과 같으며, 그림 6는 제안 방법에 대한 예시이다.
본 장에서는 첫째, 자연어 처리에 대하여 논한다. 둘째, 토픽 모델 기법에 대하여 설명 후, 토픽 모델 기법 중에서 SNS텍스트 데이터에서부터 트렌드를 추출하기 위하여 주로 사용된 기존의 토픽 모델 연구들을 비교한다. 셋째, 분석을 통하여 발견한 기존 연구들의 한계성 및 제안 연구의 차별성에 대해 논의한다.
(1) Word2Vec의 단어 임베딩 기법을 통해 전체 문서의 단어를 벡터화 한다. 벡터 공간에 투영 된 Biterm의 두 단어 간의 거리를 코사인 유사도(cosine similarity)를 통해 계산한다.
본 절에서는 실험 데이터를 통해 WV-BTM의 성능을 검증 한다. 성능 비교 알고리즘은 LDA, BTM, WV-BTM이며, 해당 알고리즘은 IntelliJ 기반 개발 환경에서 Java 언어를 통해 구현 한다.
알고리즘의 예측 주제와 수집 시 분류한 주제에 대한 정확도를 비교한다. 분류에 대한 정확도의 공식은 식 (3)과 같다.
3) 영문의 경우, NLTK 자연어 처리 패키지를 이용함. 해당 패키지를 이용하여 웹사이트 링크 및 이모티콘 등의 특수문자를 제외하는 불용어 제거의 전처리를 수행함.
대상 데이터
본 논문의 연구 대상은 SNS 단문 데이터이다. 대표적인 SNS 단문 데이터인 트위터의 트윗(tweet) 데이터를 실험 데이터로 선정하여, 2017년 12월 14일부터 2017년 12월 19일까지 총 5일 동안의 데이터를 수집한다.
해당 데이터는 표 3의 주제 별 키워드를 기준으로 수집 및 분류 된다. 데이터는 5개의 주제 별 6개의 키워드로 구성되며, 총 45,000건의 데이터를 수집하고, 이를 주제 별로 분류한다. 각 주제 별 키워드가 한 단어 이상 포함 될 시 해당 주제로 분류하며, 이외의 선정 주제의 키워드를 포함할 경우 제외한다.
본 논문의 연구 대상은 SNS 단문 데이터이다. 대표적인 SNS 단문 데이터인 트위터의 트윗(tweet) 데이터를 실험 데이터로 선정하여, 2017년 12월 14일부터 2017년 12월 19일까지 총 5일 동안의 데이터를 수집한다.
또한 트윗은 복합 주제일 수 있으나 제한된 길이로 인해 단일 주제만을 포함하는 경우가 많다. 해당 실험을 위해 한국어를 사용하는 한국인 계정의 단일 주제만을 포함한 데이터를 대상으로 제한하며, 표 3의 주제 별 키워드에 대하여 동일 의미를 가진 유사 단어 (ex. 인공지능, AI)를 포함한다. 데이터 수집 및 전처리를 위해 Jupyter notebook 기반 Python 3.
데이터처리
인공지능, AI)를 포함한다. 데이터 수집 및 전처리를 위해 Jupyter notebook 기반 Python 3.5를 이용하여 웹크롤러 및 전처리 프로그램을 구현한다.
이론/모형
본 절에서는 실험 데이터를 통해 WV-BTM의 성능을 검증 한다. 성능 비교 알고리즘은 LDA, BTM, WV-BTM이며, 해당 알고리즘은 IntelliJ 기반 개발 환경에서 Java 언어를 통해 구현 한다. 실험은 Intel i7-6700HQ-2.
φ는 단어 의 주제 할당 확률, θ는 해당 문서에서 각 주제의 가중치를 의미한다. 출력 값에 대한 계산은 깁스 샘플링의 식을 따라 계산된다.
성능/효과
본 논문에서는 단문 데이터를 대상으로 한 토픽 모델 알고리즘의 주제 추론 정확도를 향상 시킨 WV-BTM 알고리즘의 SNS 단문에서의 정확도에 대한 실험을 진행하였다. 본 실험은 모델의 수정을 통하여 SNS에 대한 추가 데이터를 사용하지 않고 입력 데이터만으로 정확도를 향상하였다. 따라서 본 연구와 관련 연구와의 결합이 가능한 확장성을 지니므로, 주제 추론의 정확도 향상에 대한 긍정적인 결과를 나타낸다.
후속연구
2) 해당 연구는 주제 추론의 정확도를 개선시키기 위하여 추가 데이터에 의존적인 기존의 SNS 토픽 모델 연구와 달리, 추가 데이터를 사용하지 않고 토픽 모델 개선 연구를 진행한다.
따라서 SNS 단문 중 해시태그 및 링크를 분별하여 가중치를 부여하는 방안 및 전체 추론 계산에 있어 β값의 영향력에만 국한되지 않고 보다 높은 영향력을 발휘하는 방안을 고려한 연구를 진행한다면, 주제 추론의 품질이 보다 개선될 것으로 기대 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
토픽 모델이란 무엇인가?
토픽 모델(Topic Model)은 광범위한 문서 집합에서 잠재적인 의미 구조를 발견하기 위한 통계적 알고리즘이다[13]. 특정 주제에 대한 문서에서는 그 주제에 관한 단어가 다른 단어에 비해 더 자주 등장할 것이므로, 함께 자주 등장하는 유사한 의미를 지니는 단어들을 하나의 주제로 묶을 수 있다.
토픽 모델의 정확도 향상에 대한 학문적 영역의 기대 효과는 무엇인가?
이와 같은 토픽 모델의 정확도 향상은 SNS 사용자의 트렌드를 보다 정확하게 파악함으로써 콘텐츠 마케팅 및 광고 브랜딩과 같은 상업적 영역에서 의미 있는 결과를 가져오는 기대효과가 있다. 또한 학문적 영역에서도 SNS를 통한 연구 정보 공유가 늘어가는 가운데, 연구자들의 SNS 데이터를 통해 분야 별 연구 트렌드를 파악함으로써 연구 현황 파악 및 연구의 질을 높이는 기대효과가 있다.
LDA의 한계는 무엇인가?
특히 소셜 마이닝 분야에서는 비 분류된 대용량 SNS 텍스트 데이터로부터 각 텍스트 별 유사성을 파악하고, 그로부터 트렌드를 추출하기 위해 대표적인 토픽 모델 기법인 LDA를 사용한다. 그러나 LDA는 단문 데이터에 대하여 비 빈발 단어 출현으로 인한 의미 희박성(semantic sparsity)으로 인해 양질의 주제 추론이 어렵다는 한계를 가진다. BTM 연구는 이와 같은 LDA의 한계점을 두 단어의 조합을 통해 개선하였으나, BTM 또한 조합된 단어 중 높은 빈도수의 단어에 더 큰 영향을 받아 각 주제와의 연관성을 고려한 가중치 계산이 불가능하다는 한계점을 지닌다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.