선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 후보 이벤트 그래프의 이벤트 가치를 판별하기 위해서 이벤트 감지 계수 Dt를 계산하기 위해 간선에 부여된 가중치 값을 활용한다. 따라서 단어의 출현 빈도만을 고려하는 기존의 기법과 비교하여 결과의 신뢰성을 향상시키고자 하였다. 식 (5)은 이벤트 감지 계수를 계산하는 수식이다.
- 본 논문에서는 기존의 소셜 네트워크 환경에서의 이벤트 검출 기법의 문제점을 제시하고 사용자 관심도를 고려한 그래프 기반 이벤트 검출 기법을 제안하였다. 제안하는 기법은 관련된 단어들을 그래프로 표현하고 클러스터링을 수행하기 때문에 중복된 이벤트 발생을 감소시킨다.
- 본 논문에서는 소셜 네트워크 환경에서 사용자 관심도를 고려한 그래프 기반 이벤트 검출 기법을 제안한다. 제안하는 기법은 소셜 네트워크에 게시된 글을 분석하여 키워드 그래프를 구축한다.
- 본 논문에서는 소셜 네트워크 환경에서 사용자 관심도를 고려한 이벤트 검출 기법을 제안한다. 제안하는 기법은 사용자들이 게시한 글을 분석하여 키워드 그래프를 구축한다.
- 이와 같이 사용자가 관심을 가지는 이슈 사항이나 사회적으로 파급력이 큰 사건, 사고 등을 이벤트라고 정의한다. 이벤트 검출은 시간과 장소를 수반하여 다수의 사람들에게 관심을 끌고 있는 일에 대한 정보를 검출하는 것이 목적이다. 특히, 사용자들은 오프라인에서 경험한 사회적인 현상이나 상황에 대해 공유하는 성향이 있기 때문에 소셜 데이터에는 이벤트와 관련된 다양한 정보를 포함하고 있다.
제안 방법
- [10]에서는 7가지 감정을 분류하여 단어와 느낌표나 물음표 같은 구두점을 학습시키는 방법을 이용하였다. 각 감정에 해당하는 단어나 표현의 지역별 발생 빈도를 수집하고 지역별로 감정의수치를 모니터링한다. 감정의 상태가 이전 시간 단위의 수치보다 급격하게 증가하면 이벤트가 발생한 것으로 추정하고 결과를 검출한다.
- 따라서 매개중심성이 높다는 것은 다른 키워드들과 함께 언급된 비율이 높다는 것으로, 이벤트와 관련된 키워드 중 주제 키워드일 가능성이 높다는 것을 의미한다. 따라서 클러스터링 과정에서 정점의 매개중심성을 활용하여 이벤트 주제 키워드를 찾고 그 키워드를 중심으로 클러스터링을 진행한다. 그래프의 각 간선 Ei는 한 번이상 동시에 발생한 두 정점을 연결한다.
- 사용자들은 소셜네트워크 서비스에 글을 게시할 때 대체로 토픽 하나만을 게시하지 않고 그 상황을 묘사할 수 있는 다른 표현, 부수적인 상황들을 함께 언급하는 경향이 있다. 따라서이 벤트 토픽과 함께 발생한 단어를 그래프 형태로 구축하여 이벤트 정보를 추출한다.
- 기존의 그래프 기반 이벤트 검출 기법에서 고려하는 단어의 출현 빈도 수 뿐만 아니라 사용자들의 관심도의 변화량을 이벤트를 판별하는 과정에서 고려한다. 사용자들의 소셜 행위의 변화량을 이용해 관심도 변화량을 계산하고 이벤트 판별 단계에 통하여 결과를 도출한다.
- 제안하는 기법은 기존의 기법에서 고려하는 단어의 출현빈도 뿐만아니라 사용자들의 관심도를 이벤트를 판별하는 과정에서 고려한다. 사용자들의 소셜 행위의 변화량을 이용해 사용자 관심도를 계산하고 이벤트 판별에 이용하여 최종적인 결과를 도출한다. 사용자의 관심도를 반영함으로써 결과의 신뢰성을 향상시킬 수 있다.
- 이벤트 후보 집합은 슬라이딩 윈도우 모델을 사용하여 사용자가 설정한 시간단위로 반복하여 구성한다. 이벤트 후보 집합에 포함된 각 단어에 대하여 IDF 값을 계산하고 이전 시간 단위에 비해 증가한 비율을 이벤트 검출의 척도로 설정한다. 현재 시간에 발생한 모든 단어의 IDF 평균 변화율 보다 높으면 해당 단어의 이벤트가 발생한 것으로 판단한다.
- 제안하는 기법은 사용자들이 게시한 글을 분석하여 키워드 그래프를 구축한다. 정점과 간선의 매개 중심성을 이용하여 생성된 키워드 그래프의 필터링과 클러스터링을 수행한다. 기존의 그래프 기반 이벤트 검출 기법에서 고려하는 단어의 출현 빈도 수 뿐만 아니라 사용자들의 관심도의 변화량을 이벤트를 판별하는 과정에서 고려한다.
- 제안하는 기법은 소셜 네트워크에 게시된 글을 분석하여 키워드 그래프를 구축한다. 정점과 간선의 매개중심성을 이용하여 그래프 필터링과 클러스터 과정을 수행하여 후보 이벤트 그래프를 도출한다. 제안하는 기법은 기존의 기법에서 고려하는 단어의 출현빈도 뿐만아니라 사용자들의 관심도를 이벤트를 판별하는 과정에서 고려한다.
- 제안하는 기법에서 특징적으로 고려하고 있는 사용자 관심도를 고려한 것과 고려하지 않고 단어의 출현빈도수만 고려한 결과를 비교하는 실험을 수행한다. [표 2]와 [표 3]는 2017년 10월 25일 14시에서 15시 사이에 검출된 Top 5 의 이벤트 검출 결과의 차이를 보여준다.
- 기존의 기법에서는 사용자가 찾고자 하는 이벤트 수를 입력하여 클러스터링을 수행하기 때문에 사용자의 요청에 따라 결과가 달라지는 문제가 있었다. 제안하는 기법에서는 사용자의 개입을 최소화하고 반복적인 방법을 통해 클러스터링을 수행함으로써 일관성 있는 결과를 도출한다. 이때,중심 이벤트 토픽을 중심으로 클러스터링을 수행한다.
- 제안하는 기법에서는 소셜 데이터를 수집하여 분석하기 때문에 분석에 필요한 데이터를 정규화 하고, 불필요한 내용은 제거하는 과정이 필요하다. 사용자들이 글을 게시하면서 감정을 표현하는 이모티콘이나 소셜네트워크 서비스에서 제공하는 멘션, 리트윗(@), 해시태그(#)를 표현하는 다양한 특수문자를 제거한다.
- 정점과 간선의 매개중심성을 이용하여 그래프 필터링과 클러스터 과정을 수행하여 후보 이벤트 그래프를 도출한다. 제안하는 기법은 기존의 기법에서 고려하는 단어의 출현빈도 뿐만아니라 사용자들의 관심도를 이벤트를 판별하는 과정에서 고려한다. 사용자들의 소셜 행위의 변화량을 이용해 사용자 관심도를 계산하고 이벤트 판별에 이용하여 최종적인 결과를 도출한다.
- 본 논문에서는 소셜 네트워크 환경에서 사용자 관심도를 고려한 이벤트 검출 기법을 제안한다. 제안하는 기법은 사용자들이 게시한 글을 분석하여 키워드 그래프를 구축한다. 정점과 간선의 매개 중심성을 이용하여 생성된 키워드 그래프의 필터링과 클러스터링을 수행한다.
- 성능 평가를 통해 정확도 및 중복 이벤트 검출 비율이 향상된 것을 입증하였다. 제안하는 기법은 소셜 네트워크를 통해 이슈 사항이나 관련 사건, 사고를 실시간으로 검출할 수 있으며 이를 재난 안전 서비스, 마케팅에 활용할 수 있다. 제안하는기법은 전처리 단계에서 무의미한 키워드를 삭제하기 위한 기준을 보다 명확하게 할 필요가 있으며 이벤트 검출의 정확도를 향상시킬 필요가 있다.
- 본 논문에서는 소셜 네트워크 환경에서 사용자 관심도를 고려한 그래프 기반 이벤트 검출 기법을 제안한다. 제안하는 기법은 소셜 네트워크에 게시된 글을 분석하여 키워드 그래프를 구축한다. 정점과 간선의 매개중심성을 이용하여 그래프 필터링과 클러스터 과정을 수행하여 후보 이벤트 그래프를 도출한다.
- 또한, 결과 신뢰성 향상을 위해 사용자의 관심도를 반영하는 기법이 필요하다. 제안하는 기법은 이벤트와 관련된 키워드의 동시발생 빈도를 이용하여 키워드 그래프를 구축한다. 키워드만 나열하는 기존 기법과 달리 그래프를 통해 키워드의 유기적인 관계를 나타냄으로써 효율적으로 정보를 검출할 수 있다.
- [그림 1]은 제안하는 기법의 전체적인 처리 과정이다.제안하는 기법은 크게 네 단계로 구성된다. 수집단계에서 Twitter 데이터를 수집한 후 데이터베이스에 저장한다.
- 이러한 단점이 개선된 기법들이 제안되었다[4][5]. 지정한 시간의 단위에 대해 단어 빈도수의 차이를 비율적으로 고려하고 시간 단위가 겹치게 설정하는 슬라이딩 윈도우를 사용함으로써 단어의 증가량을 파악할 수 있도록 제안하였다. 하지만 이벤트 자체를 검출하기 보다는 이벤트를 나타내는 주제 단어들을 결과로 나타내기 때문에 사용자는 도출된 결과를 보고 각 단어가 같은 이벤트를 의미하는지 서로 다른 이벤트를 의미하는지 알기 위해서 데이터를 살펴보거나 사용자 스스로 검색을 통해 판별해야 한다.
- 전처리 단계에서는 이벤트와 관련된 명사를 추출하고 불필요한 정보들을 제거한다. 특수문자, URL, 불용어를 제거하고 형태소 분석기를 통해 명사를 추출한다. 추출한 명사 중 우연히 발생한 것으로 추정되는 명사들은 제거한다.
- [12]에서는 트위터에서 트윗을 수집하여 이모티콘, 불용어를 제거한다. 품사 분석기를 이용하여 단어 단위로 쪼갠 후, 명사를 추출하여 이벤트 후보 집합을 구성한다. 이벤트 후보 집합은 슬라이딩 윈도우 모델을 사용하여 사용자가 설정한 시간단위로 반복하여 구성한다.
대상 데이터
- 성능 평가 환경은 [표 1]과 같다. 실험 데이터는 2017년 10월 한 달간 Twitter4j API를 통해 수집한 트위터 데이터이며 1,102,534건의 데이터를 수집하였다. Java를 이용하여 데이터를 수집하였으며 전체적인 성능평가는 Python을 이용하여 구현하였다.
데이터처리
- 실험 데이터는 2017년 10월 한 달간 Twitter4j API를 통해 수집한 트위터 데이터이며 1,102,534건의 데이터를 수집하였다. Java를 이용하여 데이터를 수집하였으며 전체적인 성능평가는 Python을 이용하여 구현하였다. 제안하는 기법의 우수성을 입증하기 위해 그래프를 기반으로 하는 이벤트 검출 기법 [9]과 검출 이벤트 수에 따른 정확도와 중복 이벤트 비율을 비교 평가한다.
- 제안하는 기법과 비교대상 기법에 대하여 Top-k 개의 이벤트 그래프를 결과로 검출하여 중복 이벤트 비율을 비교하였다. 중복 이벤트 비율은 검출된 전체 이벤트 결과 중 같은 결과를 중복적으로 검출한 비율을 계산한다.
- 제안하는 기법과 비교대상 기법을 구현하여 Top-k개의 이벤트 그래프를 결과로 검출하여 정확도를 비교하였다. 정확도는 이벤트 검출 기법을 통해 추출한 이벤트를 기준으로 실제 발생한 이벤트의 비율을 통해 계산한다.
- Java를 이용하여 데이터를 수집하였으며 전체적인 성능평가는 Python을 이용하여 구현하였다. 제안하는 기법의 우수성을 입증하기 위해 그래프를 기반으로 하는 이벤트 검출 기법 [9]과 검출 이벤트 수에 따른 정확도와 중복 이벤트 비율을 비교 평가한다. 제안하는 기법의 특징인 사용자 관심도를 고려했을 때의 결과를 비교하여 자체 평가를 수행한다.
- 제안하는 기법의 우수성을 입증하기 위해 그래프를 기반으로 하는 이벤트 검출 기법 [9]과 검출 이벤트 수에 따른 정확도와 중복 이벤트 비율을 비교 평가한다. 제안하는 기법의 특징인 사용자 관심도를 고려했을 때의 결과를 비교하여 자체 평가를 수행한다.
성능/효과
- [그림 4]는 비교대상과 정확도를 비교한 결과를 나타낸다. 기존 기법 와 k 값에 따른 정확도 비교결과 k값이 20, 25, 30, 35일 때는 정확도가 80%정도로 우수한 성능을 보였지만 k값이 높아질수록 정확도가 급격히 낮아지는 성능을 보였다. [9]는 k값에 따라 클러스터링 결과가 달라지기 때문에 하나로 검출되어야할 이벤트가 분할되거나 다른 그래프와 합병될 수 있기 때문에 성능이 저하되는 양상을 보였다.
- 또한, 소셜 네트워크 서비스에서 좋아요, 공유 등과 같은 사용자들의 관심도를 고려하여 이벤트검출의 정확도를 향상시킨다. 성능 평가를 통해 정확도 및 중복 이벤트 검출 비율이 향상된 것을 입증하였다. 제안하는 기법은 소셜 네트워크를 통해 이슈 사항이나 관련 사건, 사고를 실시간으로 검출할 수 있으며 이를 재난 안전 서비스, 마케팅에 활용할 수 있다.
- [9]는 k값에 따라 클러스터링 결과가 달라지기 때문에 하나로 검출되어야할 이벤트가 분할되거나 다른 그래프와 합병될 수 있기 때문에 성능이 저하되는 양상을 보였다. 제안하는 기법은 정확도 측면에서 평균 84.4%로 기존 기법과 비교하여 8% 가량의 성능향상을 보였다.
- 기존 기법은 검출하고자 하는 이벤트의 수가 증가할수록 이벤트 그래프를 분할하여 결과로 도출하기 때문에 한 이벤트를 여러 개의 그래프 결과로 검출하는 경향을 보였다. 제안하는 기법의 중복 이벤트 비율은 8.0%로 기존기법과 비교했을때 평균 10% 가량의 성능향상을 보였다.
- [그림 5]는 비교대상과 중복 이벤트 비율을 비교한 결과를 나타낸다. 제안하는기법은 k값이 증가하여도 10%내외의 중복 이벤트 비율을 보이지만 기존 기법은 k값의 증가에 따라 중복 이벤트 비율이 급격히 증가한다. 기존 기법은 검출하고자 하는 이벤트의 수가 증가할수록 이벤트 그래프를 분할하여 결과로 도출하기 때문에 한 이벤트를 여러 개의 그래프 결과로 검출하는 경향을 보였다.
- 제안하는 기법은 이벤트와 관련된 키워드의 동시발생 빈도를 이용하여 키워드 그래프를 구축한다. 키워드만 나열하는 기존 기법과 달리 그래프를 통해 키워드의 유기적인 관계를 나타냄으로써 효율적으로 정보를 검출할 수 있다. 그래프를 기반으로 이벤트를 검출하는 기존 기법에서 단어의 출현 빈도만을 고려한 것과달리 소셜 네트워크 서비스에서 사용자들의 관심정도를 나타내는 ‘좋아요’, ‘공유’ 등의 행위를 고려하여 결과의 신뢰성을 향상시킬 수 있다.
- 추출된 키워드 중 대다수를 차지하는 빈도수가 임계치 이하인 키워드는 우연히 발생하거나 큰 의미가 없는 것으로 판단하여 제거한다. 하루 동안 수집한 데이터의 키워드 출현 빈도수 추이를 분석할 결과 전체 데이터의 50% 가량이 5이하로 발생하였다. 즉, 빈도수가 5 이하인 단어는 우연히 발생한 단어일 가능성이 높기 때문에 제거한다.
후속연구
- 제안하는 기법은 소셜 네트워크를 통해 이슈 사항이나 관련 사건, 사고를 실시간으로 검출할 수 있으며 이를 재난 안전 서비스, 마케팅에 활용할 수 있다. 제안하는기법은 전처리 단계에서 무의미한 키워드를 삭제하기 위한 기준을 보다 명확하게 할 필요가 있으며 이벤트 검출의 정확도를 향상시킬 필요가 있다. 향후 연구로는 무의미한 키워드를 삭제하기 위한 방안과 이벤트 검증단계에서 정확도를 향상시키기 위한 연구를 진행할 예정이다.
- 제안하는기법은 전처리 단계에서 무의미한 키워드를 삭제하기 위한 기준을 보다 명확하게 할 필요가 있으며 이벤트 검출의 정확도를 향상시킬 필요가 있다. 향후 연구로는 무의미한 키워드를 삭제하기 위한 방안과 이벤트 검증단계에서 정확도를 향상시키기 위한 연구를 진행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.