선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 그리고 점점 기울기가 감소하는 경향을 보였다. 따라서 본 연구에서는 a 값으로 정렬한 상위 1000개의 단어를 위치 관련 단어라고 보고 이 단어들을 통해 사용자들의 위치를 추론하였다.
- 그러나 사람들은 자신이 무엇을 먹고, 어디를 방문하였으며 어떤 것에 관심이 있는지에 대해 트윗을 날린다. 본 연구에서는 이러한 사용자들의 트윗 속에 나타난 문자 정보를 통해서 사용자들의 프로필을 유추하였다.
- 위에서 골라낸 위치 관련 단어들이 정말로 위치와의 상관관계가 있는지 확인하기 위해서, 골라내 어진 단어들을 확인하는 작업을 거쳤다. 표 5에서는 a 값이 높은 10개의 단어와 가장 빈도수가 높은 단어들 10개를 골라내어 비교하였다.
제안 방법
- 위치를 추론하는 데에는 최대우도방법을 사용하였다. GPS 태그가 달린 트윗으로부터 단어들의 위치 상관관계를 유추해내고 계산 부하를 줄이기 위해서 500m 단위로 묶어서 위치를 파악하였다. 또한 위도와 경도를 직교좌표계로 상정했을 때의 오차를 줄이기 위해서 지도투영법을 사용하였다.
- Jurgen 등의 연구는 가장 최근에 트위터에서 사용자의 위치를 추론한 연구이고, Cheng은 본 연구와 가장 비슷한 연구이므로 이 두 연구를 비교를 위해서 선정하였다. Jurgen과 Cheng의 연구, 그리고 본 연구의 방법론을 모두 같은 한국 트위터 데이터에 적용하여 그 성능을 비교하였다. 표 6에서 기존 연구와의 비교를 보면, 10km 에서 Jurgens와 Cheng은 각각 33.
- GPS 태그를 사용하는 경우는 대부분 집과 일터 근처이다. [5] 사용자들이 주로 머무는 대표위치를 알아내기 위해서 우리는 아래와 같이 기하평균(geometric median)을 사용하였다.
- 남자/여자고등학교 동창회 명단에서 남자 30, 008명의 이름, 여자 15, 479명의 이름을 얻었다. 각 클래스에서만 속한 이름을 사용하여 사용자가 남자 이름을 가졌으면 남자라고 분류하는 방식을 사용하였다.
- 추론한다. 기존 논문들에서와는 달리 본 논문에서는 한국어를 사용하는 사용자들을 대상으로 하였고, 한국어의 특성을 반영하였다. 사용자의 성별과 나이를 유추하는 데는 class由er를 사용하였고, 특징 선택을 통해 정확도를 높였다.
- 나이와 성별에 관한 정답셋을 만들기 위해서 본 연구에서는 먼저 나이나 성별과 관련된 단어를 프로필에 적은 사용자를 추려내었다. 표 1은 본 연구에서 사용된 나이와 성별과 관련된 단어들이다.
- 성별과 나이 모두에서 classifier에 사용된 단어의 수가 3000개가 될 때까지는 정확도가 늘어나고, 그 이후엔 수렴하기 시작한다. 따라서 본 연구에서는 상위 3000개의 단어를 이용해 성별과 나이를 추론하였다.
- 또한 성능을 높이기 위해 특징 선택 방법을 사용하였다. 각각의 단어는 클래스와 관련이 되어 있는 경우가 있다.
- 이 경우에는 위도와 경도를 계산할 때 직교좌표라고 가정하고 계산하게 되고 haversine 방법을 통해서 거 리를 계산하였다. 마지막으로 지도투영법을 통해서 정확도를 높여 최종적으로 가장 정확하게 사용자의 위치를 추론하였다. 표 6은 평균 오차 거리와 오차 거리 별 정확도를 나타내었다.
- 먼저 나이와 성별의 경우에는 classifier를 통해서 사용자들의 나이와 성별을 추론하였으며, 특징 선택을 통해서 정확도를 높였다. 뽑힌 특징들을 살펴보면 나이와 성별을 잘 반영할 수 있는 단어들임을 알 수 있었다.
- five-fold 방법으로 정확도를 검증하였다. 먼저 위치 관련 단어를 골라내는 것의 필요성을 살펴보기 위해서 사용자들의 위치를 사용자가 트윗에서 사용한 모든 단어를 사용한 경우를 Baseline #1으로 삼았다. 이 경우는 최악의 경우를 상정한 것으로 위치 관련단어라고 뽑혀진 1, 000개의 단어들만 사용하는 것이 아닌 801, 505개의 단어를 모두 사용하여 사용자의 위치를 추론한 경우이다.
- 본 연구에서는 SVM, Naive Bayes, decision tree, logistic regression을 서로 비교하기 위해서 출현 빈도순으로 단어를 정렬하여 상위 10, 000개의 단어를 가지고 classifier 를 만들었다. 그 결과 성별에서는 logistic regression 이, 나이에서는 SVM이 가장 뛰어난 성능을 보였으나, 나이의 경우 logistic regression과 SVM의 성능 차이가 0.
- 예를 들어, 성별을 분류하는데 “오빠”라는 단어는 주로 여자들이 많이 사용하므로 좋은 특징이 될 수 있지만 “마을”이라는 단어는 남녀 구별 없이 사용하는 단어이므로 좋은 특징이 되지 못한다. 본 연구에서는 mutual information 방법을 사용하여 특징들을 구분해내었다.
- 본 연구에서는 성별과 나이 추론을 위한 classifier 를 만들 때 상호정보량(mutual infonnation) 상위 “개의 단어를 사용하기로 하였다. 이 때, n이 너무 작으면 classifier의 정확도가 낮아지는 문제가 있고, n 이너무 크면 과적합이 발생할 우려가 있다.
- 본 연구에서는 위에서 정답셋으로 추려진 22, 525명의 사용자의 위치를 추론하여 정확도를 검증하고자 하였고, five-fold 방법으로 정확도를 검증하였다. 먼저 위치 관련 단어를 골라내는 것의 필요성을 살펴보기 위해서 사용자들의 위치를 사용자가 트윗에서 사용한 모든 단어를 사용한 경우를 Baseline #1으로 삼았다.
- 4%인 280만개의 트윗만이 GPS 태그를 가지고 있다. 본 연구에서는 이 GPS 태그를 사용하여 사용자 위치를 추론할 것이다. GPS 태그를 사용하는 경우는 대부분 집과 일터 근처이다.
- 골라내는지에 대한 설명이 주를 이룬다. 본 연구에서는 트위터에 단어와 위치의 상관관계를 밝혀내는 알고리즘을 적용하였다. “시간”, "이아기", “정치” 등의 단어는 지역과 상관없이 널리 쓰이는 반면에, 도시 이름이나, 지역 축구팀 등은 위치와 관련이 깊다.
- 트위터에서 한국어 사용자들을 찾아내기 위해서 스노우볼 샘플링을 사용하였다. 이외수 등의 유명한 트위터 사용자로부터 시작하여 최근 200개의 트윗 중 3 개 이상의 한글 포함 트윗을 가진 사용자들을 모았다.
- 통해서 사용자의 위치를 추론하였다. 확률 모델을 사용하여 단어의 위치 관련성을 추론한 다음, 위치와 관련된 단어만을 사용하여 사용자의 위치를 추론하였다. 또한 이 과정에서 지도투영법을 사용하여 정확도를 더욱 높였다.
대상 데이터
- Cheng등이 사용한 방법론과 본 연구의 방법론을 비교해보면, Cheng은 도시 단위로 단어 빈도수를 묶은 후에 위치관련단어를 추려내었고, 본 연구에서는 280만개의 GPS태그가 달린 트윗을 모두 사용하였다. 이는 본 연구의 유추 단위가 더 작음을 뜻하므로, 더 정확한 위치 추론이 가능한 이유라고 할 수 있다.
- 위의 단어를 통하여 남자라고 추정되는 5145명, 여자는 4191명을 추려내었다. 나이의 경우에는 10대 4788명, 20대 7588 명, 30대 5134명을 추려내었다.
- 높였다. 남자/여자고등학교 동창회 명단에서 남자 30, 008명의 이름, 여자 15, 479명의 이름을 얻었다. 각 클래스에서만 속한 이름을 사용하여 사용자가 남자 이름을 가졌으면 남자라고 분류하는 방식을 사용하였다.
- 마지막으로, 정답셋에 확신을 가지기 위해서 위에서 추려진 사용자들의 프로필을 3명의 대학원생이 모두 직접 읽어보고 남/녀 1500명, 10대/20대/30대 이상 700명씩을 각각 최종적으로 추려내었다.
- 트위터 API를 사용하여 2010 6월부터 2011년 5월까지 데이터를 모았고, 6억개의 트윗, 330만명의 사용자 프로필을 모았다. 본 연구에 사용된 데이터에는 트윗, 사용자 프로필, 친구관계가 포함된다. 트위터는 또한 두 가지 종류의 위치 정보를 제공하는데, 하나는 사용자 프로필의 사용자가 직접 입력한 위치정보이고, 또 다른 하나는 트윗에 있는 GPS 태그이다.
- 본 연구에서는 한국어를 사용하는 사용자를 대상으로 하였다. 대부분의 소셜미디어 연구들이 영어를 대상으로 하였으나, 인구분포, 언어특징 등이 언어나 사회마다 다르므로 한국어에는 한국어 특징에 맞는 추론 방법이 적용되어야 한다고 본다.
- 또한 Lee 등이 사용한 방법으로 트위터 스패머들을 걸러내었다[9]. 본 연구에서는 한글에서 단어를 골라내기 위해 꼬꼬마 형태소 분석기를 사용하였고, GPS 태그가 달린 트윗에서 사용된 총 단어 수는 801, 505개였다.
- 표 1은 본 연구에서 사용된 나이와 성별과 관련된 단어들이다. 위의 단어를 통하여 남자라고 추정되는 5145명, 여자는 4191명을 추려내었다. 나이의 경우에는 10대 4788명, 20대 7588 명, 30대 5134명을 추려내었다.
- 샘플링을 사용하였다. 이외수 등의 유명한 트위터 사용자로부터 시작하여 최근 200개의 트윗 중 3 개 이상의 한글 포함 트윗을 가진 사용자들을 모았다. 트위터 API를 사용하여 2010 6월부터 2011년 5월까지 데이터를 모았고, 6억개의 트윗, 330만명의 사용자 프로필을 모았다.
- 출장이나 여행을 너무 자주 다녀서 주 위치를 한정 지을 수 없거나 너무 적은 수의 GPS 태그 트윗을 가진 사용자들을 배제시키기 위해서 본 연구에서는 기하평균에서 15km 이내에 5개 이상의 트윗을 가진 사용자들만을 정답셋으로 사용하였고 22, 525명의 사용자가 최종적으로 남았다. 또한 Lee 등이 사용한 방법으로 트위터 스패머들을 걸러내었다[9].
- 이외수 등의 유명한 트위터 사용자로부터 시작하여 최근 200개의 트윗 중 3 개 이상의 한글 포함 트윗을 가진 사용자들을 모았다. 트위터 API를 사용하여 2010 6월부터 2011년 5월까지 데이터를 모았고, 6억개의 트윗, 330만명의 사용자 프로필을 모았다. 본 연구에 사용된 데이터에는 트윗, 사용자 프로필, 친구관계가 포함된다.
이론/모형
- 나이와 성별을 추론흐I기 위해서 본 연구에서는 classifier 를 사용하였다. 먼저 꼬꼬마 형태소 분석기를 사용하여 트윗에서 나타난 단어를 조사등과 분리해내고 이를 bag of words 방법으로 classifier의 특징으로 삼는다.
- GPS 태그가 달린 트윗으로부터 단어들의 위치 상관관계를 유추해내고 계산 부하를 줄이기 위해서 500m 단위로 묶어서 위치를 파악하였다. 또한 위도와 경도를 직교좌표계로 상정했을 때의 오차를 줄이기 위해서 지도투영법을 사용하였다. 위치도 나이와 성별과 마찬가지로 한국어 트위터 데이터를 통해서 정확도를 검증하였으며, 오차범위 lOfa-n 이내에서 57%의 정확도를 보였다.
- 본 연구에서도 Backstrom의 방법을 트위터에 적용하여 위치 관련 단어를 골라내었다. 이 모델에서 각 단어는 하나의 중심점을 가지며 위치와 관련이 되어 있을 경우 중심에서 멀어질수록 빈도수가 급격히 감소한다고 보았다 呂와 &를 각각 顶라는 단어를 포함하는 트윗과 포함하지 않는 트윗이라고 한다.
- 본 연구에서는 나이는 75%, 성별은 88%의 유추정확도를 보였다. 위치를 추론하는 데에는 최대우도방법을 사용하였다. GPS 태그가 달린 트윗으로부터 단어들의 위치 상관관계를 유추해내고 계산 부하를 줄이기 위해서 500m 단위로 묶어서 위치를 파악하였다.
- 다음으로 위치 관련 단어만을 사용하여 사용자의 위치를 추론한 방법을 Baseline #2로 삼는다. 이 경우에는 위도와 경도를 계산할 때 직교좌표라고 가정하고 계산하게 되고 haversine 방법을 통해서 거 리를 계산하였다. 마지막으로 지도투영법을 통해서 정확도를 높여 최종적으로 가장 정확하게 사용자의 위치를 추론하였다.
성능/효과
- 만들었다. 그 결과 성별에서는 logistic regression 이, 나이에서는 SVM이 가장 뛰어난 성능을 보였으나, 나이의 경우 logistic regression과 SVM의 성능 차이가 0.01% 미만이고, 분류 시간은 logistic regression 은 3분 정도이나 SVM은 2시간 이상이 걸리므로 성별과 나이의 경우 모두 logistic regression을 사용하였다.
- [7] Cheng 등은 Backstrom의 확률 모델을 응용하여 트윗에서 사용된 단어를 위치 상관관계를 기준으로 골라내었고, 이를 classifier의 특징으로 사용하여 사용자들의 위치를 분류하였다. 그들은 위치 관련 단어를 골라내는 것이 추론 오차를 1, 773 마일에서 539 마일까지 줄일 수 있다는 것을 보였으며, 51%의 사용자의 위치를 100마일의 오차범위에서 추론할 수 있다는 것을 보였다.
- 이 712개의 단어들의 구글지도에서의 위치와 주론되어진 중심값을 비교해본 결과 그림 5와 같은 누적도수분포를 확인할 수 있었다. 그래프를 보면 70% 이상의 단어들이 10km 보다 적은 오차를 가지고 있고, 한국의 도시들 대부분이 20km이상의 폭을 가지고 있는 것을 생각해 보았을 때, 본 연구에서 사용한 방법이 도시 단위 이하로 단어의 위치를 올바르게 추정하고 있음을 알 수 있다.
- 6%의 정확도를 기록한 반면에 본 연구의 방법론은 57%의 정확도를 보여주는 것을 알 수 있다. 또한 30km에서도 이 차이는 여전히 나타나며, 더 큰 오차거리의 경우에서도 본 연구의 방법론이 더 뛰어난 성능을 보여준다.
- 것이 더 정확함을 보여주었다[20]. 또한 클래스로 나누지 않고 regression을 통해서 곧바로 나이를 추론하였으나, 20%미만의 낮은 정확도를 보여주었다. Nguyen은 나이에 따른 언어행태의 변화를 리트윗, 링크, 해쉬태그의 개수를 통해 비교하였다.
- 사용자의 성별과 나이를 유추하는 데는 class由er를 사용하였고, 특징 선택을 통해 정확도를 높였다. 본 연구에서는 나이는 75%, 성별은 88%의 유추정확도를 보였다. 위치를 추론하는 데에는 최대우도방법을 사용하였다.
- 통해서 정확도를 높였다. 뽑힌 특징들을 살펴보면 나이와 성별을 잘 반영할 수 있는 단어들임을 알 수 있었다. 나이의 경우에는 여기서 한 단계 더 나아가서 이름을 통해서 정확도를 조금 더 높일 수 있었다.
- 또한 위도와 경도를 직교좌표계로 상정했을 때의 오차를 줄이기 위해서 지도투영법을 사용하였다. 위치도 나이와 성별과 마찬가지로 한국어 트위터 데이터를 통해서 정확도를 검증하였으며, 오차범위 lOfa-n 이내에서 57%의 정확도를 보였다.
- 많이 함을 알 수 있다(표 4). 이렇게 골라 내어진 특징들로 미루어 보았을 때, 본 연구에서 만들어진 classifier가 올바르게 성별과 나이를 구분하려 작동하는 것을 알 수 있다.
- Jurgen과 Cheng의 연구, 그리고 본 연구의 방법론을 모두 같은 한국 트위터 데이터에 적용하여 그 성능을 비교하였다. 표 6에서 기존 연구와의 비교를 보면, 10km 에서 Jurgens와 Cheng은 각각 33.3%, 34.6%의 정확도를 기록한 반면에 본 연구의 방법론은 57%의 정확도를 보여주는 것을 알 수 있다. 또한 30km에서도 이 차이는 여전히 나타나며, 더 큰 오차거리의 경우에서도 본 연구의 방법론이 더 뛰어난 성능을 보여준다.
후속연구
- 추후에 본 연구에 사용된 방법론들이 다른 문화권이나 언어에도 잘 적용되는지, 그리고 트위터 외의 다른 소셜 미디어에도 작동 되는지를 알아보려 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.