선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 각 클래스 별 특성에 맞는 자질 사전을 구축하여 LDA를 이용, 트위터 사용자를 예측하였다. [2] 에서 제시한 자질 구축 방법 및 SVM을 이용한 예측과 대응하여, 학습을 하지 않고도 각 클래스별로 판단되는 자질을 추출하여 LDA를 이용함으로써 납득할 만한 정확도를 예측하였기 때문에 의미 있는 연구가 되었다고 생각 한다.
제안 방법
- 1. 한 트위터 사용자당 트윗 문서에서 토픽들의 가중치를 대소 비교한다.
- 각 클래스 별로 형태소 분석기반 자질, bigram 자질을 baseline로 설정하고 본 논문에서 제안한 연령대, 성별, 지역별로 분류된 자질 정보 및 사전을 조합하여 트위터 사용자를 예측하였다.
- 본 논문에서는 LDA를 이용하여 계산된 토픽-단어 분포를 기반으로 트윗의 토픽을 결정한다. 예를 들어, 연령대별 토픽 분포에서 토픽1에 10대~20대의 자질이, 토픽2에 30~40대의 자질이 각각 많이 등장하였다고 판단되면 토픽1은 10대~20대, 토픽2는 30~40대라고 직접 결정한다.
- 본 논문에서는 한국어 형태소 분석 결과[가]와 음절 단위 bigram[나]을 기본 자질로 사용하고, 여기에 연령대, 성별, 지역을 분류하는데 좋은 정보를 주는 자질들을 추가로 사용한다. 한국어 형태소 분석 정보는 명사 정보만을 이용한다.
- 사용자의 각 트윗에서 제안한 자질들을 추출하고 LDA를 적용하여 분포를 계산하였다. LDA에서 연령대, 성별은 토픽을 2개로, 지역은 토픽을 4개로 설정하였다.
- 사용자의 토픽은 LDA를 적용하여 나온 문서당 토픽 분포 가중치의 결과를 이용하여 예측한다. 한 트위터 사용자의 토픽을 예측하는 방법은 다음과 같다.
- 성별 자질 선택으로는 남, 여를 구분할 수 있다고 판단되는 [라-1]를 자질로 하여 총 82개의 성별 자질 사전을 구축하였다.
- 연령대 자질으로는 10대~20대와 30대~40대를 구분할 수 있는 자질로 네이버 오픈 사전을 이용하여 [다-1]에 수록된 단어들 중 추천수 10이상만 추출, 또한 네이버의 기사 중 정치, 경제, IT, 연예 뉴스[다-2]들의 주제문의 명사만을 추출하여 총 1354개의 단어로 이루어진 연령대 자질 사전을 구축하였다. 10대~20대와 30~40대를 구분할 수 있는 또 다른 자질로 연령대마다 다를 것이라고 판단되는 [다-3]를 자질로 이용하였다.
- 또한 자질로 이용하였다. 연령대, 성별, 지역별로 구성한 자질들을 LDA를 활용하여 분포를 계산하고, 계산된 분포를 기반으로 트위터 사용자의 연령대, 성별, 지역을 분류하는 방법을 제안한다.
- 한국어 형태소 분석 정보는 명사 정보만을 이용한다. 연령대, 성별, 지역을 분류하기 위해 여러 자질들을 기반으로 LDA를 이용하여 분포를 추정한다. 추정된 분포를 활용하여 사용자가 작성한 여러 트윗의 연령대, 성별, 지역을 분류함으로써 효과적으로 사용자의 연령대, 성별, 지역을 분류하는 방법을 제안한다.
- 즉, 앞에서 클래스 별로 결정한 토픽과 한 트위터 사용자의 트윗 문서에서 예측한 토픽을 비교하여 정답을 판단한다.
- 지역 자질 선택으로는 한국전자통신연구원(ETRI)의 개 체명 사전에서 각 지역을 구분할 수 있다고 판단되는 수도권, 충청도, 전라도, 경상도의 지역명 및 관광지명을 추출하고 또한 네이버 오픈사전의 사투리 사전에서 충청도, 전라도, 경상도의 사투리를 추천수 10이상만 추출하여 총 8255개의 [마-1]을 구축하였다.
- 연령대, 성별, 지역을 분류하기 위해 여러 자질들을 기반으로 LDA를 이용하여 분포를 추정한다. 추정된 분포를 활용하여 사용자가 작성한 여러 트윗의 연령대, 성별, 지역을 분류함으로써 효과적으로 사용자의 연령대, 성별, 지역을 분류하는 방법을 제안한다.
대상 데이터
- 연령대 자질으로는 10대~20대와 30대~40대를 구분할 수 있는 자질로 네이버 오픈 사전을 이용하여 [다-1]에 수록된 단어들 중 추천수 10이상만 추출, 또한 네이버의 기사 중 정치, 경제, IT, 연예 뉴스[다-2]들의 주제문의 명사만을 추출하여 총 1354개의 단어로 이루어진 연령대 자질 사전을 구축하였다. 10대~20대와 30~40대를 구분할 수 있는 또 다른 자질로 연령대마다 다를 것이라고 판단되는 [다-3]를 자질로 이용하였다. 또한 ‘ㅋ’나‘ㅎ’ 또는 ‘ㅠㅠ’와 같은 [다-4]를 자질로 이용하였다.
- 말뭉치는 최근 트위터를 활발히 이용하는 100명의 트윗 사용자당 190~200개씩, 총 19567개의 트윗으로 구성하였다. 그리고 개인 프로필 및 국내 트위터 관련 사이 트에 기록된 것을 기준으로 10대, 20대, 30대, 40대별로 25명씩, 남자 51명, 여자 49명, 지역을 수도권 30명, 충 청도권 21명, 전라도권 22명, 경상도권 27명으로 각 클 래스 별로 균등하게 구성하여 트윗을 수집하였다.
- 또한 ‘ㅋ’나‘ㅎ’ 또는 ‘ㅠㅠ’와 같은 [다-4]를 자질로 이용하였다.
- 말뭉치는 최근 트위터를 활발히 이용하는 100명의 트윗 사용자당 190~200개씩, 총 19567개의 트윗으로 구성하였다. 그리고 개인 프로필 및 국내 트위터 관련 사이 트에 기록된 것을 기준으로 10대, 20대, 30대, 40대별로 25명씩, 남자 51명, 여자 49명, 지역을 수도권 30명, 충 청도권 21명, 전라도권 22명, 경상도권 27명으로 각 클 래스 별로 균등하게 구성하여 트윗을 수집하였다.
- 본 논문에서는 네이버의 오픈 사전, ETRI 개체명 사전과 같은 자원을 활용하여 연령대, 성별, 지역을 분류하는데 자질들을 선정하여 사용하였으며 트윗 길이 정보2), 자음 및 모음으로 구성된 한글 이모티콘 개수 정보3) 또한 자질로 이용하였다. 연령대, 성별, 지역별로 구성한 자질들을 LDA를 활용하여 분포를 계산하고, 계산된 분포를 기반으로 트위터 사용자의 연령대, 성별, 지역을 분류하는 방법을 제안한다.
- 트위터 사용자들의 개인 프로필 및 국내 트위터 관련 사이트를 이용하여 트위터 사용자의 연령대, 성별, 거주 지역에 따른 트윗의 가장 최근의 데이터만을 수집한다. 성별은 남,여로 분류, 연령대는 10대~20대, 30대~40대 로 분류, 그리고 거주지역은 수도권, 충청도권, 전라도권, 경상도권으로 분류하여 모든 트위터 사용자를 균등 하게 수집한다.
데이터처리
- 예측 정확도의 계산 방법은 기본적으로 f1-measure을 사용하였고 각 클래스 별 micro-평균으로 계산하였다.
성능/효과
- baseline로 적용했던 형태소 분석 명사 자질과 bigram 자질은 토픽을 2개로 나눈 연령대, 성별 예측 결과는 50%가 조금 넘는 일반적인 정확도를 보여주며 마찬가지로 토픽 4개로 나눈 지역별 예측 결과는 25%가 조금 넘는 정확도를 보여주었다. 본 논문에서 제안한 각 클래스 별 자질 정보와 사전을 이용하였을 때 확실히 예측 정확도가 높아지는 것을 볼 수 있었다.
- 그에 반해 성별 예측 결과와 지역별 예측 결과는 형태소 분석 명사 자질이나 bigram자질과 함께 적용한 자질 사전을 모두 조합한 방법의 예측 정확도가 생각보다 높지 않았다. 성별이나 지역별 예측에서는 필요하다고 판단되는 자질이 한정적이기 때문에 많은 자질이 포함된 형태소 분석 명사 자질 및 bigram 자질은 역효과가 나지 않았나 판단된다.
- 따라서 성별 예측 결과에서는 성별 자질 사전만을 사용한 방법이 가장 높은 75%의 정확도를 보여주었고 지역 별 예측 결과에서는 지역별 자질 사전만을 사용한 방법이 약 43%의 정확도로 가장 높게 예측되었다.
- baseline로 적용했던 형태소 분석 명사 자질과 bigram 자질은 토픽을 2개로 나눈 연령대, 성별 예측 결과는 50%가 조금 넘는 일반적인 정확도를 보여주며 마찬가지로 토픽 4개로 나눈 지역별 예측 결과는 25%가 조금 넘는 정확도를 보여주었다. 본 논문에서 제안한 각 클래스 별 자질 정보와 사전을 이용하였을 때 확실히 예측 정확도가 높아지는 것을 볼 수 있었다.
- 연령대 예측 결과는 형태소 분석 명사 자질과 연령대 자질 사전, 트윗 길이 정보, 한글 이모티콘 개수 정보를 모두 조합한 방법이 가장 높은 72%의 정확도로 예측할 수 있었다.
후속연구
- [2] 에서 제시한 자질 구축 방법 및 SVM을 이용한 예측과 대응하여, 학습을 하지 않고도 각 클래스별로 판단되는 자질을 추출하여 LDA를 이용함으로써 납득할 만한 정확도를 예측하였기 때문에 의미 있는 연구가 되었다고 생각 한다. 그리고 향후 연구로는 트위터의 리트윗(Retwee t)1), 리플라이(Reply)2)기능을 이용하여 사용자간의 관 계를 이용하여 정확도를 높이고 나아가 사용자의 직업, 관심사 등의 토픽을 늘려 예측 할 수 있는 시스템을 구축하는 연구를 진행 할 예정이다. 이러한 연구들이 활발히 진행된다면 마케팅 분야에 적절히 활용 될 수 있을 것이라 생각된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.