선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구는 지역 발전에 도움을 주고자 SNS 분석 시스템을 제안한다. 10대부터 30대까지 연령층이 많이 사용하는 4곳의 SNS에서 해당 지역을 키워드로 한국어 형태소 분석기를 이용해 더 세부적으로 데이터를 처리하고, 딥러닝 알고리즘인 RNN 중 LSTM을 사용하여 감성 분석 학습 모델을 만들어서 지역 사용자들의 심리나 감성, 정서를 알아보고, 사용자들이 어떤 감정으로 글을 작성했는지까지 찾아낸다[7].
제안 방법
- 본 연구는 지역 발전에 도움을 주고자 SNS 분석 시스템을 제안한다. 10대부터 30대까지 연령층이 많이 사용하는 4곳의 SNS에서 해당 지역을 키워드로 한국어 형태소 분석기를 이용해 더 세부적으로 데이터를 처리하고, 딥러닝 알고리즘인 RNN 중 LSTM을 사용하여 감성 분석 학습 모델을 만들어서 지역 사용자들의 심리나 감성, 정서를 알아보고, 사용자들이 어떤 감정으로 글을 작성했는지까지 찾아낸다[7]. 더 나아가 SNS 데이터와 해당 지역의 공공 데이터를 융합한다면 데이터 수집 측면에서 더 가치 있는 데이터를 얻을 수 있고, 해당 지역의 지역 행사나 학교축제 등 다양한 경우의 수를 머신러닝을 도입해서 보다 다양한 상황들에 맞는 분야를 제안할 수 있을 것이다.
- 데이터 전처리는 수집된 데이터를 한국어 형태소 분석 라이브러리인 KoNLPy의 5가지 종류의 형태소 분석기 중 Mecab 형태소 분석기를 이용하여 분석한다. 이때 분석 옵션으로 정규화와 원형 찾기를 추가한다.
- 데이터 수집을 위한 웹 크롤러로 Selenium을 사용한다. 데이터 전처리는 한국어 형태소 분석기인 KoNLPy를 이용해서 특수문자와 URL을 제거하고 품사로 분류한다. 전처리된 데이터는 딥러닝 알고리즘 중에서 RNN의 장기의존성 문제를 해결한 LSTM을 사용한다.
- 마지막으로 데이터의 수치화는 데이터의 가시성이 좋은 Rstudio를 사용하며, 여러 수치를 비교할 때 사용하는 igraph 라이브러리를 이용해서 수치화한다.
- 본 연구는 SNS 데이터를 블로그, 카페, 페이스북, 인스타그램에서 지역 명칭을 키워드로 1년간 콘텐츠를 크롤링하며, 형태소 분석기를 통해 학습할 수 있도록 데이터 전처리 작업을 한다. 마지막으로 딥러닝 알고리즘인 RNN 중 LSTM을 사용하여 지역별 콘텐츠의 주요분야, 긍/부정을 판별한다.
- 본 연구는 SNS 데이터를 블로그, 카페, 페이스북, 인스타그램에서 지역 명칭을 키워드로 1년간 콘텐츠를 크롤링하며, 형태소 분석기를 통해 학습할 수 있도록 데이터 전처리 작업을 한다. 마지막으로 딥러닝 알고리즘인 RNN 중 LSTM을 사용하여 지역별 콘텐츠의 주요분야, 긍/부정을 판별한다.
- 전처리된 데이터는 딥러닝 알고리즘 중에서 RNN의 장기의존성 문제를 해결한 LSTM을 사용한다. 수집한 데이터의 주요 단어와 컨텐츠의 긍/부정을 추출하고 주요 단어에 긍/부정에 따라서 점수를 부여해 감성을 판별한다. 이렇게 나온 주요 단어에 순위를 매겨서 지역마다 점수가 높은 단어와 낮은 단어로그 지역의 특성을 알아낸다.
- Selenium 기능 중에 자바스크 립트를 실행하는 기능을 이용하여 스크롤을 제어할 수 있고, 스크롤 한 번에 나오는 타임라인은 9개다. 스크롤 횟수는 제한하지 않고 비교 사전을 만들어서 한번 스크롤하고 업데이트된 타임라인을 사전과 비교한다. 사전에 없으면 사전에 등록하고 스크롤을 반복하며, 사전에 있다면 크롤링을 멈추는 방법을 사용한다.
- 네이버 세션 페이지는 pageNo에 -1이나 마지막을 넘어가는 페이 지를 넣어도 페이지가 끝나지 않기 때문에 마지막 페이지를 찾아야 한다. 이를 위해 검색된 총 컨텐츠 수를 수집하고 (총 컨텐츠 수) / (한 페이지에 보이는 컨텐츠 수)로 페이지 수를 구한다. 블로그의 한 페이지에 보이는 컨텐츠 수는 7개이며, 카페는 10개다.
대상 데이터
- SNS 데이터는 사람들이 많이 이용하는 네이버 블로그, 네이버 카페, 페이스북, 인스타그램에서 앞서 선정한 키워드로 수집한다.
- 데이터 수집은 강력한 웹 크롤러인 Selenium을 사용한 다. Chromedriver를 이용해서 Chrome을 제어한다.
- 본 연구는 지역 발전을 위한 SNS 데이터 분석을 위해 대한민국에서 많이 사용하는 SNS 4곳을 선정했고, 키워드는 천안과 아산의 동/면/읍으로 기간은 2017년 9월 1일 부터 2018년 9일 1일까지 수집한다. 데이터 수집을 위한 웹 크롤러로 Selenium을 사용한다.
- 본 연구에선 KoNLPy 형태소 분석기로 한나눔을 사용 했다. (그림 1)과 같이 한나눔은 다량의 단어를 분석할 때다른 분석기에 비교해 로딩시간이나 실행시간이 비교적 짧고, 사전에 포함되지 않는 단어처리를 세밀하게 해주는 강점이 있다.
- 분류 키워드 선정은 네이버 데이터 랩의 천안시 동남구, 천안시 서북구, 아산시 지역별 관심도와 카드 사용통계를 이용한다. 키워드 분류는 (그림 4)처럼 크게 생활, 음식, 취미, 뷰티, 레저, 관광으로 나누고, 중분류, 소분류로 더 세분화하여 분류의 정확도를 높인다.
이론/모형
- 데이터 학습은 LSTM을 이용하여 진행한다. 단어 벡터로 변환되는 Word Embedding 층으로 1000 노드, 중간층 128 노드로 하여 3층, 출력층 1 노드로 구성하고, 활성화 함수로 softmax를 사용하며 최적화 알고리즘으로 오차 감소 속도가 빠른 Adam Optimizer 알고리즘을 구성한다.
- 데이터 학습은 LSTM을 이용하여 진행한다. 단어 벡터로 변환되는 Word Embedding 층으로 1000 노드, 중간층 128 노드로 하여 3층, 출력층 1 노드로 구성하고, 활성화 함수로 softmax를 사용하며 최적화 알고리즘으로 오차 감소 속도가 빠른 Adam Optimizer 알고리즘을 구성한다.
- 데이터 전처리는 한국어 형태소 분석기인 KoNLPy를 이용해서 특수문자와 URL을 제거하고 품사로 분류한다. 전처리된 데이터는 딥러닝 알고리즘 중에서 RNN의 장기의존성 문제를 해결한 LSTM을 사용한다. 수집한 데이터의 주요 단어와 컨텐츠의 긍/부정을 추출하고 주요 단어에 긍/부정에 따라서 점수를 부여해 감성을 판별한다.
후속연구
- 10대부터 30대까지 연령층이 많이 사용하는 4곳의 SNS에서 해당 지역을 키워드로 한국어 형태소 분석기를 이용해 더 세부적으로 데이터를 처리하고, 딥러닝 알고리즘인 RNN 중 LSTM을 사용하여 감성 분석 학습 모델을 만들어서 지역 사용자들의 심리나 감성, 정서를 알아보고, 사용자들이 어떤 감정으로 글을 작성했는지까지 찾아낸다[7]. 더 나아가 SNS 데이터와 해당 지역의 공공 데이터를 융합한다면 데이터 수집 측면에서 더 가치 있는 데이터를 얻을 수 있고, 해당 지역의 지역 행사나 학교축제 등 다양한 경우의 수를 머신러닝을 도입해서 보다 다양한 상황들에 맞는 분야를 제안할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.